KR20000029317A - 사람 이동선 정보의 수집 방법 및 수집 장치 - Google Patents
사람 이동선 정보의 수집 방법 및 수집 장치 Download PDFInfo
- Publication number
- KR20000029317A KR20000029317A KR1019990046560A KR19990046560A KR20000029317A KR 20000029317 A KR20000029317 A KR 20000029317A KR 1019990046560 A KR1019990046560 A KR 1019990046560A KR 19990046560 A KR19990046560 A KR 19990046560A KR 20000029317 A KR20000029317 A KR 20000029317A
- Authority
- KR
- South Korea
- Prior art keywords
- person
- information
- feature vector
- moving line
- past
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
특징 벡터 생성부는 점포내의 복수의 카메라에 의해서 촬영된 화상으로부터 추출한 사람 화상에 기초하여, 고객 고유의 특징 벡터를 생성한다. 입장 정보 기억부는 입장자의 특징 벡터에 식별 코드, 입장 시각 등을 부여한 입장 정보를 기억한다. 고객 대조부는 퇴장 및 이동중인 사람의 특징 벡터와 상기 입장 정보 기억부에 기억된 특징 벡터를 대조한다. 이 대조에서 동일 고객이 판정되면, 그 식별 코드, 촬영 시각, 촬영 위치 등이 이동선 정보로서 이동선 정보 기억부에 기억된다. 동일 식별 코드를 갖는 이동선 정보를 픽업함으로써, 고객의 이동 경로가 판명된다.
Description
본 발명은 시설내에 있어서 사람의 이동 상황을 파악하기 위한 이동선 정보, 예컨대, 백화점, 수퍼마켓 등의 점포내에 있어서의 고객의 이동 경로를 파악하기 위한 이동선 정보를 수집하는 사람 이동선 정보 수집 방법 및 수집 장치에 관한 것이다.
종래, 사람의 이동선 데이터를 수집하는 장치로서는 일본국 특허 공개 평7-23452호 공보에 기재된 것이 알려져 있다. 이것은 무선의 송수신기를 이용한 것으로, 설치된 위치를 나타내는 위치 데이터를 주기적으로 발신하는 복수의 발신 수단이 발신 영역이 겹치지 않는 위치에 각각 설치된다. 각 발신 수단으로부터의 위치 데이터는 수신 수단에 의해 수신되고, 이 수신 수단은 그 위치 데이터와 그 위치 데이터를 수신한 시각 데이터를 기억한다. 수신 수단이 기억한 위치 데이터와 시각 데이터는 데이터 수집 수단에 의해 수집되고, 이 데이터 수집 수단은 수집한 위치 데이터와 시각 데이터를 데이터 분석 수단으로 분석하여 이동선을 구한다. 즉, 수신 수단을 이동체에 장착함으로써, 이동체가 발신 수단의 발신 영역에 들어갈 때마다 발신 수단으로부터의 위치 데이터를 수신 수단이 수신하여, 위치 데이터와 시각 데이터를 기억한다. 따라서, 이동체가 몇시 어디를 통과했는가를 파악할 수 있어, 이동체의 이동선 데이터를 수집할 수 있다.
이러한 이동선 데이터 수집 장치를 대형 점포의 고객의 이동 정보 수집에 적용한 경우, 수신 수단을 고객이 휴대하거나, 혹은 카트나 쇼핑 바구니 등에 부착하지 않으면 안되어 사용성이 나쁘다고 하는 문제가 있었다. 또한, 수신 수단은 개개로 분리 독립되어 있기 때문에, 각 수신 수단이 기억한 위치 데이터와 시각 데이터를 데이터 수집 수단으로 수집하는 경우에, 각 수신 수단을 하나씩 데이터 수집 수단에 접속하는 등으로 수집하지 않으면 안되어 데이터의 수집 효율이 나쁘다고 하는 문제가 있었다.
본 발명의 제1 목적은 고객 등의 사람에게 아무런 부담을 끼치지 않고서 사람의 이동선 정보를 효율적이고 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제2 목적은 사람의 속성별 이동선 정보도 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제3 목적은 사람의 입장 빈도나 입장 시각 등의 입장 패턴도 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제4 목적은 사람의 과거 입장시의 이동선 정보도 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제5 목적은 사람의 속성별 이동선 정보 및 사람의 속성별 과거의 입장 패턴도 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제6 목적은 사람의 속성별 이동선 정보, 사람의 속성별 과거의 입장 패턴 및 속성별 과거의 이동선 정보도 자동적으로 수집할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제7 목적은 사람의 식별율을 높일 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
본 발명의 제8 목적은 대조의 고속화 및 기억 용량의 저감화를 꾀할 수 있는 사람 이동선 정보의 수집 방법 및 수집 장치를 제공하는 것이다.
도 1은 본 발명이 적용되는 점포내의 카메라 레이아웃을 나타낸 도면.
도 2는 본 발명의 제1 실시예에 있어서의 수집 장치의 구성을 나타내는 블럭도.
도 3은 도 2의 정보 기억부의 구성을 나타낸 도면.
도 4는 제1 실시예의 처리를 설명하기 위한 흐름도.
도 5는 도 3의 입장 정보 기억부가 기억하는 데이터 예를 나타낸 도면.
도 6은 도 3의 이동선 정보 기억부가 기억하는 데이터 예를 나타낸 도면.
도 7은 본 발명의 제2 실시예에 있어서의 수집 장치의 구성을 나타낸 블럭도.
도 8은 도 7의 정보 기억부의 구성을 나타낸 도면.
도 9는 제2 실시예의 처리를 설명하기 위한 흐름도.
도 10은 도 8의 속성 정보 기억부에 기억한 속성 정보의 예를 나타낸 도면.
도 11은 도 8의 입장 정보 기억부가 기억하는 데이터 예를 나타낸 도면.
도 12는 본 발명의 제3 실시예에 있어서의 수집 장치의 구성을 나타내는 블럭도.
도 13은 도 12의 정보 기억부의 구성을 나타낸 도면.
도 14A 및 14B는 도 13의 과거 방문 정보 기억부가 기억하는 데이터 예를 나타내는 도면.
도 15는 도 13의 입장 정보 기억부가 기억하는 데이터 예를 나타내는 도면.
도 16은 제3 실시예의 처리를 설명하기 위한 흐름도.
도 17은 본 발명의 제4 실시예에 있어서의 정보 기억부의 구성을 나타낸 도면.
도 18A 및 18B는 도 17의 과거 방문 정보 기억부가 기억하는 데이터 예를 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
5a, 5b, 6a, 6b, 7a∼7u : 카메라
8 : 화상 입력부
9 : 사람 검출부
10 : 사람 추출부
11 : 특징 벡터 생성부
12 : 정보 기억부
13 : 고객 대조부
14 : 고객 판정부
15 : 집계부
16 : 출력부
본 발명은 상기한 목적을 해결하기 위해 이루어진 것으로, 본 발명의 사람의 이동 경로를 나타내는 사람 이동선 정보의 수집 방법에 따르면, 시설내에 설치되어, 입장, 퇴장 및 이동중인 사람을 촬영하는 복수의 촬영 장치에 의해 촬영한 화상으로부터 사람의 존재를 검출하여 사람 화상을 추출하고, 상기 사람 화상 추출 단계에서 추출된 사람 화상을 화상 처리하여 사람 고유의 특징 벡터를 생성하고, 입장시에 촬영된 사람의 사람 화상으로부터 생성된 특징 벡터에 상기 사람의 식별 코드 및 입장 시각을 포함하는 정보를 부여하여 입장 정보로서 기억하고, 퇴장 및 이동중인 사람의 사람 화상으로부터 생성된 특징 벡터와 상기 입장 정보에 포함되는 특징 벡터를 대조하여 상기 대조 단계에서 동일인을 식별하였을 때에는 그 사람의 식별 코드, 촬영 시각 및 촬영 위치를 포함하는 이동선 정보를 기억하고, 상기 이동선 정보 기억 단계에서 기억된 이동선 정보로부터 동일 식별 코드를 갖는 이동선 정보를 수집하여, 사람 개개의 상기 시설내 이동 경로를 제공할 수 있다.
사람의 입장, 퇴장 및 시설내의 이동을 전부 촬영 장치로 촬영하여, 촬영된 사람 화상의 특징 벡터에 식별 코드를 부여하고, 동일한 식별 코드를 갖는 정보를 집계함으로써, 이 고객의 이동선을 얻고 있기 때문에, 고객에게 아무런 부담을 끼치지 않고서 고객의 이동선 정보를 효율적이고 자동적으로 수집할 수 있다.
상기 사람 화상 추출 단계는 사람의 얼굴 화상만을 추출하고, 상기 특징 벡터 생성 단계는 주성분 분석을 행하여 저차원의 특징 벡터를 생성한다. 따라서, 사람의 식별율을 높일 수 있고, 또한 대조의 고속화 및 기억 용량의 저감화를 꾀할 수 있다.
더욱이 본 발명에 의한 방법은 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 단계를 구비하고, 상기 입장 정보를 기억하는 단계는 상기 사람의 속성을 포함하는 입장 정보를 기억하는 단계를 포함하고, 상기 이동 경로를 제공하는 단계는 속성별 이동 경로를 제공하는 단계를 포함한다. 따라서, 성별, 대략적인 연령 등 사람의 속성의 이동선 정보도 자동적으로 수집된다.
또, 본 발명에 의한 방법은 과거 방문 정보를 이용하여, 상기 동일인의 방문 빈도 및 방문 시각 등의 방문 패턴을 제공하는 단계를 구비한다.
본 발명에 의한 방법은 또한, 상기 이동선 정보에 방문 날짜를 부가한 과거 이동선 정보를 보존하는 단계를 구비하고, 상기 이동선 정보를 수집하는 단계는 상기 과거 이동선 정보를 참조하여, 사람 개개의 상기 시설내의 과거의 이동 경로를 제공하는 단계를 포함한다. 따라서, 사람의 과거 방문시의 이동선 정보도 자동적으로 수집할 수 있다.
본 발명에 의한 방법은 더욱이, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 단계, 상기 입장 정보에 상기 사람의 속성 및 방문 날짜가 부가된 과거 방문 정보를 보존하는 단계, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 상기 과거 방문 정보에 포함되는 특징 벡터를 대조하는 단계를 구비하며, 상기 입장 정보를 기억하는 단계는 상기 과거 방문 정보 대조 단계에서 동일인이 식별되었을 때, 상기 사람의 과거 방문 날짜 및 이전 식별 코드를 포함하는 입장 정보를 기억하는 단계를 포함한다. 이에 따라, 사람의 속성별 과거의 방문 패턴을 자동적으로 수집할 수 있다.
본 발명에 의한 방법은 또한, 상기 이동선 정보에 방문 날짜를 부가한 과거 이동선 정보를 보존하는 단계, 상기 이동선 정보 수집 단계는 상기 과거 이동선 정보 및 과거 방문 정보를 참조하여 사람 개개의 상기 시설내의 과거의 이동 경로를 상기 속성별로 제공하는 단계를 포함한다. 따라서, 사람의 속성별 과거의 이동선 정보도 자동적으로 수집할 수 있다.
또한 본 발명은 상기 방법을 이용한 이동선 정보 수집 장치를 제공한다. 한 실시예에 있어서, 시설내에 설치되어, 입장, 퇴장 및 이동중인 사람을 촬영하는 복수의 촬영 장치와, 상기 복수의 촬영 장치에 의해 촬영한 화상으로부터 사람의 존재를 검출하여 사람 화상을 추출하는 수단과, 상기 사람 화상 추출 수단에 의해 추출된 사람 화상을 화상 처리하여 사람 고유의 특징 벡터를 생성하는 수단과, 입장시에 촬영된 사람의 사람 화상으로부터 생성된 특징 벡터에 상기 사람의 식별 코드 및 입장 시각을 포함하는 정보를 부여하여 입장 정보로서 기억하는 수단과, 퇴장 및 이동중인 사람의 사람 화상으로부터 생성된 특징 벡터와 상기 입장 정보에 포함되는 특징 벡터를 대조하는 수단과, 상기 대조 수단에 의해 동일인을 식별하였을 때에는 그 사람의 식별 코드, 촬영 시각 및 촬영 위치를 포함하는 이동선 정보를 기억하는 수단과, 상기 이동선 정보 기억 수단에 의해 기억된 이동선 정보로부터 동일 식별 코드를 갖는 이동선 정보를 수집하여, 사람 개개의 상기 시설내 이동 경로를 제공하는 수단을 구비하는 사람의 이동 경로를 나타내는 사람 이동선 정보의 수집 장치가 제공된다.
본 발명의 실시예를 도면을 참조하여 설명한다. 한편, 이 실시예는 백화점, 수퍼마켓 등의 점포내에 있어서 사람인 고객의 이동 경로를 파악하기 위한 이동선 정보를 수집하는 경우를 예로 들어 설명한다.
제1 실시예
도 1은 본 발명을 적용하는 점포내의 카메라 레이아웃을 나타낸 도면으로, 1a, 1b는 고객이 점포 매장내로 출입하는 출입구, 2a∼2i는 상품을 진열한 상품 진열장, 3a∼3d는 POS(포인트·오브·세일즈) 단말 등을 배치한 정산대, 4a∼4d는 구입한 상품을 봉투에 담거나 하는 사커대이다.
상기 각 출입구(1a, 1b)의 상측에는 고객의 입장을 촬영하는 촬영 수단으로서의 입장자용 카메라(5a, 5b)를 설치하는 동시에 고객의 퇴장을 촬영하는 촬영 수단으로서의 퇴장자용 카메라(6a, 6b)를 설치하고 있다. 상기 각 상품 진열장(2a∼2i)에 의해서 만들어지는 통로의 상측에는 고객의 점포내 이동 상황을 촬영하는 촬영 수단으로서의 이동자용 카메라(7a∼7u)를 설치하고 있다.
도 2는 본 발명의 사람 이동선 정보 수집 장치의 구성을 나타내는 블럭도이다. 제어부(20)는 이 사람 이동선 정보 수집 장치에 포함되는 각 부분을 종합적으로 제어하고 있다.
화상 입력부(8)는 제어부(20)의 제어하에, 상기 각 카메라(5a, 5b, 6a, 6b, 7a∼7u)에서 촬영된 화상을 수시 입력한다. 사람 검출부(9)는 상기 화상 입력부(8)가 받아들인 화상으로부터 사람, 즉, 고객의 존재를 검출하여 사람 추출부(10)에 공급한다. 상기 사람 검출부(9)는 예컨대, 미리 입력해 둔 각 카메라 위치에 있어서의 배경 화상과의 차분을 구함으로써 고객의 존재를 검출한다.
상기 사람 추출부(10)는 상기 사람 검출부(9)가 고객의 존재를 검출한 화상으로부터 배경부를 제외하고 사람 화상의 얼굴 부분만을 추출하여, 그 추출한 사람 얼굴 화상을 특징 벡터 생성부(11)에 공급한다. 상기 특징 벡터 생성부(11)는 입력되는 사람 얼굴 화상을 화상 처리하여, 고객 고유의 특징 벡터를 생성한다. 이 특징 벡터는 제어부(20)의 정보 기억부(12)에 기억된다.
상기 특징 벡터 생성부(11)는 사람의 얼굴 화상을 요소로 하는 다차원의 화상 데이터를 주성분 분석에 의해 저차원의 특징 벡터로 압축하여 생성한다. 또, 생성되는 특징 벡터의 차원수 k는 주성분 분석에서 변환에 이용되는 고유 벡터의 수로 결정된다. k개의 고유 벡터는 미리 샘플 화상 등의 공분산 행렬로부터 구할 수 있다.
아니면, 특징 벡터 생성부는 미리 얼굴 부위로서 결정된 눈, 코, 입 등을 템플릿 화상 등을 이용하여 추출하여, 각 부위의 크기, 색, 상대적 위치 관계(예컨대 각 부위 사이의 거리) 등의 특징량을 수치화하여 특징 벡터를 생성하더라도 좋다.
상기 정보 기억부(12)는 도 3에 나타낸 바와 같이, 입장 정보 기억부로서의 입장 정보 기억부(12a)와 이동선 정보 기억부(12b)를 포함한다. 상기 입장자용 카메라(5a, 5b)로부터 제공된 화상에 기초하여 특징 벡터 생성부(11)에 의해 생성된 특징 벡터는 상기 입장 정보 기억부(12a)에 기억된다. 이 때, 상기 입장 정보 기억부(12a)에는 도 5에 나타낸 바와 같이, 특징 벡터에 식별 코드인 식별 ID, 입장 시각, 입장 위치의 각 정보가 부가된 입장 정보가 기억된다. 또한, 식별 ID는 고객의 입장마다 순차로 그 사람에 부가되는 일련 번호 코드이다.
또한, 상기 퇴장자용 카메라(6a, 6b) 혹은 상기 이동자용 카메라(7a∼7u)로부터 제공된 화상에 기초하여 특징 벡터 생성부(11)에 의해 생성된 특징 벡터는 사람 대조부로서의 고객 대조부(13)에서, 상기 입장 정보 기억부(12a)에 기억된 입장시의 각 고객의 특징 벡터와 대조된다. 즉, 입장 정보 기억부(12a)에 기억한 각 고객의 특징 벡터를 순차로 독출하여, 지금 생성된 특징 벡터와의 유사도가 산출된다. 만일 동일인이라면 유사도의 값은 매우 높아지고, 그 이외의 경우는 값은 낮아진다.
상기 고객 대조부(13)에서 상기 입장 정보 기억부(12a)에 기억한 모든 고객의 특징 벡터와의 유사도 산출이 종료되면, 사람 판정부로서의 고객 판정부(14)에서, 지금 촬영한 화상의 고객이 상기 입장 정보 기억부(12a)에 기억된 고객 중 어느 한 사람과 동일한 사람인가의 여부를 판정한다. 동일인의 판정은 예컨대, 유사도가 일정한 기준치를 넘고 있는가의 여부에 따라 행한다.
상기 고객 판정부(14)가 동일인의 판정을 행하면, 상기 이동선 정보 기억부(12b)에는 이동선 정보가 기억된다. 즉, 도 6에 나타낸 바와 같이, 입장 정보의 식별 ID, 촬영 시각(즉 통과 시각), 촬영 위치의 위치 정보가 이동선 정보로서 기억된다. 상기 이동선 정보 기억부(12b)에의 이동선 정보의 기억은 고객 판정부(14)가 판정한 순으로 제어부(20)에 의해서 행해진다.
상기 정보 기억부(12)의 입장 정보 기억부(12a)에 기억한 입장 정보 및 이동선 정보 기억부(12b)에 기억한 이동선 정보를, 집계부(15)는 어느 결정된 시각 혹은 일정 시간마다 집계한다. 이 때 상기 집계부(15)는 입장 정보와 이동선 정보로부터 동일한 식별 ID를 갖는 정보를 픽업함으로써, 고객의 이동선을 구한다. 상기 집계부(15)가 구한 이동선 정보는 표시 장치나 프린터 등의 출력부(16)에 제공되고, 그리하여 출력된다.
도 4는 이상과 같은 구성을 갖는 사람 이동선 정보 수집 장치의 동작을 나타내는 흐름도이다. 이 동작은 제어부(20)의 제어에 기초하여 행해진다.
우선 단계 S1과 같이, 화상 입력부(8)는 카메라(5a, 5b, 6a, 6b, 7a∼7u)로부터의 화상을 받아들이고, 사람 검출부(9)는 단계 S2에서 고객의 검출 처리를 행한다. 고객이 검출되면, 사람 추출부(10)는 단계 S4에서 사람 얼굴 화상을 추출한다. 그리고, 단계 S5에서 특징 벡터 생성부(11)는 그 고객의 특징 벡터를 생성한다.
이 생성한 고객의 특징 벡터가 입장자용 카메라(5a, 5b)로부터의 화상에 기초하여 생성한 특징 벡터일 때에는 제어부(20)는 단계 S7에서, 이 특징 벡터에 일련 번호의 식별 ID, 입장 시각, 입장 위치의 각 정보를 부가한 입장 정보를 입장 정보 기억부(12a)에 기억한다.
또한, 이 생성한 고객의 특징 벡터가 퇴장자용 카메라(6a, 6b) 혹은 이동자용 카메라(7a∼7u)로부터의 화상에 의해 생성한 특징 벡터일 때에는 단계 S8에서, 고객 대조부(13)는 이 생성한 특징 벡터를 입장 정보 기억부(12a)에 기억되어 있는 입장시의 각 고객의 특징 벡터와 대조하여 유사도를 산출한다. 단계 S9에서 고객 판정부(14)는 고객 대조부(13)에 의해 산출된 유사도에 기초하여 동일인을 식별한다. 동일인이 식별되면 제어부(20)는 단계 S10에서, 고객의 식별 ID, 통과 시각, 촬영 위치의 정보를 이동선 정보로서 이동선 정보 기억부(12b)에 기억한다.
그 후, 제어부(20)에 의해 이동선 측정의 시각이 단계 S11에서 판단되면, 단계 S12에서 집계부(15)는 입장 정보 기억부(12a)에 기억한 입장 정보 및 이동선 정보 기억부(12b)에 기억한 이동선 정보를 집계한다. 이 때 집계부(15)는 입장 정보와 이동선 정보로부터 동일한 식별 ID를 갖는 정보를 픽업함으로써 고객의 이동선을 구한다.
따라서, 입장 정보 기억부(12a)에 대하여 도 5에 나타내는 것과 같은 입장 정보가 기억되고, 이동선 정보 기억부(12b)에 대하여 도 6에 나타낸 바와 같은 이동선 정보가 기억된다. 도 5 및 도 6의 경우, 예컨대 식별 ID 「100001」의 정보를 픽업함으로써, 이 식별 ID에 해당하는 고객은 10시에 출입구(1a)에서 점내로 들어가, 그 후, 10시 1분에 카메라(7a)의 위치를 통과하고, 또, 10시 3분에 카메라(7k)의 위치를 통과하고, 또, 10시 6분에 카메라(7) 단계 S의 위치를 통과하고, 또한, 10시 10분에 카메라(7h)의 위치를 통과하여 10시 15분에 출입구(1a)로부터 퇴장했다고 판단되어, 그 통과 경로를 나타내는 이동선을 얻을 수 있다. 그리고, 이 이동선은 표시 장치나 프린터 등의 출력부(16)에 의해 출력되어 확인할 수 있게 된다.
이와 같이, 본 실시예에서는 고객의 입장, 퇴장 및 점내의 이동을 전부 카메라로 촬영하고, 촬영된 사람 화상에 식별 ID를 부여하여, 동일한 식별 ID를 갖는 정보를 집계함으로써, 이 고객의 이동선을 얻고 있다. 따라서, 고객에게 아무런 부담을 끼치지 않고서 고객의 이동선 정보를 효율적이고 자동적으로 수집할 수 있다. 이와 같이 하여 수집한 각 고객의 이동선 정보는 점포 경영에 있어서, 점포 레이아웃, 상품 진열, 점원 배치 등 전략적인 경영 의사 결정을 위해 중요한 자료로서 이용된다.
또한, 사람 추출부(10)에서 사람의 얼굴 화상만을 추출하여, 이 얼굴 화상의 특징 벡터를 특징 벡터 생성부(11)에서 생성하여 대조하는 식으로 하고 있기 때문에, 사람 화상 전체를 추출하여 대조하는 경우에 비해서 대조 영역이 한정되고, 더구나 얼굴이라는 개인 개인의 특징이 강한 부분을 대조하기 때문에, 고객의 식별율을 높일 수 있다.
또한, 특징 벡터 생성부(11)는 사람의 얼굴 화상을 요소로 하는 다차원의 화상 데이터를 주성분 분석에 의해 저차원의 특징 벡터로 압축하여 생성하고 있기 때문에, 대조의 고속화 및 대조시에 사용하는 기억 용량의 저감화를 꾀할 수 있다. 더구나, 얼굴 화상은 어떤 사람도 그 레이아웃은 같으며, 화상 사이에 강한 상관이 있기 때문에 적은 고유 벡터의 선형 결합으로 효율적으로 얼굴 화상을 표현할 수 있고, 따라서, 저차원의 특징 벡터라도 정밀도 높은 대조를 할 수 있다.
제2 실시예
다음에 본 발명에 의한 사람 이동선 정보 수집 장치의 제2 실시예를 설명한다. 도 7은 제2 실시예에 따른 사람 이동선 정보 수집 장치의 구성을 나타내는 블럭도이다. 또, 전술한 제1 실시예와 동일한 부분에는 동일한 부호를 붙여 다른 부분에 관해서 설명한다.
이 실시예는 도 7에 나타낸 바와 같이, 특징 벡터 생성부(11)와 정보 기억부(12) 사이에 속성 판정부(17)가 설치되고, 또한 상기 정보 기억부(12)에는 도 8에 나타내는 속성 정보 기억부(12c)가 설치되어 있다.
상기 속성 정보 기억부(12c)는 미리 샘플 화상을 이용하여 구한 사람의 속성별 특징 벡터, 예컨대, 도 10에 나타낸 바와 같이, 남성·20대, 남성·30대, 남성·40대, 남성·50대, 남성·60세 이상, 여성·20대, 여성·30대, 여성·40대, 여성·50대, 여성·60세 이상의 속성별 대표적인 특징 벡터가 기억되어 있다.
상기 속성 판정부(17)는 고객의 입장시에 상기 특징 벡터 생성부(11)가 생성한 고객 고유의 특징 벡터와 상기 속성 정보 기억부(12c)에 기억해 놓은 속성별 특징 벡터를 대조하여, 가장 유사도가 높은 속성을 그 고객의 속성으로서 판정한다.
도 9는 이상과 같은 구성을 갖는 사람 이동선 정보 수집 장치의 동작을 나타내는 흐름도이다. 이 동작은 제어부(21)의 제어에 기초하여 행해진다.
우선 단계 S21과 같이, 화상 입력부(8)는 카메라(5a, 5b, 6a, 6b, 7a∼7u)로부터의 화상을 받아들이고, 단계 S22에서 사람 검출부(9)는 고객의 검출 처리를 행한다. 고객이 검출되면, 사람 추출부(10)는 단계 S24에서 사람 얼굴 화상을 추출한다. 그리고, 단계 S25에서 특징 벡터 생성부(11)는 그 고객의 특징 벡터를 생성한다.
이 생성한 고객의 특징 벡터가 입장자용 카메라(5a, 5b)로부터의 화상에 기초하여 생성한 특징 벡터일 때에는 단계 S27에서 속성 판정부(17)는 생성된 특징 벡터와 속성 정보 기억부(12c)에 기억해 놓은 속성별 특징 벡터를 대조하여, 가장 유사도가 높은 속성을 그 고객의 속성으로서 판정한다. 그리고, 단계 S28에서, 제어부(21)는 입장 정보 기억부(12a)에 대하여, 도 11에 나타낸 바와 같이, 생성한 특징 벡터에 일련 번호의 식별 ID, 입장 시각, 입장 위치의 각 정보를 부가하고, 또한, 성별 정보 및 연령대 정보의 속성 정보를 부가한 입장 정보를 기억한다.
또한, 생성한 고객의 특징 벡터가 퇴장자용 카메라(6a, 6b) 혹은 이동자용 카메라(7a∼7u)로부터의 화상에 기초하여 생성된 특징 벡터일 때에는 단계 S29에서, 고객 대조부(13)는 이 생성한 특징 벡터와 입장 정보 기억부(12a)에 기억한 입장시의 각 고객의 특징 벡터를 대조하여 유사도를 산출한다. 단계 S30에서 고객 판정부(14)는 고객 대조부(13)에 의해 산출된 유사도에 기초하여 동일인을 식별한다. 동일인이 식별되면, 제어부(21)는 단계 S31에서, 고객의 식별 ID, 통과시각, 촬영 위치의 정보를 이동선 정보로서 이동선 정보 기억부(12b)에 기억한다.
그 후, 제어부(21)에 의해서 이동선 측정 시각이 단계 S32에서 판단되면, 집계부(15)는 단계 S33에서, 입장 정보 기억부(12a)에 기억한 입장 정보 및 이동선 정보 기억부(12b)에 기억한 이동선 정보를 집계한다. 이 때 집계부(15)는 입장 정보와 이동선 정보로부터 동일한 식별 ID의 정보를 픽업함으로써 고객의 이동선을 구한다.
따라서, 이 실시예에 있어서는 전술한 제1 실시예의 특징에 더하여, 집계한 입장 정보에 성별, 연령대별 속성 정보를 포함하고 있기 때문에, 고객별과는 다른 성별 및 연령대별의 이동선 정보도 자동적으로 수집할 수 있어, 점포 경영에 있어서 보다 범용성이 높은 자료를 제공할 수 있다.
또한, 이 실시예에 있어서는 속성 정보를 성별 및 연령대별 정보로 한 경우에 관해서 설명했지만 이에 한정하는 것이 아님은 물론이다.
제3 실시예
다음에 본 발명에 의한 사람 이동선 정보 수집 장치의 제3 실시예를 설명한다. 도 12는 제3 실시예에 따른 사람 이동선 정보 수집 장치의 구성을 나타내는 블럭도이다. 또, 전술한 제1 실시예와 동일한 부분에는 동일한 부호를 붙여 다른 부분에 관해서 설명한다.
이 실시예는 도 12에 나타낸 바와 같이, 특징 벡터 생성부(11)와 정보 기억부(12) 사이에 방문 패턴 대조부로서의 방문 패턴 대조부(18)가 설치되고, 더욱이 상기 정보 기억부(12)에는 도 13에 나타내는 과거 방문 정보 기억부로서의 과거 방문 정보 기억부(12d)가 설치되어 있다.
상기 과거 방문 정보 기억부(12d)는 도 14A에 나타낸 바와 같이, 입장 정보 기억부(12a)에 기억한 입장 정보에 방문 날짜를 부가한 과거 방문 정보(D1)를, 예컨대, 일주일 단위 혹은 1개월 단위로 보존한다. 또한 상기 과거 방문 정보 기억부(12d)는 도 14B에 나타낸 바와 같이, 이동선 정보 기억부(12b)에 기억한 이동선 정보에 방문 날짜를 더욱 부가한 과거 이동선 정보(D2)를, 예컨대, 일주일 단위 혹은 1개월 단위로 보존한다.
상기 과거 방문 정보 기억부(12d)에 대한 어느 고객의 입장 정보의 기억은 상기 입장 정보 기억부(12a)에 그 고객의 입장 정보를 기억할 때, 그 고객이 퇴장할 때, 혹은 미리 설정된 시각에 행해진다. 또한, 상기 과거 방문 정보 기억부(12d)에 대한 어느 고객의 이동선 정보의 기억은 상기 이동선 정보 기억부(12b)에 그 고객의 이동선 정보를 기억할 때, 그 고객이 퇴장할 때, 혹은 미리 설정된 시각에 행해진다.
또, 도 14A 및 14B에서는 기억부(12d)에 기억하는 양을 적게 하기 위해서, 방문 날짜마다 복수의 입장 정보 및 복수의 이동선 정보를 각각 하나의 그룹으로서 기억하고 있지만, 반드시 이에 한정되는 것이 아니며, 각 입장 정보 또는 이동선 정보마다 방문 날짜를 부가하여 기억하더라도 좋다.
상기 방문 패턴 대조부(18)는 고객의 입장시에 상기 특징 벡터 생성부(11)가 생성한 그 고객 고유의 특징 벡터와 도 14A의 상기 과거 방문 정보 기억부(12d)에 보존해 놓은 과거 방문 정보(D1)의 특징 벡터(v)를 대조한다. 동일인이 식별된 경우는 도 15에 나타낸 바와 같이, 식별 ID, 입장 시각, 위치 정보, 특징 벡터에 더하여, 상기 과거 방문 정보(D1)에 보존해 놓은 그 동일인의 방문일(d), 식별 ID(e)을 부가한 정보가 입장 정보로서 입장 정보 기억부(12a)에 기억된다.
도 16은 이상과 같은 구성을 갖는 사람 이동선 정보 수집 장치의 동작을 나타내는 흐름도이다. 이 동작은 제어부(22)의 제어에 기초하여 행해진다.
우선 단계 S41과 같이, 화상 입력부(8)는 카메라(5a, 5b, 6a, 6b, 7a∼7u)로부터의 화상을 받아들이고, 단계 S42에서 사람 검출부(9)는 고객의 검출 처리를 행한다. 고객이 검출되면, 사람 추출부(10)는 단계 S44에서, 사람 얼굴 화상을 추출한다. 그리고, 단계 S45에서, 특징 벡터 생성부(11)는 그 고객의 특징 벡터를 생성한다.
이 생성한 고객의 특징 벡터가 입장자용 카메라(5a, 5b)로부터의 화상에 기초하여 생성한 특징 벡터일 때에는 단계 S47에서 방문 패턴 대조부(18)는 생성한 특징 벡터와 과거 방문 정보 기억부(12d)에 보존해 놓은 과거 방문 정보의 특징 벡터를 대조한다. 제어부(22)는 단계 S48에서, 생성된 특징 벡터에 일련 번호의 식별 ID, 입장 시각, 입장 위치의 각 정보를 부가한 입장 정보를 상기 입장 정보 기억부(12a)에 기억한다. 또한 제어부(22)는 상기 단계 S47에서 방문 패턴 대조부(18)가 동일인을 식별한 경우는 도 15와 같이 특징 벡터에 일련 번호의 식별 ID, 입장 시각 및 입장 위치, 또 해당하는 사람의 이전의 방문 날짜 및 이전의 식별 ID를 부가한 정보를 입장 정보로서 상기 입장 정보 기억부(12a)에 기억한다.
또한, 생성한 고객의 특징 벡터가 퇴장자용 카메라(6a, 6b) 혹은 이동자용 카메라(7a∼7u)로부터의 화상에 기초하여 생성된 특징 벡터일 때에는 단계 S49에서 고객 대조부(13)는 이 생성된 특징 벡터와 입장 정보 기억부(12a)에 기억된 입장시의 각 고객의 특징 벡터를 대조하여 유사도를 산출한다. 단계 S50에서 고객 판정부(14)는 고객 대조부(13)에 의해 산출된 유사도에 기초하여 동일인을 식별한다. 그리고, 동일인이 식별되면, 제어부(22)는 단계 S51에서, 고객의 식별 ID, 통과 시각, 촬영 위치의 정보를 이동선 정보로서 이동선 정보부(12b)에 기억한다.
그 후, 제어부(22)에 의해 이동선 측정의 시각이 단계 S52에서 판단되면, 단계 S53에서, 입장 정보 기억부(12a)에 기억한 입장 정보 및 이동선 정보 기억부(12b)에 기억한 이동선 정보를 집계부(15)가 집계한다. 이 때 집계부(15)는 입장 정보와 이동선 정보로부터 동일한 식별 ID의 정보를 픽업함으로써 고객의 이동선을 구한다.
이와 같이 제3 실시예에서는 입장 정보 기억부(12a) 및 과거 방문 정보 기억부(12d)에 이전 방문 날짜, 이전 식별 ID라는 과거의 방문 정보가 포함되어 있다. 따라서, 예컨대 이전 방문 날짜 및 이전 식별 ID의 정보에 기초하여, 과거 방문 정보(D1)를 찾아 분석함으로써, 어떤 고객이 주 몇회, 혹은 월 몇회의 빈도로 방문하고 있는가, 그리고, 방문하는 시간대는 언제쯤인가라는 방문 시각의 경향, 나아가서는 어떤 요일에 많이 방문하고 있는가 등의 데이터를 수집하는 것이 가능하게 된다.
또한, 마찬가지로 이전 방문 날짜 및 이전 식별 ID의 정보에 기초하여, 과거 방문 정보 기억부(12d)에 보존되어 있는 과거의 이동선 정보(D2)를 차례로 찾아 분석함으로써, 동일 고객의 과거의 이동선을 얻을 수 있어, 이번의 이동선과 과거의 이동선과의 상관을 분석하는 것도 가능하게 된다. 또한, 과거의 방문정보(D1)에 기초하여, 방문 패턴과 과거의 이동선 정보(D2)와의 상관을 분석하는 것도 가능하게 된다.
따라서 이 제3 실시예에 따르면, 점포 경영에 있어서 보다 범용성이 높은 자료를 제공할 수 있다. 또, 이 실시예에 있어서는 방문 정보를 이전 방문 날짜 및 이전 식별 ID로 한 경우에 관해서 설명했지만 이에 한정하는 것이 아님은 물론이다.
제4 실시예
이 실시예는 도 7의 제2 실시예와 같은 구성이며, 다른 점은 도 17에 나타낸 바와 같이 정보 기억부(12)에, 입장 정보 기억부(12a), 이동선 정보 기억부(12b) 및 속성 정보 기억부(12c)에 더하여, 추가로 과거 방문 정보 기억부(12d)를 설치한 점이다. 또, 입장 정보 기억부(12a), 이동선 정보 기억부(12b), 속성 정보 기억부(12c)가 기억하는 정보 내용에 대해서는 제2 실시예와 동일하다.
도 18A에 나타낸 바와 같이 상기 과거 방문 정보 기억부(12d)는 도 11과 같은 속성 정보를 포함하는 입장 정보에 방문 날짜를 더욱 부가한 과거 방문 정보(D11)를, 예컨대, 일주일 단위 혹은 1개월 단위로 보존한다. 또한 과거 방문 정보 기억부(12d)는 도 18B에 나타낸 바와 같이, 이동선 정보 기억부(12b)에 기억한 이동선 정보에 방문 날짜를 더욱 부가한 과거 방문 정보(D12)를, 예컨대, 일주일 단위 혹은 1개월 단위로 보존한다.
상기 과거 방문 정보 기억부(12d)에 대한 어느 고객의 입장 정보의 기억은 상기 입장 정보 기억부(12a)에 그 고객의 입장 정보를 기억할 때, 그 고객이 퇴장할 때, 혹은 미리 설정된 시각에 행해진다. 또한, 상기 과거 방문 정보 기억부(12d)에 대한 어느 고객의 이동선 정보의 기억은 상기 이동선 정보 기억부(12b)에 어느 고객의 이동선 정보를 기억할 때, 그 고객이 퇴장할 때, 혹은 미리 설정된 시각에 행해지도록 되어 있다.
또, 도 18A 및 18B에서는 기억부(12d)에 기억하는 양을 적게 하기 위해서, 방문 날짜마다 복수의 입장 정보 및 이동선 정보를 각각 하나의 그룹으로서 기억하고 있지만, 반드시 이에 한정되는 것이 아니라, 각 입장 정보 또는 이동선 정보마다 방문 날짜를 부가하여 기억하더라도 좋다.
이러한 구성에 있어서는 이동선의 측정 타이밍이 되면, 입장 정보 기억부(12a)에 기억한 입장 정보 및 이동선 정보 기억부(12b)에 기억한 이동선 정보를 집계부(15)가 집계한다. 이 때 집계부(15)는 입장 정보와 이동선 정보로부터 동일한 식별 ID의 정보를 픽업함으로써 고객마다의 이동선 정보를 수집한다.
또한, 입장 정보에 부가된 속성 정보로부터 성별, 연령대별 이동선 정보도 수집할 수 있다. 또, 속성 정보에 기초하여 과거 방문 정보 기억부(12d)에 보존된 과거의 입장 정보의 방문 날짜, 방문 시간을 집계함으로써, 과거의 속성 정보에 기초한 성별, 연령대별 방문 패턴을 자동적으로 수집할 수 있다. 예컨대, 성별, 연령대별의 매월, 매주마다의 방문 사람수나 방문 시간대 등의 데이터 수집이 가능하게 된다.
또한, 속성 정보에 기초하여 과거 방문 정보 기억부(12d)에 보존된 과거의 이동선 정보를 집계함으로써, 과거의 속성 정보에 기초한 성별, 연령대별 이동선도 자동적으로 수집하는 것이 가능하게 되어, 이번의 속성별 이동선과 과거의 속성별 이동선과의 상관을 분석하는 것도 가능하게 된다.
또한, 입장 정보에 부가된 속성 정보에 기초한 방문 패턴과 속성별 이동선과의 상관을 분석하는 것도 가능해진다.
따라서, 점포 경영에 있어서, 보다 범용성이 높은 자료를 제공할 수 있다. 또, 이 실시예에 있어서는 속성 정보를 성별 및 연령대별 정보로 한 경우에 관해서 설명했지만 이에 한정하는 것이 아님은 물론이다.
더욱이, 전술한 각 실시예는 본 발명을 점포내에서의 고객의 입장에서 퇴장까지의 이동선 수집에 적용한 것에 관해서 설명했지만, 반드시 이에 한정하는 것은 아니다. 즉, 출입구가 있는 시설, 예컨대 미술관 등의 전시 시설, 테마 파크 등에 관한 사람의 입장에서 퇴장까지의 이동선 수집에 있어서도 적용할 수 있는 것이다. 예컨대 본 발명을 미술관에 적용한 경우는 수집한 입장 정보, 이동선 정보를 이용함으로써 사람의 흐름이 원활하게 되는 전시품의 배치나 최적의 견학 루트의 검토가 가능하게 되는 동시에, 속성별 입장 정보, 이동선 정보를 앞으로의 전시 기획의 중요한 자료로서 이용할 수 있다.
Claims (20)
- 시설내에 설치되어, 입장, 퇴장 및 이동중인 사람을 촬영하는 복수의 촬영 장치에 의해 촬영한 화상으로부터 사람의 존재를 검출하여 사람 화상을 추출하는 단계와;상기 사람 화상 추출 단계에서 추출된 사람 화상을 화상 처리하여 사람 고유의 특징 벡터를 생성하는 단계와;입장시에 촬영된 사람의 사람 화상으로부터 생성된 특징 벡터에 상기 사람의 식별 코드 및 입장 시각을 포함하는 정보를 부여하여 입장 정보로서 기억하는 단계와;퇴장 및 이동중인 사람의 사람 화상으로부터 생성된 특징 벡터와 상기 입장 정보에 포함되는 특징 벡터를 대조하는 단계와;상기 대조 단계에서 동일인을 식별하였을 때에는 그 사람의 식별 코드, 촬영 시각 및 촬영 위치를 포함하는 이동선 정보를 기억하는 단계와;상기 이동선 정보 기억 단계에서 기억된 이동선 정보로부터 동일 식별 코드를 갖는 이동선 정보를 수집하여, 사람 개개의 상기 시설내 이동 경로를 제공하는 단계를 포함하는 것을 특징으로 하는 사람의 이동 경로를 나타내는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 사람 화상 추출 단계는 사람의 얼굴 화상만을 추출하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 특징 벡터 생성 단계는 주성분 분석을 행하여 저차원의 특징 벡터를 생성하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 단계를 추가로 구비하며,상기 입장 정보를 기억하는 단계는 상기 사람의 속성을 포함하는 입장 정보를 기억하는 단계를 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제4항에 있어서, 상기 속성에는 상기 사람의 성별이 포함되는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 단계를 추가로 구비하며,상기 입장 정보를 기억하는 단계는 상기 사람의 속성을 포함하는 입장 정보를 기억하는 단계를 포함하고,상기 이동 경로를 제공하는 단계는 속성별 이동 경로를 제공하는 단계를 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 입장 정보에 방문 날짜를 부가한 과거 방문 정보를 보존하는 단계, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 상기 과거 방문 정보에 포함되는 특징 벡터를 대조하는 단계를 추가로 구비하며,상기 입장 정보를 기억하는 단계는 상기 과거 방문 정보 대조 단계에서 동일인이 식별되었을 때, 상기 사람의 과거 방문 날짜 및 이전 식별 코드를 포함하는 입장 정보를 기억하고,상기 보존 단계는 또한, 상기 사람의 과거 방문 날짜 및 이전 식별 코드를 포함하는 입장 정보를 보존하는 단계를 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제7항에 있어서, 상기 과거 방문 정보를 이용하여, 상기 동일인의 방문 빈도 및 방문 시각의 경향 데이터를 포함하는 방문 패턴을 제공하는 단계를 추가로 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 이동선 정보에 방문 날짜를 부가한 과거 이동선 정보를 보존하는 단계를 추가로 구비하며,상기 이동선 정보를 수집하는 단계는 상기 과거 이동선 정보를 참조하여, 사람 개개의 상기 시설내의 과거의 이동 경로를 제공하는 단계를 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제1항에 있어서, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 단계를 추가로 포함하며,상기 입장 정보를 기억하는 단계는 상기 사람의 속성을 포함하는 입장 정보를 기억하는 단계를 포함하고,상기 입장 정보에 방문 날짜가 부가된 과거 방문 정보를 보존하는 단계를 추가로 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제10항에 있어서, 상기 과거 방문 정보를 이용하여, 상기 속성별 사람 방문 빈도 및 방문 시각의 경향 데이터를 포함하는 방문 패턴을 제공하는 단계를 추가로 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 제10항에 있어서, 상기 이동선 정보에 방문 날짜를 부가한 과거 이동선 정보를 보존하는 단계를 추가로 포함하며,상기 이동선 정보 수집 단계는 상기 과거 이동선 정보 및 과거 방문 정보를 참조하여 사람 개개의 상기 시설내의 과거의 이동 경로를 상기 속성별로 제공하는 단계를 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 방법.
- 시설내에 설치되어, 입장, 퇴장 및 이동중인 사람을 촬영하는 복수의 촬영 수단과,상기 복수의 촬영 수단에 의해 촬영한 화상으로부터 사람의 존재를 검출하여 사람 화상을 추출하는 수단과,상기 사람 화상 추출 수단에서 추출된 사람 화상을 화상 처리하여 사람 고유의 특징 벡터를 생성하는 수단과,입장시에 촬영된 사람의 사람 화상으로부터 생성된 특징 벡터에 상기 사람의 식별 코드 및 입장 시각을 포함하는 정보를 부여하여 입장 정보로서 기억하는 수단과,퇴장 및 이동중인 사람의 사람 화상으로부터 생성된 특징 벡터와 상기 입장 정보에 포함되는 특징 벡터를 대조하는 수단과,상기 대조 수단에서 동일인을 식별하였을 때에는 그 사람의 식별 코드, 촬영 시각 및 촬영 위치를 포함하는 이동선 정보를 기억하는 수단과,상기 이동선 정보 기억수단에서 기억된 이동선 정보로부터 동일 식별 코드를 갖는 이동선 정보를 수집하여, 사람 개개의 상기 시설내 이동 경로를 제공하는 수단을 구비하는 것을 특징으로 하는 사람의 이동 경로를 나타내는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 사람 화상 추출 수단은 사람의 얼굴 화상만을 추출하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 특징 벡터 생성 수단은 주성분 분석을 행하여 저차원의 특징 벡터를 생성하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 수단을 추가로 구비하며,상기 입장 정보를 기억하는 수단은 상기 사람의 속성을 포함하는 입장 정보를 기억하는 수단을 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제16항에 있어서, 상기 속성에는 상기 사람의 성별이 포함되는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 미리 기억한 사람의 속성별 특징 벡터를 대조하여 상기 사람의 속성을 판정하는 수단을 추가로 구비하며,상기 입장 정보를 기억하는 수단은 상기 사람의 속성을 포함하는 입장 정보를 기억하는 수단을 포함하고,상기 이동선 정보 기억 수단은 상기 속성을 포함하는 이동선 정보를 기억하는 수단을 포함하고,상기 이동 경로를 제공하는 수단은 속성별 이동 경로를 제공하는 수단을 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 입장 정보에 방문 날짜를 부가한 과거 방문 정보를 보존하는 수단, 상기 입장시에 촬영된 사람의 사람 화상으로부터 생성된 상기 특징 벡터와 상기 과거 방문 정보에 포함되는 특징 벡터를 대조하는 수단을 추가로 구비하며,상기 입장 정보를 기억하는 수단은 상기 대조 수단에서 동일인이 식별되었을 때, 상기 사람의 과거 방문 날짜 및 이전 식별 코드를 포함하는 입장 정보를 기억하는 수단을 포함하고,상기 보존 수단은 상기 사람의 과거 방문 날짜 및 이전 식별 코드를 포함하는 입장 정보를 보존하는 수단을 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
- 제13항에 있어서, 상기 이동선 정보에 방문 날짜를 부가한 과거 이동선 정보를 보존하는 수단을 추가로 구비하며,상기 이동선 정보를 수집하는 수단은 상기 과거 이동선 정보를 참조하여, 사람 개개의 상기 시설내의 과거의 이동 경로를 제공하는 수단을 포함하는 것을 특징으로 하는 사람 이동선 정보의 수집 장치.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP98-305431 | 1998-10-27 | ||
JP30543198 | 1998-10-27 | ||
JP99-251592 | 1999-09-06 | ||
JP25159299A JP2000200357A (ja) | 1998-10-27 | 1999-09-06 | 人物動線情報の収集方法及び収集装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20000029317A true KR20000029317A (ko) | 2000-05-25 |
Family
ID=26540264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019990046560A KR20000029317A (ko) | 1998-10-27 | 1999-10-26 | 사람 이동선 정보의 수집 방법 및 수집 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6654047B2 (ko) |
JP (1) | JP2000200357A (ko) |
KR (1) | KR20000029317A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100715752B1 (ko) * | 2004-01-08 | 2007-05-08 | 엔이씨 인프론티어 가부시키가이샤 | 혼잡 상황 관리 장치 및 혼잡 상황 관리 시스템 |
KR101522874B1 (ko) * | 2010-09-29 | 2015-05-27 | 오므론 가부시키가이샤 | 정보처리장치 및 방법, 및 프로그램 |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319479B1 (en) * | 2000-09-22 | 2008-01-15 | Brickstream Corporation | System and method for multi-camera linking and analysis |
US7062749B2 (en) * | 2000-12-15 | 2006-06-13 | Promenix, Inc. | Measuring, monitoring and tracking enterprise communications and processes |
JP3801870B2 (ja) * | 2001-02-16 | 2006-07-26 | 株式会社モノリス | 多変量空間処理装置 |
GB0112990D0 (en) * | 2001-05-26 | 2001-07-18 | Central Research Lab Ltd | Automatic classification and/or counting system |
US7167576B2 (en) * | 2001-07-02 | 2007-01-23 | Point Grey Research | Method and apparatus for measuring dwell time of objects in an environment |
US20030040925A1 (en) * | 2001-08-22 | 2003-02-27 | Koninklijke Philips Electronics N.V. | Vision-based method and apparatus for detecting fraudulent events in a retail environment |
US7688349B2 (en) * | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US20030107650A1 (en) * | 2001-12-11 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Surveillance system with suspicious behavior detection |
US20030133614A1 (en) * | 2002-01-11 | 2003-07-17 | Robins Mark N. | Image capturing device for event monitoring |
US7039237B2 (en) * | 2002-10-14 | 2006-05-02 | Eastman Kodak Company | Method and system for preventing abduction of a person |
AU2003286778A1 (en) * | 2002-10-30 | 2004-06-07 | Premier Wireless, Inc. | Queuing management and vessel recognition |
JP4125634B2 (ja) * | 2003-05-26 | 2008-07-30 | Necソフト株式会社 | 顧客情報収集管理方法及びそのシステム |
US7127083B2 (en) * | 2003-11-17 | 2006-10-24 | Vidient Systems, Inc. | Video surveillance system with object detection and probability scoring based on object class |
US7148912B2 (en) * | 2003-11-17 | 2006-12-12 | Vidient Systems, Inc. | Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging |
US7088846B2 (en) * | 2003-11-17 | 2006-08-08 | Vidient Systems, Inc. | Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones |
US7136507B2 (en) * | 2003-11-17 | 2006-11-14 | Vidient Systems, Inc. | Video surveillance system with rule-based reasoning and multiple-hypothesis scoring |
US7171024B2 (en) * | 2003-12-01 | 2007-01-30 | Brickstream Corporation | Systems and methods for determining if objects are in a queue |
US7319779B1 (en) * | 2003-12-08 | 2008-01-15 | Videomining Corporation | Classification of humans into multiple age categories from digital images |
US7889381B2 (en) * | 2004-05-28 | 2011-02-15 | Fujifilm Corporation | Photo service system |
JP2006309280A (ja) * | 2005-04-26 | 2006-11-09 | Hitachi Software Eng Co Ltd | 非接触icタグを利用した店舗内顧客購買行動分析システム |
JP4732849B2 (ja) * | 2005-10-04 | 2011-07-27 | 富士フイルム株式会社 | 自動計数装置、プログラムおよび方法 |
JP4873224B2 (ja) * | 2006-02-06 | 2012-02-08 | オムロン株式会社 | 情報処理装置および方法、並びにプログラム |
JP2007082197A (ja) * | 2006-08-18 | 2007-03-29 | Nec Corp | モニタリングシステムおよびその方法 |
JP4667508B2 (ja) * | 2006-09-20 | 2011-04-13 | 富士通株式会社 | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム |
US7957565B1 (en) * | 2007-04-05 | 2011-06-07 | Videomining Corporation | Method and system for recognizing employees in a physical space based on automatic behavior analysis |
US8068986B1 (en) | 2007-04-27 | 2011-11-29 | Majid Shahbazi | Methods and apparatus related to sensor signal sniffing and/or analysis |
WO2008134562A2 (en) * | 2007-04-27 | 2008-11-06 | Nielsen Media Research, Inc. | Methods and apparatus to monitor in-store media and consumer traffic related to retail environments |
WO2009001827A1 (ja) * | 2007-06-26 | 2008-12-31 | Toshiba Tec Kabushiki Kaisha | 顧客行動管理装置,方法及びプログラム |
JP4778532B2 (ja) * | 2008-03-17 | 2011-09-21 | Necソフト株式会社 | 顧客情報収集管理システム |
JP4510112B2 (ja) * | 2008-04-11 | 2010-07-21 | 東芝テック株式会社 | 動線解析装置 |
JP4585580B2 (ja) * | 2008-04-24 | 2010-11-24 | 東芝テック株式会社 | 人物動線追跡システム |
JP2010002997A (ja) * | 2008-06-18 | 2010-01-07 | Toshiba Tec Corp | 人物行動分析装置及び人物行動分析プログラム |
JP4753193B2 (ja) * | 2008-07-31 | 2011-08-24 | 九州日本電気ソフトウェア株式会社 | 動線管理システムおよびプログラム |
JP2010113692A (ja) * | 2008-11-10 | 2010-05-20 | Nec Corp | 顧客行動記録装置及び顧客行動記録方法並びにプログラム |
JP5461893B2 (ja) * | 2009-06-08 | 2014-04-02 | Jr東日本メカトロニクス株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR101198386B1 (ko) | 2010-02-01 | 2012-11-07 | 박은경 | 유아의 행동 양식 분석을 이용한 키즈 카페 운영 방법 |
JP4975835B2 (ja) * | 2010-02-17 | 2012-07-11 | 東芝テック株式会社 | 動線連結装置及び動線連結プログラム |
JP2011170564A (ja) * | 2010-02-17 | 2011-09-01 | Toshiba Tec Corp | 動線連結方法,装置及び動線連結プログラム |
JP2012094104A (ja) * | 2010-09-29 | 2012-05-17 | Omron Corp | 情報処理装置および方法、並びにプログラム |
GB2490660A (en) * | 2011-05-04 | 2012-11-14 | Infared Integrated Systems Ltd | Queue monitoring system |
EP2677460B1 (de) * | 2012-06-20 | 2015-07-08 | Xovis AG | Verfahren zur Bestimmung der Länge einer Warteschlange |
US10839227B2 (en) | 2012-08-29 | 2020-11-17 | Conduent Business Services, Llc | Queue group leader identification |
US9600711B2 (en) | 2012-08-29 | 2017-03-21 | Conduent Business Services, Llc | Method and system for automatically recognizing facial expressions via algorithmic periocular localization |
US9641763B2 (en) | 2012-08-29 | 2017-05-02 | Conduent Business Services, Llc | System and method for object tracking and timing across multiple camera views |
US9213900B2 (en) | 2013-06-06 | 2015-12-15 | Xerox Corporation | Automated vision-based clutter detector and notifier |
JP5834249B2 (ja) * | 2013-11-20 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 人物移動分析装置、人物移動分析システムおよび人物移動分析方法 |
JP5834254B2 (ja) * | 2014-04-11 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 人数計測装置、人数計測システムおよび人数計測方法 |
US9779331B2 (en) | 2014-04-24 | 2017-10-03 | Conduent Business Services, Llc | Method and system for partial occlusion handling in vehicle tracking using deformable parts model |
US9483838B2 (en) | 2014-04-24 | 2016-11-01 | Xerox Corporation | Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification |
US9576371B2 (en) | 2014-04-25 | 2017-02-21 | Xerox Corporation | Busyness defection and notification method and system |
US9940633B2 (en) | 2014-04-25 | 2018-04-10 | Conduent Business Services, Llc | System and method for video-based detection of drive-arounds in a retail setting |
JP6348784B2 (ja) * | 2014-06-27 | 2018-06-27 | 東芝テック株式会社 | 情報処理装置及びプログラム |
DE102014009686A1 (de) * | 2014-07-02 | 2016-01-07 | Csb-System Ag | Verfahren zur Erfassung schlachttierbezogener Daten an einem Schlachttier |
JP2016021184A (ja) | 2014-07-15 | 2016-02-04 | 東芝テック株式会社 | 顔識別装置及びプログラム |
JP6473308B2 (ja) * | 2014-09-29 | 2019-02-20 | アズビル株式会社 | 制御システム |
JP6273220B2 (ja) * | 2015-01-13 | 2018-01-31 | 東芝テック株式会社 | ドライブスルーシステム |
US10984355B2 (en) | 2015-04-17 | 2021-04-20 | Xerox Corporation | Employee task verification to video system |
JP6645166B2 (ja) * | 2015-12-16 | 2020-02-14 | 日本電気株式会社 | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
JP6923011B2 (ja) * | 2015-12-16 | 2021-08-18 | 日本電気株式会社 | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
JP7160430B2 (ja) * | 2016-03-23 | 2022-10-25 | 日本電気株式会社 | 動線判定装置、動線判定システム、動線判定方法及びプログラム |
JP2017174343A (ja) * | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 入店者属性抽出装置及び入店者属性抽出プログラム |
EP3312762B1 (en) * | 2016-10-18 | 2023-03-01 | Axis AB | Method and system for tracking an object in a defined area |
JP6800820B2 (ja) * | 2017-07-14 | 2020-12-16 | パナソニック株式会社 | 人流分析方法、人流分析装置、及び人流分析システム |
CN108875490A (zh) * | 2017-09-30 | 2018-11-23 | 北京旷视科技有限公司 | 人员流量分析的方法、装置及计算机存储介质 |
US11328513B1 (en) * | 2017-11-07 | 2022-05-10 | Amazon Technologies, Inc. | Agent re-verification and resolution using imaging |
JP7109141B2 (ja) * | 2018-04-02 | 2022-07-29 | パナソニックホールディングス株式会社 | 買物支援システム及び買物支援方法 |
NL2021481B1 (en) * | 2018-08-17 | 2020-02-24 | Kepler Vision Tech Bv | A method for automatically annotating and identifying a living being or an object with an identifier, such as RFID, and computer vision. |
WO2020036490A1 (en) * | 2018-08-17 | 2020-02-20 | Kepler Vision Technologies Bv | A method and system for automatically annotating and identifying a living being or an object with an identifier providing a subject identification |
US11704782B2 (en) * | 2018-10-03 | 2023-07-18 | The Toronto-Dominion Bank | Computerized image analysis for automatically determining wait times for a queue area |
JP7218778B2 (ja) * | 2020-01-09 | 2023-02-07 | 日本電気株式会社 | 情報処理システム、方法およびプログラム |
DE102020203461A1 (de) * | 2020-03-18 | 2021-09-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Überwachungsanlage, Verfahren, Computerprogramm und Speichermedium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546771A (ja) * | 1991-08-16 | 1993-02-26 | Toshiba Corp | 運動物体検出装置 |
JPH0723452A (ja) * | 1993-06-18 | 1995-01-24 | Kuukan Senriyaku Kenkyusho:Kk | 動線データ収集装置 |
JPH07249138A (ja) * | 1994-03-09 | 1995-09-26 | Nippon Telegr & Teleph Corp <Ntt> | 滞留時間計測方法 |
JPH07325906A (ja) * | 1994-05-31 | 1995-12-12 | Hitachi Ltd | 移動体検出・追跡装置 |
JPH08212351A (ja) * | 1995-02-08 | 1996-08-20 | Fujitsu General Ltd | 動画像認識装置 |
JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5274714A (en) * | 1990-06-04 | 1993-12-28 | Neuristics, Inc. | Method and apparatus for determining and organizing feature vectors for neural network recognition |
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
WO1994027408A1 (en) | 1993-05-14 | 1994-11-24 | Rct Systems, Inc. | Video traffic monitor for retail establishments and the like |
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的系统和方法 |
US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6054928A (en) * | 1998-06-04 | 2000-04-25 | Lemelson Jerome H. | Prisoner tracking and warning system and corresponding methods |
-
1999
- 1999-09-06 JP JP25159299A patent/JP2000200357A/ja active Pending
- 1999-10-20 US US09/422,003 patent/US6654047B2/en not_active Expired - Fee Related
- 1999-10-26 KR KR1019990046560A patent/KR20000029317A/ko not_active Application Discontinuation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546771A (ja) * | 1991-08-16 | 1993-02-26 | Toshiba Corp | 運動物体検出装置 |
JPH0723452A (ja) * | 1993-06-18 | 1995-01-24 | Kuukan Senriyaku Kenkyusho:Kk | 動線データ収集装置 |
JPH07249138A (ja) * | 1994-03-09 | 1995-09-26 | Nippon Telegr & Teleph Corp <Ntt> | 滞留時間計測方法 |
JPH07325906A (ja) * | 1994-05-31 | 1995-12-12 | Hitachi Ltd | 移動体検出・追跡装置 |
JPH08212351A (ja) * | 1995-02-08 | 1996-08-20 | Fujitsu General Ltd | 動画像認識装置 |
JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100715752B1 (ko) * | 2004-01-08 | 2007-05-08 | 엔이씨 인프론티어 가부시키가이샤 | 혼잡 상황 관리 장치 및 혼잡 상황 관리 시스템 |
KR101522874B1 (ko) * | 2010-09-29 | 2015-05-27 | 오므론 가부시키가이샤 | 정보처리장치 및 방법, 및 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
US6654047B2 (en) | 2003-11-25 |
US20030164878A1 (en) | 2003-09-04 |
JP2000200357A (ja) | 2000-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20000029317A (ko) | 사람 이동선 정보의 수집 방법 및 수집 장치 | |
CN110033298B (zh) | 信息处理设备及其控制方法、系统和存储介质 | |
CN109255642B (zh) | 人流分析方法、人流分析装置以及人流分析系统 | |
JP3800257B2 (ja) | 注目情報計測方法及び装置並びにそれを用いた各種システム | |
JP3584334B2 (ja) | 人間検出追跡システムおよび人間検出追跡方法 | |
JP4972491B2 (ja) | 顧客動作判定システム | |
EP3671633A1 (en) | Face recognition system, face recognition method, and storage medium | |
JP4125634B2 (ja) | 顧客情報収集管理方法及びそのシステム | |
KR101178687B1 (ko) | Rfid 기술 및 영상 기술을 통합한 동선 분석 시스템 및 그 방법 | |
JP4069932B2 (ja) | 人間検知装置および人間検知方法 | |
CN107615298A (zh) | 人脸识别方法及系统 | |
US7650318B2 (en) | Behavior recognition using vectors of motion properties based trajectory and movement type | |
JPH1049718A (ja) | 通過人数計測装置及びそれを用いた入退場者数管理システム | |
JP2010002997A (ja) | 人物行動分析装置及び人物行動分析プログラム | |
JP2012088878A (ja) | 顧客優待管理システム | |
KR20190124114A (ko) | 유동인구 데이터와 pos데이터를 활용한 상권분석 빅데이터 시스템 | |
CN108335317A (zh) | 一种线下导购方法及装置 | |
US20160307215A1 (en) | Server and method for determining attribute information of customer by the same | |
JP5193215B2 (ja) | 集計システム、集計装置、及び集計方法 | |
JP2005309951A (ja) | 販売促進支援システム | |
JP2003263641A (ja) | 移動分析装置 | |
JP6557702B2 (ja) | 顧客分析システム | |
KR20160011804A (ko) | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 | |
JPH08137916A (ja) | 顧客興味情報収集方法および装置 | |
US11825240B2 (en) | Video based monitoring system using multiple cameras, method, computer program and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |