KR101454952B1 - 작업환경을 위한 사용자 행위 관찰 시스템 - Google Patents

작업환경을 위한 사용자 행위 관찰 시스템 Download PDF

Info

Publication number
KR101454952B1
KR101454952B1 KR1020110087008A KR20110087008A KR101454952B1 KR 101454952 B1 KR101454952 B1 KR 101454952B1 KR 1020110087008 A KR1020110087008 A KR 1020110087008A KR 20110087008 A KR20110087008 A KR 20110087008A KR 101454952 B1 KR101454952 B1 KR 101454952B1
Authority
KR
South Korea
Prior art keywords
user
image
rfid tag
unit
rfid
Prior art date
Application number
KR1020110087008A
Other languages
English (en)
Other versions
KR20130025003A (ko
Inventor
김용세
이성일
최예은
장민선
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110087008A priority Critical patent/KR101454952B1/ko
Publication of KR20130025003A publication Critical patent/KR20130025003A/ko
Application granted granted Critical
Publication of KR101454952B1 publication Critical patent/KR101454952B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/681Types of network addresses using addresses for wireless personal area networks or wireless sensor networks, e.g. Zigbee addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

개시된 기술은 다수의 사용자가 동적으로 과업을 수행하는 환경에서의 사용자 관찰을 목적으로 한다. 사용자의 행위에 대한 구체적이고 정확한 관찰을 위하여 RFID 를 이용한 object tracking 을 수행하며 압력센서의 변화를 통해 동선을 추적하는 smart floor monitoring system 을 설계하였다. 또한 과업을 수행하는 공간을 아우르는 전체적인 비디오 촬영과 사용자의 시야각을 촬영할 수 있는 소형 무선 카메라를 이용한 동영상 녹화를 병행하여 video-based observation system을 구축하였다. 각각의 시스템을 통해 얻게 된 데이터들은 시간으로 동기화되어 데이터베이스에 일괄적으로 저장된다. 개시된 기술에서 제안하는 시스템을 통하여 얻은 데이터는 사용자가 주로 사용하는 손, object를 잡는 위치, 걷는 속도 및 보폭 등 보다 구체적이고 정확한 사용자 행위 관찰이 가능하도록 하였다. 시스템의 효율성 및 정확성을 검증하기 위해 커피숍 환경을 구성하여 두 명의 시스템 사용자가 종업원이 되어 고객에게 서비스를 제공하는 세 가지 시나리오를 수행하였으며 결과 데이터를 분석하여 사용자의 동선 및 행동 패턴을 파악하는 종합적인 분석을 수행하였다.

Description

작업환경을 위한 사용자 행위 관찰 시스템{AUTOMATED USER BEHAVIOR MONITORING SYSTEM FOR WORK ENVIRONMENT}
개시된 기술은 작업환경을 위한 사용자 행위 관찰 시스템에 관한 것으로, 특히, 동적 작업환경에서 사용자 행위를 관찰하는 시스템 및 그 방법에 관한 것이다
오늘날 제품과 서비스 개발을 선도하던 성능 향상 및 제조 기술이 어느 정도 한계에 도달하자 기존 기술을 응용한 아이디어나 제품의 사용편의성 등을 고려한 사용자 중심의 디자인이 제품과 서비스 개발의 주요수단으로 변화하고 있는 추세이다. 사용자 중심의 디자인을 하기 위해서는 실제 사용자의 실질적인 요구사항을 반영해야 한다. 일반적으로 사용자의 요구사항을 알아내기 위해서 제품 개발 단계나 이미 개발된 제품에 대해 사용성 평가를 실시한다. 사용성 평가를 통해 제품이나 서비스 사용상의 문제점이 미리 파악되고 이에 대한 개선 정보를 얻을 수 있기 때문에, 사용성 평가는 사용자 중심의 디자인에 크게 기여하게 된다. 이러한 상황에서 사용자의 실제 사용행위를 비디오로 기록하고 이를 분석하는 방법에 대한 연구가 많이 이루어지고 있다. 사용자에 대한 제품 사용행위에서의 다양한 특성을 밝히기 위해서는 다양한 측면에서의 분석과 이러한 다양한 측면 간의 상호관계에 대한 분석이 가능한 방법에 대한 연구가 이루어져야 한다.
기존의 사용성 평가 시스템 관련 연구는 한 명의 사용자가 정적인 환경에서 하나의 제품을 사용하는 모습을 관찰하며, 사용편의성에 영향을 미치는 요소가 무엇이고 이러한 요소를 변화시키기 위해서 어떠한 설계변수를 조절해야 하는지에 대한 연구가 주로 진행되었다. H.H. Hsu 등은 (2006) 다양한 센서를 사용하여 사용자행위 데이터를 분석하는 연구에서 비디오 영상정보와 RFID 데이터를 결합하여 열람실 환경에서의 학습 행위를 모니터링 하였다. T. Mori 등(2004)은 ‘sensing room'의 바닥과 가구에 부착된 압력센서와 RFID tag 데이터를 사용하여 거주자의 위치 상태와 생활패턴을 분석하고자 하였다. 특정 환경에서 다수의 사용자가 여러 가지 제품을 사용하는 모습을 관찰하는 시스템도 존재한다. J. Symonds 등은 RFID 기술을 이용하여 침실, 부엌과 같은 공간마다 RFID tag 를 붙여 놓고 추적의 대상이 되는 물건의 움직임을 파악하여 잃어버리기 쉬운 물건을 추적 할 수 있는 시스템을 개발하였고 이를 통해 고령자 및 장애인들이 실생활에서 직면한 문제를 해결하고자 하였다. B. Pulson, T. Hammond(2008)는 사용자가 오피스 환경에서 한 자리에 고정하여 일하는 정적인 상태에서의 사용자의 행위를 관찰하였다. 이들 역시 RFID tag 를 책상 위의 전화기나 컵 등에 붙여놓고 사용자의 손목에 소형 reader 를 장착하여 팔의 움직임에 따라 좁은 공간에서 사무기기의 사용을 추적하였다. M. Buettner 등(2009)은 일상생활이 가능한 아파트 곳곳에 RFID reader 및 안테나를 장착하여 랜드마크가 되는 장소를 기반으로 사용자의 행위를 관찰하였다. 움직일 수 있는 소형 용품들에 RFID tag 를 부착하여 14가지 시나리오를 통해 장소 기반으로 감지되는 RFID tag 를 추적하였고 10 명의 피 실험자를 대상으로 실험을 수행하여 사용자의 행동 중 95%를 인식하는 결과를 보였다.
하지만 이런 시스템은 단순히 object tracking 을 통해 사용자의 이동 경로를 추적하거나 특정 object의 사용여부 및 현재 위치를 관찰하는 정도에 그치고 있다. 어떤 사용자가 어떤 object 의 어느 부분을 어떻게 만졌는지 정도의 자세한 정보는 제공하지 못할 뿐더러 결과분석 또한 시간에 따라 변하는 상태를 열거한 것일 뿐 데이터를 통하여 사용자의 의도나 행동패턴과 같은 심도 있는 분석 내용에 대해서는 언급하고 있지 않다. 본 연구는 이러한 기존의 사용자평가 행위 분석의 단점을 보완하기 위해 특정 환경에서 다수의 사용자가 다수의 object 를 사용하는 경우, 사용자의 행동을 구체적으로 모니터링 할 수 있는 시스템을 개발하였다. 이를 통해 동적인 환경에서 사용자들이 object 를 사용하는 행위를 세부적으로 모니터링 하여 고유의 행동 패턴을 자동적으로 도출해 낼 수 있도록 한다.
개시된 기술은 다수의 사용자가 동적으로 과업을 수행하는 환경에서의 사용자 관찰을 목적으로 한다. 사용자의 행위에 대한 구체적이고 정확한 관찰을 위하여 RFID 를 이용한 object tracking 을 수행하며 압력센서의 변화를 통해 동선을 추적하는 smart floor monitoring system 을 설계하였다. 또한 과업을 수행하는 공간을 아우르는 전체적인 비디오 촬영과 사용자의 시야각을 촬영할 수 있는 소형 무선 카메라를 이용한 동영상 녹화를 병행하여 video-based observation system을 구축하였다. 각각의 시스템을 통해 얻게 된 데이터들은 시간으로 동기화되어 데이터베이스에 일괄적으로 저장된다. 개시된 기술에서 제안하는 시스템을 통하여 얻은 데이터는 사용자가 주로 사용하는 손, object를 잡는 위치, 걷는 속도 및 보폭 등 보다 구체적이고 정확한 사용자 행위 관찰이 가능하도록 하였다. 시스템의 효율성 및 정확성을 검증하기 위해 커피숍 환경을 구성하여 두 명의 시스템 사용자가 종업원이 되어 고객에게 서비스를 제공하는 세 가지 시나리오를 수행하였으며 결과 데이터를 분석하여 사용자의 동선 및 행동 패턴을 파악하는 종합적인 분석을 수행하였다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술에 따르면, 단순히 특정 물건이 이동하는 경로를 파악하는 object tracking을 통해 사용자의 이동 경로를 추적하거나 특정 object의 사용여부 및 현재 위치를 관찰하는 정도에 그치는 기존의 사용자 행위 관찰 시스템을 보완하여 동적인 환경에서 다수의 사용자들을 관찰 할 수 있다. 그뿐만 아니라 다수의 object를 사용하는 경우, 어느 부분을 어떤 손으로 만졌는지 와 같이 비디오 관찰만으로는 파악할 수 없는 세밀한 사용자들의 행동들을 저장 해준다. 바닥의 압력센서를 통한 동선 추적, RFID reader를 통한 팔 동작 추적 데이터가 동기화되어 사용자 및 소비자의 행동 패턴을 개발한 분석 프로그램을 통하여 자동적으로 도출할 수 있다.
개시된 기술에 따른 사용자 행위 관찰 시스템은, 제품 및 서비스 요소 및 사용 환경 요소를 포함하는 사용자의 사용정보와 소비자 간의 행위 정보를 수집하므로 제품의 이용, 제품에 대한 서비스 등에서 사용자(제품/서비스 제공자)의 프로세스를 개선할 수 있으며, 상황에 따른 행동 패턴을 도출하므로 시스템, 환경 디자인에 반영할 수 있다. 또한 이를 통해 소비자에게 개선된 제품/서비스 가치를 제공하므로 부가가치를 창출하는 기반이 될 것이다.
도 1은 관찰 카메라의 형태를 설명하기 위한 도면이다.
도 2는 RFID 시스템을 설명하기 위한 도면이다.
도 3은 Smart Floor 시스템을 설명하기 위한 도면이다.
도 4는 RFID Monitoring Software를 설명하기 위한 도면이다.
도 5는 Smart Floor Monitoring Software를 설명하기 위한 도면이다.
도 6은 사용성 평가를 수행하는 모습의 일례이다.
도 7은 일 실시예에 따른 사용성 평가에서 사용한 Object의 종류와 빈도를 나타낸다.
도 8은 일 실시예에 따른 사용성 평가에서 추론된 rule base의 예시이다.
도 9는 Object Tracking 다이어그램을 설명하기 위한 도면이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
제품 및 서비스를 주고받는 사용자/소비자의 요구조건을 조사하고 환경을 개선하기 위하여 그들의 사용정보 및 행위를 관찰할 수 있는 행위 관찰 시스템이 개발되어왔다. 이러한 사용자 행위 관찰은 일반적으로 캠코더와 같은 장비를 설치해 비디오 녹화를 통하여 이루어졌고, 주로 정적인 자세의 사용자에 초점을 맞춰 팔 동작과 같은 신체의 일부분을 관찰하는 방식으로 진행되었다. 따라서 본 발명에서는 사용자 및 소비자가 자연스럽게 행동하고 상호작용을 하는 동적 환경에서 사용 정보를 수집할 수 있는 행위 관찰 시스템을 제안하고자 한다. 그 하드웨어 구성요소는 다음과 같다.
1. 시스템 개발 및 실험환경 구축
1.1 하드웨어 시스템
본 연구에서는 제안하는 시스템을 크게 video-based observation system 과 WPAN(Wireless Personal Area Network)-based measurement system 그리고 Smart floor-based measurement system 세 가지로 나누어 개발을 진행하였고, 이들을 커피숍의 주방을 본 딴 실험 방에 적용하였다.
Video-based observation system 의 경우 주어진 실험 방 내에서 사용자의 전체적인 움직임을 모니터링 하고 동선을 파악하기 위해 도 1과 같은 두 가지 타입의 카메라를 사용하였다. 첫째는 PTZ(Pan, Tilt and Zoom) 돔 타입의 카메라 두 대를 실험 방의 양쪽 끝 천장에 부착하여 사용자평가 환경 내에서 사용자의 전체적인 움직임을 모니터링하고 동선을 파악할 수 있게 하였다. 둘째는 사용자의 시선을 추적하고 현재 사용하고 있는 object의 사용 현황을 자세하게 모니터링 하기 위해 사용자가 착용한 모자 앞쪽에 소형 무선 타입의 카메라를 부착하였다.
WPAN-based measurement system 은 13.56Mhz RFID 시스템을 이용하여 개발하였다. 도 2는 RFID 시스템의 예시이다. 사용자의 양쪽 손목에 밴드 형태로 제작한 소형 RFID reader 를 각각 부착하고, 40x20mm 소형 안테나를 사용자의 양손 약지 각각에 부착하였다. RFID reader 는 FIRMSYS 사의 FSMR305S 제품을 사용하였으며, RFID 안테나의 인식거리는 80mm 이다. 사용자는 위의 RFID 구성을 부착한 상태로 실험 환경 내에서 여러 가지 동적인 활동들을 행하게 되며, 이 때 구성품의 부착 위치는 사용자의 활동에 최소한의 영향을 미치도록 하였다. 사용자가 object를 사용할 때 object 에 부착된 RFID tag 가 인식되며, 이를 Bluetooth FB155BC 임베디드 모듈에 연결하여 WPAN 을 이용해 PC 로 데이터를 전송할 수 있도록 구성하였다.
Smart floor-based measurement system 은 위의 video-based observation system 과 별개로 사용자의 움직임을 모니터링하고 동선을 파악하기 위해 구성되었다. 사용자가 활동하는 영역에 압력센서와 데이터 수집용 하드웨어 모듈을 부착한 발판을 설치하여, 사용자가 움직이는 위치를 실시간으로 파악할 수 있게 하였다. 도 3은 Smart Floor 시스템의 일례를 나타낸다. 압력센서는 인식 할 수 있는 무게 범위가 0-11kg 인 TECSCAN 사의 FlexiForce A201-25 를 사용했으며, 하드웨어 모듈은 PHIDGETS 사의 1019-PhidgetInterfaceKit Input/Output Board 를 사용하였다. 전체면적 5m x 1.5m 의 발판에는 총 135 개의 압력센서를 부착하였으며 일정한 패턴으로 20 개의 하드웨어 모듈 당 6 개 또는 7개의 압력센서를 연결하였다. 압력센서는 발판의 상단에 부착하여 센서 보정 및 유지보수가 용이하게 하였으며, 압력센서에 돌기를 부착함으로써 센서에 전달되는 압력의 인식률을 높였다. 센서를 부착한 발판 위에 5mm 두께의 우드락과 인테리어용 장판을 설치하여 사용자의 무게를 주변으로 분산시키는 효과를 얻게 하였으며, 압력센서로 인식된 데이터 값은 USB 연결방식을 사용하여 PC 로 전송할 수 있도록 구성하였다.
1.2 소프트웨어 시스템
본 연구에서는 동적인 작업 환경에서 자동화된 사용자평가 시스템을 구축하기 위해 하드웨어 시스템과 연동하여, 네 대의 카메라와 네 개의 RFID reader 그리고 135 개의 압력센서를 통해 인식되는 데이터를 수집하는 observation software system을 개발하였다. 소프트웨어 시스템은 RFID monitoring software 와 Smart floor monitoring software 로 구분된다.
도 4 의 RFID monitoring software 는 크게 두 가지 역할로 나뉜다. 첫 번째는 RFID reader 에 인식되는 RFID tag 데이터를 데이터베이스로 저장하는 역할을 한다. 데이터베이스에는 RFID tag 가 인식된 시간, RFID tag ID, RFID tag 에 해당하는 object name, RFID reader ID 그리고 RFID tag 가 인식되는 순간의 동영상 프레임이 기록된다. 두 번째는 분석을 할 때 시각적인 도움을 주기 위한 것으로, 소프트웨어 상에 어떤 RFID tag 가 인식되었는지 여부를 RFID tag 가 부착되어 있는 object 사진에 색으로 강조하여 표시해주며, 사용자가 object 를 사용한 빈도수가 각각 표시된다. 또한 사용자가 object 와 object 사이를 이동한 경로가 사용자 고유의 색으로 순차적으로 표시되며, 네 대의 카메라에서 녹화되는 동영상이 4 분할 된 화면에 동시에 출력된다. 이 모든 시각화된 정보는 데이터베이스에 저장되는 RFID 데이터와 동기화되어 동영상으로 저장된다.
Smart floor monitoring system 은 아래의 도 5 와 같이 smart floor 에 설치된 센서를 한눈에 파악할 수 있도록 개발되었다. 사용자의 움직임에 대한 smart floor 의 인식률을 높이기 위해 135 개의 압력센서 데이터 값이 실시간으로 제공되며, 고장 난 하드웨어 또는 압력센서를 실시간으로 감지함으로써 손쉬운 유지보수가 가능하도록 하였다. Smart floor monitoring software 는 데이터 분석을 위해 압력센서가 인식되는 시간과 각 압력센서 별 데이터 값을 데이터베이스에 기록한다. 또한 실제 발판 구성과 압력센서 배치 구조를 소프트웨어 상에 그대로 나타내며, 현재 감지되고 있는 압력센서 위치를 색으로 강조하고 사용자의 이동 경로를 사용자 고유의 색으로 표시하여 사용자의 현재위치와 동선을 시각적으로 파악할 수 있도록 개발하였다. 이러한 시각적인 정보는 RFID monitoring software 와 같이 압력센서 데이터와 동기화되어 동영상으로 저장된다.
1.3 사용자평가 실험 환경
제품서비스통합시스템(Product Service System)의 관점에서 종업원과 고객 간에 발생할 수 있는 사용행위를 관찰하기 위하여, 사용행위 데이터 수집을 위한 장비 구축 및 사용정보 추출을 위한 기술을 개발하고 커피숍의 주방을 본 딴 실험 방에 이를 적용하였다. 실험 방에는 에스프레소 머신, 커피원두 그라인더, 냉장고, 컵, 토스터기 등 일반적으로 커피숍 주방에 구비되어 있는 물품들을 배치하였고, 각 각의 object 에 ISO 15693 규격의 소형 13.56Mhz RFID tag 를 부착하였다. RFID tag는 사용자가 해당 object 를 사용할 때 접촉가능한 부분을 일정한 면적으로 분할하여 하나의 object 에 여러 개의 RFID tag 를 부착하였다. 이를 통해 사용자가 object 를 사용할 때 인식되는 RFID tag 의 고유 ID 를 분석하여 사용자가 object 의 어떤 부분을 잡고 나아가 어떤 자세로 사용하였는지를 파악할 수 있도록 하였으며, 총 27 개의 object 에 150 개의 RFID tag 가 실험 방 내에 부착되었다.
2. 실험 설계
개발된 사용자 관찰 시스템을 테스트하기 위해 커피숍에서 8 개월 이상 근무 경험이 있는 두 명의 사용자가 실험 방에서 종업원으로서 고객에게 주문을 받고 커피와 음료, 토스트 등을 만드는 상황을 관찰하였다. 두 명의 사용자는 양손에 RFID reader 를 각각 하나씩 착용하고 소형 무선 카메라가 부착된 모자를 착용한 상태로 실험 시나리오 내에서 주어진 과업을 자유롭게 수행하도록 하였다. 세 가지의 시나리오로 실험을 진행하였으며, 사용자는 진행 시간이나 순서에 제약을 받지 않고 실제 커피숍의 작업 환경과 동일한 환경 내에서 시나리오를 수행하였다. 두 명의 사용자가 세 개의 시나리오를 수행하는 동안 RFID monitoring software 와 smart floor monitoring software 에서 수집된 데이터들은 각각 데이터베이스에 기록되며, 데이터베이스에 기록된 데이터들은 소프트웨어가 데이터를 인식하는 시간을 기준으로 동기화되어 통합된다. 네 대의 비디오 카메라에서 기록된 영상 자료들도 데이터가 인식된 시간을 기준으로 그 시점의 화면 프레임을 캡처하여 위의 데이터들과 함께 동기화되어 저장된다. 도 6 은 두 명의 사용자가 실험 방에서 사용성 평가를 수행하는 모습이며, 도 7의 표는 실험에서 수행한 시나리오를 과업별로 나누어 사용자가 사용한 object의 종류와 빈도 수를 정리한 것이다. 도 7의 결과를 토대로 도 8의 표와 같이 특정 과업에 대한 일정한 rule base를 구축할 수 있으며, 이를 통하여 자동화된 사용자 행위 분석 시스템을 구성할 수 있다.
3. 결론 및 토의
본 연구는 동적인 환경에서의 사용자 관찰 시스템을 제시하고 이 시스템의 효율성 및 정확성을 테스트하기 위해 두 명의 사용자가 종업원의 역할을 맡아 커피숍 주방을 배경으로 꾸며진 실험 방에서 고객에게 주문을 받고 해당 서비스를 제공하는 세 가지 시나리오를 수행하였다. 실험 후 저장된 데이터와 동영상을 분석해 본 결과 각 object 별 사용 빈도를 파악할 수 있었다. 또한 두 명의 사용자 중 어떤 사용자가 어떤 object 를 사용했으며, 왼손과 오른손 중 어느 손을 사용했는지, object의 어떤 곳을 만졌는지에 대해서도 알 수 있었다. 또한 object의 사용의 흐름을 기준으로 사용자 별 동선을 파악할 수 있었다.
도 9는 시나리오 1 에 해당하는 실험을 통해 얻어진 결과 데이터를 가지고 object 사용의 흐름을 도식화한 것이다. 이와 같은 object tracking 다이어그램을 통해서 우리는 사용자의 동선을 간접적으로 추정할 수 있으며 사용자의 오른손, 왼손을 구분하므로 과업을 수행하는 당시의 상황을 직관적으로 파악할 수 있게 되었다. 시스템의 신뢰도를 파악하기 위해 데이터베이스 상에 시간으로 동기화되어 있는 동영상과 인식된 RFID tag 데이터를 비교하였으며, object tracking 다이어그램과 발판의 압력센서 데이터를 통한 사용자 동선비교를 수행하여 시스템에 대한 종합적인 분석을 시도하였다. 그 결과 RFID tag 를 이용한 objects 의 평균 인식 실패율은 4.3%로 나타났다. 인식 실패 현상은 RFID 안테나의 방향과 RFID tag 의 위치가 일치하지 않을 때 주로 나타나며, 금속성 물체에 붙어있는 RFID tag 의 인식률이 떨어지는 것도 하나의 원인으로 보인다. 이를 개선하기 위해 다양한 크기와 규격의 RFID tag 를 이용해 테스트를 해 볼 필요가 있으며, 금속성 물체에는 metal pad 를 부착하여 인식률을 높이는 것이 필요하다. 압력센서로 구성된 smart floor 의 데이터와 object tracking 다이어그램의 동선 일치율은 95%로 장소를 기반으로 사용자의 동선을 추정하였을 때 RFID tag 의 인식이 되지 않아 해당 장소를 들리지 않았다고 판단되어 다이어그램 상에서 경로가 누락되는 경우를 제외하고는 전체적으로 일치하는 경향을 보였다. 따라서 RFID tag를 이용한 objects 인식률을 향상시키는 것이 시스템의 정확성과 안정성을 종합적으로 향상시키는 결과를 가져올 것으로 예상된다.
이러한 개시된 기술인 시스템 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (7)

  1. 촬영된 영상을 기반으로 사용자의 움직임을 관찰하는 영상 기반 관찰부;
    RFID(Radio Frequency Identification) 태그가 부착된 오브젝트들을 감지하여 상기 사용자의 오브젝트 사용을 측정하는 WPAN(Wireless Personal Area Network) 기반 측정부;
    사용자 활동영역 내의 바닥에 설치된 복수의 압력센서들로부터 수집되는 정보로부터 상기 사용자의 동선을 도출하는 플로어 기반 모니터링부; 및
    상기 영상 기반 관찰부, 상기 WPAN 기반 측정부 및 상기 플로어 기반 모니터링부로부터 제공되는 데이터를 동기화하여 저장하는 데이터베이스를 포함하되,
    상기 데이터베이스는 상기 RFID 태그가 인식되는 때 상기 영상 기반 관찰부에서 촬영된 영상 프레임을, 상기 인식된 RFID 태그가 부착된 오브젝트 정보와 매핑하여 저장하는 사용자 행위 관찰 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 데이터베이스는 동기화하여 저장된 상기 영상 기반 관찰부로부터 제공된 영상 데이터, 상기 WPAN 기반 측정부로부터 제공된 RFID 태그 데이터 및 상기 플로어 기반 모니터링부로부터 제공된 압력 센서 데이터 중 적어도 둘 이상을 비교하여 데이터의 신뢰도를 도출하는 사용자 행위 관찰 시스템.
  4. 제1항에 있어서, 상기 영상 기반 관찰부는, 사용자의 전체적인 움직임을 모니터링하는 PTZ(Pan-Tilt-Zoom) 카메라 및 사용자의 시선을 추적하는 소형 무선 카메라를 포함하는 사용자 행위 관찰 시스템.
  5. 제1항에 있어서, 상기 압력 센서들은 상단에 돌기가 부착된 사용자 행위 관찰 시스템.
  6. 제1항에 있어서, 상기 데이터베이스는 상기 WPAN 기반 측정부로부터 제공되는 데이터를 기초로 상기 사용자가 사용하는 손, 이동 경로, 오브젝트의 사용 빈도 및 오브젝트를 잡는 위치를 저장하는 사용자 행위 관찰 시스템.
  7. 제1항에 있어서, 상기 데이터베이스는 상기 오브젝트들에 부착된 RFID 태그 데이터를 기초로 RFID 태그가 인식된 오브젝트들과 과업간의 규칙을 생성하는 사용자 행위 관찰 시스템.
KR1020110087008A 2011-08-30 2011-08-30 작업환경을 위한 사용자 행위 관찰 시스템 KR101454952B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087008A KR101454952B1 (ko) 2011-08-30 2011-08-30 작업환경을 위한 사용자 행위 관찰 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087008A KR101454952B1 (ko) 2011-08-30 2011-08-30 작업환경을 위한 사용자 행위 관찰 시스템

Publications (2)

Publication Number Publication Date
KR20130025003A KR20130025003A (ko) 2013-03-11
KR101454952B1 true KR101454952B1 (ko) 2014-10-28

Family

ID=48176794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087008A KR101454952B1 (ko) 2011-08-30 2011-08-30 작업환경을 위한 사용자 행위 관찰 시스템

Country Status (1)

Country Link
KR (1) KR101454952B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125210A (ko) 2019-04-26 2020-11-04 정동화 제품을 체험하는 사용자의 행동 모니터링 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225502B1 (ko) * 2013-10-31 2021-03-08 주식회사 케이티 경기장에서의 현장 판매 관리 장치 및 이를 이용한 현장 판매 관리 방법
KR102397938B1 (ko) * 2020-05-21 2022-05-13 주식회사 코리아세븐 무인 점포에서의 이상 상품 정보 식별 방법, 시스템 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100684961B1 (ko) * 2006-09-15 2007-02-22 (주)파비스 매트형 강사위치 추적 시스템
KR20090112303A (ko) * 2008-04-24 2009-10-28 주식회사 에이씨앤티시스템 무선 위치 검출 시스템 및 이에 있어서 태그 위치 검출방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100684961B1 (ko) * 2006-09-15 2007-02-22 (주)파비스 매트형 강사위치 추적 시스템
KR20090112303A (ko) * 2008-04-24 2009-10-28 주식회사 에이씨앤티시스템 무선 위치 검출 시스템 및 이에 있어서 태그 위치 검출방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125210A (ko) 2019-04-26 2020-11-04 정동화 제품을 체험하는 사용자의 행동 모니터링 시스템

Also Published As

Publication number Publication date
KR20130025003A (ko) 2013-03-11

Similar Documents

Publication Publication Date Title
JP7251569B2 (ja) 店舗装置、店舗管理方法、プログラム
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US8686734B2 (en) System and method for determining radio frequency identification (RFID) system performance
Avrahami et al. Below the surface: Unobtrusive activity recognition for work surfaces using RF-radar sensing
US20170330208A1 (en) Customer service monitoring device, customer service monitoring system, and customer service monitoring method
CN112569572A (zh) 用于监视游戏活动的系统、方法和设备
US20200364752A1 (en) Storefront device, storefront system, storefront management method, and program
CN109983505A (zh) 人物动向记录装置、人物动向记录方法及程序
CN105335750A (zh) 客户身份识别系统及识别方法
US20180293598A1 (en) Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
JP5590049B2 (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
CN105404849B (zh) 使用关联存储器分类的画面以获得姿势的度量
JP5541959B2 (ja) 映像記録システム
KR101454952B1 (ko) 작업환경을 위한 사용자 행위 관찰 시스템
CN106104646A (zh) 数字防丢失安防系统、方法和程序
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
JP2018195284A (ja) 複数の作業台を管理するためのプログラム、方法、装置及びシステム
US10726378B2 (en) Interaction analysis
EP3474184A1 (en) Device for detecting the interaction of users with products arranged on a stand or display rack of a store
CN111199410A (zh) 商品管理方法、装置和智能货架
US20220269890A1 (en) Method and system for visual analysis and assessment of customer interaction at a scene
CN110895722B (zh) 信息处理方法、陈列系统及智能陈列架
Choi et al. Automated user behavior monitoring system for dynamic work environments
Indradjaja et al. Analysis of the Utilization of Human Motion Tracking in the Security Sector: Examining the Accuracy Level and Key Factors in Operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20171016

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 5