KR20240085839A - 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치 - Google Patents

Abstract

본 발명은 회계기에 있어서의, 유저의 오류 또는 부정을 검출하는 것을 과제로 한다.
정보 처리 장치는, 상품의 코드를 회계기에 스캔하는 사람의 영상 데이터를 취득하고, 취득한 영상 데이터를 분석함으로써, 취득한 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정한다. 정보 처리 장치는, 상품을 파지하고 있는 사람의 손의 움직임, 또는 파지된 상품의 움직임 중 어느 것을 추적하고, 추적된 손의 움직임의 변화 또는 상품의 움직임의 변화에 기초하여, 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성한다.

Description

정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치{INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING APPARATUS}

본 발명은 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치에 관한 것이다.

슈퍼마켓이나 편의점 등의 점포에 있어서, 셀프 계산대가 보급되고 있다. 셀프 계산대는 상품을 구입하는 유저 자신이, 상품의 바코드 판독으로부터 정산까지를 행하는 POS(Point Of Sale) 계산대 시스템이다. 예를 들어, 셀프 계산대를 도입함으로써, 인구 감소에 의한 일손 부족의 개선, 인건비를 억제할 수 있다.

일본 특허 공개 제2020-53019호 공보

그러나, 상기 기술에서는, 부정을 검출하는 것이 어렵다. 예를 들어, 셀프 계산대 등의 회계기에서는, 유저에 의한 불가항력의 오류나 고의의 부정 등이 있어, 미불금 등이 발생한다.

불가항력의 오류로서는, 상품의 스캔을 잊어서 바구니로부터 쇼핑 봉투로 상품을 이동시켜 버리는 스캔 누락 등이 있다. 또한, 고의의 부정으로서는, 유저가 바코드만을 손가락으로 가리면서 상품을 스캔하는 모습을 하는 바코드 은폐나, 예를 들어 6캔으로 1세트의 맥주 상자에는 맥주 상자와 각 캔에 바코드가 붙어 있어 실수로 캔의 바코드를 판독시키는 판독 오류 등이 있다.

또한, 각 셀프 계산대에 중량 센서 등을 도입함으로써, 자동으로 상품수를 계수하여 부정을 검출하는 것도 생각할 수 있지만, 비용이 과대하고, 특히 대형 점포나 전국 전개하는 점포에 있어서는 현실적이지 않다.

또한, 셀프 계산대에서는, 상품 코드의 스캔이나 정산이 유저 자신에게 맡길 수 있으므로, 부정 행위를 검출하는 것이 곤란한 측면이 있다. 예를 들어, 상기의 부정 행위를 검출하는 측면으로부터 화상 인식 AI(Artificial Intelligence)를 적용하는 방법에도, 화상 인식 AI의 훈련에는 대량의 훈련 데이터가 필요해진다. 그런데, 슈퍼마켓이나 편의점 등의 점포에서는, 다수의 종류의 상품이 존재하는 데다가, 개개의 상품 라이프 사이클도 짧으므로, 상품의 교체가 빈번히 일어난다. 이러한 상품의 라이프 사이클에 맞춰서 화상 인식 AI를 튜닝하거나, 혹은 새로운 화상 인식 AI를 훈련하거나 하는 것은 곤란하다.

하나의 측면에서는, 회계기에 있어서의, 유저의 오류 또는 부정을 검출할 수 있는 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치를 제공하는 것을 목적으로 한다.

제1 안에서는, 정보 처리 프로그램은 컴퓨터에, 상품의 코드를 회계기에 스캔하는 사람의 영상 데이터를 취득하고, 취득한 상기 영상 데이터를 분석함으로써, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하고, 상기 상품을 파지하고 있는 사람의 손의 움직임, 또는 파지된 상기 상품의 움직임 중 어느 것을 추적하고, 추적된 상기 손의 움직임의 변화 또는 상기 상품의 움직임의 변화에 기초하여, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는, 처리를 실행시키는 것을 특징으로 한다.

일 실시 형태에 의하면, 회계기에 있어서의, 유저의 오류 또는 부정을 검출할 수 있다.

도 1은 실시예 1에 관한 셀프 계산대 시스템의 전체 구성예를 도시하는 도면이다.
도 2는 실시예 1에 관한 이상 행동의 검출예를 설명하는 도면이다.
도 3은 실시예 1에 관한 정보 처리 장치의 기능 구성을 도시하는 기능 블록도이다.
도 4는 훈련 데이터를 설명하는 도면이다.
도 5는 부정 룰 DB에 기억되는 정보의 예를 도시하는 도면이다.
도 6은 기계 학습 모델의 기계 학습을 설명하는 도면 (1)이다.
도 7은 기계 학습 모델의 기계 학습을 설명하는 도면 (2)이다.
도 8은 골격 정보의 예를 도시하는 도면이다.
도 9는 HOID에 의한 행동 식별을 설명하는 도면이다.
도 10은 2개의 상품을 파지한 경우의 부정 검지의 예를 도시하는 도면이다.
도 11은 미리 정의한 부정 행동에 기초하는 부정 검지의 예를 도시하는 도면이다.
도 12는 위치 관계에 의한 부정 검지의 예를 설명하는 도면이다.
도 13은 경고의 통지예를 설명하는 도면이다.
도 14는 추적, 부정 검출, 경고 통지까지의 일련의 흐름을 설명하는 도면이다.
도 15는 처리의 흐름을 도시하는 흐름도이다.
도 16은 하드웨어 구성예를 설명하는 도면이다.
도 17은 셀프 계산대의 하드웨어 구성예를 설명하는 도면이다.

이하에, 본원의 개시하는 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치의 실시예를 도면에 기초하여 상세하게 설명한다. 또한, 이 실시예에 의해 본 발명이 한정되는 것은 아니다. 또한, 각 실시예는, 모순이 없는 범위 내에서 적절히 조합할 수 있다.

[실시예 1]

<셀프 계산대 시스템의 설명>

도 1은 실시예 1에 관한 셀프 계산대 시스템(5)의 전체 구성예를 도시하는 도면이다. 도 1에 도시한 바와 같이, 셀프 계산대 시스템(5)은 카메라(30)와, 셀프 계산대(50)와, 관리자 단말기(60)와, 정보 처리 장치(100)를 갖는다.

정보 처리 장치(100)는 카메라(30) 및 셀프 계산대(50)에 접속되는 컴퓨터의 일례이다. 정보 처리 장치(100)는 유선이나 무선을 막론하고 다양한 통신망을 채용할 수 있는 네트워크(3)를 통해, 관리자 단말기(60)에 접속된다. 카메라(30) 및 셀프 계산대(50)는 네트워크(3)를 통해, 정보 처리 장치(100)에 접속되어도 된다.

카메라(30)는 셀프 계산대(50)를 포함하는 영역의 영상을 촬영하는 카메라의 일례이다. 카메라(30)는 영상의 데이터를, 정보 처리 장치(100)에 송신한다. 이하의 설명에서는, 영상의 데이터를 「영상 데이터」 또는 단순히 「영상」이라고 표기하는 경우가 있다.

영상 데이터에는, 시계열의 복수의 화상 프레임이 포함된다. 각 화상 프레임에는, 시계열의 오름차순으로, 프레임 번호가 부여된다. 하나의 화상 프레임은, 카메라(30)가 어느 타이밍에서 촬영한 정지 화상의 화상 데이터이다. 이하의 설명에서는, 화상 데이터를 단순히 「화상」이라고 표기하는 경우가 있다.

셀프 계산대(50)는 상품을 구입하는 유저(2)가, 상품의 바코드 판독으로부터 정산까지를 행하는 POS 계산대 시스템이나 회계기의 일례이다. 예를 들어, 유저(2)가, 구입 대상의 상품을, 셀프 계산대(50)의 스캔 영역으로 이동시키면, 셀프 계산대(50)는 상품의 바코드를 스캔하여, 구입 대상의 상품으로서 등록한다.

또한, 셀프 계산대(50)는 상술한 바와 같이, 고객 자신이 구입 상품의 등록(계산대 작업) 및 지불을 행하는 셀프 계산대의 일례이고, 예를 들어 Self checkout, automated checkout, self-checkout machine나 self-check-out register 등이라고 불린다. 바코드란, 줄무늬 모양의 선 굵기에 따라 수치나 문자를 나타내는 식별자의 1종이고, 셀프 계산대(50)가 스캔함(읽어들임)으로써, 상품의 금액이나 종별(예를 들어 식품) 등을 특정할 수 있다. 바코드는, 코드의 일례이고, 바코드 이외에도, 동일한 기능을 갖는 QR(Quick Response) 코드 등의 2차원 코드를 사용할 수도 있다.

유저(2)는, 상기 상품 등록의 동작을 반복하여 실행하고, 상품의 스캔이 완료되면, 셀프 계산대(50)의 터치 패널 등을 조작하고, 정산 요구를 행한다. 셀프 계산대(50)는 정산 요구를 접수하면, 구입 대상의 상품의 수, 구입 금액 등을 제시하고, 정산 처리를 실행한다. 셀프 계산대(50)는 유저(2)가 스캔을 개시하고 나서, 정산 요구를 행할 때까지의 사이에 스캔한 상품의 정보를, 기억부에 저장해 두고, 셀프 계산대 데이터(상품 정보)로서, 정보 처리 장치(100)에 송신한다.

관리자 단말기(60)는 점포의 관리자가 이용하는 단말 장치의 일례이다. 관리자 단말기(60)는 정보 처리 장치(100)로부터, 상품의 구입에 관하여 부정이 행해진 것을 나타내는 경고의 통지 등을 접수한다.

이와 같은 구성에 있어서, 정보 처리 장치(100)는 상품의 바코드를 셀프 계산대(50)에 스캔하는 사람의 영상 데이터를 취득하고, 영상 데이터를 기계 학습 모델에 입력함으로써, 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정한다. 또한, 기계 학습 모델이 아니라, 화상 분석 등을 사용하여, 영상 데이터로부터 각 영역을 특정할 수도 있다. 그리고, 정보 처리 장치(100)는 사람이 손으로 파지를 하고 있는 상품의 개수가 복수일 때, 복수의 상품을 파지하고 있는 사람의 손의 움직임, 또는 복수의 상품의 움직임 어느 것을 추적한다. 그 후, 정보 처리 장치(100)는 추적된 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여, 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성한다.

도 2는 실시예 1에 관한 이상 행동의 검출예를 설명하는 도면이다. 도 2에 도시한 바와 같이, 정보 처리 장치(100)는 셀프 계산대(50) 주변을 촬상하는 카메라(30)가 촬상한 영상 데이터에 사람이 검출되면, 계산대 개시라고 검출한다. 그 후, 정보 처리 장치(100)는 수시 촬상되는 영상 데이터로부터 사람의 손의 영역과 상품의 영역을 특정한다. 그리고, 정보 처리 장치(100)는 영상으로부터 복수의 상품이 검출된 경우에, 추적을 개시하여 상품이 1개가 될 때까지 추적한다. 여기서, 정보 처리 장치(100)는 추적 중의 사람의 손의 움직임이나 상품의 움직임에 의해, 판독 오류나 바코드 은폐 등의 이상 행동을 검출한다.

즉, 유저는, 점내에서 선택한 구입 대상의 상품을 넣어서 셀프 계산대까지 나르는 쇼핑 바구니나 상품 카트 등의 운반 도구로부터, 상품을 1개씩 취출하여, 셀프 계산대(50)에 스캔하는 것이 통상이다. 이 때문에, 정보 처리 장치(100)는 스캔 영역에서 복수의 상품을 갖는 동작을 검출한 경우에, 이상 행동에 연결될 가능성이 있는 것으로서, 그 이후의 동작에 주목한다. 무엇보다, 상품을 복수 갖는 유저도 있는 점에서, 복수의 상품을 갖는 동작이 이상 행동에 직접적으로 연결되는 것은 아니다. 그래서, 정보 처리 장치(100)는 추적 중의 사람의 손이나 상품의 움직임의 변화가 미리 지정한 부정 패턴에 일치하는지 여부에 의해, 이상 행동의 즉시 검출을 실현한다.

<기능 구성>

도 3은 실시예 1에 관한 정보 처리 장치(100)의 기능 구성을 도시하는 기능 블록도이다. 도 3에 도시한 바와 같이, 정보 처리 장치(100)는 통신부(101), 기억부(102), 제어부(110)를 갖는다.

통신부(101)는 다른 장치와의 사이의 통신을 제어하는 처리부이고, 예를 들어 통신 인터페이스 등에 의해 실현된다. 예를 들어, 통신부(101)는 카메라(30)로부터 영상 데이터를 수신하고, 제어부(110)에 의한 처리 결과를 관리자 단말기(60)에 송신한다.

기억부(102)는 각종 데이터나 제어부(110)가 실행하는 프로그램 등을 기억하는 처리부이고, 메모리나 하드 디스크 등에 의해 실현된다. 기억부(102)는 훈련 데이터 DB(103), 기계 학습 모델(104), 영상 데이터 DB(105), 부정 룰 DB(106)를 기억한다.

훈련 데이터 DB(103)는 기계 학습 모델(104)의 훈련에 사용되는 데이터를 기억하는 데이터베이스이다. 예를 들어, 도 4를 사용하여, 기계 학습 모델(104)에 HOID(Human Object Interaction Detection)용의 모델이 채용되어 있는 예에서 설명한다. 도 4는 훈련 데이터를 설명하는 도면이다. 도 4에 도시한 바와 같이, 각 훈련 데이터는, 입력 데이터로 이루어지는 화상 데이터와, 당해 화상 데이터에 대하여 설정된 정해 정보(라벨)를 갖는다.

정해 정보에는, 검출 대상인 사람과 상품의 클래스와, 사람과 상품의 상호 작용을 나타내는 클래스와, 각 클래스의 영역을 나타내는 B box(Bounding Box: 물체의 영역 정보)가 설정된다. 예를 들어, 정해 정보로서, 상품 등의 물체이며 쇼핑 봉투 이외의 물체를 나타내는 Something 클래스의 영역 정보, 상품을 구입하는 유저를 나타내는 사람의 클래스의 영역 정보, Something 클래스와 사람의 클래스의 상호 작용을 나타내는 관계성(파지 클래스)이 설정된다. 즉, 정해 정보로서, 사람이 파지하고 있는 물체에 관한 정보가 설정된다. 또한, 사람의 클래스는, 제1 클래스의 일례이고, Something 클래스는, 제2 클래스의 일례이고, 사람의 클래스의 영역 정보는, 제1 영역의 일례이고, Something의 클래스의 영역 정보는, 제2 영역의 일례이고, 사람과 상품의 상호 작용은, 상호 작용의 일례이다.

또한, 정해 정보로서, 쇼핑 봉투를 나타내는 쇼핑 봉투의 클래스의 영역 정보와, 쇼핑 봉투를 사용하는 유저를 나타내는 사람의 클래스의 영역 정보와, 쇼핑 봉투의 클래스와 사람의 클래스의 상호 작용을 나타내는 관계성(파지 클래스)이 설정된다. 즉, 정해 정보로서, 사람이 파지하고 있는 쇼핑 봉투에 관한 정보가 설정된다.

일반적으로, 통상의 물체 식별(물체 인식)로 Something 클래스를 만들면, 모든 배경, 복장품, 소품 등 태스크와 관계 없는 것을 모두 검출하게 된다. 또한, 그들은 모두 Something이므로, 화상 데이터 내에 대량의 B box가 식별되는 것만으로 아무것도 모른다. HOID의 경우는, 사람이 갖고 있는 상품이라는 특수한 관계성(앉아 있는, 조작하고 있는, 등 다른 관계의 경우도 있음)인 것을 알기 때문에, 의미가 있는 정보로서 태스크(예를 들어 셀프 계산대의 부정 검출 태스크)에 이용할 수 있다. 물체를 Something으로 검출한 후에, 쇼핑 봉투 등을 Bag(쇼핑 봉투)이라는 고유의 클래스로서 식별한다. 이 쇼핑 봉투는, 셀프 계산대의 부정 검출 태스크에서는 가치가 있는 정보이지만, 다른 태스크에서는 중요한 정보는 아니므로, 상품은 바구니(장바구니)로부터 취출되어 봉투에 수납된다고 하는 셀프 계산대의 부정 검출 태스크의 고유한 지견에 기초하여 이용하는 것에 가치가 있어, 유용한 효과가 얻어진다.

도 3으로 되돌아가, 기계 학습 모델(104)은 훈련 데이터에 찍혀 있는 사람과 상품(예를 들어, 사람이나 수납(쇼핑 봉투 등))을 식별하도록 훈련된 기계 학습 모델의 일례이다. 구체적으로는, 기계 학습 모델(104)은 입력된 화상 데이터로부터, 사람, 상품, 사람과 상품의 관계성을 식별하여 식별 결과를 출력하는 기계 학습 모델이다. 예를 들어, 기계 학습 모델(104)은 HOID용의 모델을 채용할 수 있고, 각종 뉴럴 네트워크 등을 사용한 기계 학습 모델을 채용할 수도 있다. HOID의 경우는, 「사람의 클래스와 영역 정보, 상품(상품)의 클래스와 영역 정보, 사람과 상품의 상호 작용」이 출력된다.

또한, 기계 학습 모델(104)은 화상 데이터의 입력에 따라서, 손의 영역, 상품의 영역, 손의 골격 정보를 출력하는 모델을 사용할 수도 있다.

영상 데이터 DB(105)는, 셀프 계산대(50)에 설치되는 카메라(30)에 의해 촬상된 영상 데이터를 기억하는 데이터베이스이다. 예를 들어, 영상 데이터 DB(105)는 셀프 계산대(50)마다, 또는 카메라(30)마다, 영상 데이터를 기억한다.

부정 룰 DB(106)는, 부정 행동이 판정되는 손의 동작 또는 상품의 동작을 규정하는 데이터베이스이다. 구체적으로는, 부정 룰 DB(106)은, 과거의 이력 등에 의해 특정되는 부정 행동 패턴을 기억한다.

도 5는 부정 룰 DB(106)에 기억되는 정보의 예를 도시하는 도면이다. 도 5에 도시한 바와 같이, 부정 룰 DB(106)는 「부정 종별, 대상, 부정 패턴」을 대응지어서 기억한다. 여기서 기억되는 「부정 종별」은, 부정(이상 행동)의 내용을 나타내는 정보이다. 「대상」은, 부정의 판정 대상이 손의 동작인지 상품의 동작인지를 특정하는 정보이다. 「부정 패턴」은, 부정이라고 판정되는 대상의 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화이다.

도 5의 예에서는, 부정 1은 상품의 움직임을 대상으로 한 부정 패턴이고, 상품 2개를 파지한 상태로부터, 상품을 겹치는 동작을 행한 후, 파지하는 2개의 상품을 봉투(포장용의 봉투)에 넣는 동작이 검출된 경우에, 부정이라고 판정되는 이상 행동이다. 즉, 부정 1은 라벨 스위치 등이라고 불리는 판독 오류의 부정에 해당한다.

부정 2는 상품의 움직임을 대상으로 한 부정 패턴이고, 작은 상품을 복수 스캔한 후에, 쇼핑 바구니로부터 다른 상품을 취출하여 봉투에 넣는 동작이 검출된 경우에, 부정이라고 판정되는 이상 행동이다. 부정 3은 손의 움직임을 대상으로 한 부정 패턴이고, 작은 상품을 양손에 드는 동작이 검출된 경우에, 부정이라고 판정되는 이상 행동이다. 즉, 부정 3은 라벨 스위치 등이라고 불리는 판독 오류의 부정에 해당한다.

부정 4는 손의 움직임을 대상으로 한 부정 패턴이고, 오른손과 왼손에 각각 상품을 파지한 후, 한쪽만을 스캔하여, 양쪽을 봉투에 넣는 동작이 검출된 경우에, 부정이라고 판정되는 이상 행동이다. 부정 5는 손의 움직임 및 상품의 움직임을 대상으로 한 부정 패턴이고, 복수의 상품을 파지하고, 계산대 화면에서 1개의 상품을 등록한 후, 복수의 상품을 봉투에 넣는 동작이 검출된 경우에, 부정이라고 판정되는 이상 행동이다. 즉, 부정 5는 바나나 트릭 등이라고 불리는 부정이나 바코드 은폐 등의 부정에 해당한다.

도 3으로 되돌아가, 제어부(110)는 정보 처리 장치(100) 전체를 담당하는 처리부이고, 예를 들어 프로세서 등에 의해 실현된다. 이 제어부(110)는 기계 학습부(111), 영상 취득부(112), 영역 특정부(113), 추적부(114), 부정 검지부(115), 경고 제어부(116)를 갖는다. 또한, 기계 학습부(111), 영상 취득부(112), 영역 특정부(113), 추적부(114), 부정 검지부(115), 경고 제어부(116)는 프로세서가 갖는 전자 회로나 프로세서가 실행하는 프로세스 등에 의해 실현된다.

(기계 학습)

기계 학습부(111)는 훈련 데이터 DB(103)에 기억되는 각 훈련 데이터를 사용하여, 기계 학습 모델(104)의 기계 학습을 실행하는 처리부이다. 도 6은 기계 학습 모델(104)의 기계 학습을 설명하는 도면이다. 도 6에서는, 기계 학습 모델(104)에 HOID를 사용한 예를 도시하고 있다. 도 6에 도시한 바와 같이, 기계 학습부(111)는 훈련 데이터의 입력 데이터를 HOID에 입력하고, HOID의 출력 결과를 취득한다. 이 출력 결과에는, HOID가 검출한 사람의 클래스와, 상품의 클래스와, 사람과 상품의 상호 작용 등이 포함된다. 그리고, 기계 학습부(111)는 훈련 데이터의 정해 정보와, HOID의 출력 결과의 오차 정보를 산출하고, 오차가 작아지도록, 오차 역전파에 의해 HOID의 파라미터 갱신을 행하는 기계 학습을 실행한다.

또한, 기계 학습부(111)는 화상 데이터의 입력에 따라서, 손의 영역, 상품의 영역, 손의 골격 정보를 출력하는 모델을 생성할 수도 있다. 도 7은 기계 학습 모델(104)의 기계 학습을 설명하는 도면이다. 도 7에 도시한 바와 같이, 기계 학습부(111)는 「화상 데이터」를 설명 변수, 「손의 영역, 상품의 영역, 손의 골격 정보」를 목적 변수(정해 정보)로 하는 훈련 데이터를 기계 학습 모델(104)에 입력하고, 기계 학습 모델(104)의 출력 결과 「손의 영역, 상품의 영역, 손의 골격 정보」와 목적 변수 「손의 영역, 상품의 영역, 손의 골격 정보」의 오차 정보를 산출한다. 그리고, 기계 학습부(111)는 오차가 작아지도록, 오차 역전파에 의해 기계 학습 모델(104)의 파라미터 갱신을 행하는 기계 학습을 실행한다.

여기서, 골격 정보란, 예를 들어 도 8에 도시하는 정보이다. 도 8은 골격 정보의 예를 도시하는 도면이다. 골격 정보는, 공지된 골격 모델에서 특정되는 각 관절을 넘버링한, 18개(0번 내지 17번)의 정의 정보를 사용할 수 있다. 예를 들어, 우측 어깨 관절(SHOULDER_RIGHT)에는 7번이 부여되고, 좌측 팔꿈치 관절(ELBOW_LEFT)에는 5번이 부여되고, 좌측 무릎 관절(KNEE_LEFT)에는 11번이 부여되고, 우측 고관절(HIP_RIGHT)에는 14번이 부여된다. 따라서, 도 8에 도시한 18개의 골격의 좌표 정보가, 화상 데이터로부터 취득 가능하고, 예를 들어 7번의 우측 어깨 관절의 위치로서 「X 좌표=X7, Y 좌표=Y7」이 취득된다. 또한, X축이 화상의 수평 방향, Y축이 화상의 수직 방향으로 정의할 수 있다.

또한, 기계 학습 모델(104)로서는, 도 6에 도시한 기계 학습 모델 또는 도 7에 도시한 기계 학습 모델을 사용할 수도 있고, 양쪽을 사용할 수도 있다.

(영상 취득)

영상 취득부(112)는 카메라(30)로부터 영상 데이터를 취득하는 처리부이다. 예를 들어, 영상 취득부(112)는 셀프 계산대(50)에 설치되는 카메라(30)로부터 영상 데이터를 수시 취득하고, 영상 데이터 DB(105)에 저장한다.

(영역 특정)

영역 특정부(113)는 영상 데이터를 기계 학습 모델(104)에 입력함으로써, 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하는 처리부이다. 예를 들어, 영역 특정부(113)는 HOID를 사용함으로써 사람의 손을 포함하는 제1 영역과, 상품을 포함하는 제2 영역과, 제1 영역과 제2 영역의 관계성을 특정하고, 사람의 상품에 대한 행동을 특정한다.

도 9는 HOID에 의한 행동 식별을 설명하는 도면이다. 도 9에 도시한 바와 같이, 영역 특정부(113)는 영상 데이터에 포함되는 각 화상 데이터를 HOID에 입력하고, HOID의 출력 결과를 취득한다. 상술한 바와 같이, HOID의 출력 결과에는, 사람의 B box, 상품의 B box, 사람과 상품의 상호 작용의 확률값 및 클래스명 등이 포함된다. 그리고 영역 특정부(113)는 HOID의 출력 결과에 기초하여, 다음의 (a), (b), (c) 중 어느 것의 행동을 식별한다.

예를 들어, 도 9의 (a)에 도시한 바와 같이, 영역 특정부(113)는 HOID의 출력 결과로부터, 사람과 상품과 사람이 상품을 파지하고 있는 것을 식별(특정)한다. 또한, 장바구니의 위치는, 관리자 등이 지정해도 되고, 다른 기계 학습 모델 등을 사용하여 자동으로 지정할 수도 있다. 또한, 도 9의 (b)에 도시한 바와 같이, 영역 특정부(113)는 HOID의 출력 결과로부터, 사람과 상품과 사람이 상품을 파지하고 있는 것을 식별함으로써, 셀프 계산대(50)에 있어서의 바코드나 이차원 코드 등의 각 코드의 스캔 위치를 통과시키는 상품도 특정한다. 또한, 도 9의 (c)에 도시한 바와 같이, 영역 특정부(113)는 HOID의 출력 결과로부터, 사람과 상품과 사람이 상품을 파지하고 있는 것과, 사람과 쇼핑 봉투와 사람이 쇼핑 봉투를 파지하고 있는 것을 식별함으로써, 유저가 쇼핑 봉투에 넣은 상품도 특정한다.

또한, 영역 특정부(113)는 영상 데이터를 기계 학습 모델(104)에 입력함으로써, 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역과 사람의 골격 정보를 특정할 수도 있다. 또한, 영역 특정부(113)는 각 행동과 행동할 때의 골격 정보의 천이를 대응지어 둠으로써, 영상 데이터로부터 특정되는 각 영역과 골격 정보로부터, 영상 데이터 내의 사람이 상품에 행하는 행동이나 사람이 셀프 계산대(50)에 행하는 행동을 특정할 수도 있다.

(추적)

추적부(114)는 사람이 손으로 파지를 하고 있는 상품의 개수가 복수일 때, 복수의 상품을 파지하고 있는 사람의 손의 움직임, 또는 복수의 상품의 움직임 어느 것을 추적하는 처리부이다. 구체적으로는, 추적부(114)는 영상 데이터 내의 어느 프레임에 대한 영역 특정부(113)에 의한 특정 결과에 있어서, 복수의 상품을 파지하고 있는 사람을 검출한 경우에, 추적을 실행한다. 즉, 추적부(114)는 영상 데이터 내에서 복수의 상품이 식별된 어떤 프레임 이후의 연속되는 프레임에서, 동일한 상품에 관한 동작을 추적한다. 그리고, 추적부(114)는 추적 결과를 기억부(102)에 저장하고, 부정 검지부(115)에 출력한다.

또한, 추적부(114)는 HOID의 출력 결과로부터, 상품의 바운딩 박스의 개수가 복수인 경우에, 복수의 바운딩 박스의 위치의 겹침이 있는지 여부를 판정하고, 겹침이 있는 경우에, 추적을 실행할 수도 있다.

(부정 검지)

부정 검지부(115)는 추적부(114)에 의해 추적된 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여, 셀프 계산대(50)에 상품을 등록하는 행동의 이상을 검지하는 처리부이다. 구체적으로는, 부정 검지부(115)는 추적된 손의 움직임의 패턴이나 상품의 움직임의 패턴이, 부정 룰 DB(106)에 기억되는 패턴에 해당하는 경우에, 부정 행동을 검지한다.

예를 들어, 부정 검지부(115)는 「상품 2개를 파지한 상태로부터, 상품을 겹치는 동작을 행한 후, 파지하는 2개의 상품을 봉투(포장용의 봉투)에 넣는 동작」이 검출된 경우에, 부정 1의 부정 행동을 검지한다.

도 10은, 2개의 상품을 파지한 경우의 부정 검지의 예를 도시하는 도면이다. 도 10에 도시한 바와 같이, 부정 검지부(115)는 영역 특정부(113)의 영역 특정 결과에 의해, 상품을 겹치는 동작을 검출한 경우에, 부정을 검지한다. 예를 들어, 부정 검지부(115)는 고액의 상품 A에 소액의 상품 B를 겹치는 동작을 검지한 경우에, 고액 상품의 바코드 대신에 저액 상품의 바코드를 스캔시키는 부정(예를 들어 라벨 스위치)을 검지한다.

또한, 부정 검지부(115)는 부정 룰 DB(106)에 기억되는 패턴 이외여도, 미리 부정 행동으로서 정의한 동작 「손의 움직임이 복수의 상품을 겹치는 동작」을 검지한 경우에, 부정 행동을 검지할 수도 있다. 마찬가지로, 부정 검지부(115)는 미리 부정 행동으로서 정의한 동작 「상품을 겹치는 동작」이나 「바코드를 겹치는 동작」에 검지한 경우에, 부정 행동을 검지할 수도 있다.

도 11은, 미리 정의한 부정 행동에 기초하는 부정 검지의 예를 도시하는 도면이다. 도 11에 도시한 바와 같이, 부정 검지부(115)는 영역 특정부(113)의 영역 특정 결과에 의해, 상품을 파지하는 동작을 검출한 후, 스캔 동작을 검지하지 않고, 셀프 계산대(50)로부터 상품이 등록된 것을 검지한 경우에, 부정을 검지한다. 예를 들어, 부정 검지부(115)는 고액임과 동시에 상품 자체에 바코드가 부여되어 있지 않은 상품(예를 들어 메론)이 파지된 후, 셀프 계산대(50)의 등록 화면에서 동종의 상품이지만 저액인 상품(예를 들어 바나나)의 등록이 행해진 경우에, 부정(예를 들어 바나나 트릭)을 검지한다.

예를 들어, 부정 검지부(115)는 손의 움직임의 패턴으로서 「왼손에 와인, 오른손에 와인을 파지한 후, 오른손의 와인만을 스캔한 동작」을 검지한 경우, 도 5의 부정 룰의 부정 4에 해당한다고 판정하고, 부정 4의 부정 행동을 검지한다.

예를 들어, 부정 검지부(115)는 HOID의 출력 결과로부터, 상품을 셀프 계산대(50)에 스캔을 하기 위해 설정된 에어리어와의 위치 관계를 특정한다. 그리고, 부정 검지부(115)는 HOID의 출력 결과로부터, 2개의 상품의 각각의 상품의 바코드가 셀프 계산대(50)에 스캔되어 있지 않다고 판정될 때, 부정 행동을 검지한다. 즉, 부정 검지부(115)는 카메라마다 설정되는 스캔 영역을, 2개의 상품의 모두가 통과하지 않는 경우에, 부정 행동을 검지한다.

도 12는, 위치 관계에 의한 부정 검지의 예를 설명하는 도면이다. 도 12에 도시한 바와 같이, 부정 검지부(115)는 영역 특정부(113)의 영역 특정 결과에 의해, 상품을 양손에 드는 동작, 및 상품에 대하여 상정되는 바코드 위치와는 다른 위치에서 스캔이 행해지는 동작을 검출한 경우에, 부정을 검지한다. 예를 들어, 부정 검지부(115)는 각각의 캔에 바코드가 부가된 6캔 패키지 상품의 바코드가 아니라, 6캔 패키지 내의 1개의 캔의 바코드를 스캔시키는 부정을 검지한다.

또한, 부정 검지부(115)는 기계 학습 모델(104)에 의해 특정되는 골격 정보를 사용함으로써 보다 복잡한 동작을 검지할 수 있으므로, 상기 부정 행동의 판정 정밀도를 향상시킬 수도 있다. 예를 들어, 부정 검지부(115)는 골격 정보로부터 유저의 자세, 손가락의 움직임, 관절의 움직임 등을 특정하고, 이들의 패턴과 미리 준비한 패턴의 비교에 의해, 부정 행동을 검지한다.

(경고 통지)

경고 제어부(116)는 부정 검지부(115)에 의해 부정 행동(부정 동작)이 검지된 경우에, 경고를 생성하여, 경고의 통지 제어를 실행하는 처리부이다. 예를 들어, 경고 제어부(116)는 사람이 셀프 계산대(50)에 등록하지 않은 상품이 있는 것, 또는 사람이 셀프 계산대(50)에 등록한 상품이 이상한 것을 나타내는 경고를 생성하여, 셀프 계산대(50)나 관리자 단말기(60)에 출력한다.

또한, 경고 제어부(116)는 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관한 경고를 생성한 경우에, 셀프 계산대(50)에 위치하는 사람에게 상품의 등록 누락을 촉구하는 음성 또는 화면을, 셀프 계산대(50)로부터 출력한다.

도 13은, 경고의 통지예를 설명하는 도면이다. 도 13에 도시한 바와 같이, 경고 제어부(116)는 셀프 계산대(50)의 터치 패널 등의 표시 화면에, 「스캔하지 않은 상품이 없습니까? 다시, 상품의 스캔을 부탁합니다.」 등의 메시지를 표시시킨다.

또한, 경고 제어부(116)는 셀프 계산대(50)에 설치되어 있는 경고 등을 점등시키거나, 관리자 단말기(60)에 해당 셀프 계산대(50)의 식별자와 부정 발생의 가능성이 있는 메시지를 표시시키거나, 점내에 있는 점원의 단말기에 해당 셀프 계산대(50)의 식별자와 부정 발생과 확인의 필요성을 나타내는 메시지를 송신시키거나 한다.

또한, 경고 제어부(116)는 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관한 경고를 생성한 경우에, 셀프 계산대(50)가 갖는 카메라(30)로 사람을 촬영시키고, 촬영된 사람의 화상 데이터와, 경고를 대응지어서 기억부에 기억한다. 이렇게 함으로써, 부정 행동을 행하는 부정 사람의 정보를 수집할 수 있으므로, 점포의 입구에서 부정 행동을 행한 것이 있는 내점자를 검지하는 등, 부정 행동을 미연에 방지하기 위한 각종 시책에 도움될 수 있다. 또한, 경고 제어부(116)는 부정 사람의 화상 데이터를 사용한 지도 학습에 의해, 기계 학습 모델을 생성함으로써, 셀프 계산대(50)를 사용하는 사람의 화상 데이터로 부정 사람의 검출이나 점포의 입구에서의 부정 사람의 검출 등을 행할 수 있다. 또한, 경고 제어부(116)는 부정 행동을 행한 사람의 크레디트 카드의 정보를 셀프 계산대(50)로부터 취득하여 보유 지지할 수도 있다.

<구체예>

다음으로, 상술한 정보 처리 장치(100)가 실행하는 처리의 구체예를 설명한다. 도 14는, 추적, 부정 검출, 알람 통지까지의 일련의 흐름을 설명하는 도면이다. 도 14에 도시한 바와 같이, 영상 데이터에는 식별자가 부여된 각 화상 데이터가 포함되어 있다. 도 14에서는, HOID를 사용하여 영역이나 관계성을 특정하는 예를 도시하고 있다.

먼저, 화상 데이터 1에 대하여, 정보 처리 장치(100)는 영역 특정부(113)에 의해 「장바구니, 사람, 사람과 장바구니의 상호 관계(파지)」를 특정하면, 복수의 상품이 검출되어 있지 않으므로, 추적하지 않고, 부정 행동으로는 판정하지 않는다.

계속해서, 화상 데이터 2에 대하여, 정보 처리 장치(100)는 영역 특정부(113)에 의해 「상품 1개, 사람, 사람과 상품의 상호 관계(파지)」를 특정하면, 복수의 상품이 검출되어 있지 않으므로, 추적하지 않고, 부정 행동으로는 판정하지 않는다.

계속해서, 화상 데이터 3에 대하여, 정보 처리 장치(100)는 영역 특정부(113)에 의해 「스캔 위치에 상품, 사람, 사람과 상품의 상호 관계(파지, 스캔)」를 특정하면, 복수의 상품이 검출되어 있지 않으므로, 추적하지 않고, 부정 행동으로는 판정하지 않는다.

계속해서, 화상 데이터 4에 대하여, 정보 처리 장치(100)는 영역 특정부(113)에 의해 「쇼핑 봉투에 상품, 사람, 사람과 상품의 상호 관계(파지)」를 특정하면, 복수의 상품이 검출되어 있지 않으므로, 추적하지 않고, 부정 행동으로는 판정하지 않는다.

계속해서, 화상 데이터 5에 대하여, 정보 처리 장치(100)는 영역 특정부(113)에 의해 「상품 2개, 사람과 상품의 상호 관계(파지)」를 특정하면, 복수의 상품이 검출된 점에서, 추적부(114)에 의한 추적을 개시한다. 또한, 정보 처리 장치(10)는 부정 검지부(115)에 의해, 추적 개시 후의 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여 부정 검지를 실행한다.

계속해서, 화상 데이터 6에 대하여 추적을 실행한다. 즉, 정보 처리 장치(100)는 영역 특정부(113)에 의해 2개의 상품이 검출되고 있는 동안, 부정 검지부(115)에 의해, 추적 개시 후의 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여 부정 검지를 실행한다.

마찬가지로, 화상 데이터 7에 대하여 추적을 실행한다. 여기서, 정보 처리 장치(100)는 부정 검지부(115)에 의해, 추적 개시 후의 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여, 부정 룰에 해당하는 동작을 검지한 경우에, 부정 행동을 검지한다. 그러면, 정보 처리 장치(10)는 경고를 생성하여 통지한다. 이때, 정보 처리 장치(100)는 추적을 종료해도 되고, 경고에 대한 점원 등의 대응이 끝날 때까지 추적을 종료해도 되고, 추적을 계속해도 된다.

<처리의 흐름>

도 15는, 처리의 흐름을 도시하는 흐름도이다. 도 15에 도시한 바와 같이, 정보 처리 장치(100)는 영상 데이터를 수시 취득한다(S101).

계속해서, 정보 처리 장치(100)는 부정 검지의 처리 개시가 지시되면(S102: "예"), 영상 데이터 내의 프레임을 취득한다(S103). 여기서, 정보 처리 장치(100)는 영상 데이터가 존재하지 않는 경우는, 처리를 종료한다. 한편, 정보 처리 장치(100)는 영상 데이터가 존재하는 경우는, 기계 학습 모델(104)을 사용하여, 손의 영역과 상품의 영역을 특정한다(S104).

그리고, 정보 처리 장치(100)는 복수의 상품이 검출되지 않은 경우(S105: "아니오"), S103 이후를 반복한다. 한편, 정보 처리 장치(100)는 복수의 상품이 검출된 경우(S105: "예"), 추적 중인지 여부를 판정한다(S106).

여기서, 정보 처리 장치(100)는 추적 중이 아닌 경우(S106: "아니오"), 추적을 개시하고(S107), S108을 실행한다. 한편, 정보 처리 장치(100)는 추적 중인 경우(S106: "예"), S108을 실행한다.

즉, 정보 처리 장치(100)는 부정 룰에 해당하는 동작이 검출되지 않은 경우에는(S108: "아니오"), S103 이후를 반복하고, 부정 룰에 해당하는 동작이 검출된 경우는(S108: "예"), 경고 통지를 실행하고(S109), 처리를 종료한다.

<효과>

상술한 바와 같이, 정보 처리 장치(100)는 상품이 손으로 파지를 하고 있는 상품의 개수가 복수일 때, 복수의 상품을 파지하고 있는 사람의 손의 움직임, 또는 복수의 상품의 움직임 중 어느 것을 추적한다. 그리고, 정보 처리 장치(100)는 추적된 손의 움직임의 변화 또는 복수의 상품의 움직임의 변화에 기초하여, 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성한다. 따라서, 정보 처리 장치(100)는 중량 센서 등을 사용하지 않고, 셀프 계산대(50)에 있어서의 부정을 검출할 수 있다.

또한, 정보 처리 장치(100)는 상품의 움직임이 추적된 경우에, 상품의 영역에 포함되는 복수의 상품의 움직임의 변화가 겹치는 등의 미리 지정한 패턴에 해당하는 경우에, 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성한다. 따라서, 정보 처리 장치(100)는 스캔 누락 등 불가항력의 오류나 고의의 부정을 검지할 수 있다.

또한, 정보 처리 장치(100)는 손의 움직임이 추적된 경우에, 손의 움직임이 복수의 상품을 겹치는 동작에 해당하는 경우에, 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성한다. 따라서, 정보 처리 장치(100)는 고액 상품 대신에 저액 상품의 바코드를 스캔시키는 부정을 검지할 수 있다.

또한, 정보 처리 장치(100)는 기계 학습 모델(104)을 사용하여, 손의 영역을 나타내는 바운딩 박스와, 상품의 영역을 나타내는 상품의 바운딩 박스와, 사람의 손의 골격 정보를 취득한다. 이 결과, 정보 처리 장치(100)는 화상 해석에 비해 단시간에 사람의 동작이나 상품의 움직임을 특정할 수 있으므로, 실시간 부정 검지를 실현할 수 있다.

또한, 정보 처리 장치(100)는 기계 학습 모델(104)을 사용하여, 사람의 손을 포함하는 제1 영역과, 상품을 포함하는 제2 영역과, 제1 영역과 제2 영역의 관계성을 특정한다. 그리고, 정보 처리 장치(100)는 사람이 오른손으로 제1 상품을 파지하는 제1 동작 및 사람이 왼손으로 제2 상품을 파지하는 제2 동작에 기초하여, 제1 상품 또는 제2 상품 중 어느 것의 상품의 코드가 셀프 계산대(50)에 스캔되어 있지 않은 것을 검출한다. 따라서, 정보 처리 장치(100)는 1개의 상품만 스캔하는 스캔 누락이나 고의의 부정을 검지할 수 있다.

또한, 정보 처리 장치(100)는 사람이 셀프 계산대(50)에 등록하지 않은 상품이 있는 것, 또는 사람이 셀프 계산대(50)에 등록한 상품이 이상한 것을 나타내는 경고를 생성한다. 따라서, 점원 등은 정보 처리 장치(100)를 사용함으로써 부정 행동을 일으킨 사람이 가게 밖으로 나올 때까지 사정을 묻는 등의 대응을 행할 수 있다.

또한, 정보 처리 장치(100)는 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관한 경고가 생성된 경우에, 셀프 계산대(50)에 위치하는 사람에게 상품의 등록 누락을 촉구하는 음성 또는 화면을, 셀프 계산대(50)로부터 출력한다. 따라서, 정보 처리 장치(100)는 불가항력의 미스여도 고의의 부정이어도, 스캔 중의 사람에게 직접 주의를 촉구할 수 있으므로, 미스나 고의의 부정을 삭감할 수 있다.

또한, 정보 처리 장치(100)는 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관한 경고가 생성되었을 때, 셀프 계산대(50)가 갖는 카메라로, 사람을 촬영시키고, 촬영된 사람의 화상 데이터와, 경고를 대응지어서 기억부에 기억한다. 따라서, 정보 처리 장치(100)는 부정 행동을 행하는 부정 사람의 정보를 수집하여 보유 지지할 수 있으므로, 내점자를 촬상하는 카메라의 촬상 데이터로 부정 사람의 내점을 검출함으로써, 부정 행동을 미연에 방지하기 위한 각종 시책에 도움될 수 있다. 또한, 정보 처리 장치(100)는 부정 행동을 행한 사람의 크레디트 카드의 정보를 셀프 계산대(50)로부터 취득하여 보유 지지할 수도 있으므로, 부정 행동이 확정된 경우, 크레디트 카드 회사를 통해 요금을 청구할 수 있다.

[실시예 2]

한편, 지금까지 본 발명의 실시예에 대해서 설명했지만, 본 발명은 상술한 실시예 이외에도, 다양한 다른 형태로 실시되어도 되는 것이다.

(수치 등)

상기 실시예에서 사용한 셀프 계산대나 카메라의 대수, 수치예, 훈련 데이터예, 훈련 데이터수, 기계 학습 모델, 각 클래스명, 클래스수, 데이터 형식 등은, 어디까지나 일례이고, 임의로 변경할 수 있다. 또한, 각 흐름도에서 설명한 처리의 흐름도 모순이 없는 범위 내에서 적절히 변경할 수 있다. 또한, 각 모델은 뉴럴 네트워크 등의 다양한 알고리즘에 의해 생성된 모델을 채용할 수 있다.

또한, 정보 처리 장치(100)는 스캔 위치나 장바구니의 위치에 대해서는, 위치를 검출하는 다른 기계 학습 모델, 물체 검지 기술, 위치 검출 기술 등 공지된 기술을 사용할 수도 있다. 예를 들어, 정보 처리 장치(100)는 프레임(화상 데이터)간 차분, 프레임의 시계열 변화에 기초하여, 장바구니의 위치를 검출할 수 있으므로, 그것을 사용하여 검출해도 되고, 그것을 사용하여 다른 모델을 생성해도 된다. 또한, 정보 처리 장치(100)는 미리 장바구니의 크기를 지정해 둠으로써, 화상 데이터로부터 그 크기의 물체가 검출된 경우에, 장바구니의 위치로서 식별할 수도 있다. 또한, 스캔 위치는 어느 정도 고정된 위치이므로, 정보 처리 장치(100)는 관리자 등이 지정된 위치를 스캔 위치로서 식별할 수도 있다.

(손가락의 동작)

상기 정보 처리 장치(100)는 골격 정보를 취득할 수 있으므로, 손의 동작이 아니라 손가락의 동작을 취득할 수도 있다. 예를 들어, 정보 처리 장치(100)는 복수의 상품을 파지하고 있는 사람의 손가락 움직임을 추적하고, 추적된 사람의 손가락 움직임 패턴이, 미리 설정한 룰과 일치할 때, 미리 설정한 손가락의 움직임의 패턴을 한 위치를 특정한다. 그리고, 정보 처리 장치(100)는 특정된 손가락의 위치가, 상품을 셀프 계산대(50)에 스캔을 하기 위해 설정된 에어리어의 범위 내일 때는, 셀프 계산대(50)에 상품을 등록하는 행동의 이상에 관한 경고가 생성된다.

예를 들어, 정보 처리 장치(100)는 스캔 위치 앞에서, 손가락을 사용하여 작은 상품을 복수 겹치는 동작을 검지함으로써, 부정 행동을 검지할 수 있다. 이러한 동작은, 복수의 상품 중 1개의 상품만을 스캔시킨 후, 복수의 상품을 봉투에 넣는 부정 행동에 연결되지만, 정보 처리 장치(100)는 부정 행동으로서 검지할 수 있다.

(시스템)

상기 문서 중이나 도면 중에서 도시한 처리 수순, 제어 수순, 구체적 명칭, 각종 데이터나 파라미터를 포함하는 정보에 대해서는, 특기하는 경우를 제외하고 임의로 변경되어도 된다.

또한, 각 장치의 구성 요소의 분산이나 통합의 구체적 형태는 도시한 것에 한정되지는 않는다. 예를 들어, 추적부(114)와 부정 검지부(115)가 통합되어도 된다. 즉, 그 구성 요소의 전부 또는 일부는, 각종 부하나 사용 상황 등에 따라서, 임의의 단위로 기능적 또는 물리적으로 분산ㆍ통합되어도 된다. 또한, 각 장치의 각 처리 기능은, 그 전부 또는 임의의 일부가, CPU 및 당해 CPU에서 해석 실행되는 프로그램으로 실현되거나, 혹은 와이어드 로직에 의한 하드웨어로서 실현될 수 있다.

또한, 각 장치에서 행해지는 각 처리 기능은, 그 전부 또는 임의의 일부가, CPU 및 당해 CPU에서 해석 실행되는 프로그램으로 실현되거나, 혹은 와이어드 로직에 의한 하드웨어로서 실현될 수 있다.

(하드웨어)

도 16은, 하드웨어 구성예를 설명하는 도면이다. 여기서는, 일례로서, 정보 처리 장치(100)에 대해서 설명한다. 도 16에 도시한 바와 같이, 정보 처리 장치(100)는 통신 장치(100a), HDD(Hard Disk Drive)(100b), 메모리(100c), 프로세서(100d)를 갖는다. 또한, 도 16에 도시한 각 부는, 버스 등으로 서로 접속된다.

통신 장치(100a)는 네트워크 인터페이스 카드 등이고, 다른 장치와의 통신을 행한다. HDD(100b)는, 도 3에 도시한 기능을 동작시키는 프로그램이나 DB를 기억한다.

프로세서(100d)는, 도 3에 도시한 각 처리부와 마찬가지의 처리를 실행하는 프로그램을 HDD(100b) 등으로부터 읽어내어 메모리(100c)에 전개함으로써, 도 3 등에서 설명한 각 기능을 실행하는 프로세스를 동작시킨다. 예를 들어, 이 프로세스는, 정보 처리 장치(100)가 갖는 각 처리부와 마찬가지의 기능을 실행한다. 구체적으로는, 프로세서(100d)는 기계 학습부(111), 영상 취득부(112), 영역 특정부(113), 추적부(114), 부정 검지부(115), 경고 제어부(116) 등과 마찬가지의 기능을 갖는 프로그램을 HDD(100b) 등으로부터 읽어낸다. 그리고, 프로세서(100d)는 기계 학습부(111), 영상 취득부(112), 영역 특정부(113), 추적부(114), 부정 검지부(115), 경고 제어부(116) 등과 마찬가지의 처리를 실행하는 프로세스를 실행한다.

이와 같이, 정보 처리 장치(100)는 프로그램을 읽어내어 실행함으로써 정보 처리 방법을 실행하는 정보 처리 장치로서 동작한다. 또한, 정보 처리 장치(100)는 매체 판독 장치에 의해 기록 매체로부터 상기 프로그램을 읽어내고, 읽어내어진 상기 프로그램을 실행함으로써 상기한 실시예와 마찬가지의 기능을 실현할 수도 있다. 또한, 이 밖의 실시예에서 말하는 프로그램은, 정보 처리 장치(100)에 의해 실행되는 것에 한정되는 것은 아니다. 예를 들어, 다른 컴퓨터 또는 서버가 프로그램을 실행하는 경우나, 이들이 협동하여 프로그램을 실행하는 경우에도, 상기 실시예가 마찬가지로 적용되어도 된다.

이 프로그램은, 인터넷 등의 네트워크를 통해 배포되어도 된다. 또한, 이 프로그램은 하드 디스크, 플렉시블 디스크(FD), CD-ROM, MO(Magneto-Optical disk), DVD(Digital Versatile Disc) 등의 컴퓨터로 판독 가능한 기록 매체에 기록되고, 컴퓨터에 의해 기록 매체로부터 읽어내어짐으로써 실행되어도 된다.

도 17은, 셀프 계산대(50)의 하드웨어 구성예를 설명하는 도면이다. 도 17에 도시한 바와 같이, 셀프 계산대(50)는 통신 인터페이스(400a), HDD(400b), 메모리(400c), 프로세서(400d), 입력 장치(400e), 출력 장치(400f)를 갖는다. 또한, 도 17에 도시한 각 부는, 버스 등으로 서로 접속된다.

통신 인터페이스(400a)는 네트워크 인터페이스 카드 등이고, 다른 정보 처리 장치와의 통신을 행한다. HDD(400b)는 셀프 계산대(50)의 각 기능을 동작시키는 프로그램이나 데이터를 기억한다.

프로세서(400d)는 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램을 HDD(400b) 등으로부터 읽어내어 메모리(400c)에 전개함으로써, 셀프 계산대(50)의 각 기능을 실행하는 프로세스를 동작시키는 하드웨어 회로이다. 즉, 이 프로세스는 셀프 계산대(50)가 갖는 각 처리부와 마찬가지의 기능을 실행한다.

이와 같이, 셀프 계산대(50)는 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램을 읽어내어 실행함으로써 동작 제어 처리를 실행하는 정보 처리 장치로서 동작한다. 또한, 셀프 계산대(50)는 매체 판독 장치에 의해 기록 매체로부터 프로그램을 읽어내고, 읽어내어진 프로그램을 실행함으로써 셀프 계산대(50)의 각 기능을 실현할 수도 있다. 또한, 이 밖의 실시예에서 말하는 프로그램은, 셀프 계산대(50)에 의해 실행되는 것에 한정되는 것은 아니다. 예를 들어, 다른 컴퓨터 또는 서버가 프로그램을 실행하는 경우나, 이들이 협동하여 프로그램을 실행하는 경우에도, 본 실시 형태가 마찬가지로 적용되어도 된다.

또한, 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램은, 인터넷 등의 네트워크를 통해 배포할 수 있다. 또한, 이 프로그램은 하드 디스크, FD, CD-ROM, MO, DVD 등의 컴퓨터로 판독 가능한 기록 매체에 기록되고, 컴퓨터에 의해 기록 매체로부터 읽어내어짐으로써 실행할 수 있다.

입력 장치(400e)는, 프로세서(400d)에 의해 실행되는 프로그램에 대한 입력 조작 등, 유저에 의한 각종 입력 조작을 검지한다. 당해 입력 조작에는, 예를 들어 터치 조작 등이 포함된다. 터치 조작의 경우, 셀프 계산대(50)는 표시부를 더 구비하고, 입력 장치(400e)에 의해 검지되는 입력 조작은, 당해 표시부에 대한 터치 조작이어도 된다. 입력 장치(400e)는, 예를 들어 버튼, 터치 패널, 근접 센서 등이어도 된다. 또한, 입력 장치(400e)는 바코드의 판독을 한다. 입력 장치(400e)는, 예를 들어 바코드 리더이다. 바코드 리더는 광원과 광 센서를 갖고, 바코드를 스캔한다.

출력 장치(400f)는, 프로세서(400d)에 의해 실행되는 프로그램으로부터 출력되는 데이터를 셀프 계산대(50)에 접속된 외부 장치, 예를 들어 외부 디스플레이 장치 등을 통해 출력한다. 또한, 셀프 계산대(50)가 표시부를 구비하는 경우, 셀프 계산대(50)는 출력 장치(400f)를 구비하지 않아도 된다.

30: 카메라
50: 셀프 계산대
60: 관리자 단말기
100: 정보 처리 장치
101: 통신부
102: 기억부
103: 훈련 데이터 DB
104: 기계 학습 모델
105: 영상 데이터 DB
106: 부정 룰 DB
110: 제어부
111: 기계 학습부
112: 영상 취득부
113: 영역 특정부
114: 추적부
115: 부정 검지부
116: 경고 제어부

Claims (14)

1. 컴퓨터에,
   상품의 코드를 회계기에 스캔하는 사람의 영상 데이터를 취득하고,
   취득한 상기 영상 데이터를 분석함으로써, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하고,
   상기 상품을 파지하고 있는 사람의 손의 움직임, 또는 파지된 상기 상품의 움직임 중 어느 것을 추적하고,
   추적된 상기 손의 움직임의 변화 또는 상기 상품의 움직임의 변화에 기초하여, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는,
   처리를 실행시키는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록 매체에 저장된 정보 처리 프로그램.
2. 제1항에 있어서,
   상기 특정하는 처리는,
   취득한 상기 영상 데이터를 기계 학습 모델에 입력함으로써, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하고,
   상기 추적하는 처리는,
   상기 사람이 손으로 파지를 하고 있는 상품의 개수가 복수일 때, 복수의 상품을 파지하고 있는 사람의 손의 움직임, 또는 상기 복수의 상품의 움직임 중 어느 것을 추적하고,
   상기 경고를 생성하는 처리는,
   추적된 상기 손의 움직임의 변화 또는 상기 복수의 상품의 움직임의 변화에 기초하여, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
3. 제2항에 있어서,
   상기 경고를 생성하는 처리는,
   상기 상품의 움직임이 추적된 경우에, 상기 상품의 영역에 포함되는 상기 복수의 상품의 움직임의 변화가 미리 지정한 패턴에 해당하는지 여부를 판정하고,
   상기 복수의 상품의 움직임의 변화가 상기 패턴에 해당하는 경우에, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
4. 제2항에 있어서,
   상기 경고를 생성하는 처리는,
   상기 손의 움직임이 추적된 경우에, 상기 손의 움직임이 상기 복수의 상품을 겹치는 동작에 해당하는 경우에, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
5. 제2항에 있어서,
   상기 기계 학습 모델은, 영상 데이터의 입력에 따라서, 상기 손의 영역을 나타내는 바운딩 박스와, 상기 상품의 영역을 나타내는 상품의 바운딩 박스와, 상기 사람의 손의 골격 정보를 출력하고,
   상기 특정하는 처리는,
   취득한 상기 영상 데이터를 상기 기계 학습 모델에 입력함으로써, 상기 손의 영역을 나타내는 바운딩 박스와, 상기 상품의 영역을 나타내는 상품의 바운딩 박스와, 상기 손의 골격 정보를 생성하고,
   상기 추적하는 처리는,
   생성된 상기 상품의 바운딩 박스의 개수가 복수인 경우에, 복수의 상기 바운딩 박스의 위치의 겹침이 있는지 여부를 판정하고,
   상기 경고를 생성하는 처리는,
   상기 겹침이 있다고 판정되었을 때에는, 상기 사람의 손의 골격 정보에 기초하여, 상기 사람의 손의 움직임의 패턴을 식별하고,
   식별된 상기 손의 움직임의 패턴과, 미리 설정된 룰을 비교함으로써, 상기 회계기에 상품을 등록하는 행동의 이상에 관한 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
6. 제2항에 있어서,
   상기 기계 학습 모델은, 영상 데이터의 입력에 따라서, 사람의 손을 포함하는 제1 영역과, 상품을 포함하는 제2 영역과, 제1 영역과 제2 영역의 관계성을 특정하고,
   상기 특정하는 처리는,
   취득한 상기 영상 데이터를 상기 기계 학습 모델에 입력함으로써 특정된 상기 제1 영역과, 상기 제2 영역과, 상기 관계성에 기초하여, 사람의 오른손으로 제1 상품을 파지하는 제1 동작 및 왼손으로 제2 상품을 파지하는 제2 동작을 특정하고,
   상기 추적하는 처리는,
   상기 제1 동작 및 상기 제2 동작을 추적하고,
   상기 경고를 생성하는 처리는,
   추적되는 상기 제1 동작 및 상기 제2 동작에 기초하여, 상기 제1 상품 또는 상기 제2 상품 중 어느 것의 상품의 코드가 상기 회계기에 스캔되어 있지 않은 것을 검출하는 것을 특징으로 하는 정보 처리 프로그램.
7. 제6항에 있어서,
   상기 경고를 생성하는 처리는,
   추적한 상기 제1 동작 및 상기 제2 동작과, 상품을 상기 회계기에 스캔을 하기 위해 설정된 에어리어의 위치 관계에 기초하여, 상기 제1 상품 및 상기 제2 상품의 각각의 상품의 코드가 상기 회계기에 스캔되어 있지 않다고 판정될 때, 상기 회계기에 상품을 등록하는 행동의 이상을 나타내는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
8. 제1항에 있어서,
   상기 경고를 생성하는 처리는,
   상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고로서, 상기 사람이 상기 회계기에 등록되지 않은 상품이 있는 것, 또는 상기 사람이 상기 회계기에 등록된 상품이 이상한 것을 나타내는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
9. 제1항에 있어서,
   상기 회계기에 상품을 등록하는 행동의 이상에 관한 경고가 생성되었을 때, 점원이 갖는 단말기에 대하여, 상기 회계기의 식별 정보와 생성된 상기 경고를 대응지어서 통지하는, 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 정보 처리 프로그램.
10. 제1항에 있어서,
    상기 경고를 생성하는 처리는,
    상기 회계기에 상품을 등록하는 행동의 이상에 관한 경고가 생성된 경우에, 상기 회계기에 위치하는 상기 사람에게 상기 상품의 등록 누락을 촉구하는 음성 또는 화면을, 상기 회계기로부터 출력하는 것을 특징으로 하는 정보 처리 프로그램.
11. 제1항에 있어서,
    상기 회계기에 상품을 등록하는 행동의 이상에 관한 경고가 생성되었을 때, 상기 회계기가 갖는 카메라로, 사람을 촬영시키고,
    촬영된 상기 사람의 화상 데이터와, 상기 경고를 대응지어서 기억부에 기억하는, 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 정보 처리 프로그램.
12. 제1항에 있어서,
    상기 회계기는, 셀프 계산대 단말기이고,
    상기 특정하는 처리는,
    취득한 상기 영상 데이터에 기초하여, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역을 특정하고,
    상기 추적하는 처리는,
    상기 사람이 손으로 파지를 하고 있는 상품의 개수가 복수일 때, 복수의 상품을 파지하고 있는 사람의 손의 움직임을 추적하고,
    상기 경고를 생성하는 처리는,
    추적된 상기 손의 움직임의 변화에 기초하여, 상기 셀프 계산대 단말기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는 것을 특징으로 하는 정보 처리 프로그램.
13. 컴퓨터가,
    상품의 코드를 회계기에 스캔하는 사람의 영상 데이터를 취득하고,
    취득한 상기 영상 데이터를 분석함으로써, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하고,
    상기 상품을 파지하고 있는 사람의 손의 움직임, 또는 파지된 상기 상품의 움직임 중 어느 것을 추적하고,
    추적된 상기 손의 움직임의 변화 또는 상기 상품의 움직임의 변화에 기초하여, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는,
    처리를 실행하는 것을 특징으로 하는 정보 처리 방법.
14. 상품의 코드를 회계기에 스캔하는 사람의 영상 데이터를 취득하고,
    취득한 상기 영상 데이터를 분석함으로써, 취득한 상기 영상 데이터 중으로부터, 사람의 손의 영역과 사람이 손으로 파지를 하고 있는 상품의 영역을 특정하고,
    상기 상품을 파지하고 있는 사람의 손의 움직임, 또는 파지된 상기 상품의 움직임 중 어느 것을 추적하고,
    추적된 상기 손의 움직임의 변화 또는 상기 상품의 움직임의 변화에 기초하여, 상기 회계기에 상품을 등록하는 행동의 이상에 관련하는 경고를 생성하는,
    제어부를 갖는 것을 특징으로 하는 정보 처리 장치.

Images