KR20200051014A - 대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법 - Google Patents

대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법 Download PDF

Info

Publication number
KR20200051014A
KR20200051014A KR1020207009797A KR20207009797A KR20200051014A KR 20200051014 A KR20200051014 A KR 20200051014A KR 1020207009797 A KR1020207009797 A KR 1020207009797A KR 20207009797 A KR20207009797 A KR 20207009797A KR 20200051014 A KR20200051014 A KR 20200051014A
Authority
KR
South Korea
Prior art keywords
image
acquired
determined
objects
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207009797A
Other languages
English (en)
Other versions
KR102420331B1 (ko
Inventor
슈이치 쿠라바야시
Original Assignee
가부시키가이샤 사이게임스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 사이게임스 filed Critical 가부시키가이샤 사이게임스
Publication of KR20200051014A publication Critical patent/KR20200051014A/ko
Application granted granted Critical
Publication of KR102420331B1 publication Critical patent/KR102420331B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법을 제공한다. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 휴대 단말 장치 및 서버를 구비한 시스템이며, 휴대 단말 장치는, 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하고, 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하여, 서버로 송신하고, 서버는, 송신된 취득 대상물 화상을 수신하고, 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 대상물에 대한 취득 대상물 화상의 특징 상관량을 결정하고, 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 시스템.

Description

대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법
본 발명은, 유저가 대상물을 취득한 것을 확인하기 위한 시스템, 서버, 프로그램 및 방법에 관한 것이다.
점포 등의 소정의 장소를 방문한 유저에 대하여 온라인 게임 등의 특전을 주는 체크인 서비스가 알려져 있다. 특허 문헌 1에서는, 소정의 게시물이 게시된 장소를 방문한 휴대 단말 장치의 유저에 대하여 온라인 게임의 특전 등을 주는 서비스를 제공할 때에, 휴대 단말 기억부에 기억된 게시물의 화상인 기준 화상에 기초하여 해당 게시물이 촬상 영역 내에 촬상되어 있다고 판정되면, 게시물과 그 주변부를 촬상시키고, 이를 정규화한 정규화 화상과 이미 인증되어 서버에 저장된 인증 완료 화상과 비교하여, 그 유사성에 기초하여, 유저의 방문을 확인하는 시스템이 개시되어 있다.
일본 특허 등록 제6181893호
그러나, 해당 시스템은 소정의 장소를 방문한 것을 확인하기 위한 것이며, 상품을 구입하거나 하여 취득한 유저를 확인하여 특전을 주는 체크인 서비스를 위하여, 특전 부여의 대상으로 되어 있는 상품 등의 대상물의 종류를 정밀도 좋게 식별하는 것에는 반드시 적합하지 않다.
상품의 종류를 식별하는 이차원 코드를 상품 포장 등에 붙임으로써, 촬상된 화상의 상품 종류를 특정하는 것이 가능하다. 그러나, 이차원 코드에 의해 상품의 종류를 식별하기 위해서는, 상품마다 상이한 이차원 코드가 포장 용지 등에 표시되어 있지 않으면 안된다. 기존의 포장 용지의 디자인을 변경시키고 이차원 코드를 인쇄시키는 것은 단가를 크게 상승시키므로, 기간이 한정된 이벤트 등을 위하여 실현하는 것은 곤란하다. 또한, 기존의 포장 용지에 각 상품 등을 식별하는 이차원 코드를 붙이는 경우에는, 그 작업을 위하여 단가가 크게 상승됨과 동시에, 상품의 제조 및 유통 경로를 변경하는 것을 요구하므로 현실적이지 않다.
본 발명은 상기의 과제에 비추어 이루어진 것이며, 이하와 같은 특징을 가지고 있다. 즉, 본 발명의 일 실시 형태에 있어서의 시스템은, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 휴대 단말 장치 및 서버를 구비한 시스템이며, 상기 휴대 단말 장치는, 상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하고, 어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하여, 상기 취득 대상물 화상을 상기 서버로 송신하고, 상기 서버는, 상기 송신된 취득 대상물 화상을 수신하고, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정한다.
상기 한 종류의 대상물의 화상 특징량은 고유 특징량 및 비고유 특징량을 포함하고, 상기 고유 특징량은 상기 한 종류의 대상물의 특징인 색채를 나타내는 특징적 색채값을 포함하고, 상기 비고유 특징량은 해당 한 종류의 대상물의 특징이 아닌 색채를 나타내는 비특징적 색채값을 포함하고, 상기 특징 상관량은, 상기 취득 대상물 화상에 있어서의, 상기 한 종류의 대상물의 화상 특징량에 기초하여 상기 한 종류의 대상물의 특징인 색채를 나타낸다고 결정된 특징부의 양과 상기 한 종류의 대상물의 특징이 아닌 색채를 나타낸다고 결정된 비특징부의 양과의 비이며, 상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것은, 상기 특징 상관량이 소정의 범위 내인지의 여부에 의해 결정해도 된다.
상기 비고유 특징량은, 상기 복수 종류의 대상물에 공통되는 색채를 나타내는 색채값 및 상기 한 종류의 대상물의 고유 특징량에는 포함되지 않고 다른 종류의 대상물의 고유 특징량에 포함되는 색채값의 적어도 일방을 포함해도 된다.
상기 한 종류의 대상물의 화상 특징량은 해당 종류의 대상물의 기준 화상에 포함되는 형상에 대한 히스토그램을 포함하고, 상기 특징 상관량은, 상기 기준 화상의 히스토그램과 상기 취득 대상물 화상에 포함되는 형상에 대한 히스토그램과의 차분에 기초하여 결정되도록 할 수도 있다.
해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 것은, 상기 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있는지의 여부를 판정하는 것으로 해도 된다.
상기 복수 종류의 대상물 중 한 종류는 상기 휴대 단말 장치를 통하여 미리 유저에 의해 지정될 수 있다.
상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것은, 상기 복수 종류의 대상물의 각각에 대하여 행하여, 가장 상관성이 높은 대상물을 촬상한 화상이라고 판정해도 된다.
상기 국소 특징량은, 상기 복수 종류의 대상물의 공통되는 국소 특징량이거나 또는 상기 복수 종류의 각 대상물에 고유의 국소 특징량으로 할 수 있다.
또한, 본 발명의 일 실시 형태에 있어서의 서버는, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 시스템에서 사용되는 서버이며, 휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정한다.
또한 본 발명의 일 실시 형태에 있어서의 한 조의 프로그램은, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 한 조의 프로그램이며, 하나 이상의 컴퓨터에, 상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 단계와, 어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하는 단계와, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하는 단계와, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 단계를 실행시킨다.
본 발명의 일 실시 형태에 있어서의 프로그램은, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 프로그램이며, 서버에, 휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것을 실행시킨다.
본 발명의 일 실시 형태에 있어서의 방법은, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 방법이며, 하나 이상의 컴퓨터에, 상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 단계와, 어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하는 단계와, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하는 단계와, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 단계를 실행시킨다.
본 발명의 일 실시 형태에 있어서의 방법은, 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 방법이며, 서버에, 휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고, 상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고, 상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것을 실행시킨다.
본 발명에 의하면, 복수 종류의 상품 등의 대상물 중에서 유저가 취득한 대상물의 종류를 식별하고, 유저가 해당 대상물을 취득한 것을 확인하는 시스템을 저렴하게 실현하는 것을 가능케 한다.
도 1은, 본 발명의 일 실시 형태에 따른 시스템의 전체 구성이다.
도 2는, 본 발명의 일 실시 형태에 따른 휴대 단말 장치의 하드웨어 구성도이다.
도 3은, 본 발명의 일 실시 형태에 따른 서버의 하드웨어 구성도이다.
도 4는, 본 발명의 일 실시 형태에 따른 휴대 단말 장치의 기능 블럭도이다.
도 5는, 본 발명의 일 실시 형태에 따른 서버의 기능 블럭도이다.
도 6은, 본 발명의 일 실시 형태에 따른 정보 처리를 나타내는 플로우차트이다.
도 7은, 본 발명의 일 실시 형태에 따른 휴대 단말 장치의 정보 처리를 나타내는 플로우차트이다.
도 8a는, 본 발명의 일 실시 형태에 따른 화면 표시예를 나타내는 도면이다.
도 8b는, 본 발명의 일 실시 형태에 따른 화면 표시예를 나타내는 도면이다.
도 9는, 본 발명의 일 실시 형태에 따른 서버의 정보 처리를 나타내는 플로우차트이다.
도 10은, 본 발명의 일 실시 형태에 따른 대상물의 특징부 및 비특징부를 가시화한 도면이다.
도 11은, 본 발명의 일 실시 형태에 따른 윈도우의 개념을 나타내는 도면이다.
도 12a는, 본 발명의 일 실시 형태에 따른 형상 특징량 추출 방법을 모식적으로 나타낸 도면이다.
도 12b는, 본 발명의 일 실시 형태에 따른 형상 특징량 추출 방법을 모식적으로 나타낸 도면이다.
도 12c는, 본 발명의 일 실시 형태에 따른 형상 특징량 추출 방법을 모식적으로 나타낸 도면이다.
도 12d는, 본 발명의 일 실시 형태에 따른 형상 특징량 추출 방법을 모식적으로 나타낸 도면이다.
이하, 도면을 참조하여, 본 발명의 하나의 실시 형태를 설명한다. 본 실시 형태에 따른 대상물의 취득 확인 시스템(100)은, 도 1에 도시한 바와 같이, 네트워크(110)를 통하여 접속된 하나 이상의 휴대 단말 장치(120)와 서버(130)를 구비하는 시스템에 의해 실현할 수 있다. 대상물은, 유저가 취득한 것을 확인할 수 있는 것이라면 어떠한 것이여도 상관없다. 본 실시 형태에서는, 체크인 서비스의 대상이 되는 상품으로 하고, 온라인 게임의 유저가 해당 상품을 점포에서 구입해 취득한 것이 확인되면, 해당 상품에 대응하는 해당 온라인 게임에 있어서의 아이템이 특전으로서 부여된다. 대상물은 반드시 상품일 필요는 없다. 예를 들면, 이벤트로 무료 배포되는 카드 등이여도 된다.
본 실시 형태에 있어서의 휴대 단말 장치(120)는, 대상물을 촬상하여 네트워크(110)를 통하여 서버(130)로 송신하는 장치이며, 예를 들면, 휴대 전화기, 스마트폰, 태블릿 단말, 휴대 게임기 및 디지털 카메라 등의 휴대형 장치로 할 수 있다. 휴대 단말 장치(120)는, 처리 장치(201), 표시 장치(202), 입력 장치(203), 촬상 장치(204), 위치 정보 취득 장치(205), 기억 장치(206), 통신 장치(207) 및 버스(208)를 구비한다. 기억 장치(206)는 프로그램(209)을 저장한다.
처리 장치(201)는, 프로그램(209), 입력 장치(203)로부터의 입력 데이터, 촬상 장치(204)로부터의 촬상 데이터, 위치 정보 취득 장치(205) 또는 통신 장치(207)로부터 수신한 데이터 등에 기초하여, 웹 브라우저 등의 어플리케이션의 실행, 화상 처리 등의 각종 처리를 행한다. 처리 장치(201)는, 휴대 단말 장치(120)가 구비하는 각 장치를 제어하는 프로세서를 구비하고 있고, 프로세서가 포함하는 레지스터나 기억 장치(206)를 워크 영역으로 하여 각종 처리를 행한다. 이들 각 구성부는 버스(208)에 의해 접속되지만, 각각이 필요에 따라 개별적으로 접속되는 형태여도 상관없다.
표시 장치(디스플레이)(202)는, 처리 장치(201)의 제어에 따라, 어플리케이션 화면이나 촬상 장치(204)에 의해 촬상된 화상을 표시한다. 바람직하게는 액정 디스플레이이지만, 유기 EL을 이용한 디스플레이나 플라즈마 디스플레이 등이여도 된다.
입력 장치(203)는, 터치 패널, 터치 패드, 입력 버튼 등과 같이 유저로부터의 입력을 받아들이는 기능을 가지는 것이다. 휴대 단말 장치(120)가 입력 장치(203)로서 터치 패널을 구비하는 경우, 터치 패널은 표시 장치(202)로서도 기능하고, 표시 장치(202)와 입력 장치(203)는 일체가 된 구조이다. 표시 장치(202)와 입력 장치(203)는, 별도의 위치에 배치되는 별개의 형태여도 상관없다. 촬상 장치(204)는, 실공간 영역의 정지 영상 내지 동영상을 촬상하는 것이다. 위치 정보 취득 장치(205)는, 휴대 단말 장치의 현재 위치를 나타내는 정보를 취득하는 것이고, 예를 들면, GPS 센서나 WiFi의 SSID 등에 기초하여 위치를 특정하는 장치로 할 수 있다.
기억 장치(206)는, 하드 디스크, 메인 메모리 및 버퍼 메모리를 포함한다. 다만 하드 디스크는, 정보를 저장할 수 있는 것이라면 어떠한 불휘발성 스토리지 또는 불휘발성 메모리여도 되며, 착탈 가능한 것이여도 상관없다. 예를 들면, 휴대 단말 장치(120)가 스마트폰인 경우는 ROM 및 RAM를 포함한다. 기억 장치(206)에는, 프로그램(209)이나 해당 프로그램의 실행에 수반하여 참조될 수 있는 각종의 데이터가 기억된다. 프로그램(209)은, 오퍼레이팅 시스템, 또는 비디오 게임, 웹 브라우저 등의 플레이어 입력을 요구하는 모든 어플리케이션을 위한 프로그램이나 데이터를 포함한다.
통신 장치(207)는, 이동체 통신, 무선 LAN 등의 무선 통신이나 이서네트(등록 상표) 케이블, USB 케이블 등을 이용한 유선 통신을 행한다. 이 통신 장치(207)에 의하여, 프로그램을 서버(130)로부터 다운로드하여, 기억 장치(206)에 저장할 수도 있다. CD/DVD 등의 광학 디스크에 프로그램을 저장하고, 통신 장치(207)에 광학 드라이브를 접속하고, 광학 디스크로부터 프로그램 등을 읽어들여 기억 장치(206)에 저장해도 된다.
도 3은 본 실시 형태에 따른 서버(130)의 하드웨어 구성을 나타내는 블럭도이다. 서버(130)는, 처리 장치(301), 표시 장치(302), 입력 장치(303), 기억 장치(306) 및 통신 장치(307)를 구비한다. 이들 각 구성부는 버스(308)에 의해 접속되지만, 각각이 필요에 따라 개별적으로 접속되는 형태여도 상관없다.
처리 장치(301)는, 서버(130)가 구비하는 각 장치를 제어하는 프로세서를 구비하고 있고, 기억 장치(306)를 워크 영역으로 하여 각종 처리를 행한다. 표시 장치(302)는 서버의 유저에게 정보를 표시하는 기능을 가진다. 입력 장치(303)는 키보드나 마우스 등과 같이 유저로부터의 입력을 받아들이는 기능을 가지는 것이다.
기억 장치(306)는, 하드 디스크, 메인 메모리 및 버퍼 메모리를 포함한다. 하드 디스크에는 프로그램(309)이 기억된다. 단, 하드 디스크는, 정보를 저장할 수 있는 것이라면 어떠한 불휘발성 스토리지 또는 불휘발성 메모리여도 되고, 착탈 가능한 것이여도 상관없다. 기억 장치(306)에는, 프로그램(309)이나 해당 프로그램의 실행에 수반하여 참조될 수 있는 각종 데이터가 기억된다.
통신 장치(307)는 이서네트(등록 상표) 케이블 등을 이용한 유선 통신이나 이동체 통신, 무선 LAN 등의 무선 통신을 행하여, 네트워크(110)에 접속한다.
도 4는 본 발명의 휴대 단말 장치(120)의 기능 블럭도의 일예를 나타낸다. 휴대 단말 장치(120)는, 휴대 단말 제어부(401), 휴대 단말 표시부(402), 휴대 단말 입력부(403), 촬상부(404), 위치 정보 취득부(405), 휴대 단말 기억부(406) 및 휴대 단말 통신부(407)를 구비한다.
휴대 단말 표시부(402)는 유저에게 제시하기 위한 정보를 표시한다. 휴대 단말 입력부(403)는 유저로부터의 입력을 받아들인다. 촬상부(404)는 실공간 영역의 정지 영상 내지 동영상을 촬상한다. 위치 정보 취득부(405)는 휴대 단말 장치(120)의 현재 위치 정보를 취득한다.
휴대 단말 기억부(406)는, 각 대상물의 화상인 기준 화상을 대상물의 종류를 나타내는 대상물 식별 정보(ID)에 연결하여 기억한다. 본 실시 형태에서는, 대상물의 종류가 복수 있는 것으로 하지만, 한 종류뿐이여도 동작 가능하다. 대상물이 한 종류밖에 없는 경우는, 기준 화상은 대상물 ID와 연결하여 기억되지 않아도 된다. 기준 화상은, 예를 들면, 서버(130)로부터 취득 확인용 어플리케이션에 포함시켜 휴대 단말 장치(120)의 기억부(406)에 다운로드할 수 있다. 휴대 단말 기억부(406)에 기억된 기준 화상은, 서버(130)로부터 통신부(407)를 통하여 수신되는 정보에 기초하여, 소정의 타이밍에서 갱신하는 것이 바람직하다. 예를 들면, 특전 부여를 위한 이벤트의 갱신의 타이밍이나 일정 기간마다 기준 화상을 다운로드하여 갱신할 수 있다. 취득 확인용 어플리케이션을 웹 브라우저로 하여, 열람 화상을 촬영하기 위한 웹 사이트에 액세스한 때에 기준 화상을 다운로드해도 된다.
휴대 단말 장치(120)의 제어부(401)는, 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 휴대 단말 장치의 촬상부(404)에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하고, 어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하여, 상기 캡쳐된 취득 대상물 화상을 서버(130)로 송신한다. 또한, 위치 정보 취득부(405)를 이용하여 휴대 단말 위치 정보를 취득하여, 촬상 화상과 함께 서버(130)로 송신할 수도 있다.
본 실시 형태에서 휴대 단말 제어부(401)는, 도 2에 기재된 하드웨어 구성에 포함되는 프로그램(209)이 처리 장치(201)에 의해 실행됨으로써 실현되지만, 집적 회로 등을 준비함으로써도 실현할 수 있다. 또한, 휴대 단말 표시부(402), 휴대 단말 입력부(403), 촬상부(404), 위치 정보 취득부(405) 및 휴대 단말 기억부(406) 및 휴대 단말 통신부(407)는 각각 도 2에 기재한 표시 장치(202), 입력 장치(203), 촬상 장치(204), 위치 정보 취득 장치(205), 기억 장치(206) 및 통신 장치(207)의 각 하드웨어에 의해 실현되지만, 프로그램(209)이 처리 장치(201) 등에 의해 실행되고, 각 하드웨어와 협동함으로써 실현되어도 된다.
도 5는 본 발명의 서버(130)의 기능 블럭도의 일예를 나타낸다. 서버(130)는, 서버 제어부(501), 서버 표시부(502), 서버 입력부(503), 서버 기억부(506) 및 서버 통신부(507)를 구비한다.
서버 표시부(502)는 서버 관리자 등의 유저에게 제시하기 위하여 정보를 표시한다. 서버 입력부(503)는 유저로부터의 입력을 받아들인다. 서버 기억부(506)는, 대상물의 화상인 기준 화상 및 대상물의 화상 특징량을 대상물 ID에 연결하여 기억한다. 대상물이 한 종류밖에 없는 경우에는, 기준 화상 및 화상 특징량은 대상물 ID와 연결하여 기억되지 않아도 된다. 또한 서버 기억부(506)는, 각 대상물을 위한 화상 특징량도 또한 대상물 ID에 연결하여 기억한다.
서버 제어부(501)는, 휴대 단말 장치(120)로부터의 요구에 따라 기억부(506)에 기억된 기준 화상을 그 연결된 대상물 ID와 함께 통신부(507)를 통하여 휴대 단말 장치(120)로 송신한다. 또한, 기준 화상이 갱신된 타이밍 등의 소정의 타이밍에서, 기억부(506)로부터 기준 화상을 읽어내고, 휴대 단말 장치(120)로 송신하여, 휴대 단말 장치(120)에 있어서의 기준 화상의 갱신을 행할 수 있다.
서버 제어부(501)는, 휴대 단말 장치(120)로부터 송신된 취득 확인 요구를 서버 통신부(507)를 이용하여 수신하고, 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 종류의 대상물에 대한 해당 취득 대상물 화상의 특징 상관량을 결정하고, 이 결정된 특징 상관량에 기초하여, 취득 대상물 화상이 해당 종류의 대상물을 촬상한 화상인지의 여부를 판정한다. 또한 이 취득 대상물 화상이 부정하게 취득된 화상인지의 여부에 대하여 판정해도 된다. 취득 대상물 화상에 대상물이 촬상되어 있고, 부정하게 취득된 화상은 아니라고 판정된 경우에는, 해당 유저가 해당 대상물을 취득한 것이 확인되었다라고 하여, 대응하는 특전 등을 부여한다.
본 실시 형태에서 서버 제어부(501)는, 도 3에 기재된 하드웨어 구성에 포함되는 프로그램(309)이 처리 장치(301)에 의해 실행됨으로써 실현되지만, 집적 회로 등을 준비함으로써도 실현할 수 있다. 또한, 서버 표시부(502), 서버 입력부(503), 서버 기억부(506) 및 서버 통신부(507)는 각각 도 3에 기재한 표시 장치(302), 입력 장치(303), 기억 장치(306) 및 통신 장치(307)의 각 하드웨어에 의해 실현되지만, 프로그램(309)이 처리 장치(301) 등에 의해 실행되고, 각 하드웨어와 협동함으로써 실현되어도 된다.
이어서, 본 실시 형태에 있어서의 휴대 단말 장치(120) 및 서버(130)의 동작의 플로우차트를 도 6에 도시하였다. 본 실시 형태에서는, 휴대 단말 장치(120)인 스마트폰의 유저가 플레이하고 있는 온라인 게임에 있어서의 아이템을 취득하기 위하여, 유저는 복수 종류의 대상물인 상품 중 어느 하나를 구입하여 취득하는 것이 요구되어 있는 경우를 예로 들어 설명한다. 여기에서는, 상품의 종류마다 주어지는 온라인 게임에 있어서의 아이템이 상이하므로, 유저가 어느 상품을 취득했는지를 특정해야 한다.
유저는 대상으로 되어 있는 상품을 판매하고 있는 점포를 실제로 방문하여, 몇 가지의 상품을 구입해 취득하고, 해당 취득한 상품을 휴대 단말 장치(120)를 이용하여 촬상하여, 서버(130)로 송신한다. 서버(130)는, 취득된 상품이 복수 있는 대상 상품의 중 어느 한 종류의 상품인지가 판정되고, 촬상된 상품이 대상 상품의 어느 한 종류라고 결정되면, 유저가 그 상품을 취득했다고 인정되고, 해당 상품 종류에 대응하는 아이템이 이 유저의 게임 어카운트에 대하여 배포된다. 이하에, 이들 처리의 내용을 구체적으로 설명한다.
우선, 본 실시 형태에서 유저는, 프로그램(209)으로서 취득 확인용 어플리케이션을 휴대 단말 장치(120)에 다운로드하여 인스톨하고, 몇 개의 점포를 방문해 상품을 구입한다. 유저가 취득한 상품의 화상을 촬상하기 위하여 휴대 단말 장치(120)에 있어서의 취득 확인용 어플리케이션을 기동하면, 휴대 단말 장치(120)가 취득 확인 요구 처리(S601)를 개시한다. 취득 확인 요구 처리에 있어서 휴대 단말 장치(120)의 제어부(401)가 촬상부(404)를 이용하여, 상품을 포함하는 화상을 촬상하여 취득 대상물 화상으로서 캡쳐하고, 이 취득 대상물 화상을 포함하는 취득 확인 요구를 서버(130)로 통신부(407)를 통하여 송신한다.
서버(130)는 취득 확인 요구를 수신하고, 취득 확인 처리를 실행한다(S602). 취득 확인 처리에서 서버(130)는, 유저에 의해 촬상된 상품이, 특전 부여의 대상으로 되어 있는 복수 종류의 상품 중 어느 한 종류인지를 판정한다.
본 실시 형태에 있어서의 취득 확인 요구 처리(S601)의 보다 구체적인 처리 내용을 도 7에 도시한다. 유저가 휴대 단말 장치(120)에 있어서의 취득 확인용 어플리케이션을 기동하면, 취득 확인 요구 처리(S601)가 개시된다.
휴대 단말 제어부(401)는 기준 화상을 위한 카운터(d)를 0으로 세트한다(S701). 본 실시 형태에서는, 휴대 단말 장치(120)의 기억부(406)에는, 특전 부여의 대상이 되는 D 개의 종류의 대상물(상품)의 각 대상물 ID에 연결하여 기준 화상이 기억되고, 이들에 기초하여, 유저에 의해 촬상된 화상에 대상물인 상품이 포함되어 있는지의 여부를 판정한다. 기준 화상은 예를 들면, 대상물 ID 번호순으로 비교의 대상으로 여겨진다.
유저는 휴대 단말 장치(120)의 촬상부(404)를 취득한 상품을 향하여, 상품의 촬상을 시도한다. 촬상부(404)는 향해진 방향의 실공간을 촬상한다(S702). 촬상된 화상은 동영상의 1 프레임으로 하는 것이 바람직하지만, 정지 영상 촬영에 의해 촬상된 화상이여도 된다. 그리고, 기억부(406)에 기억된 기준 화상 중 d 번째(0≤d<D)의 기준 화상과 촬상부(404)에 의해 촬상된 공간의 촬상 화상을 비교하여(S703), 해당 기준 화상에 연결된 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있는지의 여부를 판정한다(S705).
본 실시 형태에서, 기준 화상과 촬상부(404)에 의해 촬상된 공간의 촬상 화상과의 비교는 형상에 대한 국소 특징량에 기초하여 실행된다. 여기서 형상은 상품의 형상 외에 상품에 기재된 로고나 상품명 등의 문자의 형상이나 모양 등도 포함한다. 국소 특징량을 이용함으로써, 촬상된 화상 내에 상품이 촬상되어 있는지의 여부를 고속으로 판정할 수 있다. 국소 특징량은 미리 산출하여 기억부(406)에 미리 기억해 두는 것이 바람직하다.
여기에서는 국소 특징량을 이용하여 대략적으로 대상물이 촬상되어 있는지의 여부를 판정하므로, 비교하고 있는 기준 화상의 대상물과 유사한 그 외의 대상물이나 대상물 이외의 것이 촬상되어 있는 경우에도, 비교 대상의 기준 화상의 대상물이 촬상되어 있다고 판정될 가능성이 있다. 본 발명에서는, 국소 특징량을 이용한 판정에 있어서의 이러한 오판정의 가능성을 허용한다. 국소 특징량을 이용함으로써 고속으로 대상물이 촬상되어 있다고 추정되는 영역을 특정하여, 보다 정밀도 높은 식별을 행하기 위한 특징 상관량을 이용한 연산을 행하는 대상을 한정함으로써 연산량을 삭감하여, 고속으로 대상물의 종류를 특정하는 것을 가능케 한다.
본 실시 형태에서는, 소정 영역 내에 상품이 촬상되도록 휴대 단말 장치(120)의 위치 및 각도를 이동시키도록 유저를 유도하여, 상품이 촬상되는 영역을 소정 영역 내에 한정시킨다. 이에 의하여, 촬상 화상 내의 상품의 위치 및 사이즈를 기하학적으로 정규화하여, 이 이후의 상품 종류 식별을 위한 정보 처리량을 삭감한다.
상품이 촬상되어야 할 소정의 영역은, 촬상부(404)에 의해 촬상 가능한 영역의 전체보다 작은 영역으로 하고, 상품을 소정의 영역 내에 촬상함과 동시에 상품의 주변부도 동시에 촬상한다. 주변 영역의 화상은 후술하는 부정 취득 대상물 화상의 검출(S907)에 이용할 수 있다.
d 번째의 기준 화상의 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있다고 판정되지 않은 경우에는(S704), 카운터(d)를 카운트업하고(S705), 판정해야 할 D 종류의 모든 대상물의 기준 화상과 촬상 화상을 비교했는지를 판정한다(S706). 모두에 대하여 판정하고 있지 않은 경우에는 다음의 기준 화상이 촬상 화상에 대상물이 촬상되어 있는지를 판정한다(S703, S704). 모든 기준 화상과 촬상 화상과의 비교를 행했다고 판정된 경우에는(S706), 카운터(d)를 리셋하고(S701), 새로운 공간의 화상을 촬상하고(S703), 이 촬상 화상에 대하여 기준 화상과의 비교를 실행한다. 몇 개의 기준 화상의 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있다고 판정될 때까지 S701~S706의 처리를 반복하여 실행한다.
도 8에 1 개의 실시예로서의 표시부(402)에 표시되는 취득 확인용 어플리케이션의 표시 화면(800)을 나타낸다. 대상물은 햄버거로 한다. 도 8a에 도시한 바와 같이, 표시부(402)는, 촬상부(404)에 의해 촬상된 공간의 화상과 함께, 대상물인 햄버거(802)를 보관해야 할 소정의 영역을 나타내는 프레임(801) 및 대상물을 범위 내에 넣도록 지시하는 메세지를 표시한다. 여기에서는 표시부(402)에는 촬상부(404)의 촬상 영역의 전체(803)가 표시되고, 프레임(801)은 이 전체의 영역보다 작은 영역이다. 이 때문에, 햄버거(802)가 프레임(801)에 보관된 때에는 프레임(801)의 외측 영역에는 햄버거(802)의 주변의 화상(805)이 표시된다. 프레임(801) 내에 햄버거를 보관하도록 지시받음으로써, 유저는 휴대 단말 장치(120)를 이동시킨다.
기준 화상의 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있는지의 여부를 판정하는 국소 특징량을 이용한 판정 처리(S703, S704)는, 예를 들면, ORB(Oriented FAST and Rotated BRIEF) 특징량을 이용한 키 포인트 매칭 기술을 이용함으로써 실현할 수 있다. 구체적으로는, 기준 화상 내의 국소 특징량으로서의 특징적인 점(키 포인트)을 미리 검출하여 취득 확인용 어플리케이션의 일부로서 기억부(406)에 저장해 둔다. 그리고, 이 미리 저장된 기준 화상의 특징점(키 포인트)을 소정의 영역(프레임(801)) 내에 중첩시키고, 촬상부(404)가 촬상하여 얻은 화상의 특징점이 이 소정의 영역 내에 중첩된 특징점과 중첩되어 있는 경우, 기준 화상의 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있다고 판정한다. 기준 화상의 특징점과 촬상된 화상의 특징점과는 완전히 중첩될 필요는 없다. 예를 들면, 소정 수의 특징점이 소정의 이탈의 범위에서 중첩된 경우에는, 소정의 영역 내에 대상물이 촬상되어 있다고 판정할 수 있다.
유저가 휴대 단말 장치(120)를 움직여, 소정의 영역 내에 대상물을 보관하는 것에 성공하면, 기준 화상의 대상물이 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있다고 판정되고(S704), 소정의 영역 내에 촬상된 대상물 및 그 주변부를 포함하는 공간의 화상이 취득 대상물 화상으로서 캡쳐된다(S707). 본 실시 형태에서 취득 대상물 화상의 캡쳐는, 이 이후의 처리를 위하여 촬상 화상을 기억부(406)에 기억하는 것이다. 각 휴대 단말 장치가 취득 대상물 화상을 캡쳐하는 처리를 실행하므로, 대량의 취득 확인 요구가 동시에 이루어진 경우에도 각 휴대 단말 장치로 부하가 분산되어 서버로의 부하를 경감할 수 있다.
도 8b에 도시한 바와 같이, 취득 대상물 화상의 캡쳐됨에 성공한 것을 유저에게 전달하기 위한 메세지와 함께 취득 대상물 화상을 서버로 송신하여 취득 확인 요구를 송신할지 재차 다시 촬영할지를 문의하는 메세지를 표시부(402)에 표시하고, 입력부(403)가 재차 고치기 위한 입력을 받아들인 경우에는 S701로 되돌아오고, 서버(130)로 송신하기 위한 입력을 받은 경우에는, 휴대 단말 장치(120)의 제어부(401)는 통신부(407)를 이용하여, 취득 확인 요구를 네트워크(110)를 통하여 송신하는 서버(130)로 송신한다(S708). 취득 확인 요구는, 유저를 식별하는 유저 ID 및 취득 대상물 화상을 포함한다.
본 실시 형태에서는, 소정의 대상물의 기준 화상과 촬상 화상을 비교하여 소정 영역 내에 대상물이 촬상되어 있는지의 여부의 판정을 행하였으나, 공통되는 특징을 가지는 복수 종류의 대상물에 대해서는, 공통되는 특징을 나타낸 특징량을 나타내는 데이터에 기초하여 판정을 행해도 된다. 이 경우에는, 이 공통되는 특징을 가지는 모든 대상물이 검출된다. 취득 대상물 화상에 이들 대상물 중 어느 것이 촬상되어 있는지는 후술하는 처리에 의해 특정된다.
이어서, 도 9에 도시한 플로우차트에 기초하여, 서버(130)에서 실행되는 취득 확인 처리(S602)의 구체적인 처리를 설명한다. 본 실시 형태에서는, k 번째의 대상물의 기준 화상의 화상 특징량에 기초하여, k 번째의 종류의 대상물에 대한 취득 대상물 화상의 특징 상관량을 결정하고(S902), 결정된 특징 상관량에 기초하여, 취득 대상물 화상에 포함되는 상품이 대상 상품의 어느 한 종류인지의 여부를 판정한다(S903). 그 후, 그 화상이 부정하게 가공되어 있지 않은지, 또한 다른 유저에 의해 촬상된 화상의 복제 등의 부정한 화상인지의 여부를 판정한다(S907). 취득 대상물 화상에 대상물의 한 종류가 포함되어 있고, 부정한 화상이 아닌 경우에는, 해당 종류에 대응하는 특전이 유저에게 부여된다(S908). 이하, 이들 처리에 대하여 상세하게 설명한다.
서버 제어부(501)는 대상물의 종류를 위한 카운터(k)를 0으로 세트한다(S901). 본 실시 형태에서는 기억부(506)에는, 특전 부여의 대상이 되는 복수 종류의 대상물의 각각에 대한 고유 특징량 및 비고유 특징량이 각 대상물의 대상물 ID에 연결하여 기억부(506)에 기억되고, 이들 대상물 중 어느 하나가 유저에 의해 촬상된 화상에 포함되어 있는지를 순차 판정한다. 여기에서는, 고유 특징량 및 비고유 특징량의 양쪽 모두를 각 대상물에 고유의 것으로 하지만, 고유 특징량만을 각 대상물에 대하여 고유로 하고, 비고유 특징량은 전체 종류에 대하여 공유로 해도 된다. S902 및 S903에서 비교의 대상이 되는 대상물은, 예를 들면, 대상물 ID 번호순으로 할 수 있다.
고유 특징량은 어느 대상물의 종류를 식별하기 위하여 적절한 특징을 나타내는 양이며, 비고유 특징량은 그 대상물의 종류를 식별하기 위하여 부적절한 특징을 나타내는 양이다. 본 실시 형태에서는, 고유 특징량 및 비고유 특징량은, 대상물을 나타내는 화상의 색채에 대한 특징량으로 한다. 여기에서는 고유 특징량은, 대상물을 나타내는 화상의 각 픽셀의 RGB값 중, 해당 대상물의 특징적인 RGB값을 하나 이상 포함한 테이블로 한다. 예를 들면, 대상물을 촬상한 화상으로부터 눈으로 봤을 때 특징적이라고 생각되는 픽셀의 RGB값 및 특징적이지 않다고 생각되는 픽셀의 RGB값을 추출하여 테이블을 작성할 수 있다. 이 테이블은, 각 대상물의 기준 화상에 기초하여 작성해도 되지만, 대상물 화상에 있어서의 RGB값은 촬상한 때의 조명의 색 등에 의해서도 변화하므로, 다양한 조명 조건에서 대상물을 촬상한 복수의 화상에 기초하여 복수의 고유 특징량을 포함한 테이블을 작성하는 것이 바람직하다.
일예로서, 대상물인 햄버거의 포장 용지에 상품명이 기재되어 있는 경우에, 상품 종류마다 상품명의 문자색이 상이하지만, 포장 용지의 배경색은 공통인 경우를 생각한다. 이 경우에는, 각 상품에 고유의 문자색을 나타내는 RGB값을 포함한 고유 특징량 테이블을 작성하여, 배경색을 나타내는 RGB값을 포함한 비고유 특징량 테이블을 작성한다. 또한, 어느 한 상품의 문자색과 다른 상품의 문자색과는 상이하므로, 다른 상품의 문자색을 나타내는 RGB값은, 그 상품에 대해서는 비고유 특징량의 테이블에 포함시킬 수 있다. 그 상품 이외를 위한 문자색은 그 상품에 포함되어 있지 않은 색이므로, 이러한 특징량을 비고유 특징량에 포함함으로써, 상품 식별을 잘못할 확률을 감소시킬 수 있다.
본 실시 형태에서는, 상품명 「CHEESE BURGER」의 문자는 녹색, 상품명 「HUMBERGER」의 문자는 보라색으로 하고, CHEEESE BURGER 및 HUMBERGER의 양쪽 모두의 포장 용지의 배경색은 갈색이라고 한다. 이 때의, CHEESE BURGER의 고유 특징량 테이블 및 비고유 특징량 테이블을 표 1 및 표 2에 나타낸다.
Figure pct00001
Figure pct00002
표 1은 CHEEESE BURGER의 고유 특징량을 나타내는 테이블이다. 예를 들면, ID=0의 131, 150, 87은 CHEEESE BURGER의 문자색으로서 사용되는 녹색을 나타내는 1 개의 RGB값이다. 조명 조건에 의하여, 같은 인쇄된 녹색이여도 그 촬상된 화상에 있어서의 RGB값은 상이한 것이 되므로, 초록을 나타내는 다른 복수의 RGB값도 포함되어 있다. 표 2는 CHEESE BURGER의 비고유 특징량을 나타내는 테이블이다. 예를 들면, ID=0의 107, 71, 54는, CHEESE BURGER와 HUMBERGER의 양쪽 모두의 포장 용지에 공통의 갈색을 나타내는 RGB값이다. 또한, CHEESE BURGER의 포장 용지에는 포함되지 않는, HUMBERGER의 문자색인 적색을 나타내는 RGB값을 포함해도 된다.
서버 제어부(501)는, 이들 대상물의 고유 특징량 및 비고유 특징량에 기초하여, 그 대상물에 대한 취득 대상물 화상의 특징 상관량을 결정한다. 본 실시 형태에서는, 대상물의 고유 특징량 및 비고유 특징량에 기초하여 추출된 고유 특징부와 비고유 특징부와의 면적비를 해당 대상물에 대한 특징 상관량으로 한다.
우선, 대상물의 고유 특징량 및 비고유 특징량의 테이블에 있어서의 모든 RGB값과 취득 대상물 화상에 있어서의 각 픽셀의 RGB값과의 색채 차분을 산출한다. 어느 한 픽셀에 있어서의 RGB값과의 색채 차분이 가장 작은 RGB값을 포함하는 테이블이 고유 특징량 테이블인 경우에는, 그 픽셀을 고유 특징부(고유 특징 픽셀)로 하고, 비고유 특징량 테이블인 경우에는, 그 픽셀을 비고유 특징부(비고유 픽셀)로 한다. 그리고, 추출된 고유 특징부와 비고유 특징부와의 면적비를 산출한다.
색채 차분의 계산에서는, 균등성이 있는 색 공간 상에서의 색의 거리계인, godlove 색차식(Godlove, I. H. : Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal of the Optical Society of America, 41(11), pp. 760-770, (1951)) 또는 CIE2000(Luo, M. R., Cui, G., & Rigg, B., "The development of the CIE 2000 : colour-difference formula: CIEDE2000", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002/col. 1049)를 이용할 수 있다. 예를 들면, HSV 공간 상의 거리로서 일반적으로 알려진 godlove 색차식(△godlove)은, 다음과 같이 정의할 수 있다.
Figure pct00003
도 10에, 본 실시 형태의 처리에 의해 결정된 고유 특징부 및 비고유 특징부를 가시화한 도면을 나타낸다. 여기에서는, 고유 특징부(픽셀)를 흰색 및 비고유 특징부(픽셀)를 검정색으로 나타냈다. 이와 같이, 고유 특징량 테이블에 포함되는 RGB값에 가까운 RGB값을 가지는 부분, 즉, 대상물의 특징적인 색의 부분인 문자 부분이 고유 특징부로서 추출되고, 비고유 특징량 테이블에 포함되는 RGB값에 가까운 RGB값을 가지는 부분, 즉, 대상물의 특징적인 색이 아닌 배경 부분이 비고유 특징부로서 추출되어 있음을 알 수 있다. 특징 상관량인 추출된 고유 특징부와 비고유 특징부와의 면적비는, 예를 들면, 도 10에 있어서의 흰색 부분과 검정색 부분의 면적비이다.
비고유 특징량 테이블을 사용하지 않고, 고유 특징량 테이블의 RGB값과의 차가 역치 내이면 고유 특징부라고 판정하고, 그 이외의 경우에는 비고유 특징부라고 판정할 수도 있다. 그러나, 전술한 대로, 동일 종류의 대상물을 촬상한 경우여도, 조명 조건에 의해 촬상된 화상의 각 픽셀의 RGB값은 변화한다. 그 때문에, 고유 특징량으로부터 일정한 범위 내인지에 의해서만 고유 특징부인지 아닌지의 판정을 행하면 오판정될 가능성이 높아진다. 예를 들면, 특징적인 색인 초록에 가까운 조명 하에서 촬영된 취득 대상물 화상의 판정을 행하면, 모든 픽셀이 고유 특징량에 가까운 색이 되므로, 모든 픽셀이 고유 특징부라고 판정될 우려가 있다.
한편, 본 실시 형태와 같이, 비고유 특징량 테이블도 이용하여, 고유 특징량과 비고유 특징량 중 어느 것에 가까운지의 상대적인 판정을 행함으로써, 보다 정확하게 판정을 행하는 것이 가능해진다. 예를 들면, 초록의 조명 하에 있어서 촬상된 화상에 기초하여 비고유 특징량이 추출되어 있으면, 초록의 조명 하에서 촬상된 취득 대처물 화상이여도, 초록빛을 띈 배경색의 픽셀은 비고유 특징량 테이블에 포함되는 RGB값에 가까운 색이 되므로, 비고유 특징부라고 판정하는 것이 가능해진다. 다양한 조명 하에서 촬상한 화상에 기초하여, 이들 테이블을 작성함으로써 그 정밀도를 보다 높일 수 있다. 또한, 비고유 특징량으로서, 대상물에 포함되어 있지 않은 색을 넣음으로써, 더욱 그 정밀도를 높일 수 있다.
S903에서, 결정된 k 번째의 대상물에 대한 취득 대상물 화상의 특징 상관량에 기초하여, k 번째의 대상물이 촬상되어 있는지의 여부에 대하여 판정한다. 이 특징 상관량이 해당 대상물을 위하여 미리 정해진 범위 내인 경우에는, 취득 대상물 화상에는 CHEESE BURGER가 촬상되어 있다고 판정한다.
그리고, k 번째의 대상물이 촬상되어 있다고 판정된 경우에는, 부정 검출(S907)로 이행하고, 촬상되어 있지 않다고 판정된 경우에는, 카운터(k)를 카운트업하고(S904), 아직 모든 종류(K)에 대하여 판정하고 있지 않으면(S905), 다음의 종류에 대하여 재차 판정 처리를 실행하기 위하여 S902로 되돌아온다. 모든 종류(K)에 대하여 판정을 행했음에도 불구하고, 대상물이 촬상되어 있다고 판정되지 않은 경우에는, 어느 종류의 대상물도 검출할 수 없었으므로 에러라고 결정하고(S906), 휴대 단말 장치(120)로 에러 메세지를 송신하고, 대상물을 검출할 수 없던 취지의 통지를 행한다(S910).
k 번째의 대상물이 촬상되어 있다고 판정된 경우에는, 부정 취득 대상물 화상인지의 여부의 판정 처리를 행한다(S907). 부정 검출은, 취득 대상물 화상을 부정하게 가공한 것 및 다른 유저가 촬상한 화상을 복제하는 등에 의해 부정하게 취득한 것을 검출한다. 화상이 부정하게 가공됐는지의 여부를 검증하는 방법으로서는, A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 : 16th IEEE International Conference on Image Processing(ICIP), Cairo, 2009, pp. 1497-1500 또는 Minati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques - A Comprehensive Study," International Journal of ComputerScience and Business Informatics, Vol. 2, No. 1. ISSN: 1694-2108, June (2013)에 나타내고 있는 바와 같이, 다양한 방법이 알려져 있다. 본 발명에서는, 화상이 부정하게 가공됐는지의 여부를 검증하는 방법이라면 어떠한 방법이여도 된다.
열람 화상이 부정하게 가공되어 있지 않다고 판정된 경우에는, 취득 대상물 화상에 포함되는 대상물의 주변부의 화상에 기초하여 다른 유저가 촬상한 화상을 복제하는 등에 의해 부정하게 취득한 것인지의 여부를 판정한다. 대상물의 주변을 포함하는 화상은, 통행인이 비치거나, 그늘의 위치가 바뀌므로, 촬영하는 시간이 상이하면, 완전히 동일한 화상은 되지 않는다. 또한, 상품의 주변부는 상품의 촬상 장소마다 상이하므로, 촬상 화상마다 상이한 것이 된다. 본 발명에서 이미 정당한 취득 확인 요구라고 판정된 취득 확인 요구에 포함되어 있던 취득 대상물 화상을 서버 기억부(506)에 저장하여 축적해 두고, 판정의 대상으로 되어 있는 취득 대상물 화상을 이미 확인이 끝난 취득 대상물 화상과 비교함으로써, 복제에 의해 취득된 화상인지의 여부를 판정하는 것이 가능하다. 양자의 유사성이 일정 이상으로 높으면 부정한 화상이라고 판정한다.
이 주변 화상에 기초한 부정 검출은, 예를 들면, 특허 문헌 1(특허 제6181893호)에 기재된 방법에 의해 실현할 수 있다. 본 실시 형태에서는, 촬상부(404)에 의해 촬상 가능한 영역의 전체보다 작은 소정의 영역 내에 대상물을 촬상시키므로, 대상물의 주변부도 동시에 촬상되고, 특허 문헌 1에 개시된 부정 검출 방법을 편입시켜 부정 검출을 행할 수 있다.
부정 취득 대상 화상 검출(S907)에서, 부정한 취득 대상물 화상은 아니라고 판정된 경우에는, k 번째의 대상물을 유저가 취득한 것이 확인된 것으로서, k 번째의 대상물에 대응하는 특전을 부여하기 위한 처리를 실행하고(S908), 특전 부여가 행해진 취지의 통지를 휴대 단말 장치(120)로 송신한다(S910). 부정한 취득 대상물 화상이라고 판정된 경우에는, 부정 취득 대상물 화상을 위한 처리를 실행하고(S909), 부정 취득 대상 화상이라고 판정된 취지의 통지를 휴대 단말 장치(120)로 송신한다(S910).
본 실시 형태는, 촬상된 화상 중에 대상물이 포함되는 대상물 영역 검출을 위하여 회전이나 이동에 강한 로버스트(robust)한 특징량인 국소 특징량을 이용하여, 검출한 대상물 영역에 포함되는 대상물이 바리에이션 중 어느 하나를 확정시키기 위한 대상물 식별을 위한 포괄적인 색채 특징량을 이용한다고 하는, 2 개의 특징량을 이용한 매칭 처리를 행한다. 이에 의하여, 다종류의 대상물을 고속 및 고정밀도로 식별하는 것을 가능케 한다. 변화나 노이즈에는 강하지만 식별성은 충분히 높지 않은 국소 특징량과, 식별성은 높지만 변화나 노이즈에는 약한 포괄적인 색채 특징량을 연결함으로써, 식별성과 노이즈 내성의 양쪽 모두를 동시에 실현하는 것을 가능케 한다.
특히, 대상물이 포장 용지에 포장된 상품인 경우 등은, 포장 용지를 작게 접음에 의한 변형이나 오염 등의 노이즈가 많이 포함되고, 기존의 특징량 매칭만으로는 정확하게 상품 종류를 확정할 수 없다. 그러나, 본 실시 형태를 이용함으로써, 노이즈가 많이 포함되어 있는 경우에도, 높은 정밀도로 고속으로 대상물의 종류를 특정할 수 있다.
본 실시 형태에서는, S903에서, k 번째의 대상물에 대한 취득 대상물 화상의 특징 상관량에 기초하여 취득 대상물 화상에 k 번째의 대상물이 촬상되어 있다고 판정되면, 해당 k 번째의 대상물이 촬상된 것으로 결정했으나, 복수 종류의 모든 대상물에 대하여 특징 상관량을 산출하여, 가장 상관성이 높은 대상물이 촬상되어 있다고 결정할 수도 있다. 예를 들면, k 번째의 대상물을 위한 미리 기억된 소정값(Ak)과 취득 대상물 화상을 위하여 산출된 면적비(Ck)와의 차가 가장 작은 대상물이 취득 대상물 화상에 촬상되어 있다고 결정할 수 있다.
본 실시 형태에서는, S902에서 특징 상관량을 얻기 위하여 이용되는 화상 특징량을 색채의 특징량으로 했으나, 형상의 특징량을 이용하여 특징 상관량을 결정할 수도 있다. 예를 들면, NХN 픽셀의 윈도우를 정의하여, 기준 화상의 각 픽셀에 대하여 순차 적용하고, 형상의 패턴을 추출하여, 이에 기초하여 형상의 특징량으로 할 수 있다.
설명을 간단하게 하기 위해 N를 2로 하고, 흑백 화상을 대상으로 한 경우를 예로 들어 설명한다. 도 11에 도시한 바와 같이, 2Х2 픽셀의 윈도우(1100)를 정의하고, 이 윈도우에 포함되는 픽셀의 패턴은, 각 픽셀이 흰색 또는 검은색이 되므로 24와 같은 패턴이 되고, 각 패턴에 식별 번호 PID(0~15)를 할당한다. 예를 들면, 모든 픽셀(1101~1104)이 흰색인 패턴은 PID=0, 우측 하단의 픽셀(1101)만이 검은색인 경우에는 PID=1, 모든 픽셀이 검은색인 경우에는 PID=15로 한다.
그리고, 도 12a에 도시한 기준 화상(1200)에 대하여 윈도우(1100)를 적용한다. 우선, 기준 화상(1200)의 좌측 상단의 픽셀(1201)에 윈도우(1100)의 좌측 상단의 픽셀(1101)을 위치 조정하여(도 12b), 기준 화상(1200)의 좌측 상단의 2Х2 픽셀의 패턴을 추출하고, 추출된 패턴의 PID의 카운터를 1 카운트업한다. 여기에서는, 기준 화상(1200)의 좌측 상단의 2Х2 픽셀은 모두 흰색이므로, PID=0의 카운터 CPID_0를 1 개 인크리먼트한다. 도 12c 및 도 12d에 도시한 대로, 윈도우(1100)를 1 픽셀씩 이동시키고, 이 처리를 기준 화상의 모든 픽셀에 대하여 실행하고, 각 PID에 대응하는 패턴이 각각 몇 개 있었는지를 카운트하여, 카운터 CPID_0~CPID_15를 취득한다. 그리고, 이 카운터 CPID_0~CPID_15를 빈으로 하고, 이 대상물의 종류에 대한 화상 특징량으로서의 형상 히스토그램을 취득한다.
취득 대상물 화상에 대해서도 이 윈도우(1100)를 이용하여 형상 히스토그램을 작성한다. 그리고, 취득 대상물 화상의 형상 히스토그램과 기준 화상의 형상 히스토그램과의 차분을 산출하여 이를 특징 상관량으로 한다(S902). 그리고, 특징 상관량인 차분값이 소정의 범위 내인 경우에는, 취득 대상물 화상에 그 대상물이 촬상되어 있다고 판정되고, 범위 외였던 경우에는 촬상되어 있지 않다고 판정된다(S903). 여기에서는 특징 상관량인 차분값이 작을수록 상관성이 높다.
또한, 변형예로서, 유저가 어느 대상물을 취득했는지를 미리 특정해도 된다. 이 경우에는, 특정된 대상물의 국소 특징량에만 기초하여, 소정 영역 내에 대상물이 촬상되어 있는지의 확인 처리를 행하고, 취득 확인 요구에는, 지정된 대상물의 종류를 특정하는 대상물 ID를 포함하여 서버(130)로 송신하고, 서버(130)는 이에 기초하여 특정된 대상물의 화상 특징량에만 기초하여 취득 대상물 화상에 대상물이 촬상되어 있는지의 여부를 판정하면 되므로, 보다 고속의 처리를 실현할 수 있다.
또한, 1 명의 유저가 소정의 점포에서 한 종류의 대상물을 취득하여 체크인 처리를 행하는 것에 대하여 회수 제한을 행하는 것도 가능하다. 이 경우에는, 휴대 단말 장치(120)가 확인 요구를 송신할 때에, 취득 대상물 화상의 촬상 시에 위치 정보 취득부(405)에 의해 취득된 위치 정보를 취득 확인 요구에 포함하여 송신하고, 서버(130)는 특전 부여를 행할 때에, 해당 대상물의 종류에 대하여 해당 유저가 이미 해당 위치 부근에서 촬상된 화상에 기초하여 체크인을 행하고 있지 않은지를 확인한다. 이미 체크인을 행하고 있던 경우에는, 특전 부여는 행하지 않고, 아직 체크인을 행하고 있지 않은 경우에는, 특전 부여를 행한 후, 해당 유저에 대해서는 해당 위치에서 이미 체크인을 행한 것을 나타내는 정보를 서버 기억부(506)에 기억한다.
공통의 특징을 포함하는 복수 종류의 대상물의 하나의 카테고리가 있는 경우에는, 예를 들면, 취득 확인 처리(S602)의 개시 시에, 색채 등의 공통 특징량에 기초하여 취득 대상물 화상에 포함되는 대상물이 그 카테고리 중 어느 하나인 것을 결정하고, 그 카테고리 내의 대상물에 대해서만 S701 이후의 처리를 실행할 수도 있다. 다수의 대상물이 있는 경우에는, 비교의 대상을 삭감할 수 있으므로, 처리를 고속화할 수 있다.
본 실시 형태에서는, 서버(130)가 취득 확인 처리(S602)를 실행하는 경우에 대하여 설명했으나, 휴대 단말 장치(120)가 취득 확인 처리를 실행해도 된다. 예를 들면, 휴대 단말 장치(120)의 기억부(406)에, 대상물의 기준 화상에 추가로, 특전 부여의 대상이 되는 복수 종류의 대상물의 각각에 대한 고유 특징량 및 비고유 특징량을 각 대상물의 대상물 ID에 연결하여 기억함으로써 실현할 수 있다. 이들 정보는, 서버(130)로부터 정기적으로 취득하여 갱신하는 것이 바람직하다. 휴대 단말 장치(120)는, S707에서 소정의 영역 내에 촬상된 대상물 및 그 주변부를 포함하는 공간의 화상이 취득 대상물 화상으로서 캡쳐한 후, 취득 확인 요구를 서버(130)로 송신하지 않는다. 서버(130)를 대신하여 휴대 단말 장치(120)가, 해당 캡쳐한 취득 대상물 화상에 기초하여, 취득 확인 처리로서 S901~S909의 처리를 실행하여, 유저가 대상물을 취득한 것을 확인할 수 있다. 통지 송신(S910)은 실행하지 않고, 휴대 단말 장치(120)의 표시부(402)에, 유저가 대상물을 취득했는지의 여부의 확인의 결과로서, 특전이 부여된 것, 부정 확인 요구라고 판정된 것 등의 메세지를 표시할 수 있다.
이상에 설명한 처리 또는 동작에서, 모순이 생기지 않는 한, 처리 또는 동작을 자유롭게 변경할 수 있다. 또한 이상에 설명한 각 실시 형태는, 본 발명을 설명하기 위한 예시이며, 본 발명은 이들 실시 형태로 한정되는 것은 아니다. 본 발명은, 그 요지를 일탈하지 않는 한, 다양한 형태로 실시할 수 있다. 또한, 본 실시 형태에 기재된 효과는, 본 발명에서 생기는 가장 바람직한 효과를 열거하는 것에 지나지 않으며, 본 발명에 의한 효과는, 본 실시 형태에 기재된 것에 한정되는 것은 아니다.
100 : 취득 확인 시스템
110 : 네트워크
120 : 휴대 단말 장치
130 : 서버
201 : 처리 장치
202 : 표시 장치
203 : 입력 장치
204 : 촬상 장치
205 : 위치 정보 취득 장치
206 : 기억 장치
207 : 통신 장치
208 : 버스
209 : 프로그램
301 : 처리 장치
302 : 표시 장치
303 : 입력 장치
306 : 기억 장치
307 : 통신 장치
308 : 버스
309 : 프로그램
401 : 단말 제어부
402 : 표시부
403 : 입력부
404 : 촬상부
405 : 위치 정보 취득부
406 : 기억부
407 : 통신부
501 : 제어부
502 : 표시부
503 : 입력부
506 : 기억부
507 : 통신부
800 : 표시 화면
801 : 프레임
802 : 대상물
803 : 전체 화상
805 : 주변 화상
1100 : 윈도우
1101 : 픽셀
1102 : 픽셀
1103 : 픽셀
1104 : 픽셀
1200 : 기준 화상
1201 : 픽셀

Claims (13)

  1. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 휴대 단말 장치 및 서버를 구비한 시스템으로서,
    상기 휴대 단말 장치는,
    상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하고,
    어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하여,
    상기 취득 대상물 화상을 상기 서버로 송신하고,
    상기 서버는,
    상기 송신된 취득 대상물 화상을 수신하고,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서,
    상기 한 종류의 대상물의 화상 특징량은 고유 특징량 및 비고유 특징량을 포함하고,
    상기 고유 특징량은 상기 한 종류의 대상물의 특징인 색채를 나타내는 특징적 색채값을 포함하고, 상기 비고유 특징량은 해당 한 종류의 대상물의 특징이 아닌 색채를 나타내는 비특징적 색채값을 포함하고,
    상기 특징 상관량은, 상기 취득 대상물 화상에 있어서의, 상기 한 종류의 대상물의 화상 특징량에 기초하여 상기 한 종류의 대상물의 특징인 색채를 나타낸다고 결정된 특징부의 양과 상기 한 종류의 대상물의 특징이 아닌 색채를 나타낸다고 결정된 비특징부의 양과의 비이며,
    상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것은, 상기 특징 상관량이 소정의 범위 내인지의 여부에 의해 결정하는 것을 특징으로 하는 시스템.
  3. 제2항에 있어서,
    상기 비고유 특징량은, 상기 복수 종류의 대상물에 공통되는 색채를 나타내는 색채값 및 상기 한 종류의 대상물의 고유 특징량에는 포함되지 않고 다른 종류의 대상물의 고유 특징량에 포함되는 색채값의 적어도 일방을 포함하는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 한 종류의 대상물의 화상 특징량은 해당 종류의 대상물의 기준 화상에 포함되는 형상에 대한 히스토그램을 포함하고,
    상기 특징 상관량은, 상기 기준 화상의 히스토그램과 상기 취득 대상물 화상에 포함되는 형상에 대한 히스토그램과의 차분에 기초하여 결정되는 것을 특징으로 하는 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 것은, 상기 촬상된 공간의 화상에 있어서의 소정의 영역 내에 촬상되어 있는지의 여부를 판정하는 것을 특징으로 하는 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 복수 종류의 대상물 중 한 종류는 상기 휴대 단말 장치를 통하여 미리 유저에 의해 지정되는 시스템.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것은, 상기 복수 종류의 대상물의 각각에 대하여 행하여, 가장 상관성이 높은 대상물을 촬상한 화상이라고 판정하는 것을 특징으로 하는 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 국소 특징량은, 상기 복수 종류의 대상물의 공통되는 국소 특징량이거나 또는 상기 복수 종류의 각 대상물에 고유의 국소 특징량인 것을 특징으로 하는 시스템.
  9. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 시스템에서 사용되는 서버로서,
    휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것을 특징으로 하는 서버.
  10. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 한 조의 프로그램으로서, 하나 이상의 컴퓨터에,
    상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 단계와
    어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하는 단계와,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하는 단계와,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 단계
    를 실행시키는 프로그램.
  11. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 프로그램으로서, 서버에,
    휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는
    것을 실행시키는 프로그램.
  12. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 방법으로서, 하나 이상의 컴퓨터에,
    상기 복수 종류의 대상물을 검출하기 위한 형상에 대한 국소 특징량에 기초하여, 해당 휴대 단말 장치의 촬상 장치에 의해 촬상된 공간의 화상에 복수 종류의 대상물 중 어느 한 종류의 대상물이 촬상되어 있는지의 여부를 판정하는 단계와
    어느 한 종류의 대상물이 촬상되어 있다고 판정되면, 해당 대상물이 촬상되어 있다고 판정된 화상을 취득 대상물 화상으로서 캡쳐하는 단계와,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하는 단계와,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 상기 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 단계
    를 실행시키는 방법.
  13. 복수 종류의 대상물 중 어느 한 종류의 대상물을 취득한 것을 확인하기 위한 방법으로서, 서버에,
    휴대 단말 장치에 의해 촬상된 대상물이 촬상되어 있다고 판정된 취득 대상물 화상을 휴대 단말 장치로부터 수신하고,
    상기 복수 종류의 대상물 중 한 종류의 대상물의 화상 특징량에 기초하여, 해당 한 종류의 대상물에 대한 상기 취득 대상물 화상의 특징 상관량을 결정하고,
    상기 결정된 특징 상관량에 기초하여, 상기 취득 대상물 화상이 해당 한 종류의 대상물을 촬상한 화상인지의 여부를 판정하는 것을 실행시키는 방법.
KR1020207009797A 2017-10-10 2018-10-10 대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법 Active KR102420331B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-196974 2017-10-10
JP2017196974A JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法
PCT/JP2018/037779 WO2019074011A1 (ja) 2017-10-10 2018-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Publications (2)

Publication Number Publication Date
KR20200051014A true KR20200051014A (ko) 2020-05-12
KR102420331B1 KR102420331B1 (ko) 2022-07-13

Family

ID=66101532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009797A Active KR102420331B1 (ko) 2017-10-10 2018-10-10 대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법

Country Status (5)

Country Link
US (1) US11281908B2 (ko)
JP (1) JP6517298B2 (ko)
KR (1) KR102420331B1 (ko)
CN (1) CN111465963B (ko)
WO (1) WO2019074011A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
JP7309151B2 (ja) * 2020-01-20 2023-07-18 ピーエフ株式会社 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法
CN115108117B (zh) * 2022-05-26 2023-06-27 盈合(深圳)机器人与自动化科技有限公司 一种切割方法、系统、终端及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181893B1 (en) 1998-03-19 2001-01-30 Oce-Technologies B.V. Digital copying apparatus with a personal data storage system
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157199A (ja) * 1999-11-26 2001-06-08 Canon Inc 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP4578767B2 (ja) * 2002-11-08 2010-11-10 パナソニック株式会社 物体認識装置および物体認識プログラム
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
US20090272801A1 (en) * 2008-04-30 2009-11-05 Connell Ii Jonathan H Deterring checkout fraud
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2014106597A (ja) * 2012-11-26 2014-06-09 Toyota Motor Corp 自律移動体、物体情報取得装置、および物体情報取得方法
CN103606160B (zh) * 2013-12-02 2018-04-13 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6181893B1 (ja) 2017-03-31 2017-08-16 株式会社Cygames 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181893B1 (en) 1998-03-19 2001-01-30 Oce-Technologies B.V. Digital copying apparatus with a personal data storage system
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Also Published As

Publication number Publication date
JP2019070964A (ja) 2019-05-09
CN111465963A (zh) 2020-07-28
JP6517298B2 (ja) 2019-05-22
US20200242362A1 (en) 2020-07-30
KR102420331B1 (ko) 2022-07-13
CN111465963B (zh) 2023-11-24
US11281908B2 (en) 2022-03-22
WO2019074011A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
CN110033293B (zh) 获取用户信息的方法、装置及系统
CN110692081B (zh) 用于查看确认的系统、便携式终端装置、服务器、程序和方法
WO2007130688A2 (en) Mobile computing device with imaging capability
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
KR20190021245A (ko) 이미지 검증의 자동화 기법
EP3296925B1 (en) Document data processing including image-based tokenization
CN110059722A (zh) 印章图像的审核方法、装置、设备及可读存储介质
CN110110110A (zh) 一种以图搜图方法、装置、电子设备及存储介质
CN110533704A (zh) 油墨标签的识别验伪方法、装置、设备及介质
CN107103628A (zh) 图像检测方法及装置
CN109271228A (zh) 应用的界面功能识别方法、装置及电子设备
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
US20230096044A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
CN108960861A (zh) 产品保真验证方法及装置、存储介质、处理器
HK40023948A (en) System, server, program, and method for confirming object acquisition
KR102273198B1 (ko) 시각적으로 코딩된 패턴 인식 방법 및 장치
US10733491B2 (en) Fingerprint-based experience generation
JP5967036B2 (ja) 画像検索システム、情報処理装置及びプログラム
EP4250217A1 (en) Information processing apparatus, program, and information processing method
US20240104964A1 (en) Person authentication support system, person authentication support method, and non-transitory storage medium
HK40011994A (en) Viewing confirmation system, portable terminal device, server, program and method
HK40011994B (en) Viewing confirmation system, portable terminal device, server, program and method

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20200403

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200403

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211021

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220418

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220708

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220711

End annual number: 3

Start annual number: 1

PG1601 Publication of registration