KR20200103195A - 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법 - Google Patents

인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20200103195A
KR20200103195A KR1020190018690A KR20190018690A KR20200103195A KR 20200103195 A KR20200103195 A KR 20200103195A KR 1020190018690 A KR1020190018690 A KR 1020190018690A KR 20190018690 A KR20190018690 A KR 20190018690A KR 20200103195 A KR20200103195 A KR 20200103195A
Authority
KR
South Korea
Prior art keywords
product
information
image
recognition
user terminal
Prior art date
Application number
KR1020190018690A
Other languages
English (en)
Other versions
KR102265000B1 (ko
Inventor
이희준
에드워드 영 최
서형배
Original Assignee
서형배
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서형배 filed Critical 서형배
Priority to KR1020190018690A priority Critical patent/KR102265000B1/ko
Publication of KR20200103195A publication Critical patent/KR20200103195A/ko
Application granted granted Critical
Publication of KR102265000B1 publication Critical patent/KR102265000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 상품정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법에 관한 것이다.

Description

인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법{System and method for providing product information by real-time product recognition in image using artificial intelligence}
본 발명은 상품정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법에 관한 것이다.
현재, 이동통신기술 및 휴대용 단말기 기술의 발전으로 언제 어디서나 인터넷에 접속할 수 있는 유비쿼터스 환경이 구축되었다.
유비쿼터스 환경이 구축됨에 따라 사람들은 언제 어디서나 인터넷에 접속하여 사물, 장소, 사람, 사건 등의 다양한 정보를 검색하여 확인할 수 있다.
특히, 임의의 사용자가 길거리를 가는 중에 마음에 드는 상품을 보거나, 사진(정지영상), 드라마, 영화 등과 같은 동영상에 나오는 상품 중 마음에 드는 상품이 보이면 해당 상품에 대한 상품 설명, 상품 브랜드, 상품 판매처, 상품 가격 등 중 어느 하나 이상을 포함하는 상품정보를 획득하기 위해 인터넷 검색 사이트에 다양한 단어들을 조합하여 검색을 수행한다.
그러나 사용자가 검색한 검색결과에는 검색어와 관련된 다수의 상품정보에 대한 리스트가 표시되며, 이 리스트의 상품정보 중 자신이 원하는 상품에 대한 정보를 찾기 위해 많은 시간을 투자한다.
이처럼 사용자들은 길을 지나다니다가, 또는 정지영상 및 동영상 중 어느 하나를 보다가 마음에 드는 상품을 발견하는 경우 많은 시간을 투자하여야만 원하는 정보를 찾을 수 있었다.
이러한 문제점을 해결하기 위해 대한민국 등록특허 제10-1639657호 [유사 상품 검색 방법 및 유사 상품 검색 서버](이하 "선행기술"이라 함)는 사용자 단말기에 디스플레이된 이미지를 사용자가 선택하는 해당 상품과 유사한 상품들을 데이터베이스에서 검색하여 제공하는 기술을 개시한다.
그러나 선행기술은 사용자 단말기에 표시된 이미지에서 사용자가 원하는 상품을 선택하면, 선택된 부분의 속성을 검출하고, 미리 등록된 속성들에 의해 해당 상품과 유사한 상품을 검색하여 제공하는 것으로, 사용자가 선택한 상품이 정확히 어떤 상품인지를 인식하지 않고 속성만으로 유사상품을 검색하므로 그 검색 정확도가 떨어지는 문제점이 있었다.
또한, 선행기술은 사용자가 상품정보를 알기 원하는 상품을 선택하여야 하므로 동영상 등에서 해당 상품을 선택하는 것이 어렵고, 상품을 선택했을지라도 선택된 부분에 대한 영상을 서버측으로 전송한 후 분석된 정보를 수신받아 표시하여야 하므로 해당 상품에 대한 상품정보를 실시간으로 획득할 수 없는 문제점이 있었다.
대한민국 등록특허 제10-1639657호(2016.07.18.공고)
따라서 본 발명의 목적은 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템은: 유무선 데이터통신망을 통해 사용자 단말기와 연결되어 사용자 단말기와 데이터 통신을 수행하는 서버 통신부; 인공지능에 의해 학습된 다수의 상품의 형태에 대한 상품형태 정보를 저장하는 상품형태 DB, 인공지능에 의해 학습된 다수의 상품의 브랜드에 대한 브랜드 정보를 저장하는 브랜드 DB 및 상기 상품형태 정보 및 브랜드 정보에 대응하는 상품을 정의하고, 각 상품에 대한 상품정보를 저장하는 상품정보 DB를 포함하는 저장부; 및 상기 서버 통신부를 통해 상기 사용자 단말기에 의한 인식 이벤트의 발생 시 상기 사용자 단말기에서 실행되는 영상을 획득한 후, 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하며, 상기 상품정보 DB에서 인식된 상품에 대응하는 상품정보를 로드하여 상기 영상을 통해 상기 사용자 단말기에 표시시키는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 서버 통신부를 통해 상기 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링부; 상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득부; 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 인식부; 상기 인식된 각 상품의 영상 내 위치정보 및 인디케이터를 사용자 단말기로 전송하여 상기 인디케이터를 포함하는 영상을 사용자 단말기에 표시시켜 해당 상품이 인식된 상품임을 알리는 인디케이터 표시부; 상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링부; 및 서비스 이벤트가 발생되면 터치된 상품에 대응하는 상품정보를 상기 사용자 단말기로 제공하는 상품정보 제공부를 포함하는 것을 특징으로 한다.
상기 인식부는, 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식부; 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식부; 및 상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식부를 포함하는 것을 특징으로 한다.
상기 상품정보 제공부는, 인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하고, 상기 제어부는, 상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공부를 더 포함하는 것을 특징으로 한다.
상기 저장부는, 상품정보 DB에 등록된 상품과 관련된 상품관련 정보, 상품관련 정보를 제공하는 하나 이상의 사이트에 대한 사이트 정보 및 상품관련앱 정보 중 어느 하나 이상을 저장하는 상품관련정보 DB를 더 포함하고, 상기 서비스 제공부는, 인식된 상기 상품과 관련된 상품 관련 정보를 상기 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공부; 인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상기 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동부; 및 인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동부 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
상기 상품관련사이트는, 인식된 상기 상품을 판매하는 상품 공급 업체 사이트 및 상기 상품 및 유사 상품들에 대한 가격정보를 제공하는 가격비교 사이트 중 어느 하나인 것을 특징으로 한다.
상기 상품관련앱은, 사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법은: 제어부가 서버 통신부를 통해 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링 과정; 상기 제어부가 상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득 과정; 상기 제어부가 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 상품 인식 과정; 및 상기 제어부가 상기 상품정보 DB에서 인식된 상품에 대응하는 상품정보를 포함하는 영상을 상기 사용자 단말기에 표시시키는 상품정보 제공 과정을 포함하는 것을 특징으로 한다.
상기 방법은: 상기 제어부가 상기 인식된 각 상품의 영상 내 위치정보의 위치에 인식된 상품임을 지시하기 위한 인디케이터를 포함하는 영상을 사용자 단말기에 표시시키는 인디케이터 표시 과정; 및 상기 제어부가 상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링 과정을 더 포함하되, 상기 상품정보 제공 과정은 상기 서비스 이벤트가 발생되면 수행되는 것을 특징으로 한다.
상기 인식 과정은, 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식 단계; 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식 단계; 및 상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식 단계를 포함하는 것을 특징으로 한다.
상기 상품정보 제공 과정은, 상기 제어부가 인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하는 서비스 메뉴 제공 단계; 및 상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 상기 제어부가 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공 단계를 포함하는 것을 특징으로 한다.
상기 서비스 제공 단계는, 인식된 상기 상품과 관련된 상품 관련 정보를 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공 단계; 인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동 단계; 및 인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동단계 중 어느 하나 이상을 포함하여 사용자가 선택하는 단계에 대응하는 동작을 처리하는 것을 특징으로 한다.
상기 상품관련앱은, 사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 한다.
본 발명은 사용자가 자신의 사용자 단말기를 통해 획득되는 정지영상 및 동영상 중 어느 하나에 대한 재생명령이 발생되면 획득되는 영상을 상품정보 제공 시스템으로 전송하여 영상 내에 포함된 상품을 인식함으로써 영상 내 상품을 자동으로 실시간 인식할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 영상 내에서 실시간 인식된 상품에 인디케이터를 표시하고, 인디케이터를 터치하는 것만으로 인식된 상품에 대응하는 상품정보를 제공받을 수 있는 효과를 가지며, 이로 인해 동영상과 등에서도 사용자가 쉽게 상품정보를 제공할 수 있는 상품을 선택할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 터치한 상품의 상품정보를 통해 다른 앱과 연동하는 서비스를 제공함으로써 사용자에게 더욱 다양한 서비스를 제공하고, 다른 앱들을 통한 효율적인 광고를 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템이 적용된 통신 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 상세 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 상품 인식 및 상품정보 표시 과정을 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 상품 인식 및 상품정보 표시 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 앱 연동형 상품정보 표시 방법을 나타낸 도면이다.
도 6은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법을 나타낸 절차도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템의 상품정보 제공 방법을 설명한다.
도 1은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템이 적용된 통신 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 상품정보 제공 시스템(200)은 유무선 데이터통신망(10)을 통해 사용자 단말기(100)와 연결되어 데이터 통신을 수행하며, 실시예에 따라 적어도 하나 이상의 서비스 서버(400)들과 연결되어 데이터 통신을 수행하고, 사용자 단말기(100)를 서비스 서버(400)에 연결시킨다.
상기 유무선 데이터통신망(10)은 와이파이(WiFi)망, 로컬망(Local Area Network: LAN) 및 광대역망(Wide Area Network: WAN)을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등 중 적어도 어느 하나 이상을 포함하는 이동통신망, 와이브로망, 전용망 등 중 어느 하나 이상이 결합되어 있는 데이터통신망이다.
상기 사용자 단말기(100)는 데스크톱 컴퓨터, 개인용 컴퓨터(Personal Computer: PC), 노트북 등과 같은 컴퓨터 단말기(110), 스마트폰, 스마트 패드 등과 같은 스마트 단말기(120) 및 전용 단말기 중 어느 하나일 수 있으나, 스마트 단말기(120)인 것이 바람직할 것이다.
사용자 단말기(100)는 컴퓨터 단말기(110)인 경우 영상인식 상품정보 서비스 프로그램, 스마트 단말기(120)인 경우 영상인식 상품정보 서비스 앱, 전용 단말기인 경우 영상인식 상품정보 서비스 펌웨어가 설치되어 있어야 할 것이다. 이하 영상인식 상품정보 서비스 프로그램, 앱, 펌웨어를 통칭하여 "영상인식 상품정보 서비스 앱"이라 한다.
사용자 단말기(100)는 영상인식 상품정보 서비스가 구동되면 저장되어 있는 사진, 그래픽 이미지 등의 정지영상, 동영상이 재생되는지, 카메라가 구동되는지를 모니터링하고, 정지영상 및 동영상 등의 영상이 재생되거나 카메라가 구동되어 영상이 획득되기 시작하면 획득되는 영상을 바로 상품정보 제공 시스템(200)으로 전송하기 시작한다.
또한, 사용자 단말기(100)는 실시예에 따라 상품정보 제공 시스템(200)으로부터 인디케이터(Indicator) 및 인디케이터가 표시될 영상의 영역 위치정보(좌표정보)와, 동영상인 경우 상기 인디케이터가 표시될 프레임 정보를 수신받고, 상기 위치정보의 위치에 상기 상품이 표시되는 동안 인디케이터를 표시한다. 이 경우 사용자 단말기(100)는 재생되는 영상이 동영상인 경우 상품정보 제공 시스템(200)으로 전송하여 상품인식을 수행하기 위한 통신 속도에 따른 매우 짧은 시간 동안 지연시켰다가 인디케이터가 수신되면 오버레이하여 표시하여야 할 것이다. 그러나 상기 지연 시간은 실시간에 가까울 것이다.
다른 실시예로 사용자 단말기(100)는 인디케이터가 오버레이되어 있는 영상 자체를 상품정보 제공 시스템(200)으로부터 수신받아 그대로 표시하도록 구성될 수도 있을 것이다.
상기 인디케이터는 특정 형상일 수도 있고, 인식된 상품에 대응하는 형상일 수도 있으며, 인식된 상품의 외곽선에 대응하는 형상일 수도 있을 것이다.
또한, 사용자 단말기(100)는 사용자가 상기 인디케이터를 터치하면 인식 상품 서비스 요청 정보를 상품정보 제공 시스템(200)으로 전송하고, 이에 대응하는 상품정보로서 서비스 메뉴 정보를 수신하여 표시한다.
상품정보 제공 시스템(200)은 사용자 단말기(100)에 의한 인식 이벤트가 발생하면 사용자 단말기(100)로부터 영상을 수신할 준비를 하고, 사용자 단말기(100)로부터 영상이 획득되면 미리 저장된 인공지능 기반의 상품형태 정보 및 브랜드 정보에 근거하여 영상 내 존재하는 상품을 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기(100)로 제공한다.
이때, 상품정보 제공 시스템(200)은 상품정보만을 전송하여 사용자 단말기(100)가 상품정보를 영상에 오버레이하여 표시하도록 구성될 수도 있고, 다른 실시예로 상품정보 제공 시스템(200)이 영상에 상품정보를 오버레이한 후 상품정보가 오버레이된 영상을 사용자 단말기(100)로 전송하여 사용자 단말기(100)가 해당 영상을 바로 디스플레이하도록 구성될 수도 있을 것이다.
상품정보 제공 시스템(200)은 상품의 인식 시 상술한 바와 같이 인식된 상품에 대한 상품정보를 바로 제공할 수도 있고, 실시예에 따라 인식된 상품에 대한 인디케이터를 사용자 단말기(100)로 제공하고, 상기 영상 내의 적어도 하나 이상의 상품 각각에 표시된 인디케이터 중 하나가 선택되면 선택된 인디케이터에 대응하는 상품의 상품정보를 제공할 수도 있을 것이다.
또한, 상품정보 제공 시스템(200)은 일반적인 상품에 대한 정보를 직접 제공할 수도 있고, 상품정보를 제공하는 상품을 생산 및 공급하는 상품 공급 업체 사이트를 제공하는 서비스 서버(400)에 대한 정보를 제공하거나, 인식된 상품 및 인식된 상품과 유사한 상품에 대한 상품정보를 제공하는 유사상품 정보 제공 사이트를 제공하는 서비스 서버(400)에 대한 정보를 제공하여 간접적으로 상기 상품의 상품정보를 제공할 수도 있을 것이다. 상기 유사상품 정보 제공 사이트는 가격 비교 사이트 등이 될 수 있을 것이다.
상기 상품정보 제공 시스템(200)의 상세 구성 및 설명은 다음의 도 2를 참조하여 설명한다.
서비스 서버(400)는 상품을 생산 및/또는 공급하는 상품 공급 업체의 서버일 수도 있고, 상품 관련 정보를 제공하는 웹 서버 또는 앱(어플리케이션) 서버일 수도 있으며, 상품정보 제공 시스템(200)에 의해 사용자 단말기(100)와 연결되어 사용자 단말기(100)로 상기 상품정보 제공 시스템(200)에서 인식된 상품에 대한 다양한 상품정보를 제공한다.
도 2는 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 상세 구성을 나타낸 도면이고, 도 3은 본 발명의 일실시예에 따른 상품 인식 및 상품정보 표시 과정을 나타낸 도면이고, 도 4는 본 발명의 다른 실시예에 따른 상품 인식 및 상품정보 표시 방법을 나타낸 도면이며, 도 5는 본 발명의 일실시예에 따른 앱 연동형 상품정보 표시 방법을 나타낸 도면이다. 이하 도 2 내지 도 5를 참조하여 설명한다.
본 발명에 따른 상품정보 제공 시스템(200)은 저장부(210), 서버 통신부(220) 및 제어부(230)를 포함한다.
저장부(210)는 상품정보 제공 시스템(200)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램에 필요하거나, 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다.
상기 데이터영역에는 상품형태 DB(211), 브랜드 DB(212), 상품정보 DB(213) 및 상품 관련정보 DB(214) 등이 구성될 수 있을 것이다.
상기 상품형태 DB(211)는 다수의 상품 각각에 대해 상품의 각도에 따른 다양한 형태들에 대해 인공지능 기반으로 학습된 상품형태 정보를 저장한다.
상기 브랜드 DB(212)는 다수의 상품에 대한 브랜드에 대한 도형(캐릭터 등 포함) 및 텍스트에 대해 인공지능 기반으로 학습된 브랜드 정보를 저장한다.
상품정보 DB(213)는 다수의 상품 각각에 대해 상품 식별정보별로 상품형태 정보 및 브랜드 정보를 저장하여 관리하고, 상품 각각에 대한 상품정보를 저장한다.
상품관련정보 DB(214)는 상기 상품정보 DB(213)에 등록된 상품 각각과 관련 있는 정보들을 저장하여 관리한다. 상기 상품관련정보는 각 상품을 생산 및/또는 공급하는 상품 공급 업체 사이트 정보, 각 상품과 동일한 상품 및 유사상품 중 어느 하나 이상 대한 관련정보를 제공하는 유사상품 정보 제공 사이트 정보 등이 될 수 있으며, 다른 실시예에 따라 각 상품에 대응하여 연동될 수 있는 상품관련앱 정보 등이 될 수 있을 것이다.
서버 통신부(220)는 유무선 데이터통신망(10)에 연결되어, 유무선 데이터통신망(10)에 연결된 사용자 단말기(100) 및 서비스 서버(400)들 중 어느 하나 이상과 데이터 통신을 수행한다.
제어부(230)는 인식 이벤트 모니터링부(240), 영상정보 획득부(250), 인식부(260), 서비스 제공부(290)을 포함하고, 실시예에 따라 인디케이터 표시부(270), 서비스 이벤트 모니터링부(280), 서비스 제공부(300)를 더 포함하여 본 발명에 따른 상품정보 제공 시스템(200)의 전반적인 동작을 제어한다.
구체적으로 설명하면, 인식 이벤트 모니터링부(240)는 사용자 단말기(100)에 의해 인식 이벤트가 발생하는지를 모니터링하고, 인식 이벤트가 발생하면 이를 영상정보 획득부(250)로 통지한다. 상기 인식 이벤트는 사용자 단말기(100)에서 영상인식 상품정보 서비스 앱이 구동될 때 전송하는 앱 구동 통지 신호, 또는 앱의 특정 메뉴의 선택 시의 서비스 개시 요청 신호 등에 의해 발생될 수 있을 것이다.
영상정보 획득부(250)는 상기 인식 이벤트 모니터링부(240)에 의해 인식 이벤트가 발생된 것으로 판단되면 서버 통신부(220)를 통해 사용자 단말기(100)로부터 영상을 획득할 준비를 하고, 도 3과 같이 사용자 단말기(100)의 카메라가 구동되어 영상이 획득되어 재생되기 시작하거나 사용자 단말기(100)에 저장되어 있거나, 인터넷을 통해 다운로드되기 시작된 정지영상 및 동영상이 재생되기 시작하면, 즉시 사용자 단말기(100)에서 재생되는 영상을 획득하여 저장부(210)에 저장하고, 인식부(260)로 수신되고 있는 영상 내의 상품을 인식할 것을 요청한다.
인식부(260)는 형태 인식부(261), 브랜드 인식부(262) 및 상품 인식부(263)를 포함하여 수신되는 영상 내의 상품을 인식하고, 인식된 상품의 영상 내 위치정보를 인디케이터 표시부(270)로 출력하고, 인식된 상품에 대한 상품 식별정보를 상품정보 제공부(290)로 제공한다.
구체적으로 형태 인식부(261)는 도 3 및 도 4에서 보이는 바와 같이 영상 내의 모든 사물의 색상, 명도, 채도 차이에 따른 경계를 인식하고 상품형태 DB(211)에 미리 인공지능 기반으로 학습된 다수의 상품에 대한 상품형태 정보들을 참조하여 상품의 형태를 인식한다. 이때의 인식된 상품형태에 대응하는 상품은 하나 이상일 수 있을 것이다.
형태 인식부(261)는 도 3의 301에서는 상품의 형태로서 책을 검출할 것이고, 도 4의 402에서는 아이가 입고 있는 옷, 차량 등을 검출할 수 있을 것이다.
브랜드 인식부(262)는 형태 인식부(261)에 의해 상품형태가 검출되면 검출된 상품형태 내에서 브랜드 DB(212)를 참조하여 텍스트, 도형(캐릭터) 등의 브랜드 인식을 수행하고 인식된 브랜드에 대한 브랜드 정보를 상품 인식부(263)로 출력한다.
상기 브랜드 인식부(262)는 도 3에서는 책 표지의 원숭이 캐릭터를 인식하여 인식된 캐릭터에 대한 브랜드 정보를 출력하고, 도 4에서는 옷의 가슴 부분에 인쇄된 캐릭터를 인식하여 인식된 캐릭터에 대한 브랜드 정보를 출력할 것이다.
상품 인식부(263)는 상기 형태 인식부(261)로부터 상품형태 정보를 입력받고, 상기 브랜드 인식부(262)로부터 브랜드 정보를 입력받아, 상품형태 정보 및 브랜드 정보 둘 모두를 가지는 상품을 상품정보 DB(213)에서 검색하여 인식하고, 인식된 상품의 영상 내 위치정보를 인디케이터 표시부(270)로 출력하고, 인식된 상품에 대한 상품 식별정보를 상품정보 제공부(290)로 제공한다.
인디케이터 표시부(270)는 상기 인식부(260)의 상품 인식부(263)로부터 인식된 상품의 위치정보를 입력받고, 인디케이터(305) 및 인식된 상품의 위치정보를 사용자 단말기(100)로 전송하여 상기 위치정보의 영상 내 위치에 상기 인디케이터(305)가 표시되도록 한다.
또한, 인디케이터 표시부(270)는 사용자 단말기(100)로부터 획득된 영상이 동영상이면 상기 인식된 상품이 포함된 프레임 정보를 사용자 단말기(100)로 더 전송하여야 할 것이다.
또한, 다른 실시예에 따라 인디케이터 표시부(270)는 사용자 단말기(100)로부터 획득되는 영상을 입력 또는 로드하여 상기 영상의 해당 상품의 위치정보의 좌표에 인디케이터를 오버레이하고, 인디케이터가 오버레이된 영상을 사용자 단말기(100)로 전송하도록 구성될 수도 있을 것이다.
상기 인디케이터(305)는 도 3 및 도 4에서 보이는 바와 같이 캐릭터 등의 특정 이미지가 될 수도 있고, 해당 상품의 외각 경계선에 대응하는 형태의 이미지가 될 수도 있을 것이다. 상기 인디케이터(305)는 점멸할 수도 있고, 빛을 발하도록 구성될 수도 있으며, 이 외에도 다양한 효과가 적용될 수도 있을 것이다.
서비스 이벤트 모니터링부(280)는 상기 인디케이터(305)가 사용자 단말기(100)로 제공된 후 상기 인디케이터(305)의 터치에 의해 발생되는 서비스 이벤트가 발생되는지를 모니터링한다.
상품정보 제공부(290)는 실시예에 따라 상품 인식부(263)를 통해 상품이 인식되면 상품 인식부(263)로부터 입력되는 상품 식별정보에 대응하는 상품정보를 상품정보 DB(213)로부터 로드하여 서버 통신부(220)를 통해 사용자 단말기(100)로 전송하여 도 4의 403에서와 같이 상품정보(404)를 영상에 오버레이하여 표시하도록 한다.
다른 실시예에 따라 인디케이터(305)가 사용자 단말기(100)로 제공된 후 서비스 이벤트가 발생되면 상품정보 제공부(290)는 도 3의 303에서와 같이 인식된 상품 또는 브랜드의 인식 이미지 및 304와 같은 서로 다른 복수의 서비스를 선택할 수 있는 서비스 메뉴를 제공하며, 서비스 메뉴 중 사용자가 선택한 선택 메뉴 정보를 사용자 단말기(100)로부터 수신받는다.
서비스 제공부(300)는 서비스 메뉴를 제공하는 경우 구성되어 선택된 메뉴에 대응하는 서비스를 제공하는 것으로, 상품관련정보 제공부(301), 상품관련앱 연동부(302) 등을 포함할 수 있을 것이다.
상기 상품관련정보 제공부(301)는 상품관련정보 DB(214)에 저장되어 있는 상품과 관련된 상품관련정보들을 로드하여 사용자 단말기(100)로 제공한다. 상기 상품관련정보는 직접적인 상품과 관련된 정보일 수도 있고, 도 3의 304의 상품과 관련된 웹사이트 주소가 맵핑된 웹사이트 정보(306, 307)가 될 수도 있을 것이다.
상기 상품관련앱 연동부(302)는 도 5에서 보이는 바와 같이 상품(짜장면)이 인식된 경우 인디케이터의 클릭 시 상품관련앱 아이콘(503)(도 5의 경우 배달 아이콘)을 사용자 단말기(100)에 표시하고, 해당 상품관련앱 아이콘(503)이 클릭되어 사용자 단말기(100)로부터 상품관련앱 설치 요청 신호가 수신되면 해당 상품관련앱 설치파일을 제공하는 서비스 서버(400)로 연결하여 상기 상품관련앱을 설치할 수 있도록 하거나, 해당 상품관련앱 설치파일을 가지고 있는 경우 직접 상품관련앱 설치파일을 사용자 단말기(100)로 제공하여 설치되도록 할 수도 있을 것이다.
해당 상품관련앱이 사용자 단말기(100)에 설치되어 있는 경우, 상품관련앱 아이콘(503)이 클릭되면 사용자 단말기(100)가 도 5의 502에서와 같이 해당 상품관련앱을 실행할 것이다.
상기 상품관련앱 연동부(302)는 상술한 바와 같이 배달앱이 될 수도 있고, 인식된 상품을 광고하는 광고의 스타와 오버레이 방식을 적용하여 사진을 찍을 수 있도록 하는 증강현실(Augmented Reality: AR) 카메라 앱이 될 수도 있으며, 이 외에도 다양한 앱들이 적용될 수 있을 것이다.
도 6은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법을 나타낸 절차도로서, 인디케이터(305) 및 서비스 메뉴를 제공하는 경우의 절차도를 나타낸 도면이다.
도 6을 참조하면, 상품정보 제공 시스템(200)은 임의의 사용자 단말기(100)로부터 인식 이벤트가 발생되는지를 검사한다(S110).
사용자 단말기(100)는 영상인식 상품정보 서비스 앱이 구동되거나, 구동된 후 상품정보 서비스 앱 내의 상품 인식 개시 메뉴가 선택되면(S111) 상품정보 제공 시스템(200)으로 서비스 개시 요청 신호를 전송하여 인식 이벤트를 발생시킨다(S112).
상기 서비스 개시 요청 신호의 전송 후 사용자 단말기(100)는 카메라(미도시)를 통해 촬영되거나, 저장되어 있거나 다운로드된 영상이 재생되는지를 모니터링하고(S113), 재생되면 재생되는 영상을 포함하는 영상 상품 인식 요청 정보를 스트리밍 형태로 상품정보 제공 시스템(200)으로 전송한다(S115).
상품정보 제공 시스템(200)은 인식 이벤트가 발생하면 사용자 단말기(100)로부터 언제나 바로 영상을 수신할 수 있도록 사용자 단말기(100)와 연결 상태를 설정하고 영상이 수신되는지를 모니터링한다(S114)
상품정보 제공 시스템(200)은 영상 상품 인식 요청 정보가 수신되기 시작하면 인공지능 기반으로 학습된 상품형태 정보 및 브랜드 정보에 기반하여 상품을 인식하고(S117), 상품이 인식되면 인식된 상품의 영상 내 위치정보 및 인데케이터를 포함하는 인디케이터 표시정보를 사용자 단말기(100)로 전송한다(S119).
사용자 단말기(100)는 인디케이터 표시정보가 수신되면 인디케이터를 포함된 위치정보의 영상 내 위치에 표시하거나 인디케이터가 포함된 영상을 수신하여 표시하고(S120), 인디케이터가 터치되는지를 검사한다(S121).
인디케이터가 터치되면 사용자 단말기(100)는 인식 상품 서비스 요청 정보를 상품정보 제공 시스템(200)으로 전송한다(S123).
상품정보 제공 시스템(200)은 인식 상품 서비스 요청 정보가 수신되면 상품정보 DB(213)에 등록된 상품정보에 근거하여 서비스 요청 상품에 대한 서비스 메뉴 정보를 생성한(S125) 후 사용자 단말기(100)로 전송한다(S127).
사용자 단말기(100)는 서비스 메뉴 정보가 수신되면 도 3과 같이 서비스 메뉴정보를 영상 내 오버레이하여 표시하여 선택할 것을 요청한다(S129). 상기 서비스 메뉴 정보는 도 3에서 나타낸 바와 같이 하나 이상의 메뉴를 포함할 수 있을 것이다.
사용자 단말기(100)는 서비스 메뉴 정보의 메뉴가 선택되는지를 모니터링하고(S131), 메뉴가 선택되면 선택 메뉴 정보를 상품정보 제공 시스템(133)으로 전송한다(S133). 그러나 메뉴가 웹사이트 주소가 매핑된 메뉴이면 사용자 단말기(100)는 해당 웹브라우저를 구동하여 매핑된 메뉴의 웹사이트로 바로 접속할 것이다.
선택 메뉴 정보를 수신한 상품정보 제공 시스템(200)은 선택 메뉴에 대응하는 서비스를 처리하고(S135), 선택된 메뉴에 대응하는 서비스를 제공한다(S137). 상기 선택 메뉴 정보는 실시예에 따라 상품관련앱 설치 요청 신호일 수 있고, 그 외의 다른 상품정보 제공 시스템(200)에서만 제공할 수 있는 서비스에 대한 정보일 수도 있을 것이다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10: 유무선 데이터통신망 100: 사용자 단말기
200: 상품정보 제공 시스템 210: 저장부
211: 상품형태 DB 212: 브랜드 DB
213: 상품정보 DB 214: 상품관련정보 DB
220: 서버 통신부 230: 제어부
240: 인식 이벤트 모니터링부 250: 영상정보 획득부
260: 인식부 261: 형태 인식부
262: 브랜드 인식부 263: 상품 인식부
270: 인디케이터 표시부 280: 서비스 이벤트 모니터링부
290: 상품정보 제공부 300: 서비스 제공부
301: 상품관련정보 제공부 302: 상품관련 앱 연동부
400: 서비스 서버

Claims (13)

  1. 유무선 데이터통신망을 통해 사용자 단말기와 연결되어 사용자 단말기와 데이터 통신을 수행하는 서버 통신부;
    인공지능에 의해 학습된 다수의 상품의 형태에 대한 상품형태 정보를 저장하는 상품형태 DB, 인공지능에 의해 학습된 다수의 상품의 브랜드에 대한 브랜드 정보를 저장하는 브랜드 DB 및 상기 상품형태 정보 및 브랜드 정보에 대응하는 상품을 정의하고, 각 상품에 대한 상품정보를 저장하는 상품정보 DB를 포함하는 저장부; 및
    상기 서버 통신부를 통해 상기 사용자 단말기에 의한 인식 이벤트의 발생 시 상기 사용자 단말기에서 실행되는 영상을 획득한 후, 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하며, 상기 상품정보 DB에서 인식된 상품에 대응하는 상품정보를 로드하여 상기 영상을 통해 상기 사용자 단말기에 표시시키는 제어부를 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 서버 통신부를 통해 상기 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링부;
    상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득부;
    상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 인식부;
    상기 인식된 각 상품의 영상 내 위치정보 및 인디케이터를 사용자 단말기로 전송하여 상기 인디케이터를 포함하는 영상을 사용자 단말기에 표시시켜 해당 상품이 인식된 상품임을 알리는 인디케이터 표시부;
    상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링부; 및
    서비스 이벤트가 발생되면 터치된 상품에 대응하는 상품정보를 상기 사용자 단말기로 제공하는 상품정보 제공부를 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  3. 제2항에 있어서,
    상기 인식부는,
    획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식부;
    획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식부; 및
    상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식부를 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  4. 제2항에 있어서,
    상기 상품정보 제공부는,
    인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하고,
    상기 제어부는,
    상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공부를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  5. 제4항에 있어서,
    상기 저장부는,
    상품정보 DB에 등록된 상품과 관련된 상품관련 정보, 상품관련 정보를 제공하는 하나 이상의 사이트에 대한 사이트 정보 및 상품관련앱 정보 중 어느 하나 이상을 저장하는 상품관련정보 DB를 더 포함하고,
    상기 서비스 제공부는,
    인식된 상기 상품과 관련된 상품 관련 정보를 상기 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공부;
    인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상기 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동부; 및
    인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동부 중 어느 하나 이상을 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  6. 제5항에 있어서,
    상기 상품관련사이트는,
    인식된 상기 상품을 판매하는 상품 공급 업체 사이트 및 상기 상품 및 유사 상품들에 대한 가격정보를 제공하는 가격비교 사이트 중 어느 하나인 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  7. 제5항에 있어서,
    상기 상품관련앱은,
    사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
  8. 제어부가 서버 통신부를 통해 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링 과정;
    상기 제어부가 상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득 과정;
    상기 제어부가 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 상품 인식 과정; 및
    상기 제어부가 상기 상품정보 DB에서 인식된 상품에 대응하는 상품정보를 포함하는 영상을 상기 사용자 단말기에 표시시키는 상품정보 제공 과정을 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
  9. 제8항에 있어서,
    상기 제어부가 상기 인식된 각 상품의 영상 내 위치정보의 위치에 인식된 상품임을 지시하기 위한 인디케이터를 포함하는 영상을 사용자 단말기에 표시시키는 인디케이터 표시 과정; 및
    상기 제어부가 상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링 과정을 더 포함하되,
    상기 상품정보 제공 과정은 상기 서비스 이벤트가 발생되면 수행되는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
  10. 제8항에 있어서,
    상기 인식 과정은,
    획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식 단계;
    획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식 단계; 및
    상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
  11. 제8항에 있어서,
    상기 상품정보 제공 과정은,
    상기 제어부가 인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하는 서비스 메뉴 제공 단계; 및
    상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 상기 제어부가 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
  12. 제11항에 있어서,
    상기 서비스 제공 단계는,
    인식된 상기 상품과 관련된 상품 관련 정보를 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공 단계;
    인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동 단계; 및
    인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동단계 중 어느 하나 이상을 포함하여 사용자가 선택하는 단계에 대응하는 동작을 처리하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
  13. 제12항에 있어서,
    상기 상품관련앱은,
    사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법.
KR1020190018690A 2019-02-18 2019-02-18 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법 KR102265000B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190018690A KR102265000B1 (ko) 2019-02-18 2019-02-18 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190018690A KR102265000B1 (ko) 2019-02-18 2019-02-18 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200103195A true KR20200103195A (ko) 2020-09-02
KR102265000B1 KR102265000B1 (ko) 2021-06-14

Family

ID=72449991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190018690A KR102265000B1 (ko) 2019-02-18 2019-02-18 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102265000B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490501B1 (ko) * 2022-04-25 2023-01-20 임현수 장애인 재활지원 시스템 및 그 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827849B1 (ko) * 2007-08-08 2008-06-10 (주)올라웍스 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치
KR20110082690A (ko) * 2010-01-12 2011-07-20 인크로스 주식회사 카메라가 구비된 단말기를 이용한 정보제공방법 및 정보서비스방법
KR20130107053A (ko) * 2012-03-21 2013-10-01 (주)리드앤 유명인을 이용한 기업 홍보 애플리케이션 시스템 및 방법
KR20150044861A (ko) * 2015-03-05 2015-04-27 한양대학교 에리카산학협력단 스마트 디스플레이
KR101639657B1 (ko) 2014-11-26 2016-07-18 주식회사 카카오 유사 상품 검색 방법 및 유사 상품 검색 서버
KR101841522B1 (ko) * 2016-11-07 2018-03-23 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20180048537A (ko) * 2018-04-30 2018-05-10 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
KR20180106731A (ko) * 2017-03-21 2018-10-01 엘지전자 주식회사 인공지능 에이전트를 구비하는 이동 단말기

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827849B1 (ko) * 2007-08-08 2008-06-10 (주)올라웍스 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치
KR20110082690A (ko) * 2010-01-12 2011-07-20 인크로스 주식회사 카메라가 구비된 단말기를 이용한 정보제공방법 및 정보서비스방법
KR20130107053A (ko) * 2012-03-21 2013-10-01 (주)리드앤 유명인을 이용한 기업 홍보 애플리케이션 시스템 및 방법
KR101639657B1 (ko) 2014-11-26 2016-07-18 주식회사 카카오 유사 상품 검색 방법 및 유사 상품 검색 서버
KR20150044861A (ko) * 2015-03-05 2015-04-27 한양대학교 에리카산학협력단 스마트 디스플레이
KR101841522B1 (ko) * 2016-11-07 2018-03-23 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20180106731A (ko) * 2017-03-21 2018-10-01 엘지전자 주식회사 인공지능 에이전트를 구비하는 이동 단말기
KR20180048537A (ko) * 2018-04-30 2018-05-10 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490501B1 (ko) * 2022-04-25 2023-01-20 임현수 장애인 재활지원 시스템 및 그 동작 방법

Also Published As

Publication number Publication date
KR102265000B1 (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
US11317159B2 (en) Machine-based object recognition of video content
US10133951B1 (en) Fusion of bounding regions
US8140970B2 (en) System and method for semi-transparent display of hands over a keyboard in real-time
US20200311126A1 (en) Methods to present search keywords for image-based queries
US9336541B2 (en) Augmented reality product instructions, tutorials and visualizations
US20220138994A1 (en) Displaying augmented reality responsive to an augmented reality image
US20190012717A1 (en) Appratus and method of providing online sales information of offline product in augmented reality
US20180189083A1 (en) Method and device for operating target application on corresponding equipment
US20220253478A1 (en) Machine Learning for Digital Image Selection Across Object Variations
US20150215674A1 (en) Interactive streaming video
US20210258628A1 (en) Display device and method, and advertisement server
CN102165404A (zh) 物体检测与用户设置
US20130229342A1 (en) Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program
US20160350332A1 (en) Individualized on-demand image information acquisition
US10402037B1 (en) Optimizations for a lock screen
JP6867469B2 (ja) 電子装置、対話型情報表示方法およびコンピュータ可読記録媒体
KR20170013369A (ko) 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
KR102265000B1 (ko) 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법
CN112948045A (zh) 图片显示方法、装置、设备及计算机可读存储介质
US11768648B2 (en) System and method for simultaneously displaying multiple GUIs via the same display
US11488371B2 (en) Machine learning artificial intelligence system for producing 360 virtual representation of an object
US11436826B2 (en) Augmented reality experience for shopping
CN111291555B (zh) 商品规格的识别方法、装置和计算机可读存储介质
US10733491B2 (en) Fingerprint-based experience generation

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant