KR102265000B1 - System and method for providing product information by real-time product recognition in image using artificial intelligence - Google Patents

System and method for providing product information by real-time product recognition in image using artificial intelligence Download PDF

Info

Publication number
KR102265000B1
KR102265000B1 KR1020190018690A KR20190018690A KR102265000B1 KR 102265000 B1 KR102265000 B1 KR 102265000B1 KR 1020190018690 A KR1020190018690 A KR 1020190018690A KR 20190018690 A KR20190018690 A KR 20190018690A KR 102265000 B1 KR102265000 B1 KR 102265000B1
Authority
KR
South Korea
Prior art keywords
product
information
image
user terminal
brand
Prior art date
Application number
KR1020190018690A
Other languages
Korean (ko)
Other versions
KR20200103195A (en
Inventor
이희준
에드워드 영 최
서형배
Original Assignee
서형배
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서형배 filed Critical 서형배
Priority to KR1020190018690A priority Critical patent/KR102265000B1/en
Publication of KR20200103195A publication Critical patent/KR20200103195A/en
Application granted granted Critical
Publication of KR102265000B1 publication Critical patent/KR102265000B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Abstract

본 발명은 상품정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing product information, and more particularly, real-time recognition of at least one product in an image executed in a user terminal using artificial intelligence, and providing product information on the recognized product to the user terminal It relates to a system and method for providing product information by real-time product recognition in an image using artificial intelligence.

Description

인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법{System and method for providing product information by real-time product recognition in image using artificial intelligence}System and method for providing product information by real-time product recognition in image using artificial intelligence}

본 발명은 상품정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing product information, and more particularly, real-time recognition of at least one product in an image executed in a user terminal using artificial intelligence, and providing product information on the recognized product to the user terminal It relates to a system and method for providing product information by real-time product recognition in an image using artificial intelligence.

현재, 이동통신기술 및 휴대용 단말기 기술의 발전으로 언제 어디서나 인터넷에 접속할 수 있는 유비쿼터스 환경이 구축되었다.Currently, with the development of mobile communication technology and portable terminal technology, a ubiquitous environment that can access the Internet anytime, anywhere has been established.

유비쿼터스 환경이 구축됨에 따라 사람들은 언제 어디서나 인터넷에 접속하여 사물, 장소, 사람, 사건 등의 다양한 정보를 검색하여 확인할 수 있다.With the establishment of a ubiquitous environment, people can access the Internet anytime and anywhere to search for and check various information such as objects, places, people, and events.

특히, 임의의 사용자가 길거리를 가는 중에 마음에 드는 상품을 보거나, 사진(정지영상), 드라마, 영화 등과 같은 동영상에 나오는 상품 중 마음에 드는 상품이 보이면 해당 상품에 대한 상품 설명, 상품 브랜드, 상품 판매처, 상품 가격 등 중 어느 하나 이상을 포함하는 상품정보를 획득하기 위해 인터넷 검색 사이트에 다양한 단어들을 조합하여 검색을 수행한다.In particular, if a user sees a favorite product while walking on the street, or sees a favorite product among products in a video such as a photo (still image), drama, movie, etc., the product description, product brand, product A search is performed by combining various words on an Internet search site to obtain product information including any one or more of a seller and a product price.

그러나 사용자가 검색한 검색결과에는 검색어와 관련된 다수의 상품정보에 대한 리스트가 표시되며, 이 리스트의 상품정보 중 자신이 원하는 상품에 대한 정보를 찾기 위해 많은 시간을 투자한다.However, in the search result searched by the user, a list of a plurality of product information related to the search word is displayed, and a lot of time is invested to find information about the desired product among the product information in the list.

이처럼 사용자들은 길을 지나다니다가, 또는 정지영상 및 동영상 중 어느 하나를 보다가 마음에 드는 상품을 발견하는 경우 많은 시간을 투자하여야만 원하는 정보를 찾을 수 있었다.As such, when users find a product they like while passing by the street or watching any one of still images and videos, they have to invest a lot of time to find the information they want.

이러한 문제점을 해결하기 위해 대한민국 등록특허 제10-1639657호 [유사 상품 검색 방법 및 유사 상품 검색 서버](이하 "선행기술"이라 함)는 사용자 단말기에 디스플레이된 이미지를 사용자가 선택하는 해당 상품과 유사한 상품들을 데이터베이스에서 검색하여 제공하는 기술을 개시한다.In order to solve this problem, Republic of Korea Patent Registration No. 10-1639657 [Similar product search method and similar product search server] (hereinafter referred to as "prior art") is similar to the product the user selects the image displayed on the user terminal. Disclosed is a technology for searching and providing products in a database.

그러나 선행기술은 사용자 단말기에 표시된 이미지에서 사용자가 원하는 상품을 선택하면, 선택된 부분의 속성을 검출하고, 미리 등록된 속성들에 의해 해당 상품과 유사한 상품을 검색하여 제공하는 것으로, 사용자가 선택한 상품이 정확히 어떤 상품인지를 인식하지 않고 속성만으로 유사상품을 검색하므로 그 검색 정확도가 떨어지는 문제점이 있었다.However, in the prior art, when a user selects a desired product from an image displayed on a user terminal, the attribute of the selected part is detected, and a product similar to the corresponding product is searched for and provided by pre-registered attributes. Since similar products are searched only by attributes without recognizing exactly which products they are, there is a problem in that the search accuracy is lowered.

또한, 선행기술은 사용자가 상품정보를 알기 원하는 상품을 선택하여야 하므로 동영상 등에서 해당 상품을 선택하는 것이 어렵고, 상품을 선택했을지라도 선택된 부분에 대한 영상을 서버측으로 전송한 후 분석된 정보를 수신받아 표시하여야 하므로 해당 상품에 대한 상품정보를 실시간으로 획득할 수 없는 문제점이 있었다.In addition, in the prior art, it is difficult for a user to select a product for which the user wants to know product information, so it is difficult to select a corresponding product from a video, etc. Therefore, there was a problem that product information about the product could not be obtained in real time.

대한민국 등록특허 제10-1639657호(2016.07.18.공고)Republic of Korea Patent Registration No. 10-1639657 (2016.07.18. Announcement)

따라서 본 발명의 목적은 사용자 단말기에서 실행되는 영상 내의 적어도 하나 이상의 상품을 인공지능을 이용하여 실시간 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기로 제공하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to recognize at least one product in an image executed in a user terminal in real time using artificial intelligence and to provide product information on the recognized product to the user terminal in real-time product recognition in an image using artificial intelligence. To provide a system and method for providing product information by

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템은: 유무선 데이터통신망을 통해 사용자 단말기와 연결되어 사용자 단말기와 데이터 통신을 수행하는 서버 통신부; 인공지능에 의해 학습된 다수의 상품의 형태에 대한 상품형태 정보를 저장하는 상품형태 DB, 인공지능에 의해 학습된 다수의 상품의 브랜드에 대한 브랜드 정보를 저장하는 브랜드 DB 및 상기 상품형태 정보 및 브랜드 정보에 대응하는 상품을 정의하고, 각 상품에 대한 상품정보를 저장하는 상품정보 DB를 포함하는 저장부; 및 제어부를 포함하되, 상기 제어부는, 상기 서버 통신부를 통해 상기 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링부; 상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득부; 상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 인식부; 상기 인식된 각 상품의 영상 내 위치정보 및 인디케이터를 사용자 단말기로 전송하여 상기 인디케이터를 포함하는 영상을 사용자 단말기에 표시시키되, 상기 영상이 동영상인 경우 상기 사용자 단말기가 재생되는 동영상을 상기 인디케이터가 수신 완료될 때까지의 통신 속도에 따른 시간 동안 지연시켰다가 상기 인디케이터가 수신되면 오버레이하여 표시되도록 하고 상기 인디케이터를 점멸 또는 빛을 발하도록 하여 해당 상품이 인식된 상품임을 알리도록 하는 인디케이터 표시부; 상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링부; 및 서비스 이벤트가 발생되면 터치된 상품에 대응하는 상품정보를 상기 사용자 단말기로 제공하는 상품정보 제공부를 포함하고, 상기 인식부는, 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식부; 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식부; 및 상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식부를 포함하고, 상기 상품정보 제공부는, 인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하고, 상기 제어부는, 상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공부를 더 포함하고, 상기 저장부는, 상품정보 DB에 등록된 상품과 관련된 상품관련 정보, 상품관련 정보를 제공하는 하나 이상의 사이트에 대한 사이트 정보 및 상품관련앱 정보 중 어느 하나 이상을 저장하는 상품관련정보 DB를 더 포함하고, 상기 서비스 제공부는, 인식된 상기 상품과 관련된 상품 관련 정보를 상기 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공부; 인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상기 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동부; 및 인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동부를 포함하는 것을 특징으로 한다.According to the present invention for achieving the above object, a system for providing product information by real-time product recognition in an image using artificial intelligence includes: a server communication unit connected to a user terminal through a wired/wireless data communication network to perform data communication with the user terminal; A product type DB that stores product type information on the types of multiple products learned by artificial intelligence, a brand DB that stores brand information about brands of multiple products learned by artificial intelligence, and the product type information and brand a storage unit including a product information DB for defining products corresponding to the information and storing product information for each product; and a control unit, wherein the control unit comprises: a recognition event monitoring unit for monitoring whether a recognition event is generated by the execution of an image recognition product information service app of the user terminal through the server communication unit; an image information acquisition unit to acquire an image executed in the user terminal when the recognition event occurs; By analyzing the obtained image with reference to the product type DB and the brand DB, at least any one or more of the shape and brand of the object included in the image is recognized, and any one or more of the recognized product type and brand and the product of the product information DB Recognition unit for recognizing the product in comparison with the form and brands; By transmitting the location information and the indicator in the image of each recognized product to the user terminal, the image including the indicator is displayed on the user terminal, and when the image is a video, the indicator receives the video played by the user terminal an indicator display unit for delaying for a time depending on the communication speed until the time is reached, and displaying the overlaid when the indicator is received, and flashing or illuminating the indicator to inform that the product is a recognized product; a service event monitoring unit for monitoring that a service event is generated by a touch of the indicator; and a product information providing unit that provides product information corresponding to the touched product to the user terminal when a service event occurs, wherein the recognition unit analyzes the acquired image to detect the shape of an object included in the image a shape recognition unit generating detection product type information and recognizing the shape of a corresponding product by comparing the generated detection product type information with corresponding product type information of the product type DB; Analyzes the acquired image to detect a brand including any one or more of text and figure of an object included in the image to generate detected brand information, and compares the generated detected brand information with brand information of the brand DB a brand recognition unit for recognizing the brand of the product; and a product recognition unit for recognizing a product corresponding to one or more of the product type information and the brand information with reference to the product information DB, wherein the product information providing unit includes product information corresponding to the recognized product, Service menu information for providing two or more menus providing different services for the product is provided to the user terminal, and the control unit is configured to display the selected menu when the user terminal selects one of the menus of the service menu information. Further comprising a service providing unit for receiving the selection menu information for the selected menu information from the user terminal and providing a service corresponding to the selection menu information, the storage unit, product-related information related to the product registered in the product information DB, product-related information Further comprising a product-related information DB for storing any one or more of site information and product-related app information on one or more sites to be provided, wherein the service providing unit stores the recognized product-related product-related information in the product-related information DB a product-related information providing unit that is found in and provided to a user terminal; a product related site link unit for loading the recognized product related site information related to the product from the product related information DB and controlling the user terminal to access the loaded site; and a product-related app linkage unit for loading the recognized product related app information related to the product, and activating a product related app corresponding to the loaded product related app information in the user terminal.

삭제delete

삭제delete

삭제delete

삭제delete

상기 상품관련사이트는, 인식된 상기 상품을 판매하는 상품 공급 업체 사이트 및 상기 상품 및 유사 상품들에 대한 가격정보를 제공하는 가격비교 사이트 중 어느 하나인 것을 특징으로 한다.The product-related site is characterized in that it is any one of a product supplier site that sells the recognized product and a price comparison site that provides price information on the product and similar products.

상기 상품관련앱은, 사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 한다.The product-related app is characterized in that it is an app that allows you to take a picture by synthesizing an actor of an advertisement for the product with an image obtained by driving the camera of the user terminal.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법은: 제어부가 서버 통신부를 통해 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링 과정; 상기 제어부가 상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득 과정; 상기 제어부가 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 상품 인식 과정; 상기 제어부가 상기 상품정보 DB에서 인식된 상품에 대응하는 상품정보를 포함하는 영상을 상기 사용자 단말기에 표시시키는 상품정보 제공 과정; 상기 제어부가 인식된 각 상품의 영상 내 위치정보 및 인디케이터를 사용자 단말기로 전송하여 상기 인디케이터를 포함하는 영상을 사용자 단말기에 표시시키되, 상기 영상이 동영상인 경우 상기 사용자 단말기가 재생되는 동영상을 상기 인디케이터가 수신 완료될 때까지의 통신 속도에 따른 시간 동안 지연시켰다가 상기 인디케이터가 수신되면 오버레이하여 표시되도록 하고, 상기 인디케이터를 점멸 또는 빛을 발하도록 하여 해당 상품이 인식된 상품임을 알리도록 하는 인디케이터 표시 과정; 및 상기 제어부가 상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링 과정을 포함하되, 상기 상품정보 제공 과정은 상기 서비스 이벤트가 발생되면 수행되고, 상기 인식 과정은, 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식 단계; 획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식 단계; 및 상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식 단계를 포함하고, 상기 상품정보 제공 과정은, 상기 제어부가 인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하는 서비스 메뉴 제공 단계; 및 상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 상기 제어부가 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공 단계를 포함하며, 상기 서비스 제공 단계는, 인식된 상기 상품과 관련된 상품 관련 정보를 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공 단계; 인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동 단계; 및 인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동단계를 포함하여 사용자가 선택하는 단계에 대응하는 동작을 처리하는 것을 특징으로 한다.A method for providing product information by real-time product recognition in an image using artificial intelligence according to the present invention for achieving the above object is: Recognition event by the controller executing the image recognition product information service app of the user terminal through the server communication unit A recognition event monitoring process of monitoring whether or not is generated; an image information acquisition process by the controller acquiring an image executed in the user terminal when the recognition event occurs; The control unit analyzes the obtained image with reference to the product form DB and the brand DB to recognize at least any one or more of the shape and brand of the object included in the image, and any one or more of the recognized product type and brand and the product information DB product recognition process to recognize products in comparison with product types and brands; a product information providing process in which the controller displays an image including product information corresponding to the product recognized in the product information DB on the user terminal; The control unit transmits the location information and the indicator in the image of each recognized product to the user terminal to display the image including the indicator on the user terminal, and if the image is a moving image, the indicator displays a video played by the user terminal An indicator display process of delaying for a time according to the communication speed until the reception is completed, displaying the overlaid when the indicator is received, and flashing or emitting light to inform that the corresponding product is a recognized product; and a service event monitoring process in which the control unit monitors the occurrence of a service event by a touch of the indicator, wherein the product information providing process is performed when the service event occurs, and the recognition process includes: After analyzing and detecting the shape of the object included in the image, detection product type information is generated, and the generated detection product type information and the product type information corresponding to the product type DB are compared to recognize the shape of the product. step; Analyzes the acquired image to detect a brand including any one or more of text and figure of an object included in the image to generate detected brand information, and compares the generated detected brand information with brand information of the brand DB brand recognition step of recognizing the brand of the product; and a product recognition step of recognizing a product corresponding to one or more of the product type information and the brand information with reference to the product information DB, wherein the product information providing process includes the control unit corresponding to the recognized product a service menu providing step of providing service menu information for providing two or more menus providing different services for the product to the user terminal as product information; and when the user terminal selects one of the menus of the service menu information, the control unit receives the selection menu information for the selected menu from the user terminal, and provides a service corresponding to the selected menu information. The service providing step may include: a product related information providing step of finding product related information related to the recognized product from a product related information DB and providing it to a user terminal; a product related site interworking step of loading the recognized product related site information related to the product from the product related information DB and controlling the user terminal to access the loaded site; and a product-related app interlocking step of loading the recognized product related app information related to the product, and activating the product related app corresponding to the loaded product related app information in the user terminal, an operation corresponding to the step selected by the user. characterized by processing.

삭제delete

삭제delete

삭제delete

삭제delete

상기 상품관련앱은, 사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 한다.The product-related app is characterized in that it is an app that allows you to take a picture by synthesizing an actor of an advertisement for the product with an image obtained by driving the camera of the user terminal.

본 발명은 사용자가 자신의 사용자 단말기를 통해 획득되는 정지영상 및 동영상 중 어느 하나에 대한 재생명령이 발생되면 획득되는 영상을 상품정보 제공 시스템으로 전송하여 영상 내에 포함된 상품을 인식함으로써 영상 내 상품을 자동으로 실시간 인식할 수 있는 효과가 있다.The present invention transmits the acquired image to the product information providing system when the user receives a playback command for any one of a still image and a moving image acquired through his or her user terminal, and recognizes the product included in the image to display the product in the image It has the effect of automatically real-time recognition.

또한, 본 발명은 사용자가 영상 내에서 실시간 인식된 상품에 인디케이터를 표시하고, 인디케이터를 터치하는 것만으로 인식된 상품에 대응하는 상품정보를 제공받을 수 있는 효과를 가지며, 이로 인해 동영상과 등에서도 사용자가 쉽게 상품정보를 제공할 수 있는 상품을 선택할 수 있는 효과가 있다.In addition, the present invention has an effect that a user can display an indicator on a product recognized in real time in an image, and receive product information corresponding to the recognized product only by touching the indicator, so that the user can This has the effect of selecting a product that can easily provide product information.

또한, 본 발명은 사용자가 터치한 상품의 상품정보를 통해 다른 앱과 연동하는 서비스를 제공함으로써 사용자에게 더욱 다양한 서비스를 제공하고, 다른 앱들을 통한 효율적인 광고를 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of providing a more diverse service to the user by providing a service that interworks with other apps through product information of a product touched by the user, and can provide efficient advertisements through other apps.

도 1은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템이 적용된 통신 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 상세 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 상품 인식 및 상품정보 표시 과정을 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 상품 인식 및 상품정보 표시 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 앱 연동형 상품정보 표시 방법을 나타낸 도면이다.
도 6은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법을 나타낸 절차도이다.1 is a diagram showing the configuration of a communication system to which a product information providing system by real-time product recognition in an image using artificial intelligence according to the present invention is applied.
2 is a diagram showing the detailed configuration of a product information providing system by real-time product recognition in an image using artificial intelligence according to the present invention.
3 is a diagram illustrating a product recognition and product information display process according to an embodiment of the present invention.
4 is a diagram illustrating a product recognition and product information display method according to another embodiment of the present invention.
5 is a diagram illustrating a method for displaying product information linked to an app according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing product information by real-time product recognition in an image using artificial intelligence according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템의 상품정보 제공 방법을 설명한다.Hereinafter, the configuration and operation of a product information providing system by real-time product recognition in an image using artificial intelligence according to the present invention will be described in detail with reference to the accompanying drawings, and a product information providing method of the system will be described.

도 1은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템이 적용된 통신 시스템의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a communication system to which a product information providing system by real-time product recognition in an image using artificial intelligence according to the present invention is applied.

도 1을 참조하면, 본 발명에 따른 상품정보 제공 시스템(200)은 유무선 데이터통신망(10)을 통해 사용자 단말기(100)와 연결되어 데이터 통신을 수행하며, 실시예에 따라 적어도 하나 이상의 서비스 서버(400)들과 연결되어 데이터 통신을 수행하고, 사용자 단말기(100)를 서비스 서버(400)에 연결시킨다.1, the product information providing system 200 according to the present invention is connected to the user terminal 100 through a wired/wireless data communication network 10 to perform data communication, and according to an embodiment, at least one service server ( 400 ) to perform data communication, and connect the user terminal 100 to the service server 400 .

상기 유무선 데이터통신망(10)은 와이파이(WiFi)망, 로컬망(Local Area Network: LAN) 및 광대역망(Wide Area Network: WAN)을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등 중 적어도 어느 하나 이상을 포함하는 이동통신망, 와이브로망, 전용망 등 중 어느 하나 이상이 결합되어 있는 데이터통신망이다.The wired/wireless data communication network 10 is an Internet network including a Wi-Fi network, a local area network (LAN) and a wide area network (WAN), 3rd generation (3G), 4G, It is a data communication network in which any one or more of a mobile communication network including at least any one of 5G, etc., a WiBro network, and a dedicated network is combined.

상기 사용자 단말기(100)는 데스크톱 컴퓨터, 개인용 컴퓨터(Personal Computer: PC), 노트북 등과 같은 컴퓨터 단말기(110), 스마트폰, 스마트 패드 등과 같은 스마트 단말기(120) 및 전용 단말기 중 어느 하나일 수 있으나, 스마트 단말기(120)인 것이 바람직할 것이다.The user terminal 100 may be any one of a desktop computer, a personal computer (PC), a computer terminal 110 such as a notebook computer, a smart phone 120, a smart terminal such as a smart pad, and a dedicated terminal, It would be preferable to be a smart terminal 120 .

사용자 단말기(100)는 컴퓨터 단말기(110)인 경우 영상인식 상품정보 서비스 프로그램, 스마트 단말기(120)인 경우 영상인식 상품정보 서비스 앱, 전용 단말기인 경우 영상인식 상품정보 서비스 펌웨어가 설치되어 있어야 할 것이다. 이하 영상인식 상품정보 서비스 프로그램, 앱, 펌웨어를 통칭하여 "영상인식 상품정보 서비스 앱"이라 한다.The user terminal 100 is a computer terminal 110, an image recognition product information service program, in the case of a smart terminal 120, an image recognition product information service app, and in the case of a dedicated terminal, an image recognition product information service firmware must be installed. . Hereinafter, the image recognition product information service program, app, and firmware are collectively referred to as "image recognition product information service app".

사용자 단말기(100)는 영상인식 상품정보 서비스가 구동되면 저장되어 있는 사진, 그래픽 이미지 등의 정지영상, 동영상이 재생되는지, 카메라가 구동되는지를 모니터링하고, 정지영상 및 동영상 등의 영상이 재생되거나 카메라가 구동되어 영상이 획득되기 시작하면 획득되는 영상을 바로 상품정보 제공 시스템(200)으로 전송하기 시작한다.When the image recognition product information service is driven, the user terminal 100 monitors whether still images and videos such as stored photos and graphic images are played, and whether the camera is driven, and images such as still images and moving images are played or the camera is played. When is driven and an image is acquired, the acquired image is immediately started to be transmitted to the product information providing system 200 .

또한, 사용자 단말기(100)는 실시예에 따라 상품정보 제공 시스템(200)으로부터 인디케이터(Indicator) 및 인디케이터가 표시될 영상의 영역 위치정보(좌표정보)와, 동영상인 경우 상기 인디케이터가 표시될 프레임 정보를 수신받고, 상기 위치정보의 위치에 상기 상품이 표시되는 동안 인디케이터를 표시한다. 이 경우 사용자 단말기(100)는 재생되는 영상이 동영상인 경우 상품정보 제공 시스템(200)으로 전송하여 상품인식을 수행하기 위한 통신 속도에 따른 매우 짧은 시간 동안 지연시켰다가 인디케이터가 수신되면 오버레이하여 표시하여야 할 것이다. 그러나 상기 지연 시간은 실시간에 가까울 것이다.In addition, according to an embodiment, the user terminal 100 includes an indicator from the product information providing system 200 and region location information (coordinate information) of an image on which the indicator is to be displayed, and frame information on which the indicator is displayed in the case of a moving image. , and displays an indicator while the product is displayed at the location of the location information. In this case, when the reproduced image is a moving image, the user terminal 100 transmits it to the product information providing system 200 and delays it for a very short time according to the communication speed for product recognition. something to do. However, the delay time will be close to real time.

다른 실시예로 사용자 단말기(100)는 인디케이터가 오버레이되어 있는 영상 자체를 상품정보 제공 시스템(200)으로부터 수신받아 그대로 표시하도록 구성될 수도 있을 것이다.In another embodiment, the user terminal 100 may be configured to receive the image itself overlaid with the indicator from the product information providing system 200 and display it as it is.

상기 인디케이터는 특정 형상일 수도 있고, 인식된 상품에 대응하는 형상일 수도 있으며, 인식된 상품의 외곽선에 대응하는 형상일 수도 있을 것이다.The indicator may have a specific shape, a shape corresponding to the recognized product, or a shape corresponding to the outline of the recognized product.

또한, 사용자 단말기(100)는 사용자가 상기 인디케이터를 터치하면 인식 상품 서비스 요청 정보를 상품정보 제공 시스템(200)으로 전송하고, 이에 대응하는 상품정보로서 서비스 메뉴 정보를 수신하여 표시한다.In addition, when the user touches the indicator, the user terminal 100 transmits recognized product service request information to the product information providing system 200 , and receives and displays service menu information as product information corresponding thereto.

상품정보 제공 시스템(200)은 사용자 단말기(100)에 의한 인식 이벤트가 발생하면 사용자 단말기(100)로부터 영상을 수신할 준비를 하고, 사용자 단말기(100)로부터 영상이 획득되면 미리 저장된 인공지능 기반의 상품형태 정보 및 브랜드 정보에 근거하여 영상 내 존재하는 상품을 인식하고, 인식된 상품에 대한 상품정보를 사용자 단말기(100)로 제공한다.The product information providing system 200 prepares to receive an image from the user terminal 100 when a recognition event by the user terminal 100 occurs, and when the image is obtained from the user terminal 100, a pre-stored AI-based A product existing in the image is recognized based on product type information and brand information, and product information on the recognized product is provided to the user terminal 100 .

이때, 상품정보 제공 시스템(200)은 상품정보만을 전송하여 사용자 단말기(100)가 상품정보를 영상에 오버레이하여 표시하도록 구성될 수도 있고, 다른 실시예로 상품정보 제공 시스템(200)이 영상에 상품정보를 오버레이한 후 상품정보가 오버레이된 영상을 사용자 단말기(100)로 전송하여 사용자 단말기(100)가 해당 영상을 바로 디스플레이하도록 구성될 수도 있을 것이다.At this time, the product information providing system 200 may be configured to transmit only product information so that the user terminal 100 overlays the product information on the image and displays it. In another embodiment, the product information providing system 200 displays the product on the image. After the information is overlaid, the image on which the product information is overlaid is transmitted to the user terminal 100 so that the user terminal 100 may be configured to directly display the image.

상품정보 제공 시스템(200)은 상품의 인식 시 상술한 바와 같이 인식된 상품에 대한 상품정보를 바로 제공할 수도 있고, 실시예에 따라 인식된 상품에 대한 인디케이터를 사용자 단말기(100)로 제공하고, 상기 영상 내의 적어도 하나 이상의 상품 각각에 표시된 인디케이터 중 하나가 선택되면 선택된 인디케이터에 대응하는 상품의 상품정보를 제공할 수도 있을 것이다.The product information providing system 200 may directly provide product information on the recognized product as described above when the product is recognized, and provides an indicator for the recognized product to the user terminal 100 according to an embodiment, When one of the indicators displayed on each of the at least one or more products in the image is selected, product information of the product corresponding to the selected indicator may be provided.

또한, 상품정보 제공 시스템(200)은 일반적인 상품에 대한 정보를 직접 제공할 수도 있고, 상품정보를 제공하는 상품을 생산 및 공급하는 상품 공급 업체 사이트를 제공하는 서비스 서버(400)에 대한 정보를 제공하거나, 인식된 상품 및 인식된 상품과 유사한 상품에 대한 상품정보를 제공하는 유사상품 정보 제공 사이트를 제공하는 서비스 서버(400)에 대한 정보를 제공하여 간접적으로 상기 상품의 상품정보를 제공할 수도 있을 것이다. 상기 유사상품 정보 제공 사이트는 가격 비교 사이트 등이 될 수 있을 것이다.In addition, the product information providing system 200 may directly provide information on general products, and provides information on the service server 400 that provides a product supplier site that produces and supplies products that provide product information. Alternatively, the product information of the product may be indirectly provided by providing information on the service server 400 that provides a site for providing product information about the recognized product and similar product to the recognized product. will be. The similar product information providing site may be a price comparison site or the like.

상기 상품정보 제공 시스템(200)의 상세 구성 및 설명은 다음의 도 2를 참조하여 설명한다.The detailed configuration and description of the product information providing system 200 will be described with reference to FIG. 2 below.

서비스 서버(400)는 상품을 생산 및/또는 공급하는 상품 공급 업체의 서버일 수도 있고, 상품 관련 정보를 제공하는 웹 서버 또는 앱(어플리케이션) 서버일 수도 있으며, 상품정보 제공 시스템(200)에 의해 사용자 단말기(100)와 연결되어 사용자 단말기(100)로 상기 상품정보 제공 시스템(200)에서 인식된 상품에 대한 다양한 상품정보를 제공한다.The service server 400 may be a server of a product supplier that produces and/or supplies a product, may be a web server or an app (application) server that provides product-related information, and is provided by the product information providing system 200 . It is connected to the user terminal 100 to provide various product information about the product recognized by the product information providing system 200 to the user terminal 100 .

도 2는 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템의 상세 구성을 나타낸 도면이고, 도 3은 본 발명의 일실시예에 따른 상품 인식 및 상품정보 표시 과정을 나타낸 도면이고, 도 4는 본 발명의 다른 실시예에 따른 상품 인식 및 상품정보 표시 방법을 나타낸 도면이며, 도 5는 본 발명의 일실시예에 따른 앱 연동형 상품정보 표시 방법을 나타낸 도면이다. 이하 도 2 내지 도 5를 참조하여 설명한다.2 is a view showing the detailed configuration of a product information providing system by real-time product recognition in an image using artificial intelligence according to the present invention, and FIG. 3 is a view showing a product recognition and product information display process according to an embodiment of the present invention 4 is a diagram illustrating a product recognition and product information display method according to another embodiment of the present invention, and FIG. 5 is a diagram illustrating an app-linked product information display method according to an embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 2 to 5 .

본 발명에 따른 상품정보 제공 시스템(200)은 저장부(210), 서버 통신부(220) 및 제어부(230)를 포함한다.The product information providing system 200 according to the present invention includes a storage unit 210 , a server communication unit 220 , and a control unit 230 .

저장부(210)는 상품정보 제공 시스템(200)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램에 필요하거나, 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다.The storage unit 210 includes a program area for storing a control program for controlling the overall operation of the product information providing system 200, a temporary area for temporarily storing data generated during execution of the control program, necessary for the control program, It includes a data area for semi-permanently storing data generated during the execution of the control program.

상기 데이터영역에는 상품형태 DB(211), 브랜드 DB(212), 상품정보 DB(213) 및 상품 관련정보 DB(214) 등이 구성될 수 있을 것이다.The data area may include a product type DB 211 , a brand DB 212 , a product information DB 213 , and a product related information DB 214 .

상기 상품형태 DB(211)는 다수의 상품 각각에 대해 상품의 각도에 따른 다양한 형태들에 대해 인공지능 기반으로 학습된 상품형태 정보를 저장한다.The product type DB 211 stores product type information learned based on artificial intelligence for various types according to the angle of the product for each of a plurality of products.

상기 브랜드 DB(212)는 다수의 상품에 대한 브랜드에 대한 도형(캐릭터 등 포함) 및 텍스트에 대해 인공지능 기반으로 학습된 브랜드 정보를 저장한다.The brand DB 212 stores brand information learned based on artificial intelligence for figures (including characters, etc.) and texts of brands for a plurality of products.

상품정보 DB(213)는 다수의 상품 각각에 대해 상품 식별정보별로 상품형태 정보 및 브랜드 정보를 저장하여 관리하고, 상품 각각에 대한 상품정보를 저장한다.The product information DB 213 stores and manages product type information and brand information for each product identification information for each of a plurality of products, and stores product information for each product.

상품관련정보 DB(214)는 상기 상품정보 DB(213)에 등록된 상품 각각과 관련 있는 정보들을 저장하여 관리한다. 상기 상품관련정보는 각 상품을 생산 및/또는 공급하는 상품 공급 업체 사이트 정보, 각 상품과 동일한 상품 및 유사상품 중 어느 하나 이상 대한 관련정보를 제공하는 유사상품 정보 제공 사이트 정보 등이 될 수 있으며, 다른 실시예에 따라 각 상품에 대응하여 연동될 수 있는 상품관련앱 정보 등이 될 수 있을 것이다.The product related information DB 214 stores and manages information related to each product registered in the product information DB 213 . The product-related information may be product supplier site information that produces and/or supplies each product, and similar product information providing site information that provides related information on any one or more of the same product as each product and similar product, etc. According to another embodiment, it may be product related app information that can be linked in response to each product.

서버 통신부(220)는 유무선 데이터통신망(10)에 연결되어, 유무선 데이터통신망(10)에 연결된 사용자 단말기(100) 및 서비스 서버(400)들 중 어느 하나 이상과 데이터 통신을 수행한다.The server communication unit 220 is connected to the wired/wireless data communication network 10 and performs data communication with any one or more of the user terminal 100 and the service servers 400 connected to the wired/wireless data communication network 10 .

제어부(230)는 인식 이벤트 모니터링부(240), 영상정보 획득부(250), 인식부(260), 서비스 제공부(290)을 포함하고, 실시예에 따라 인디케이터 표시부(270), 서비스 이벤트 모니터링부(280), 서비스 제공부(300)를 더 포함하여 본 발명에 따른 상품정보 제공 시스템(200)의 전반적인 동작을 제어한다.The control unit 230 includes a recognition event monitoring unit 240 , an image information obtaining unit 250 , a recognition unit 260 , and a service providing unit 290 , and according to an embodiment, an indicator display unit 270 , service event monitoring It further includes the unit 280 and the service providing unit 300 to control the overall operation of the product information providing system 200 according to the present invention.

구체적으로 설명하면, 인식 이벤트 모니터링부(240)는 사용자 단말기(100)에 의해 인식 이벤트가 발생하는지를 모니터링하고, 인식 이벤트가 발생하면 이를 영상정보 획득부(250)로 통지한다. 상기 인식 이벤트는 사용자 단말기(100)에서 영상인식 상품정보 서비스 앱이 구동될 때 전송하는 앱 구동 통지 신호, 또는 앱의 특정 메뉴의 선택 시의 서비스 개시 요청 신호 등에 의해 발생될 수 있을 것이다.More specifically, the recognition event monitoring unit 240 monitors whether a recognition event occurs by the user terminal 100 , and notifies the image information obtaining unit 250 when a recognition event occurs. The recognition event may be generated by an app driving notification signal transmitted when the image recognition product information service app is driven in the user terminal 100 or a service start request signal when a specific menu of the app is selected.

영상정보 획득부(250)는 상기 인식 이벤트 모니터링부(240)에 의해 인식 이벤트가 발생된 것으로 판단되면 서버 통신부(220)를 통해 사용자 단말기(100)로부터 영상을 획득할 준비를 하고, 도 3과 같이 사용자 단말기(100)의 카메라가 구동되어 영상이 획득되어 재생되기 시작하거나 사용자 단말기(100)에 저장되어 있거나, 인터넷을 통해 다운로드되기 시작된 정지영상 및 동영상이 재생되기 시작하면, 즉시 사용자 단말기(100)에서 재생되는 영상을 획득하여 저장부(210)에 저장하고, 인식부(260)로 수신되고 있는 영상 내의 상품을 인식할 것을 요청한다.The image information acquisition unit 250 prepares to acquire an image from the user terminal 100 through the server communication unit 220 when it is determined that the recognition event has occurred by the recognition event monitoring unit 240, as shown in FIG. Likewise, when the camera of the user terminal 100 is driven and an image is acquired and played back, stored in the user terminal 100, or started to be downloaded through the Internet, and still images and moving images start to be played, the user terminal 100 immediately ) to acquire the image reproduced in the storage unit 210 and store it, and request the recognition unit 260 to recognize a product in the image being received.

인식부(260)는 형태 인식부(261), 브랜드 인식부(262) 및 상품 인식부(263)를 포함하여 수신되는 영상 내의 상품을 인식하고, 인식된 상품의 영상 내 위치정보를 인디케이터 표시부(270)로 출력하고, 인식된 상품에 대한 상품 식별정보를 상품정보 제공부(290)로 제공한다.The recognition unit 260 recognizes the product in the received image, including the shape recognition unit 261, the brand recognition unit 262, and the product recognition unit 263, and displays the location information in the image of the recognized product to the indicator display unit ( 270), and provides product identification information for the recognized product to the product information providing unit 290 .

구체적으로 형태 인식부(261)는 도 3 및 도 4에서 보이는 바와 같이 영상 내의 모든 사물의 색상, 명도, 채도 차이에 따른 경계를 인식하고 상품형태 DB(211)에 미리 인공지능 기반으로 학습된 다수의 상품에 대한 상품형태 정보들을 참조하여 상품의 형태를 인식한다. 이때의 인식된 상품형태에 대응하는 상품은 하나 이상일 수 있을 것이다. Specifically, as shown in FIGS. 3 and 4 , the shape recognition unit 261 recognizes a boundary according to the difference in color, brightness, and chroma of all objects in the image, and a plurality of previously learned based on artificial intelligence in the product shape DB 211 . Recognize the shape of the product by referring to the product type information on the product of At this time, there may be more than one product corresponding to the recognized product type.

형태 인식부(261)는 도 3의 301에서는 상품의 형태로서 책을 검출할 것이고, 도 4의 402에서는 아이가 입고 있는 옷, 차량 등을 검출할 수 있을 것이다.The shape recognition unit 261 may detect a book as a form of a product in 301 of FIG. 3 , and may detect clothes and vehicles worn by a child in 402 of FIG. 4 .

브랜드 인식부(262)는 형태 인식부(261)에 의해 상품형태가 검출되면 검출된 상품형태 내에서 브랜드 DB(212)를 참조하여 텍스트, 도형(캐릭터) 등의 브랜드 인식을 수행하고 인식된 브랜드에 대한 브랜드 정보를 상품 인식부(263)로 출력한다.When the product shape is detected by the shape recognition unit 261, the brand recognition unit 262 refers to the brand DB 212 within the detected product type to perform brand recognition such as text, figure (character), and the like, and the recognized brand Outputs brand information about the product to the product recognition unit 263 .

상기 브랜드 인식부(262)는 도 3에서는 책 표지의 원숭이 캐릭터를 인식하여 인식된 캐릭터에 대한 브랜드 정보를 출력하고, 도 4에서는 옷의 가슴 부분에 인쇄된 캐릭터를 인식하여 인식된 캐릭터에 대한 브랜드 정보를 출력할 것이다.The brand recognition unit 262 recognizes the monkey character on the cover of the book in FIG. 3 and outputs brand information on the recognized character, and in FIG. 4 , recognizes the character printed on the chest of the clothes and recognizes the brand of the recognized character. will print the information.

상품 인식부(263)는 상기 형태 인식부(261)로부터 상품형태 정보를 입력받고, 상기 브랜드 인식부(262)로부터 브랜드 정보를 입력받아, 상품형태 정보 및 브랜드 정보 둘 모두를 가지는 상품을 상품정보 DB(213)에서 검색하여 인식하고, 인식된 상품의 영상 내 위치정보를 인디케이터 표시부(270)로 출력하고, 인식된 상품에 대한 상품 식별정보를 상품정보 제공부(290)로 제공한다.The product recognition unit 263 receives product type information from the shape recognition unit 261 and receives brand information from the brand recognition unit 262 to provide product information with both product type information and brand information. The DB 213 is searched for and recognized, the position information in the image of the recognized product is output to the indicator display unit 270 , and product identification information about the recognized product is provided to the product information providing unit 290 .

인디케이터 표시부(270)는 상기 인식부(260)의 상품 인식부(263)로부터 인식된 상품의 위치정보를 입력받고, 인디케이터(305) 및 인식된 상품의 위치정보를 사용자 단말기(100)로 전송하여 상기 위치정보의 영상 내 위치에 상기 인디케이터(305)가 표시되도록 한다.The indicator display unit 270 receives the position information of the recognized product from the product recognition unit 263 of the recognition unit 260, and transmits the indicator 305 and the position information of the recognized product to the user terminal 100. The indicator 305 is displayed on the position in the image of the position information.

또한, 인디케이터 표시부(270)는 사용자 단말기(100)로부터 획득된 영상이 동영상이면 상기 인식된 상품이 포함된 프레임 정보를 사용자 단말기(100)로 더 전송하여야 할 것이다.In addition, if the image obtained from the user terminal 100 is a moving picture, the indicator display unit 270 should further transmit frame information including the recognized product to the user terminal 100 .

또한, 다른 실시예에 따라 인디케이터 표시부(270)는 사용자 단말기(100)로부터 획득되는 영상을 입력 또는 로드하여 상기 영상의 해당 상품의 위치정보의 좌표에 인디케이터를 오버레이하고, 인디케이터가 오버레이된 영상을 사용자 단말기(100)로 전송하도록 구성될 수도 있을 것이다.In addition, according to another embodiment, the indicator display unit 270 inputs or loads an image obtained from the user terminal 100, overlays the indicator on the coordinates of the location information of the corresponding product of the image, and displays the image on which the indicator is overlaid by the user. It may be configured to transmit to the terminal 100 .

상기 인디케이터(305)는 도 3 및 도 4에서 보이는 바와 같이 캐릭터 등의 특정 이미지가 될 수도 있고, 해당 상품의 외각 경계선에 대응하는 형태의 이미지가 될 수도 있을 것이다. 상기 인디케이터(305)는 점멸할 수도 있고, 빛을 발하도록 구성될 수도 있으며, 이 외에도 다양한 효과가 적용될 수도 있을 것이다.As shown in FIGS. 3 and 4 , the indicator 305 may be a specific image such as a character, or an image corresponding to the outer boundary of the product. The indicator 305 may blink or be configured to emit light, and various effects may be applied in addition to this.

서비스 이벤트 모니터링부(280)는 상기 인디케이터(305)가 사용자 단말기(100)로 제공된 후 상기 인디케이터(305)의 터치에 의해 발생되는 서비스 이벤트가 발생되는지를 모니터링한다.The service event monitoring unit 280 monitors whether a service event generated by a touch of the indicator 305 occurs after the indicator 305 is provided to the user terminal 100 .

상품정보 제공부(290)는 실시예에 따라 상품 인식부(263)를 통해 상품이 인식되면 상품 인식부(263)로부터 입력되는 상품 식별정보에 대응하는 상품정보를 상품정보 DB(213)로부터 로드하여 서버 통신부(220)를 통해 사용자 단말기(100)로 전송하여 도 4의 403에서와 같이 상품정보(404)를 영상에 오버레이하여 표시하도록 한다.The product information providing unit 290 loads product information corresponding to the product identification information input from the product recognition unit 263 from the product information DB 213 when a product is recognized through the product recognition unit 263 according to an embodiment. Thus, it is transmitted to the user terminal 100 through the server communication unit 220 so that the product information 404 is overlaid on the image and displayed as shown in 403 of FIG. 4 .

다른 실시예에 따라 인디케이터(305)가 사용자 단말기(100)로 제공된 후 서비스 이벤트가 발생되면 상품정보 제공부(290)는 도 3의 303에서와 같이 인식된 상품 또는 브랜드의 인식 이미지 및 304와 같은 서로 다른 복수의 서비스를 선택할 수 있는 서비스 메뉴를 제공하며, 서비스 메뉴 중 사용자가 선택한 선택 메뉴 정보를 사용자 단말기(100)로부터 수신받는다.According to another embodiment, when a service event occurs after the indicator 305 is provided to the user terminal 100, the product information providing unit 290 may display a recognized product or brand recognition image as shown in 303 of FIG. A service menu for selecting a plurality of different services is provided, and information on a selection menu selected by the user from among the service menus is received from the user terminal 100 .

서비스 제공부(300)는 서비스 메뉴를 제공하는 경우 구성되어 선택된 메뉴에 대응하는 서비스를 제공하는 것으로, 상품관련정보 제공부(301), 상품관련앱 연동부(302) 등을 포함할 수 있을 것이다.The service providing unit 300 is configured when providing a service menu and provides a service corresponding to the selected menu, and may include a product related information providing unit 301, a product related app linkage unit 302, and the like. .

상기 상품관련정보 제공부(301)는 상품관련정보 DB(214)에 저장되어 있는 상품과 관련된 상품관련정보들을 로드하여 사용자 단말기(100)로 제공한다. 상기 상품관련정보는 직접적인 상품과 관련된 정보일 수도 있고, 도 3의 304의 상품과 관련된 웹사이트 주소가 맵핑된 웹사이트 정보(306, 307)가 될 수도 있을 것이다.The product related information providing unit 301 loads product related information stored in the product related information DB 214 and provides it to the user terminal 100 . The product-related information may be directly product-related information, or may be website information 306 and 307 to which website addresses related to products 304 of FIG. 3 are mapped.

상기 상품관련앱 연동부(302)는 도 5에서 보이는 바와 같이 상품(짜장면)이 인식된 경우 인디케이터의 클릭 시 상품관련앱 아이콘(503)(도 5의 경우 배달 아이콘)을 사용자 단말기(100)에 표시하고, 해당 상품관련앱 아이콘(503)이 클릭되어 사용자 단말기(100)로부터 상품관련앱 설치 요청 신호가 수신되면 해당 상품관련앱 설치파일을 제공하는 서비스 서버(400)로 연결하여 상기 상품관련앱을 설치할 수 있도록 하거나, 해당 상품관련앱 설치파일을 가지고 있는 경우 직접 상품관련앱 설치파일을 사용자 단말기(100)로 제공하여 설치되도록 할 수도 있을 것이다.As shown in FIG. 5, the product related app link unit 302 sends a product related app icon 503 (a delivery icon in FIG. 5) to the user terminal 100 when the indicator is clicked when the product (jajangmyeon) is recognized as shown in FIG. When the product related app installation request signal is received from the user terminal 100 by clicking the product related app icon 503, the product related app is connected to the service server 400 that provides the product related app installation file and the product related app can be installed, or if you have the product related app installation file, you can directly provide the product related app installation file to the user terminal 100 so that it can be installed.

해당 상품관련앱이 사용자 단말기(100)에 설치되어 있는 경우, 상품관련앱 아이콘(503)이 클릭되면 사용자 단말기(100)가 도 5의 502에서와 같이 해당 상품관련앱을 실행할 것이다. If the product related app is installed in the user terminal 100, when the product related app icon 503 is clicked, the user terminal 100 will execute the product related app as shown in 502 of FIG. 5 .

상기 상품관련앱 연동부(302)는 상술한 바와 같이 배달앱이 될 수도 있고, 인식된 상품을 광고하는 광고의 스타와 오버레이 방식을 적용하여 사진을 찍을 수 있도록 하는 증강현실(Augmented Reality: AR) 카메라 앱이 될 수도 있으며, 이 외에도 다양한 앱들이 적용될 수 있을 것이다. The product-related app linkage unit 302 may be a delivery app as described above, and augmented reality (AR) that allows you to take a picture by applying an overlay method with a star of an advertisement advertising a recognized product. It may be a camera app, and various other apps may also be applied.

도 6은 본 발명에 따른 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 방법을 나타낸 절차도로서, 인디케이터(305) 및 서비스 메뉴를 제공하는 경우의 절차도를 나타낸 도면이다.6 is a flowchart illustrating a method for providing product information by real-time product recognition in an image using artificial intelligence according to the present invention, and is a diagram illustrating a procedure for providing an indicator 305 and a service menu.

도 6을 참조하면, 상품정보 제공 시스템(200)은 임의의 사용자 단말기(100)로부터 인식 이벤트가 발생되는지를 검사한다(S110).Referring to FIG. 6 , the product information providing system 200 checks whether a recognition event is generated from any user terminal 100 ( S110 ).

사용자 단말기(100)는 영상인식 상품정보 서비스 앱이 구동되거나, 구동된 후 상품정보 서비스 앱 내의 상품 인식 개시 메뉴가 선택되면(S111) 상품정보 제공 시스템(200)으로 서비스 개시 요청 신호를 전송하여 인식 이벤트를 발생시킨다(S112).The user terminal 100 is recognized by transmitting a service start request signal to the product information providing system 200 when the image recognition product information service app is driven or a product recognition start menu in the product information service app is selected after being driven (S111) An event is generated (S112).

상기 서비스 개시 요청 신호의 전송 후 사용자 단말기(100)는 카메라(미도시)를 통해 촬영되거나, 저장되어 있거나 다운로드된 영상이 재생되는지를 모니터링하고(S113), 재생되면 재생되는 영상을 포함하는 영상 상품 인식 요청 정보를 스트리밍 형태로 상품정보 제공 시스템(200)으로 전송한다(S115).After the service start request signal is transmitted, the user terminal 100 monitors whether an image captured, stored, or downloaded through a camera (not shown) is reproduced (S113), and when the image is reproduced, the video product including the reproduced image The recognition request information is transmitted to the product information providing system 200 in a streaming form (S115).

상품정보 제공 시스템(200)은 인식 이벤트가 발생하면 사용자 단말기(100)로부터 언제나 바로 영상을 수신할 수 있도록 사용자 단말기(100)와 연결 상태를 설정하고 영상이 수신되는지를 모니터링한다(S114)When a recognition event occurs, the product information providing system 200 establishes a connection state with the user terminal 100 so that an image can be always immediately received from the user terminal 100 and monitors whether an image is received (S114)

상품정보 제공 시스템(200)은 영상 상품 인식 요청 정보가 수신되기 시작하면 인공지능 기반으로 학습된 상품형태 정보 및 브랜드 정보에 기반하여 상품을 인식하고(S117), 상품이 인식되면 인식된 상품의 영상 내 위치정보 및 인데케이터를 포함하는 인디케이터 표시정보를 사용자 단말기(100)로 전송한다(S119).The product information providing system 200 recognizes the product based on the product type information and brand information learned based on artificial intelligence when the image product recognition request information starts to be received (S117), and when the product is recognized, the image of the recognized product The indicator display information including my location information and the indicator is transmitted to the user terminal 100 (S119).

사용자 단말기(100)는 인디케이터 표시정보가 수신되면 인디케이터를 포함된 위치정보의 영상 내 위치에 표시하거나 인디케이터가 포함된 영상을 수신하여 표시하고(S120), 인디케이터가 터치되는지를 검사한다(S121).When the indicator display information is received, the user terminal 100 displays the indicator on the position in the image of the position information including the indicator or receives and displays the image including the indicator (S120), and checks whether the indicator is touched (S121).

인디케이터가 터치되면 사용자 단말기(100)는 인식 상품 서비스 요청 정보를 상품정보 제공 시스템(200)으로 전송한다(S123).When the indicator is touched, the user terminal 100 transmits recognition product service request information to the product information providing system 200 (S123).

상품정보 제공 시스템(200)은 인식 상품 서비스 요청 정보가 수신되면 상품정보 DB(213)에 등록된 상품정보에 근거하여 서비스 요청 상품에 대한 서비스 메뉴 정보를 생성한(S125) 후 사용자 단말기(100)로 전송한다(S127).The product information providing system 200 generates service menu information for the service request product based on the product information registered in the product information DB 213 when the recognized product service request information is received (S125), and then the user terminal 100 to (S127).

사용자 단말기(100)는 서비스 메뉴 정보가 수신되면 도 3과 같이 서비스 메뉴정보를 영상 내 오버레이하여 표시하여 선택할 것을 요청한다(S129). 상기 서비스 메뉴 정보는 도 3에서 나타낸 바와 같이 하나 이상의 메뉴를 포함할 수 있을 것이다.When the service menu information is received, the user terminal 100 overlays and displays the service menu information in the image as shown in FIG. 3 to request a selection (S129). The service menu information may include one or more menus as shown in FIG. 3 .

사용자 단말기(100)는 서비스 메뉴 정보의 메뉴가 선택되는지를 모니터링하고(S131), 메뉴가 선택되면 선택 메뉴 정보를 상품정보 제공 시스템(133)으로 전송한다(S133). 그러나 메뉴가 웹사이트 주소가 매핑된 메뉴이면 사용자 단말기(100)는 해당 웹브라우저를 구동하여 매핑된 메뉴의 웹사이트로 바로 접속할 것이다.The user terminal 100 monitors whether a menu of service menu information is selected (S131), and when the menu is selected, transmits the selected menu information to the product information providing system 133 (S133). However, if the menu is a menu to which a website address is mapped, the user terminal 100 will drive a corresponding web browser to directly access the website of the mapped menu.

선택 메뉴 정보를 수신한 상품정보 제공 시스템(200)은 선택 메뉴에 대응하는 서비스를 처리하고(S135), 선택된 메뉴에 대응하는 서비스를 제공한다(S137). 상기 선택 메뉴 정보는 실시예에 따라 상품관련앱 설치 요청 신호일 수 있고, 그 외의 다른 상품정보 제공 시스템(200)에서만 제공할 수 있는 서비스에 대한 정보일 수도 있을 것이다.Upon receiving the selected menu information, the product information providing system 200 processes a service corresponding to the selected menu (S135) and provides a service corresponding to the selected menu (S137). The selection menu information may be a product related app installation request signal according to an embodiment, or may be information about a service that can only be provided by the other product information providing system 200 .

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.On the other hand, it is common knowledge in the art that the present invention is not limited to the typical preferred embodiments described above, but can be improved, changed, replaced, or added in various ways within the scope of the present invention. Those who have will be able to understand it easily. If implementation by such improvement, change, substitution or addition falls within the scope of the appended claims below, the technical idea should also be regarded as belonging to the present invention.

10: 유무선 데이터통신망 100: 사용자 단말기
200: 상품정보 제공 시스템 210: 저장부
211: 상품형태 DB 212: 브랜드 DB
213: 상품정보 DB 214: 상품관련정보 DB
220: 서버 통신부 230: 제어부
240: 인식 이벤트 모니터링부 250: 영상정보 획득부
260: 인식부 261: 형태 인식부
262: 브랜드 인식부 263: 상품 인식부
270: 인디케이터 표시부 280: 서비스 이벤트 모니터링부
290: 상품정보 제공부 300: 서비스 제공부
301: 상품관련정보 제공부 302: 상품관련 앱 연동부
400: 서비스 서버10: wired and wireless data communication network 100: user terminal
200: product information providing system 210: storage
211: product type DB 212: brand DB
213: Product information DB 214: Product related information DB
220: server communication unit 230: control unit
240: recognition event monitoring unit 250: image information acquisition unit
260: recognition unit 261: shape recognition unit
262: brand recognition unit 263: product recognition unit
270: indicator display 280: service event monitoring unit
290: product information providing unit 300: service providing unit
301: product-related information providing unit 302: product-related app linkage unit
400: service server

Claims (13)

유무선 데이터통신망을 통해 사용자 단말기와 연결되어 사용자 단말기와 데이터 통신을 수행하는 서버 통신부;
인공지능에 의해 학습된 다수의 상품의 형태에 대한 상품형태 정보를 저장하는 상품형태 DB, 인공지능에 의해 학습된 다수의 상품의 브랜드에 대한 브랜드 정보를 저장하는 브랜드 DB 및 상기 상품형태 정보 및 브랜드 정보에 대응하는 상품을 정의하고, 각 상품에 대한 상품정보를 저장하는 상품정보 DB를 포함하는 저장부; 및
제어부를 포함하되,
상기 제어부는,
상기 서버 통신부를 통해 상기 사용자 단말기의 영상인식 상품정보 서비스 앱의 실행에 의한 인식 이벤트가 발생되는지를 모니터링하는 인식 이벤트 모니터링부;
상기 인식 이벤트가 발생되면 상기 사용자 단말기에서 실행되는 영상을 획득하여 영상정보 획득부;
상기 상품형태 DB 및 브랜드 DB를 참조하여 획득된 영상을 분석하여 영상 내의 포함된 물체의 형태 및 브랜드 중 적어도 어느 하나 이상을 인식하고, 인식된 상품형태 및 브랜드 중 어느 하나 이상과 상품정보 DB의 상품형태 및 브랜드들과 비교하여 상품을 인식하는 인식부;
상기 인식된 각 상품의 영상 내 위치정보 및 인디케이터를 사용자 단말기로 전송하여 상기 인디케이터를 포함하는 영상을 사용자 단말기에 표시시키되, 상기 영상이 동영상인 경우 상기 사용자 단말기가 재생되는 동영상을 상기 인디케이터가 수신 완료될 때까지의 통신 속도에 따른 시간 동안 지연시켰다가 상기 인디케이터가 수신되면 오버레이하여 표시되도록 하고 상기 인디케이터를 점멸 또는 빛을 발하도록 하여 해당 상품이 인식된 상품임을 알리도록 하는 인디케이터 표시부;
상기 인디케이터의 터치에 의한 서비스 이벤트가 발생되는 모니터링하는 서비스 이벤트 모니터링부; 및
서비스 이벤트가 발생되면 터치된 상품에 대응하는 상품정보를 상기 사용자 단말기로 제공하는 상품정보 제공부를 포함하고,
상기 인식부는,
획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 형태를 검출한 후 검출 상품형태 정보를 생성하며, 생성된 검출 상품형태 정보와 상기 상품형태 DB의 대응하는 상품형태 정보들을 비교하여 해당 상품의 형태를 인식하는 형태 인식부;
획득된 상기 영상을 분석하여 영상 내에 포함된 물체의 텍스트 및 도형 중 어느 하나 이상을 포함하는 브랜드를 검출하여 검출 브랜드 정보를 생성하며, 생성된 검출 브랜드 정보와 상기 브랜드 DB의 브랜드 정보들을 비교하여 해당 상품의 브랜드를 인식하는 브랜드 인식부; 및
상기 상품정보 DB를 참조하여 상기 상품형태 정보 및 상기 브랜드 정보 중 어느 하나 이상에 대응하는 상품을 인식하는 상품 인식부를 포함하고,
상기 상품정보 제공부는,
인식된 상기 상품에 대응하는 상품정보로서, 상기 상품에 대해 서로 다른 서비스를 제공하는 둘 이상의 메뉴를 제공하는 서비스 메뉴 정보를 상기 사용자 단말기로 제공하고,
상기 제어부는,
상기 사용자 단말기가 상기 서비스 메뉴 정보의 메뉴들 중 하나를 선택하면 선택된 메뉴에 대한 선택 메뉴 정보를 상기 사용자 단말기로부터 수신받아 상기 선택 메뉴 정보에 대응하는 서비스를 제공하는 서비스 제공부를 더 포함하고,
상기 저장부는,
상품정보 DB에 등록된 상품과 관련된 상품관련 정보, 상품관련 정보를 제공하는 하나 이상의 사이트에 대한 사이트 정보 및 상품관련앱 정보 중 어느 하나 이상을 저장하는 상품관련정보 DB를 더 포함하고,
상기 서비스 제공부는,
인식된 상기 상품과 관련된 상품 관련 정보를 상기 상품관련정보 DB에서 찾아 사용자 단말기로 제공하는 상품관련정보 제공부;
인식된 상기 상품과 관련된 상품 관련 사이트 정보를 상기 상품관련정보 DB로부터 로드하고, 상기 사용자 단말기를 로드된 상기 사이트에 접속하도록 제어하는 상품관련사이트 연동부; 및
인식된 상기 상품과 관련된 상품관련앱정보를 로드하고, 로드된 상품관련앱정보에 대응하는 상품관련앱을 사용자 단말기에서 활성화시키는 상품 관련 앱 연동부를 포함하며,
상기 제어부는 상품의 브랜드를 인식하면 브랜드에 관한 정보를 포함하는 상품정보를 제공하고, 상품의 비정품을 인식하면 비정품에 관한 정보를 포함하는 상품정보를 제공하며, 음식과 같이 상품의 형태를 인식하면 상품과 관련된 상품관련앱과의 연동을 제공하고 상품관련앱에 관한 설치파일을 제공하는 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
a server communication unit connected to the user terminal through a wired/wireless data communication network to perform data communication with the user terminal;
A product type DB that stores product type information on the types of multiple products learned by artificial intelligence, a brand DB that stores brand information about brands of multiple products learned by artificial intelligence, and the product type information and brand a storage unit including a product information DB for defining products corresponding to the information and storing product information for each product; and
including a control,
The control unit is
a recognition event monitoring unit for monitoring whether a recognition event is generated by the execution of the image recognition product information service app of the user terminal through the server communication unit;
an image information acquisition unit to acquire an image executed in the user terminal when the recognition event occurs;
By analyzing the obtained image with reference to the product type DB and the brand DB, at least any one or more of the shape and brand of the object included in the image is recognized, and any one or more of the recognized product type and brand and the product of the product information DB Recognition unit for recognizing the product in comparison with the form and brands;
By transmitting the location information and the indicator in the image of each recognized product to the user terminal, the image including the indicator is displayed on the user terminal, and when the image is a video, the indicator receives the video played by the user terminal an indicator display unit for delaying for a time depending on the communication speed until the time is reached, and displaying the overlaid when the indicator is received, and flashing or illuminating the indicator to inform that the product is a recognized product;
a service event monitoring unit for monitoring that a service event is generated by a touch of the indicator; and
When a service event occurs, a product information providing unit that provides product information corresponding to the touched product to the user terminal,
The recognition unit,
After detecting the shape of the object included in the image by analyzing the obtained image, detection product type information is generated, and the product type information is compared with the generated detection product type information and the corresponding product type information of the product type DB. a shape recognition unit for recognizing
Analyzes the acquired image to detect a brand including any one or more of text and figure of an object included in the image to generate detected brand information, and compares the generated detected brand information with brand information of the brand DB a brand recognition unit for recognizing the brand of the product; and
A product recognition unit for recognizing a product corresponding to any one or more of the product type information and the brand information with reference to the product information DB,
The product information providing unit,
As product information corresponding to the recognized product, service menu information providing two or more menus providing different services for the product is provided to the user terminal,
The control unit is
When the user terminal selects one of the menus of the service menu information, further comprising a service providing unit for receiving selected menu information for the selected menu from the user terminal and providing a service corresponding to the selected menu information,
The storage unit,
Further comprising a product-related information DB that stores any one or more of product-related information registered in the product information DB, site information on one or more sites that provide product-related information, and product-related app information,
The service provider,
a product related information providing unit that finds product related information related to the recognized product from the product related information DB and provides it to a user terminal;
a product related site link unit for loading the recognized product related site information related to the product from the product related information DB and controlling the user terminal to access the loaded site; and
and a product-related app linker that loads the recognized product-related product-related app information and activates a product-related app corresponding to the loaded product-related app information in the user terminal,
When the controller recognizes the brand of the product, it provides product information including information about the brand, and when recognizing the non-genuine product, provides product information including information about the non-genuine product, and when recognizing the shape of the product, such as food Product information providing system by real-time product recognition in video using artificial intelligence, characterized in that it provides linkage with product-related product-related apps and provides installation files for product-related applications.
 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 상품관련사이트는,
인식된 상기 상품을 판매하는 상품 공급 업체 사이트 및 상기 상품 및 유사 상품들에 대한 가격정보를 제공하는 가격비교 사이트 중 어느 하나인 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
According to claim 1,
The product-related website is
Product information provided by real-time product recognition in an image using artificial intelligence, characterized in that it is any one of a product supplier site that sells the recognized product and a price comparison site that provides price information on the product and similar products system.
 제1항에 있어서,
상기 상품관련앱은,
사용자 단말기의 카메라를 구동하여 획득되는 영상에 상기 상품에 대한 광고의 배우를 합성하여 사진을 찍을 수 있도록 하는 앱인 것을 특징으로 하는 인공지능을 이용한 영상 내 실시간 상품 인식에 의한 상품정보 제공 시스템.
According to claim 1,
The product-related apps are
Product information providing system by real-time product recognition in an image using artificial intelligence, characterized in that it is an app that allows you to take a picture by synthesizing the actor of the advertisement for the product with the image obtained by driving the camera of the user terminal.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190018690A 2019-02-18 2019-02-18 System and method for providing product information by real-time product recognition in image using artificial intelligence KR102265000B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190018690A KR102265000B1 (en) 2019-02-18 2019-02-18 System and method for providing product information by real-time product recognition in image using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190018690A KR102265000B1 (en) 2019-02-18 2019-02-18 System and method for providing product information by real-time product recognition in image using artificial intelligence

Publications (2)

Publication Number Publication Date
KR20200103195A KR20200103195A (en) 2020-09-02
KR102265000B1 true KR102265000B1 (en) 2021-06-14

Family

ID=72449991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190018690A KR102265000B1 (en) 2019-02-18 2019-02-18 System and method for providing product information by real-time product recognition in image using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102265000B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490501B1 (en) * 2022-04-25 2023-01-20 임현수 Disabled rehabilitation support system and operation method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827849B1 (en) * 2007-08-08 2008-06-10 (주)올라웍스 Method and apparatus for retrieving information on goods attached to human body in image-data
KR101841522B1 (en) * 2016-11-07 2018-03-23 오드컨셉 주식회사 Method, apparatus and computer program for providing shopping informations

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055985B1 (en) * 2010-01-12 2011-08-11 인크로스 주식회사 Information provision method and information service method using a terminal equipped with a camera
KR20130107053A (en) * 2012-03-21 2013-10-01 (주)리드앤 System and method of corporate pr application with celebrities
KR101639657B1 (en) 2014-11-26 2016-07-18 주식회사 카카오 Method and server for searching similar goods
KR20150044861A (en) * 2015-03-05 2015-04-27 한양대학교 에리카산학협력단 Smart display
KR20180106731A (en) * 2017-03-21 2018-10-01 엘지전자 주식회사 Mobile terminal having artificial intelligence agent
KR101871925B1 (en) * 2018-04-30 2018-07-02 오드컨셉 주식회사 Method, apparatus and computer program for providing search information from video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827849B1 (en) * 2007-08-08 2008-06-10 (주)올라웍스 Method and apparatus for retrieving information on goods attached to human body in image-data
KR101841522B1 (en) * 2016-11-07 2018-03-23 오드컨셉 주식회사 Method, apparatus and computer program for providing shopping informations

Also Published As

Publication number Publication date
KR20200103195A (en) 2020-09-02

Similar Documents

Publication Publication Date Title
US11166078B2 (en) System and method to identify an item depicted when media content is displayed
US11317159B2 (en) Machine-based object recognition of video content
EP3221817B1 (en) Screenshot based indication of supplemental information
CN106598998B (en) Information acquisition method and information acquisition device
US20210326956A1 (en) Method, device, and computer program for providing image search information
US20110107263A1 (en) System and Method for Using a Digital Inventory of Clothing
US9043831B2 (en) Advertisement delivering system based on digital television system and mobile communication device
US10255243B2 (en) Data processing method and data processing system
US10824869B2 (en) Clickless identification and online posting
CN111507433A (en) Electronic price tag control method and system
KR20180048536A (en) Method, apparatus and computer program for providing search information from video
US20160350332A1 (en) Individualized on-demand image information acquisition
KR20170013369A (en) Method, apparatus and computer program for displaying serch information
US10896330B1 (en) Electronic device, interactive information display method and computer readable recording medium
US10809956B1 (en) Supplemental content items
CN104881407A (en) Information recommending system and information recommending method based on feature recognition
KR102265000B1 (en) System and method for providing product information by real-time product recognition in image using artificial intelligence
KR101690528B1 (en) Method, apparatus and computer program for displaying serch information
WO2015107424A1 (en) System and method for product placement
CN113298589A (en) Commodity information processing method and device, and information acquisition method and device
US11023944B2 (en) Mobile device for retrieving product information associated with scanned barcode data when the mobile device is connected to a network
CN115695844A (en) Display device, server and media asset content recommendation method
KR101664004B1 (en) Method for providing store impormation using smart display
US20230401632A1 (en) Methods and Systems for Initiating a Virtual Try-On Application Running on a Computer System and Providing Interactive Augmented Reality (AR) Graphics
US20210326375A1 (en) Method, device, and computer program for providing image search information

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant