KR20230016850A - Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 - Google Patents
Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 Download PDFInfo
- Publication number
- KR20230016850A KR20230016850A KR1020210098347A KR20210098347A KR20230016850A KR 20230016850 A KR20230016850 A KR 20230016850A KR 1020210098347 A KR1020210098347 A KR 1020210098347A KR 20210098347 A KR20210098347 A KR 20210098347A KR 20230016850 A KR20230016850 A KR 20230016850A
- Authority
- KR
- South Korea
- Prior art keywords
- product
- video content
- product information
- information
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013473 artificial intelligence Methods 0.000 title abstract description 77
- 238000003860 storage Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 description 490
- 230000000694 effects Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000006227 byproduct Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 동영상 내에 포함된 사물 또는 제품을 정확하고 신뢰성있게 추출 인식하여 선택된 사물에 대한 정보를 실시간 제공할 수 있음과 아울러, 새롭게 인식된 사물을 추적하고 매칭하며 검증하여 새로운 사물에 대한 정확한 정보를 실시간 구축할 수 있도록 하는, AI 기반의 영상콘텐츠 제품정보 서비스 방법 및 영상콘텐츠 제품정보 서비스 시스템에 관한 것이다. 본 발명에 따르면, AI 모델을 통해 동영상콘텐츠 화면의 제품을 인식하는 제품 인식 단계; 상기 제품 인식 단계에서 인식된 제품 이미지와 제품정보 데이터베이스부에 등록되어 있는 실제 제품 이미지를 비교하고, 실제 제품의 정보를 매칭시키도록 이루어지는 제품 매칭 단계; 동영상콘텐츠에서 선택되고 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 표시하는 제품정보 제공 단계; 및 상기 제품 인식 단계에서 인식된 제품 이미지에 대하여 상기 제품 매칭 단계에서 매칭되는 제품이 존재하지 않는 미등록 제품인 경우, 상기 미등록 제품에 대하여 메타데이터화하여 메터데이터 저장부에 저장하는 제품 메타데이터화 단;를 포함하는 것을 특징으로 하는 동영상콘텐츠 제품정보 서비스 방법이 제공된다.
Description
본 발명은 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템에 관한 것으로, 더욱 상세하게는 동영상 내에 포함된 사물 또는 제품을 정확하고 신뢰성있게 추출 인식하여 선택된 사물에 대한 정보를 실시간 제공할 수 있음과 아울러, 새롭게 인식된 사물을 추적하고 매칭하며 검증하여 새로운 사물에 대한 정확한 정보를 실시간 구축할 수 있도록 하는, AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템에 관한 것이다.
최근 정보통신기술의 발달로 말미암아 원거리 데이터통신망을 매개하여 다양한 분야에 대한 정보를 적어도 하나이상의 호스트서버를 통하여 다수의 가입자측으로 실시간 제공하는 정보제공기술의 개발이 활발하게 진행중이며, 이를 기반으로 최근에는 다양한 전자통신 기술이 개발되고 있다.
그중 하나는 T 커머스 시스템이다. V-커머스란 비디오(Video)와 커머스(Commerce)의 합성어로 모바일 동영상을 마케팅에 활용하는 새로운 전자상거래의 유형으로 알려졌다.
일상생활에서 사람들의 모바일 활용이 증가하면서 모바일 디바이스를 이용한 영상 콘텐츠 소비도 급부상하고 있다. 연예인뿐만 아니라 여러 크리에이터와 유튜버들이 영상 콘텐츠를 만들어 배포하면, 수많은 사용자들이 그런 영상들을 모바일 디바이스를 통해 즐긴다. 새로운 문화가 보급되면 거기에 커머스가 생긴다. 판매와 유통 목적으로 비디오를 "재미있게" 제작해서 배포하고, 사용자들도 "재미있게" 보면서 구매까지 발생하는 V-커머스가 탄생하는 것이다.
커머스 전문가들은 이런 V-커머스는 기존 텔레비전 방송을 기반으로 한 T-커머스보다 콘텐츠 제작이 쉽고 방송법규 적용이 적어서 문턱이 낮으며 기존 방송국의 한계를 극복할수 있다고 평가한다.
그러나 V-커머스의 성공전략이 단지 인기 크리에이터를 섭외하고, 사용자의 취향에 맞는 상품을 기획해서 흥미와 반응을 유발하는, TV 관점에서 보면 결국 시청율을 높여서 잘 팔릴 상품을 판매한다는 기존 패러다임에서 벗어나지 못하고 있다. 여전히 제작된 영상을 일방적으로 보여주며, 사용자는 마찬가지로 일방적으로 영상을 보는 존재에 그친다. 따라서 사용자는 상품 판매라는 필연적인 기획의 대상으로 <취향>과 <선택>이 이미 결정되어 있는 것이다.
결국 T-커머스처럼 사용자는 자신의 디바이스에서 비디오를 보며 최종적으로 해당 비디오의 토픽이 되는 상품을 구매할 것이다. 상품이 마음에 들지 않는다면 구매하지 않으면 된다. V-커머스에서도 <좋아요>를 누른다거나 <공유>를 한다는 정도의 네트워크에서 행해지는 반응 외에는 사용자가 할 수 있는 역할이 없었다. 단지 TV가 아닌 모바일 디바이스라는 점에서 차이가 있을 뿐이었다.
특히, 현재 이뤄지는 V-커머스 중 쇼핑플랫폼에 영상을 링크하는 케이스는 상품 구매에 정보를 전달하기에는 효과적이나, 데이터 로딩의 문제가 있어 쇼핑 페이지 자체의 접근성을 떨어뜨리는 약점을 가지고 있다.
한편, 최근 정보통신기술의 발달로 말미암아 원거리 데이터통신망을 매개하여 다양한 분야에 대한 정보를 적어도 하나 이상의 호스트서버를 통하여 다수의 가입자측으로 실시간 제공하는 정보제공기술의 개발이 활발하게 진행중이다.
한편, 방송 매체와 달리, 멀티미디어 콘텐츠 서비스는 인터넷 등의 통신망을 이용하여 멀티미디어 콘텐츠 제공자로부터 제공되는 멀티미디어 콘텐츠들 중 이용자가 원하는 멀티미디어 콘텐츠를 다운로드 받아 저장한 다음 그 멀티미디어 콘텐츠 재생 프로그램(윈도우즈 미디어 플레이어, 폭스 플레이어, 곰 플레이어 등)에 의하여 재생하여 멀티미디어 서비스를 제공받는 방법과, 상기 멀티미디어 콘텐츠 제공자로부터 제공되는 멀티미디어 콘텐츠들 중 클라이언트가 원하는 멀티미디어 콘텐츠를 선택하여 실시간으로 재생하여 멀티미디어 서비스를 제공받는 방법 등이 있다.
이러한 멀티미디어 콘텐츠 제공자는 이용자에게 멀티미디어 콘텐츠를 제공하는 대가로 이용자에게 해당 멀티미디어 제공에 상응하는 과금을 하기도 하지만, 광고를 통하여 수익을 창출하기도 한다.
종래에는 멀티미디어 콘텐츠 제공자의 광고 방법에 있어서 클라이언트 측에서 멀티미디어 콘텐츠를 재생하는 프로그램의 상단이나 하단 등에 배너 광고를 신설하여 광고하기도 하고, 멀티미디어 콘텐츠의 재생 초기와 재생 후단에 광고를 삽입하여 광고를 하여 왔으나, 이에 대한 광고 효과가 미미하고 광고주로서도 만족하지 못하고 있는 실정이었다.
최근 인터넷 이용자의 CRM(Customer Relationship Management) 정보를 이용하여 광고를 실시간으로 삽입하여 노출시키는 멀티미디어 콘텐츠를 이용한 실시간 동영상 광고방법 및 시스템 기술도 소개되고 있지만, 이러한 기술은 광고주의 의사와는 관계없이 개별의 인터넷 이용자 중심으로 되는 것이므로 상기 광고가 광고주가 의도하는 바와 같은 광고 효과를 누릴 수 없고, 또한 계속 적으로 멀티미디어 콘텐츠 관리서버에서 광고 영상을 관리하여야 하는 것이므로 상기 서버의 부담이 증가하는 문제점이 있으며, 해당 멀티미디어 콘텐츠에서 재생되는 특정 재생 화면에서 나타난 상품(예: 의상, 소품, 장소, 식품, 가구 등) 등에 상응하는 광고를 클라이언트에게 제공할 수 없어 광고 효과가 떨어지는 문제점이 있었다.
예를 들면, 유튜브 등 영상 플랫폼을 활용한 케이스는 광고를 시청하거나 동영상콘텐츠를 시청하고, 별도의 상품 안내 및 구매페이지로 이동해 제품에 대한 검토와 구입을 해야 하는 방식으로 진행됨에 따라, 제품 인지에서 구입까지 하나로 이어지는 통합 플랫폼으로서의 기능을 수행할 수 없기에 실질적으로 커머스 플랫폼으로 기능하기에는 무리가 있는 실정이다.
상기한 바와 같이 종래 V-커머스는 홈쇼핑 전문 방송, 방송사의 PPL, 개인 인플루언서들의 협찬 콘텐츠를 중심으로 이뤄져왔다. 그러나 V-커머스 시장의 확대와 동시에 시청자의 피로도도 증대되고 있는 상황이며, 결과적으로 많은 영상 콘텐츠가 상품 홍보성 콘텐츠로 변질됨에 따라 상품 구매가 아닌 오락을 목적으로 미디어를 감상하는 시청자의 경우, 원치 않는 광고 노출에 대한 불편과 거부감이 상당부분 발생하고 있다.
또한, 동영상콘텐츠 제작 시 콘텐츠의 흐름과 맞지 않게 제품 노출을 위해 삽입되는 화면구성 및 멘트들로 인해, 동영상콘텐츠의 질적 저하 및 구성의 묘가 저하되는 상황이 필연적으로 나타날 수밖에 없는 상황이다.
현재 V-커머스에 대한 공급과 수요가 점점 성장해가고, V-커머스 환경에 익숙하고 구매력이 지속적으로 향상되고 있는 디지털 네이티브 세대의 경우, 웹드라마와 유튜브 속 제품과 브랜드에 대한 호감도와 구매 빈도가 매우 높게 나타나고 있으며, 이에 따라 단순 영상 콘텐츠를 감상하는 것을 넘어 영상 내 등장하는 제품을 보다 효과적으로 서비스할 수 있는 V-커머스에 대한 연구와 기술 개발이 필요한 실정이다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 시청 영상을 방해하지 않아 동영상콘텐츠의 질적 효과를 유지하면서 영상 내에 포함된 사물이나 제품을 신뢰성 있게 추출하고 인식하여 선택된 사물이나 제품에 대한 정확한 정보를 실시간 제공할 수 있는 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 새롭게 인식된 사물이나 제품을 판단하여 새로운 사물이나 제품에 대한 정확한 정보를 실시간 구축할 수 있도록 하여 정보의 확장성을 확보할 수 있는 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템을 제공하는데 다른 목적이 있다.
또한, 본 발명은 지능형 객체 추적 모델(AI 모델)을 통해 동영상 내의 사물이나 제품의 인식성을 높여 의류, 식품, 가구 등과 같이 상대적으로 큰 대상뿐만 아니라 액세서리 등과 같이 상대적으로 작은 소품에 대한 정보도 정확히 제공할 수 있는 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템을 제공하는데 또 다른 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠에 포함되는 제품 정보를 제품정보 데이터베이스부에 구축하고, 동영상콘텐츠에서 선택된 제품에 대한 정보를 서비스하기 위한 영상콘텐츠 제품정보 서비스 방법으로서, AI 모델을 통해 동영상콘텐츠 화면의 제품을 인식하는 제품 인식 단계; 상기 제품 인식 단계에서 인식된 제품 이미지와 제품정보 데이터베이스부에 등록되어 있는 실제 제품 이미지를 비교하고, 실제 제품의 정보를 매칭시키도록 이루어지는 제품 매칭 단계; 동영상콘텐츠에서 선택된 제품에 대하여 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 표시하는 제품정보 제공 단계; 및 상기 제품 인식 단계에서 인식된 제품 이미지에 대하여 상기 제품 매칭 단계에서 매칭되는 제품이 존재하지 않는 미등록 제품인 경우, 상기 미등록 제품에 대하여 메타데이터화하여 메터데이터 저장부에 저장하는 제품 메타데이터화 단계;를 포함하는 것을 특징으로 하는 동영상콘텐츠 제품정보 서비스 방법이 제공된다.
본 발명의 일 관점에 있어서, 상기 제품 인식 단계는 동영상콘텐츠 화면의 제품을 욜로 모델(Yolo model)을 이용하여 화면 상의 제품을 탐지 학습하여 제품 이미지를 추출하고, 생성적 적대 신경망(GAN)을 이용하여 추출된 제품 이미지를 생성하고 인식하는 것으로 이루어지며, 상기 제품 매칭 단계는 판정 AI 모델을 이용하여 실제 제품 이미지와 인식된 제품 이미지가 판정되도록 하고, 인식된 이미지가 실제 제품 이미지로 판정된 경우, 제품 정보를 매칭하도록 이루어질 수 있다.
본 발명의 일 관점에 있어서, 상기 제품정보 제공 단계는 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 화면 일측에 디스플레이 하며, 상기 제품 메타데이터화 단계는 제품별로 메타데이터화 하여 저장하도록 이루어질 수 있다.
본 발명의 다른 관점에 따르면, 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠의 화면에서 선택된 제품에 대한 정보를 서비스하기 위한 영상콘텐츠 제품정보 서비스 시스템으로서, 동영상콘텐츠를 실행하는 시청자 단말장치; 및 상기 시청자 단말장치와 쌍방향 통신가능하고, 동영상콘텐츠 화면에서 선택된 제품에 대한 정보를 서비스하도록 구성되는 영상콘텐츠 제품정보 서비스 서버;를 포함하며, 상기 영상콘텐츠 제품정보 서비스 서버는, 동영상콘텐츠에서 플레이되는 화면의 제품이 등록 저장되어 있는 제품정보 데이터베이스부; 동영상콘텐츠 화면의 제품을 추출하여 제품 이미지를 생성하도록 구성되는 AI기반 제품 인식부; 상기 AI기반 제품 인식부에서 생성된 제품 이미지와 상기 제품정보 데이터베이스부에 등록되어 있는 제품을 비교하고, 제품 정보를 매칭하도록 이루어지는 AI기반 제품 매칭부; 동영상콘텐츠의 화면에서 제품선택 입력명령을 수신하는 선택제품 수신부; 상기 선택제품 수신부에서 수신된 선택 제품에 대하여 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 동영상콘텐츠의 화면 일측에 표시하도록 이루어지는 제품정보 제공부; 상기 AI기반 제품 인식부에서 인식된 제품에 대하여 상기 AI기반 제품 매칭부에서 매칭되는 제품이 존재하지 않는 미등록 제품인 경우, 상기 미등록 제품에 대하여 메타데이터화 하는 제품 메타데이터 생성부; 및 상기 제품 메타데이터 생성부에서 생성된 신규 인식 제품을 저장하는 메터데이터 저장부;를 포함하는 것을 특징으로 하는 동영상콘텐츠 제품정보 서비스 시스템이 제공된다.
본 발명의 다른 관점에 있어서, 상기 AI기반 제품 인식부는 욜로 모델(Yolo model)을 이용하여 동영상콘텐츠 화면의 제품을 탐지 학습하여 제품 이미지를 추출하고, 생성적 적대 신경망(GAN)을 이용하여 추출된 제품 이미지를 생성하고 인식하는 것으로 이루어지며, 상기 AI기반 제품 매칭부는 판정 AI 모델을 이용하여 실제 제품 이미지와 인식된 제품 이미지가 판정되도록 하고, 인식된 이미지가 실제 제품 이미지로 판정된 경우, 제품 정보를 매칭하도록 이루어질 수 있다.
본 발명의 다른 관점에 있어서, 상기 제품 메타데이터 생성부는 제품별로 메타데이터화 하여 저장하도록 이루어질 수 있다.
본 발명의 다른 관점에 있어서, 상기 영상콘텐츠 제품정보 서비스 서버는, 상기 제품정보 데이터베이스부에 등록된 하나 이상의 제품을 불러들여 원하는 시간 단위로 디스플레이 되도록 설정하며, 지정된 시간대에서만 제공되도록 시작 시간과 끝시간이 지정되도록 이루어지는 제공정보 편집부를 더 포함할 수 있다.
본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템에 의하면 다음과 같은 효과를 제공한다.
첫째, 본 발명은 시청 영상을 방해하지 않아 동영상콘텐츠의 질적 효과를 유지하면서 영상 내에 포함된 사물이나 제품을 신뢰성 있게 추출하고 인식하여 선택된 사물이나 제품에 대한 정확한 정보를 실시간 제공할 수 있으며, 이에 따라 시청자인 소비자의 만족도와 구매 욕구를 증대시키고, 판매자에게는 판매 증대를 도모할 수 있는 효과가 있다.
둘째, 본 발명은 새롭게 인식된 사물이나 제품에 대한 정보를 메타데이터로 하여 실시간 구축할 수 있어 정보의 확장성을 확보할 수 있는 효과가 있다.
셋째, 본 발명은 새롭게 인식된 사물의 매칭과 검증을 통해 새로운 사물이나 제품에 대한 정보의 정확성과 신뢰도를 확보할 수 있는 효과가 있다.
넷째, 본 발명은 GAN(Generative Adversarial Network)을 통한 지능형 객체 자동 생성 기술을 통해 효율적이고 고속으로 이미지를 자동 생성하고, 이미지 데이터 수집에 필요한 시간과 인력 등 소모비용을 대폭 절감할 수 있는 효과가 있다.
다섯째, 본 발명은 동영상 내의 사물이나 제품의 인식성을 높여 의류, 식품, 가구 등과 같이 상대적으로 큰 대상뿐만 아니라 액세서리 등과 같이 상대적으로 작은 소품에 대한 정보도 정확히 제공할 수 있으며, 이에 따라 시청자(소비자)의 선택폭을 확장할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법을 나타내는 플로차트이다.
도 2는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에 포함되는 단계들에서 동영상콘텐츠 내의 제품을 추출하여 인식하고, 시청자(소비자)가 제품을 선택하는 예시 화면을 나타내는 도면이다.
도 3은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에서 시청자(소비자)가 선택한 제품의 제품 정보를 디스플레이 하는 예시 화면을 나타내는 도면이다.
도 4는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템을 도식화하여 나타내는 도면이다.
도 5는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템에 포함하는 제품정보 서비스 서버의 구성을 블록화하여 나타내는 도면이다.
도 2는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에 포함되는 단계들에서 동영상콘텐츠 내의 제품을 추출하여 인식하고, 시청자(소비자)가 제품을 선택하는 예시 화면을 나타내는 도면이다.
도 3은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에서 시청자(소비자)가 선택한 제품의 제품 정보를 디스플레이 하는 예시 화면을 나타내는 도면이다.
도 4는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템을 도식화하여 나타내는 도면이다.
도 5는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템에 포함하는 제품정보 서비스 서버의 구성을 블록화하여 나타내는 도면이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시 예에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템에 대하여 첨부 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법을 나타내는 플로차트이고, 도 2는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에 포함되는 단계들에서 동영상콘텐츠 내의 제품을 추출하여 인식하고, 시청자(소비자)가 제품을 선택하는 예시 화면을 나타내는 도면이며, 도 3은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법에서 시청자(소비자)가 선택한 제품의 제품 정보를 디스플레이 하는 예시 화면을 나타내는 도면이다.
본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법은, 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠에 포함되는 사물 또는 제품의 정보(이하, '제품 정보'라고 함)가 구축되고, 시청자(소비자)가 선택한 사물 또는 제품(이하, "제품"으로 통칭함)에 대한 정보를 서비스하기 위한 동영상콘텐츠 제품정보 서비스 방법으로서, 도 1 내지 도 3에 나타낸 바와 같이, 크게 제품 인식 단계(S100); 제품 매칭 단계(S200); 제품정보 제공 단계(S300); 및 제품 메타데이터화 단계(S400);를 포함하고, 이에 더하여 신규제품정보 피드백 단계(S500)를 더 포함할 수 있다.
구체적으로, 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법은, 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠에 포함되는 사물 또는 제품의 정보(이하, '제품 정보'라고 함)를 구축하고, 선택된 사물 또는 제품(이하, "제품"으로 통칭함)에 대한 정보를 서비스하기 위한 동영상콘텐츠 제품정보 서비스 방법으로서, 도 1 내지 도 3에 나타낸 바와 같이, 제품정보 서비스 서버의 AI기반 제품 인식부를 통해 동영상콘텐츠에서 플레이되는 화면의 제품(들)을 추출하여 제품 이미지를 생성하도록 이루어지는 제품 인식 단계(S100); 제품정보 서비스 서버의 AI기반 제품 매칭부를 통하여, 상기 제품 인식 단계(S100)에서 생성된 제품(제품 이미지)에 대하여 제품정보 서비스 서버의 제품정보 데이터베이스부에 등록되어 있는 제품(실제 제품)과 비교하고, 해당 제품의 정보를 매칭시키도록 이루어지는 제품 매칭 단계(S200); 상기 제품 인식 단계(S100)에서 추출되고 인식된 제품에 대하여 시청자(소비자)의 선택 입력 명령이 전달되는 제품 선택 단계(S310) 시, 제품정보 서비스 서버의 선택제품 수신부를 통해 수신되고, 상기 제품 매칭 단계(S200)에서 매칭된 제품의 제품 정보를 제공받아 제품정보 서비스 서버의 제품정보 제공부를 통하여 동영상콘텐츠의 화면 일측에 제품정보 콘텐츠를 표시하도록 이루어지는 제품정보 제공 단계(S300); 및 상기 제품 인식 단계(S100)에서 인식된 제품에 대하여 상기 제품 매칭 단계(S200)에서 매칭되는 제품이 존재하지 않는 경우, 제품정보 서비스 서버의 메타데이터 생성부를 통해 상기 제품 인식 단계(S100)에서 생성된 제품(제품 이미지)에 대하여 제품별로 메타데이터화하여 메터데이터 저장부에 저장하는 제품 메타데이터화 단계(S400);를 포함한다.
또한, 본 발명의 AI 기반의 동영상콘텐츠 제품정보 서비스 방법은 상기 제품 메타데이터화 단계(S400)에서 메타데이터 저장부에 저장된 제품 각각에 대하여 업데이트한 제품 정보를, 판매처 또는 제조사의 단말장치로 자동 전송(예를 들면, 메일 등)하고, 판매처 또는 제조사로부터의 피드백 정보를 수신받아 상기 제품정보 서비스 서버의 제품정보 데이터베이스부에 등록하는 신규제품정보 피드백 단계(S500);를 더 포함할 수 있다.
상기 제품 인식 단계(S100)와 제품 매칭 단계(SF200) 제품정보 제공 단계(S300) 및/또는 제품 메타데이터화 단계(S400)는 딥러닝의 AI기반으로 실행될 수 있다.
이하 상기한 각 단계들에 대하여 보다 구체적으로 설명한다.
상기 제품 인식 단계(S100)는 제품정보 서비스 서버의 제품 인식부를 통해 동영상콘텐츠에서 플레이되는 화면의 제품(들)을 추출하여 인식하도록 이루어진다.
구체적으로, 상기 제품 인식 단계(S100)는 딥러닝(deep learning)을 통하여 탐지 학습하여 동영상콘텐츠에서 플레이되는 화면 내의 제품 이미지를 추출하고, 추출된 제품 이미지를 생성하여 인식하는 것으로 이루어질 수 있다.
본 발명에서 상기 제품 인식 단계(S100)는 YOLO 모델을 통해 탐지 학습하여 동영상콘텐츠에서 플레이되는 화면 내의 제품 이미지를 추출하고, 기능형 객체 추적 모델, 바람직하게는 생성적 적대 신경망(GAN: Generative Adversarial Network)을 통해 제품 이미지를 생성하도록 이루어진다. 상기 제품정보 서버의 제품 인식부는 YOLO 모델 및 GAN 모델을 포함한다.
여기에서, 본 발명의 제품 인식 단계(S100)는 생성적 적대 신경망(GAN: Generative Adversarial Network)만을 통해 제품 이미지를 분류하고(분류 모델), 제품 이미지를 생성하는(생성 모델) 것으로 이루어질 수 있으며, 이때 상기 제품정보 서버의 제품 인식부는 GAN 모델만을 포함하여 구성될 수 있다.
본 발명은 제품 인식 단계(S100)에서 GAN 모델을 채용함으로써 이미지 생성에 필요한 연산량과 이미지 생성에 필요한 메모리를 상대적으로 현저히 감소시킬 수 있게 된다.
다음으로, 상기 제품 매칭 단계(S200)는 상기 제품 인식 단계(S100)에서 인식된 제품에 대하여 제품정보 서비스 서버의 제품정보 데이터베이스부에 등록되어 있는 제품과 비교하고, 해당 제품의 정보를 매칭시키도록 이루어진다.
구체적으로, 상기 제품 매칭 단계(S200)는 판정 AI를 통해 제품정보 데이터베이스부에 등록되어 있는 실제 이미지와 제품 이미지를 분별하여 상기 제품 인식 단계(S100)에서 인식된 제품이 실제 이미지의 제품인지 여부를 판정하며, 제품 선택 단계(S310)에서 소정 제품의 선택 시 해당 실제 이미지의 제품 정보가 제공될 수 있도록 한다.
상기 제품 매칭 단계(S200)는 예를 들면 오토엔코더 모델(autoencoder model)이나 유넷 모델(U-net)의 머신러닝을 통해 이루어질 수 있다.
계속해서, 상기 제품정보 제공 단계(S300)는 동영상콘텐츠에서 플레이되고 있는 화면 내의 제품에 대하여 시청자(소비자)의 선택 입력 명령이 발생하는 제품 선택 단계(S310) 시(예를 들면, 사용자 리모컨이나 마우스 커서 등으로 제품 선택 입력 명령이 발생하거나, 도 3에 나타낸 바와 시청자(소비자)가 화면의 해당 제품을 터치한 상태에서 드래그 앤 드랍 방식으로 화면 일측으로 이동시킬 시), 시청자가 선택한 제품을 제품정보 서비스 서버의 선택제품 수신부를 통해 수신하고, 제품 인식 단계(S100)에서 해당 선택 제품으로 인식된 제품에 대하여 상기 제품 매칭 단계(S200)에서 매칭시킨 제품의 제품 정보를 제품정보 서비스 서버의 제품정보 제공부를 통해 동영상콘텐츠의 일측에 제품정보 콘텐츠를 표시하도록 이루어진다.
상기 제품정보 제공 단계(S300)는 도 3에 나타낸 예시 화면에서와 같이 선택한 제품의 실제 이미지와 함께 다양한 제품 정보의 콘텐츠를 디스플레이하며, 제품 정보의 콘텐츠는 터치 입력 방식 또는 커서 선택 방식 등으로 실행되어 제품의 색상 변경, 360°회전, 확대 등이 실행될 수 있게 제공된다.
또한, 상기 제품정보 제공 단계(S300)는 제품정보 서비스 서버의 소비자정보 데이터베이스부에 시청자(소비자)의 개인 정보(예를 들면, 키나 몸무게 등)가 미리 등록되어 있는 경우, 해당 정보에 상응하는 아바타를 디스플레이하는 아바타 실행 콘텐츠를 포함하며, 해당 아바타 실행 콘텐츠의 실행 시 그 아바타에 제품을 착용하거나 입을 수 있도록 하여 2D 화면에서 보다 다양한 제품 이미지가 연출되도록 할 수 있다.
다음으로, 상기 제품 메타데이터화 단계(S400)는 상기 제품 인식 단계(S100)에서 추출되고 인식된 제품에 대하여 상기 제품 매칭 단계(S200)에서 매칭되는 제품이 존재하지 않는 경우, 제품정보 서비스 서버의 메타데이터 생성부를 통해 상기 제품 인식 단계(S100)에서 인식된 제품에 대하여 제품별로 메타데이터화하여 메터데이터 저장부에 저장하도록 이루어진다.
구체적으로, 상기 제품 메타데이터화 단계(S400)는 상기 제품 인식 단계(S100)에서 추출되고 인식된 제품이 제품정보 데이터베이스부에 등록되어 있지 않은 제품인 경우, 해당 미등록 제품에 대하여 딥러닝 이미지 판별 모델을 통해 실제 제품 이미지를 판별 선택하고, 메타데이터 저장부에 등록 저장한다.
그리고 제품정보 서비스 서버의 관리자는 메타데이터 저장부에 등록된 미등록 제품에 대하여 최종 확인하게 된다.
상기 제품 메타데이터화 단계(S400)는 동영상콘텐츠의 화면에서 미등록된 제품에 대하여 작업자가 일일이 수작업으로 확인할 필요없이, AI기반으로 추출하고 등록된 메타데이터에 대하여 확인하게 된다.
이러한 제품 메타데이터화 단계(S400)를 통한 신규 제품의 업데이트는 다양한 소비자(시청자)의 욕구를 충족시킬 수 있을뿐만 아니라, 해당 제품을 판매하거나 제조하는 판매자 또는 제조사는 수익 창출을 도모할 수 있으며, 제품정보 서비스업자는 다양한 제품의 등록을 유도하고 많은 제품을 서비스할 수 있게 된다.
또한, 본 발명의 AI 기반의 동영상콘텐츠 제품정보 서비스 방법은, 상기 제품 메타데이터화 단계(S400)에서 메타데이터 저장부에 저장된 제품 각각에 대하여 업데이트한 제품 정보를, 판매처 또는 제조사의 단말장치로 자동 전송(예를 들면, 메일 등)하고, 판매처 또는 제조사로부터의 피드백 정보를 수신받아 상기 제품정보 서비스 서버의 제품정보 데이터베이스부에 등록하는 신규제품정보 피드백 단계(S500)를 더 포함할 수 있다.
본 발명은 신규제품정보 피드백 단계(S500)를 더 포함함으로써 불특정 다수의 시청자가 시청하는 동영상콘텐츠에서 보다 정확한 제품 정보를 제공할 수 있게 된다.
한편, 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템에 대하여 도 4 내지 도 7을 참조하여 상세히 설명한다.
도 4는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템을 도식화하여 나타내는 도면이고, 도 5는 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템에 포함하는 제품정보 서비스 서버의 구성을 블록화하여 나타내는 도면이다.
본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템은, 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠에 포함되는 사물 또는 제품의 정보(이하, '제품 정보'라고 함)를 구축하고, 선택된 사물 또는 제품(이하, "제품"으로 통칭함)에 대한 정보를 서비스하기 위한 동영상콘텐츠 제품정보 서비스 시스템으로서, 도 4 및 도 5에 나타낸 바와 같이, 크게 시청자 단말장치(100); 및 제품정보 데이터베이스부(210)와, AI기반 제품 인식부(220)와, AI기반 제품 매칭부(230)와, 선택제품 수신부(240)와, 제품정보 제공부(250)와, 제품 메타데이터 생성부(260), 및 메터데이터 저장부(270)를 포함하는 동영상콘텐츠 제품정보 서비스 서버(200);를 포함하며, 상기 동영상콘텐츠 제품정보 서비스 서버(200)는 신규제품정보 피드백부(280), 및/또는 제공정보 편집부(290)를 더 포함할 수 있다.
구체적으로, 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템은, 도 4 및 도 5에 나타낸 바와 같이, 시청자(소비자)가 동영상콘텐츠를 시청하는 시청자 단말장치(100); 및 상기 시청자 단말장치(100)와 쌍방향 통신가능하고, 시청자 단말장치(100)에서 실행되는 동영상콘텐츠에 포함되는 사물 또는 제품의 정보(이하, '제품 정보'라고 함)를 구축하고, 시청자에 의해 선택된 사물 또는 제품(이하, "제품"으로 통칭함)에 대한 정보를 서비스하도록 구성되는 영상 콘텐츠 제품정보 서비스 서버(200);를 포함하며, 상기 영상콘텐츠 제품정보 서비스 서버(200)는, 동영상콘텐츠에서 플레이되는 화면의 제품(들)이 등록 저장되어 있는 제품정보 데이터베이스부(210)와, 동영상콘텐츠에서 플레이되는 화면의 제품(들)을 추출하여 제품 이미지를 생성하도록 구성되는 AI기반 제품 인식부(220)와, 상기 AI기반 제품 인식부(220)에서 생성된 제품(제품 이미지)와 상기 제품정보 데이터베이스부(210)에 등록되어 있는 제품(실제 제품)을 비교하고, 해당 제품의 정보를 매칭시키도록 이루어지는 AI기반 제품 매칭부(230)와, 상기 제품 인식 단계(S100)에서 추출되고 생성된 제품에 대하여 상기 시청자 단말장치(100)에서 선택된 제품선택 입력명령을 수신하는 선택제품 수신부(240)와, 상기 선택제품 수신부(240)를 통해 수신된 선택 제품에 대하여 상기 제품 매칭 단계(S200)에서 매칭된 제품의 제품 정보를 포함하는 제품정보 콘텐츠를 동영상콘텐츠의 화면 일측에 표시하도록 이루어지는 제품정보 제공부(250)와, 상기 AI기반 제품 인식부(220)에서 인식된 제품에 대하여 상기 AI기반 제품 매칭부(230)에서 매칭되는 제품이 존재하지 않는 경우, 해당 신규 인식 제품(신규제품 이미지)에 대하여 제품별로 메타데이터화하도록 이루어지는 제품 메타데이터 생성부(260), 및 상기 메타데이터 생성부(260)에서 생성된 신규 인식 제품을 저장하는 메터데이터 저장부(270)를 포함한다.
또한, 본 발명의 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템은, 상기 제품 메타데이터화 생성부(260)에서 생성되어 메타데이터 저장부(270)에 저장된 신규 인식 제품 각각에 대하여 업데이트한 제품 정보를, 판매처 또는 제조사의 단말장치로 자동 전송(예를 들면, 메일 등)하고, 판매처 또는 제조사로부터의 피드백 정보를 수신받아 상기 제품정보 데이터베이스부(210)에 등록하는 신규제품정보 피드백부(280), 및/또는 AI인식 동작 단위 및 제품의 제공 정보를 편집하도록 이루어지는 제공정보 편집부(290)를 더 포함할 수 있다.
상기 시청자 단말장치(100)를 쌍방향 통신가능한 TV를 비롯하여 PC, 스마트폰 등 동영상콘텐츠를 플레이할 수 있는 장치를 포함한다.
다음으로, 상기 제품정보 서비스 서버(200)의 제품정보 데이터베이스부(210)는 동영상콘텐츠에서 플레이되는 화면의 제품(들)이 등록 저장되어 구성된다.
주지하는 바와 같이, 예를 들면 TV와 같은 동영상콘텐츠는 그 동영상콘텐츠를 구성하는 가구나 제품, 출연자가 입는 의류나 악세서리 등은 협찬을 받으며, 구체적인 제품 정보를 알 수 있으며, 이러한 제품 정보를 판매자나 제조사로부터 제공받아 제품정보 데이터베이스부(210)에 등록 저장하게 된다.
계속해서, 상기 AI기반 제품 인식부(220)는 딥러닝이나 머신러닝의 인공지능(AI)을 이용하여 동영상콘텐츠에서 플레이되는 화면의 제품(들)을 추출하여 인식하고, 인식된 제품 이미지를 생성하도록 이루어진다.
구체적으로, 상기 A1기반 제품 인식부(220)는 동영상콘텐츠에서 플레이되는 화면 내의 제품을 딥러닝으로 탐지 학습(detection learning)하여 제품 이미지를 추출하고, 추출된 제품 이미지를 다각도로 생성하도록 이루어진다.
본 발명에서 상기 AI기반 제품 인식부(220)는 YOLO 모델을 통해 탐지 학습하여 동영상콘텐츠에서 플레이되는 화면 내의 제품 이미지를 추출하고, 기능형 객체 추적 모델, 바람직하게는 생성적 적대 신경망(GAN: Generative Adversarial Network)을 통해 제품 이미지를 다각도로 생성하도록 이루어진다.
여기에서, 본 발명에서 AI기반 제품 인식부(220)는 생성적 적대 신경망(GAN)만을 통해 제품 이미지를 분류하고(분류 모델), 제품 이미지를 생성하는(생성 모델) 것으로 이루어질 수 있다.
본 발명은 AI기반 제품 인식부(220)가 GAN 모델을 채용함으로써 이미지 생성에 필요한 연산량과 이미지 생성에 필요한 메모리를 상대적으로 현저히 감소시킬 수 있게 된다.
계속해서, 상기 AI기반 제품 매칭부(230)는 상기 AI기반 제품 인식부(220)에서 생성된 제품 이미지와 상기 제품정보 데이터베이스부(210)에 등록되어 있는 제품(실제 제품 이미지)을 비교하고, 해당 제품의 정보를 매칭시키도록 이루어진다.
구체적으로, 상기 AI기반 제품 매칭부(230)는 판정 AI를 통해 제품정보 데이터베이스부(210)에 등록되어 있는 실제 제품 이미지와 AI기반 제품 인식부(220)에서 인식된 제품 이미지를 분별하여 상기 화면 내의 제품이 실제 이미지의 제품인지 여부를 판정하며, 선택제품 수신부(240)에서 전달받은 해당 선택 제품에 대하여 제품 데이터베이스부(210)에 등록된 실제 이미지의 제품 정보가 제공될 수 있도록 한다.
상기 AI기반 제품 매칭부(230)는 예를 들면 오토엔코더 모델(autoencoder model)이나 유넷 모델(U-net)의 머신러닝을 통해 이루어질 수 있으며, 이 외에도 딥러닝 또는 머신 러닝을 통해 이미지를 비교 판정하여 해당 제품의 정보를 제공할 수 있는 AI 모델이라면 특별히 한정되는 것은 아니다.
다음으로, 상기 선택제품 수신부(240)는 상기 AI 제품 인식부(220)에서 추출되고 생성된 제품 이미지에 대하여 상기 시청자 단말장치(100)에서 선택된 제품선택 입력명령을 수신하도록 이루어진다.
즉, 상기 선택제품 수신부(240)는, 예를 들면 동영상콘텐츠에서 플레이되고 있는 화면 내의 제품에 대하여 사용자 리모컨이나 마우스 커서 등으로 소정 제품을 선택하거나, 화면의 해당 제품을 터치한 상태에서 드래그 앤 드랍 방식으로 화면 일측으로 이동시킬 시 시청자(소비자)의 선택 입력 명령을 수신한다.
그리고 상기 제품정보 제공부(250)는 해당 선택 제품에 대하여 상기 AI기반 제품 인식부(220)에서 인식되고, AI 제품 매칭부(230)에서 매칭시킨 제품 정보를 포함하는 제품정보 콘텐츠를 사용자가 시청하고 있는 영상 화면의 일측에 표시하도록 이루어진다.
상기 제품정보 제공부(250)는 도 3에 나타낸 예시 화면에서와 같이 선택한 제품의 실제 이미지와 함께 다양한 제품 정보의 콘텐츠를 디스플레이하며, 제품 정보 콘텐츠는 터치 입력 방식 또는 커서 선택 방식 등으로 실행되어 제품의 색상 변경, 360°회전, 확대 등이 실행될 수 있게 제공된다.
또한, 상기 제품정보 제공부(250)는, 제품정보 서비스 서버(200)에 포함되는 소비자정보 데이터베이스부(211)에 시청자(소비자)의 개인 정보(예를 들면, 키나 몸무게 등)가 미리 등록되어 있는 경우, 해당 정보에 상응하는 아바타를 디스플레이하는 아바타 실행 콘텐츠를 포함하며, 해당 아바타 실행 콘텐츠의 실행 시 그 아바타에 제품을 착용하거나 입을 수 있도록 하여 2D 화면에서 보다 다양한 제품 이미지가 연출되도록 할 수 있다.
상기 제품 메타데이터 생성부(260)는 상기 AI기반 제품 인식부(220)에서 인식된 제품에 대하여 상기 AI기반 제품 매칭부(230)에서 매칭되는 제품이 존재하지 않는 경우, 해당 신규 인식 제품(신규제품 이미지)에 대하여 제품별로 메타데이터화하도록 이루어진다.
구체적으로, 상기 제품 메타데이터화 생성부(260)는 상기 AI기반 제품 인식 부(220)에서 추출되고 인식된 제품이 제품정보 데이터베이스부(210)에 등록되어 있지 않은 제품인 경우, 해당 미등록 제품에 대하여 딥러닝 이미지 판별 모델을 통해 실제 제품 이미지를 판별 선택하고, 메타데이터 저장부(270)에 등록 저장한다.
그리고 제품정보 서비스 서버(200)의 관리자는 메타데이터 저장부(270)에 등록된 미등록 제품에 대하여 확인하여 찾은 정보를 업데이트하게 된다.
상기 제품 메타데이터화 생성부(260)는 동영상콘텐츠의 화면에서 미등록된 제품에 대하여 작업자가 일일이 수작업으로 확인할 필요없이, AI기반으로 추출하고 메타데이터화 하게 된다.
이러한 제품 메타데이터화 생성부(260)를 통한 신규 제품 등록은 다양한 소비자(시청자)의 욕구를 충족시킬 수 있을뿐만 아니라, 해당 제품을 판매하는 판매자나 제조하는 제조사는 수익 창출을 도모할 수 있으며, 제품정보 서비스업자는 다양한 제품의 등록을 유도하고 많은 제품을 서비스할 수 있게 된다.
또한, 본 발명의 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템은, 상기 제품 메타데이터화 생성부(260)에서 메타데이터 저장부(270)에 저장된 제품 각각에 대하여 업데이트한 제품 정보를, 판매처 또는 제조사의 단말장치로 자동 전송(예를 들면, 메일 등)하고, 판매처 또는 제조사로부터의 피드백 정보를 수신받아 상기 제품정보 서비스 서버의 제품정보 데이터베이스부에 등록하는 신규제품정보 피드백부(280)를 더 포함할 수 있다.
본 발명은 신규제품정보 피드백부(280)를 더 포함함으로써 불특정 다수의 시청자가 시청하는 동영상콘텐츠에서 보다 정확한 제품 정보를 제공할 수 있게 된다.
또한, 본 발명의 AI 기반의 동영상콘텐츠 제품정보 서비스 시스템에서 제품정보 서비스 서버(200)는, AI인식 동작 단위 및 제품의 제공 정보를 편집하도록 이루어지는 제공정보 편집부(290)를 더 포함할 수 있다.
상기 제공정보 편집부(290)는 제품정보 데이터베이스부(210)에 등록된 하나 이상의 제품을 불러들여 원하는 시간 단위(예를 들면, 프레임, 초, 분)로 보이도록 변경 설정하며, 지정된 시간대만 제공하도록 시작 시간과 끝시간을 지정하도록 이루어질 수 있다.
이러한 제공정보 편집부(290)는 편집 화면에 편집할 수 있는 다양한 사용자 UI를 포함한다.
상기한 설명에서, 방법을 구현하기 위한 수단이나 단계 및/또는 과정은, 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상에서 설명한 바와 같은 본 발명에 따른 AI 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템에 의하면, 시청 영상을 방해하지 않아 동영상콘텐츠의 질적 효과를 유지하면서 영상 내에 포함된 사물이나 제품을 신뢰성 있게 추출하고 인식하여 선택된 사물이나 제품에 대한 정확한 정보를 실시간 제공할 수 있어 시청자임과 동시에 소비자의 구매 욕구와 만족도를 증대시키고, 판매자에게는 판매 증대를 도모할 수 있고, GAN(Generative Adversarial Network)을 통한 지능형 객체 자동 생성 기술을 통해 효율적이고 고속으로 이미지를 자동 생성하여 이미지 데이터 수집에 필요한 시간과 인력 등 소모비용을 대폭 절감할 수 있는 이점이 있다.
또한, 본 발명에 의하면, 동영상 내의 사물이나 제품의 인식성을 높여 의류, 식품, 가구 등과 같이 상대적으로 큰 대상뿐만 아니라 액세서리 등과 같이 상대적으로 작은 소품에 대한 정보도 정확히 제공할 수 있어 시청자(소비자)의 선택폭을 더욱 확장할 수 있고, 새롭게 인식된 사물이나 제품에 대한 정보를 메타데이터화 하여 실시간 구축할 수 있어 정보의 확장성을 확보할 수 있으며, 새롭게 인식된 사물의 매칭과 검증을 통해 새로운 사물이나 제품에 대한 정보의 정확성과 신뢰도를 확보할 수 있는 이점이 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S100: 제품 인식 단계
S200: 제품 매칭 단계
S300: 제품정보 제공 단계
S400: 제품 메타데이터화 단계
S500: 신규제품정보 피드백 단계
100: 시청자 단말장치
200: 제품정보 데이터베이스부
211: 사용자정보 데이터베이스부
220: AI기반 제품 인식부
230: AI기반 제품 매칭부
240: 선택제품 수신부
250: 제품정보 제공부
260: 제품 메타데이터 생성부
270: 메터데이터 저장부
280: 신규제품정보 피드백부
290: 제공정보 편집부
S200: 제품 매칭 단계
S300: 제품정보 제공 단계
S400: 제품 메타데이터화 단계
S500: 신규제품정보 피드백 단계
100: 시청자 단말장치
200: 제품정보 데이터베이스부
211: 사용자정보 데이터베이스부
220: AI기반 제품 인식부
230: AI기반 제품 매칭부
240: 선택제품 수신부
250: 제품정보 제공부
260: 제품 메타데이터 생성부
270: 메터데이터 저장부
280: 신규제품정보 피드백부
290: 제공정보 편집부
Claims (7)
- 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠에 포함되는 제품 정보를 제품정보 데이터베이스부에 구축하고, 동영상콘텐츠에서 선택된 제품에 대한 정보를 서비스하기 위한 영상콘텐츠 제품정보 서비스 방법으로서,
AI 모델을 통해 동영상콘텐츠 화면의 제품을 인식하는 제품 인식 단계;
상기 제품 인식 단계에서 인식된 제품 이미지와 제품정보 데이터베이스부에 등록되어 있는 실제 제품 이미지를 비교하고, 실제 제품의 정보를 매칭시키도록 이루어지는 제품 매칭 단계;
동영상콘텐츠에서 선택된 제품에 대하여 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 표시하는 제품정보 제공 단계; 및
상기 제품 인식 단계에서 인식된 제품 이미지에 대하여 상기 제품 매칭 단계에서 매칭되는 제품이 존재하지 않는 미등록 제품인 경우, 상기 미등록 제품에 대하여 메타데이터화하여 메터데이터 저장부에 저장하는 제품 메타데이터화 단계;를 포함하는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 방법.
- 제1항에 있어서,
상기 제품 인식 단계는 동영상콘텐츠 화면의 제품을 욜로 모델(Yolo model)을 이용하여 화면 상의 제품을 탐지 학습하여 제품 이미지를 추출하고, 생성적 적대 신경망(GAN)을 이용하여 추출된 제품 이미지를 생성하고 인식하는 것으로 이루어지며,
상기 제품 매칭 단계는 판정 AI 모델을 이용하여 실제 제품 이미지와 인식된 제품 이미지가 판정되도록 하고, 인식된 이미지가 실제 제품 이미지로 판정된 경우, 제품 정보를 매칭하도록 하는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 방법.
- 제2항에 있어서,
상기 제품정보 제공 단계는 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 화면 일측에 디스플레이 하며,
상기 제품 메타데이터화 단계는 제품별로 메타데이터화 하여 저장하도록 이루어지는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 방법.
- 쌍방향 통신가능한 통신망(two-way transmission)을 통해 실행되는 동영상콘텐츠의 화면에서 선택된 제품에 대한 정보를 서비스하기 위한 영상콘텐츠 제품정보 서비스 시스템으로서,
동영상콘텐츠를 실행하는 시청자 단말장치; 및
상기 시청자 단말장치와 쌍방향 통신가능하고, 동영상콘텐츠 화면에서 선택된 제품에 대한 정보를 서비스하도록 구성되는 영상콘텐츠 제품정보 서비스 서버;를 포함하며,
상기 영상콘텐츠 제품정보 서비스 서버는,
동영상콘텐츠에서 플레이되는 화면의 제품이 등록 저장되어 있는 제품정보 데이터베이스부;
동영상콘텐츠 화면의 제품을 추출하여 제품 이미지를 생성하도록 구성되는 AI기반 제품 인식부;
상기 AI기반 제품 인식부에서 생성된 제품 이미지와 상기 제품정보 데이터베이스부에 등록되어 있는 제품을 비교하고, 제품 정보를 매칭하도록 이루어지는 AI기반 제품 매칭부;
동영상콘텐츠의 화면에서 제품선택 입력명령을 수신하는 선택제품 수신부;
상기 선택제품 수신부에서 수신된 선택 제품에 대하여 상기 제품 매칭 단계에서 매칭된 제품 정보를 포함하는 제품정보 콘텐츠를 동영상콘텐츠의 화면 일측에 표시하도록 이루어지는 제품정보 제공부;
상기 AI기반 제품 인식부에서 인식된 제품에 대하여 상기 AI기반 제품 매칭부에서 매칭되는 제품이 존재하지 않는 미등록 제품인 경우, 상기 미등록 제품에 대하여 메타데이터화 하는 제품 메타데이터 생성부; 및
상기 제품 메타데이터 생성부에서 생성된 신규 인식 제품을 저장하는 메터데이터 저장부;를 포함하는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 시스템.
- 제4항에 있어서,
상기 AI기반 제품 인식부는 욜로 모델(Yolo model)을 이용하여 동영상콘텐츠 화면의 제품을 탐지 학습하여 제품 이미지를 추출하고, 생성적 적대 신경망(GAN)을 이용하여 추출된 제품 이미지를 생성하고 인식하는 것으로 이루어지며,
상기 AI기반 제품 매칭부는 판정 AI 모델을 이용하여 실제 제품 이미지와 인식된 제품 이미지가 판정되도록 하고, 인식된 이미지가 실제 제품 이미지로 판정된 경우, 제품 정보를 매칭하도록 하는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 시스템.
- 제4항에 있어서,
상기 제품 메타데이터 생성부는 제품별로 메타데이터화 하여 저장하도록 이루어지는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 시스템. - 제4항에 있어서,
상기 영상콘텐츠 제품정보 서비스 서버는,
상기 제품정보 데이터베이스부에 등록된 하나 이상의 제품을 불러들여 원하는 시간 단위로 디스플레이 되도록 설정하며, 지정된 시간대에서만 제공되도록 시작 시간과 끝시간이 지정되도록 이루어지는 제공정보 편집부를 더 포함하는 것을 특징으로 하는
동영상콘텐츠 제품정보 서비스 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098347A KR20230016850A (ko) | 2021-07-27 | 2021-07-27 | Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098347A KR20230016850A (ko) | 2021-07-27 | 2021-07-27 | Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230016850A true KR20230016850A (ko) | 2023-02-03 |
Family
ID=85225963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210098347A KR20230016850A (ko) | 2021-07-27 | 2021-07-27 | Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230016850A (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000698A (ko) | 2007-03-22 | 2009-01-08 | 주식회사 작은거인 | 멀티미디어 콘텐츠를 이용한 광고 방법 및 그 시스템 |
| KR20100116412A (ko) | 2009-04-22 | 2010-11-01 | 삼성전자주식회사 | 동영상 장면 기반 광고정보 제공장치 및 방법 |
| KR101708691B1 (ko) | 2010-05-26 | 2017-02-21 | 엘지전자 주식회사 | 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법 |
| KR101840869B1 (ko) | 2015-07-01 | 2018-03-21 | 남기원 | 방송화면 연동 커머스 장치 및 시스템과 그 방법 |
| KR102242931B1 (ko) | 2018-11-28 | 2021-04-20 | 케이티하이텔 주식회사 | 비디오 커머스에서 행해지는 인터랙티브 쇼핑 방법 |
-
2021
- 2021-07-27 KR KR1020210098347A patent/KR20230016850A/ko not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000698A (ko) | 2007-03-22 | 2009-01-08 | 주식회사 작은거인 | 멀티미디어 콘텐츠를 이용한 광고 방법 및 그 시스템 |
| KR20100116412A (ko) | 2009-04-22 | 2010-11-01 | 삼성전자주식회사 | 동영상 장면 기반 광고정보 제공장치 및 방법 |
| KR101708691B1 (ko) | 2010-05-26 | 2017-02-21 | 엘지전자 주식회사 | 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법 |
| KR101840869B1 (ko) | 2015-07-01 | 2018-03-21 | 남기원 | 방송화면 연동 커머스 장치 및 시스템과 그 방법 |
| KR102242931B1 (ko) | 2018-11-28 | 2021-04-20 | 케이티하이텔 주식회사 | 비디오 커머스에서 행해지는 인터랙티브 쇼핑 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11902614B2 (en) | Interactive video distribution system and video player utilizing a client server architecture | |
| US11330323B2 (en) | Interactive video overlay | |
| US9899063B2 (en) | System and methods for providing user generated video reviews | |
| US8635169B2 (en) | System and methods for providing user generated video reviews | |
| US20170286999A1 (en) | Personal device-enabled lifestyle, commerce and exchange tracking system | |
| US20140244488A1 (en) | Apparatus and method for processing a multimedia commerce service | |
| US20130283307A1 (en) | System and methods for providing user generated video reviews | |
| US20040122746A1 (en) | Method and system for direct purchase in response to a multi-media display | |
| KR20210029284A (ko) | 2차 연결 장치에의 콘텐츠의 푸싱 | |
| CN108141563A (zh) | 所连接媒体装置上的数字覆盖报价 | |
| KR20200066361A (ko) | 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법 | |
| WO2019183061A1 (en) | Object identification in social media post | |
| CN115066906A (zh) | 用于基于用户提供的标准进行推荐的方法和系统 | |
| KR101181732B1 (ko) | 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템 | |
| KR100786951B1 (ko) | 동영상을 이용한 인터랙티브 홈 쇼핑 시스템 및 그 방법 | |
| KR20230016850A (ko) | Ai 기반의 동영상콘텐츠 제품정보 서비스 방법 및 동영상콘텐츠 제품정보 서비스 시스템 | |
| US10805666B2 (en) | Systems and methods for providing an enhanced shopping experience including executable transactions and content delivery | |
| CN112288514A (zh) | 物品定制方法、物品定制系统、存储介质、电子设备 | |
| Pourmohammadi Roodasri | Web-based digital signage design and implementation for food and beverage industry | |
| US12034999B2 (en) | Interactive video overlay | |
| KR102557545B1 (ko) | 증강 현실 기반의 구매 물품 리뷰 서비스 제공 방법 및 이에 사용되는 관리 서버 | |
| KR102377736B1 (ko) | 빅데이터 기반의 소비자 참여형 온라인 쇼핑 서비스 제공 방법 및 장치 | |
| US20230401634A1 (en) | Product card ecommerce purchase within short-form videos | |
| KR20210029647A (ko) | 소셜 미디어 플랫폼의 인플루언서 콘텐츠를 기준으로 소비되는 제3의 광고 유통 플랫폼 | |
| KR20230050656A (ko) | 적응형 아이템 소비 플랫폼, 그 시스템 및 운영 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |