KR20190075177A - 컨텍스트 기반 증강 광고 - Google Patents

컨텍스트 기반 증강 광고 Download PDF

Info

Publication number
KR20190075177A
KR20190075177A KR1020197017882A KR20197017882A KR20190075177A KR 20190075177 A KR20190075177 A KR 20190075177A KR 1020197017882 A KR1020197017882 A KR 1020197017882A KR 20197017882 A KR20197017882 A KR 20197017882A KR 20190075177 A KR20190075177 A KR 20190075177A
Authority
KR
South Korea
Prior art keywords
content
product
frames
scene
product placement
Prior art date
Application number
KR1020197017882A
Other languages
English (en)
Other versions
KR102319423B1 (ko
Inventor
수라브 라빈드란
유영준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190075177A publication Critical patent/KR20190075177A/ko
Application granted granted Critical
Publication of KR102319423B1 publication Critical patent/KR102319423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0252—Targeted advertisements based on events or environment, e.g. weather or festivals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)

Abstract

일 실시예는, 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하도록 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계; 상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계; 및 상기 제품에 대한 제품 배치로 상기 하나의 콘텐츠를 증강하는 단계를 포함하는, 방법을 제공한다. 상기 제품 배치는 상기 하나의 콘텐츠에서 자연스럽게 등장하는 것으로 보인다.

Description

컨텍스트 기반 증강 광고
일 이상의 실시예들은 일반적으로 제품 배치 및 광고에 관한 것이다.
일 이상의 실시예들은 일반적으로 제품 배치 및 광고에 관한 것이며, 구체적으로, 컨텍스트 기반 증강 광고 시스템 및 방법에 관한 것이다.
제품(예를 들면, 상품(goods), 서비스)의 판매 및 브랜드 가치를 향상시키기 위해, 제품의 광고자 또는 제품의 생산자는 콘텐츠 제작자에 의해 생산/제작되는 콘텐츠에 제품에 관한 광고를 포함하도록 콘텐츠 제작자에게 대가를 지불할 수 있다.
일 실시예는: 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하도록 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계; 상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계; 및 상기 제품에 대한 제품 배치로 상기 콘텐츠를 증강하는 단계를 포함하는 방법을 제공한다. 상기 제품 배치는 상기 콘텐츠에서 자연스럽게 등장하는(occur) 것으로 보인다.
다른 실시예는: 전자 사이니지(electronic signage)와 연관된 컨텍스트 정보를 수집하는 단계; 상기 컨텍스트 정보에 기반하여 상기 전자 사이니지 상에 광고할 제품을 결정하는 단계; 및 상기 제품에 대한 제품 배치 콘텐츠로 상기 전자 사이니지의 디스플레이를 업데이트하는 단계를 포함하는 방법을 제공한다.
하나 이상의 실시예들의 이러한 및 다른 특징들, 양태들, 및 이점들은 하기의 설명, 첨부된 청구범위 및 첨부 도면을 참조하면 이해될 것이다.
도 1은, 일 이상의 실시예들에 있어서, 컨텍스트 기반 광고로 콘텐츠를 증강하는 예시적 시스템을 도시한다.
도 2는, 일 이상의 실시예들에 있어서, 예시적 컨텍스트 추출 시스템을 상세히 도시한다.
도 3은, 일 이상의 실시예들에 있어서, 예시적 자연 증강 시스템을 상세히 도시한다.
도 4A는 하나의 콘텐츠의 예시적 프레임(frame)을 도시한다.
도 4B는, 일 이상의 실시예들에 있어서, 하나의 콘텐츠의 예시적인 증강된 프레임을 도시한다.
도 5는, 일 이상의 실시예들에 있어서, 컨텍스트 기반 광고로 콘텐츠를 증강하는 예시적 프로세스의 순서도이다.
도 6은, 개시된 실시예들을 구현하는데 유용한 컴퓨터 시스템을 포함하는 정보 처리 시스템을 도시하는, 예시적 상위 레벨(high-level) 블록도이다.
이하의 설명은 하나 이상의 실시예들의 일반적 원리를 설명하기 위한 목적으로 이루어지며 본 명세서에서 청구되는 발명의 기술적 사상을 제한하고자 하는 것이 아니다. 또한, 본 명세서에서 설명되는 특정한 특징들은 다양한 가능한 조합들 및 순열들 각각에서 설명되는 다른 특징들과 조합하여 이용될 수 있다. 본 명세서에서 구체적으로 달리 정의하지 않는 한, 모든 용어들은 본 발명이 속하는 기술분야의 숙련된 자에 의해 이해되고 및/또는 사전, 조약 등에서 정의된 바와 같은 의미 뿐만 아니라 본 명세서로부터 암시되는 의미를 포함하여 가능한 한 가장 넓게 해석되어야 한다.
일 실시예는: 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하도록 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계; 상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계; 및 상기 제품에 대한 제품 배치로 상기 콘텐츠를 증강하는 단계를 포함하는 방법을 제공한다. 상기 제품 배치는 상기 콘텐츠에서 자연스럽게 등장하는 것으로 보인다.
다른 실시예는: 전자 사이니지와 연관된 컨텍스트 정보를 수집하는 단계; 상기 컨텍스트 정보에 기반하여 상기 전자 사이니지 상에 광고할 제품을 결정하는 단계; 및 상기 제품에 대한 제품 배치 콘텐츠로 상기 전자 사이니지의 디스플레이를 업데이트하는 단계를 포함하는 방법을 제공한다.
설명을 위해, 본 명세서에서 사용되는 "제품(product)"이라는 용어는 일반적으로, 예를 들면, 상품(예를 들면, 객체(object) 또는 아이템) 또는 서비스(예를 들면, 행위(action))를 의미한다. 제품의 예에는 청량음료(soft drink), 자동차, 스마트폰, 셀룰러 서비스, 또는 패스트푸드 레스토랑이 포함되나, 이에 제한되지 않는다.
설명을 위해, 본 명세서에서 사용되는 "미디어 콘텐츠(media content)" 라는 용어는 일반적으로, 예를 들면, 이미지, 비디오, 비디오 게임, 디지털 사진, 영화, 텔레비전 쇼, 또는 표시 장치(예를 들면, 텔레비전, 모니터, 태블릿, 또는 전자 사이니지)에 표시 가능한 기타 어떠한 유형의 시각적 콘텐츠와 같은, 시각적 콘텐츠를 의미한다. 미디어 콘텐츠는 콘텐츠 제작자(예를 들면, 사용자 또는 미디어 콘텐츠 제공자)에 의해 생산/제작되어, 배포용 콘텐츠 서버 상에서 호스팅되거나(예를 들면, 영화 또는 텔레비전 쇼) 또는 사용자에 의해 캡처되어 상기 사용자의 장치에 사적으로 유지될 수 있다(예를 들면, 개인용/사적 비디오 또는 사진). "미디어 콘텐츠" 및 "시각적 콘텐츠"라는 용어들은 상호 교환적으로 사용될 수 있다.
설명을 위해, "제품 배치(product placement)"라는 용어는 일반적으로, 예를 들면, 제품의 객체, 광고, 이미지, 비디오, 또는 3차원(three-dimensional: 3D) 구조 모델과 같은, 제품의 시각적 콘텐츠/시각적 표현을 의미한다. 제품 배치의 예에는 특정 청량음료 브랜드의 캔의 시각적 표현, 특정 청량음료 브랜드의 캔을 마시는 사람, 특정 브랜드의 음악 플레이어를 듣는 사람, 또는 특정 브랜드의 자동차가 포함되나, 이에 제한되지 않는다.
전통적으로, 제품에 관한 광고는 하나의 콘텐츠의 후처리(post-processing) 시 상기 콘첸츠에 포함/추가된다. 예를 들면, 상기 하나의 콘텐츠가 비디오를 포함하는 경우, 상기 광고는 상기 비디오의 일부 프레임들 사이에 삽입되거나 또는 상기 비디오 프레임들 상에 오버레이(overlay)로서 삽입될 수 있다. 그러나, 최근에, 많은 콘텐츠 소비자들은 콘텐츠에 포함된 광고를 제거 또는 변경하기 위해 전형적으로 광고(advertisement: ad) 차단 소프트웨어를 사용한다. 이와 같이, 콘텐츠 소비자들이 그러한 광고 차단 소프트웨어를 사용하여 대부분의 광고를 쉽게 차단할 수 있음에 따라, 광고의 실효성(effectiveness)이 감소되었다. 또한, 하나의 콘텐츠에 포함된 광고들은 상기 콘텐츠와는 거의 관계가 없거나 아무 관계가 없을 수 있어, 상기 광고들에 대한 사용자 관심 및 사용자 참여가 결여되는 결과를 초래한다.
종래의 기법들은 제품 배치에 대해 상향식 접근법을 이용한다. 예를 들면, 일부 종래 기법들은 주어진 제품으로 시작하여 종래의 비전 처리(vision processing) 방법들 또는 기계 학습을 이용하여 하나의 콘텐츠 내에 상기 제품에 대한 최상의 제품 배치 기회를 결정한다.
일 실시예는 제품 배치에 대해 하향식 접근법을 이용하는 프레임워크(framework)를 제공한다. 구체적으로, 상기 프레임워크는 주어진 하나의 콘텐츠로 시작하여 상기 하나의 콘텐츠에서 광고할 적절한 제품(즉, 상기 하나의 콘텐츠에서 광고하기에 적합한 제품)을 결정하기 위해 상기 하나의 콘텐츠를 분석한다. 일 실시예에서, 상기 프레임워크는, 장면 분류(classification) 및 주석(annotation)을 수행하여 장면(scene)의 상위 레벨 의미(high-level semantics)를 추출 위해, 상기 하나의 콘텐츠의 상기 장면에 하나 이상의 비전 기반 장면 모델링 기법들을 적용한다. 상기 프레임워크는 상기 추출된 의미에 기반하여 상기 장면에서 광고할 적절한 제품(즉, 상기 장면에 상당히 적합한 제품)을 자동적으로 결정한다. 예를 들면, 상기 하나의 콘텐츠가 스카이 다이빙 장면을 포함하는 비디오를 포함하는 경우, 상기 프레임워크는 특정 브랜드의 에너지 음료가 상기 장면에 상당히 적합하다고 자동으로 결정할 수 있다.
일 실시예에서, 상기 프레임워크는 하나 이상의 비전 기반 장면 모델링 기법들을 이용하여 하나의 콘텐츠의 하나 이상의 장면들에 대한 장면 프로파일을 생성한다. 사용자 제공 태그들(tags) 또는 센서들(예를 들면, 오디오 센서들 또는 GPS)을 통해 캡처된 센서 데이터에 기반하여, 보조 정보가 상기 장면 프로파일에 포함될 수 있다. 상기 장면 프로파일은 상기 장면들에 대한 하나 이상의 디스크립터들(descriptors)을 포함하며, 여기서 상기 디스크립터들은 상기 하나의 콘텐츠 및 그것의 컨텍스트의 의미(semantics)를 완전히 구현한다. 상기 디스크립터들 중 일부는 상기 장면들의 비전 기반 장면 모델링 및/또는 상기 하나의 콘텐츠에 포함된 오디오 데이터의 분석으로부터 도출될 수 있다. 상기 프레임워크는 상기 장면 프로파일에 포함된 상기 디스크립터들을 상기 장면들에서 광고할 적절한 제품에 매핑하여, 상기 광고되는 제품이 관련성이 있도록 보장하고 사용자 참여를 증가시킨다.
일 실시예에서, 상기 프레임워크는 제품 배치들 및/또는 광고들을 하나의 콘텐츠에 자연스럽게 배치한다(즉, 상기 제품 배치들 및/또는 광고들은 자연스럽게 등장하는 것으로 보인다). 예를 들면, 장면에서 광고할 적절한 제품을 결정하는 것에 응답하여, 상기 프레임워크는 장면 분할(scene segmentation)을 수행하여 상기 제품에 대한 제품 배치의 자연스러운 삽입을 위한 상기 장면에서의 위치를 식별하기 위해 비전 기법들을 적용하고, 상기 제품 배치로 상기 장면을 증강한다. 상기 제품 배치는 상기 장면에서 자연스럽게 등장하는 것으로 보여, 시청자(viewer)는 상기 제품 배치가 상기 장면에 부자연스럽다고 인식할 가능성이 별로 없다. 상기 제품 배치가 방해가 되지 않으므로, 상기 제품 배치는 전통적인 광고들에 비해 더 좋은 시청 경험(viewing experience)을 제공한다. 또한, 상기 삽입된 제품 배치는 상기 하나의 콘텐츠와 의미론적 관계를 가져, 콘텐츠 소비자들에 대한 그것의 어필(appeal)을 증가시키고 사용자 참여를 향상시킨다.
일 실시예에서, 상기 프레임워크는 하나의 콘텐츠의 제작 중에 이용되어 자연스러운 제품 배치로 상기 하나의 콘텐츠의 장면을 증강한다. 상기 프레임워크에 의해 생성된 제품 배치들이 하나의 콘텐츠의 제작 중에 상기 하나의 콘텐츠 내에 삽입됨에 따라, 상기 제품 배치들은 광고 차단 소프트웨어를 이용하여 제거될 수 없다.
일 실시예에서, 제품 배치들에 의한 하나의 콘텐츠의 증강은 장치 상에서 실시간으로 구현될 수 있다.
도 1은, 일 이상의 실시예들에 있어서, 컨텍스트 기반 광고로 콘텐츠를 증강하는 예시적 시스템(50)을 도시한다. 상기 시스템(50)은, 하나 이상의 프로세서들(110) 및 하나 이상의 저장 유닛들(120)과 같은 계산 리소스들을 포함하는, 전자 콘텐츠 제작 장치(100)를 포함한다. 하나 이상의 애플리케이션들은 상기 콘텐츠 제작 장치(100)의 상기 계산 리소스들을 이용하여 상기 콘텐츠 제작 장치(100) 상에서 실행/작동될 수 있다.
일 실시예에서, 상기 애플리케이션들은: (1) 콘텐츠(예를 들면, 비디오 또는 이미지와 같은 미디어 콘텐츠)를 캡처하는 콘텐츠 캡처 유닛(130); (2) 상기 콘텐츠를 분석하여 상응하는 컨텍스트 정보를 결정하고 상기 컨텍스트 정보에 기반하여 상기 콘텐츠에서 광고할 하나 이상의 제품들을 결정하는 컨텍스트 추출 시스템(200); 및 (3) 상기 하나 이상의 제품들과 연관된 하나 이상의 제품 배치 광고들로 상기 콘텐츠를 증강하는 자연 증강 시스템(300)을 포함하나, 이에 제한되지 않는다. 본 명세서에서 차후 상세히 설명하는 바와 같이, 상기 자연 증강 시스템(300)은 광고 목적의 콘텐츠에 하나 이상의 제품 배치들을 동적으로 삽입/배치하도록 구성되며, 상기에서 삽입되는 각각의 제품 배치는 상기 콘텐츠에서 자연스럽게 등장하는 것으로 보인다.
사용자(예를 들면, 콘텐츠 제작자(30))는 상기 콘텐츠 제작 장치(100)를 사용할 수 있다. 콘텐츠 제작 장치(100)의 예에는 모바일 장치들(예를 들면, 스마트폰, 카메라, 또는 태블릿), 웨어러블 장치들(예를 들면, 스마트 워치, VR 고글 또는 헤드셋과 같은 증강 현실(augmented reality: AR) 또는 가상 현실(virtual reality: VR) 장치), 또는 서버 장치들이 포함되나, 이에 제한되지 않는다.
일 실시예에서, 상기 콘텐츠 제작 장치(100)는, 키보드, 키패드, 터치 인터페이스, 또는 디스플레이 화면과 같이, 상기 콘텐츠 제작 장치(100)에 통합되거나 결합되는, 하나 이상의 입출력(input/output: I/O) 유닛들(140)을 포함한다.
일 실시예에서, 상기 콘텐츠 제작 장치(100)는, 카메라, 마이크, 또는 GPS와 같이, 상기 콘텐츠 제작 장치(100)에 통합되거나 결합되는, 하나 이상의 센서들(150)을 포함한다. 상기 하나 이상의 센서들(150)은 콘텐츠 및/또는 컨텍스트 데이터를 캡처하는 데 이용될 수 있다. 예를 들면, 상기 콘텐츠 캡처 유닛(130)은 콘텐츠를 캡처하기 위해 상기 콘텐츠 제작 장치(100)의 카메라를 이용할 수 있다. 다른 예로서, 상기 컨텍스트 추출 시스템(200)은 센서 기반 컨텍스트 정보를 캡처하기 위해, 오디오 데이터(예를 들면, 음성 녹음)용 마이크 또는 위치 데이터(예를 들면, 위치 좌표)용 GPS와 같은, 상기 콘텐츠 제작 장치(100)의 상기 하나 이상의 센서들(150)을 이용할 수 있다.
일 실시예에서, 상기 콘텐츠 제작 장치(100)는 연결(예를 들면, WiFi 연결 또는 셀룰러 데이터 연결과 같은 무선 연결, 유선 연결, 또는 이 두 가지의 조합)을 통해 하나 이상의 광고 서버들(500)과 데이터를 교환하도록 구성된다. 광고 서버(500)는 하나 이상의 제품들의 시각적 표현들(예를 들면, 광고들, 이미지들, 비디오들, 또는 3D 구조 모델들)을 포함하는 하나 이상의 광고 데이터베이스들을 유지한다. 본 명세서에서 차후 상세히 설명하는 바와 같이, 상기 자연 증강 시스템(300)은 상기 광고 서버(500)로부터 수신되는 시각적 표현으로 콘텐츠를 증강할 수 있다. 광고 서버(500)는 광고주(advertiser) 또는 광고 중개자(advertisement broker)에 의해 운용/관리될 수 있다.
일 실시예에서, 상기 콘텐츠 제작 장치(100)는 연결(예를 들면, WiFi 연결 또는 셀룰러 데이터 연결과 같은 무선 연결, 유선 연결, 또는 이 두 가지의 조합)을 통해 하나 이상의 콘텐츠 서버들(400)과 데이터를 교환하도록 구성된다. 본 명세서에서 차후 상세히 설명하는 바와 같이, 상기 자연 증강 시스템(300)은, 콘텐츠 소비 장치(450)와 같은 하나 이상의 다른 장치들로의 배포를 위한, 콘텐츠 서버(400)(예를 들면, 방송/스트리밍 플랫폼 또는 콘텐츠 호스팅 플랫폼)에 증강된 콘텐츠를 업로드/전송할 수 있다.
다른 사용자(예를 들면, 콘텐츠 소비자(40))는 상기 콘텐츠 소비 장치(450)를 사용할 수 있다. 콘텐츠 소비 장치(450)의 예에는 표시 장치들(예를 들면, 텔레비전), 모바일 장치들(예를 들면, 스마트폰 또는 태블릿), 또는 웨어러블 장치들(예를 들면, VR 고글 또는 헤드셋)이 포함되나, 이에 제한되지 않는다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및/또는 상기 자연 증강 시스템(300)은 오프라인으로(즉, 상기 콘텐츠 제작 장치(100) 상에서가 아닌 상태로) 훈련되는 하나 이상의 학습된 모델들(learned models)을 이용한다. 예를 들면, 상기 학습된 모델들은 원격 서버 상에서 훈련될 수 있다. 훈련 후, 상기 학습된 모델들은, 상기 컨텍스트 추출 시스템(200) 및/또는 상기 자연 증강 시스템(300)의 일부로서, 상기 콘텐츠 제작 장치(100)에 로딩/다운로드될 수 있다. 다른 실시예에서, 상기 학습된 모델들은 상기 콘텐츠 제작 장치(100) 자체에서 훈련된다.
도 2는, 일 이상의 실시예들에 있어서, 예시적 컨텍스트 추출 시스템(200)을 상세히 도시한다. 일 실시예에서, 상기 컨텍스트 추출 시스템(200)은 하나의 콘텐츠로부터 컨텍스트 정보를 추출하기 위해 상기 하나의 콘텐츠의 하나 이상의 프레임들을 분석하도록 구성되는 장면 모델링 시스템(210)을 포함한다. 상기 하나의 콘텐츠는 상기 콘텐츠 캡처 유닛(130)에 의해 이전에 캡처된 저장된 미디어 콘텐츠 또는 상기 콘텐츠 캡처 유닛(130)에 의해 실시간으로 캡처된 미디어 콘텐츠의 라이브 스트림(live stream)을 포함할 수 있다.
일 실시예에서, 상기 장면 모델링 시스템(210)은 상기 하나 이상의 프레임들에 하나 이상의 비전 기반 모델링 기법들을 적용하여, 상기 프레임들에 포함된 장면(550)에서 어떤 일이 일어나고 있는지(즉, 장면 이해)를 나타내는 상위 레벨 의미(semantics)를 추출한다. 구체적으로, 상기 장면 모델링 시스템(210)은 상기 장면(550)에 장면 분류 및 장면 주석의 조합을 적용하여 상기 상위 레벨 의미를 추출한다.
예를 들면, 상기 장면 모델링 시스템(210)은 장면 주석 유닛(scene annotation unit)(211)을 이용하여, 상기 장면(550)을 다수의 세그먼트들로 분할하고, 상기 다수의 세그먼트들로부터 하나 이상의 특징들(features)을 추출하며, 상기 추출된 하나 이상의 특징들에 기반하여 하나 이상의 디스크립터들(descriptors)로 상기 장면(550)에 등장하는 하나 이상의 개별 객체들 및/또는 영역들을 식별한다. 추출된 특징들의 예에는 상기 장면(550)에 등장하는 상이한 객체들 및/또는 영역들의 형태, 색, 질감(texture), 및 위치가 포함되나, 이에 제한되지 않는다. 예를 들면, 상기 장면(550)이 스카이 다이빙 이벤트를 포함하는 경우, 상기 하나 이상의 디스크립터들은 "비행기(plane)", "하늘", "낙하산", 또는 "사람"을 포함할 수 있으나, 이에 제한되지 않는다.
상기 장면 모델링 시스템(210)은 다음으로 장면 분류 유닛(212)을 이용하여 상기 식별된 하나 이상의 개별 객체들 및/또는 영역들을 조합하여 상기 장면(550)으로부터 보다 상위 레벨(higher-level)의 정보를 추출한다. 상기 추출된 보다 상위 레벨의 정보는 상기 장면(550)에 대한 보다 상위 레벨의 디스크립터를 포함한다. 예를 들면, 상기 식별된 하나 이상의 개별 객체들 및/또는 영역들이 스카이 다이빙 이벤트와 관련 있는 경우(예를 들면, "비행기", "하늘", "낙하산", 또는 "사람"), 상기 장면(550)에 대한 상기 보다 상위 레벨의 디스크립터는 "스카이 다이빙"일 수 있다. 일 실시예에서, 상기 장면 분류 유닛(212)은 학습된 분류자들(learned classifiers) 또는 규칙 기반 논리 추론(rule based logical reasoning)에 기반한다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200)은 상기 장면(550)과 연관된 보조 정보(560)로부터 센서 기반 컨텍스트 정보를 추출하도록 구성되는 보조 정보 추출 유닛(220)을 포함한다. 상기 보조 정보(560)는 컨텍스트의 다른 소스들에 의해 캡처된 데이터를 포함한다. 예를 들면, 상기 보조 정보는 사용자 제공 태그들(예를 들면, 상기 콘텐츠 제작 장치(100)의 입출력 유닛(140)을 통해 입력된 태그) 및/또는, 마이크에 의해 캡처된 오디오 데이터(예를 들면, 음성 녹음) 또는 GPS에 의해 캡처된 위치 데이터(예를 들면, 위치 좌표)와 같이, 상기 콘텐츠 제작 장치(100)의 하나 이상의 센서들(150)에 의해 캡처된 센서 데이터를 포함할 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200)은, 추출된 상기 상위 레벨 의미 및 상기 센서 기반 컨텍스트 정보에 기반하여 상기 장면(550)에 대한 장면 프로파일(570)을 생성하도록 구성되는, 장면 프로파일 생성기(230)를 포함한다. 상기 장면 프로파일(570)은 상기 장면(550) 및 그것의 컨텍스트의 의미(semantics)를 완전히 구체화하는 하나 이상의 디스크립터들을 포함한다. 예를 들면, 상기 하나의 콘텐츠가 비디오를 포함하고 상기 장면(550)이 어린이 축구 경기인 경우, 상기 장면(550)에 대한 장면 프로파일(570)은 "축구 경기", "공(ball)", "경기장(park)", 또는 "야외(outdoor)"와 같은 디스크립터들을 포함할 수 있다. 상기 비디오와 연관된 보조 정보가 응원하는 부모들의 소리를 캡처하는 오디오 데이터를 포함하는 경우, "부모 비디오(parent video)"와 같은 디스크립터가 상기 장면 프로파일(570)에 포함될 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200)은, 상기 생성된 장면 프로파일(570)에 기반하여 상기 장면(550)에서 광고할 적절한 제품을 결정하도록 구성되는, 매핑 유닛(240)을 포함한다. 구체적으로, 상기 매핑 유닛(240)은 상기 장면 프로파일(570)에 포함된 디스크립터들을 상기 장면(550)에 적절한/맞는 제품을 나타내는 브랜드 프로파일에 매핑한다. 상기 매핑 유닛(240)은 상기 하나의 콘텐츠에 삽입할 제품 배치/광고가 상기 콘텐츠와 관련 있음을 보장하기 위해 상기 장면 프로파일(570)과 브랜드 프로파일 간의 상관관계를 결정하여, 사용자 참여를 증가시킨다. 예를 들면, 상기 장면(550)이 어린이 축구 경기이고 "축구 경기", "공", "경기장", "야외", 및 "부모 비디오"와 같은 디스크립터들이 상기 장면 프로파일(570)에 포함되는 경우, 상기 매핑 유닛(240)은 상기 디스크립터들을, 어린이 축구에 관련 있고 부모들에게 어필하는, 적절한 제품에 매핑할 수 있다.
일 실시예에서, 장면 프로파일(570)과 브랜드 프로파일 간의 상관관계는 학습되거나 또는 규칙 기반일 수 있다. 상기 매핑 유닛(240)은 규칙 기반 기법들, 데이터 마이닝(data mining) 기법들, 클러스터링(clustering) 기법들(예를 들면, 계층적(hierarchical) 클러스터링), 또는 다른 방식의 기법들을 이용하여 상기 매핑을 구현할 수 있다. 예를 들면, 보다 상위 레벨의 디스크립터 "스카이 다이빙"과 특정 브랜드의 에너지 음료 간의 상관관계는 규칙으로서 학습 또는 강제될 수 있다.
일 실시예에서, 브랜드 프로파일들은 오프라인으로(예를 들면, 광고 서버(500) 상에서) 생성된 다음 상기 콘텐츠 제작 장치(100)로 배포/다운로드된다.
일 실시예에서, 상기 매핑 유닛(240)이 상기 장면(550)에서 광고할 적절한 제품을 결정한 후, 상기 컨텍스트 추출 시스템(200)은 상기 제품을 나타내는 컨텍스트 정보(575)를 광고 서버(500)에 전송하여 상기 광고 서버(500)로부터 상기 제품에 대한 제품 배치 콘텐츠(580)(도 3)를 요청한다. 예를 들면, 상기 컨텍스트 정보(575)는 상기 장면 프로파일(570)이 매핑되는 브랜드 프로파일(즉, 상기 브랜드 프로파일은 상기 장면(550)에 적합한/맞는 상기 제품을 나타낸다)을 포함할 수 있다. 일 실시예에서, 상기 컨텍스트 정보(575)는 상기 장면(550)에서 상기 제품에 대해 이용가능한 배치 기회의 유형을 식별하는 정보를 포함할 수 있다. 예를 들면, 상기 이용가능한 배치 기회의 유형은 장면 전환들 동안 상기 제품의 관점(perspective)의 변화를 설명하기 위해 상기 제품의 3D 이미지를 필요로 할 수 있다. 다른 예로서, 상기 이용가능한 배치 기회의 유형은 단지 상기 제품의 2D 이미지만을 필요로 할 수 있다(예를 들면, 상기 장면(550)은 벽에 배치되는 상기 제품의 포스터로 증강된다).
일 실시예에서, 상기 제품 배치 콘텐츠(580)는, 상기 제품의 객체, 광고, 이미지, 비디오, 또는 3D 구조 모델과 같은, 상기 제품의 시각적 콘텐츠/시간적 표현을 포함한다.
도 3은, 일 이상의 실시예들에 있어서, 예시적 자연 증강 시스템(natural augmentation system)(300)을 상세히 도시한다. 일 실시예에서, 상기 자연 증강 시스템(300)은: (1) 광고 서버(500)로부터 제품에 대한 제품 배치 콘텐츠(580)를 수신하고; (2) 하나의 콘텐츠(a piece of content)의 하나 이상의 프레임들에 등장하는 장면(550)에 상기 제품 배치 콘텐츠(580)를 삽입 및 병합(즉, 임베딩(embedding))함으로써 제품 배치로 상기 하나의 콘텐츠를 증강하도록 구성되어, 상기 제품 배치가 결과적으로 증강된 하나의 콘텐츠(595)에서 자연스럽게 등장하는 것으로 보이도록 한다. 상기 결과적으로 증강된 하나의 콘텐츠(595)는 콘텐츠 서버(400)에 배포/업로드될 수 있다.
상기 하나의 콘텐츠는 상기 콘텐츠 캡처 유닛(130)에 의해 이전에 캡처된 저장된 미디어 콘텐츠 또는 상기 콘텐츠 캡처 유닛(130)에 의해 실시간으로 캡처된 미디어 콘텐츠의 라이브 스트림을 포함할 수 있다.
일 실시예에서, 상기 자연 증강 시스템(300)은, 등록(registration), 추적(tracking), 및 렌더링(rendering) 중 적어도 하나를 적용함으로써, 제품 배치로 자연스럽게 상기 하나의 콘텐츠를 증강한다. 등록은, 장면에 삽입/임베딩된 제품 배치를 상기 장면에서 원래 등장하는 하나 이상의 다른 객체들("현실 세계 객체들")과 매끄럽게(seamlessly) 정렬하기 위해, 상기 장면으로부터 구조, 깊이, 및 포즈(pose) 정보를 추출하는 프로세스이다. 추적은, 장면에 삽입/임베딩된 제품 배치가 상기 장면과 일치하는 방식으로 렌더링되도록 보장하기 위해, 한 장면(예를 들면, 현재 장면)에서 다른 장면(예를 들면, 후속 장면)으로의 방향(orientation) 및 관점(perspective)의 변화를 추적하는 프로세스이다. 렌더링은, 제품 배치가 장면에서 자연스럽게 등장하는 것처럼 보이고 상기 장면에서 상기 제품 배치와 하나 이상의 현실 세계 객체들 간의 어떤 시각적 상호작용이든지 매끄럽게 되도록, 구조, 깊이, 및 포즈 정보에 기반하여 상기 장면에 상기 제품 배치를 삽입/임베딩할 때 상기 제품 배치의 크기 조정(resizing) 및 방향 지정(orienting)을 수행하는 프로세스이다.
일 실시예에서, 상기 자연 증강 시스템(300)은 등록을 적용하기 위한 등록 시스템(310)을 포함한다. 상기 등록 시스템(310)은 상기 장면(550)으로부터 구조, 깊이, 및 포즈 정보를 추출하여 렌더링이 용이하게 되도록 한다. 상기 구조, 깊이, 및 포즈 정보는 상기 장면(550)에서 하나 이상의 현실 세계 객체들의 존재, 위치, 및 회전을 나타낼 수 있다. 상기 구조, 깊이, 및 포즈 정보는 상기 제품 배치 콘텐츠(580)를 삽입하기 위한 상기 장면(550)에서의 위치를 결정하는 데 이용될 수 있다.
일 실시예에서, 추출된 상기 구조(structural), 깊이, 및 포즈 정보는 구조 큐들(cues) 및 깊이 큐들을 포함한다. 구조 큐들은, 학습된 에지 검출기들(311) 및/또는 다른 유형의 학습된 객체 검출기 모델들과 같은, 하나 이상의 학습된 모델들을 이용하여 추출될 수 있다. 하나 이상의 단안(monocular) 깊이 큐들은 폐색(occlusion)(예를 들면, 전경(foreground)의 객체는 배경(background)의 다른 객체를 차단할 수 있다), 객체들의 상대적 크기(예를 들면, 더 멀리 있는 객체들은 더 작아 보인다), 또는 객체들의 선예도(sharpness)(예를 들면, 전경에 더 가까운 객체들은 더 자세하게 보이는 경향이 있다)에 기반할 수 있다.
일 실시예에서, 상기 자연 증강 시스템(300)은 추적을 적용하기 위한 추적 시스템(320)을 포함한다. 상기 자연 증강 시스템(300)은, 상기 하나의 콘텐츠가 비디오를 포함하는 경우, 추적을 적용한다. 장면들을 추적하는 능력은 상기 자연 증강 시스템(300)이 제품 배치의 뷰(view)가 한 장면에서 다른 장면으로 실시간으로 어떻게 변해야 할지를 예측할 수 있도록 한다. 장면들을 추적하는 능력은 또한 상기 자연 증강 시스템(300)이 모션 적응(motion adaption)을 구현할 수 있도록 한다.
예를 들면, 상기 장면(550)에 제품 배치를 삽입할 때, 상기 제품 배치의 모션은 상기 장면(550)에서의 다른 모션들과 일치하여 움직일 수 있다. 상기 장면(550)이 차후에 이동되는 테이블 객체를 포함한다고 가정하자. 상기 추적 시스템(320)은 상기 테이블 객체의 움직임을 추적한다. 특정 청량음료 브랜드를 나타내는 캔 객체가 제품 배치로서 상기 테이블 객체 상에 렌더링되는 경우, 상기 테이블 객체에 대한 상기 캔 객체의 시각적 관계는 상기 테이블 객체의 추적된 움직임에 기반하여 일치되도록 유지될 수 있다.
다른 예로서, 상기 장면(550)이 움직이는 자동차를 포함한다고 가정하자. 빌보드(billboard) 객체가 제품 배치로서 상기 장면(550)의 배경에 렌더링되는 경우, 상기 빌보드 객체는, 상기 움직이는 자동차가 상기 빌보드 객체로부터 멀어짐에 따라, 점차 작아져서 결국 사라질 수 있다.
일 실시예에서, 상기 추적 시스템(320)은 추적에 대한 광학 플로우(optical flow)를 구현하는 광학 플로우 유닛(321)을 이용한다. 다른 실시예에서, 상기 추적 시스템(320)은 추적에 대한 다른 프로세스(예를 들면, 특징(feature) 기반 추적)를 구현하는 다른 유닛을 이용한다.
일 실시예에서, 상기 자연 증강 시스템(300)은 렌더링을 적용하기 위한 렌더링 유닛(330)을 포함한다. 상기 렌더링 유닛(330)은 상기 장면(550)으로부터 추출된 구조, 깊이, 및 포즈 정보에 기반하여 상기 장면(550)에 제품 배치를 렌더링한다. 상기 렌더링 유닛(330)은, 상기 장면(550)에서 하나 이상의 현실 세계 객체들을 기준으로 상기 제품 배치를 스케일링 업/다운(scaling up/down) 및 회전함으로써, 상기 제품 배치 콘텐츠(580)의 스케일 및 회전을 변경한다. 예를 들면, 상기 장면(550)의 전경(foreground)에 제품 배치를 렌더링하는 것은 상기 제품 배치 뒤에 위치한 하나 이상의 현실 세계 객체들을 폐색하게 될 것이다. 상기 렌더링 유닛(330)은 또한, 상기 장면(550)에 포함된 그림자들(shadows)의 형태 및 크기로부터 도출되는 하나 이상의 조명(lighting) 큐들에 기반하여, 상기 제품 배치 콘텐츠(580)의 조명(illumination)을 변경할 수 있다(즉, 상기 하나 이상의 조명 큐들에 기반하여 상기 제품 배치 콘텐츠(580)를 조명함).
일 실시예에서, 상기 자연 증강 시스템(300)은 상기 하나의 콘텐츠를 캡처하는 데 이용되는 카메라(예를 들면, 상기 콘텐츠 제작 장치(100)에 통합 또는 결합된 카메라)의 하나 이상의 카메라 설정들을 나타내는 카메라 설정 정보(590)를 얻을 수 있다. 상기 렌더링 유닛(330)은 상기 카메라 설정 정보(590)에 기반하여 상기 장면(550)에 제품 배치를 렌더링하여, 상기 렌더링된 제품 배치가 보다 실제처럼 보이고 초점, 명암 대비(contrast), 밝기(brightness), ISO 레벨, 또는 주변 조명(ambient illumination)의 측면에서 상기 하나의 콘텐츠와 유사한 화질을 가지도록 할 수 있다.
일 실시예에서, 상기 광고 서버(500)로부터 상기 제품 배치 콘텐츠(580)를 검색할 시간을 허용하기 위해, 지연 유닛(900)은 상기 장면(550)을 포함하는 하나 이상의 프레임들을 버퍼링하여 상기 콘텐츠 캡처 유닛(130)으로부터 상기 자연 증강 시스템(300)으로의 상기 프레임들의 전달을 잠시 지연시킬 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은 VR 콘텐츠에 가상 광고들 및 가상 3D 제품 배치들을 렌더링하는 데 이용될 수 있다. 상기 컨텍스트 추출 시스템(200)은 상기 VR 콘텐츠에서 광고하기에 적절한 제품을 결정할 수 있고, 상기 자연 증강 시스템(300)은, 상기 VR 콘텐츠에 매끄럽게 삽입되는, 상기 제품에 대한 제품 배치들 및 광고들의 가상 렌더링들을 생성할 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은 AR 장치에 구현되어 AR 콘텐츠에 제품 배치들 및 광고들을 자연스럽게 삽입할 수 있다. 예를 들면, 상기 AR 장치에서 수신되는 인입(incoming) 라이브 카메라 피드(feed)/스트림은 실시간으로 분석될 수 있다. 장면들에 삽입된 제품 배치 광고들이 자연스럽고 매끄럽게 등장하는 것처럼 보이도록 보장하기 위해 상기 장면들이 추적된다. 상기 AR 콘텐츠의 각 프레임을 여러 번 분석하기에 충분한 계산 리소스들 및/또는 시간이 없을 수 있는 애플리케이션 시나리오에 있어서 추적은 중요하다(critical).
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은 콘텐츠 제작 장치(100) 대신에 콘텐츠 소비 장치(450)에 구현될 수 있다. 상기 콘텐츠 소비 장치(450)에서 수신되는 하나의 콘텐츠가, 카메라 설정들 및 센서 데이터와 같은, 메타데이터(metadata)를 포함하는 경우, 상기 하나의 콘텐츠는 상기 메타데이터에 기반한 제품 배치에 의해 증강될 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은 대형 상업용 디스플레이(large format display: LFD)와 같은 전자 사이니지 상에 표시되는 제품 배치들 및/또는 광고들을 제어하는 시스템에 구현될 수 있다. 예를 들면, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, LFD 근처의 온도, 날씨, 현재 이벤트들, 및 관객과 같이, 상기 LFD와 연관된 컨텍스트 정보에 기반하여 상기 LFD 상에 표시되는 광고를 변경/조정(adapt)할 수 있다. 상기 컨텍스트 정보는 하나 이상의 센서들(예를 들면, 온도 센서, 광각 카메라, 또는 전방 관측(forward looking) 카메라)에 의해 캡처되고 및/또는 무선으로 또는 유선 연결을 통해 하나 이상의 원격 데이터 소스들(예를 들면, 날씨 또는 현재 이벤트들과 같은 정보를 수집하고 큐레이팅(curating)하는 원격 데이터베이스)로부터 수신될 수 있다.
다른 예로서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, LFD와 연관된 컨텍스트 정보에 기반하여, 상기 LFD 상에 표시되는 장면에 삽입되는 제품 배치를 변경/조정할 수 있다. 상기 LFD가 버스 정류장에서 이용된다고 가정하자. 센서들이 상기 버스 정류장으로 다가오는 청소년을 캡처하는 경우, 상기 LFD 상에 표시되는 장면에 삽입되는 제품 배치는, 코카콜라(Coke®) 캔과 같이, 상기 청소년에게 더 어필할 것 같은 제품으로 변경될 수 있다. 대신에, 센서들이 상기 버스 정류장으로 다가오는 전문직 종사자를 캡처하는 경우, 상기 LFD 상에 표시되는 장면에 삽입되는 제품 배치는, 한 잔의 스타벅스(Starbucks®) 커피와 같이, 상기 전문직 종사자에게 더 어필할 것 같은 제품으로 변경될 수 있다.
다른 예로서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, LFD 근처의 관객의 나이 및/또는 성(gender)에 기반하여, 상기 LFD 상에 표시되는 광고를 변경/조정할 수 있다. 구체적으로, 비전 처리 기법들이 전방 관측 카메라에 의해 캡처된 장면에 적용된다. 상기 LFD에 가장 가까운, 상기 장면에서의 관객이 분할되고(segmented), 상기 관객의 모션의 방향은 다중 프레임(multi-frame) 분석에 기반하여 결정된다. 상기 모션의 방향이 상기 관객이 상기 LFD로 다가오고 있음을(즉, 상기 LFD 쪽으로 움직이고 있음을) 나타내는 경우, 상기 관객은 상기 장면의 배경으로부터 분할되고, 신장 및 의복과 같은 다른 속성들과 함께 안면 및 보행 분석(facial and gait analysis)이 상기 관객의 나이 및/또는 성을 추정하는 데 이용될 수 있다.
다른 예로서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, 전자 사이니지의 위치와 관련된 이벤트의 결과(outcome)에 기반하여, 상기 전자 사이니지 상에 표시되는 광고를 변경/조정할 수 있다. 예를 들면, 스포츠 팀이 홈 경기에서 진 경우, 경기 후 상기 스포츠 팀의 지지자들이 자주 다니는 대중 교통 정류장에 있는 전자 사이니지는 홈팀 패배를 고려하여 보다 동정적인 광고들을 표시할 수 있다. 상기 광고들의 컨텍스트 자체는, 광고되는 제품들뿐만이 아니라, 상기 결과를 고려하여 변경될 수 있다. 예를 들면, 상기 경기의 결과가 홈팀 승리인 경우, 상기 사이니지는 "축하합니다, 펩시(Pepsi®)로 축하합시다!"라는 메시지와 함께 펩시 캔을 표시할 수 있다. 상기 경기의 결과가 홈팀 패배인 경우, 상기 사이니지는 동일한 펩시 캔(즉, 동일 제품)을 표시하되, 대신에 "우리는 함께할 것입니다 -- 펩시"와 같은 상이한 메시지와 함께 표시할 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, 비디오의 컨텍스트에 기반하여, 상기 비디오 제작 중에 상기 비디오에 광고를 임베딩할 수 있다. 예를 들면, 사용자가 번지 점프에 관한 비디오를 제작하고 있는 경우, 상기 자연 증강 시스템(300)은 특정 브랜드의 에너지 음료를 나타내는 캔 객체를 상기 비디오 내 장면에 포함된 테이블 상에 임베딩할 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은 온 더 플라이(on-the-fly) 컨텍스트적(contextual) 제품 배치들 및/또는 광고들로 사용자 생성 콘텐츠를 증강할 수 있도록 한다. 예를 들면, 상기 사용자 생성 콘텐츠가 새로운 머리모양을 한 사용자의 이미지를 포함하는 경우, 상기 자연 증강 시스템(300)은, 상기 이미지가 소셜 미디어 플랫폼(예를 들면, 인스타그램(Instagram®))에 업로드되기 전에, 특정 브랜드의 헤어 젤을 나타내는 병 객체를 상기 이미지의 배경에 삽입/임베딩할 수 있다.
일 실시예에서, 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300)은, 자연스러운 제품 배치들 및 광고들로 사용자 생성 콘텐츠를 증강하고 결과적으로 증강된 사용자 생성 콘텐츠를 라이브 방송/스트리밍 플랫폼들(예를 들면, 삼성(Samsung®)의 라이브브로드캐스트(LiveBroadcast) 또는 트위터(Twitter®)의 페리스코프(Periscope)) 또는 비디오 공유 플랫폼들(예를 들면, 유튜브(YouTube®))에 스트리밍하는, 스트리밍 서비스로서 콘텐츠 제작 장치(100)상에 구현될 수 있다. 상기 스트리밍 서비스는 또한, 상기 자연적 제품 배치들 및/또는 광고들과 연관된 광고 수익(revenue)이 상기 사용자 생성 콘텐츠의 제작자(예를 들면, 상기 콘텐츠 제작 장치(100)의 사용자)와 공유되는, 수익 공유 방식/모델을 구현할 수 있다. 상기 수익 공유 방식은 상기 스트리밍 서비스를 제공하는 장치들의 판매를 유도할 수 있다.
일 실시예에서, 상기 자연 증강 시스템(300)은 상기 제품 배치와 연관된 광고 수익의 공유를 관리하기 위해 상기 광고 서버(500)에 상기 제품 배치를 보고한다.
도 4A는 하나의 콘텐츠의 예시적 프레임(700)을 도시한다. 도 4A에 도시한 바와 같이, 상기 프레임(700)은 책상 뒤에 앉아서 스카이 다이빙 이벤트를 보도하는 스포츠 뉴스 앵커를 포함하는 장면을 포함한다. 상기 프레임(700)은 어떤 제품 배치도 포함하지 않는다.
도 4B는, 일 이상의 실시예들에 있어서, 하나의 콘텐츠의 증강된 프레임(710)을 도시한다. 상기 증강된 프레임(710)은 상기 프레임(700)(도 4A)에 포함된 동일한 장면을 포함하지만 특정 브랜드의 에너지 음료를 나타내는 캔 객체(720)가 삽입되어 있다. 상기 캔 객체(720)는 상기 책상 위에 배치된 제품 배치이므로 상기 캔 객체(720)가 시청자에게 자연스럽게 보이도록 한다(책상/테이블 위에 캔들이 있는 것은 자연스러운 일이므로).
도 5는, 일 이상의 실시예들에 있어서, 컨텍스트 기반 광고로 콘텐츠를 증강하는 예시적 프로세스(800)의 순서도이다. 프로세스 블록(801)에서, 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하기 위해 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석한다. 프로세스 블록(802)에서, 상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정한다. 프로세스 블록(803)에서, 광고 서버로부터 상기 제품에 대한 제품 배치 콘텐츠를 검색한다. 프로세스 블록(804)에서, 상기 제품 배치 콘텐츠에 기반하여 상기 제품에 대한 제품 배치로 상기 하나의 콘텐츠를 증강하며, 상기에서 상기 제품 배치는 상기 하나의 콘텐츠에 자연스럽게 등장하는 것으로 보인다. 프로세스 블록(805)에서, 상기 증강된 하나의 콘텐츠를 콘텐츠 서버에 전송한다.
일 실시예에서, 프로세스 블록들(801 내지 805)은 상기 컨텍스트 추출 시스템(200) 및 상기 자연 증강 시스템(300) 중 적어도 하나에 의해 수행될 수 있다.
도 6은, 개시된 실시예들을 구현하는데 유용한 컴퓨터 시스템(600)을 포함하는 정보 처리 시스템을 도시하는, 예시적 상위 레벨 블록도이다. 컴퓨터 시스템(600)은 콘텐츠 제작 장치(100) 또는 콘텐츠 소비 장치(450)에 포함될 수 있다. 상기 컴퓨터 시스템(600)은 하나 이상의 프로세서들(601)을 포함하며, 전자 표시 장치(602)(비디오, 그래픽, 텍스트, 및 기타 데이터를 표시하기 위한 것), 주 메모리(603)(예를 들면, 랜덤 액세스 메모리(random access memory: RAM), 저장 장치(604)(예를 들면, 하드 디스크 드라이브), 탈착식 저장 장치(605)(예를 들면, 탈착식 저장 드라이브, 탈착식 메모리 모듈, 자기 테이프 드라이브, 광디스크 드라이브, 저장된 컴퓨터 소프트웨어 및/또는 데이터를 갖는 컴퓨터 판독가능 매체), 사용자 인터페이스 장치(606)(예를 들면, 키보드, 터치 스크린, 키패드, 포인팅 장치), 및 통신 인터페이스(607)(예를 들면, 모뎀, 네트워크 인터페이스(예를 들면, 이더넷(Ethernet) 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 포함할 수 있다. 상기 통신 인터페이스(607)는 소프트웨어 및 데이터가 상기 컴퓨터 시스템과 외부 장치들 간에 전달될 수 있도록 한다. 상기 시스템(600)은, 상기한 장치들/모듈들(601 내지 607)이 연결되는, 통신 인프라(608)(예를 들면, 통신 버스, 크로스오버 바(cross-over bar), 또는 네트워크)를 더 포함한다.
상기 통신 인터페이스(607)를 통해 전달되는 정보는, 신호들을 운반하며 전선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, 무선 주파수(radio frequency: RF) 링크, 및/또는 기타 통신 채널들을 이용하여 구현될 수 있는 통신 링크를 통해, 상기 통신 인터페이스(607)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 기타 신호들과 같은 신호의 형태일 수 있다. 본 명세서에서 블록도 및/또는 순서도들을 나타내는 컴퓨터 프로그램 명령어들(instructions)은 컴퓨터, 프로그램가능 데이터 처리 기기(apparatus), 또는 처리 장치들 상에 로딩되어 이들에서 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하도록 할 수 있다. 일 실시예에서, 프로세스(800)(도 8) 에 대한 처리 명령어들은, 상기 프로세서(601)에 의한 실행을 위해, 상기 메모리(603), 상기 저장 장치(604), 및 상기 탈착식 저장 장치(605) 상에 프로그램 명령어들로서 저장될 수 있다.
방법들, 기기(시스템들), 및 컴퓨터 프로그램 제품들의 순서도 예시들 및/또는 블록도들을 참조하여 실시예들이 설명되었다. 그러한 예시들/블록도들의 각 블록, 또는 이들의 조합들은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다. 상기 컴퓨터 프로그램 명령어들은 프로세서에 제공될 때 기계(machine)를 생산하여, 상기 프로세서를 통해 실행되는 상기 명령어들이 상기 순서도 및/또는 블록도에서 특정된 기능들/동작들을 구현하는 수단들을 생성하도록 한다. 상기 순서도/블록도들에서 각 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직을 나타낼 수 있다. 대안적인 구현들에서, 상기 블록들에서 언급된 기능들은 도면들에서 나타낸 순서와 다르게 또는 동시에 발생할 수 있다.
"컴퓨터 프로그램 매체", "컴퓨터 이용가능 매체", "컴퓨터 판독가능 매체", 및 "컴퓨터 프로그램 제품"이라는 용어들은 일반적으로 주 메모리, 부(secondary) 메모리, 탈착식 저장 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호들을 나타내는 데 사용된다. 이들 컴퓨터 프로그램 제품들은 상기 컴퓨터 시스템에 소프트웨어를 제공하는 수단들이다. 상기 컴퓨터 판독가능 매체는 상기 컴퓨터 시스템이 상기 컴퓨터 판독가능 매체로부터 데이터, 명령어들, 메시지들 또는 메시지 패킷들, 및 기타 컴퓨터 판독가능 정보를 판독할 수 있도록 한다. 상기 컴퓨터 판독가능 매체는, 예를 들면, 플로피 디스크, ROM, 플래시 메모리, 디스크 드라이브 메모리, CD-ROM, 및 기타 영구 저장소(permanent storage)와 같은, 비휘발성 메모리를 포함할 수 있다. 상기 컴퓨터 판독가능 매체는, 예를 들면, 컴퓨터 시스템들 간에 데이터 및 컴퓨터 명령어들과 같은 정보를 전달하는 데 유용하다. 컴퓨터 프로그램 명령어들은 컴퓨터, 기타 프로그램가능 데이터 처리 기기, 또는 기타 장치들이 특정한 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독가능 매체에 저장되어, 상기 컴퓨터 판독가능 매체에 저장된 상기 명령어들이, 상기 순서도 및/또는 블록도 블록 또는 블록들에서 특정된 기능/행위(act)를 구현하는 명령어들을 포함하는, 제조 물품(article of manufacture)을 생산하도록 할 수 있다.
본 발명이 속하는 기술분야의 숙련된 자라면 알 수 있는 바와 같이, 실시예들의 양태들은 시스템, 방법, 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 상기 실시예들의 양태들은, 본 명세서에서 일반적으로 "회로", "모듈", 또는 "시스템"으로 칭할 수 있는, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어(firmware), 상주 소프트웨어(resident software), 또는 마이크로 코드를 포함), 또는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다.또한, 상기 실시예들의 양태들은, 구현된 컴퓨터 판독가능 프로그램 코드를 갖는 하나 이상의 컴퓨터 판독가능 매체(들)에서 구현되는, 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독가능 매체(들)의 어떤 조합이든 이용될 수 있다. 상기 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는, 예를 들면, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 기기, 또는 장치, 또는 이들의 어떤 적절한 조합일 수 있으나, 이에 제한되지 않는다. 상기 컴퓨터 판독가능 저장 매체의 보다 구체적인 예들(비한정적인 리스트)에는 다음의 것들이 포함될 수 있다: 하나 이상의 전선들을 갖는 전기적 연결부(connection), 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독전용 메모리(read-only memory: ROM), 소거가능 프로그램가능 판독전용 메모리(erasable programmable read-only memory: EPROM, 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독전용 메모리(compact disc read-only memory: CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 이들의 어떤 적절한 조합. 본 문서의 맥락에서, 컴퓨터 판독가능 저장 매체는, 명령어 실행 시스템, 기기, 또는 장치에 의해 또는 이들과 연관되어 사용하기 위한 프로그램을 포함 또는 저장할 수 있는, 어떤 유형적(tangible) 매체든지 될 수 있다.
하나 이상의 실시예들의 양태들에 대한 동작들을 수행하기 위한 컴퓨터 프로그램 코드는, 자바(Java), 스몰토크(Smalltalk), 또는 C++ 등과 같은 제품 지향(product oriented) 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들과 같은 종래의 절차적(procedural) 프로그래밍 언어를 포함하여, 하나 이상의 프로그래밍 언어들의 어떠한 조합으로든 작성될 수 있다. 상기 프로그램 코드는 전적으로 시청자(viewer)의 컴퓨터에서, 부분적으로 시청자의 컴퓨터에서, 독립형(stand-alone) 소프트웨어 패키지로서, 부분적으로 시청자의 컴퓨터에서 및 부분적으로 원격 컴퓨터에서, 또는 전적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 후자의 시나리오에서, 상기 원격 컴퓨터는 로컬 영역 네트워크(local area network: LAN) 또는 광역 네트워크(wide area network: WAN)를 포함하는 어떠한 유형의 네트워크를 통해서 상기 시청자의 컴퓨터에 연결될 수 있거나, 또는 외부 컴퓨터로의 연결이 이루어질 수 있다(예를 들면, 인터넷 서비스 제공자를 이용하여 인터넷을 통해).
상기에서 하나 이상의 실시예들의 양태들은 방법들, 기기(시스템들), 및 컴퓨터 프로그램 제품들의 순서도 예시들 및/또는 블록도들을 참조하여 설명된다. 상기 순서도 예시들 및/또는 블록도들의 각 블록, 및 상기 순서도 예시들 및/또는 블록도들의 블록들의 조합들은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있음을 이해할 것이다. 이러한 컴퓨터 프로그램 명령어들은 기계를 생산하기 위해 특수 목적 컴퓨터 또는 기타 프로그램가능 데이터 처리 기기에 제공되어, 상기 컴퓨터 또는 기타 프로그램가능 데이터 처리 기기의 프로세서를 통해 실행되는 상기 명령어들이 상기 순서도 및/또는 블록도 블록 또는 블록들에서 특정되는 기능들/행위들을 구현하는 수단들을 생성하도록 할 수 있다.
이러한 컴퓨터 프로그램 명령어들은 또한, 컴퓨터, 기타 프로그램가능 데이터 처리 기기, 또는 기타 장치들이 특정 방식으로 기능하도록 지시할 수 있는, 컴퓨터 판독가능 매체에 저장되어, 상기 컴퓨터 판독가능 매체에 저장된 상기 명령어들이, 상기 순서도 및/또는 블록도 블록 또는 블록들에서 특정되는 기능/행위를 구현하는 명령어들을 포함하는, 제조 물품을 생산하도록 할 수 있다.
상기 컴퓨터 프로그램 명령어들은 또한 컴퓨터, 기타 프로그램가능 데이터 처리 기기, 또는 기타 장치들 상에 로딩되어 일련의 동작 단계들이 컴퓨터 구현 프로세스를 생성하도록 상기 컴퓨터, 기타 프로그램가능 기기 또는 기타 장치들 상에서 수행되어, 상기 컴퓨터 또는 기타 프로그램가능 기기 상에서 실행되는 상기 명령어들이 상기 순서도 및/또는 블록도 블록 또는 블록들에서 특정되는 기능들/행위들을 구현하는 프로세스들을 제공하도록 할 수 있다.
도면들 내의 순서도 및 블록도들은 다양한 실시예들에 따라 시스템들, 방법들, 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능, 및 동작을 도시한다. 이러한 점에서, 순서도 또는 블록도들 내의 각 블록은, 특정 논리 함수(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는, 명령어들의 모듈, 세그먼트, 또는 일부를 나타낼 수 있다. 일부 대안적 구현들에서, 블록에서 언급된 기능들은 도면들에서 언급된 순서와 달리 발생할 수 있다. 예를 들면, 관여된 기능에 따라, 연속적으로 도시한 두 개의 블록들은, 실제로, 실질적으로 동시에 실행될 수 있거나, 또는 상기 블록들은 때로는 역순으로 실행될 수 있다. 상기 블록도들 및/또는 순서도 예시의 각 블록, 및 상기 블록도들 및/또는 순서도 예시 내의 블록들의 조합들은, 특정 기능들 또는 행위들을 수행하거나 또는 특수 목적 하드웨어와 컴퓨터 명령어들의 조합들을 수행하는, 특수 목적 하드웨어 기반 시스템들에 의해 구현될 수 있음을 또한 알아야 할 것이다.
청구항에서 요소를 단수로 언급한 것은 명시적으로 그렇게 언급한 것이 아닌 한 "유일한 것(one and only)"을 의미하고자 한 것이 아니라, "하나 이상(one or more)"을 의미하고자 한 것이다.본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 현재 알려진 또는 차후 알려질, 상기한 예시적 실시예의 요소들에 대한 모든 구조적 및 기능적 등가물들은 본 청구항들에 포함되도록 하고자 한 것이다. 본 명세서에서 어떠한 청구 요소(claim element)도, 상기 요소가 "~을 위한 수단(means for)" 또는 "~을 위한 단계(step for)"라는 어구를 사용하여 명확히 기재되지 않는 한, 미국 특허법(35 U.S.C.) 112조 제6항의 규정 하에서 해석되어서는 안 된다.
본 명세서에서 사용된 용어는 단지 특정 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 한 것이 아니다. 본 명세서에서, 단수 형태들 "a", "an" 및 "the"는, 문맥상 명확히 달리 표시하지 않는 한, 복수 형태들도 포함하고자 한 것이다. 용어들 "포함하다(comprises)" 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들(integers), 단계들, 동작들, 요소들, 및/또는 구성요소들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성요소들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다.
하기 청구항들에서 모든 기능식 청구항(means or step plus function) 요소들의 상응하는 구조들, 물질들, 행위들, 및 등가물들은, 구체적으로 청구된 바와 같이, 다른 청구 요소들과 조합하여 상기 기능을 수행하기 위한 어떠한 구조, 물질, 또는 행위든 포함하고자 한 것이다. 실시예들에 대한 설명이 예시 및 설명의 목적으로 제시되었지만, 개시된 형태의 실시예들로 한정하거나 제한하고자 한 것이 아니다. 많은 변형들 및 변경들이 본 발명의 사상 및 범위를 벗어나지 않고 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 명백할 것이다.
실시예들이 이들의 특정 버전들을 참조하여 설명되었지만, 다른 버전들도 가능하다. 그러므로, 첨부된 청구항들의 사상 및 범위는 본 명세서에 포함된 바람직한 버전들에 대한 설명에 제한되어서는 안 된다.

Claims (15)

  1. 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하도록 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계;
    상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계; 및
    상기 제품에 대한 제품 배치(product placement)로 상기 하나의 콘텐츠를 증강하는 단계를 포함하고,
    상기 제품 배치는 상기 하나의 콘텐츠에서 자연스럽게 등장하는 것으로 보이는 것인, 방법.
  2. 제1 항에 있어서,
    광고 서버로부터 상기 제품에 대한 제품 배치 콘텐츠를 검색하는 단계를 더 포함하는, 방법.
  3. 제1 항에 있어서, 상기 하나의 콘텐츠의 하나 이상의 프레임들을 분석하는 단계는:
    상기 하나 이상의 프레임들로부터 상위 레벨 의미(high-level semantics)를 추출하도록 상기 하나 이상의 프레임들에 비전 기반 장면 모델링 기법(vision based scene modeling technique)들을 적용하는 단계;
    상기 하나 이상의 프레임들과 연관된 센서 데이터로부터 센서 기반 컨텍스트 정보(sensor based contextual information)를 추출하는 단계; 및
    상기 상위 레벨 의미 및 상기 센서 기반 컨텍스트 정보에 기반하여 상기 하나 이상의 프레임들에 대한 장면 프로파일을 생성하는 단계에 있어서, 상기 장면 프로파일은 상기 하나 이상의 프레임들의 하나 이상의 디스크립터들(descriptors)을 포함하는 것인 단계를 포함하는 것인, 방법.
  4. 제3 항에 있어서, 상기 비전 기반 장면 모델링 기법들은 장면 주석(annotation) 및 장면 분류(classification)를 포함하는 것인, 방법.
  5. 제3 항에 있어서,
    상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계는 상기 장면 프로파일을 제품에 대한 브랜드 프로파일(brand profile)에 매핑하는 단계를 포함하는 것인, 방법.
  6. 제2 항에 있어서, 상기 제품에 대한 제품 배치로 상기 하나의 콘텐츠를 증강하는 단계는:
    상기 하나 이상의 프레임들로부터 구조, 깊이, 및 포즈 정보를 추출하는 단계;
    장면 전환들 동안 방향(orientation) 및 관점(perspective)의 하나 이상의 변화들을 추적하는 단계; 및
    상기 제품 배치 콘텐츠를 상기 하나 이상의 프레임들에서 등장하는 하나 이상의 객체들과 정렬하도록, 상기 구조, 깊이, 및 포즈 정보 및 상기 추적된 하나 이상의 변화들에 기반하여 상기 제품 배치 콘텐츠를 렌더링하는 단계를 포함하는 것인, 방법.
  7. 제6 항에 있어서, 상기 렌더링은 상기 하나 이상의 객체들을 기준으로 상기 제품 배치 콘텐츠의 스케일, 회전, 및 조명(illumination) 중 하나를 변경하는 단계를 포함하는 것인, 방법.
  8. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하도록 하는 명령어들을 저장하는, 비일시적 프로세서 판독가능 메모리 장치를 포함하고,
    상기 동작들은: 하나의 콘텐츠의 하나 이상의 프레임들의 컨텍스트를 결정하도록 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계;
    상기 컨텍스트에 기반하여 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계; 및
    상기 제품에 대한 제품 배치로 상기 하나의 콘텐츠를 증강하는 단계를 포함하고, 상기 제품 배치는 상기 하나의 콘텐츠에서 자연스럽게 등장하는 것으로 보이는 것인, 시스템.
  9. 제8 항에 있어서,
    상기 동작들은 광고 서버로부터 상기 제품에 대한 제품 배치 콘텐츠를 검색하는 단계를 더 포함하는 것인, 시스템.
  10. 제8 항에 있어서, 상기 하나의 콘텐츠의 상기 하나 이상의 프레임들을 분석하는 단계는:
    상기 하나 이상의 프레임들로부터 상위 레벨 의미를 추출하도록 상기 하나 이상의 프레임들에 비전 기반 장면 모델링 기법들을 적용하는 단계;
    상기 하나 이상의 프레임들과 연관된 센서 데이터로부터 센서 기반 컨텍스트 정보를 추출하는 단계; 및
    상기 상위 레벨 의미 및 상기 센서 기반 컨텍스트 정보에 기반하여 상기 하나 이상의 프레임들에 대한 장면 프로파일을 생성하는 단계에 있어서, 상기 장면 프로파일은 상기 하나 이상의 프레임들의 하나 이상의 디스크립터들을 포함하는 것인 단계를 포함하는 것인, 시스템.
  11. 제10 항에 있어서, 상기 비전 기반 장면 모델링 기법들은 장면 주석 및 장면 분류를 포함하는 것인, 시스템.
  12. 제10 항에 있어서, 상기 하나의 콘텐츠에서 광고할 제품을 결정하는 단계는
    상기 장면 프로파일을 제품에 대한 브랜드 프로파일에 매핑하는 단계를 포함하는 것인, 시스템.
  13. 제9 항에 있어서, 상기 제품에 대한 제품 배치로 상기 하나의 콘텐츠를 증강하는 단계는:
    상기 하나 이상의 프레임들로부터 구조, 깊이, 및 포즈 정보를 추출하는 단계;
    장면 전환들 동안 방향 및 관점의 하나 이상의 변화들을 추적하는 단계; 및
    상기 제품 배치 콘텐츠를 상기 하나 이상의 프레임들에서 등장하는 하나 이상의 객체들과 정렬하도록, 상기 구조, 깊이, 및 포즈 정보 및 상기 추적된 하나 이상의 변화들에 기반하여 상기 제품 배치 콘텐츠를 렌더링하는 단계를 포함하는 것인, 시스템.
  14. 제13 항에 있어서, 상기 렌더링은 상기 하나 이상의 객체들을 기준으로 상기 제품 배치 콘텐츠의 스케일, 회전, 및 조명 중 하나를 변경하는 단계를 포함하는 것인, 시스템.
  15. 컴퓨터 판독가능 저장 매체에 있어서, 상기 컴퓨터 판독가능 저장 매체는 제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020197017882A 2017-01-04 2017-08-11 컨텍스트 기반 증강 광고 KR102319423B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762442117P 2017-01-04 2017-01-04
US62/442,117 2017-01-04
US15/473,272 2017-03-29
US15/473,272 US10575067B2 (en) 2017-01-04 2017-03-29 Context based augmented advertisement
PCT/KR2017/008745 WO2018128240A1 (en) 2017-01-04 2017-08-11 Context based augmented advertisement

Publications (2)

Publication Number Publication Date
KR20190075177A true KR20190075177A (ko) 2019-06-28
KR102319423B1 KR102319423B1 (ko) 2021-10-29

Family

ID=62712240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017882A KR102319423B1 (ko) 2017-01-04 2017-08-11 컨텍스트 기반 증강 광고

Country Status (4)

Country Link
US (1) US10575067B2 (ko)
EP (1) EP3533021A4 (ko)
KR (1) KR102319423B1 (ko)
WO (1) WO2018128240A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221394A1 (ko) * 2020-04-30 2021-11-04 삼성전자 주식회사 이미지 증강을 위한 방법 및 전자 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726443B2 (en) 2016-07-11 2020-07-28 Samsung Electronics Co., Ltd. Deep product placement
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10699295B1 (en) * 2017-05-05 2020-06-30 Wells Fargo Bank, N.A. Fraudulent content detector using augmented reality platforms
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
US11682045B2 (en) 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN109168034B (zh) * 2018-08-28 2020-04-28 百度在线网络技术（北京）有限公司 商品信息显示方法、装置、电子设备和可读存储介质
GB2586792B (en) 2019-08-30 2022-08-17 Samsung Electronics Co Ltd Apparatus, method and computer program for determining configuration settings for a display apparatus
WO2021057704A1 (en) * 2019-09-23 2021-04-01 Maycas System Limited Methods and systems for incorporating advertising materials into video images
US20220161145A1 (en) * 2020-11-23 2022-05-26 International Business Machines Corporation Modifying user interface of application during recording session
CN113691835B (zh) * 2021-10-21 2022-01-21 星河视效科技(北京)有限公司 视频植入方法、装置、设备及计算机可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
KR20040100103A (ko) * 2003-05-21 2004-12-02 (주)티즈 게임을 이용한 광고 서비스 시스템 및 방법
KR20090020065A (ko) * 2007-08-22 2009-02-26 주식회사 아이지에이웍스 게임 내부 광고 노출 시스템 및 방법
JP4761029B2 (ja) * 2005-07-06 2011-08-31 横河電機株式会社 画像解析システム
KR20120043439A (ko) * 2010-10-26 2012-05-04 새한항업(주) 영상광고의 자유도를 높인 공간정보이미지 출력시스템
KR20120076530A (ko) * 2010-11-29 2012-07-09 에이치앤케이코퍼레이션(주) 위치기반 판촉 서비스 시스템 및 그 방법
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
US20140058807A1 (en) * 2007-04-20 2014-02-27 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
KR20140128654A (ko) * 2013-04-29 2014-11-06 주식회사 제이엠랩 증강현실 제공 장치 및 그 방법
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
KR20150029829A (ko) * 2013-09-10 2015-03-19 주식회사 엘지유플러스 사용자 촬영영상에 기반한 광고시스템, 광고관리서버 및 그 광고관리방법, 이동통신단말기 및 그 광고표시방법
US20160050465A1 (en) * 2014-08-18 2016-02-18 Groopic, Inc. Dynamically targeted ad augmentation in video
KR101658002B1 (ko) * 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법
KR20160124366A (ko) * 2015-04-17 2016-10-27 서울과학기술대학교 산학협력단 사물 인터넷을 이용한 간접 광고 및 판매 서비스 시스템과 그 방법
KR101725008B1 (ko) * 2016-06-20 2017-04-07 주식회사 포켓메모리 가상현실 광고 관리서버 및 이를 이용한 광고 시스템

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US91556A (en) * 1869-06-22 Improved brush-head
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US6403597B1 (en) 1997-10-28 2002-06-11 Vivus, Inc. Administration of phosphodiesterase inhibitors for the treatment of premature ejaculation
US6121532A (en) 1998-01-28 2000-09-19 Kay; Stephen R. Method and apparatus for creating a melodic repeated effect
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US7096487B1 (en) 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US8527345B2 (en) 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
WO2002037828A2 (en) 2000-11-06 2002-05-10 Excite@Home Integrated in-stream video ad serving
JP4366023B2 (ja) 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
US20030028432A1 (en) 2001-08-01 2003-02-06 Vidius Inc. Method for the customization of commercial product placement advertisements in digital media
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8220020B2 (en) 2003-09-30 2012-07-10 Sharp Laboratories Of America, Inc. Systems and methods for enhanced display and navigation of streaming video
US20060173743A1 (en) 2005-02-02 2006-08-03 Bollay Denison W Method of realtime allocation of space in digital media based on an advertiser's expected return on investment, ad placement score, and a publisher score
US20080109306A1 (en) 2005-06-15 2008-05-08 Maigret Robert J Media marketplaces
US20070124762A1 (en) 2005-11-30 2007-05-31 Microsoft Corporation Selective advertisement display for multimedia content
JP2009530669A (ja) 2006-03-16 2009-08-27 ブルベーカー，カーチス，エム． 移動物体上に非常に関連性の高い広告を表示することによって収入を得るためのシステム及び方法
US8386317B2 (en) 2007-07-23 2013-02-26 Say Media, Inc. Full page video advertisement
US8413182B2 (en) * 2006-08-04 2013-04-02 Aol Inc. Mechanism for rendering advertising objects into featured content
US7994930B2 (en) 2006-10-30 2011-08-09 Sony Ericsson Mobile Communications Ab Product placement
US20080172293A1 (en) 2006-12-28 2008-07-17 Yahoo! Inc. Optimization framework for association of advertisements with sequential media
US20090094113A1 (en) 2007-09-07 2009-04-09 Digitalsmiths Corporation Systems and Methods For Using Video Metadata to Associate Advertisements Therewith
US8416247B2 (en) 2007-10-09 2013-04-09 Sony Computer Entertaiment America Inc. Increasing the number of advertising impressions in an interactive environment
US8655718B2 (en) 2007-12-18 2014-02-18 Yahoo! Inc. Methods for augmenting user-generated content using a monetizable feature
US20110041153A1 (en) 2008-01-03 2011-02-17 Colin Simon Content management and delivery method, system and apparatus
US7882087B2 (en) 2008-01-15 2011-02-01 At&T Intellectual Property I, L.P. Complex dependencies for efficient data warehouse updates
US8812487B2 (en) 2008-03-06 2014-08-19 Cisco Technology, Inc. Addition and processing of continuous SQL queries in a streaming relational database management system
WO2012047672A1 (en) * 2010-09-27 2012-04-12 Hulu Llc Method and apparatus for providing user control of advertising breaks associated with a media program
JP5198929B2 (ja) 2008-04-25 2013-05-15 株式会社日立製作所 ストリームデータ処理方法及び計算機システム
US20170178156A1 (en) 2008-05-07 2017-06-22 Google Inc. Measuring participant perceptions
US8477246B2 (en) 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
US9078048B1 (en) 2008-07-15 2015-07-07 Google Inc. Finding and populating spatial ad surfaces in video
US8769149B2 (en) 2008-08-08 2014-07-01 Disney Enterprises, Inc. System and method for real-time location-based advertisement insertion into online content
EP2338060A1 (en) 2008-09-25 2011-06-29 Biosystems International SAS Methods of detecting and treating pulmonary disease and markers thereof
WO2010035267A1 (en) 2008-09-25 2010-04-01 Tictacti Ltd. A system and method for precision placement of in-game dynamic advertising in computer games
US20100088716A1 (en) 2008-10-02 2010-04-08 Softhills Corporation Content slots for digital media
US8214370B1 (en) 2009-03-26 2012-07-03 Crossbow Technology, Inc. Data pre-processing and indexing for efficient retrieval and enhanced presentation
US20120100915A1 (en) 2009-06-25 2012-04-26 Tictacti Ltd. System and method for ad placement in video game content
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110153414A1 (en) 2009-12-23 2011-06-23 Jon Elvekrog Method and system for dynamic advertising based on user actions
US9361631B2 (en) 2010-01-06 2016-06-07 Ghostery, Inc. Managing and monitoring digital advertising
WO2011094734A2 (en) 2010-02-01 2011-08-04 Jumptap, Inc. Integrated advertising system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
US8799062B1 (en) 2010-05-28 2014-08-05 MaxPoint Interactive, Inc. System for improving shape-based targeting by using interest level data
US20120011540A1 (en) 2010-07-07 2012-01-12 Pulford James T System & method for implementing an interactive media kiosk network
US20120011061A1 (en) * 2010-07-09 2012-01-12 Sap Ag System and method for calculating net payment in social services
KR101206264B1 (ko) 2010-09-07 2012-12-05 지만석 증강현실 게임에서 광고 제공 방법
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9280849B2 (en) 2010-11-08 2016-03-08 Sony Corporation Augmented reality interface for video tagging and sharing
US20120167133A1 (en) 2010-12-23 2012-06-28 Carroll John W Dynamic content insertion using content signatures
US8922617B2 (en) 2010-12-23 2014-12-30 Citrix Systems, Inc. Systems, methods, and devices for time-shifting playback of a live online meeting
EP2691936A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US10217117B2 (en) 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
EP2807087A1 (en) * 2012-01-26 2014-12-03 Pall Technology UK limited Flexible fluid vessel and related methods
US9009083B1 (en) 2012-02-15 2015-04-14 Google Inc. Mechanism for automatic quantification of multimedia production quality
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US8682925B1 (en) 2013-01-31 2014-03-25 Splunk Inc. Distributed high performance analytics store
US20140013342A1 (en) * 2012-07-05 2014-01-09 Comcast Cable Communications, Llc Media Content Redirection
US8949889B1 (en) 2012-07-09 2015-02-03 Amazon Technologies, Inc. Product placement in content
US20140052540A1 (en) 2012-08-20 2014-02-20 Giridhar Rajaram Providing content using inferred topics extracted from communications in a social networking system
US9224156B2 (en) 2012-09-19 2015-12-29 Adobe Systems Incorporated Personalizing video content for Internet video streaming
US20150302470A1 (en) 2012-11-27 2015-10-22 Inkwhy, Inc. Embeddable content
US10091556B1 (en) * 2012-12-12 2018-10-02 Imdb.Com, Inc. Relating items to objects detected in media
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US10163049B2 (en) 2013-03-08 2018-12-25 Microsoft Technology Licensing, Llc Inconspicuous tag for generating augmented reality experiences
US10831725B2 (en) 2013-03-15 2020-11-10 Factual, Inc. Apparatus, systems, and methods for grouping data records
US20150082203A1 (en) 2013-07-08 2015-03-19 Truestream Kk Real-time analytics, collaboration, from multiple video sources
US8812956B1 (en) * 2013-09-13 2014-08-19 Magnify Networks, Inc. Video curation platform with pre-roll advertisements for discovered content
US20150081452A1 (en) 2013-09-13 2015-03-19 Kevin Edward ANTHONY System and method for interactive multimedia placement
US20160212455A1 (en) 2013-09-25 2016-07-21 Intel Corporation Dynamic product placement in media content
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
KR101519047B1 (ko) 2013-10-16 2015-05-12 한양대학교 에리카산학협력단 영상 처리 방법
US20140136337A1 (en) 2013-10-18 2014-05-15 Zenovia Digital Exchange Corporation Systems and Methods for Self-Monitoring Ad Tags that Solicit Real-Time Advertising Bids
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US20150172563A1 (en) 2013-12-18 2015-06-18 Gabriel Jakobson Incorporating advertising content into a digital video
AU2013273829A1 (en) 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Time constrained augmented reality
US20150199995A1 (en) 2014-01-10 2015-07-16 ModCon IP LLC Modular content generation, modification, and delivery system
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
US10007690B2 (en) 2014-09-26 2018-06-26 International Business Machines Corporation Data ingestion stager for time series database
US9872081B2 (en) 2014-10-20 2018-01-16 Nbcuniversal Media, Llc Digital content spatial replacement system and method
WO2016109056A1 (en) 2014-12-31 2016-07-07 Ebay, Inc. Dynamic product placement based on perceived value
US20170374398A1 (en) 2016-06-23 2017-12-28 Bindu Rama Rao Computing infrastructure for movie making and product placements
US10726443B2 (en) 2016-07-11 2020-07-28 Samsung Electronics Co., Ltd. Deep product placement
US11682045B2 (en) 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
KR20040100103A (ko) * 2003-05-21 2004-12-02 (주)티즈 게임을 이용한 광고 서비스 시스템 및 방법
JP4761029B2 (ja) * 2005-07-06 2011-08-31 横河電機株式会社 画像解析システム
US20140058807A1 (en) * 2007-04-20 2014-02-27 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
KR20090020065A (ko) * 2007-08-22 2009-02-26 주식회사 아이지에이웍스 게임 내부 광고 노출 시스템 및 방법
KR20120043439A (ko) * 2010-10-26 2012-05-04 새한항업(주) 영상광고의 자유도를 높인 공간정보이미지 출력시스템
KR20120076530A (ko) * 2010-11-29 2012-07-09 에이치앤케이코퍼레이션(주) 위치기반 판촉 서비스 시스템 및 그 방법
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
KR20140128654A (ko) * 2013-04-29 2014-11-06 주식회사 제이엠랩 증강현실 제공 장치 및 그 방법
KR20150029829A (ko) * 2013-09-10 2015-03-19 주식회사 엘지유플러스 사용자 촬영영상에 기반한 광고시스템, 광고관리서버 및 그 광고관리방법, 이동통신단말기 및 그 광고표시방법
US20160050465A1 (en) * 2014-08-18 2016-02-18 Groopic, Inc. Dynamically targeted ad augmentation in video
KR20160124366A (ko) * 2015-04-17 2016-10-27 서울과학기술대학교 산학협력단 사물 인터넷을 이용한 간접 광고 및 판매 서비스 시스템과 그 방법
KR101658002B1 (ko) * 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법
KR101725008B1 (ko) * 2016-06-20 2017-04-07 주식회사 포켓메모리 가상현실 광고 관리서버 및 이를 이용한 광고 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Youtube, "Boursin® Sensorium 360 Virtual Reality Experience #BoursinSensorium" (2015.07.02.) <URL: https://www.youtube.com/watch?v=XRik3h5M-qU> 1부.* *
네이버블로그 "상품정보를 증강현실로 보여주는 앱 블리파(Blippar)" (2015.03.16.) <URL: http://blog.naver.com/smartstreet/220297934127> *
한국경제, '블리파 디렉터 - 포켓몬GO, 가장 기초적 AR일 뿐' (2016.08.26) <URL: https://www.hankyung.com/article/201608264604v> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221394A1 (ko) * 2020-04-30 2021-11-04 삼성전자 주식회사 이미지 증강을 위한 방법 및 전자 장치

Also Published As

Publication number Publication date
EP3533021A1 (en) 2019-09-04
WO2018128240A1 (en) 2018-07-12
US20180192160A1 (en) 2018-07-05
KR102319423B1 (ko) 2021-10-29
US10575067B2 (en) 2020-02-25
EP3533021A4 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
KR102319423B1 (ko) 컨텍스트 기반 증강 광고
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
US11019283B2 (en) Augmenting detected regions in image or video data
US11482192B2 (en) Automated object selection and placement for augmented reality
US11334779B1 (en) Dynamic embedding of machine-readable codes within video and digital media
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
US9930311B2 (en) System and method for annotating a video with advertising information
WO2018036456A1 (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US8745657B2 (en) Inserting interactive objects into video content
US9922681B2 (en) Techniques for adding interactive features to videos
US10726443B2 (en) Deep product placement
US9224156B2 (en) Personalizing video content for Internet video streaming
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US9349053B2 (en) Method and system of identifying non-distinctive images/objects in a digital video and tracking such images/objects using temporal and spatial queues
EP3425483B1 (en) Intelligent object recognizer
CN111754254A (zh) 在多媒体中动态创建和插入沉浸式推广内容的系统和方法
CN116325765A (zh) 在消息收发系统内针对视频选择广告
CN114051166A (zh) 在视频中植入广告的方法、装置、电子设备和存储介质
CN114760517B (zh) 图像活动嵌入方法及其装置、设备、介质、产品
US10665266B2 (en) Integrating a prerecorded video file into a video
KR102239877B1 (ko) 3차원 vr 콘텐츠 제작 시스템
US20150332345A1 (en) Advertisement selection and model augmentation based upon physical characteristics of a viewer
US20190259421A1 (en) Tracking interactivity with a prerecorded media file
CN116389849A (zh) 视频生成方法、装置、设备及存储介质
Broll et al. Live Will Never be the Same! How Broadcasting Might Influence the Acceptance and Widespread Usage of Augmented Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant