KR20220051149A

KR20220051149A - Ｅｃ 통합형 메타미디어의 제작 방법, 전송 시스템 및 전송 방법

Info

Publication number: KR20220051149A
Application number: KR1020220045084A
Authority: KR
Inventors: 이미진; 유성삼
Original assignee: 이미진
Priority date: 2020-05-18
Filing date: 2022-04-12
Publication date: 2022-04-26
Also published as: KR20210142258A; KR102476006B1; KR102387978B1

Abstract

[과제] 영상 컨텐츠에 관련한 상품(물품이나 서비스)뿐만이 아니라, 영상 컨텐츠의 제작에 투자되는 여러 가지 리소스도 EC와 직결하여 판매할 수 있는 EC 통합형 메타미디어의 제작 방법, 및 전송 시스템의 제어 방법을 제공한다.
[해결 수단] 본 발명은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠에 EC를 통합하기 위한 기술에 관하여, 영상 컨텐츠의 시청자가, 당해 영상 컨텐츠에 관련한 상품(물품이나 서비스)은, 물론, 당해 영상 컨텐츠의 제작에 투자되는 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)도, 당해 영상 컨텐츠의 시청 화면(시청 사이트)으로부터 직접 구입할 수 있는, 새로운 개념의 EC 모델에 관한 시스템의 제어 방법을 제공한다.

Description

ＥＣ 통합형 메타미디어의 제작 방법, 전송 시스템 및 전송 방법{ELECTRONIC COMMERCE INTEGRATED META-MEDIA GENERATING METHOD, DISTRIBUTING SYSTEM AND METHOD FOR THE ELECTRONIC COMMERCE INTEGRATED META-MEDIA}

본 발명은, 영상 컨텐츠에 EC를 통합하기 위한 기술에 관하여, 영상 컨텐츠의 시청자가 당해 영상 컨텐츠의 표시물을 포함한 당해 영상 컨텐츠의 제작 리소스를 상품으로서 거래할 수 있는 EC(Electronic Commerce)의 UI(User Interface) 기능이 포함된 EC 통합형 메타미디어의 제작 방법, 전송 시스템, 및 전송 방법에 관한 것이다.

덧붙여, 용어 「메타미디어」에 관하여는, 예를 들어, 「멀티미디어·인터넷 사전」(https://www.jiten.com/dicmi/docs/k34/23195.htm 2019년 9월 10일 검색)에는, 「음성이나 텍스트, 화상, 비디오 등의 기성 미디어를 통합하여, 사람이 활용할 수 있도록 한다고 하는 생각의 명칭」이라고 소개되어 있는 바, 본 발명에 있어서는, 「음성이나 텍스트, 화상, 비디오 등의 기성 미디어를 통합한 미디어」라고 해석한다.

［제일의 배경 기술］

본 발명에 있어서의 제1의 배경 기술은, EC에 관한 새로운 모델(형태나 수법, 관련 기술)에 관한 것이다.

우선, 탤런트나 인플루언서가 라이브 동영상을 전송하고, 시청자가 리얼타임으로 질문이나 코멘트를 하면서 상품을 구입할 수 있는 「라이브 코머스」라고 하는 EC 모델이 보급하기 시작했다.

이와 같은 「라이브 코머스」는, EC에 라이브 전송의 동영상을 곱한 것으로, 라이브 동영상을 보면서 상품을 구입할 수 있는 통신 판매 모델이지만, 이미지로서는 TV 쇼핑의 인터랙티브판이라고 말할 수 있고, 시청자는 리얼타임으로 출품자·판매자에 대하여 질문이나 코멘트를 하면서 쇼핑을 할 수 있다.

또한, EC 사이트 내에 배치한 오리지날의 드라마를 인터넷 전송하고, 등장하는 상품을 구입할 수 있는 「드라마 코머스」라고 하는 EC 모델도 보급하기 시작하고 있다.

이와 같은 「드라마 코머스」는, 드라마에서 표시된 상품(예를 들어, 탤런트가 몸에 대거나 사용하거나 하는 상품)에 관하여, 종래의 상품 설명만의 EC 사이트에서는 전해지지 못됐던 소재감이나 실루엣 등을 시청자에 전하는 것이 가능하다며, EC 사이트의 약점을 극복할 수 있는 새로운 대처로서 주목받고 있다.

상술한［제1의 배경 기술］에 관하여는, 특허 문헌 1이나 특허 문헌 2, 특허 문헌 3 등에서 자세하게 소개되어 있고, 우선, 특허 문헌 1에는, 영화가 표시되어 있는 동안에 당해 영화에 관련하는 상업 정보로의 On Demand·액세스를 유저에 제공하여 당해 상업 정보의 발신처인 판매업자와 유저와의 링크 확립을 가능하게 하기 위한 시스템과 방법에 대하여 개시되어 있고, 또한, 특허 문헌 2에는, 화면 상에 표시된 영상에 관련하는 정보를 입수 가능하게 하는 각종 정보 장치나 과금 방법, 프로그램에 대하여 개시되어 있고, 나아가, 특허 문헌 3에는, 비디오 프로그램의 시청자가 비디오 프로그램에 표시되는 제품에 관한 정보에 액세스할 수 있는 인터랙티브인 시청 경험을 제공하기 위한 시스템과 방법이 개시되어 있다.

［제2의 배경 기술］

본 발명에 있어서의 제2의 배경 기술은, 「화상 인식 AI」에 관한 기술이며, AI(Artificial Intelligence：인공지능)를 활용한 기계 학습(Machine Learning)이나 심층 학습(Deep Learning)에 의한 화상 인식(Image Recognition)을 이용한 EC 분야로의 활용 기술에 관한 것이다.

이용자가 스마트폰 등으로 촬영한 상품 화상을 EC 사이트의 검색 기능 등에 업 로드하면 화상 인식에 의하여 카테고리 식별이나 피사체 인식, 특징 검출 등이 행하여지고, 당해 화상 인식에 의한 정보에 기초하여 EC 사이트 중의 상품 화상으로부터 동일 상품이나 유사 상품을 추출하여 추천 상품으로서 표시하는 구조나, EC 사이트 전용의 동영상이나 화상 컨텐츠를 화상 인식 기능에 의하여 간단하게 제작할 수 있는 동영상 편집 시스템 등이 보급되어 있다.

이와 같은 구조나 시스템에는 물체 검출에 관한 기술이 필요하는 바, 근년, 심층 학습을 이용한 물체 검출용의 「화상 인식 AI」에 의하여, 화상 중에 비치는 복수의 물체의 종류의 식별(강아지, 고양이, 자동차 등) 데이터는 물론, 동화상에 있어서의 동 물체의 위치 데이터 등의 정보가, 고속이고 또한 고정밀도로 취득할 수 있게 되었다.

상술한 ［제2의 배경 기술］에 관하여는, 비특허 문헌 1이나 비특허 문헌 2에 있어서 상세하게 설명되어 있고, 최근에는, 이와 같은 「화상 인식 AI」에 관한 고도의 기술을 클라우드 서비스에 의하여 제공하는 기업도 출현하기 시작하고 있다.

예를 들어, 비특허 문헌 3에서는, API(Application Program Interface)를 사용하여, 화상이나 동영상의 분석 기능을 애플리케이션에 추가할 수 있는 서비스가 소개되어 있고, 이와 같은 서비스를 사용하면, 화상이나 동영상에 표시된 복수의 물체를 식별하여 당해 물체에 관한 데이터를 취득할 수 있고, 당해 물체에 관한 데이터에 대한 주석(태그 붙이기)을 용이하게 행할 수 있다.

［제３ 배경 기술］

본 발명에 있어서의 제３ 배경 기술은, 「음성(음향) 워터마크」(Audio Watermark)에 관한 기술이며, 음성 신호에 암호화를 실시한 문자 정보 등을 저장하는 기술에 관한 것이다.

「음성(음향) 워터마크」에 관한 기술을 이용하는 것에 의하여, 텔레비젼이나 라디오, 광고 사이니지(signage), 컨텐츠로부터 발하는 소리에 문자 정보를 삽입하고, 이것을 스마트폰의 마이크를 통하여 취득하여 당해 문자 정보에 기초하는 액션을 리얼타임으로 연동시키는 것 같은 애플리케이션을 구축하는 것이 가능하게 된다.

*상술한 ［제３ 배경 기술］에 관하여는, 특허 문헌 4나 특허 문헌 5에 있어서 자세하게 설명되어 있고, 최근에는, 이와 같은 「음성(음향) 워터마크」에 관한 기술을 SDK(Software Development Kit)에 의하여 제공하는 기업도 출현하기 시작하고 있다.

예를 들어, 비특허 문헌 4에서는, SDK를 사용하여 「음성(음향) 워터마크」기술을 여러 가지 애플리케이션에 짜넣을 수 있는 서비스가 소개되어 있고, 이와 같은 서비스를 사용하면, 텔레비젼 방송 프로그램이나 텔레비젼 커머셜의 내용과 연동한 컨텐츠의 핸들링(세컨드 스크린 및 더블 스크린 시책, T2O2O＜TV to Online to Offline＞)을 용이하게 실시할 수 있다.

［제４ 배경 기술］

본 발명에 있어서의 제４ 배경 기술은, 「DAM」(Digital Asset Management)에 관한 기술이며, 텍스트, 동영상, 사진, 카탈로그 데이터 등의 디지털 컨텐츠를, 플랫폼 등을 이용하고, 일원적으로 관리하기 위한 기술에 관한 것이다.

DAM에 관한 기술을 이용한 시스템은, (1) 여러 가지 디지털 데이터를 집약하여 메타테이터를 부여하고 필요한 정보로의 액세스를 편리화, (2) 전송하는 미디어(Web 사이트, EC 사이트, 카탈로그, SNS 등)에 맞춘 데이터 포맷 변환이나 데이터 사이즈 변경, (3) 저작권이 있는 데이터에 사용 허락 데이터를 관련지은 사용 기한의 관리, (4) 디지털 컨텐츠에 관한 창작적인 제작을 워크플로화한 제작 공정의 원활화, 등을 실현하기 위한 기능을 제공한다.

영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠는, 자금은 물론, 여러가지 리소스(출자자, 감독, 원작자, 극작가, 캐스팅 디렉터, 배우, 성우, 음악 제작자, 연주자, 통역·번역자, 촬영 스탭, 편집 스탭, 조명 스탭, 장식 디자이너, 의상 디자이너, 스타일리스트, 헤어 디자이너, 메이크업 아티스트, 난투 장면 스탭, 스턴트, 엑스트라 등의 사람 또는 법인, 또한, 장면을 촬영하는 로케이션 현장이나 스튜디오 등의 공간, 더욱, 동물이나 차량, 의상, 장식품, 인테리어 등의 소도구, 또한 더욱, 카메라나 조명, CG, 녹음, 편집 등에 이용되는 기재·기술 등)에 의하여 제작되는 곳, 예를 들어, 영상 컨텐츠의 제작에 관하여, DAM에 관한 기술을 이용하여 이들 리소스에 관한 정보를 집약하여 메타테이터를 부여하면, 필요한 정보로의 액세스나, 데이터 포맷의 변환, 데이터 사이즈의 변경이 용이하게 되고, EC 모델에 응한 UI기능을 자동 구축하는 일도 가능하게 된다.

상술한 ［제４ 배경 기술］에 관하여는, 인터넷에 대있어서 많이 소개되어 있고, 예를 들어, 비특허 문헌 5에서는, 브라우저 베이스 파일 관리나 동영상 관리, 동영상 장면 관리·검색, 저작권 정보 관리, 다운로드 제어, 사용 신청 워크플로 등에 관한 기능이 설명되어 있다.

덧붙여, 이상으로 내건 모든 선행 기술 문헌의 내용에 관하여는, 참조에 의하여 본 명세서에 포함된다.

[특허문헌 1] 일본국 공개특허공보 특개평8－287107호 [특허문헌 2] 일본국 공개특허공보 특개2002－334092호 [특허문헌 3] 일본국 공개특허공보 특표2013－511210호 [특허문헌 4] 일본국 공개특허공보 특개2008－058953호 [특허문헌 5] 일본국 공개특허공보 특개2009－268036호

[비특허문헌 1]「처음부터 시작하는 기계 학습」(기계 학습 개요)[2019년9월10일검색], 인터넷<https://qiita.com/taki_tflare/items/42a40119d3d8e622edd2> [비특허문헌 2]「심층 학습에 의한 화상 인식」(Image Recognition by Deap Learning), 일본 로보트 학회잡지[Vol. 35 No. 3 pp. 180~185, 2017] 2017년 4월 [비특허문헌 3] Amazon 「Amazon Rekognition」[2019년 9월 10일 검색], 인터넷<https://aws.amazon.com/jp/rekognition/> [비특허문헌 4] Evixar 「ACR(자동 컨텐츠 인식), 소리 센싱」[2019년 9월 10일 검색], 인터넷<https://www.evixar.com/evixaracr> [비특허문헌 5] Visual Processing Japan 「디지털 어셋 관리」[2019년 9월 10일 검색], 인터넷<http://www.cierto-ccc.com/cierto/function.html#dam>

상술의 [제1의 배경 기술]에 기재한 「라이브 코머스」나 「드라마 코머스」는, 영상 컨텐츠와 연동시키는 EC이며, 주로 상품(물품이나 서비스)을 판매하는 목적으로 제작·전송되기 때문에, 그 시청자 타겟은 당해 상품의 구입 희망자에게 포커스 되지만, 본래의 영상 컨텐츠(영화나 드라마, 애니메이션, 음악 비디오 등)는, 그 스토리성이나 엔터테인먼트성, 예술성 등을 수반하여 제작·배급되기 때문에, 그 시청자 타겟은 당해 영상 컨텐츠의 테마에 의하여 대중 각층의 일반 시청자에게 포커스 되는 것은, 물론, 이와 같은 영상 컨텐츠의 제작에는 전술한 여러 가지 리소스가 투입되어 있기 때문에, 예를 들어, 이들 리소스의 조사나 거래가 당해 영상 컨텐츠의 시청을 개입시켜 용이하게 실시할 수 있다면, 광고나 마케팅, 영상 컨텐츠 제작 등에 관련되는 업계 관계자도 시청자 타겟으로서 포커스 할 수 있는 바,［제1의 배경 기술］이나 ［제2의 배경 기술］에서 내건 선행 기술 문헌에는, 이와 같은 리소스의 조사나 거래에 관한 구체적인 방법이나 기술은 개시되어 있지 않다.

또한, 상술의 ［제1의 배경 기술］에 기재한 「드라마 코머스」에 의한 EC 모델은, 이른바 프로덕트 프레이스먼트(광고 방법의 하나이며, 영화나 텔레비젼 드라마의 극중에 있어서, 배우의 소도구나 배경으로 실재하는 기업명이나 상품명, 상표 등을 표시시키는 수법)와 EC 사이트를 조합한 수법에 관한 것으로, 예를 들어, TV 쇼핑 형태로 드라마의 한 장면을 내걸면서 「이 장면에서 배우의 0000씨가 입고 있던 00000」라고 상품을 소개하면서 판매하는 모델이나, 드라마의 장면에 관련지을 수 있었던 링크로부터 구입에 유도하는 모델 등이 있지만, 어느 쪽도, 시청자가 드라마에 있어서의 여러 가지 장면으로부터 사물(물품이나 서비스, 사람, 공간, 소도구, 기재·기술 등)을 직감적으로 의식한다고 하는 유동성로의 대응 방법에 관하여 과제가 있는 바,［제1의 배경 기술］이나 ［제2의 배경 기술］, ［제３ 배경 기술］, ［제４ 배경 기술］에서 내건 선행 기술 문헌에는, 이와 같은 과제를 해결하기 위한 구체적인 기술, 예를 들어, 「화상 인식 AI」나 「음성(음향) 워터마크」, 「DAM」 등에 관한 기술을 활용한 UI의 구성에 대하여는, 개시되어 있지 않다.

본 발명은, 영상 컨텐츠에 EC를 통합하기 위한 기술에 관하여, 영상 컨텐츠의 시청자가 당해 영상 컨텐츠의 제작에 투자되는 여러 가지 리소스(영상 컨텐츠의 표시물을 포함한다)을 상품으로서 거래할 수 있는 EC의 UI기능이 포함된 EC 통합형 메타미디어의 제작 방법, 전송 시스템, 및 전송 방법의 제공을 목적으로 한다.

［EC 통합형 메타미디어의 제작 및 전송 시스템]

본 발명에 따른 EC 통합형 메타미디어의 전송 시스템은, 영상 컨텐츠의 시청자가 되는 유저가 당해 영상 컨텐츠의 제작 리소스를 상품으로서 거래할 수 있는 EC의 UI 기능이 포함된 EC 통합형 메타미디어의 전송 시스템에 있어서, 유저의 클라이언트 장치에 영상 컨텐츠를 표시하는 영상 컨텐츠 표시 수단과, 상기 영상 컨텐츠에 표시된 장면에 대한 상기 유저에 의한 선택 조작을 상기 클라이언트 장치로 검지하는 장면 선택 조작 검지 수단과, 검지한 상기 선택 조작의 시점에 있어서의 상기 장면의 식별 정보와 장면 화상 데이터를 상기 클라이언트 장치로부터 취득하는 장면 관련 데이터 취득 수단과, 상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터를 학습하여 물체 검출 모델을 작성하는 물체 검출 모델 학습 수단과, 상기 물체 검출 모델을 이용하여, 취득한 상기 장면 화상 데이터에 포함되는 물체를 검출하는 물체 검출 수단과, 취득한 상기 식별 정보에 기초하여 상품 정보를 검색하는 상품 검색 수단과, 상기 상품에 대한 EC 처리를 호출하는 EC 처리 호출 수단을 구비한다.

［EC 통합형 메타미디어의 전송 방법］

본 발명에 따른 EC 통합형 메타미디어의 전송 방법은, 영상 컨텐츠의 시청자가 되는 유저가 당해 영상 컨텐츠의 제작 리소스를 상품으로서 거래할 수 있는 EC의 UI 기능이 포함된 EC 통합형 메타미디어의 전송 방법이고, 유저의 클라이언트 장치에 영상 컨텐츠를 표시하는 스텝과, 상기 영상 컨텐츠에 표시된 장면에 대한 상기 유저에 의한 선택 조작을 상기 클라이언트 장치로 검지하는 스텝과, 검지한 상기 선택 조작의 시점에 있어서의 상기 장면의 식별 정보와 장면 화상 데이터를 상기 클라이언트 장치로부터 취득하는 스텝과, 상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터를 학습하여 물체 검출 모델을 작성하는 단계와, 상기 물체 검출 모델을 이용하여, 취득한 상기 장면 화상 데이터에 포함되는 물체를 검출하는 스텝과, 취득한 상기 식별 정보에 기초하여 상품 정보를 검색하는 스텝과, 상기 상품에 대한 EC 처리를 호출하는 스텝을 포함한다.

본 발명에 의하면, 영상 컨텐츠에 관련한 상품(물품이나 서비스)뿐만이 아니라, 영상 컨텐츠의 제작에 투자되는 자금이나 사람(법인을 포함한다), 공간, 소도구, 기재·기술 등, 영상 컨텐츠의 제작에 관한 리소스(자원)도 EC와 직결하여 판매할 수 있고, 영상 컨텐츠의 제작에 관한 리소스의 조달이 용이하게 될 뿐만 아니라, 영상 컨텐츠에 직결된 EC 매출을 이들 조달처에 배분할 수 있기 때문에, 특히 드라마 제작에 있어서, 스폰서나 방송국이 주도하는 권한 스킴이 해방되고, 제작 지휘자(예를 들어, 감독이나 연출가 등)의 의향이 유연하게 반영된 작품 제작이 가능하게 된다.

[도 1] 실시예 1에 관한 개요도를 도시한다. (대표도)
[도 2] 장면 관리 데이터 작성 과정에 관한 흐름도를 도시한다.
[도 3] 물체 검출 모델 작성 과정에 관한 흐름도를 도시한다.
[도 4] EC 통합형 메타미디어 전송 과정에 관한 흐름도를 도시한다.
[도 5] EC 통합형 메타미디어 전송 과정에 관한 개요도를 도시한다.
[도 6] 상품에 관한 EC 처리 과정에 관한 흐름도를 도시한다.
[도 7] 음성(음향) 워터마크 제어 과정에 관한 흐름도를 도시한다.
[도 8] 편집 정보 공유 파일의 포맷 예를 도시한다.
[도 9] 화상 인식에 관한 기계 학습 모델의 코드예를 도시한다.
[도 10] 물체 검출에 관한 기계 학습 모델의 코드예를 도시한다.
[도 11] 주요 데이터베이스의 구성예를 도시한다.

［발명의 개요］

본 발명은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠에 EC를 통합하기 위한 기술에 관하여, 영상 컨텐츠의 시청자가, 당해 영상 컨텐츠에 관련한 상품(물품이나 서비스)은, 물론, 당해 영상 컨텐츠의 제작에 투자되는 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)도, 당해 영상 컨텐츠의 시청 화면(시청 사이트)으로부터 직접 구입할 수 있는, 새로운 개념의 EC 모델에 관한 시스템의 제어 방법을 제공한다.

본 발명은, 상기의 목적을 달성하기 위하여, 「화상 인식 AI」와 「음성(음향) 워터마크」, 「DAM」 등에 관한 기술을 활용하고, 영상 컨텐츠에 EC를 통합하기 위한 UI를 자동 생성하는 구성에 관하여 개시한다.

구체적으로는, 상술한 ［제1의 배경 기술］과 ［제2의 배경 기술］과 ［제４의 배경 기술］의 기술을 조합하면, 우선, DAM 기술을 이용하는 것으로, 드라마 제작과 관련되는 여러 가지 리소스에 관한 정보를 집약하여 메타테이터를 부여할 수 있고, 필요한 정보로의 액세스가 용이하게 되고, 데이터 포맷의 변환이나 데이터 사이즈를 변경하는 등 하여, 판매 대상에 최적의 UI로 구성한 EC 사이트를 자동 구축할 수 있고, 예를 들어, 유저(일반 시청자=소비자)가 영상 컨텐츠(예를 들어, 드라마)로 직감적으로 흥미를 가진 대상(예를 들어, 배우나 모델 등의 「사람」, 예를 들어, 로케이션을 실시한 관광지나 식당 등의 「공간」, 예를 들어, 의상이나 액세서리 등의 「소도구」 등)이 출현한 장면을 당해 UI에 의하여 보존해 놓고, 나중에 당해 UI를 사용하여 당해 보존한 장면을 호출하면, 화상 인식 AI에 의하여 당해 장면 내에 존재하는 상기 리소스(대상을 포함한다)이 인식되어 테두리가 만들어지고, 유저는, 흥미를 가진 대상을 선택하는 것으로, 당해 대상에 관한 정보를 얻거나 당해 대상을 구입할 수 있다고 하는, 영상 컨텐츠에 통합화된 EC 사이트를 제공하는 것이 가능하게 된다.

또한, 상기의 조합에 ［제３ 배경 기술］을 조합하면, 상기 드라마 제작의 포스트·프로덕션 단계에서, 각 장면을 식별하기 위한 ID(식별자)를 「음성(음향) 워터마크」기술에 의해 당해 드라마의 음향에 비가청음으로 장치할 수 있기 때문에, 예를 들어, 쇼핑 몰의 TV에서 당해 드라마가 재생되어 있고, 유저가 직감적으로 흥미를 가진 대상이 출현하였을 때에 스마트폰을 당해 TV를 향하면, 당해 스마트폰에 탑재된 전용 앱이 마이크를 통하여 당해 드라마의 음향에 장치된 「음성(음향) 워터마크」로부터 ID가 취득되는 것과 함께, 센터 서버에 송신되고, 당해 송신된 ID에 대응하는 장면(스마트폰을 향한 시점의 장면, 즉, 유저가 직감적으로 흥미를 가진 대상이 출현한 장면에 상당)을 표시한 상기 EC 사이트를 호출할 수 있고, 유저가, 화상 인식 AI에 의하여 테두리가 만들어진 당해 장면 내에 존재하는 상기 리소스로부터 당해 대상을 선택하고, 당해 대상에 관한 정보를 얻거나 당해 대상을 구입할 수 있도록 구성할 수도 있다.

본 발명에 의하면, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠의 제작에 투자되는 자금이나 사람(법인을 포함한다), 공간, 소도구, 기재·기술 등, 영상 컨텐츠의 제작에 관한 리소스(자원)도 EC와 직결하여 판매할 수 있고, 영상 컨텐츠의 제작에 관한 리소스의 조달이 용이하게 된다.

또한, 본 발명에 의하면, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠에 직결된 EC 매출을 이들 조달처에 배분할 수 있기 때문에, 특히 드라마 제작에 있어서, 스폰서나 방송국이 주도하는 권한 스킴이 해방되고, 제작 지휘자(예를 들어, 감독이나 연출가 등)의 의향이 유연하게 반영된 작품 제작이 가능하게 된다.

나아가, 본 발명에 의하면, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠의 시청자(소비자)가, 예를 들어, 드라마에서 직감적으로 흥미를 가진 대상이 출현한 장면을 UI에 의여 보존해 놓고, 나중에, 보존한 당해 장면을 호출하고, 당해 장면의 화상으로부터 흥미를 가진 대상을 선택하는 것으로, 당해 대상에 관한 정보를 얻거나 당해 대상을 구입할 수 있다고 하는, 영상 컨텐츠(드라마)에 통합화된 EC 사이트를 제공하는 것이 가능하게 된다.

덧붙여, 본 발명의 실시예 1은, 전용의 시청 시스템에 의하여, 시청 중의 영상 컨텐츠 내의 사물(상품)을 시청 장면으로부터 용이하고 또한 다이렉트로 구입할 수 있는 EC 기능이 통합화된 메타미디어를 전송하는 것을 특징으로 하고, 본 발명의 실시예 2에서는, 전용의 시청 시스템을 필요로 하지 않고, 영상 컨텐츠 내에서 판매되는 상품을 장면으로부터 용이하고 다이렉트하게 구입할 수 있는 EC 기능인 것을 특징으로 한다.

[실시예 1]

이하, 본 발명의 실시예 1에 관하여 상세하게 설명한다.

본 발명의 실시예 1은, ［장면 관리 데이터 생성 과정］과 ［물체 검출 모델의 작성 과정］과 ［EC 통합형 메타미디어 전송 과정］과 ［상품에 관한 EC 처리 과정］에 의하여 구성된다.

우선, ［장면 관리 데이터 생성 과정］은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠 제작에 투자되는 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)을 상품화하고, 시청자가 EC(Electric Commerce)에 의하여 용이하게 구입할 수 있도록 하기 위하여, 당해 리소스를 판매할 수 있는 모든 리소스를 상품으로서 파악하고, 당해 상품에 관한 정보와 당해 상품에 대한 EC 처리 구분(구입이나 계약 등, 상품의 거래 형태에 의하여 EC 처리의 구성이 정해진다)을 생성, 기록하는 과정이다.

덧붙여, 상기와 같은 영상 컨텐츠는, 제작이 결정될 단계에 있어서, 어떤 리소스를 던질까 면밀하게 계획되기 때문에, 당해 리소스의 조달 방법에 관하여도 명확한 정보에 기초하여 행하여지기 때문에, 상기 EC 처리 순서는 당해 조달 방법에 관한 정보에 기초하여 결정된다.

구체적으로는, (1) 상품(판매할 수 있는 리소스)에 관한 정보(상품의 상세 정보와 상품에 대한 EC 처리 구분에 관한 정보이고, 화상이나 소리, 문자, 기호 등의 디지털 테이터로 구성된다)를 포함한 EC 상품 테이블이 생성되는 것과 함께, 상품 관리 DB와 관련지을 수 있는 제1 처리, (2) 비디오 촬영(수록)하는 제2 처리, (3) 비디오 편집 소프트웨어(예시)에 의하여, 당해 촬영(수록)된 비디오로부터 XML파일을 생성하는 제3 처리(장면 ID를 기록), (4) 당해 XML파일로부터 포맷 변환 프로그램(자사)에 의하여, 장면 관리 파일을 생성하는 제4 처리, (5) 당해 장면 관리 파일에 기초 정보(예시)에 관한 노드(node)를 추가하는 제5 처리, (6) 정보·상품 등록 프로그램(자사)에 의하여, 편집된 비디오의 장면마다 동적 정보(예시)와 상품 ID를 등록(노드의 추가)하는 제6 처리, (7) 장면 데이터 생성 프로그램(자사)에 의하여, 당해 등록 후의 장면 관리 파일로부터 각 장면의 데이터(기본 정보, 동적 정보, 상품 ID 등)에 장면 ID를 붙이고, 이것을 장면 데이터로서 DB화하기 위하여, 장면 데이터 관리 DB에 등록하는 제7 처리, (8) 비디오 데이터 보존 프로그램에 의하여, 최종 편집 비디오에 비디오 ID를 붙이고, 이것을 공개용 비디오 데이터로서 DB화하기 위하여, 비디오 관리 DB에 보존되는 제8 처리에 의하여,［장면 관리 데이터 생성 과정］이 구성된다.

덧붙여, 상기(2) 비디오 촬영(수록)에 관하여는, 예를 들어, 제3자(영상 컨텐츠의 제3자)에 의하여 수록된 영상 컨텐츠의 비디오 데이터를 입수할 수 있으면, 반드시, ［장면 관리 데이터 생성 과정］에 포함되지 않아도 무방하다.

다음으로, ［물체 검출 모델 작성 과정］은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠의 여러 가지 장면에 있어서, 시청자가 직감적으로 의식한 사물(물품이나 서비스, 사람, 공간, 소도구, 기재·기술 등)이 EC 대상 상품에 속하는지 여부를 순간에 판별하는 「화상 인식 AI」의 능력을 높이는 과정이다.

구체적으로는, (1) 학습 모델 작성 프로그램에 의하여, 편집된 비디오의 각 장면과 장면 데이터, 상품 데이터로부터 학습 데이터를 작성하는 제1 처리, (2) 작성된 학습 데이터에 의한 기계 학습으로 학습 모델을 높이면서, 당해 학습 모델의 검출 정밀도를 판정하는 제2 처리, (3) 검출 정밀도가 일정 이상이 된 학습 모델(상품 ID가 포함된다)을 출력 하는 것과 함께, 전용 보존 파일에 보존하는 제3 처리에 의하여 구성된다.

또한, ［EC 통합형 메타미디어 전송 과정］은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠 제작에 투자되는 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)을 상품화할 수 있는 EC 기능을 당해 영상 컨텐츠 자체에 통합한 메타미디어를 전송하는 과정이다.

구체적으로는, (1) 유저가 PC나 스마트폰 등으로(예를 들어, 브라우저의 포털 사이트에서 소개되어 있는 「EC 통합형 메타미디어 전송 서비스」에 관한 링크를 클릭/터치하고) 센터 시스템에 액세스 하면, 센터 시스템으로부터 「EC 통합형 메타미디어 전송 사이트」가 리다이렉트(redirect)되는 제1 처리, (2) 유저가 「EC 통합형 메타미디어 전송 사이트」에서 소개되어 있는 비디오(영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠)로부터 좋아하는 것을 선택하면, 전용 비디오 플레이어가 유저의 PC나 스마트폰 등에 다운로드되는 제2 처리, (3) 유저가 전용 비디오 플레이어의 재생 버튼을 클릭/터치하면, 선택된 비디오가 재생(시청)되는 제3 처리, (4) 비디오 재생 중에 장면 선택 조작(예를 들어, 유저에 의하여 화면이 클릭/터치)되면, 그 시점의 장면 식별 정보(비디오 ID, 타임 코드 등)나 당해 장면의 화상 데이터가 센터 시스템에 의하여 취득되는 제4 처리, (5) 장면 식별 정보에 의하여, 장면 데이터 관리 DB로부터 장면 데이터(장면 ID, 기본 정보, 동적 정보, 상품 ID리스트 등)가 취득되는 제5 처리, (6) 취득된 장면 데이터의 상품 ID리스트에 기초하여 상품 데이터 관리 DB가 검색되어, 상품 ID가 검증(재고 유무의 확인 등)되는 제6 처리, (7) 장면 화상 데이터에 기초하는 물체 검증 처리(학습 모델에 의한 추론)에 의하여, 장면 화상에 포함되는 상품 ID리스트가 검출되는 제6 처리, (8) 제6 처리의 검증된 상품 ID리스트와 제7 처리의 상품 ID리스트가 조합되고, 일치한 상품 ID의 상품 화상에 UI처리(구형 및 링크 붙임 등)를 하는 제8 처리, (9) 유저가 구형을 클릭/터치하면, 해당하는 상품이 추출되고 표시되는 제9 처리에 의하여 구성된다.

덧붙여, 상기 전용 비디오 플레이어의 제공에 관하여는, 전용의 Web 애플리케이션을 브라우저로 가동시키는 방법이나, 유저가 전용의 애플리케이션을 스마트폰에 인스톨하고 가동시키는 방법이 있다.

그리고, ［상품에 관한 EC 처리 과정］은, EC 통합형 메타미디어의 시청자에 의하여 각 장면에 포함된 상품이 EC 기능에 의하여 구입되고, 당해 구입에 대한 매출의 수익이 상품 공급원뿐만이 아니라, 당해 영상 컨텐츠의 제작자에게도 배당되는 과정이다.

구체적으로는, (1) 상술한 ［EC 통합형 메타미디어 전송 과정］의 제9 처리에 의하여 표시된 상품에 대한 EC 처리의 종별(구입, 계약, 입찰 등)이 유저에 의하여 결정(메뉴 선택 등)되는 제1 처리, (2) 상품 정보가 표시되어 유저에 의한 상품 구입이 결정되는 제2 처리, (3) 유저에 의하여 주문 정보가 입력되고 지불 처리를 하는 제3 처리, (4) 수주 정보가 센터 시스템에 송신되는 제4 처리, (5) 주문 정보(배송처나 배송 조건, 지불 조건이나 결제정보)가 센터로부터 상품 공급원에 송신되는 제5 처리, (6) 주문 정보에 기초하여, 상품 공급원으로부터 유저에게 상품이 배송되는 제6 처리, (7) 상품 대금이 상품 공급자에게, 배당금이 제작자에게, 마진이 센터에 입금되는 제7 처리에 의하여 구성된다.

덧붙여, 상술한 각 과정에 있어서의 각 처리를 실시하기 위한 서버 전용 프로그램이나 클라이언트(PC나 스마트폰 등) 전용 애플리케이션에 관하여는, JAVA나 C, C++, JavaScript, python 등에 의하여 개발할 수 있지만, 범용의 소프트웨어로서, 예를 들어, 비디오 편집에 관하여는, Blackmagic Design - DaVinch Resolve (AFF, XML), SONY - VEGAS Pro (AAF) 등을, 또한, 예를 들어, 음성(음향) 워터마크 제어에 관하여는, 비특허 문헌 4에서 소개되어 있는 Evixar사의 SDK를 이용하여도 무방하다.

도 1은, 본 발명에 의하여 실현되는 「EC 통합형 메타미디어의 작성 방법, 및 전송 시스템」의 개요도를 도시한다.

덧붙여, 도 1에 있어서 (*)표시를 붙인 약어의 원문에 관하여는, 이하와 같다.

［MAIN SYSTEM］에 대하여,

APP*= APPLICATION

DBM*= DB MANAGEMENT

［APP* SERVER］에 대하여,

ATP* = Authentication Process

VED* = Video Edit

FMX* = Format Exchange

IGR* = Info & Goods Register

SDG* = Scene Data Generator

VDS* = Video Data Storage

LMC* = Learning Model Creator

VDP* = Video Player

*WMC* = Watermark Control

［DBM* SERVER］에 대하여,

USR* = User

PRD* = Producer

SPL* = Supplier

GDD* = Goods Data

SCD* =Scene Data

VDD* = Video Data"

이하, 도 1의 기호 ［A］로 나타낸 본 발명을 구성하는 주요한 처리 과정에 관하여, 도 1과 당해 각 처리 과정에 관한 상세도를 사용하여 설명한다.

［장면 관리 데이터 생성 과정］

도 2는, 도 1의 기호 ［A］에 기재된 ［장면 관리 데이터 생성 과정］(SMDG：Scene Management Data Generation)에 관한 처리 흐름도이다.

우선, ［장면 관리 데이터 생성 과정］은, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠 제작에 투자되는 여러 가지 리소스(출자자, 감독, 원작자, 극작가, 캐스팅 디렉터, 배우, 성우, 음악 제작자, 연주자, 통역·번역자, 촬영 스탭, 편집 스탭, 조명 스탭, 장식 디자이너, 의상 디자이너, 스타일리스트, 헤어 디자이너, 메이크업 아티스트, 난투 장면 스탭, 스턴트, 엑스트라 등의 사람 또는 법인, 또한, 장면을 촬영하는 로케이션 현장이나 스튜디오 등의 공간, 더욱, 동물이나 차량, 의상, 장식품, 인테리어 등의 소도구, 또한 더욱, 카메라나 조명, CG, 녹음, 편집 등에 이용되는 기재·기술 등)을 상품화하여, 시청자가 EC 기능에 의하여 용이하게 구입할 수 있도록 하기 위하여, 당해 리소스를 판매할 수 있는 모든 리소스를 상품으로서 파악하고, 당해 상품에 관한 정보와 당해 상품에 대한 EC 처리의 종별(예를 들어, 당해 상품의 구입, 당해 상품이 사람이나 설비, 기술 등의 거래였을 경우의 계약, 당해 상품이 옥션에 출품되어 있는 경우의 입찰 등, 상품의 거래 형태에 맞은 EC 처리의 실시 구성을 호출하기 위한 정보)을 생성, 기록하는 과정이고, 주요 8 스텝의 처리에 의하여 구성된다.

도 2의 (1)로 나타낸 제1 스텝에서는, 본 발명에 있어서의 EC 통합형 메타미디어에 의하여 판매할 수 있는 상품(판매할 수 있는 상기 리소스의 사물)에 관한 정보(상품의 상세 정보와 상품에 대한 EC 처리 종별에 관한 정보이고, 화상이나 소리, 문자, 기호 등의 디지털 데이터로 구성된다)를 포함한 EC 상품 데이터(7240)에 의하여 EC 상품 테이블(6230)이 생성되고, 상품 데이터 등록 처리에 의하여, 당해 EC 상품 테이블(6230)의 EC 상품 ID가 상품 데이터 관리 DB(5210)에 등록된다.

덧붙여, 상기 상품 데이터 관리 DB(5210)와 EC 상품 테이블(6230)의 구성예를 도 10에 도시한다.

도 2의 (2)로 나타낸 제2 스텝에서는, 도 1에서 나타낸 상품(제작 리소스) 공급원(1400)으로부터 대여나 투자나 기부 등으로 제공된 리소스를 사용한 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠가, 영상 컨텐츠 제작자(1300)에 의하여 촬영되는 것과 함께, 수록된 비디오 데이터(2400)가 센터(1100)에 송신(우송으로도 무방하다)된다.

상기 비디오 데이터(2400)는, 센터(1100)에 있어서, EC 통합형 메타미디어 전송에 포함(임베디드, 삽입)된다.

도 2의 (3)으로 나타낸 제3 스텝에서는, 상기 제2 스텝에서 센터(1100)에 송신된 비디오 데이터(2400)가, 비디오 편집 소프트웨어(3210)(도 1에 있어서의 VED* SW)에 의하여, 편집 정보 공유 파일(6210)(예를 들어, XML 형식에 의한다)이 출력된다.

덧붙여, 상기 편집 정보 공유 파일(6210)에는, EC 통합형 메타미디어의 생성에 필요한 기초 정보(비디오나 장면에 관한 정보 등)가 포함되는 바, 그 포맷 예를 도 8에 도시한다.

도 2의 (4)로 나타낸 제4 스텝에서는, 상기 제3 스텝에서 출력된 상기 편집 정보 공유 파일(6210)로부터, 포맷 변환 프로그램(3220)(도 1에 있어서의 FMX* PG)에 의하여, 장면 관리 파일(6220)이 생성된다.

덧붙여, 상기 장면 관리 파일(6220)에는, EC 통합형 메타미디어 전송으로 필요한 장면에 관한 모든 정보가 기록된다.

도 2의 (5)로 나타낸 제5 스텝에서는, 상기 제4 스텝에서 생성된 상기 장면 관리 파일(6220)에 기초 정보(예를 들어, 영상의 설명, 드라마나 시합의 정보, 이벤트명이나 개최 일시 등, 비디오 전체로 일정한 정보)에 관한 노드(데이터를 계층화하여 표현하는 문서에 있어서의 태그)가 추가된다.

도 2의 (6)으로 나타낸 제6 스텝에서는, 상기 제5 스텝에서 기본 정보가 추가된 상기 장면 관리 파일(6220)에 대하여, 정보·상품 등록 프로그램(3230)(도 1에 있어서의 IGR* PG)에 의하여, 편집된 비디오의 장면마다 동적 정보(예를 들어, 촬영 장소, 악곡, 장면의 설명 등, 장면마다 바뀌는 정보, 도 10에 구성예를 도시한다)와 상품 데이터 관리 DB(5210)의 상품 데이터(7210)의 상품 ID가 등록(노드의 추가)된다.

도 2의 (7)로 나타낸 제7 스텝에서는, 상기 제 6 스텝에서 동적 정보가 추가된 상기 장면 관리 파일(6220)로부터, 장면 데이터 생성 프로그램(3240)에 의하여, 각 장면의 데이터(기본 정보, 동적 정보, 상품 ID 등)가 추출되는 것과 함께, 장면 ID가 붙여지고, 장면 데이터(7220)로서, 장면 데이터 관리 DB(5220)에 등록된다.

도 2의 (8)로 나타낸 제8 스텝에서는, 비디오 보존 프로그램(3250)에 의하여, 상기 제3 스텝 처리로 편집된 비디오 데이터(2410)의 최종 편집판에 비디오 ID가 붙여지고, 비디오 데이터(7230)(공개용 비디오 데이터)로서, 비디오 데이터 관리 DB(5230)에 보존된다

［물체 검출 모델 작성 과정］

도 3은, 도 1의 기호 ［A］에 기재된 ［물체 검출 모델 작성 과정］(ODMC：Object Detection Model Creation)에 관한 처리 흐름도이다.

우선, ［물체 검출 모델 작성 과정］은, 또한, 물체 검출 모델 작성 과정에 있어서의 제2 처리는, 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠의 시청자가, 당해 영상 컨텐츠의 여러 가지 장면에 있어서, 직감적으로 의식한 사물(물품이나 서비스, 사람, 공간, 소도구, 기재·기술 등)이 EC 대상 상품으로서 구입이나 구입을 위한 정보 열람 등을 할 수 있는지 여부에 관하여 용이하게 판단할 수 있는 UI(User Interface)를 당해 시청자에게 제공하기 위한 시스템 구축에 필요한 물체 검출에 관한 AI 기능을 부가하는 것과 함께, 이것을 높이기 위한 과정이고, 주요 3 스텝의 처리에 의하여 구성된다.

도 3의 (1)로 나타낸 제1 스텝에서는, 학습 모델 작성 프로그램(3310)(도 1에 있어서의 LMC* PG)에 의하여, ［장면 관리 데이터 생성 과정］의 제8 스텝 처리에 있어서 비디오 데이터 관리 DB(5230)에 공개용으로서 보존된 비디오 데이터(7230)의 각 장면과 장면 데이터 관리 DB(5220)에 보존된 장면 데이터(7220)과, 상품 데이터 관리 DB(5210)에 보존된 상품 데이터(7210)로부터 기계 학습을 위한 학습용 데이터가 작성된다.

도 3의 (2)로 나타낸 제2 스텝에서는, 제1 스텝에서 작성된 상기 학습용 데이터를 사용한 기계 학습에 의하여 학습 모델의 정밀도를 높이면서, 당해 학습 모델의 검출 정밀도가 판정된다.

도 3의 (3)으로 나타낸 제3 스텝에서는, 상기 제 2 스텝에 있어서의 기계 학습으로 상기 학습 모델의 정밀도가 일정 이상이 되면, 당해 일정 이상의 정밀도가 된 학습 모델이, 학습된 학습 모델 데이터(7310)로서, 학습 모델 보존 파일(6310)에 보존된다.

여기서, 상기와 같은 학습 모델 작성 프로그램에 이용하는 라이브러리에 관하여는, 서적은 물론, 인터넷 등으로 많이 소개되어 있고, 예를 들어, Python로 쓰여진 Keras는, TensorFlow 또는 CNTK, Theano 상에서 실행 가능한 고수준의 뉴럴 네트워크(neural network) 라이브러리로서 신속한 실험을 가능하게 하는 것에 중점을 두어 개발되고, 넓고 일반적으로 공개되어 있는 바, ＜https://employment.en-japan.com/engineerhub/entry/2017 /04/28/110000#3-Inception-v3 모델을 이용한 화상 인식＞［2019년 9월 10일 검색］에 있어서, 동물(강아지와 고양이)의 화상 인식에 관한 실행 스크립트가 소개되어 있고, 또한, 그 실행 결과인 학습 모델도 게재되어 있고, 또한, 예를 들어, Python 전용의 심층 학습용 라이브러리로서 PyTouch가 있고, <https://github.com/amdegroot/ssd. pytorch/blob/master/ssd.py>［2019년 9월 10일 검색］에 있어서, 딥 물체 검출을 위한 코드도 소개되어 있기 때문에, 상기 화상 인식에 관한 기계 학습의 코드예를 도 9에, 또한 상기 물체 검출에 관한 기계 학습의 코드예를 도 10에 도시한다.

［EC 통합형 메타미디어 전송 과정］

도 4는, 도 1의 기호 ［A］에 기재된 ［EC 통합형 메타미디어 전송 과정］(ECIMD： EC integrated Meta-media Distribution)에 관한 처리 흐름도이다.

상술한 라이브 코머스나 드라마 코머스 등은, 이미 일반 판매되어 있는 상품이나 향후 일반 판매되는 신제품 등을 프로모션하기 위하여 영상 컨텐츠를 전송하고 있는 바, 당해 영상 컨텐츠의 전송 시스템과 당해 상품이나 신제품의 판매 시스템은 분리되고, 단순한 링크 제휴에 그치고 있고, 또한, 취급 상품에 관하여도, 반드시, 거기서 밖에 구입할 수 없다고 하는 것은 아니다.

본 발명에 있어서의 ［EC 통합형 메타미디어 전송 과정］은, 영화나 드라마, 애니메이션, 음악 비디오 등 영상 컨텐츠의 시청자가, 그 시청 시스템으로부터 용이하고 또한 다이렉트하게 상품을 구입할 수 있는 EC 기능을 당해 영상 컨텐츠에 통합화한 메타미디어를 전송하는 시스템이고, 당해 영상 컨텐츠 제작에 투자되는 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)도 EC 대상 상품으로서 구입할 수 있는 메타미디어를 전송하는 과정이고, 주요 9 스텝의 처리에 의하여 구성된다.

도 4의 (1)로 나타낸 제1 스텝에서는, 유저(1200)가, PC(2310)나 스마트폰(2320) 등의 클라이언트 장치에 있어서, 예를 들어, 브라우저의 포털 사이트에서 소개되어 있는 「EC 통합형 메타미디어 전송 서비스」에 관한 링크를 클릭(터치)하고, 센터 시스템(2200)에 액세스하면, 「EC 통합형 메타미디어 전송 사이트」가 리다이렉트된다.

도 4의 (2)로 나타낸 제2 스텝에서는, 예를 들어, 유저(1200)가 상기 제1 스텝에서 리다이렉트된 상기 「EC 통합형 메타미디어 전송 사이트」에서 소개되어 있는 비디오(영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠)로부터 좋아하는 것을 선택하면, 전용 비디오 플레이어(2420)가, 센터 시스템(2200)으로부터 유저(1200)의 PC(2310)나 스마트폰(2320) 등의 클라이언트 장치에 다운로드된다.

덧붙여, 상기의 전용 비디오 플레이어(2420)의 제공에 관하여는, 전용의 Web 애플리케이션을 브라우저로 가동시키는 방법이나, 유저가 전용의 애플리케이션을 스마트폰에 인스톨하고 가동시키는 방법이 있다.

도 4의 (3)으로 나타낸 제3 스텝에서는, 유저(1200)에 의하여, 예를 들어, 상기 전용 비디오 플레이어(2420)의 재생 버튼이 클릭(터치)되면, 당해 선택된 비디오의 재생(유저에 의하여 시청)이 개시된다.

도 4의 (4)로 나타낸 제4 스텝에서는, 상기 제3 스텝의 유저 조작으로 재생이 개시된 상기 전용 비디오 플레이어(2420)로 재생 중의 비디오에 대하여, 장면 선택 조작으로서, 예를 들어, 재생 중의 비디오 화면이 유저(1200)에 의하여 클릭(터치)되면, 당해 클릭(터치)의 시점에 있어서의 장면 식별 정보(7410)(비디오 ID, 장면 ID, 타임 코드 등을 포함한다)와 당해 장면의 장면 화상 데이터(7420)가 센터 시스템(2200)에 의하여 취득된다.

덧붙여, 상기 센터 시스템(2200)에 의한 취득 방법에 관하여는, 상기 장면 선택 조작에 의하여, 예를 들어, 상기 전용 비디오 플레이어(2420)가 상기 장면 식별 정보(7410)와 장면 화상 데이터(7420)를 취득하고, 이것을 센터 시스템(2200)으로 송신하는 방법이나, 예를 들어, 센터 시스템(2200)이, 당해 전용 비디오 플레이어(2420)에 있어서의 비디오 재생에 관한 정보를 감시해 놓고, 당해 장면 선택 조작의 시점에서, 당해 장면 식별 정보(7410)와 당해 장면 화상 데이터(7420)를 직접 취득하는 방법이나, 예를 들어, 당해 장면 식별 정보(7410)만을 취득하고, 상술한 ［장면 관리 데이터 작성 과정］에 있어서 비디오 데이터 관리 DB(5230)(도 2(8))에 보존된 당해 장면 식별 정보(7410)의 비디오 ID에 대응하는 비디오 데이터를 추출 하는 것과 함께, 당해 추출한 비디오 데이터로부터 당해 장면 식별 정보(7410)의 장면 ID에 의하여 추출할 수 있는 장면 데이터를 당해 장면 화상 데이터(7420)의 대용 데이터로 하는 방법 등이 있다.

도 4의 (5)로 나타낸 제5 스텝에서는, 상기 제4 스텝에서 센터 시스템(2200)에 의하여 취득된 상기 장면 식별 정보(7410)(비디오 ID, 장면 ID, 타임 코드 등을 포함한다)에 기초하여, 장면 데이터 검색 처리가 행해지고, 장면 데이터 관리 DB(5220)로부터 해당하는 장면 데이터(비디오 ID, 장면 ID, 기본 정보, 동적 정보, 상품 ID 리스트 등을 포함한다)가 취득된다.

도 4의 (6)으로 나타낸 제6 스텝에서는, 상기 제4 스텝에 있어서 취득된 상기 장면 데이터에 포함된 상품 ID 리스트(7430)에 대한 상품 데이터 조회 처리, 즉, 당해 상품 ID 리스트(7430)에 기초하여 상품 데이터 관리 DB(5210) 내의 상품 데이터가 검색되고, 당해 상품 ID 리스트(7430)의 상품 데이터가 존재하는지 여부가 조회되는 것으로, 당해 상품 ID 리스트가 검증(해당 상품의 재고 유무도 확인할 수 있다)된다.

도 4의 (7)로 나타낸 제7 스텝에서는, 상기(제5 스텝의 처리와 동시에) 제4 스텝에 있어서 취득된 상기 장면 화상 데이터(7420)에 기초하는 물체 검출 처리(학습 모델에 의한 추론 처리)에 의하여, 당해 장면 화상 데이터(7420)에 포함되는 상품 ID 리스트(7440)가 검출된다.

도 4의 (8)로 나타낸 제8 스텝에서는, 상기 제6 스텝의 상품 데이터 조회 처리에 의하여 검증된 상품 ID 리스트(7430)와 제7 스텝의 물체 검증 처리에 의하여 검출된 상품 ID 리스트(7440)가 조합되고, 상품 ID의 존재 판정(예를 들어, 당해 상품 ID 리스트(7440)에 포함되는 상품 ID가, 당해 상품 ID 리스트(7430)에 존재하는지 여부를 판정)에 의하여 존재가 확인된 상품 ID의 상품 화상(상기 장면 화상 데이터(7420)에 포함되는 상품 화상)에 대한 UI 처리(당해 상품 화상에 대한 구형 묘화 처리, 및 상품 ID에 의한 상품 데이터 취득용의 링크 붙임 등)가 행하여지고, UI 처리된 장면 화상 데이터(7460)가 생성된다.

도 4의 (9)로 나타낸 제9 스텝에서는, 상기 제8 스텝에서 UI 처리된 상기 UI 처리된 장면 화상 데이터(7460)(복수 존재할 가능성이 있다)가 PC(2310)나 스마트폰(2320) 등의 상기 클라이언트 장치에 송신되어 표시되고, 당해 표시된 UI 처리된 장면 화상 데이터(7460)에 대하여, 상기 유저(1200)에 의하여, 예를 들어, 당해 UI 처리된 장면 화상 데이터(7460)에 포함된 상품 화상의 구형 범위가 클릭(터치)되면, 당해 상품 화상에 해당하는 상품 데이터가 상품 데이터 관리 DB(5210)로부터 추출되어 표시된다.

상기의 ［EC 통합형 메타미디어 전송 과정］은, 본 발명에 있어서의 중요한 구성 요소인 바, 도 4의 처리 흐름도에 의한 설명에 더하여, 도 1의 기호 ［B］([EC PROCESS]를 제외)로 나타낸 클라이언트 측에 있어서의 구체적인 실시 이미지에 관하여, 도 5의 개요도에 기재된 번호 (1) ~ (7)(제휴 처리에는 같은 번호를 붙였다)를 사용하여 설명한다.

［EC 통합형 메타미디어 전송 과정(제2 설명)］

도 5(1)의 처리 과정에서는, 유저(1200)가, PC(2310)나 스마트폰(2320) 등의 클라이언트 장치(2300)로부터, 「EC 통합형 메타미디어 전송 사이트」에 액세스 하고, 비디오(영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠)를 선택하면, (1) 전용 비디오 플레이어(2420)에 의하여 당해 비디오가 재생된다.

도 5(2)의 처리 과정에서는, 유저(1200)가, 상기 재생 중의 비디오로 직감적으로 흥미를 가진 장면에 있어서, 예를 들어, 당해 비디오의 장면 화상을 터치(클릭)하면, 당해 터치(클릭) 시점의 당해 장면 화면에 관한 장면 식별 정보(7410)와 장면 화상 데이터(7420)가 센터의 메인 시스템(2200)으로 송신(취득)된다.

덧붙여, 상기의 유저(1200)에 의한 조작(장면 선택 조작)은, 상기 비디오 재생을 중단(일시 정지) 또는 정지하는 일 없이, 또한, 비디오의 재생 중에 몇 번이라도, 실시할 수 있도록 구성할 수 있다.

여기서, 상기 센터의 메인 시스템(2200)으로 송신(취득)된 장면 식별 정보(7410)는, 당해 메인 시스템(2200)에 의하여, 상술의 ［EC 통합형 메타미디어 전송 과정］에 있어서의 제5 스텝으로부터 제8 스텝까지의 처리에 의하여, UI 처리된 장면 화상 데이터(7460)가 생성된다.

또한, 상술의 장면 선택 조작이 여러 차례 행하여지고 있었을 경우에는, 당해 조작에 의하여 송신된 상기 UI 처리된 장면 화상 데이터(7460)를 장면 식별 정보 보존 파일(7450)에 보존되도록 구성하여도 무방하다.

도 5(3)의 처리 과정에서는, 예를 들어, 유저(1200)가, 상기 비디오 재생을 중단(일시 정지) 또는 정지하고, 예를 들어, 장면 호출 조작을 행하면, 상기 장면 식별 정보 보존 파일(7450)로부터 상기 장면 보존 조작으로 보존된 UI 처리된 장면 화상 데이터(7460)가 클라이언트 장치(2300)로 송신되고, 당해 UI 처리된 장면 화상 데이터(7460)가 다수 있는 경우, 예를 들어, 최초의 UI 처리된 장면 화상 데이터가 클라이언트 장치(표시 화면)의 메인 에어리어에 표시되고, 나머지의 UI 처리된 장면 화상 데이터가 섬네일 형식으로 사이드 에어리어에 표시된다.

도 5(4)의 처리 과정에서는, 유저(1200)가, 상기 클라이언트 장치(2300)에 표시된 당해 UI 처리된 장면 화상 데이터(7460)(복수 존재)의 섬네일의 어느 하나를 선택(터치나 클릭)하면, 당해 선택된 UI 처리된 장면 화상 데이터(7460)가 상기 메인 에어리어에 표시된다.

도 5(5)의 처리 과정에서는, 유저(1200)가, 상기 선택된 UI 처리된 장면 화상 데이터(7460)에 포함된 구형 처리(구형으로 둘러싸인)된 물체 화상(복수 존재)으로부터 어느 하나를 선택(구형 범위 내를 터치 또는 클릭)하면, 당해 선택된 당해 물체 화상에 대응하는 링크 데이터(상품 ID를 포함한다)가 센터 시스템(2200)에 송신되어 당해 링크 데이터의 상품 ID에 기초하여 상품 데이터 관리 DB로부터 해당하는 상품 데이터가 추출되는 것과 함께, 당해 추출된 상품 데이터가 상기 클라이언트 장치(2300)에 송신된다.

도 5(6)의 처리 과정에서는, 상기 클라이언트 장치(2300)에 송신된 상기 상품 데이터의 상품 정보가 당해 클라이언트 장치(2300)에 표시되고, 당해 상품에 대한 EC 처리의 종별(예를 들어, 상품에 대한 상세 정보의 확인이나, 상품에 관한 문의, 상품의 구입 등)이 상기 유저(1200)에 의하여 선택되면, 당해 선택 EC 처리로 진행된다.

이상이, 도 1의 기호 ［A］에 기재된 본 발명을 구성하는 각 처리 과정에 관한 상세한 설명이다.

계속하여, 이하, 도 1의 기호 ［B］([EC PROCESS])로 나타낸 본 발명을 구성하는［상품에 관한 EC 처리 과정］에 대해, 도 1으로 도 6을 사용해 설명한다.

［상품에 관한 EC 처리 과정］

도 6은, 도 1의 기호［B］에 기재된 CLIENT Application4100, 즉, 도 1으로 나타낸 유저(1200)의 클라이언트 장치가 되는 PC(2310)나 스마트폰(2320) 등에 다운로드되는 Web 애플리케이션 또는 인스톨되는 전용 애플리케이션(이하, 클라이언트 애플리케이션(4100)이라고 한다)에 의하여 실시되는 ［상품에 관한 EC 처리 과정］에 관한 개요도이다.

우선, 본 발명에 있어서의 ［상품에 관한 EC 처리 과정］은, EC 통합형 메타미디어의 시청자에 의하여, 당해 EC 통합형 메타미디어에 의하여 전송되는 영화나 드라마, 애니메이션, 음악 비디오 등의 영상 컨텐츠에 있어서의 각 장면에 포함되는 상품, 즉, 일반의 EC 상품 뿐만이 아니라, 당해 영상 컨텐츠의 제작에 투자된 여러 가지 리소스(사람이나 공간, 소도구, 기재·기술 등)가, 당해 영상 컨텐츠에 통합화된 EC 기능을 통하여 구입되고, 당해 구입에 관련되는 매출 수익이, 상품 공급원(당해 리소스를 판매하는 사람이나, 당해 리소스를 대여, 투자, 기부 등으로 거출하는 사람)뿐만이 아니라, 당해 영상 컨텐츠의 제작자나 센터에도 배당되는 과정이고, 주요 7 스텝의 처리에 의하여 구성된다.

도 6의 (1)에 나타낸 제1 스텝에서는, 상술한 ［EC 통합형 메타미디어 전송 과정］의 제9 스텝에 있어서의 유저(1200)에 의한 구형 터치에 의하여 선택되고 PC(2310) 또는 스마트폰(2320)에 표시된 상품에 대한 EC 처리의 종별(예를 들어, 해상품의 구입, 해상품이 사람이나 설비, 기술등의 거래였을 경우의 계약, 해상품이 옥션에 출품되어 있는 경우의 입찰 등, 상품의 거래 형태에 맞은 EC 처리의 실시 구성을 호출하기 위한 정보)이, 해유저(1200)에 의해 결정(예를 들어, 해종별의 메뉴 버튼이 클릭 또는 터치되는 등)된다.

도 6의 것(2)으로 나타낸 제2 스텝에서는, 상기 제 1 스텝의 EC 처리로 구입 종별이 선택되었을 때, 상기 상품에 관한 상세한 정보가 표시되어 상기 유저(1200)에 의해 해상품의 구입이 결정된다.

도 6의 (3)으로 나타낸 제3 스텝에서는, 상기 제2 스텝에 있어서 상기 유저(1200)에 의하여 구입이 결정된 상품의 주문 정보로서, 예를 들어, 당해 상품의 주문(구입)자 정보(여기에서는, 유저(1200)의 정보)나, 당해 상품의 배송처 주소나 연락처 등의 배송 정보가 입력되고, 또한, 당해 상품의 구입에 관한 결제 처리가 행하여지고, 예를 들어, 결제 대행 회사(1500)에 의하여 당해 유저(1200)의 은행 계좌로부터 당해 상품의 구입 대금이 인출된다.

덧붙여, 상기 제3 스텝에 있어서의 주문 정보의 입력에 관하여는, 상기 제1 스텝 또는 제2 스텝의 구성에, 상기 유저(1200)에 의한 로그인 조작(유저 인증 처리이고, 본 발명에 있어서는, 도 1에 기재된 ATP* PG［3110］에 의하여 처리된다)을 센터 시스템(2200)이 접수하는 구성을 부가하면 생략할 수 있고, 이와 같은 구성은, 기존의 EC 사이트 등에서 채용되어 있는 회원 등록에 관한 구성을 이용하여 용이하게 구축할 수 있다.

또한, 상기의 결제 처리에 의하여, 상기 유저(1200)의 은행 계좌로부터 구입 대금이 이체되는 타이밍에 관하여는, 당해 유저(1200)가 구입한 상기 상품의 종류에 따라서는, 쿨링오프(cooling-off) 제도가 적용되어도 무방하다.

도 6의 (3)으로 나타낸 제4 스텝에서는, 상기 제3 스텝에서 상기 유저(1200)에 의하여 입력된 상기 주문 정보와 상기 결제 회사(1500)에 의해 처리된 당해 유저(1200)에 의한 결제 정보에 기초하는 수주 정보가, 센터 시스템(2200)에 송신된다.

도 6의 (5)로 나타낸 제5 스텝에서는, 상기 제4 스텝에서 센터 시스템(2200)에 송신된 상기 수주 정보에 기초하는 발주 정보가, 센터 시스템(2200)으로부터 상품 공급원(1400)의 정보 단말 등에 송신(예를 들어, E메일)되는 것과 함께, 제작자(1300)의 정보 단말 등에도 당해 발주 정보에 관한 통지가 송신된다.

도 6의 (6)으로 나타낸 제6 스텝에서는, 상기 제5 스텝에서 상기 상품 공급원(1400)에 송신된 주문 정보에 기초하여, 당해 상품 공급원(1400)으로부터 상기 유저(1200)(주문 정보의 배송처가 당해 유저(1200)의 주소와 같은 경우)에 상품이 배송된다.

도 6의 (7)로 나타낸 제7 스텝에서는, 상기 제3 스텝에서 결제 대행 회사(1500)에 의하여 회수된 구입 대금(판매액)으로부터, 상품 대금이 상품 공급원(1400)에, 또한, 배당금이 제작자(1300)에, 나아가, 마진이 센터(1100)에 입금된다.

상기의 예에서는, EC 통합형 메타미디어의 시청자나 상품을 구입하는 유저에 관하여, 일반적인 소비자로서 말하였지만, 예를 들어, 당해 시청자에는, 영상 컨텐츠의 제작자를 비롯하여, 엔터테인먼트나, 광고, 마케팅 등 여러 가지 업계인, 혹은, 신제품이나 신서비스의 개발자 등이 있어, 이와 같은 시청자가 구입(거래)하는 상품으로서, 예를 들어, 모델이나 스턴트 맨 등의 사람의 채용이나, 로케이션 현장의 호텔이나 식당 등의 이용이나, 특수 촬영이나 CG에 관한 기술 도입 등도 상정되기 때문에, 이와 같은 거래에 대응할 수 있는 EC 기능의 구성이 필요하게 되는 바, 근년에는, 인터넷 기술의 발달이나 규제 완화, 나아가, 블록 체인 기술 등에 의하여, 예를 들어, 여행이나 보험, 증권, 교육 등 계약을 수반하는 상품도, 스마트 컨트랙트 등이 새로운 개념으로 거래가 가능하게 되어 있고, 또한, 그 같은 거래 형태에 대응한 EC의 구조도 정비되어 있고, 이와 같은 거래 구성을 본 발명에 있어서의 ［상품에 관한 EC 처리 과정］에 짜넣으면, 예를 들어, 상품이 사람의 채용이나 설비의 사용, 기술의 이전 등에 관한 거래였을 경우의 계약이나, 당해 상품이 옥션에 출품되어 있는 경우의 입찰 등, 상품의 거래 형태에 맞은 EC 처리의 실시 구성을 호출할 수 있는 기능을 용이하게 구성할 수 있다.

이상과 같이, 실시예 1에 나타낸 구성에 의하여, 영상 컨텐츠에 관련한 상품(물품이나 서비스)뿐만이 아니라, 영상 컨텐츠의 제작에 투자되는 여러 가지 리소스도 EC와 직결하여 판매할 수 있는 EC 통합형 메타미디어의 제작 방법, 및 전송 시스템의 제어 방법을 제공하는 것이 가능하게 된다.

[실시예 2

이하, 본 발명의 실시예 2에 관하여 상세하게 설명한다.

본 발명의 실시예 2는, 실시예 1에 있어서의 ［장면 관리 데이터 생성 과정］과 ［물체 검출 모델 작성 과정］과 ［상품에 관한 EC 처리 과정］에 더하여, ［음성(음향) 워터마크 제어 과정］에 의하여 구성된다.

덧붙여, 상기의 ［장면 관리 데이터 생성 과정］과 ［물체 검출 모델 작성 과정］과 ［상품에 관한 EC 처리 과정］에 관하여는, 이미, 본 발명의 실시예 1에 관한 상세한 설명에 있어서 기재하였기 때문에, 이하에 있어서 기재를 생략한다.

처음으로, ［음성(음향) 워터마크 제어 과정］은, 음성(음향) 워터마크를 EC 통합형 메타미디어에 삽입하기 위한 ［음성 인코드 처리］와, EC 통합형 메타미디어에 장치된 당해 음성(음향) 워터마크를 검출하기 위한 ［음성 디코드 처리］의 2개의 처리에 의하여 구성된다.

우선, ［음성 인코드 처리］는, 실시예 1에서 설명한 ［장면 관리 데이터 작성 과정］에 있어서, 정보·승인 등록 프로그램으로 편집된 장면 관리 파일로부터 장면 데이터 생성 프로그램에 의하여 장면 데이터 관리 DB에 등록된 장면 데이터와, 최종 편집 비디오 데이터로부터 비디오 데이터 보존 프로그램에 의하여 비디오 데이터 관리 DB에 등록된 장면 데이터와 편집된 비디오를 이용하고, (1) 장면 데이터의 비디오 ID와 장면 ID로부터 장면 식별 정보를 생성하는 제1 처리, (2) 당해 생성된 장면 식별 정보를 전용의 음성(음향) 워터마크 제어 소프트에 의하여 음성(음향) 워터마크 데이터에 인코드하는 제2 처리, (3) 비디오 편집 소프트에 의하여, 당해 음성(음향) 워터마크 데이터를 편집된 비디오의 각 장면에 삽입하면서 재편집하는 제3 처리에 의하여 구성된다.

다음으로, ［음성 디코드 처리］는, 예를 들어, 유저가, TV로 전송(방송이나 재생)되어 있는 EC 통합형 메타미디어에 의한 영상 컨텐츠에 대하여, 음성(음향) 워터마크 제어 기능을 가진 전용 애플리케이션이 인스톨된 스마트폰(부속의 마이크)을 향하게 하면, (1) TV로부터 출력되는 EC 통합형 메타미디어의 음성이 녹음되고, 전용 애플리케이션에 의하여, 녹음된 음성으로부터 음성(음향) 워터마크 데이터가 취득되는 제1 처리, (2) 당해 취득된 음성(음향) 워터마크 데이터가 디코드되어, 장면 식별 정보(비디오 ID, 장면 ID를 포함한다)가 검출되는 제2 처리에 의하여 구성된다.

예를 들어, 여기서, 상기 검출된 장면 식별 정보가 유저의 스마트폰으로부터 센터 시스템에 송신되면, 당해 장면 식별 정보에 기초하는 상품 일람 데이터가 상품 데이터 관리 DB로부터 생성되고, 당해 생성된 상품 일람 데이터가 센터 시스템으로부터 유저의 스마트폰에 송신되면, 당해 송신된 상품 일람 데이터가 스마트폰에 표시되는 것과 함께, 당해 상품 일람으로부터 좋아하는 상품을 구입할 수 있는 EC 처리 선택으로 이행할 수 있다.

도 7은, 본 발명의 실시예 2에 있어서의 ［음성(음향) 워터마크 제어 과정］에 관한 처리 플로가, 기호 ［A1］~［A4］의 플로가 ［음성(음향) 워터마크 제어 과정/음성 인코드 처리］이고, 기호［B1］~［B4］의 플로가 ［음성(음향) 워터마크 제어 과정/음성 디코드 처리］이다.

［음성(음향) 워터마크 제어 과정/음성 인코드 처리］

우선, 본 발명에 있어서의 ［음성(음향) 워터마크 제어 과정/음성 인코드 처리］는, 장면 식별 정보의 텍스트 데이터를 비가청음에 합성하여 공개용 비디오의 각 장면에 저장하는(비디오 음성의 편집에 의한다) 처리이고, 주요 3 스텝의 처리에 의하여 구성된다.

도 7의 ［A1］로 나타낸 제1 스텝에서는, 장면 식별 정보 생성 처리에 의하여, 음성(음향) 워터마크를 삽입하는 비디오의 비디오 ID에 기초하여 장면 데이터 관리 DB(5220)로부터 장면 데이터(7220)가 추출되는 것과 함께, 당해 비디오 ID와 당해 장면 데이터(7220)의 장면 ID로 이루어지는 장면 식별 정보(7410)가 생성된다.

도 7의 ［A2］로 나타낸 제2 스텝에서는, 상기 제1 스텝에서 생성된 상기 장면 식별 정보(7410)가 전용의 음성(음향) 워터마크 제어 소프트(3510)에 의하여 음성(음향) 워터마크 데이터(7520)에 인코드된다.

도 7 ［A3］로 나타낸 제3 스텝에서는, 상기 제2 스텝에서 인코드된 음성 워터마크 데이터(7520)가, 비디오 편집 소프트(3210)에 의하여, 음성(음향) 워터마크를 삽입하는 비디오의 비디오 ID에 기초하여 비디오 데이터 관리 DB(5250)로부터 꺼내진 비디오 데이터(7230)의 각 장면에 장치되면서 재편집된다.

［음성(음향) 워터마크 제어 과정/음성 디코드 처리］

우선, 본 발명에 있어서의 ［음성(음향) 워터마크 제어 과정/음성 디코드 처리］는, 공개용 비디오의 각 장면에 저장되어 있는 음성 워터마크(비가청음에 합성된 장면 식별 정보의 텍스트 데이터)로부터 당해 장면 식별 정보를 꺼내는 처리이고, 주요 4 스텝의 처리에 의하여 구성된다.

도 7의 ［B1］로 나타낸 제1 스텝에서는, 유저(1200)가, TV로 전송(방송이나 재생)되어 있는 EC 통합형 메타미디어에 의한 영상 컨텐츠(［음성(음향) 워터마크 제어 과정/음성 인코드 처리］에 기재된 편집된 비디오)에 대하여, 장면 선택 조작, 즉, 음성(음향) 워터마크 제어 기능을 가진 전용 애플리케이션(4510)이 인스톨된 스마트폰(2320)을 향하게 하면, 당해 스마트폰(2320)의 마이크부에 TV로 전송(방송이나 재생)되어 있는 EC 통합형 메타미디어의 음성(음파)이 입력되고, 당해 전용 애플리케이션(4510)에 의하여 당해 음성(음파)에 기초하는 녹음 데이터(7510)가 생성되는 것과 함께, 당해 녹음 데이터의 당해 녹음 시점에 있어서의 당해 영상 컨텐츠의 장면에 관한 음성 워터마크 데이터가 취득된다.

도 7의 ［B2］로 나타낸 제2 스텝에서는, 상기 전용 애플리케이션(4510)에 의하여, 상기 취득된 음성 워터마크 데이터로부터 상기 녹음 시점에 있어서의 장면에 관한 장면 식별 정보(7410)(비디오 ID, 장면 ID를 포함한다)가 음성 디코드 기능에 의하여 검출되는 것과 함께, 당해 검출된 장면 식별 정보(7410)가 센터 시스템(2200)에 송신된다.

도 7 ［B3］로 나타낸 제3 스텝에서는, 상기 센터 시스템(2200)에 송신된 장면 식별 정보(7410)에 기초하는 상품 데이터 검색 처리에 의하여, 상품 데이터 관리 DB(5210)로부터 상품 일람 데이터(7530)가 생성되는 것과 함께, 당해 생성된 상품 일람 데이터(7530)가 상기 스마트폰(2320)에 송신된다.

도 6 ［B4］로 나타낸 제4 스텝에서는, 상기 전용 애플리케이션(4510)에 의하여, 당해 송신된 상품 일람 데이터(7530)가 당해 스마트폰(2320)에 표시되는 것과 함께, 유저(1200)에 의한 EC 처리 선택을 접수한다.

　덧붙여, 상기 스마트폰(2320)에 송신되는 상기 상품 일람 데이터(7530)를 대신하여, 상술의 ［EC 통합형 메타미디어 전송 과정에 관한 제2 설명］에서 설명한 UI처리된 장면 화상 데이터가 당해 스마트폰(2320)에 송신되도록 구성하면, 상기 장면 선택 조작이 여러 차례 행하여졌을 경우, 당해 UI처리된 장면 화상 데이터(복수)가, 상술한 바와 같이 섬네일 표시되기 때문에, 보다 편리한 상품 선택 방법을 유저에 제공할 수 있다.

이 경우, 상기 스마트폰(2320)에 송신되는 UI 처리된 장면 화상 데이터(복수)를 구성하는 장면 화상 데이터에 관하여는, 상기 TV에 전송되고 있던 비디오 화상의 장면 화상 데이터를 직접은 취득할 수 없지만, 상기 센터 시스템(2200)에 송신된 장면 식별 정보(7410)에 기초하는 장면 데이터 검색 처리로 검색되는 장면 데이터(비디오 ID와 장면 ID를 포함한다)에 의하여 상술한 ［장면 관리 데이터 생성 과정］의 제8 스텝에서 공개용 비디오 데이터가 보존되어 있는 도 2(8)에 게재된 비디오 데이터 관리 DB(5230)로부터 상기 TV에 전송되어 있던 비디오 데이터를 참조(검색)하여 해당(장면 ID가 일치)하는 장면 화상 데이터를 취득할 수 있기 때문에, 상술한 ［EC 통합형 메타미디어 전송 과정］의 제8 스텝에서 설명한 바와 같이, 당해 취득한 장면 화상 데이터에 포함되는 상기 상품 일람 데이터(7530)에 대응하는 상품이 표시되어 있는 범위에 대한 UI 처리에 의하여 당해 UI 처리된 장면 화상 데이터(복수)를 구성할 수 있다.

이상과 같이, 실시예 2에 나타낸 구성에 의하여, 전용의 시청 시스템을 필요로 하지 않고, 영상 컨텐츠 내에서 판매되는 상품을 장면으로부터 용이하고 또한 다이렉트로 구입할 수 있는 EC 기능을 제공하는 것이 가능하게 된다.

이와 같은 구성에 의하면, EC 통합형 영상 컨텐츠를 TV방송으로 전송할 수 있고, 예를 들어, 길거리에서 방송되어 있는 당해 EC 통합형 영상 컨텐츠에 스마트폰을 향하는 것만으로, 당해 EC 통합형 영상 컨텐츠의 장면 화상을 캡쳐한 바와 같이 취득할 수 있고, 게다가, 이것을 UI 처리된 장면 화상 데이터로서 제공할 수 있기 때문에, 상품에 대한 유저의 충동적인 관심을 놓치지 않는다.

1100　센터
1200　유저
1300　제작자
1400　상품 공급원
1500　결제 회사
1900　인터넷
2100　통신 제어 장치(라우터 등)
2200　메인 시스템(EC 통합형 메타미디어 전송 시스템)
2210　WEB 서버 장치
2220　애플리케이션 서버 장치
2230　데이터베이스 관리 서버 장치
2300　클라이언트 장치
2310　PC
2320　스마트폰
2410　원본 비디오
2420　전용 비디오 플레이어
2500　서브 시스템(EC 시스템용)
3110　ATP* PG＞Authentic Process(인증 처리 프로그램)
3210　VED* SW＞Video Editing(비디오 편집 소프트웨어)
3220　FMX* PG＞Format Exchange(포맷 변환 프로그램)
3230　IGR* PG＞Info & Goods Register(정보·상품 등록 프로그램)
3240　SDG* PG＞Scene Data Generator(장면 데이터 생성 프로그램)
3250　VDS* PG＞Video Data Storage(비디오 데이터 보존 프로그램)
3310　LMC* PG＞Learning Model Creator(학습 모델 작성 프로그램)
3510　WMC* SW＞Watermark Control(음성(음향) 워터마크 제어 소프트웨어)
4100　클라이언트 애플리케이션
4210　VDP* AP＞Video Player(전용 비디오 플레이어·애플리케이션)
4510　WMC* AP＞Watermark Control(음성(음향) 워터마크 제어 애플리케이션)
5110　USR* MNG DB＞User(유저 관리 DB )
5120　PRD* MNG DB＞Producer(제작자 관리 DB)
5130　SPL* MNG DB＞Supplier(공급원 관리 DB)
5210　GDD* MNG DB＞Goods Data(상품 데이터 관리 DB)
5220　SCD* MNG DB＞Scene Data(장면 데이터 관리 DB)
5230　VDD* MNG DB＞Video Data(비디오 데이터 관리 DB)
6210　편집 정보 공유 파일
6220　장면 관리 파일
6240　EC 상품 테이블
6310　학습 모델 보존 파일
7210　상품 데이터
7220　장면 데이터
7230　비디오 데이터
7240　EC 상품 데이터
7310　학습 모델 데이터
7410　장면 식별 정보
7420　장면 화상 데이터
7430　상품 ID 리스트(상품 조회 처리에 의하여 취득된다)
7440　상품 ID 리스트(물체 검증 처리에 의하여 검출된다)
7450　장면 선택 정보 보존 파일
7460　UI 처리된 장면 화상 데이터
7510　녹음 데이터
7520　음성 워터마크 데이터
7530　상품 일람 데이터

Claims

영상 컨텐츠의 시청자가 되는 유저가 당해 영상 컨텐츠의 제작 리소스를 상품으로서 거래할 수 있는 EC의 UI 기능이 포함된 EC 통합형 메타미디어의 전송 시스템에 있어서,
유저의 클라이언트 장치에 영상 컨텐츠를 표시하는 영상 컨텐츠 표시 수단과,
상기 영상 컨텐츠에 표시된 장면에 대한 상기 유저에 의한 선택 조작을 상기 클라이언트 장치로 검지하는 장면 선택 조작 검지 수단과,
검지한 상기 선택 조작의 시점에 있어서의 상기 장면의 식별 정보와 장면 화상 데이터를 상기 클라이언트 장치로부터 취득하는 장면 관련 데이터 취득 수단과,
상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터를 학습하여 물체 검출 모델을 작성하는 물체 검출 모델 학습 수단과,
상기 물체 검출 모델을 이용하여, 취득한 상기 장면 화상 데이터에 포함되는 물체를 검출하는 물체 검출 수단과,
취득한 상기 식별 정보에 기초하여 상품 정보를 검색하는 상품 검색 수단과,
상기 상품에 대한 EC 처리를 호출하는 EC 처리 호출 수단을 구비하는, 전송 시스템.
제1항에 있어서,
상기 물체 검출 모델 학습 수단은,
상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터로부터 기계 학습을 위한 학습용 데이터를 작성하고,
상기 학습용 데이터를 학습하면서 학습 모델의 검출 정밀도를 판정하며,
상기 검출 정밀도가 일정 이상이 되면 학습된 학습 모델을 보존하는, 전송 시스템.
제1항에 있어서,
상기 물체 검출 결과의 물체가 상기 상품 검색 결과의 상품 정보에 포함되는지를 조합하는 물체 조합 수단과,
상기 물체 조합 결과의 물체가 표시되어 있는 상기 장면 화상 데이터의 범위에 링크 요소를 교부한 UI 처리된 장면 화상 데이터를 생성하는 UI 처리된 장면 화상 데이터 생성 수단과,
생성한 상기 UI 처리된 장면 화상 데이터에 대한 상기 유저에 의한 호출 조작을 상기 클라이언트 장치로 검지하는 UI 처리된 장면 화상 데이터 호출 조작 검지 수단과,
상기 검지에 의하여 상기 UI 처리된 장면 화상 데이터가 상기 클라이언트 장치에 송신되어 표시되는 당해 UI 처리된 장면 화상 데이터에 포함된 상기 링크 요소에 대한 상기 유저에 의한 선택 조작을 당해 클라이언트 장치로 검지하는 것과 함께 당해 검지한 선택 조작의 링크 요소를 당해 클라이언트 장치로부터 취득하는 선택 링크 요소 취득 수단과,
상기 취득한 상기 링크 요소에 대응하는 상품 정보를 검색하는 링크 요소 대응 상품 정보 검색 수단과,
검색한 상기 상품 정보가 상기 클라이언트 장치에 송신되어 표시되는 당해 상품 정보의 상품에 대한 상기 유저에 의한 EC 처리 종별의 선택 조작을 당해 클라이언트 장치로 검지하는 것과 함께 당해 검지한 선택 조작의 EC 처리 종별을 당해 클라이언트 장치로부터 취득하는 EC 처리 종별 취득 수단과,
상기 EC 처리 호출 수단은 상기 취득한 EC 처리 종별에 기초하여 상기 상품에 대한 EC 처리를 호출하는, 전송 시스템.
제1항에 있어서,
상기 상품은 상기 영상 컨텐츠의 장면 내에 포함된 물적 리소스, 상기 영상 컨텐츠의 제작에 투입되는 인적 리소스 및 상기 영상 컨텐츠의 제작에 이용되는 기술적 리소스를 포함하는, 전송 시스템.
영상 컨텐츠의 시청자가 되는 유저가 당해 영상 컨텐츠의 제작 리소스를 상품으로서 거래할 수 있는 EC의 UI 기능이 포함된 EC 통합형 메타미디어의 전송 방법이고,
유저의 클라이언트 장치에 영상 컨텐츠를 표시하는 스텝과,
상기 영상 컨텐츠에 표시된 장면에 대한 상기 유저에 의한 선택 조작을 상기 클라이언트 장치로 검지하는 스텝과,
검지한 상기 선택 조작의 시점에 있어서의 상기 장면의 식별 정보와 장면 화상 데이터를 상기 클라이언트 장치로부터 취득하는 스텝과,
상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터를 학습하여 물체 검출 모델을 작성하는 단계와,
상기 물체 검출 모델을 이용하여, 취득한 상기 장면 화상 데이터에 포함되는 물체를 검출하는 스텝과,
취득한 상기 식별 정보에 기초하여 상품 정보를 검색하는 스텝과,
상기 상품에 대한 EC 처리를 호출하는 스텝을 포함하는, 전송 방법.
제5항에 있어서,
상기 물체 검출 모델을 작성하는 단계는,
상기 영상 컨텐츠의 공개용 비디오 데이터의 장면, 상기 장면 화상 데이터 및 상품 데이터로부터 기계 학습을 위한 학습용 데이터를 작성하는 단계;
상기 학습용 데이터를 학습하면서 학습 모델의 검출 정밀도를 판정하는 단계; 및
상기 검출 정밀도가 일정 이상이 되면 학습된 학습 모델을 보존하는 단계;를 포함하는, 전송 방법.
제5항에 있어서,
상기 검출 결과의 물체가 상기 검색 결과의 상품 정보에 포함되는지를 조합하는 스텝과,
상기 조합 결과의 물체가 표시되어 있는 상기 장면 화상 데이터의 범위에 링크 요소를 붙인 UI 처리된 장면 화상 데이터를 생성하는 스텝과,
생성한 상기 UI 처리된 장면 화상 데이터에 대한 상기 유저에 의한 호출 조작을 상기 클라이언트 장치로 검지하는 스텝과,
상기 검지에 의하여 상기 UI 처리된 장면 화상 데이터가 상기 클라이언트 장치에 송신되어 표시되는 당해 UI 처리된 장면 화상 데이터에 포함된 상기 링크 요소에 대한 상기 유저에 의한 선택 조작을 당해 클라이언트 장치로 검지하는 것과 함께 당해 검지한 선택 조작의 링크 요소를 당해 클라이언트 장치로부터 취득하는 스텝과,
취득한 상기 링크 요소에 대응하는 상품 정보를 검색하는 스텝과,
상기 검색한 상품 정보가 상기 클라이언트 장치에 송신되어 표시되는 당해 상품 정보의 상품에 대한 상기 유저에 의한 EC 처리 종별의 선택 조작을 당해 클라이언트 장치로 검지하는 것과 함께 당해 검지한 선택 조작의 EC 처리 종별을 당해 클라이언트 장치로부터 취득하는 스텝을 더 포함하고,
상기 상품에 대한 EC 처리를 호출하는］스텝은 상기 취득한 EC 처리 종별에 기초하여 상기 상품에 대한 EC 처리를 호출하는, 전송 방법.
제7항에 있어서,
상기 UI 처리된 장면 화상 데이터를 생성하는 스텝이, 상기 클라이언트 장치에 표시된 UI 처리된 장면 화상 데이터를 보존하는 스텝을 더 포함하는, 전송 방법.
제7항에 있어서,
상기 영상 컨텐츠가 상기 클라이언트 장치에 표시되어 있는 동안, 상기 UI 처리된 장면 화상 데이터를 생성하는 스텝에서 상기 UI 처리된 장면 화상 데이터가 생성될 때마다 보존하는, 전송 방법.
제9항에 있어서,
보존되는 상기 화상 데이터는 상기 물체 검출 모델을 위한 학습용 데이터로 이용되는, 전송 방법.
제5항에 있어서,
상기 상품은 상기 영상 컨텐츠의 장면 내에 포함된 물적 리소스, 상기 영상 컨텐츠의 제작에 투입되는 인적 리소스 및 상기 영상 컨텐츠의 제작에 이용되는 기술적 리소스를 포함하는, 전송 방법.
제11항에 있어서,
상기 상품이 상기 인적 리소스 또는 기술적 리소스인 경우, 상기 EC 처리에 관한 정보는 상기 인적 리소스 또는 상기 기술적 리소스의 사용 계약을 위한 스마트 컨트랙트를 포함하는, 전송 방법.
제5항에 있어서,
상기 유저의 클라이언트 장치에 표시되는 영상 컨텐츠에 음성 워터마크를 삽입하는 스텝을 더 포함하는, 전송 방법.
제13항에 있어서,
상기 음성 워터마크는 상기 영상 컨텐츠에 삽입되는 음성 인코드한 식별 정보인, 전송 방법.
제13항에 있어서,
상기 음성 워터마크를 삽입하는 스텝은,
장면 데이터의 비디오 ID와 장면 ID로부터 장면 식별 정보를 생성하는 단계;
생성된 장면 식별 정보를 음성 워터마크 데이터에 인코드하는 단계; 및
상기 음성 워터마크 데이터를 편집된 비디오의 각 장면에 삽입하면서 재편집하는 단계;를 포함하는, 전송 방법.