JP7401892B2 - Ｅｃ統合型メタメディアの制作方法、配信システム、及び配信方法 - Google Patents

Description

本発明は、映像コンテンツにＥＣを統合するための技術に関し、映像コンテンツの視聴者が該映像コンテンツの表示物を含む該映像コンテンツの制作リソースを商品として取引できるＥＣ（Electric Commers）のＵＩ（User Interface）機能が組み込まれたＥＣ統合型メタメディアの制作方法、配信システム、及び配信方法に関する。

なお、用語「メタメディア」に関しては、例えば、「マルチメディア・インターネット事典」（https://www.jiten.com/dicmi/docs/k34/23195.htm ２０１９年９月１０日 検索）には、「音声やテキスト、画像、ビデオなどの既成メディアを統合し、人が活用できるようにするという考え方の名称」と紹介されているところ、本発明においては、「音声やテキスト、画像、ビデオなどの既成メディアを統合したメディア」と解する。

［第一の背景技術］
本発明における第一の背景技術は、ＥＣに関する新たなモデル（形態や手法、関連技術）に関する。

先ず、タレントやインフルエンサーがライブ動画を配信し、視聴者がリアルタイムに質問やコメントをしながら商品を購入できる「ライブコマース」というＥＣモデルが普及し始めた。

この様な「ライブコマース」は、ＥＣにライブ配信の動画を掛け合わせたもので、ライブ動画を見ながら商品を購入できる通販モデルであるが、イメージとしてはテレビショッピングのインタラクティブ版と言え、視聴者はリアルタイムで出品者・販売者に対して質問やコメントをしながらショッピングができる。

また、ＥＣサイト内に配備したオリジナルのドラマをインターネット配信し、登場する商品を購入できる「ドラマコマース」というＥＣモデルも普及し始めている。

この様な「ドラマコマース」は、ドラマで表示された商品（例えば、タレントが身に着けたり、使ったりする商品）について、従来の商品説明だけのＥＣサイトでは伝わらなかった素材感やシルエットなどを視聴者に伝えることが可能とされ、ＥＣサイトの弱点を克服できる新たな取り組みとして注目されている。

上述した［第一の背景技術］については、特許文献１や特許文献２、特許文献３などで詳しく紹介されており、先ず、特許文献１には、映画が表示されている間に該映画に関連する商業情報へのオンデマンド・アクセスをユーザに提供して該商業情報の発信元である販売業者とユーザとのリンク確立を可能にするためのシステムと方法について開示されており、また、特許文献２には、画面上に表示された映像に関連する情報を入手可能にする各種情報装置や課金方法、プログラムについて開示されており、更に、特許文献３には、ビデオ番組の視聴者がビデオ番組に表示される製品に関する情報にアクセスできるインタラクティブな視聴経験を提供するためのシステムと方法が開示されている。

［第二の背景技術］
本発明における第二の背景技術は、「画像認識ＡＩ」に関する技術であって、ＡＩ（Artificial Intelligence：人工知能）を活用した機械学習（Machine Learning）や深層学習（Deep Learning）による画像認識（Image Recognition）を用いたＥＣ分野への活用技術に関する。

利用者がスマートフォン等で撮影した商品画像をＥＣサイトの検索機能などにアップロードすると画像認識によりカテゴリー識別や被写体認識、特徴検出などが行われ、該画像認識による情報に基づきＥＣサイトの内の商品画像から同一商品や類似商品を抽出して推奨商品として表示する仕組みや、ＥＣサイト向けの動画や画像コンテンツを画像認識機能によって簡単に制作できる動画編集システムなどが普及している。

この様な仕組みやシステムには物体検出に関する技術が必要であるところ、近年、深層学習を用いた物体検出用の「画像認識ＡＩ」によって、画像中に写る複数の物体の種類の識別（ 犬、猫、車など）データはもちろん、同画像における同物体の位置データなどの情報が、高速かつ高精度で取得できるようになった。

上述した［第二の背景技術］については、非特許文献１や非特許文献２において詳しく説明されており、最近では、この様な「画像認識ＡＩ」に関する高度な技術をクラウドサービスによって提供する企業も出現し始めている。

例えば、非特許文献３では、ＡＰＩ（Application Program Interface）を使って、画像や動画の分析機能をアプリケーションに追加できるサービスが紹介されており、この様なサービスを使えば、画像や動画に表示された複数の物体を識別して該物体に関するデータを取得でき、該物体に関するデータに対するアノテーション（タグ付け）を容易に行うことができる。

［第三の背景技術］
本発明における第三の背景技術は、「音声（音響）透かし」（Audio Watermark）に関する技術であって、音声信号に暗号化を施した文字情報などを埋め込む技術に関する。

「音声（音響）透かし」に関する技術を用いることにより、テレビやラジオ、広告サイネージ、コンテンツから発する音に文字情報を埋め込み、これをスマートフォンのマイクを通じて取得して該文字情報に基づくアクションをリアルタイムに連動させる様なアプリケーションを構築することが可能になる。

上述した［第三の背景技術］に関しては、特許文献４や特許文献５において詳しく説明されており、最近では、この様な「音声（音響）透かし」に関する技術をＳＤＫ（Software Development Kit）によって提供する企業も出現し始めている。

例えば、非特許文献４では、ＳＤＫを使って「音声（音響）透かし」技術を様々なアプリケーションに組み込めるサービスが紹介されており、この様なサービスを使えば、テレビ放送番組やテレビコマーシャルの内容と連動したコンテンツのハンドリング（セカンドスクリーンおよびダブルスクリーン施策、T2O2O＜TV to Online to Offline＞）を容易に行うことができる。

［第四の背景技術］
本発明における第四の背景技術は、「ＤＡＭ」（Digital Asset Management）に関する技術であって、テキスト、動画、写真、カタログデータなどのデジタルコンテンツを、プラットフォームなどを利用し、一元的に管理するための技術に関する。

ＤＡＭに関する技術を用いたシステムは、（１）様々なデジタルデータを集約してメタデータを付与し必要な情報へのアクセスを利便化、（２）配信するメディア（Ｗｅｂサイト、ＥＣサイト、カタログ、ＳＮＳなど）に合わせたデータフォーマット変換やデータサイズ変更、（３）著作権のあるデータに使用許諾データを関連付けた使用期限の管理、（４）デジタルコンテンツに関する創作的な制作をワークフロー化した制作工程の円滑化、などを実現するための機能を提供する。

映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツは、資金はもちろん、様々なリソース（出資者、監督、原作者、脚本家、キャスティングディレクター、俳優、声優、音楽制作者、演奏者、通訳・翻訳者、撮影スタッフ、編集スタッフ、照明スタッフ、装飾デザイナー、衣装デザイナー、スタイリスト、ヘアデザイナー、メイキャップアーティスト、殺陣スタッフ、スタント、エキストラなどの人または法人、また、シーンを撮影するロケ地やスタジオなどの空間、更に、動物や乗物、衣装、装飾品、インテリアなどの小道具、また更に、カメラや照明、ＣＧ、録音、編集などに用いられる機材・技術など）によって制作されるところ、例えば、映像コンテンツの制作に関して、ＤＡＭに関する技術を用い、これらリソースに関する情報を集約してメタデータを付与すれば、必要な情報へのアクセスや、データフォーマットの変換、データサイズの変更が容易になり、ＥＣモデルに応じたＵＩ機能を自動構築することも可能になる。

上述した［第四の背景技術］に関しては、インターネットにおいて数多く紹介されており、例えば、非特許文献５では、ブラウザベースファイル管理や動画管理、動画シーン管理・検索、著作権情報管理、ダウンロード制御、使用申請ワークフローなどに関する機能が説明されている。

なお、以上に掲げたすべての先行技術文献の内容については、参照によって本明細書に組込まれる。

特開平８－２８７１０７号公報 特開２００２－３３４０９２号公報 特表２０１３－５１１２１０号公報 特開２００８－０５８９５３号公報 特開２００９－２６８０３６号公報

「一から始める機械学習」（機械学習概要）［２０１９年９月１０日検索］、インターネット＜https://qiita.com/taki_tflare/items/42a40119d3d8e622edd2＞ 「深層学習による画像認識」（Image Recognition by Deap Learning）、日本ロボット学会誌［Vol.35 No.3 pp.180～185,2017］２０１７年４月 Amazon「Amazon Rekognition」［２０１９年９月１０日検索］、インターネット＜https://aws.amazon.com/jp/rekognition/＞ Evixar「ACR（自動コンテンツ認識）、音センシング」［２０１９年９月１０日検索］、インターネット＜https://www.evixar.com/evixaracr＞ Visual Processing Japan「デジタルアセット管理」［２０１９年９月１０日検索］、インターネット＜http://www.cierto-ccc.com/cierto/function.html#dam＞

前述の［第一の背景技術］に記載した「ライブコマース」や「ドラマコマース」は、映像コンテンツと連動させるＥＣであって、主に商品（物品やサービス）を販売する目的で制作・配信されるため、その視聴者ターゲットは当該商品の購入希望者にフォーカスされるが、本来の映像コンテンツ（映画やドラマ、アニメ、音楽ビデオなど）は、そのストーリー性やエンターテイメント性、芸術性などを伴って制作・配給されるため、その視聴者ターゲットは当該映像コンテンツのテーマによって大衆各層の一般視聴者にフォーカスされるのは、もちろん、この様な映像コンテンツの制作には前述した様々なリソースが投入されているので、例えば、これらリソースの調査や取引が当該映像コンテンツの視聴を介して容易に行えるとなれば、広告やマーケティング、映像コンテンツ制作などに関わる業界関係者も視聴者ターゲットとしてフォーカスすることができるところ、［第一の背景技術］や［第二の背景技術］で掲げた先行技術文献には、この様なリソースの調査や取引に関する具体的な方法や技術は開示されていない。

また、前述の［第一の背景技術］に記載した「ドラマコマース」によるＥＣモデルは、いわゆるプロダクトプレイスメント（広告手法の一つであって、映画やテレビドラマの劇中において、役者の小道具や背景に実在する企業名や商品名、商標などを表示させる手法）とＥＣサイトを組み合わせた手法に関するもので、例えば、テレビショッピング形態でドラマの一シーンを掲げながら「このシーンで俳優の〇〇〇〇さんが着ていた〇〇〇〇〇」と商品を紹介しながら販売するモデルや、ドラマのシーンに関連付けられたリンクから購入に誘導するモデルなどがあるが、何れも、視聴者がドラマにおける様々なシーンから事物（物品やサービス、人、空間、小道具、機材・技術など）を直感的に意識するという流動性への対応方法に関して課題があるところ、［第一の背景技術］や［第二の背景技術］、［第三の背景技術］、［第四の背景技術］で掲げた先行技術文献には、この様な課題を解決するための具体的な技術、例えば、「画像認識ＡＩ」や「音声（音響）透かし」、「ＤＡＭ」などに関する技術を活用したＵＩの構成については、開示されていない。

本発明は、映像コンテンツにＥＣを統合するための技術に関し、映像コンテンツの視聴者が該映像コンテンツの制作に投じられる様々なリソース（映像コンテンツの表示物を含む）を商品として取引できるＥＣのＵＩ機能が組み込まれたＥＣ統合型メタメディアの制作方法、配信システム、及び配信方法の提供を目的とする。

［ＥＣ統合型メタメディアの制作方法］
本発明の非限定的で例示的な一態様に係るＥＣ統合型メタメディアの制作方法は、
［ａ］商品データを管理するためのデータベース（商品データ管理ＤＢ）に商品の情報を登録するステップと、
［ｂ］上記商品のＥＣ処理に関する情報を管理するテーブル（ＥＣ商品テーブル）を生成するステップと、
［ｃ］映像コンテンツの編集情報を共有するためのファイル（編集情報共有ファイル）を生成するステップと、
［ｄ］上記編集情報共有ファイルのシーンに関する情報からシーン情報を管理するためのファイル（シーン管理ファイル）を生成して上記商品データ管理ＤＢの商品ＩＤを追加するステップと、
［ｅ］シーンデータを管理するためのデータベース（シーンデータ管理ＤＢ）に上記シーン管理ファイルのシーンデータを登録するステップと、
［ｆ］ビデオデータを管理するためのデータベース（ビデオデータ管理ＤＢ）に上記映像コンテンツの公開用ビデオデータを登録するステップと、
［ｇ］上記公開用ビデオデータのシーンと上記シーンデータ管理ＤＢのシーンデータと上記商品データ管理ＤＢの商品データから物体検出用の学習済みデータを生成するステップとを含むことを特徴とする。

また、前記ステップ［ｅ］が、前記映像コンテンツの各シーンに音声透かし（音声エンコードした識別情報）を仕込むステップを含むことを特徴とする。

［ＥＣ統合型メタメディアの配信システム］
本発明の非限定的で例示的な一態様に係るＥＣ統合型メタメディアの配信システムは、
映像コンテンツの視聴者（ユーザ）が該映像コンテンツの制作リソースを商品として取引できるＥＣのＵＩ機能が組み込まれたＥＣ統合型メタメディアの配信システムであって、
ユーザ（視聴者）のクライアント装置に映像コンテンツを表示する映像コンテンツ表示手段と、
上記映像コンテンツに表示されたシーンに対する上記ユーザ（視聴者）による選択操作を上記クライアント装置で検知するシーン選択操作検知手段と、
上記検知した選択操作の時点における上記シーンの識別情報とシーン画像データを上記クライアント装置から取得するシーン関連データ取得手段と、
上記取得したシーン画像データに含まれる物体を検出する物体検出手段と、
上記取得した識別情報に基づき商品情報を検索する商品検索手段と、
上記物体検出結果の物体が上記商品検索結果の商品情報に含まれるかを照合する物体照合手段と、
上記物体照合結果の物体が表示されている上記シーン画像データの範囲にリンク要素を付したＵＩ処理済シーン画像データを生成するＵＩ処理済シーン画像データ生成手段と、
上記生成したＵＩ処理済シーン画像データに対する上記ユーザ（視聴者）による呼出操作を上記クライアント装置で検知するＵＩ処理済シーン画像データ呼出操作検知手段と、
上記検知により上記ＵＩ処理済シーン画像データが上記クライアント装置に送信されて表示される該ＵＩ処理済シーン画像データに含まれた上記リンク要素に対する上記ユーザ（視聴者）による選択操作を該クライアント装置で検知すると共に該検知した選択操作のリンク要素を該クライアント装置から取得する選択リンク要素取得手段と、
上記取得した上記リンク要素に対応する商品情報を検索するリンク要素対応商品情報検索手段と、
上記検索した商品情報が上記クライアント装置に送信されて表示される該商品情報の商品に対する上記ユーザによるＥＣ処理種別の選択操作を該クライアント装置で検知すると共に該検知した選択操作のＥＣ処理種別を該クライアント装置から取得するＥＣ処理種別取得手段と、
上記取得したＥＣ処理種別に基づき上記商品に対するＥＣ処理を呼び出すＥＣ処理呼出手段とを備えることを特徴とする。

また、前記ＥＣ処理呼出手段によって呼び出されるＥＣ処理がスマートコントラクトに基づく取引処理手段を備えることを特徴とする。

［ＥＣ統合型メタメディアの第一配信方法］
本発明の非限定的で例示的な一態様に係るＥＣ統合型メタメディアの第一配信方法は、
映像コンテンツのユーザ（視聴者）が該映像コンテンツの制作リソースを商品として取引できるＥＣのＵＩ機能が組み込まれたＥＣ統合型メタメディアの配信方法であって、
［ａ］ユーザのクライアント装置に映像コンテンツを表示するステップと、
［ｂ］上記映像コンテンツに表示されたシーンに対する上記ユーザによる選択操作を上記クライアント装置で検知するステップと、
［ｃ］上記検知した選択操作の時点における上記シーンの識別情報とシーン画像データを上記クライアント装置から取得するステップと、
［ｄ］上記取得したシーン画像データに含まれる物体を検出するステップ、
［ｅ］上記取得した識別情報に基づき商品情報を検索するステップ、
［ｆ］上記検出結果の物体が上記検索結果の商品情報に含まれるかを照合するステップと、
［ｇ］上記照合結果の物体が表示されている上記シーン画像データの範囲にリンク要素を付したＵＩ処理済シーン画像データを生成するステップと、
［ｈ］上記生成したＵＩ処理済シーン画像データに対する上記ユーザによる呼出操作を上記クライアント装置で検知するステップと、
［ｉ］上記検知により上記ＵＩ処理済シーン画像データが上記クライアント装置に送信されて表示される該ＵＩ処理済シーン画像データに含まれた上記リンク要素に対する上記ユーザによる選択操作を該クライアント装置で検知すると共に該検知した選択操作のリンク要素を該クライアント装置から取得するステップと、
［ｊ］上記取得した上記リンク要素に対応する商品情報を検索するステップと、
［ｋ］上記検索した商品情報が上記クライアント装置に送信されて表示される該商品情報の商品に対する上記ユーザによるＥＣ処理種別の選択操作を該クライアント装置で検知すると共に該検知した選択操作のＥＣ処理種別を該クライアント装置から取得するステップと、
［ｌ］上記取得したＥＣ処理種別に基づき上記商品に対するＥＣ処理を呼び出すステップとを含むことを特徴とする。

また、前記ステップ［ｇ］が、前記クライアント装置に表示されたＵＩ処理済画像データを保存するステップを含むことを特徴とする。

また、前記ステップ［ａ］の映像コンテンツが前記クライアント装置に表示されている間に前記ステップ［ｂ］、［ｃ］、［ｄ］、［ｅ］、［ｆ］が複数回実施されるとき、前記ステップ［ｇ］において生成されるＵＩ処理済シーン画像データを該実施の都度保存するステップを含むことを特徴とする。

前記ステップ［ｉ］において前記クライアント装置に送信されるＵＩ処理済画像データが前記保存されたすべてのＵＩ処理済画像データであって、該ＵＩ処理済シーン画像データが複数のとき、前記クライアント装置に表示される該複数のＵＩ処理済画像データがサムネイル形式で表示されることを特徴とする。

前記ステップ［ｌ］のＥＣ処理種別に基づき呼び出される前記商品に対するＥＣ処理には、前記ユーザと該商品の供給元とのスマートコントラクトが含まれることを特徴とする。

［ＥＣ統合型メタメディアの第二配信方法］
本発明の非限定的で例示的な一態様に係るＥＣ統合型メタメディアの第二配信方法は、
［ａ］映像コンテンツの各シーンに音声透かし（音声エンコードした識別情報）を仕込むステップと、
［ｂ］上記映像コンテンツが汎用の視聴機器で放映されるステップと、
［ｃ］上記映像コンテンツに表示されたシーンを上記ユーザ（視聴者）が選択したことを上記クライアント装置で検知するステップと、
［ｄ］上記選択操作の検知によって該選択操作時点におけるシーンの識別情報を上記クライアント装置から取得するステップと、
［ｅ］上記取得した識別情報に基づき商品情報を検索するステップと、
［ｆ］上記商品情報を上記クライアント装置に送信するステップと、
［ｇ］上記送信により上記クライアント装置に上記商品情報が表示されるステップと、
［ｈ］上記クライアント装置に表示された商品情報の商品に対する上記ユーザによるＥＣ処理を受け付けるステップと、
［ｉ］上記ＥＣ処理の受け付けにより上記商品情報のＥＣ処理種別を参照するステップと、
［ｊ］上記参照により上記ＥＣ処理種別に対応するＥＣ処理の構成を呼び出すステップとを含むことを特徴とする。

また、前記ステップ［ｄ］で取得された識別情報に基づきビデオデータを検索して該検索したビデオデータから該識別情報に対応するシーン画像データを取得するステップと、
前記ステップ［ｅ］で検索された商品情報の商品が表示されている該シーン画像データの範囲にリンク要素を付けたＵＩ処理済シーン画像データを生成するステップと、
前記ステップ［ｆ］の構成を前記クライアント装置に上記ＵＩ処理済シーン画像データを送信する構成に置換したステップと、
前記ステップ［ｇ］の構成を前記クライアント装置に上記ＵＩ処理済シーン画像データを表示する構成に置換したステップと、
前記ステップ［ｈ］を実行する前に上記クライアント装置に表示された上記ＵＩ処理済シーン画像データに含まれた上記リンク要素を前記ユーザが選択したことを該クライアント装置で検知して該検知した該リンク要素を該クライアント装置から取得するステップと、
上記取得したリンク要素に基づき商品情報を検索すると共に、該検索結果の商品情報を該クライアント装置に送信して表示するステップを含むことを特徴とする。

本発明によれば、映像コンテンツに関連した商品（物品やサービス）だけでなく、映像コンテンツの制作に投じられる資金や人（法人を含む）、空間、小道具、機材・技術など、映像コンテンツの制作に関するリソース（資源）をもＥＣと直結して販売することができ、映像コンテンツの制作に関するリソースの調達が容易になるだけでなく、映像コンテンツに直結されたＥＣ売上をこれら調達先に配分できるため、特にドラマ制作において、スポンサーや放送局が主導する権限スキームが解放され、制作指揮者（例えば、監督や演出家など）の意向が柔軟に反映された作品作りが可能になる。

実施例１に関する概要図を示す。（代表図） シーン管理データ作成過程に関するフロー図を示す。 物体検出モデル作成過程に関するフロー図を示す。 ＥＣ統合型メタメディア配信過程に関するフロー図を示す。 ＥＣ統合型メタメディア配信過程に関する概要図を示す。 商品に関するＥＣ処理過程に関するフロー図を示す。 音声（音響）透かし制御過程に関するフロー図を示す。 編集情報共有ファイルのフォーマット例を示す。 画像認識に関する機械学習モデルのコード例を示す。 物体検出に関する機械学習モデルのコード例を示す。 主要データベースの構成例を示す。

［発明の概要］
本発明は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツにＥＣを統合するための技術に関し、映像コンテンツの視聴者が、該映像コンテンツに関連した商品（物品やサービス）は、もちろん、該映像コンテンツの制作に投じられる様々なリソース（人や空間、小道具、機材・技術など）をも、該映像コンテンツの視聴画面（視聴サイト）から直接購入することができる、新しい概念のＥＣモデルに関するシステムの制御方法を提供する。

本発明は、上記の目的を達成するため、「画像認識ＡＩ」と「音声（音響）透かし」、「ＤＡＭ」などに関する技術を活用し、映像コンテンツにＥＣを統合するためのＵＩを自動生成する構成について開示する。

具体的には、前述した［第一の背景技術］と［第二の背景技術］と［第四の背景技術］の技術を組み合わせれば、先ず、ＤＡＭ技術を用いることで、ドラマ制作に係る様々なリソースに関する情報を集約してメタデータを付与でき、必要な情報へのアクセスが容易になり、データフォーマットの変換やデータサイズを変更するなどして、販売対象に最適のＵＩで構成したＥＣサイトを自動構築でき、例えば、ユーザ（一般視聴者＝消費者）が映像コンテンツ（例えば、ドラマ）で直感的に興味を持った対象（例えば、俳優やモデルなどの「人」、例えば、ロケを行った観光地や食堂などの「空間」、例えば、衣装やアクセサリーなどの「小道具」など）が出現したシーンを該ＵＩによって保存しておき、後に該ＵＩを使って該保存したシーンを呼び出すと、画像認識ＡＩによって該シーン内に存在する上記リソース（対象を含む）が認識されて枠取りされ、ユーザは、興味を持った対象を選択することで、該対象に関する情報を得たり、該対象を購入することができるという、映像コンテンツに統合化されたＥＣサイトを提供することが可能になる。

また、上記の組み合わせに［第三の背景技術］を組み合わせば、前記ドラマ制作のポスト・プロダクション段階で、各シーンを識別するためのＩＤ（識別子）を「音声（音響）透かし」技術によって該ドラマの音響に非可聴音で仕込むことができるので、例えば、ショッピングモールのＴＶで該ドラマが再生されていて、ユーザが直感的に興味を持った対象が出現したときにスマートフォンを該ＴＶに向けると、該スマートフォンに搭載された専用アプリがマイクを介して該ドラマの音響に仕込まれた「音声（音響）透かし」からＩＤが取得されると共に、センターサーバに送信され、該送信されたＩＤに対応するシーン（スマートフォンを向けた時点のシーン、すなわち、ユーザが直感的に興味を持った対象が出現したシーンに相当）を表示した上記ＥＣサイトを呼び出すことができ、ユーザが、画像認識ＡＩによって枠取りされた該シーン内に存在する前記リソースから該対象を選択して、該対象に関する情報を得たり、該対象を購入できる様に構成することもできる。

本発明によれば、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツの制作に投じられる資金や人（法人を含む）、空間、小道具、機材・技術など、映像コンテンツの制作に関するリソース（資源）をもＥＣと直結して販売することができ、映像コンテンツの制作に関するリソースの調達が容易になる

また、本発明によれば、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツに直結されたＥＣ売上をこれら調達先に配分できるため、特にドラマ制作において、スポンサーや放送局が主導する権限スキームが解放され、制作指揮者（例えば、監督や演出家など）の意向が柔軟に反映された作品作りが可能になる。

更に、本発明によれば、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツの視聴者（消費者）が、例えば、ドラマで直感的に興味を持った対象が出現したシーンをＵＩによって保存しておき、後に、保存した該シーンを呼び出し、該シーンの画像から興味を持った対象を選択することで、該対象に関する情報を得たり、該対象を購入することができるという、映像コンテンツ（ドラマ）に統合化されたＥＣサイトを提供することが可能になる。

なお、本発明の実施例１は、専用の視聴システムにより、視聴中の映像コンテンツ内の事物（商品）を視聴シーンから容易かつダイレクトに購入できるＥＣ機能が統合化されたメタメディアを配信することを特徴とし、本発明の実施例２では、専用の視聴システムを必要とせずに、映像コンテンツ内で販売される商品をシーンから容易かつダイレクトに購入できるＥＣ機能であることを特徴とする。

以下、本発明の実施例１について詳細に説明する。

本発明の実施例１は、［シーン管理データ生成過程］と［物体検出モデルの作成過程］と［ＥＣ統合型メタメディア配信過程］と［商品に関するＥＣ処理過程］によって構成される。

先ず、［シーン管理データ生成過程］は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ制作に投じられる様々なリソース（人や空間、小道具、機材・技術など）を商品化して、視聴者がＥＣ（Electric Commerce）によって容易に購入できる様にするため、該リソースを販売できるすべてのリソースを商品として捉え、該商品に関する情報と該商品に対するＥＣ処理区分（購入や契約など、商品の取引形態によってＥＣ処理の構成が決まる）を生成、記録する過程である。

なお、上記の様な映像コンテンツは、制作が決定される段階において、どの様なリソースを投じるか綿密に計画されるので、該リソースの調達方法についても明確な情報に基づいて行われるため、上記ＥＣ処理手順は該調達方法に関する情報に基づき決定される。

具体的には、（１）商品（販売できるリソース）に関する情報（商品の詳細情報と商品に対するＥＣ処理区分に関する情報であって、画像や音、文字、記号などのデジタルデータで構成される）を含むＥＣ商品テーブルが生成されると共に、商品管理ＤＢと関連付けられる第１処理、（２）ビデオ撮影（収録）する第２処理、（３）ビデオ編集ソフト（例示）によって、該撮影（収録）されたビデオからＸＭＬファイルを生成する第３処理（シーンＩＤを記録）、（４）該ＸＭＬファイルからフォーマット変換プログラム（自社）によって、シーン管理ファイルを生成する第４処理、（５）該シーン管理ファイルに基礎情報（例示）に関するノードを追加する第５処理、（６）情報・商品登録プログラム（自社）によって、編集済ビデオのシーンごとに動的情報（例示）と商品ＩＤを登録（ノードの追加）する第６処理、（７）シーンデータ生成プログラム（自社）によって、該登録後のシーン管理ファイルから各シーンのデータ（基本情報、動的情報、商品ＩＤなど）にシーンＩＤを付して、これをシーンデータとしてＤＢ化するため、シーンデータ管理ＤＢに登録する第７処理、（８）ビデオデータ保存プログラムによって、最終編集ビデオにビデオＩＤを付して、これを公開用ビデオデータとしてＤＢ化するため、ビデオ管理ＤＢに保存される第８処理によって、［シーン管理データ生成過程］が構成される。

なお、上記（２）ビデオ撮影（収録）に関しては、例えば、第三者（映像コンテンツの制作者）によって収録された映像コンテンツのビデオデータを入手できれば、必ずしも、［シーン管理データ生成過程］に含まれなくても良い。

次に、［物体検出モデル作成過程］は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツの様々なシーンにおいて、視聴者が直感的に意識した事物（物品やサービス、人、空間、小道具、機材・技術など）がＥＣ対象商品に属するか否かを瞬時に判別する「画像認識ＡＩ」の能力を高める過程である。

具体的には、（１）学習モデル作成プログラムによって、編集済ビデオの各シーンとシーンデータ、商品データから学習データを作成する第１処理、（２）作成された学習データによる機械学習で学習モデルを高めながら、該学習モデルの検出精度を判定する第２処理、（３）検出精度が一定以上になった学習モデル（商品ＩＤが含まれる）を出力すると共に、専用保存ファイルに保存する第３処理によって構成される。

また、［ＥＣ統合型メタメディア配信過程］は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ制作に投じられる様々なリソース（人や空間、小道具、機材・技術など）を商品化できるＥＣ機能を該映像コンテンツ自体に統合したメタメディアを配信する過程である。

具体的には、（１）ユーザがＰＣやスマートフォンなどで（例えば、ブラウザのポータルサイトで紹介されている「ＥＣ統合型メタメディア配信サービス」に関するリンクをクリック／タッチして）センターシステムにアクセスすると、センターシステムから「ＥＣ統合型メタメディア配信サイト」がリダイレクトされる第１処理、（２）ユーザが「ＥＣ統合型メタメディア配信サイト」で紹介されているビデオ（映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ）から好みのものを選択すると、専用ビデオプレーヤーがユーザのＰＣやスマートフォンなどにダウンロードされる第２処理、（３）ユーザが専用ビデオプレーヤーの再生ボタンをクリック／タッチすると、選択されたビデオが再生（視聴）される第３処理、（４）ビデオ再生中にシーン選択操作（例えば、ユーザによって画面がクリック／タッチ）されると、その時点のシーン識別情報（ビデオＩＤ、タイムコードなど）や該シーンの画像データがセンターシステムによって取得される第４処理、（５）シーン識別情報によって、シーンデータ管理ＤＢからシーンデータ（シーンＩＤ、基本情報、動的情報、商品ＩＤリストなど）が取得される第５処理、（６）取得されたシーンデータの商品ＩＤリストに基づき商品データ管理ＤＢが検索されて、商品ＩＤが検証（在庫有無の確認など）される第６処理、（７）シーン画像データに基づく物体検証処理（学習モデルによる推論）によって、シーン画像に含まれる商品ＩＤリストが検出される第６処理、（８）第６処理の検証済み商品ＩＤリストと第７処理の商品ＩＤリストが照合され、一致した商品ＩＤの商品画像にＵＩ処理（矩形及びリンク付けなど）が行われる第８処理、（９）ユーザが矩形をクリック／タッチすると、該当する商品が抽出され表示される第９処理によって構成される。

なお、上記専用ビデオプレーヤーの提供については、専用のＷｅｂアプリケーションをブラウザで稼働させる方法や、ユーザに専用のアプリケーションをスマートフォンにインストールしてもらい稼働させる方法がある。

そして、［商品に関するＥＣ処理過程］は、ＥＣ統合型メタメディアの視聴者によって各シーンに含まれた商品がＥＣ機能によって購入され、該購入に対する売売上の収益が商品供給元だけでなく、該映像コンテンツの制作者にも配当される過程である。

具体的には、（１）前述した［ＥＣ統合型メタメディア配信過程］の第９処理によって表示された商品に対するＥＣ処理の種別（購入、契約、入札など）がユーザによって決定（メニュー選択など）される第１処理、（２）商品情報が表示され、ユーザによる商品購入が決定される第２処理、（３）ユーザによって注文情報が入力され支払処理が行われる第３処理、（４）受注情報がセンターシステムに送信される第４処理、（５）注文情報（配送先や配送条件、支払条件や決済情報）がセンターから商品供給元に送信される第５処理、（６）注文情報に基づき、商品供給元からユーザに商品が配送される第６処理、（７）商品代金が商品供給者に、配当金が制作者に、マージンがセンターに入金される第７処理によって構成される。

なお、上述した各過程における各処理を実施するためのサーバ専用プログラムやクライアント（ＰＣやスマートフォンなど）専用アプリケーションについては、JAVAやC、C++、JavaScript、pythonなどによって開発することができるが、汎用のソフトウェアとして、例えば、ビデオ編集については、Blackmagic Design - DaVinch Resolve (AFF, XML)、SONY - VEGAS Pro (AAF)などを、また、例えば、音声（音響）透かし制御については、非特許文献４で紹介されているEvixar社のSDKを用いても良い。

図１は、本発明によって実現される「ＥＣ統合型メタメディアの作成方法、及び配信システム」の概要図を示す。

なお、図１において（*）印を付けた略語の原文については、以下の通りである。
［MAIN SYSTEM］において、
APP*＝ APPLICATION
DBM*＝ DB MANAGEMENT
［APP* SERVER］において、
ATP* ＝ Authentication Process
VED* ＝ Video Edit
FMX* ＝ Format Exchange
IGR* ＝ Info & Goods Register
SDG* ＝ Scene Data Generator
VDS* ＝ Video Data Storage
LMC* ＝ Learning Model Creator
VDP* ＝ Video Player
WMC* ＝ Watermark Control
［DBM* SERVER］において、
USR* ＝ User
PRD* ＝ Producer
SPL* ＝ Supplier
GDD* ＝ Goods Data
SCD* ＝Scene Data
VDD* ＝ Video Data"

以下、図１の記号［Ａ］で示した本発明を構成する主要な処理過程について、図１と該各処理過程に関する詳細図を使って説明する。

［シーン管理データ生成過程］
図２は、図１の記号［Ａ］に記載の［シーン管理データ生成過程］（SMDG：Scene Management Data Generation）に関する処理フロー図である。

先ず、［シーン管理データ生成過程］は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ制作に投じられる様々なリソース（出資者、監督、原作者、脚本家、キャスティングディレクター、俳優、声優、音楽制作者、演奏者、通訳・翻訳者、撮影スタッフ、編集スタッフ、照明スタッフ、装飾デザイナー、衣装デザイナー、スタイリスト、ヘアデザイナー、メイキャップアーティスト、殺陣スタッフ、スタント、エキストラなどの人または法人、また、シーンを撮影するロケ地やスタジオなどの空間、更に、動物や乗物、衣装、装飾品、インテリアなどの小道具、また更に、カメラや照明、ＣＧ、録音、編集などに用いられる機材・技術など）を商品化して、視聴者がＥＣ機能によって容易に購入できる様にするため、該リソースを販売できるすべてのリソースを商品として捉え、該商品に関する情報と該商品に対するＥＣ処理の種別（例えば、該商品の購入、該商品が人や設備、技術などの取引であった場合の契約、該商品がオークションに出品されている場合の入札など、商品の取引形態に合ったＥＣ処理の実施構成を呼び出すための情報）を生成、記録する過程であり、主要８ステップの処理によって構成される。

図２の（１）で示した第１ステップでは、本発明におけるＥＣ統合型メタメディアによって販売できる商品（販売できる上記リソースの事物）に関する情報（商品の詳細情報と商品に対するＥＣ処理種別に関する情報であって、画像や音、文字、記号などのデジタルデータで構成される）を含むＥＣ商品データ７２４０によってＥＣ商品テーブル６２３０が生成され、商品データ登録処理によって、該ＥＣ商品テーブル６２３０のＥＣ商品ＩＤが商品データ管理ＤＢ５２１０に登録される。

なお、上記商品データ管理ＤＢ５２１０とＥＣ商品テーブル６２３０の構成例を図１０に示す。

図２の（２）で示した第２ステップでは、図１で示した商品（制作リソース）供給元１４００から貸与や投資や寄付などで提供されたリソースを使った映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツが、映像コンテンツ制作者１３００によって撮影されると共に、収録されたビデオデータ２４００がセンター１１００に送信（郵送でも良い）される。

上記ビデオデータ２４１０は、センター１１００において、ＥＣ統合型メタメディア配信に組み込まれる。

図２の（３）で示した第３ステップでは、上記第２ステップでセンター１１００に送信されたビデオデータ２４００が、ビデオ編集ソフト３２１０（図１におけるVED* SW）によって、編集情報共有ファイル６２１０（例えば、ＸＭＬ形式による）が出力される。

なお、上記編集情報共有ファイル６２１０には、ＥＣ統合型メタメディアの生成に必要な基礎情報（ビデオやシーンに関する情報など）が含まれるところ、そのフォーマット例を図８に示す。

図２の（４）で示した第４ステップでは、上記第３ステップで出力された上記編集情報共有ファイル６２１０から、フォーマット変換プログラム３２２０（図１におけるFMX* PG）によって、シーン管理ファイル６２２０が生成される。

なお、上記シーン管理ファイル６２２０には、ＥＣ統合型メタメディア配信で必要なシーンに関するあらゆる情報が記録される。

図２の（５）で示した第５ステップでは、上記第４ステップで生成された上記シーン管理ファイル６２２０に基礎情報（例えば、映像の説明、ドラマや試合の情報、イベント名や開催日時など、ビデオ全体で一定の情報）に関するノード（データを階層化して表現する文書におけるタグ）が追加される。

図２の（６）で示した第６ステップでは、上記第５ステップで基本情報が追加された上記シーン管理ファイル６２２０に対し、情報・商品登録プログラム３２３０（図１におけるIGR* PG）によって、編集済ビデオのシーンごとに動的情報（例えば、撮影場所、楽曲、シーンの説明など、シーンごとに変わる情報、図１０に構成例を示す）と、商品データ管理ＤＢ５２１０の商品データ７２１０の商品ＩＤが登録（ノードの追加）される。

図２の（７）で示した第７ステップでは、上記第６ステップで動的情報が追加された上記シーン管理ファイル６２２０から、シーンデータ生成プログラム３２４０によって、各シーンのデータ（基本情報、動的情報、商品ＩＤなど）が抽出されると共に、シーンＩＤが付され、シーンデータ７２２０として、シーンデータ管理ＤＢ５２２０に登録される。

図２の（８）で示した第８ステップでは、ビデオ保存プログラム３２５０によって、上記第３ステップ処理で編集されたビデオデータ２４１０の最終編集版にビデオＩＤが付され、ビデオデータ７２３０（公開用ビデオデータ）として、ビデオデータ管理ＤＢ５２３０に保存される

［物体検出モデル作成過程］
図３は、図１の記号［Ａ］に記載の［物体検出モデル作成過程］（ODMC：Object Detection Model Creation）に関する処理フロー図である。

先ず、［物体検出モデル作成過程］は、また、物体検出モデル作成過程における第２処理は、映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツの視聴者が、該映像コンテンツの様々なシーンにおいて、直感的に意識した事物（物品やサービス、人、空間、小道具、機材・技術など）がＥＣ対象商品として購入や購入のための情報閲覧などができるか否かについて容易に判断できるＵＩ（User Interface）を該視聴者に提供するためのシステム構築に必要な物体検出に関するＡＩ機能を付加すると共に、これを高めるための過程であり、主要３ステップの処理によって構成される。

図３の（１）で示した第１ステップでは、学習モデル作成プログラム３３１０（図１におけるLMC* PG）によって、［シーン管理データ生成過程］の第８ステップ処理においてビデオデータ管理ＤＢ５２３０に公開用として保存されたビデオデータ７２３０の各シーンと、シーンデータ管理ＤＢ５２２０に保存されたシーンデータ７２２０と、商品データ管理ＤＢ５２１０に保存された商品データ７２１０から機械学習のための学習用データが作成される。

図３の（２）で示した第２ステップでは、第１ステップで作成された上記学習用データを使った機械学習によって学習モデルの精度を高めながら、該学習モデルの検出精度が判定される。

図３の（３）で示した第３ステップでは、上記第２ステップにおける機械学習で上記学習モデルの精度が一定以上になると、該一定以上の精度になった学習モデルが、学習済みの学習モデルデータ７３１０として、学習モデル保存ファイル６３１０に保存される。

ここで、上記の様な学習モデル作成プログラムに用いるライブラリについては、書籍はもちろん、インターネットなどで数多く紹介されており、例えば、Pythonで書かれたKerasは、TensorFlowまたはCNTK、Theano上で実行可能な高水準のニューラルネットワークライブラリとして迅速な実験を可能にすることに重点を置いて開発され、広く一般に公開されているところ、＜https://employment.en-japan.com/engineerhub/entry/2017 /04/28/110000#3-Inception-v3モデルを用いた画像認識＞［２０１９年９月１０日検索］において、動物（犬と猫）の画像認識に関する実行スクリプトが紹介されており、また、その実行結果である学習モデルも掲載されており、また、例えば、Python向けの深層学習用ライブラリとしてPyTouchがあり、＜https://github.com/amdegroot/ssd. pytorch/blob/master/ssd.py＞［２０１９年９月１０日検索］において、ディープ物体検出のためのコードも紹介されているので、上記画像認識に関する機械学習のコード例を図９に、また上記物体検出に関する機械学習のコード例を図１０に示す。

［ＥＣ統合型メタメディア配信過程］
図４は、図１の記号［Ａ］に記載の［ＥＣ統合型メタメディア配信過程］（ECIMD： EC integrated Meta-media Distribution）に関する処理フロー図である。

先述したライブコマースやドラマコマースなどは、既に一般販売されている商品や今後一般販売される新製品などをプロモーションするために映像コンテンツを配信しているところ、該映像コンテンツの配信システムと該商品や新製品の販売システムは分離され、単純なリンク連携に止まっており、また、取扱商品についても、必ずしも、そこでしか購入できないという様なものではない。

本発明における［ＥＣ統合型メタメディア配信過程］は、映画やドラマ、アニメ、音楽ビデオなど映像コンテンツの視聴者が、その視聴システムから容易かつダイレクトに商品を購入できるＥＣ機能を該映像コンテンツに統合化したメタメディアを配信するシステムであり、該映像コンテンツ制作に投じられる様々なリソース（人や空間、小道具、機材・技術など）をもＥＣ対象商品として購入できるメタメディアを配信する過程であり、主要９ステップの処理によって構成される。

図４の（１）で示した第１ステップでは、ユーザ１２００が、ＰＣ２３１０やスマートフォン２３２０などのクライアント装置において、例えば、ブラウザのポータルサイトで紹介されている「ＥＣ統合型メタメディア配信サービス」に関するリンクをクリック（タッチ）して、センターシステム２２００にアクセスすると、「ＥＣ統合型メタメディア配信サイト」がリダイレクトされる。

図４の（２）で示した第２ステップでは、例えば、ユーザ１２００が上記第１ステップでリダイレクトされた上記「ＥＣ統合型メタメディア配信サイト」で紹介されているビデオ（映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ）から好みのものを選択すると、専用ビデオプレーヤー２４２０が、センターシステム２２００からユーザ１２００のＰＣ２３１０やスマートフォン２３２０などのクライアント装置にダウンロードされる。

なお、上記の専用ビデオプレーヤー２４２０の提供については、専用のＷｅｂアプリケーションをブラウザで稼働させる方法や、ユーザに専用のアプリケーションをスマートフォンにインストールしてもらい稼働させる方法がある。

図４の（３）で示した第３ステップでは、ユーザ１２００によって、例えば、上記専用ビデオプレーヤー２４２０の再生ボタンがクリック（タッチ）されると、該選択されたビデオの再生（ユーザによって視聴）が開始される。

図４の（４）で示した第４ステップでは、上記第３ステップのユーザ操作で再生が開始された上記専用ビデオプレーヤー２４２０で再生中のビデオに対し、シーン選択操作として、例えば、再生中のビデオ画面がユーザ１２００によってクリック（タッチ）されると、該クリック（タッチ）の時点におけるシーン識別情報７４１０（ビデオＩＤ、シーンＩＤ、タイムコードなどを含む）と該シーンのシーン画像データ７４２０がセンターシステム２２００によって取得される。

なお、上記センターシステム２２００による取得方法については、上記シーン選択操作によって、例えば、上記専用ビデオプレーヤー２４２０が上記シーン識別情報７４１０とシーン画像データ７４２０を取得して、これをセンターシステム２２００に送信する方法や、例えば、センターシステム２２００が、該専用ビデオプレーヤー２４２０におけるビデオ再生に関する情報を監視しておき、該シーン選択操作の時点で、該シーン識別情報７４１０と該シーン画像データ７４２０を直接に取得する方法や、例えば、該シーン識別情報７４１０のみを取得し、上述した［シーン管理データ作成過程］においてビデオデータ管理ＤＢ５２３０（図２（８））に保存された該シーン識別情報７４１０のビデオＩＤに対応するビデオデータを抽出すると共に、該抽出したビデオデータから該シーン識別情報７４１０のシーンＩＤによって抽出できるシーンデータを該シーン画像データ７４２０の代用データとする方法などがある。

図４の（５）で示した第５ステップでは、上記第４ステップでセンターシステム２２００によって取得された上記シーン識別情報７４１０（ビデオＩＤ、シーンＩＤ、タイムコードなどを含む）に基づき、シーンデータ検索処理が行われ、シーンデータ管理ＤＢ５２２０から該当するシーンデータ（ビデオＩＤ、シーンＩＤ、基本情報、動的情報、商品ＩＤリストなどを含む）が取得される。

図４の（６）で示した第６ステップでは、上記第４ステップにおいて取得された上記シーンデータに含まれた商品ＩＤリスト７４３０に対する商品データ照会処理、すなわち、該商品ＩＤリスト７４３０に基づき商品データ管理ＤＢ５２１０内の商品データが検索され、該商品ＩＤリスト７４３０の商品データが存在するか否か照会されることで、該商品ＩＤリストが検証（該当商品の在庫有無も確認することができる）される。

図４の（７）で示した第７ステップでは、上記（第５ステップの処理と同時に）第４ステップにおいて取得された上記シーン画像データ７４２０に基づく物体検出処理（学習モデルによる推論処理）によって、該シーン画像データ７４２０に含まれる商品ＩＤリスト７４４０が検出される。

図４の（８）で示した第８ステップでは、上記第６ステップの商品データ照会処理によって検証された商品ＩＤリスト７４３０と、第７ステップの物体検証処理によって検出された商品ＩＤリスト７４４０が照合され、商品ＩＤの存在判定（例えば、該商品ＩＤリスト７４４０に含まれる商品ＩＤが、該商品ＩＤリスト７４３０に存在するか否かを判定）によって存在が確認された商品ＩＤの商品画像（上記シーン画像データ７４２０に含まれる商品画像）に対するＵＩ処理（該商品画像に対する矩形描画処理、及び商品ＩＤによる商品データ取得用のリンク付けなど）が行われ、ＵＩ処理済シーン画像データ７４６０が生成される。

図４の（９）で示した第９ステップでは、上記第８ステップでＵＩ処理された上記ＵＩ処理済シーン画像データ７４６０（複数存在する可能性がある）がＰＣ２３１０やスマートフォン２３２０などの上記クライアント装置に送信されて表示され、該表示されたＵＩ処理済シーン画像データ７４６０に対して、上記ユーザ１２００によって、例えば、該ＵＩ処理済シーン画像データ７４６０に含まれた商品画像の矩形範囲がクリック（タッチ）されると、該商品画像に該当する商品データが商品データ管理ＤＢ５２１０から抽出されて表示される。

上記の［ＥＣ統合型メタメディア配信過程］は、本発明における重要な構成要素であるところ、図４の処理フロー図による説明に加え、図１の記号［Ｂ］（[EC PROCESS]を除く）で示したクライアント側における具体的な実施イメージについて、図５の概要図に記載の番号（１）～（７）（連携処理には同じ番号を付した）を使って説明する。

［ＥＣ統合型メタメディア配信過程（第二説明）］
図５（１）の処理過程では、ユーザ１２００が、ＰＣ２３１０やスマートフォン２３２０などのクライアント装置２３００から、「ＥＣ統合型メタメディア配信サイト」にアクセスし、ビデオ（映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツ）を選択すると、（１）専用ビデオプレーヤー２４２０によって該ビデオが再生される。

図５（２）の処理過程では、ユーザ１２００が、上記再生中のビデオで直感的に興味を持ったシーンにおいて、例えば、該ビデオのシーン画像をタッチ（クリック）すると、該タッチ（クリック）時点の該シーン画面に関するシーン識別情報７４１０とシーン画像データ７４２０がセンターのメインシステム２２００に送信（取得）される。

なお、上記のユーザ１２００による操作（シーン選択操作）は、上記ビデオ再生を中断（一時停止）または停止することなく、また、ビデオの再生中に何度でも、実施できる様に構成することができる。

ここで、上記センターのメインシステム２２００に送信（取得）されたシーン識別情報７４１０は、該メインシステム２２００によって、前述の［ＥＣ統合型メタメディア配信過程］における第５ステップから第８ステップまでの処理によって、ＵＩ処理済シーン画像データ７４６０が生成される。

また、前述のシーン選択操作が複数回行われていた場合には、該操作によって送信された上記ＵＩ処理済シーン画像データ７４６０をシーン識別情報保存ファイル７４５０に保存される様に構成しても良い。

図５（３）の処理過程では、例えば、ユーザ１２００が、上記ビデオ再生を中断（一時停止）または停止し、例えば、シーン呼出操作を行うと、上記シーン識別情報保存ファイル７４５０から上記シーン保存操作で保存されたＵＩ処理済シーン画像データ７４６０がクライアント装置２３００に送信され、該ＵＩ処理済シーン画像データ７４６０が複数ある場合、例えば、最初のＵＩ処理済シーン画像データがクライアント装置（表示画面）のメインエリアに表示され、残りのＵＩ処理済シーン画像データがサムネイル形式でサイドエリアに表示される。

図５（４）の処理過程では、ユーザ１２００が、上記クライアント装置２３００に表示された該ＵＩ処理済シーン画像データ７４６０（複数存在）のサムネイルのどれか一つを選択（タッチやクリック）すると、該選択されたＵＩ処理済シーン画像データ７４６０が上記メインエリアに表示される。

図５（５）の処理過程では、ユーザ１２００が、上記選択されたＵＩ処理済シーン画像データ７４６０に含まれた矩形処理（矩形で囲まれた）された物体画像（複数存在）からどれか一つを選択（矩形範囲内をタッチまたはクリック）すると、該選択された該物体画像に対応するリンクデータ（商品ＩＤを含む）がセンターシステム２２００に送信され、該リンクデータの商品ＩＤに基づき商品データ管理ＤＢから該当する商品データが抽出されると共に、該抽出された商品データが上記クライアント装置２３００に送信される。

図５（６）の処理過程では、上記クライアント装置２３００に送信された上記商品データの商品情報が該クライアント装置２３００に表示され、該商品に対するＥＣ処理の種別（例えば、商品に対する詳細情報の確認や、商品に関する問い合わせ、商品の購入など）が上記ユーザ１２００によって選択されると、該選択されたたＥＣ処理に進む。

以上が、図１の記号［Ａ］に記載の本発明を構成する各処理過程に関する詳細な説明である。

続いて、以下、図１の記号［Ｂ］（[EC PROCESS]）で示した本発明を構成する［商品に関するＥＣ処理過程］について、図１と図６を使って説明する。

［商品に関するＥＣ処理過程］
図６は、図１の記号［Ｂ］に記載されたCLIENT Application４１００、すなわち、図１で示したユーザ１２００のクライアント装置となるＰＣ２３１０やスマートフォン２３２０などにダウンロードされるＷｅｂアプリケーションまたはインストールされる専用アプリケーション（以下、クライアントアプリ４１００という）によって実施される［商品に関するＥＣ処理過程］に関する概要図である。

先ず、本発明における［商品に関するＥＣ処理過程］は、ＥＣ統合型メタメディアの視聴者によって、該ＥＣ統合型メタメディアによって配信される映画やドラマ、アニメ、音楽ビデオなどの映像コンテンツにおける各シーンに含まれる商品、すなわち、一般のＥＣ商品だけでなく、該映像コンテンツの制作に投じられた様々なリソース（人や空間、小道具、機材・技術など）が、該映像コンテンツに統合化されたＥＣ機能を介して購入され、該購入に係る売上収益が、商品供給元（該リソースを販売する者や、該リソースを貸与、投資、寄付などで拠出する者）だけでなく、該映像コンテンツの制作者やセンターにも配当される過程であり、主要７ステップの処理によって構成される。

図６の（１）に示した第１ステップでは、前述した［ＥＣ統合型メタメディア配信過程］の第９ステップにおけるユーザ１２００による矩形タッチによって選択されＰＣ２３１０またはスマートフォン２３２０に表示された商品に対するＥＣ処理の種別（例えば、該商品の購入、該商品が人や設備、技術などの取引であった場合の契約、該商品がオークションに出品されている場合の入札など、商品の取引形態に合ったＥＣ処理の実施構成を呼び出すための情報）が、該ユーザ１２００によって決定（例えば、該種別のメニューボタンがクリックまたはタッチされるなど）される。

図６の（２）で示した第２ステップでは、上記第１ステップのＥＣ処理で購入種別が選択されたとき、上記商品に関する詳細な情報が表示され、上記ユーザ１２００によって該商品の購入が決定される。

図６の（３）で示した第３ステップでは、上記第２ステップにおいて上記ユーザ１２００によって購入が決定された商品の注文情報として、例えば、該商品の注文（購入）者情報（ここでは、ユーザ１２００の情報）や、該商品の配送先住所や連絡先などの配送情報が入力され、また、該商品の購入に関する決済処理が行われ、例えば、決済代行会社１５００によって該ユーザ１２００の銀行口座から該商品の購入代金が引き落とされる。

なお、上記第３ステップにおける注文情報の入力に関しては、上記第１ステップまたは第２ステップの構成に、上記ユーザ１２００によるログイン操作（ユーザ認証処理であって、本発明においては、図１に記載のATP* PG［３１１０］によって処理される）をセンターシステム２２００が受付ける構成を付加すれば省略することができ、この様な構成は、既存のＥＣサイトなどで採用されている会員登録に関する構成を用いて容易に構築することができる。

また、上記の決済処理によって、上記ユーザ１２００の銀行口座から購入代金が引き落とされるタイミングについては、該ユーザ１２００が購入した上記商品の種類によっては、クーリングオフ制度が適用されても良い。

図６の（３）で示した第４ステップでは、上記第３ステップで上記ユーザ１２００によって入力された上記注文情報と上記決済会社１５００によって処理された該ユーザ１２００による決済情報に基づく受注情報が、センターシステム２２００に送信される。

図６の（５）で示した第５ステップでは、上記第４ステップでセンターシステム２２００に送信された上記受注情報に基づく発注情報が、センターシステム２２００から商品供給元１４００の情報端末などに送信（例えば、Eメール）されると共に、制作者１３００の情報端末などにも該発注情報に関する通知が送信される。

図６の（６）で示した第６ステップでは、上記第５ステップで上記商品供給元１４００に送信された注文情報に基づき、該商品供給元１４００から上記ユーザ１２００（注文情報の配送先が該ユーザ１２００の住所と同じ場合）に商品が配送される。

図６の（７）で示した第７ステップでは、上記第３ステップで決済代行会社１５００によって回収された購入代金（売上金）から、商品代金が商品供給元１４００に、また、配当金が制作者１３００に、更に、マージンがセンター１１００に入金される。

上記の例では、ＥＣ統合型メタメディアの視聴者や商品を購入するユーザについて、一般的な消費者として述べたが、例えば、該視聴者には、映像コンテンツの制作者をはじめ、エンターテイメントや、広告、マーケティングなど様々な業界人、あるいは、新製品や新サービスの開発者などが居て、この様な視聴者が購入（取引）する商品として、例えば、モデルやスタントマンなどの人の採用や、ロケ地のホテルや食堂などの利用や、特撮やＣＧに関する技術導入なども想定されるため、この様な取引に対応できるＥＣ機能の構成が必要になるところ、近年では、インターネット技術の発達や規制緩和、更に、ブロックチェーン技術などによって、例えば、旅行や保険、証券、教育など契約を伴う商品も、スマートコントラクトなどの新しい概念で取引が可能になっており、また、その様な取引形態に対応したＥＣの仕組みも整備されつつあり、この様な取引構成を本発明における［商品に関するＥＣ処理過程］に組み込めば、例えば、商品が人の採用や設備の使用、技術の移転などに関する取引であった場合の契約や、該商品がオークションに出品されている場合の入札など、商品の取引形態に合ったＥＣ処理の実施構成を呼び出せる機能を容易に構成できる。

以上の様に、実施例１に示した構成により、映像コンテンツに関連した商品（物品やサービス）だけでなく、映像コンテンツの制作に投じられる様々なリソースをもＥＣと直結して販売できるＥＣ統合型メタメディアの制作方法、及び配信システムの制御方法を提供することが可能になる。

以下、本発明の実施例２について詳細に説明する。

本達明の実施例２は、実施例１における［シーン管理データ生成過程］と［物体検出モデル作成過程］と［商品に関するＥＣ処理過程］に加え、［音声（音響）透かし制御過程］によって構成される。

なお、上記の［シーン管理データ生成過程］と［物体検出モデル作成過程］と［商品に関するＥＣ処理過程］については、既に、本発明の実施例１に関する詳細な説明において記載したので、以下において記載を省略する。

最初に、［音声（音響）透かし制御過程］は、音声（音響）透かしをＥＣ統合型メタメディアに仕込むための［音声エンコード処理］と、ＥＣ統合型メタメディアに仕込まれた該音声（音響）透かしを検出するための［音声デコード処理］との二つの処理によって構成される。

先ず、［音声エンコード処理］は、実施例１で説明した［シーン管理データ作成過程］において、情報・承認登録プログラムで編集されたシーン管理ファイルからシーンデータ生成プログラムによってシーンデータ管理ＤＢに登録されたシーンデータと、最終編集ビデオデータからビデオデータ保存プログラムによってビデオデータ管理ＤＢに登録されたシーンデータと編集済みビデオを用い、（１）シーンデータのビデオＩＤとシーンＩＤからシーン識別情報を生成する第１処理、（２）該生成されたシーン識別情報を専用の音声（音響）透かし制御ソフトによって音声（音響）透かしデータにエンコードする第２処理、（３）ビデオ編集ソフトによって、該音声（音響）透かしデータを編集済みビデオの各シーンに仕込みながら再編集する第３処理によって構成される。

次に、［音声デコード処理］は、例えば、ユーザが、ＴＶで配信（放送や再生）されているＥＣ統合型メタメディアによる映像コンテンツに対して、音声（音響）透かし制御機能を有した専用アプリケーションがインストールされたスマートフォン（付属のマイク）を向けると、（１）ＴＶから出力されるＥＣ統合型メタメディアの音声が収音され、専用アプリケーションによって、収音された音声から音声（音響）透かしデータが取得される第１処理、（２）該取得された音声（音響）透かしデータがデコードされて、シーン識別情報（ビデオＩＤ、シーンＩＤを含む）が検出される第２処理によって構成される。

例えば、ここで、上記検出されたシーン識別情報がユーザのスマートフォンからセンターシステムに送信されると、該シーン識別情報に基づく商品一覧データが商品データ管理ＤＢから生成され、該生成された商品一覧データがセンターシステムからユーザのスマートフォンに送信されると、該送信された商品一覧データがスマートフォンに表示されると共に、該商品一覧から好みの商品を購入できるＥＣ処理選択に移行することができる。

図７は、本発明の実施例２における［音声（音響）透かし制御過程］に関する処理フローであり、記号［Ａ１］～［Ａ４］のフローが［音声（音響）透かし制御過程／音声エンコード処理］であり、記号［Ｂ１］～［Ｂ４］のフローが［音声（音響）透かし制御過程／音声デコード処理］である。

［音声（音響）透かし制御過程／音声エンコード処理］
先ず、本発明における［音声（音響）透かし制御過程／音声エンコード処理］は、シーン識別情報のテキストデータを非可聴音に合成して公開用ビデオの各シーンに埋め込む（ビデオ音声の編集による）処理であり、主要３ステップの処理によって構成される。

図７の［Ａ１］で示した第１ステップでは、シーン識別情報生成処理によって、音声（音響）透かしを仕込むビデオのビデオＩＤに基づきシーンデータ管理ＤＢ５２２０からシーンデータ７２２０が抽出されると共に、該ビデオＩＤと該シーンデータ７２２０のシーンＩＤからなるシーン識別情報７４１０が生成される。

図７の［Ａ２］で示した第２ステップでは、上記第１ステップで生成された上記シーン識別情報７４１０が専用の音声（音響）透かし制御ソフト３５１０によって音声（音響）透かしデータ７５２０にエンコードされる。

図７［Ａ３］で示した第３ステップでは、上記第２ステップでエンコードされた音声透かしデータ７５２０が、ビデオ編集ソフト３２１０によって、音声（音響）透かしを仕込むビデオのビデオＩＤに基づきビデオデータ管理ＤＢ５２５０から取り出されたビデオデータ７２３０の各シーンに仕込まれながら再編集される。

［音声（音響）透かし制御過程／音声デコード処理］
先ず、本発明における［音声（音響）透かし制御過程／音声デコード処理］は、公開用ビデオの各シーンに埋め込まれている音声透かし（非可聴音に合成されたシーン識別情報のテキストデータ）から該シーン識別情報を取り出す処理であり、主要４ステップの処理によって構成される。

図７の［Ｂ１］で示した第１ステップでは、ユーザ１２００が、ＴＶで配信（放送や再生）されているＥＣ統合型メタメディアによる映像コンテンツ（［音声（音響）透かし制御過程／音声エンコード処理］に記載の編集済みビデオ）に対して、シーン選択操作、すなわち、音声（音響）透かし制御機能を有した専用アプリケーション４５１０がインストールされたスマートフォン２３２０を向けると、該スマートフォン２３２０のマイク部にＴＶで配信（放送や再生）されているＥＣ統合型メタメディアの音声（音波）が入力され、該専用アプリケーション４５１０によって該音声（音波）に基づく収音データ７５１０が生成されると共に、該収音データの該収音時点における該映像コンテンツのシーンに関する音声透かしデータが取得される。

図７の［Ｂ２］で示した第２ステップでは、上記専用アプリケーション４５１０によって、上記取得された音声透かしデータから上記収音時点におけるシーンに関するシーン識別情報７４１０（ビデオＩＤ、シーンＩＤを含む）が音声デコード機能により検出されると共に、該検出されたシーン識別情報７４１０がセンターシステム２２００に送信される。

図７［Ｂ３］で示した第３ステップでは、上記センターシステム２２００に送信されたシーン識別情報７４１０に基づく商品データ検索処理によって、商品データ管理ＤＢ５２１０から商品一覧データ７５３０が生成されると共に、該生成された商品一覧データ７５３０が上記スマートフォン２３２０に送信される。

図６［Ｂ４］で示した第４ステップでは、上記専用アプリケーション４５１０によって、該送信された商品一覧データ７５３０が該スマートフォン２３２０に表示されると共に、ユーザ１２００によるＥＣ処理選択を受付ける。

なお、上記スマートフォン２３２０に送信される上記商品一覧データ７５３０に代えて、先述の［ＥＣ統合型メタメディア配信過程に関する第二説明］で説明したＵＩ処理済シーン画像データが該スマートフォン２３２０に送信される様に構成すれば、上記シーン選択操作が複数回行われた場合、該ＵＩ処理済シーン画像データ（複数）が、前述した様にサムネイル表示されるので、より便利な商品選択方法をユーザに提供できる。

この場合、上記スマートフォン２３２０に送信されるＵＩ処理済シーン画像データ（複数）を構成するシーン画像データについては、上記ＴＶに配信されていたビデオ画像のシーン画像データを直接には取得できないが、上記センターシステム２２００に送信されたシーン識別情報７４１０に基づくシーンデータ検索処理で検索されるシーンデータ（ビデオＩＤとシーンＩＤを含む）によって先述した［シーン管理データ生成過程］の第８ステップで公開用ビデオデータが保存されている図２（８）に掲載のビデオデータ管理ＤＢ５２３０から上記ＴＶに配信されていたビデオデータを参照（検索）して該当（シーンＩＤが一致）するシーン画像データを取得することができるので、先述した［ＥＣ統合型メタメディア配信過程］の第８ステップで説明した様にして、該取得したシーン画像データに含まれる上記商品一覧データ７５３０に対応する商品が表示されている範囲に対するＵＩ処理によって該ＵＩ処理済シーン画像データ（複数）を構成することができる。

以上の様に、実施例２に示した構成により、専用の視聴システムを必要とせずに、映像コンテンツ内で販売される商品をシーンから容易かつダイレクトに購入できるＥＣ機能を提供することが可能になる。

この様な構成によれば、ＥＣ統合型映像コンテンツをＴＶ放送で配信することができ、例えば、街頭で放送されている該ＥＣ統合型映像コンテンツにスマートフォンを向けるだけで、該ＥＣ統合型映像コンテンツのシーン画像をキャプチャした様に取得することができ、しかも、これをＵＩ処理済シーン画像データとして提供できるので、商品に対するユーザの衝動的な関心を逃さない。

１１００ センター
１２００ ユーザ
１３００ 制作者
１４００ 商品供給元
１５００ 決済会社
１９００ インターネット
２１００ 通信制御装置（ルーターなど）
２２００ メインシステム（ＥＣ統合型メタメディア配信システム）
２２１０ ＷＥＢサーバ装置
２２２０ アプリケーションサーバ装置
２２３０ データベース管理サーバ装置
２３００ クライアント装置
２３１０ ＰＣ
２３２０ スマートフォン
２４１０ 原本ビデオ
２４２０ 専用ビデオプレーヤー
２５００ サブシステム（ＥＣシステム用）
３１１０ ATP* PG＞Authentic Process（認証処理プログラム）
３２１０ VED* SW＞Video Editing（ビデオ編集ソフト）
３２２０ FMX* PG＞Format Exchange（フォーマット変換プログラム）
３２３０ IGR* PG＞Info & Goods Register（情報・商品登録プログラム）
３２４０ SDG* PG＞Scene Data Generator（シーンデータ生成プログラム）
３２５０ VDS* PG＞Video Data Storage（ビデオデータ保存プログラム）
３３１０ LMC* PG＞Learning Model Creator（学習モデル作成プログラム）
３５１０ WMC* SW＞Watermark Control（音声（音響）透かし制御ソフト）
４１００ クライアントアプリ
４２１０ VDP* AP＞Video Player（専用ビデオプレーヤー・アプリ）
４５１０ WMC* AP＞Watermark Control（音声（音響）透かし制御アプリ）
５１１０ USR* MNG DB＞User（ユーザ管理DB ）
５１２０ PRD* MNG DB＞Producer（制作者管理DB）
５１３０ SPL* MNG DB＞Supplier（供給元管理DB
５２１０ GDD* MNG DB＞Goods Data（商品データ管理DB）
５２２０ SCD* MNG DB＞Scene Data（シーンデータ管理DB）
５２３０ VDD* MNG DB＞Video Data（ビデオデータ管理DB）
６２１０ 編集情報共有ファイル
６２２０ シーン管理ファイル
６２４０ ＥＣ商品テーブル
６３１０ 学習モデル保存ファイル
７２１０ 商品データ
７２２０ シーンデータ
７２３０ ビデオデータ
７２４０ ＥＣ商品データ
７３１０ 学習モデルデータ
７４１０ シーン識別情報
７４２０ シーン画像データ
７４３０ 商品ＩＤリスト（商品照会処理によって取得される）
７４４０ 商品ＩＤリスト（物体検証処理によって検出される）
７４５０ シーン選択情報保存ファイル
７４６０ ＵＩ処理済シーン画像データ
７５１０ 収音データ
７５２０ 音声透かしデータ
７５３０ 商品一覧データ

Claims (7)

1. 映像コンテンツの視聴者となるユーザが該映像コンテンツの制作リソースを商品として取引できるＥＣのＵＩ機能が組み込まれたＥＣ統合型メタメディアの配信方法であって、
   ［ａ］上記映像コンテンツのビデオＩＤ及びシーンＩＤからシーン識別情報を生成するステップと、
   ［ｂ］生成された上記シーン識別情報を音声透かしデータに音声エンコードするステップと、
   ［ｃ］音声エンコードされた上記音声透かしデータを上記映像コンテンツの各シーンに仕込みながら上記映像コンテンツを再編集するステップと、
   ［ｄ］再編集された上記映像コンテンツが汎用の視聴機器で放映されるステップと、
   ［ｅ］放映されている上記映像コンテンツに表示されたシーンを上記ユーザが選択したことを上記ユーザのクライアント装置で検知するステップと、
   ［ｆ］上記視聴機器から出力される音声を上記選択の操作の検知によって上記クライアント装置が収音して該選択の操作の時点における上記シーンの上記音声透かしデータを取得するステップと、
   ［ｇ］取得された上記音声透かしデータをデコードして上記選択の操作の時点における上記シーンのシーン識別情報を取得するステップと、
   ［ｈ］デコードして取得された上記シーン識別情報を上記クライアント装置から取得するステップと、
   ［ｉ］検知した上記選択の操作の時点における上記シーンのシーン画像データを上記クライアント装置から取得するステップと、
   ［ｊ］取得した上記シーン画像データに含まれる物体を検出するステップと、
   ［ｋ］取得した上記シーン識別情報に基づき商品情報を検索するステップと、
   ［ｌ］検出の結果の物体が検索の結果の商品情報に含まれるかを照合するステップと、
   ［ｍ］照合の結果の物体が表示されている上記シーン画像データの範囲にリンク要素を付したＵＩ処理済シーン画像データを生成するステップと、
   ［ｎ］生成した上記ＵＩ処理済シーン画像データに対する上記ユーザによる呼出操作を上記クライアント装置で検知するステップと、
   ［ｏ］上記呼出操作の検知により上記ＵＩ処理済シーン画像データが上記クライアント装置に送信されて表示される該ＵＩ処理済シーン画像データに含まれた上記リンク要素に対する上記ユーザによる選択操作を該クライアント装置で検知すると共に該検知した該選択操作のリンク要素を該クライアント装置から取得するステップと、
   ［ｐ］取得した上記リンク要素に対応する商品情報を検索するステップと、
   ［ｑ］検索した商品情報が上記クライアント装置に送信されて表示される該商品情報の商品に対する上記ユーザによるＥＣ処理種別の選択操作を該クライアント装置で検知すると共に該検知した該選択操作のＥＣ処理種別を該クライアント装置から取得するステップと、
   ［ｒ］取得した上記ＥＣ処理種別に基づき上記商品に対するＥＣ処理を呼び出すステップとを含む配信方法。
2. 前記ステップ［ｍ］が、前記クライアント装置に表示されたＵＩ処理済シーン画像データを保存するステップをさらに含む、請求項１に記載の配信方法。
3. 前記ステップ［ａ］の映像コンテンツが前記クライアント装置に表示されている間に前記ステップ［ｅ］、［ｉ］、［ｊ］、［ｋ］、［ｌ］が複数回実施されるとき、前記ステップ［ｍ］において生成されるＵＩ処理済シーン画像データを該実施の都度保存するステップをさらに含む、請求項１に記載の配信方法。
4. 前記ステップ［ｏ］において前記クライアント装置に送信されるＵＩ処理済シーン画像データが前記保存されたすべてのＵＩ処理済シーン画像データであって、該ＵＩ処理済シーン画像データが複数のとき、前記クライアント装置に表示される該複数のＵＩ処理済シーン画像データがサムネイル形式で表示されることを特徴とする、請求項３に記載の配信方法。
5. 前記ステップ［ｒ］のＥＣ処理種別に基づき呼び出される前記商品に対するＥＣ処理には、前記ユーザと該商品の供給元とのスマートコントラクトが含まれることを特徴とする、請求項１に記載の配信方法。
6. 映像コンテンツの視聴者となるユーザが該映像コンテンツの制作リソースを商品として取引できるＥＣのＵＩ機能が組み込まれたＥＣ統合型メタメディアの配信方法であって、
   ［ａ］上記映像コンテンツのビデオＩＤ及びシーンＩＤからシーン識別情報を生成するステップと、
   ［ｂ］生成された上記シーン識別情報を音声透かしデータに音声エンコードするステップと、
   ［ｃ］音声エンコードされた上記音声透かしデータを上記映像コンテンツの各シーンに仕込みながら上記映像コンテンツを再編集するステップと、
   ［ｄ］再編集された上記映像コンテンツが汎用の視聴機器で放映されるステップと、
   ［ｅ］放映されている上記映像コンテンツに表示されたシーンを上記ユーザが選択したことを上記ユーザのクライアント装置で検知するステップと、
   ［ｆ］上記視聴機器から出力される音声を上記選択の操作の検知によって上記クライアント装置が収音して該選択の操作の時点における上記シーンの上記音声透かしデータを取得するステップと、
   ［ｇ］取得された上記音声透かしデータをデコードして上記選択の操作の時点における上記シーンのシーン識別情報を取得するステップと、
   ［ｈ］デコードして取得された上記シーン識別情報を上記クライアント装置から取得するステップと、
   ［ｉ］取得した上記シーン識別情報に基づき商品情報を検索するステップと、
   ［ｊ］検索された上記商品情報を上記クライアント装置に送信するステップと、
   ［ｋ］上記送信により上記クライアント装置に上記商品情報が表示されるステップと、
   ［ｌ］上記クライアント装置に表示された上記商品情報の商品に対する上記ユーザによるＥＣ処理を受け付けるステップと、
   ［ｍ］上記ＥＣ処理の受け付けにより上記商品情報のＥＣ処理種別を参照するステップと、
   ［ｎ］上記参照により上記ＥＣ処理種別に対応するＥＣ処理の構成を呼び出すステップとを含む配信方法。
7. 前記ステップ［ｈ］で取得された前記シーン識別情報に基づきビデオデータを検索して該検索したビデオデータから該シーン識別情報に対応するシーン画像データを取得するステップと、
   前記ステップ［ｉ］で検索された前記商品情報の商品が表示されている該シーン画像データの範囲にリンク要素を付けたＵＩ処理済シーン画像データを生成するステップと、
   前記ステップ［ｊ］の構成を前記クライアント装置に上記ＵＩ処理済シーン画像データを送信する構成に置換したステップと、
   前記ステップ［ｋ］の構成を前記クライアント装置に上記ＵＩ処理済シーン画像データを表示する構成に置換したステップと、
   前記ステップ［ｌ］を実行する前に上記クライアント装置に表示された上記ＵＩ処理済シーン画像データに含まれた上記リンク要素を前記ユーザが選択したことを該クライアント装置で検知して該検知した該リンク要素を該クライアント装置から取得するステップと、
   取得した上記リンク要素に基づき商品情報を検索すると共に、該検索の結果の商品情報を該クライアント装置に送信して表示するステップとをさらに含む、請求項６に記載の配信方法。