JPWO2012039015A1 - 課金電子広告システム - Google Patents
課金電子広告システム Download PDFInfo
- Publication number
- JPWO2012039015A1 JPWO2012039015A1 JP2010548690A JP2010548690A JPWO2012039015A1 JP WO2012039015 A1 JPWO2012039015 A1 JP WO2012039015A1 JP 2010548690 A JP2010548690 A JP 2010548690A JP 2010548690 A JP2010548690 A JP 2010548690A JP WO2012039015 A1 JPWO2012039015 A1 JP WO2012039015A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- billing
- electronic advertisement
- output
- electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/04—Billing or invoicing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2543—Billing, e.g. for subscription services
- H04N21/2547—Third Party Billing, e.g. billing of advertiser
Abstract
課金条件に見合う広告効果が出なかった場合には広告料を支払う義務がないようにして、広告主が、経済的リスクを負うことなく広告を掲載できる電子広告システムを提供する。電子広告送信側コンピュータは、電子広告データに課金条件が記載された情報からなるタグを付加する課金タグ付加手段を有している。受信側コンピュータは、受信した電子広告データの映像と音声を出力データとして出力する表示器と、表示器の周囲の状況を入力データとして取り込む電子機器を備えている。受信側コンピュータのプログラムは、出力した電子広告データの課金条件が達成されたか否かを電子機器からの入力データを解析して判断する入力映像解析手段を有し、課金条件が達成されたとき、課金請求データを生成する。
Description
本発明は、スポンサーの希望した所定の広告効果が確認できたときのみスポンサーに広告料が課金されるようにした電子広告システムに関する。
インターネットを通して様々な映像や文字情報を発信する電子看板が従来知られている。この電子看板において、カメラを設置し、カメラが撮影した映像に基いて客の顔の画像を分析し、この分析結果に基いて広告を切り替えるようにしたものが従来知られている。（例えば非特許文献１参照）。また、デジタルカメラで撮った人物の表情を抽出し定量化する映像解析手段を備えた情報処理装置が従来知られている（例えば特許文献１参照 ）。また、コンピュータプログラムによって、映像データに基づき、２次元または３次元のオブジェクトを生成し、生成したオブジェクトを制御するプログラム技術が従来知られている（例えば特許文献２参照）。
朝日新聞１３版Ｐ２
従来の電子広告システムは、広告主が広告代理店に広告映像音声データの放映を依頼し、両者の契約で、広告掲載料が広告主から広告代理店に支払われるのが一般的である。
この場合、広告主は、広告の効果のあるなしにかかわらず、広告掲載料を支払わなければならず、しかも、広告の結果、どのような効果があったかについては容易に確認することができず、きわめて、経済的リスクを伴うものであった。
本発明は上記問題点を解決することを目的とするものである。
この場合、広告主は、広告の効果のあるなしにかかわらず、広告掲載料を支払わなければならず、しかも、広告の結果、どのような効果があったかについては容易に確認することができず、きわめて、経済的リスクを伴うものであった。
本発明は上記問題点を解決することを目的とするものである。
上記目的を達成するため、本発明は、電子広告作成用プログラムを内蔵した電子広告送信側コンピュータと、前記電子広告送信側コンピュータの生成した電子広告データを処理するプログラムを内蔵し該コンピュータの処理した電子広告データの映像と音声を出力データとして表示器を通して出力する受信側コンピュータと、前記表示器の周囲の状況を入力データとして前記受信側コンピュータに入力する電子機器とを備え、前記電子広告送信側コンピュータに内蔵されたプログラムは、電子広告データに課金条件が記載された情報からなるタグを付加する課金タグ付加手段を有し、前記受信側コンピュータに内蔵されたプログラムは、出力した電子広告データの課金条件が達成されたか否かを前記電子機器からの入力データを解析して判断する入力映像解析手段を有し、前記課金条件が達成されたとき、前記電子広告送信側コンピュータに処理させるための課金請求データを生成するようにしたことを特徴とする。
また本発明は、前記電子広告送信側コンピュータと前記受信側コンピュータとがネットワークを介して接続されていることを特徴とする。
また本発明は、前記電子広告送信側コンピュータの生成した電子広告データが、記録媒体を介して前記受信側コンピュータに供給され、前記受信側コンピュータの生成した課金請求データが、記録媒体を介して、前記電子広告送信側コンピュータに供給されるようにしたことを特徴とする。
また本発明は、前記課金条件が、広告出力画面に振り向いた通行人の人数、広告出力画面に向かって笑った通行人の人数の中の少なくとも１つの数値を内容とすることを特徴とする。
また本発明は、前記電子広告データは、ユニークワードと、送信者のＩＤコードと受信者のＩＤコードからなる認証データと、課金金額と課金条件を含む課金保証データと、メインシナリオと複数のユニットデータを含む広告映像音声データとを備えたことを特徴とする。
また本発明は、前記入力映像解析手段は、前記電子機器の映像情報から表示器の周囲の人間の顔の向きや、顔の表情を認識し電子情報化する情報解析機能を有することを特徴とする。
また本発明は、前記受信側コンピュータに内蔵されたプログラムは、前記入力映像解析手段の解析結果に基いて、前記電子広告データのシナリオを課金条件を達成できるように再構成し、再構成映像音声を前記表示器から出力するようにしたことを特徴とする。
また本発明は、前記電子広告送信側コンピュータに内蔵されたプログラムは、前記課金請求データを受信すると、課金条件が達成されたか否か検証し、検証できたときに課金請求を精算する機能を備えていることを特徴とする。
また本発明は、前記電子広告送信側コンピュータに内蔵されたプログラムは、前記出力データから出力オブジェクトを生成し、前記入力データから入力オブジェクトを生成し、前記課金条件を満足させる方向に前記入力オブジェクトが変化しないとき、前記出力オブジェクトの登場する場面を再構成し、この場面の変更によって、前記入力オブジェクトを前記課金条件を満足させる方向に誘導するようにしたことを特徴とする。
また本発明は、前記入力オブジェクトが、前記出力オブジェクトによって前記課金条件を満足させる方向に誘導されたとき、その場面を、補正出力データとして記録し、該補正出力データを、前記場面の再構成に用いるようにしたことを特徴とするものである。
また本発明は、前記電子広告送信側コンピュータと前記受信側コンピュータとがネットワークを介して接続されていることを特徴とする。
また本発明は、前記電子広告送信側コンピュータの生成した電子広告データが、記録媒体を介して前記受信側コンピュータに供給され、前記受信側コンピュータの生成した課金請求データが、記録媒体を介して、前記電子広告送信側コンピュータに供給されるようにしたことを特徴とする。
また本発明は、前記課金条件が、広告出力画面に振り向いた通行人の人数、広告出力画面に向かって笑った通行人の人数の中の少なくとも１つの数値を内容とすることを特徴とする。
また本発明は、前記電子広告データは、ユニークワードと、送信者のＩＤコードと受信者のＩＤコードからなる認証データと、課金金額と課金条件を含む課金保証データと、メインシナリオと複数のユニットデータを含む広告映像音声データとを備えたことを特徴とする。
また本発明は、前記入力映像解析手段は、前記電子機器の映像情報から表示器の周囲の人間の顔の向きや、顔の表情を認識し電子情報化する情報解析機能を有することを特徴とする。
また本発明は、前記受信側コンピュータに内蔵されたプログラムは、前記入力映像解析手段の解析結果に基いて、前記電子広告データのシナリオを課金条件を達成できるように再構成し、再構成映像音声を前記表示器から出力するようにしたことを特徴とする。
また本発明は、前記電子広告送信側コンピュータに内蔵されたプログラムは、前記課金請求データを受信すると、課金条件が達成されたか否か検証し、検証できたときに課金請求を精算する機能を備えていることを特徴とする。
また本発明は、前記電子広告送信側コンピュータに内蔵されたプログラムは、前記出力データから出力オブジェクトを生成し、前記入力データから入力オブジェクトを生成し、前記課金条件を満足させる方向に前記入力オブジェクトが変化しないとき、前記出力オブジェクトの登場する場面を再構成し、この場面の変更によって、前記入力オブジェクトを前記課金条件を満足させる方向に誘導するようにしたことを特徴とする。
また本発明は、前記入力オブジェクトが、前記出力オブジェクトによって前記課金条件を満足させる方向に誘導されたとき、その場面を、補正出力データとして記録し、該補正出力データを、前記場面の再構成に用いるようにしたことを特徴とするものである。
本発明は、広告主は、課金タグ付き広告映像音声データを広告掲載者側に送ることで、課金条件が達成できた場合のみ、広告掲載料を払うことになるので、広告効果のなかった広告に対して広告料を支払うというリスクを回避することができるという効果がある。
以下に本発明の構成を添付した図面を参照して詳細に説明する。
図３は、本システムのハードウェア構成図を示し、広告主側（送信者側）システムである課金電子広告作成システム２は、ワークステーション４から構成される。広告代理店側（受信者側）システムである課金電子広告掲示システム６は、ネットワークインターフェイス８、ハードディスク１０、メモリ１２、ＣＰＵ１４、内部バス１６、１／０インターフェイス１８からなるコンピュータと、該コンピュータと１／０インターフェイス１８を介して接続するスピーカ２０、映像表示器２２、動画及び静止画撮影用のデジタルカメラ２４、マイクロフォン２６とから構成されている。カメラ２４は、表示器２２の前方の風景とともに通行人２０４を撮影する。システム６は、このカメラ２４のデジタル出力を受信し、後述する通行人２０４の人物オブジェクト（入力オブジェクト）を生成する。マイクロフォン２６の出力は、後述する課金条件に応じて、通行人等の音声信号等として利用することができる。課金電子広告作成システム２と課金電子広告掲示システム６の各コンピュータは、ネットワークを介して互いに接続している。
図３は、本システムのハードウェア構成図を示し、広告主側（送信者側）システムである課金電子広告作成システム２は、ワークステーション４から構成される。広告代理店側（受信者側）システムである課金電子広告掲示システム６は、ネットワークインターフェイス８、ハードディスク１０、メモリ１２、ＣＰＵ１４、内部バス１６、１／０インターフェイス１８からなるコンピュータと、該コンピュータと１／０インターフェイス１８を介して接続するスピーカ２０、映像表示器２２、動画及び静止画撮影用のデジタルカメラ２４、マイクロフォン２６とから構成されている。カメラ２４は、表示器２２の前方の風景とともに通行人２０４を撮影する。システム６は、このカメラ２４のデジタル出力を受信し、後述する通行人２０４の人物オブジェクト（入力オブジェクト）を生成する。マイクロフォン２６の出力は、後述する課金条件に応じて、通行人等の音声信号等として利用することができる。課金電子広告作成システム２と課金電子広告掲示システム６の各コンピュータは、ネットワークを介して互いに接続している。
図４、５は、本システムに使用される課金タグ付きデータのフォーマットであり、図４は、広告主（送信者）から広告代理店（受信者）に送られるタグ付きデータ２８を示し、図５は、広告代理店（送信者）から広告主（受信者）に送られるタグ付きデータ３０を示している。
データ２８は、ユニークワード３２、タグ３４、データブロック３６から成り、タグ３４は、ヘッダ３８、認証データ部４０、課金保証データ部４２、タグ・チェックコード４４から成り、認証データ部４０は、ヘッダ４６、認証データ４８から構成され、課金保証データ部４２は、ヘッダ５０、課金保証データ５２から構成されている。
データ２８は、ユニークワード３２、タグ３４、データブロック３６から成り、タグ３４は、ヘッダ３８、認証データ部４０、課金保証データ部４２、タグ・チェックコード４４から成り、認証データ部４０は、ヘッダ４６、認証データ４８から構成され、課金保証データ部４２は、ヘッダ５０、課金保証データ５２から構成されている。
データブロック３６は、ヘッダ５４、広告映像音声データ５６、データブロック・チェックコード５８から成り、広告映像音声データ５６は、メインシナリオ６０、多数のユニットデータ６２とから構成され、メインシナリオ６０は、ヘッダ６４、データ６６から成り、ユニットデータ６２の各ユニットは、ヘッダ６８、データ７０とから構成されている。前記ユニークワード３２は、課金タグ付きデータ２８の識別同期符号から成る。ヘッダ３８は、タグ３４のバイト数を示す。認証データ４８は、広告主ＩＤコード（送信者）、広告代理店ＩＤコード（受信者）から成る。
ヘッダ５０は、課金保証データ５２のバイト数を示す。課金保証データ５２は、課金タグ付きデータ２８のシリアル番号、課金金額、課金条件から構成される。課金条件は、広告主の希望する広告効果を得るための条件であり、例えば、通行人の振り向き人数何人、笑顔人数何人等である。タグ・チェックコード４４は、タグのヘッダ３８、認証データ部４０、課金保証データ部４２の誤り検出訂正符号から構成される。ヘッダ５４は、データ・ブロック３６のバイト数から構成される。ヘッダ６４はメインシナリオ６０のバイト数から構成される。データ６６は、ユニットデータ６２の実行手順、ユニットデータ６２へのリンク情報から構成される。
ヘッダ６８は各ユニットデータ６２のバイト数を示し、データ７０はユニットデータ６２の映像・音声データから構成される。データブロック・チェックコード５８は、データブロック３６のヘッダ５４、広告映像データ５６の誤り検出訂正符号から構成される。図５において、タグ付きデータ３０は、ユニークワード７２、タグ７４、データブロック７６から成り、タグ７４は、ヘッダ７５、認証データ７８、課金請求データ部８０、タグ・チェックコード８２から成る。認証データ部７８はヘッダ８４と認証データ８６とから構成される。課金請求データ部８０は、ヘッダ８８と課金請求データ９０とから構成される。データブロック７６は、ヘッダ９２、広告結果データ部９４、データブロック・チェックコード９６から成る。
広告結果データ部９４は、ヘッダ９８と広告結果データ１００とから成る。ユニークワード７２は課金タグ付きデータ３０の識別同期符号から構成され、ヘッダ７５はタグ７４のバイト数を示し、ヘッダ８４は、認証データ８６のバイト数を示し、認証データ８６は、広告代理店ＩＤコード（送信者）、広告主ＩＤコード（受信者）から構成される。ヘッダ８８は課金請求データ９０のバイト数を示し、課金請求データ９０は課金タグ付きデータ２８のシリアル番号、課金金額、課金条件から構成される。タグ・チェックコード８２は、タグ７４のヘッダ７５、認証データ部７８、課金請求データ部８０の誤り検出訂正符号から構成される。ヘッダ９２はデータ・ブロック７６のバイト数を示し、ヘッダ９８は、広告結果データ１００のバイト数を示し、広告結果データ１００は、認識結果、広告効果、ログからそれぞれ構成される。データブロック・チェックコード９６は、データ・ブロック７６のヘッダ、広告結果データ部９４の誤り検出訂正符号から構成される。
図６は本システムで使用されるデータの構造を示している。
図６は本システムで使用されるデータの構造を示している。
図６に示す、映像・音認識データ１０２のデータ構造は以下の通りである。
背景データ１０２ａは、人物像と思われる映像情報以外のカメラ入力からの映像データで、統計処理などを施した背景抜き取り用データである。
人物モデル・データ１０２ｂは、多数の人物画像から統計処理などによって得た普遍的な特徴量を持つ人物モデルである。
顔モデル・データ１０２ｃは、多数の人物の顔画像から統計処理などによって得た普遍的な特徴量を持つ顔モデルである。
目、瞳モデル・データ１０２ｄは、多数の人物の目、瞳画像から統計処理などによって得た普遍的な特徴量を持つ目、瞳モデルである。
笑顔モデル・データ１０２ｅは、多数の人物の笑顔画像から統計処理などによって得た普遍的な特徴量を持つ笑顔モデルである。
顔オブジェクトデータ１０２ｆは、顔追跡処理単位毎のオブジェクト認識の各種情報である。顔オブジェクトデータ１０２ｆは、例えば、通行人Ａの顔オブジェクトデータや通行人Ｂの顔オブジェクトデータから成り、通行人Ａの顔オブジェクトデータは、通行人Ａの顔追跡処理のオブジェクト認識の履歴、認識情報である。 また、通行人Ｂの顔オブジェクトデータは、通行人Ｂの顔追跡処理のオブジェクト認識の履歴、認識情報である。
背景データ１０２ａは、人物像と思われる映像情報以外のカメラ入力からの映像データで、統計処理などを施した背景抜き取り用データである。
人物モデル・データ１０２ｂは、多数の人物画像から統計処理などによって得た普遍的な特徴量を持つ人物モデルである。
顔モデル・データ１０２ｃは、多数の人物の顔画像から統計処理などによって得た普遍的な特徴量を持つ顔モデルである。
目、瞳モデル・データ１０２ｄは、多数の人物の目、瞳画像から統計処理などによって得た普遍的な特徴量を持つ目、瞳モデルである。
笑顔モデル・データ１０２ｅは、多数の人物の笑顔画像から統計処理などによって得た普遍的な特徴量を持つ笑顔モデルである。
顔オブジェクトデータ１０２ｆは、顔追跡処理単位毎のオブジェクト認識の各種情報である。顔オブジェクトデータ１０２ｆは、例えば、通行人Ａの顔オブジェクトデータや通行人Ｂの顔オブジェクトデータから成り、通行人Ａの顔オブジェクトデータは、通行人Ａの顔追跡処理のオブジェクト認識の履歴、認識情報である。 また、通行人Ｂの顔オブジェクトデータは、通行人Ｂの顔追跡処理のオブジェクト認識の履歴、認識情報である。
尚、上記において、特徴量とは、人物、顔、目、笑顔等の形状の特徴を数値化したものでありり、人間の顔の皺、瞼、瞳、唇、歯等の各器官の相対位置、形状、相互関連度、変化の速さなどである。
認識解析結果データ１０４のデータ構造は、以下の通りである。
認識解析結果データ・シリアルＮｏ．：00000001
プロジェクト・コード：PrjctCd00-01
電子広告媒体Ｎｏ．：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59
笑顔人数：xxxx
振り向き人数：yyyy
広告結果データ１００のデータ構造は、以下の通りである。
広告結果データ：
課金タグ付きデータ・シリアルＮｏ．KTD0001
電子広告媒体Ｎｏ．：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59
笑顔人数：xxxx
振り向き人数：yyyy
認識解析結果データ１０４のデータ構造は、以下の通りである。
認識解析結果データ・シリアルＮｏ．：00000001
プロジェクト・コード：PrjctCd00-01
電子広告媒体Ｎｏ．：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59
笑顔人数：xxxx
振り向き人数：yyyy
広告結果データ１００のデータ構造は、以下の通りである。
広告結果データ：
課金タグ付きデータ・シリアルＮｏ．KTD0001
電子広告媒体Ｎｏ．：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59
笑顔人数：xxxx
振り向き人数：yyyy
出力補正用データ１０６の各ブロック１０６ａ，１０６ｂ，１０６ｃのデータ構造は以下の通りである。
ブロック１０６ａ：
出力補正用データ・シリアルＮｏ．：00000001
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
ブロック１０６ｂ：
出力補正用データ・シリアルＮｏ．：00000002
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
ブロック１０６ｃ：
出力補正用データ・シリアルＮｏ．00000003
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：None
映像・音声データ
ブロック１０６ａ：
出力補正用データ・シリアルＮｏ．：00000001
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
ブロック１０６ｂ：
出力補正用データ・シリアルＮｏ．：00000002
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
ブロック１０６ｃ：
出力補正用データ・シリアルＮｏ．00000003
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：None
映像・音声データ
出力データ１０８の各ブロック１０８ａ，１０８ｂ，１０８ｃのデータ構造は、以下の通りである。
ブロック１０８ａ：
出力データシリアルＮｏ．：T00000001
作成プロセスID：PC00001
映像・音声リングアドレス情報：T00000002,T00000003
映像・音声データ
ブロック１０８ｂ：
出力データシリアルＮｏ．：T00000002
作成プロセスID：PC00001
映像・音声リングアドレス情報：T00000003
映像・音声データモード：MPEG4
映像・音声データ
ブロック１０８ｃ：
出力データシリアルＮｏ．：T00000003
作成プロセスID：PC00001
映像・音声リンクアドレス情報：None
映像・音声データモード：MPEG4
映像・音声データ：
ブロック１０８ａ：
出力データシリアルＮｏ．：T00000001
作成プロセスID：PC00001
映像・音声リングアドレス情報：T00000002,T00000003
映像・音声データ
ブロック１０８ｂ：
出力データシリアルＮｏ．：T00000002
作成プロセスID：PC00001
映像・音声リングアドレス情報：T00000003
映像・音声データモード：MPEG4
映像・音声データ
ブロック１０８ｃ：
出力データシリアルＮｏ．：T00000003
作成プロセスID：PC00001
映像・音声リンクアドレス情報：None
映像・音声データモード：MPEG4
映像・音声データ：
認証データ４８のデータ構造は、以下の通りである。
認証データ：
広告主IDコード、広告代理店IDコード
課金保証データ（実施例）５２のデータ構造は、以下の通りである。
課金タグ付きデータ・シリアルＮｏ．：KTD0001
課金金額：￥200,000-
課金条件：
笑顔判定閾値：微笑
課金笑顔人数閾値：N
振り向き判定方向閾値：画面全域
課金振り向き人数閾値：M
課金請求データ（実施例）９０のデータ構造は、以下の通りである。
課金タグ付きデータ・シリアルＮｏ．：KTD0001
課金金額：￥200,000-
課金条件：
笑顔判定閾値：微笑
課金笑顔人数閾値：N
振り向き判定方向閾値：画面全域
課金振り向き人数閾値：M
判定結果：
認証データ：
広告主IDコード、広告代理店IDコード
課金保証データ（実施例）５２のデータ構造は、以下の通りである。
課金タグ付きデータ・シリアルＮｏ．：KTD0001
課金金額：￥200,000-
課金条件：
笑顔判定閾値：微笑
課金笑顔人数閾値：N
振り向き判定方向閾値：画面全域
課金振り向き人数閾値：M
課金請求データ（実施例）９０のデータ構造は、以下の通りである。
課金タグ付きデータ・シリアルＮｏ．：KTD0001
課金金額：￥200,000-
課金条件：
笑顔判定閾値：微笑
課金笑顔人数閾値：N
振り向き判定方向閾値：画面全域
課金振り向き人数閾値：M
判定結果：
ストーリー情報（実施例）１１０のデータ構造は、以下の通りである。
ストーリー情報：
部屋に１人。赤ちゃん、お母さんを探す。
泣き顔になる赤ちゃん。不安な音楽。泣声。
お母さんが来る。赤ちゃん振り向く。
赤ちゃんに言葉を囁く。笑顔の赤ちゃん。笑い声
を上げる。安らぐ音楽。
キャッチコピーが流れる。
（繰り返し）
ストーリー情報：
部屋に１人。赤ちゃん、お母さんを探す。
泣き顔になる赤ちゃん。不安な音楽。泣声。
お母さんが来る。赤ちゃん振り向く。
赤ちゃんに言葉を囁く。笑顔の赤ちゃん。笑い声
を上げる。安らぐ音楽。
キャッチコピーが流れる。
（繰り返し）
広告映像音声データ（実施例）５６のデータ構造は、以下の通りである。
ユニットデータ６２のデータ：
映像音声ユニット＃−＃ｎ
U#100：部屋
U#200：お母さん、呼びかけの顔、声
U#201：お母さん、笑顔
U#250：赤ちゃん、お母さんを探す顔
U#251：赤ちゃん、お母さんを見つける顔
U#300：赤ちゃん、泣き顔
U#310：赤ちゃん、笑顔
U#350：赤ちゃん、泣き声
U#351：赤ちゃん、泣き声（中）
U#352：赤ちゃん、泣き声（強）
U#360：赤ちゃん、笑い声
U#400：キャッチコピー、文字AAAA
U#410：キャッチコピー、音声aaaa
U#500：背景BGM（不安な響き）
U#510：背景BGM（安らぐ響き）
メイン・シナリオ６０のデータ：
メイン・シナリオ：
ステージ数/ストーリー：４
ストーリー回数：１６
課金対象ステージ：全ステージ
ステージ時間：１分、１分、１分、１分
第１ステージ：（U#100+U#250）+U#500
第２ステージ：（U#300+U#350）+U#500
第３ステージの１：（U#200）+（U#300+U#350）
第３ステージの２：（U#200）+（U#310+U#360）
第４ステージの１：（U#310+U#360+U#510）
第４ステージの２：（U#310+U#360+U#510）+（U#400+U#410）
刺激場面（刺激度 小から大へ）：U#350->U#351->U#352
ユニットデータ６２のデータ：
映像音声ユニット＃−＃ｎ
U#100：部屋
U#200：お母さん、呼びかけの顔、声
U#201：お母さん、笑顔
U#250：赤ちゃん、お母さんを探す顔
U#251：赤ちゃん、お母さんを見つける顔
U#300：赤ちゃん、泣き顔
U#310：赤ちゃん、笑顔
U#350：赤ちゃん、泣き声
U#351：赤ちゃん、泣き声（中）
U#352：赤ちゃん、泣き声（強）
U#360：赤ちゃん、笑い声
U#400：キャッチコピー、文字AAAA
U#410：キャッチコピー、音声aaaa
U#500：背景BGM（不安な響き）
U#510：背景BGM（安らぐ響き）
メイン・シナリオ６０のデータ：
メイン・シナリオ：
ステージ数/ストーリー：４
ストーリー回数：１６
課金対象ステージ：全ステージ
ステージ時間：１分、１分、１分、１分
第１ステージ：（U#100+U#250）+U#500
第２ステージ：（U#300+U#350）+U#500
第３ステージの１：（U#200）+（U#300+U#350）
第３ステージの２：（U#200）+（U#310+U#360）
第４ステージの１：（U#310+U#360+U#510）
第４ステージの２：（U#310+U#360+U#510）+（U#400+U#410）
刺激場面（刺激度 小から大へ）：U#350->U#351->U#352
図２は、広告主側（送信者側）の課金電子広告作成システム２のブロック説明図である。
以下にこのシステム２の動作を図７に示すフローチャートを参照して説明する。
図７において、広告主側システム２の、広告映像・音声データの作成、タグ付加、送信に関する動作は、ラベルＲ１から入る。広告主側システム２は、ステップＳ１で、統括プログラム１１２は、広告のストーリー情報に基いてストーリー情報１１０を作成する。このストーリー情報１１０は、複数のステージ（行程）から構成されている。
次に、ステップＳ２で、映像・音声作成プログラム１１４は、ストーリー情報１１０の各ステージに基づき、各ステージを構成する映像・音声のユニットデータ６２を作成する。
以下にこのシステム２の動作を図７に示すフローチャートを参照して説明する。
図７において、広告主側システム２の、広告映像・音声データの作成、タグ付加、送信に関する動作は、ラベルＲ１から入る。広告主側システム２は、ステップＳ１で、統括プログラム１１２は、広告のストーリー情報に基いてストーリー情報１１０を作成する。このストーリー情報１１０は、複数のステージ（行程）から構成されている。
次に、ステップＳ２で、映像・音声作成プログラム１１４は、ストーリー情報１１０の各ステージに基づき、各ステージを構成する映像・音声のユニットデータ６２を作成する。
次に、ステップＳ３で、シナリオ作成プログラム１１６は、ストーリー情報１１０に基づき、ステージ毎に展開したメインシナリオ６６を作成する。次にステップＳ４で、統括プログラム１１２は、メインシナリオ６６と映像音声のユニットデータ６２とを合成して広告映像・音声データ５６を作成する。
次にステップＳ５で、課金プログラム１１８は、課金保証に関する入力データに基づき、課金保証データ５２を作成する。次にステップＳ６で、認証プログラム１２０は、認証に関する入力データに基づき、認証データ４８を作成する。次に、ステップＳ７で、統括プログラム１１２は、課金保証データ５２と、認証データ４８とからタグ３４を作成する。
次にステップＳ５で、課金プログラム１１８は、課金保証に関する入力データに基づき、課金保証データ５２を作成する。次にステップＳ６で、認証プログラム１２０は、認証に関する入力データに基づき、認証データ４８を作成する。次に、ステップＳ７で、統括プログラム１１２は、課金保証データ５２と、認証データ４８とからタグ３４を作成する。
次にステップＳ８で、統括プログラム１１２は、広告映像・音声のデータブロック３６とタグ３４から、課金タグ付きデータ２８を生成する。次に、ステップＳ９で、統括プログラム１１２は、課金タグ付きデータ２８を、課金電子広告掲示システム６へネットワークを介して送出し、広告主側システム２の送信処理を完了する。
図８は、広告主側システム２の課金請求データ受信の処理を示している。
図８において、広告主側システム２は、課金請求データのネットワーク受信処理のスタートをラベルＲ２から入る。広告主側システム２は、ステップＳ１で、認証プログラム１２０は、課金電子広告掲示システム６から受信した認証データ８６を検証する。
図８は、広告主側システム２の課金請求データ受信の処理を示している。
図８において、広告主側システム２は、課金請求データのネットワーク受信処理のスタートをラベルＲ２から入る。広告主側システム２は、ステップＳ１で、認証プログラム１２０は、課金電子広告掲示システム６から受信した認証データ８６を検証する。
次に認証プログラム１２０は、ステップＳ２で、認証データ８６の検証ができたか否か判断する。ステップＳ２で否定を判断するとステップＳ１に戻り肯定を判断するとステップＳ３で、課金プログラム１１８は、タグ７４から課金請求データ９０を分離する。次にステップＳ４で、統括プログラム１１２は、データブロック７６から広告結果データ１００を分離する。次に、ステップＳ５で、結果検証プログラム１２２は、広告結果データ１００を検証する。次に、結果検証プログラム１２２は、ステップＳ６で、広告結果データ１００の検証ができたか否か判断する。ステップＳ６で否定を判断すると、広告主側システム２は、処理を終了する。また、結果検証プログラム１２２が、判断ステップＳ６で、肯定を判断すると、ステップＳ７で、統括プログラム１１２は、課金請求を精算し、処理を終了する。
次に、広告代理店側システム６の課金タグ付きデータ受信の処理動作を、図９乃至図１２に示すフローチャートを参照して説明する。
図９において、広告代理店側システム６は、課金タグ付きデータ受信の処理動作をラベルＲ３から入る。
広告代理店側システム６のデータ受信処理がスタートすると、ステップＳ１で、認証プログラム１２４は、受信した課金タグ付きデータ２８の認証データ４８を分離・検証する。次にステップＳ２で、認証プログラム１２４は、認証データ４８の検証ができたか否か判断し、肯定を判断すると、ステップＳ３で、課金プログラム１２６は、受信した課金タグ付きデータの課金保証データ５２を分離、検証、保存する。
図９において、広告代理店側システム６は、課金タグ付きデータ受信の処理動作をラベルＲ３から入る。
広告代理店側システム６のデータ受信処理がスタートすると、ステップＳ１で、認証プログラム１２４は、受信した課金タグ付きデータ２８の認証データ４８を分離・検証する。次にステップＳ２で、認証プログラム１２４は、認証データ４８の検証ができたか否か判断し、肯定を判断すると、ステップＳ３で、課金プログラム１２６は、受信した課金タグ付きデータの課金保証データ５２を分離、検証、保存する。
次のステップＳ４で、統括プログラム１２８は、課金保証データ５２の課金条件から判定項目と閾値とを課金判定条件として設定する。次に、ステップＳ５で、統括プログラム１２８は、受信した課金タグ付きデータ２８の広告映像音声データ５６を分離し、保存、且つ、広告映像音声データ５６からメイン・シナリオ６０、映像音声ユニットデータ６２を分離し、保存する。次に、ステップＳ６で、統括プログラム１２８は、メイン・シナリオ６０と課金条件からストーリーを構築し、ストーリー終了回数条件を作成する。次に、統括プログラム１２８は、ステップＳ７で、ユニットデータ６２に基づいて、出力制御プログラム１３０下に出力オブジェクトを生成し、映像、音声入力に基づいて、解析プログラム１３２下に入力オブジェクトを生成し、これらオブジェクト間の通信を管理する。入力オブジェクトは、カメラ２４の入力映像データを認識解析することで生成される。出力データや入力データに基づいて、出力オブジェクトや入力オブジェクトを生成する方法は従来知られているプログラム技術（特許文献２参照）であり、本実施形態では従来知られているプログラム生成技術を用いている。統括プログラム１２８中のオブジェクト生成・制御を担当するプロクラム部分を便宜上、ストーリー・マネージャーと称する。
このステップＳ７の処理を図１０に示すフローチャートを参照して以下に詳しく説明する。
図９に示すステップＳ７のスタートは、図１０のラベルＲ５から入る。統括プログラム１２８は、ステップＳ１で、シナリオに基づき、映像音声ユニット６２を編成して各ステージを構成、反応度の閾値を設定し、第１ステージをスタートする。次に、ステップＳ２で、ステージ毎に該当する出力オブジェクトの場面の管理を行う。次に、ステップＳ２で、出力制御プログラム１３０は、場面を構成する。次に、ステップＳ３で、表示・音出力プログラム１３４は、場面のオブジェクト毎に、表示・音出力を生成する。次に、ステップＳ５で、表示・音出力プログラム１３４は、合成画面を表示器２２に出力し、出力合成音をスピーカ２０に出力する。
図９に示すステップＳ７のスタートは、図１０のラベルＲ５から入る。統括プログラム１２８は、ステップＳ１で、シナリオに基づき、映像音声ユニット６２を編成して各ステージを構成、反応度の閾値を設定し、第１ステージをスタートする。次に、ステップＳ２で、ステージ毎に該当する出力オブジェクトの場面の管理を行う。次に、ステップＳ２で、出力制御プログラム１３０は、場面を構成する。次に、ステップＳ３で、表示・音出力プログラム１３４は、場面のオブジェクト毎に、表示・音出力を生成する。次に、ステップＳ５で、表示・音出力プログラム１３４は、合成画面を表示器２２に出力し、出力合成音をスピーカ２０に出力する。
次に、ステップＳ６で、統括プログラム１２８は、解析プログラム１３２で生成した人物オブジェクト（入力オブジェクト）の反応度をチェックする。ここで反応度とは、後述する実施例に示すように、振り向き人数、笑顔人数などを意味する。次に、ステップＳ７で、出力制御プログラム１３０は、ステージが終了したか否か判断し、肯定を判断すると、ステップＳ９に移行する。ステップＳ７で否定を判断すると、ステップＳ８で、反応度が閾値以上か否か判断し、肯定を判断すると、ステップＳ９に移行する。ステップＳ８で否定を判断すると、ステップＳ１３で、出力制御プログラム１３０は、ステージ、オブジェクト、刺激度、反応度を基準として、登録場面を出力補正用データ１０６内で検索する。
次に、ステップＳ１４で、出力制御プログラム１３０は、出力補正用データ１０６内に、刺激度、反応度の大きい場面が有るか否か判断し、否定を判断した場合には、輝度、コントラスト、音量、アニメーションモーフィング等を変化させて、現在の刺激場面を更に大きく補正し、ステップＳ１６に移行する。ステップＳ１４で肯定を判断すると、ステップＳ１６で、出力制御プログラム１３０は、刺激度、反応度の大きな場面でストーリーを再構築し、ステップＳ４に移行する。ステップＳ８で、肯定を判断した場合は、出力制御プログラム１３０は、場面を反応度と共に出力補正用データ１０６として登録する。次に、ステップＳ１０で、出力制御プログラム１３０は、ストーリーが終了段階か否か判断し、否定を判断すると、ステップＳ１１で、次のステージをスタートさせ、ステップＳ２に移行する。ステップＳ１０で肯定を判断すると、ステップＳ１２で広告効果データ１００即ち、人物オブジェクトの振り向き人数、笑顔人数を含むログを生成し、これを統括プログラム１２８に送出し、処理を終了する。上記ステップＳ６での人物オブジェクトの反応度のチェックでは、顔認識と顔追跡の並列的処理が実行される。
次に、上記顔認識と顔追跡処理の動作について図１１に示すフローチャートを参照して説明する。
顔認識・追跡処理がラベルＲ６からスタートすると映像・音認識プログラム１３６による人物の顔検出処理がスタートする。（ステップＳ１）。次に、ステップＳ２で、映像・音認識プログラム１３６は、カメラ入力による映像データ、マイク入力による音データから人物認識処理をスタートする。次に、ステップＳ３で映像入力データから背景を消去し、人物モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを人物オブジェクトとして検出する。次に、ステップＳ４で、顔モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを顔オブジェクトとして検出する。
顔認識・追跡処理がラベルＲ６からスタートすると映像・音認識プログラム１３６による人物の顔検出処理がスタートする。（ステップＳ１）。次に、ステップＳ２で、映像・音認識プログラム１３６は、カメラ入力による映像データ、マイク入力による音データから人物認識処理をスタートする。次に、ステップＳ３で映像入力データから背景を消去し、人物モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを人物オブジェクトとして検出する。次に、ステップＳ４で、顔モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを顔オブジェクトとして検出する。
次に、ステップＳ５で、発生、消滅、移動、変化するオブジェクトとして、顔オブジェクト毎に対応した顔追跡処理を生成する。この並列的顔追跡処理は、ステップＳ６で、目・瞳モデルデータによる普遍的特徴量を閾値以上多く持つオブジェクトを目・瞳オブジェクトとして検出する。次に、顔追跡処理は、ステップＳ７で、目・瞳オブジェクトの中の瞳の目に対する位置で視線、およびその方向を検出する。次に、ステップＳ８で顔追跡処理は、笑顔モデルデータによる普遍的特徴量を閾値以上多く持つオブジェクトを笑顔オブジェクトとして検出する。次に、ステップＳ９で、映像・音認識プログラム１３６は、顔追跡処理が追跡する顔オブジェクトが、顔モデルデータによる普遍的特徴を閾値以上多く持つか否か調査する。ステップＳ１０で、映像・音認識プログラム１３６は、前記顔オブジェクトの普遍的特徴量は閾値以上であるか否か判断し、否定を判断すると、ステップＳ１１で、閾値未満のオブジェクトを追跡する処理を消去して、ステップＳ１２に移行する。
ステップＳ１０で肯定を判断すると、ステップＳ１２で、統括プログラム２８は、映像・音認識プログラムから人物オブジェクトの反応度等のパラメータを取得し、顔オブジェクトとその持つ視線方向、及び笑顔オブジェクトとを解析プログラム１３２に引き渡して処理を終了する。次に、再び図９に戻り、ステップＳ８以下の処理について説明する。
ステップＳ８で、統括プログラム１２８は、ストーリーが終了したか否か判断する。肯定を判断すると、次に、ステップＳ９で、ストーリー回数が終了したか否か判断し、否定を判断するとステップＳ７に戻り、肯定を判断すると、ステップＳ１０に移行する。
ステップＳ８で、統括プログラム１２８は、ストーリーが終了したか否か判断する。肯定を判断すると、次に、ステップＳ９で、ストーリー回数が終了したか否か判断し、否定を判断するとステップＳ７に戻り、肯定を判断すると、ステップＳ１０に移行する。
ステップＳ１０で、統括プログラム１２８は、広告結果データ１００をストーリーマネージャーから受け取り、ステップＳ１１で、広告結果データ１００が課金条件、例えば振り向き人数Ｍ，笑顔人数Ｎを満たしているか判断する。次に、ステップＳ１２で判定結果が満足できるものであるか否か判断し、肯定を判断すると、ステップＳ１３で、解析プログラム１３２は、映像・音認識データ１４０に基いて、解析した認識解析結果データ１３８を保存し、課金開始イベントを発生する。ステップＳ１２で否定を判断したときは、処理を終了する。
次に、図１２を参照して、広告代理店側システム６の課金タグ付きデータ送信処理について説明する。
ラベルＲ４から課金開始イベントがスタートすると、ステップＳ１で、課金プログラム１２６は、課金請求データ９０を作成する。次に、ステップＳ２で、認証プログラム１２４は、認証データ８６を作成する。次に、ステップＳ３で、統括プログラム１２８は、課金請求データ９０と認証データ８６とから、タグ７４を作成する。次に、ステップＳ４で、統括プログラム１２８は、認識解析結果データ１３８から、広告結果データ１００を作成する。次に、ステップＳ５で統括プログラム１２８は、広告結果データ１００を含むデータブロック７６とタグ７４から課金タグ付きデータ３０を作る。次に、ステップＳ６で統括プログラム１２８は、課金タグ付きデータ３０をネットワークを通して、広告主側の課金電子広告作成システム２に送出し、処理を終了する。
ラベルＲ４から課金開始イベントがスタートすると、ステップＳ１で、課金プログラム１２６は、課金請求データ９０を作成する。次に、ステップＳ２で、認証プログラム１２４は、認証データ８６を作成する。次に、ステップＳ３で、統括プログラム１２８は、課金請求データ９０と認証データ８６とから、タグ７４を作成する。次に、ステップＳ４で、統括プログラム１２８は、認識解析結果データ１３８から、広告結果データ１００を作成する。次に、ステップＳ５で統括プログラム１２８は、広告結果データ１００を含むデータブロック７６とタグ７４から課金タグ付きデータ３０を作る。次に、ステップＳ６で統括プログラム１２８は、課金タグ付きデータ３０をネットワークを通して、広告主側の課金電子広告作成システム２に送出し、処理を終了する。
次に、統括プログラム１２８により生成されるオブジェクトの実施例について図１３乃至図１６を参照して説明する。
図９のステップＳ７に示すように出力制御プログラム１３０下に出力オブジェクト、解析プログラム１３２下に入力オブジェクトが生成される。この出力オブジェクトとして、図１３乃至図１６に示す実施例では、キャッチコピーオブジェクト１４２（図１７参照）、赤ちゃんオブジェクト１４４、背景ＢＧＭオブジェクト１４６、お母さんオブジェクト１４８が生成され、入力オブジェクトとして、通行人（人物）オブジェクト１５０が生成される。
図９のステップＳ７に示すように出力制御プログラム１３０下に出力オブジェクト、解析プログラム１３２下に入力オブジェクトが生成される。この出力オブジェクトとして、図１３乃至図１６に示す実施例では、キャッチコピーオブジェクト１４２（図１７参照）、赤ちゃんオブジェクト１４４、背景ＢＧＭオブジェクト１４６、お母さんオブジェクト１４８が生成され、入力オブジェクトとして、通行人（人物）オブジェクト１５０が生成される。
図１３乃至図１６に示される処理は並行して実行される。
まず、図１３のラベル６に示されるキャッチコピー・オブジェクトの処理がスタートすると、ステップＳ１で統括プログラム１２８は、シナリオにキャッチコピーの場面が有るか否か判断し、肯定を判断すると、ステップＳ２でストーリー・マネージャーは、キャッチコピーオブジェクト１４２を生成する。次に、ステップＳ２で、表示・音出力プログラム１３４にキャッチコピー出力を生成する。次に、ステップＳ４で統括プログラム１２８は、人物オブジェクト（通行人オブジェクト）１５０が有るか否か判断し、肯定を判断すると、ステップＳ５で人物オブジェクト１５０と通信する。次にステップＳ６で人物オブジェクト１５０の視線がどこかに向けられたか否か判断し、肯定を判断すると、ステップＳ７で、視線方向にキャッチコピー１４２を移動する。
まず、図１３のラベル６に示されるキャッチコピー・オブジェクトの処理がスタートすると、ステップＳ１で統括プログラム１２８は、シナリオにキャッチコピーの場面が有るか否か判断し、肯定を判断すると、ステップＳ２でストーリー・マネージャーは、キャッチコピーオブジェクト１４２を生成する。次に、ステップＳ２で、表示・音出力プログラム１３４にキャッチコピー出力を生成する。次に、ステップＳ４で統括プログラム１２８は、人物オブジェクト（通行人オブジェクト）１５０が有るか否か判断し、肯定を判断すると、ステップＳ５で人物オブジェクト１５０と通信する。次にステップＳ６で人物オブジェクト１５０の視線がどこかに向けられたか否か判断し、肯定を判断すると、ステップＳ７で、視線方向にキャッチコピー１４２を移動する。
次に、ステップＳ８で、人物オブジェクト１５０の視線がキャッチコピー１４２の移動した方向に向けられているか否か判断し、肯定を判断すると、ステップＳ９で、人物オブジェクト１５０の視線方向と別方向にキャッチコピー１４２を移動する。次にステップＳ１０で、視線がキャッチコピー１４２の移動した方向に向けられたか否か判断し、肯定を判断すると、ステップＳ１１で視線を向けている人物オブジェクト１５０を計数する。次にステップＳ１２で、振り向き人数として、ストーリー・マネージャーに報告される。
図１４において、ラベル７は、赤ちゃんオブジェクトに関する処理を示している。この処理がスタートすると、ステップＳ１で、シナリオに赤ちゃんの場面が有るか否か判断し、肯定を判断すると、ステップＳ２で赤ちゃんオブジェクト１４４を生成する。次にステップＳ３で、表示・音出力プログラム１３４に赤ちゃん出力を生成する。次に、ステップＳ４で人物オブジェクト１５０が有るか否か判断し、肯定を判断すると、ステップＳ５で人物オブジェクト１５０と通信する。次に、ステップＳ６で刺激場面として赤ちゃんの「泣き声と泣顔」を画面に出力する。次にステップＳ７で人物オブジェクトの視線が画面に向けられたか否か判断し、肯定を判断すると、ステップＳ８でお母さんオブジェクトが有るか否か判断し、肯定を判断すると、ステップＳ９で、刺激場面として、赤ちゃんの「笑い声と笑顔」を画面に出力する。
次に、ステップＳ１０で、人物オブジェクト１５０が笑顔であるか否か判断し、肯定を判断すると、笑顔の人物オブジェクト１５０を計数する。次にステップＳ１２で、笑顔人数として、ストーリー・マネージャーに報告される。
図１５において、ラベルＲ８は、背景ＢＧＭオブジェクトに関する処理を示している。この処理がスタートすると、ステップＳ１で、シナリオに背景ＢＧＭの場面が有るか否か判断し、肯定を判断すると、次にステップＳ２で背景ＢＧＭオブジェクト１４６を生成する。次に、ステップＳ３で、表示・音出力プログラム１３４に背景ＢＧＭ出力を生成する。次に、ステップＳ４で、「不安な背景ＢＧＭ」１５２を出力する。次にステップＳ５でお母さんオブジェクト１４８が有るか否か判断し、肯定を判断すると、ステップＳ６で「安らぐ背景ＢＧＭ」１７６を出力する。
図１５において、ラベルＲ８は、背景ＢＧＭオブジェクトに関する処理を示している。この処理がスタートすると、ステップＳ１で、シナリオに背景ＢＧＭの場面が有るか否か判断し、肯定を判断すると、次にステップＳ２で背景ＢＧＭオブジェクト１４６を生成する。次に、ステップＳ３で、表示・音出力プログラム１３４に背景ＢＧＭ出力を生成する。次に、ステップＳ４で、「不安な背景ＢＧＭ」１５２を出力する。次にステップＳ５でお母さんオブジェクト１４８が有るか否か判断し、肯定を判断すると、ステップＳ６で「安らぐ背景ＢＧＭ」１７６を出力する。
図１６において、ラベルＲ９は、お母さんオブジェクトに関する処理を示している。この処理がスタートすると、ステップＳ１で、シナリオにお母さんの場面が有るか否か判断し、肯定を判断すると、ステップＳ２でお母さんオブジェクト１４８を生成する。次に、ステップＳ３で表示・音出力プログラム１３４にお母さん出力を生成する。次に、ステップＳ４でお母さんが赤ちゃんに「呼びかける」場面を出力する。次に、ステップＳ５で、赤ちゃんオブジェクト１４４が笑顔か否か判断し、肯定を判断すると、ステップＳ６で赤ちゃんの「笑顔場面」を出力する。
図１７乃至図２０は、広告代理店側システムの統括プログラムの動作説明図である。
広告映像音声出力は、複数のステージで構成される。図１７の第１ステージでは、ステップＳ１で赤ちゃんオブジェクト１４４と、背景オブジェクト１４６が出力され、背景オブジェクト１４６は、不安なＢＧＭ１５２から構成され、赤ちゃんオブジェクト１４４は、不安げな探し顔１５４から構成される。画面の不安なＢＧＭ１５２と赤ちゃんオブジェクト１４４の不安げな探し顔１５４によって、通行人Ａのオブジェクト１５０が表示器の画面の方向に振り向くと、この振り向く動作１５６がオブジェクト間の通信により、判断ブロック１５８で判断される。通行人Ａオブジェクト１５０が振り向かない場合は、赤ちゃんの不安げな探し顔１５４の出力を継続する。
広告映像音声出力は、複数のステージで構成される。図１７の第１ステージでは、ステップＳ１で赤ちゃんオブジェクト１４４と、背景オブジェクト１４６が出力され、背景オブジェクト１４６は、不安なＢＧＭ１５２から構成され、赤ちゃんオブジェクト１４４は、不安げな探し顔１５４から構成される。画面の不安なＢＧＭ１５２と赤ちゃんオブジェクト１４４の不安げな探し顔１５４によって、通行人Ａのオブジェクト１５０が表示器の画面の方向に振り向くと、この振り向く動作１５６がオブジェクト間の通信により、判断ブロック１５８で判断される。通行人Ａオブジェクト１５０が振り向かない場合は、赤ちゃんの不安げな探し顔１５４の出力を継続する。
判断ブロック１５８で、振り向きが有ると判断されると、図１８に示す第２ステージに移行する。赤ちゃんオブジェクト１４４は、泣き声の映像１６０に変化する。この泣き声映像１６０によって、通行人Ｂのオブジェクト１５０と通行人ｎのオブジェクト１５０が画面の方向に振り向く動作１６２、１６４に変化すると、この振り向いた通行人オブジェクト１５０の数が、判断ブロック１６６，１６８によって認識される。図１９に示す、第３ステージでは、ステップＳ２でお母さんオブジェクト生成処理がスタートする。お母さんオブジェクト１４８が、赤ちゃんオブジェクト１４４に「呼びかける」動作１７０のシーンが出力される。
この呼びかけに、赤ちゃんオブジェクト１４４が「お母さんを見る」動作１７２のシーンが画面に出力される。お母さんオブジェクト１４８が画面に出現していることを判断ブロック１７４で判断すると「安らぐＢＧＭ」１７６が画面に出力される。図２０に示す、第４ステージでは、赤ちゃんオブジェクト１４４の笑顔と笑い顔の動作１８０に刺激されて、お母さんオブジェクト１４８が笑顔の動作１８２に変化する。また、この刺激により通行人Ａオブジェクト１５０が笑顔の動作１８４に変化すると、この動作が笑顔人数として、転送処理１８６により、判断ブロック１７８に送られ、ここで、通行人の笑顔人数１として判断される。
判断ブロック１７８が通行人が笑顔となったことを判断すると、ステップＳ３で、キャッチコピーオブジェクト生成処理がスタートし、キャッチコピーオブジェクト１４２の文字列が画面に出力される（ブロック１８８）。判断ブロック１９０は、通行人Ａ、Ｂ、ｎのオブジェクト１５０の視線が文字列出力１８８に向いたかどうかを、各通行人オブジェクト１５０の「視線が向く」動作１９４、１９６、１９８に基いて、判断し、この視線の向いた通行人オブジェクト１５０の人数を確認すると、文字列の移動動作１９２を行う。この文字列移動を何人の通行人オブジェクト１５０の視線が追うかどうかを各通行人オブジェクト１５０の「視線が追う」動作２０６、２０８、２１０に基いて、判断ブロック２００で判断し、通行人振り向き人数として転送処理２０２により、ステップＳ４の処理に転送する。ステップＳ４ではストーリー・マネージャーが、転送されたデータから、通行人オブジェクト１５０の笑顔、人数、振り向き人数を統括プログラム１２８に報告するとともに、ストーリー終了を報告し、第４ステージが終了する。
上記実施形態では、広告主側システムで作成されたデータが、ネットワークを介して、広告代理店側の受信システムに送信されるが、この実施形態に特に限定されるものではなく、広告主側で作成されたデータを、記録媒体を介して、直接、広告代理店側システムの記憶装置に入力するいわゆるオフライン構成としても良い。
また、上記実施形態では、課金データは、広告代理店側システムからネットワークを介して、広告主側システムに送られるが、これも、同様に課金データが記録された記録媒体を、直接、広告主側システムに入力するいわゆるオフライン構成としても良い。即ち、広告主側システムのコンピュータと広告代理店側システムのコンピュータ間のデータの交信はオフライン方式でも良い。
また、課金条件は、本実施形態に示すものに特に限定されるものではなく、マイクロフォン２６の音声データを利用して、表示器２０に向けて、呼応する発声を行う通行人の数などを指定するものや、その他、広告主側で任意に設定することができる。
また、上記実施形態では、課金データは、広告代理店側システムからネットワークを介して、広告主側システムに送られるが、これも、同様に課金データが記録された記録媒体を、直接、広告主側システムに入力するいわゆるオフライン構成としても良い。即ち、広告主側システムのコンピュータと広告代理店側システムのコンピュータ間のデータの交信はオフライン方式でも良い。
また、課金条件は、本実施形態に示すものに特に限定されるものではなく、マイクロフォン２６の音声データを利用して、表示器２０に向けて、呼応する発声を行う通行人の数などを指定するものや、その他、広告主側で任意に設定することができる。
２ 課金電子広告作成システム
４ ワークステーション
６ 課金電子広告掲示システム
８ ネットワークインターフェース
１０ ハードディスク
１２ メモリ
１４ ＣＰＵ
１６ 内部バス
１８ １／０インターフェイス
２０ スピーカ
２２ 映像表示器
２４ ビデオカメラ
２６ マイクロフォン
２８ タグ付きデータ
３０ タグ付きデータ
３２ ユニークワード
３４ タグ
３６ データブロック
３８ ヘッダ
４０ 認証データ部
４２ ユニークワード
４４ タグ
４６ データブロック
４８ 認証データ部
５０ 課金請求データ部
５２ タグ・チェックコード
５４ ヘッダ
５６ 認証データ
５８ ヘッダ
６０ 課金請求データ
６２ ヘッダ
６４ 広告結果データ部
６６ データブロック・チェックコード
６８ ヘッダ
７０ データ
７２ ユニークワード
７４ タグ
７６ データ・ブロック
７８ 認証データ部
８０ 課金請求データ部
８２ タグ・チェックコード
８４ ヘッダ
８６ 認証データ
８８ ヘッダ
９０ 課金請求データ
９２ ヘッダ
９４ 広告結果データ
９６ データブロック・チェックコード
９８ ヘッダ
１００ 広告結果データ
１０２ 映像・音認識データ
１０４ 認識解析データ
１０６ 出力補正用データ
１０８ 出力データ
１１０ ストーリー情報
１１２ 統括プログラム
１１４ 映像・音声作成プログラム
１１６ シナリオ作成プログラム
１１８ 課金プログラム
１２０ 認証プログラム
１２２ 結果検証プログラム
１２４ 認証プログラム
１２６ 課金プログラム
１２８ 統括プログラム
１３０ 出力制御プログラム
１３２ 解析プログラム
１３４ 表示・音出力プログラム
１３６ 映像・音認識プログラム
１３８ 認識解析結果データ
１４０ 映像・音認識データ
１４２ キャッチコピーオブジェクト
１４４ 赤ちゃんオブジェクト
１４６ 背景ＢＧＭオブジェクト
１４８ お母さんオブジェクト
１５０ 通行人オブジェクト
１５２ 不安なＢＧＭ
１５４ 不安げな探し顔
１５６ 振り向く動作
１５８ 判断ブロック
１６０ 泣き声映像
１６２ 振り向く動作
１６４ 振り向く動作
１６６ 判断ブロック
１６８ 判断ブロック
１７０ 呼びかける動作
１７２ お母さんを見る動作
１７４ 判断ブロック
１７６ 安らぐＢＧＭ
１７８ 判断ブロック
１８０ 笑顔と笑い声の動作
１８２ 笑顔の動作
１８４ 笑顔の動作
１８６ 転送処理
１８８ ブロック
１９０ 判断ブロック
１９２ 移動動作
１９４ 視線が向く動作
１９６ 視線が向く動作
１９８ 視線が向く動作
２００ 判断ブロック
２０２ 転送処理
２０４ 通行人
２０６ 視線が追う動作
２０８ 視線が追う動作
２１０ 視線が追う動作
４ ワークステーション
６ 課金電子広告掲示システム
８ ネットワークインターフェース
１０ ハードディスク
１２ メモリ
１４ ＣＰＵ
１６ 内部バス
１８ １／０インターフェイス
２０ スピーカ
２２ 映像表示器
２４ ビデオカメラ
２６ マイクロフォン
２８ タグ付きデータ
３０ タグ付きデータ
３２ ユニークワード
３４ タグ
３６ データブロック
３８ ヘッダ
４０ 認証データ部
４２ ユニークワード
４４ タグ
４６ データブロック
４８ 認証データ部
５０ 課金請求データ部
５２ タグ・チェックコード
５４ ヘッダ
５６ 認証データ
５８ ヘッダ
６０ 課金請求データ
６２ ヘッダ
６４ 広告結果データ部
６６ データブロック・チェックコード
６８ ヘッダ
７０ データ
７２ ユニークワード
７４ タグ
７６ データ・ブロック
７８ 認証データ部
８０ 課金請求データ部
８２ タグ・チェックコード
８４ ヘッダ
８６ 認証データ
８８ ヘッダ
９０ 課金請求データ
９２ ヘッダ
９４ 広告結果データ
９６ データブロック・チェックコード
９８ ヘッダ
１００ 広告結果データ
１０２ 映像・音認識データ
１０４ 認識解析データ
１０６ 出力補正用データ
１０８ 出力データ
１１０ ストーリー情報
１１２ 統括プログラム
１１４ 映像・音声作成プログラム
１１６ シナリオ作成プログラム
１１８ 課金プログラム
１２０ 認証プログラム
１２２ 結果検証プログラム
１２４ 認証プログラム
１２６ 課金プログラム
１２８ 統括プログラム
１３０ 出力制御プログラム
１３２ 解析プログラム
１３４ 表示・音出力プログラム
１３６ 映像・音認識プログラム
１３８ 認識解析結果データ
１４０ 映像・音認識データ
１４２ キャッチコピーオブジェクト
１４４ 赤ちゃんオブジェクト
１４６ 背景ＢＧＭオブジェクト
１４８ お母さんオブジェクト
１５０ 通行人オブジェクト
１５２ 不安なＢＧＭ
１５４ 不安げな探し顔
１５６ 振り向く動作
１５８ 判断ブロック
１６０ 泣き声映像
１６２ 振り向く動作
１６４ 振り向く動作
１６６ 判断ブロック
１６８ 判断ブロック
１７０ 呼びかける動作
１７２ お母さんを見る動作
１７４ 判断ブロック
１７６ 安らぐＢＧＭ
１７８ 判断ブロック
１８０ 笑顔と笑い声の動作
１８２ 笑顔の動作
１８４ 笑顔の動作
１８６ 転送処理
１８８ ブロック
１９０ 判断ブロック
１９２ 移動動作
１９４ 視線が向く動作
１９６ 視線が向く動作
１９８ 視線が向く動作
２００ 判断ブロック
２０２ 転送処理
２０４ 通行人
２０６ 視線が追う動作
２０８ 視線が追う動作
２１０ 視線が追う動作
Claims (10)
- 電子広告作成用プログラムを内蔵した電子広告送信側コンピュータと、前記電子広告送信側コンピュータの生成した電子広告データを処理するプログラムを内蔵し該コンピュータの処理した電子広告データの映像と音声を出力データとして表示器を通して出力する受信側コンピュータと、前記表示器の周囲の状況を入力データとして前記受信側コンピュータに入力する電子機器とを備え、前記電子広告送信側コンピュータに内蔵されたプログラムは、電子広告データに課金条件が記載された情報からなるタグを付加する課金タグ付加手段を有し、前記受信側コンピュータに内蔵されたプログラムは、出力した電子広告データの課金条件が達成されたか否かを前記電子機器からの入力データを解析して判断する入力映像解析手段を有し、前記課金条件が達成されたとき、前記電子広告送信側コンピュータに処理させるための課金請求データを生成するようにしたことを特徴とする課金電子広告システム。
- 前記電子広告送信側コンピュータと前記受信側コンピュータとがネットワークを介して接続されていることを特徴とする請求項１に記載の課金電子広告システム。
- 前記電子広告送信側コンピュータの生成した電子広告データが、記録媒体を介して前記受信側コンピュータに供給され、前記受信側コンピュータの生成した課金請求データが、記録媒体を介して、前記電子広告送信側コンピュータに供給されるようにしたことを特徴とする請求項１に記載の課金電子広告システム。
- 前記課金条件が、広告出力画面に振り向いた通行人の人数、広告出力画面に向かって笑った通行人の人数の中の少なくとも１つの数値を内容とすることを特徴とする請求項１に記載の課金電子広告システム。
- 前記電子広告データは、ユニークワードと、送信者のＩＤコードと受信者のＩＤコードからなる認証データと、課金金額と課金条件を含む課金保証データと、メインシナリオと複数のユニットデータを含む広告映像音声データとを備えたことを特徴とする請求項１に記載の課金電子広告システム。
- 前記入力映像解析手段は、前記電子機器の映像情報から表示器の周囲の人間の顔の向きや、顔の表情を認識し電子情報化する情報解析機能を有することを特徴とする請求項１に記載の課金電子広告システム。
- 前記受信側コンピュータに内蔵されたプログラムは、前記入力映像解析手段の解析結果に基いて、前記電子広告データのシナリオを課金条件を達成できるように再構成し、再構成映像音声を前記表示器から出力するようにしたことを特徴とする請求項１に記載の課金電子広告システム。
- 前記電子広告送信側コンピュータに内蔵されたプログラムは、前記課金請求データを受信すると、課金条件が達成されたか否か検証し、検証できたときに課金請求を精算する機能を備えていることを特徴とする請求項１に記載の課金電子広告システム。
- 前記電子広告送信側コンピュータに内蔵されたプログラムは、前記出力データから出力オブジェクトを生成し、前記入力データから入力オブジェクトを生成し、前記課金条件を満足させる方向に前記入力オブジェクトが変化しないとき、前記出力オブジェクトの登場する場面を再構成し、この場面の変更によって、前記入力オブジェクトを前記課金条件を満足させる方向に誘導するようにしたことを特徴とする請求項１に記載の課金電子広告システム。
- 前記入力オブジェクトが、前記出力オブジェクトによって前記課金条件を満足させる方向に誘導されたとき、その場面を、補正出力データとして記録し、該補正出力データを、前記場面の再構成に用いるようにしたことを特徴とする請求項７に記載の課金電子広告システム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/066278 WO2012039015A1 (ja) | 2010-09-21 | 2010-09-21 | 課金電子広告システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4698770B1 JP4698770B1 (ja) | 2011-06-08 |
| JPWO2012039015A1 true JPWO2012039015A1 (ja) | 2014-02-03 |
Family
ID=44237050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010548690A Expired - Fee Related JP4698770B1 (ja) | 2010-09-21 | 2010-09-21 | 課金電子広告システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8732736B2 (ja) |
| JP (1) | JP4698770B1 (ja) |
| WO (1) | WO2012039015A1 (ja) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001326928A (ja) * | 2000-05-18 | 2001-11-22 | Sony Corp | 大型映像装置 |
| JP2002288509A (ja) * | 2001-03-23 | 2002-10-04 | Seiko Epson Corp | 情報提供システム、プログラムおよび情報記憶媒体 |
| JP2002354446A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 広告出力方法および装置 |
| WO2003012744A1 (en) * | 2001-08-02 | 2003-02-13 | Intellocity Usa, Inc. | Post production visual alterations |
| JP2007018218A (ja) * | 2005-07-07 | 2007-01-25 | Ntt Facilities Inc | 広告効果評価支援方法、広告効果評価支援装置 |
| JP2009140238A (ja) * | 2007-12-06 | 2009-06-25 | Zeo System:Kk | 宣伝効果評価システムおよびそのシステムに適用される宣伝効果評価装置ならびにプログラムならびに広告訴求度測定装置 |
| JP2010039095A (ja) | 2008-08-04 | 2010-02-18 | Seiko Epson Corp | 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム |
| US20100070987A1 (en) * | 2008-09-12 | 2010-03-18 | At&T Intellectual Property I, L.P. | Mining viewer responses to multimedia content |
-
2010
- 2010-09-21 JP JP2010548690A patent/JP4698770B1/ja not_active Expired - Fee Related
- 2010-09-21 US US13/805,131 patent/US8732736B2/en active Active
- 2010-09-21 WO PCT/JP2010/066278 patent/WO2012039015A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012039015A1 (ja) | 2012-03-29 |
| JP4698770B1 (ja) | 2011-06-08 |
| US20130104157A1 (en) | 2013-04-25 |
| US8732736B2 (en) | 2014-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726624B (zh) | 身份认证方法、终端设备和计算机可读存储介质 | |
| CN112889108B (zh) | 使用视听数据进行说话分类 | |
| US11836183B2 (en) | Digital image classification and annotation | |
| CN105426723A (zh) | 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统 | |
| CN108920640B (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN111353336B (zh) | 图像处理方法、装置及设备 | |
| CN114612986A (zh) | 检测方法、装置、电子设备及存储介质 | |
| US11824873B2 (en) | Digital media authentication | |
| JP4966436B1 (ja) | 課金電子広告システム | |
| CN113158148A (zh) | 基于区块链的多模态数字人版权管理方法及系统 | |
| JP4698770B1 (ja) | 課金電子広告システム | |
| US10242252B2 (en) | Expression recognition tag | |
| US20050131697A1 (en) | Speech improving apparatus, system and method | |
| Bijhold et al. | Forensic audio and visual evidence 2004-2007: A review | |
| US20230061210A1 (en) | Method and system of automated question generation for speech assistance | |
| KR20190002386A (ko) | 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치 | |
| CN114492579A (zh) | 情绪识别方法、摄像装置、情绪识别装置及存储装置 | |
| US11682204B2 (en) | Recognition assistant | |
| US10893232B1 (en) | Controlled-environment facility video communications monitoring system | |
| CN110163043B (zh) | 面部检测方法、装置、存储介质及电子装置 | |
| CN112464857A (zh) | 视频分类模型训练及视频分类方法、装置、介质和设备 | |
| JP2012027603A (ja) | サーバ装置、掲載判定方法、掲載判定プログラム及び記録媒体 | |
| US10887628B1 (en) | Systems and methods for adaptive livestreaming | |
| CN112261321A (zh) | 字幕处理方法、装置及电子设备 | |
| CN112989114B (zh) | 应用于视频筛选的视频信息生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4698770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |