JP6263259B2 - 配信システム、配信方法及び配信装置 - Google Patents

配信システム、配信方法及び配信装置 Download PDF

Info

Publication number
JP6263259B2
JP6263259B2 JP2016520819A JP2016520819A JP6263259B2 JP 6263259 B2 JP6263259 B2 JP 6263259B2 JP 2016520819 A JP2016520819 A JP 2016520819A JP 2016520819 A JP2016520819 A JP 2016520819A JP 6263259 B2 JP6263259 B2 JP 6263259B2
Authority
JP
Japan
Prior art keywords
data
unit
mobile communication
communication terminal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016520819A
Other languages
English (en)
Other versions
JPWO2015177835A1 (ja
Inventor
昭範 ▲高▼萩
昭範 ▲高▼萩
元宏 米坂
元宏 米坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moff, Inc.
Original Assignee
Moff, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moff, Inc. filed Critical Moff, Inc.
Publication of JPWO2015177835A1 publication Critical patent/JPWO2015177835A1/ja
Application granted granted Critical
Publication of JP6263259B2 publication Critical patent/JP6263259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3244Payment aspects of a gaming system, e.g. payment schemes, setting payout ratio, bonus or consolation prizes
    • G07F17/3255Incentive, loyalty and/or promotion schemes, e.g. comps, gaming associated with a purchase, gaming funded by advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、配信システム、配信方法及び配信装置に関する。
加速度センサや角速度センサ、光センサ等のセンサを有するデバイスが普及している。例えば、加速度センサを内蔵するスマートフォンやタブレットのような移動通信端末は、予め登録されたユーザの三次元的な動作(ジェスチャ)を認識し、それに応じた命令を実行することができる。
また、加速度センサを内蔵したビデオゲーム機用のリモコンを通じてユーザの動作を認識し、その動作をビデオゲーム内でのキャラクターの動作を関連付けることにより、直感的な遊びを提供するシステムが知られている(特許文献1、特許文献2)。
さらに、コンテンツを再生するロボットに対するユーザの物理的な挙動(叩く、なでる等)を認識して、その動作に応じたコンテンツを再生させる技術や(特許文献3)、音声とジェスチャとを組み合わせて機器を制御する技術(特許文献4)がある。
上述したユーザの物理的な動作が、予め登録された動作と一致するか判定するための方法として、例えば、Dynamic Time-Warpingというアルゴリズムが知られている(非特許文献1、2)。
米国特許出願公開第2008−0015017号明細書 特開2007−300980号公報 特開2012−155616号公報 特開2012−103840号公報
C. S. MYERS and L. R. RABINER、" A Comparative Study of Several Dynamic Time-Warping Algorithms for Connected-World Recognition"、THE BELL SYSTEM TECHNICAL JOURNAL, Vol.60, No.7, September 1981 "Dynamic time warping", Wikipedia, http://en.wikipedia.org/wiki/Dynamic_time_warping
ユーザの動作をセンサで認識する技術を、手軽な遊びに応用したいという要求がある。また、そのような手軽な遊びを通じて、ある商品又はサービスの広告を配信し、広告収入を得られるようにしたいという要求がある。
しかしながら、従来の技術では、ユーザの動作を利用した遊びを通じて、広告を配信し、広告収入を得られるようにする仕組みが存在しなかった。
本発明は、このような問題に鑑みてなされたものであり、センサを利用した手軽な遊びを通じて広告を配信できるようにすることを目的とする。
上述した課題を解決し目的を達成するため、本発明の一実施形態における配信システムは、
無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と、該移動通信端末と通信可能な配信装置とを有する配信システムであって、
前記移動通信端末は、
所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付部と、
前記第一の加速度データ及び前記広告データを前記移動通信端末に配信する配信部と、
配信された前記第一の加速度データと、前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データとを比較する比較部と、
前記比較部による比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に、前記広告データを出力する第一の出力部と、
を有
前記配信装置は、
前記第一の加速度データ及び前記広告データを前記移動通信端末に配信する配信部を有する配信システム。
また、本発明の一実施形態における配信方法は、
無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と、該移動通信端末と通信可能な配信装置とを有する配信システムが実行する配信方法であって、
前記移動通信端末は、
所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付段階と、
配信された前記第一の加速度データと、前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データとを比較する比較段階と、
前記比較段階において比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に、前記広告データを出力する第一の出力段階とを実行し、
前記配信装置は、
前記第一の加速度データ及び前記広告データを前記移動通信端末に配信する配信段階を実行する
また、本発明の一実施形態における配信装置は、
無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と通信可能な配信装置であって、
所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付部と、
前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データと比較される前記第一の加速度データ、及び、及び、前記移動通信端末において前記第一の加速度データと前記第二の加速度データとの比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に前記移動通信端末において出力される前記広告データを、前記移動通信端末に配信する配信部と、
を有する。
本発明によれば、センサを利用した手軽な遊びを通じて広告を配信できるようになる。
本発明の概要を説明する図。 本発明の一実施形態における動作検出装置の外観を表す図。 本発明の一実施形態における動作検出装置のハードウェア構成図。 本発明の一実施形態における移動通信端末のハードウェア構成図。 本発明の一実施形態における動作検出システムの機能ブロック図。 本発明の一実施形態における動作検出システムの詳細な機能ブロック図。 ユーザの動作を表す波形データの例を表す図。 登録波形データと出力データとを関連付けるテーブルの例を表す図。 条件(閾値及びアプリデータ)と出力データとを関連付けるテーブルの例を表す図。 条件(閾値及びアプリデータ)と出力データとを関連付けるテーブルの例を表す図。 登録処理を表すフローチャート。 出力処理を表すフローチャート。 登録処理の具体例を表すシーケンス図。 出力処理の具体例を表すシーケンス図。 ユーザの動作を表す波形データの例を表す図。 登録波形データと検出波形データとを比較した結果を表す図。 出力処理を表すフローチャート。 出力処理の具体例を表すシーケンス図。 出力処理の具体例を表すシーケンス図。 本発明の概要を説明する図。 本発明の一実施形態における配信装置のハードウェア構成図。 本発明の一実施形態における配信システムの機能ブロック図。 配信管理データを格納するテーブルの例を表す図。 統計データを格納するテーブルの例を表す図。 管理データを格納するテーブルの例を表す図。 属性データを格納するテーブルの例を表す図。 本発明の一実施形態における移動通信端末の出力画面の例を表す図。 統計データの出力画面の例を表す図。 広告データ登録処理の具体例を表すシーケンス図。 広告データ出力処理の具体例を表すシーケンス図。
以下、本発明の実施形態を図面に基づいて説明する。
A.動作検出システム
1. 概要
2. ハードウェア構成
3. 機能
4. 動作例
5. 応用例
B.配信システム
1. 概要
2. ハードウェア構成
3. 機能
4. 動作例
5. 効果
≪ A. 動作検出システム ≫
以下では、動作検出装置を使用するユーザの動作を移動通信端末で検出する検出システムと、その検出システムを利用して広告を配信する配信システムの、二つのシステムの説明を行う。最初に、動作検出装置と移動通信端末を有する、動作検出システムの説明を行う。
≪ 1. 概要 ≫
図1は、本発明の一実施形態における動作検出システム1の実施態様の例を示す。動作検出システム1は、ユーザの所持する玩具40又はユーザに付される動作検出装置10と、動作検出装置10と通信可能な移動通信端末20とを有する。動作検出装置10と移動通信端末20は、Bluetooth(登録商標)やZigBeeのような無線通信方式により、互いに通信を行うことができる。
ユーザは、例えば、自らの腕に、リストバンド型の動作検出装置10を装着し、飛行機や乗用車の模型のような玩具40を操作する。動作検出装置10は、加速度センサや角速度センサのようなセンサを内蔵しており、ユーザの動作に応じて検出した加速度又は角速度の値を、随時、移動通信端末20に送信する。移動通信端末20は、例えば、受信した加速度の値の変化(波形で表される)が、予め登録された波形と一致した場合に、動作に対応した音声を出力することができる。また、移動通信端末20は、様々な動作に対応した音声を保持している。これにより、ユーザは、様々な玩具の操作を試しながら、対応した音声を聞くことにより、想像力を発揮しつつ、手軽かつ直感的な遊びを楽しむことができる。なお、動作検出装置10は、加速度センサと角速度センサに加えて、光センサ、圧力センサ等、任意のセンサを有していてもよい。
図1(a)は、ユーザが、自らの腕に、リストバンド型の動作検出装置10を装着し、玩具40(飛行機の模型)を操作し、移動通信端末20(スマートフォン)から音声を出力させる例を表している。この例では、例えば、ユーザが、飛行機の模型を加速させると、高回転時のエンジン音が出力され、減速させると、低回転時のエンジン音が出力される。図1(b)は、ユーザが、自らの腕に、リストバンド型の動作検出装置10を装着し、玩具40(乗用車の模型)を操作し、移動通信端末20(タブレット)から音声を出力させる例を表している。この例では、乗用車の模型を前進させると、エンジンのイグニッション音が出力され、左右に転回させると、タイヤのスリップ音が出力される。図1(c)は、ユーザが、自らの腕に動作検出装置10を付した上で、玩具40(剣の模型)を所持し、これを操作して、移動通信端末20(スピーカ)から音声を出力させる例を表している。この例では、ユーザが、剣の模型を振った方向に応じて、異なる音が出力される。
移動通信端末20は、上述したように、玩具40の違いや、遊び方に応じて用意された、複数のアプリケーションを実行できる。これにより、ユーザは、例えば、長年使用していなかった既存の玩具を用いて、様々な音声を出力させることができ、新たな遊びを体験することができる。なお、移動通信端末20は、これらの例に限られず、ノートPCやディスプレイであってもよい。
図2は、本発明の一実施形態における動作検出装置10の外観を表す。図2に示されるように、動作検出装置10は、センサや無線通信装置等を内蔵する筐体10−1と、玩具40又はユーザの腕若しくは手首に取り付けるためのベルト10−2を有する。また、動作検出装置10は、動作時に点灯又は点滅するLED10−3を有する。なお、動作検出装置10は、ベルトの代わりに、ケーブル、テープ、マグネット、クリップ等を有し、玩具40に取り付けられるよう構成されてもよい。
≪ 2. ハードウェア構成 ≫
図3、図4を用いて、本発明の一実施形態における動作検出装置10及び移動通信端末20のハードウェア構成を説明する。
≪ 動作検出装置 ≫
図3は、本発明の一実施形態における動作検出装置10のハードウェア構成図である。動作検出装置10は、CPU11と、ROM12と、RAM13と、センサ14と、無線通信装置15と、電池16とを有する。
CPU11は、動作検出装置10の制御を行うプログラムを実行する。ROM12は、CPU11が実行するプログラムや、プログラムの実行に必要なデータを記憶する。RAM13は、CPU11のワークエリアとして機能する。センサ14は、動作検出装置10に対するユーザの動作を検出するセンサであり、例えば、加速度センサである。加速度センサは、例えば、X、Y、Z軸の三軸方向の加速度を検出する。また、センサ14は、角速度センサや、光センサ、圧力センサであってもよい。また、センサ14は、これらの任意のセンサの組み合わせであってもよい。なお、以下では、センサ14が加速度センサである場合の例を用いて説明する。無線通信装置15は、Bluetooth(登録商標)、ZigBee又はその他の無線通信方式に従って通信を行う装置である。電池16は、動作検出装置10を駆動するための電力を供給する。バス17は、電池16を除く各装置を相互に接続する。
なお、動作検出装置10は、無線通信装置15を介して、情報通信端末20から受け取った情報を表示できる、液晶ディスプレイのような表示装置を備えていても良い。
≪ 移動通信端末 ≫
図4は、本発明の一実施形態における移動通信端末20のハードウェア構成図である。図4は、移動通信端末20が、スマートフォンである場合の、ハードウェア構成例を表している。移動通信端末20は、CPU21と、ROM22と、RAM23と、ディスプレイ24と、スピーカ25と、フラッシュメモリ26と、無線通信装置27と、入力装置28と、マイク29とを有する。
CPU21は、移動通信端末20の制御を行うプログラムを実行する。ROM22は、CPU21が実行するプログラムや、プログラムの実行に必要なデータを記憶する。RAM23は、CPU21のワークエリアとして機能する。ディスプレイ24は、例えば液晶パネルを駆動して映像データを出力する装置である。スピーカ25は、電気信号を物理振動に変えて、音声データを出力する装置である。フラッシュメモリ26は、ROM22と同様に、CPU21が実行するプログラムや、その実行に必要なデータを記憶する。また、フラッシュメモリ26は、音声データや映像データのように、大容量のデータを記憶するためにも使用される。無線通信装置27は、Bluetooth(登録商標)、ZigBee又はその他の無線通信方式に従って通信を行う装置である。入力装置28は、キーボード、操作ボタン又はタッチパネルのようなデバイスであり、ユーザからの操作を受け付ける。マイク29は、音声による物理振動を電気信号に変換する装置である。バス30は、上記の各装置を相互に接続する。
≪ 3.機能 ≫
図5、図6を用いて、本発明の一実施形態における動作検出システム1の機能ブロックを説明する。
≪ 動作検出装置 ≫
図5を用いて、本発明の一実施形態における動作検出装置10の機能を説明する。動作検出装置10は、検出部101と通信部102とを有する。
検出部101は、図3のセンサ14の処理によって実現され、ユーザの動作を検出し、その動作を示すデータ(以後、検出データと呼ぶ)を、通信部102を通じて、随時、移動通信端末20に送信する。例えば、センサ14が加速度センサである場合には、検出部101は、ユーザの動作によって生ずる三軸方向の加速度を検知し、その加速度の値を、移動通信端末20に送信する。
通信部102は、図3の無線通信装置15の処理によって実現され、検出部101が検出した検出データを、無線通信により、移動通信端末20に送信する。
≪ 移動通信端末 ≫
図5を用いて、本発明の一実施形態における移動通信端末20の機能を説明する。以下、移動通信端末20の機能を、「基本機能」と、「登録機能」と、「出力機能」とに分けて説明する。
≪ 基本機能 ≫
図5に示されるように、移動通信端末20は、記憶部201と、通信部202と、入力受付部203と、切替部204とを有する。
記憶部201は、図4のROM22又はフラッシュメモリ26によって実現され、関連付けデータ231と、登録波形データ232と、閾値データ233と、出力データ234と、アプリデータ235とを記憶する。
関連付けデータ231は、ユーザの動作(ジェスチャ)と、出力すべき音声又は映像データ(出力データ)とを関連付けるデータである。関連付けデータ231は、例えば、図8、図9、図10に例示されるテーブルによって保持される。図8、図9、図10は、それぞれ、異なる態様の関連付けデータ231−1、251−2、251−3を表す。
図8に示される関連付けデータ231−1は、登録波形番号と、出力データの項目を有する。登録波形番号は、ユーザの一の動作を示す、加速度の変化を表す動作波形データ(登録波形データ)に付された番号である。予め登録された、加速度の変化を表す波形の例は、図7(a)に示されている。登録波形データそのものは、別途、記憶部201に記憶されている。出力データは、動作検出装置10からその動作と同じ動作を示すデータが入力された場合に、出力すべき音声又は映像データを特定する。ここでは、出力データは、音声又は映像データのファイル名で特定される。
図9、図10に示される関連付けデータ231−2、231−3は、条件(閾値)と、条件(アプリデータ)と、出力データの項目を有する。条件(閾値)は、動作検出装置10から送信される、三軸方向の加速度の値の閾値を表している。条件(アプリデータ)は、別途、記憶部201に記憶されるアプリデータ235に関する条件を示す。アプリデータ235は、例えば、出力データの選択のために用いられるフラグや、出力データの出力履歴である。出力データは、動作検出装置10から、その条件(閾値)を満たす加速度の値が入力され、かつ、条件(アプリデータ)が満たされる場合に、出力すべき音声又は映像データを特定する。
登録波形データ232は、ユーザの動作を定める動作データの一つである。登録波形データは、加速度の変化を表す波形データであり、所定期間内の、X軸、Y軸、Z軸方向の加速度の値の変化を表すデータである。登録波形データ232は、例えば、図7(a)に示される波形の波形データである。
閾値データ233は、ユーザの動作を定める動作データの一つである。閾値データ233は、動作検出装置10から送信される、三軸方向の加速度の最大値についての閾値を表す。閾値データ233は、図9に示される関連付けデータ231−2に示される、閾値A、B、Cを保持する。
出力データ234は、条件が満たされた場合に出力される、音声又は映像データであり、図8、図9、図10に例示されるように、任意の形式のファイルにより提供される。また、図示しないが、出力データ234は、avi、3gp、mov形式等の動画ファイルであってもよい。また、図示しないが、出力データ234は、移動通信端末20に所定のパターンの振動(バイブレーション)を発生させるためのデータであってもよい。
アプリデータ235は、移動通信端末20上で動作するアプリケーションで用いられる、出力データの選択のために用いられるフラグや、出力データの出力履歴等のデータである。
通信部202は、図4の無線通信装置27の処理によって実現され、動作検出装置10と接続を確立し、データのやりとりを行う。
入力受付部203は、図4の入力装置28によって実現され、ユーザからの操作入力を受け付ける。
切替部204は、図4のCPU21の処理によって実現され、入力受付部203が受け付けたユーザの操作入力に応じて、移動通信端末20が実行する機能を、後述する登録機能か、出力機能かに切り替える。
≪ 登録機能 ≫
移動通信端末20は、ユーザの所望の動作を受け付け、その動作と、予め用意された出力データ又は録音によって得られる新たな出力データとを関連付ける、登録機能を有する。登録機能を実現するため、移動通信端末20は、登録部205と、録音部206とを有する。
登録部205は、図4のCPU21の処理によって実現され、ユーザによる操作入力に従って、ユーザの所望の動作と、予め用意された出力データ又は録音によって得られる新たな出力データとを関連付け、関連付けデータ231−1に登録する。
具体的には、登録部205は、まず、入力受付部203を通じて、ユーザから、登録しようとする動作の番号の入力を受け付ける。入力された番号は、関連付けデータ231−1の登録波形番号として用いられる。次に、登録部205は、入力受付部203を通じて、動作と関連付ける出力データを、予め用意されたものから選択するか、新たに録音するかの選択を受け付ける。ユーザが後者を選択した場合には、後述する録音部206を通じて、出力データの録音を行う。次に、登録部205は、ユーザに所望の動作を行うよう指示し、動作検出装置10によって検出された検出データを受信する。そして、登録部205は、入力された番号を用いて、検出データを新たな登録波形データ232として記憶する。最後に、登録部205は、入力された番号と、選択又は録音された出力データのファイル名とを有する新たなエントリを、関連付けデータ231−1に追加する。
録音部206は、図4のマイク29によって実現され、登録部205からの指示に応じて、出力データの録音を行う。
≪ 出力機能 ≫
移動通信端末20は、動作検出装置10で検出された検出データを受信し、その検出データが所定の条件を満たすとき、所定の出力データを出力する、出力機能を有する。出力機能を実現するため、移動通信端末20は、比較部207と、選択部208と、出力部209と、アプリデータ更新部210とを有する。
比較部207は、図4のCPU21の処理によって実現され、動作検出装置10から受信した検出データを、登録済波形データ又は閾値と比較し、比較結果を選択部208に渡す。図6は、比較部207をさらに詳細に表す機能ブロックである。比較部207は、検出データ取得部251と、登録波形データ読込部252と、波形比較部253と、閾値データ読込部254と、閾値比較部255と、結果出力部256とを有する。
検出データ取得部251は、動作検出装置10から受信した検出データを取得する。登録波形データ読込部252は、記憶部201に記憶された登録波形データ232を読み込む。
波形比較部253は、検出データ取得部251が取得した検出データ(例えば、図7(b))と、登録波形データ読込部252が読み込んだ登録波形データ(例えば、図7(a))とを比較し、検出データと類似する登録波形データを特定する。具体的には、波形比較部253は、例えば、非特許文献1、2等に開示される既存技術によりパターンマッチングを行い、検出データと類似する登録波形データの登録波形番号を特定する。非特許文献1、2に記載の方法によれば、検出データと登録波形データとの類似度は、各データ間の「距離」の小ささによって求められる。距離の具体的な算出方法の説明は、ここでは省略する。
波形比較部253は、特定した登録波形番号を、結果出力部256に渡す。なお、波形比較部253は、類似する登録波形データがない場合(すなわち、検出データとの距離が何れの登録波形データとも遠い場合)、対応する登録波形番号がない旨の結果を、結果出力部256に渡してもよい。あるいは、波形比較部253は、検出データと登録波形データとの間の距離によらず、常に、最も距離の近い登録波形データを特定し、その登録波形番号を、結果出力部256に渡してもよい。
閾値データ読込部254は、記憶部201に記憶された閾値データ233を読み込む。閾値比較部255は、検出データ取得部251が取得した、各軸の検出データ(例えば、図7(b))の最大値と、閾値データ読込部254が読み込んだ閾値データの示す、各軸の閾値A、B、Cとをそれぞれ比較し、その結果を、結果出力部256に渡す。結果出力部256は、波形比較部253又は閾値比較部255から受け取った結果を、選択部208に出力する。
図5に戻り、選択部208は、図4のCPU21の処理によって実現される。選択部208は、比較部207(結果出力部256)から結果(すなわち、登録波形番号又は閾値との比較結果)を受け取ると、関連付けデータ231を参照する。また、選択部208は、必要に応じて、記憶部201に記憶されたアプリデータ235を参照する。そして、選択部208は、登録波形番号に対応する出力データ、又は、閾値若しくはアプリデータの条件を満たす出力データを選択する。そして、選択部208は、選択した出力データを、出力部209に渡す。さらに、選択部208は、比較部207(結果出力部256)から受け取った結果と、選択した出力データとを、アプリデータ更新部210に渡しても良い。
出力部209は、図4のディスプレイ24又はスピーカ25によって実現され、選択部208から受け取った出力データを出力する。
アプリデータ更新部210は、図4のCPU21の処理によって実現され、選択部208から受け取った結果と出力データを用いて、アプリデータを更新する。例えば、アプリデータがフラグである場合に、アプリデータ更新部210は、閾値の比較の結果が所定条件を満たしたとき、フラグを設定する。また、例えば、アプリデータが出力データの履歴である場合に、アプリデータ更新部210は、出力データの履歴を記録する。
≪ 4. 動作例 ≫
図11−図16を用いて、本発明の一実施形態における動作検出システム1の動作を説明する。図11−図16に示される例では、ユーザが、所望の動作を入力し、録音によって入力した出力データとの関連付けを行う登録処理と、ユーザが所定の動作を入力し、類似する動作と関連付けられた出力データを出力する出力処理を説明する。図11−図16に示される例では、閾値データ233及びアプリデータ235は使用しない。従って、本実施例では、比較部207の閾値データ読込部254及び閾値比較部255、並びに、アプリデータ更新部210の機能は利用しない。
≪ 登録処理 ≫
図11を用いて、動作検出システム1が実行する登録処理を説明する。図11に示される登録処理は、動作検出装置10と移動通信端末20とが無線通信により接続され、ユーザが登録機能を実行するよう移動通信端末20を操作した後の状態から実行される。すなわち、上述した、移動通信端末20の切替部204が、移動通信端末20の実行する機能を、登録機能に切り替えた状態である。
まず、入力受付部203は、ユーザから、登録する動作を識別するための番号の入力を受け付ける(ステップS101)。次に、入力受付部203は、ユーザから、出力データの指定方法(既存の出力データを使うか、新たに録音するか)の選択入力を受け付ける(ステップS102)。ここで、出力データを新たに録音する場合には(ステップS103のYES)、録音部206は、新たな音声の録音を行う(ステップS105)。一方、そうでない場合には(ステップS103のNO)、入力受付部203は、ディスプレイ24上に表示された既存の出力データのリストから、ユーザによる、出力データの選択を受け付ける(ステップS104)。
その後、登録部205は、ディスプレイ24又はスピーカ25等を通じて、ユーザに、動作を行うよう指示する。登録部205は、動作検出装置10の検出部101で検出された検出データを受信する(ステップS106)。次に、登録部205は、受信した検出データを、ステップS101で受け付けた番号の登録波形番号を有する登録波形データとして記憶する(ステップS107)。そして、登録部205は、ステップS101で受け付けた番号と、録音された出力データのファイル名とを有する新たなエントリを、関連付けデータ231−1に登録する(ステップS108)。
≪ 出力処理 ≫
図12を用いて、動作検出システム1が実行する出力処理を説明する。図12に示される出力処理は、動作検出装置10と移動通信端末20とが無線通信により接続され、ユーザが出力機能を実行するよう移動通信端末20を操作した後の状態から実行される。すなわち、上述した、移動通信端末20の切替部204が、移動通信端末20の実行する機能を、出力機能に切り替えた状態である。この状態では、ユーザは、動作検出装置10を取り付けた状態で、玩具40を操作する。
まず、比較部207(検出データ取得部251)は、通信部202を通じて、動作検出装置10から送信される検出データを受信する(ステップS201)。次に、比較部207(登録波形データ読込部252)は、記憶部201に記憶された登録波形データ232を読み込む(ステップS202)。次に、比較部207(波形比較部253)は、検出データと登録波形データ232とを、パターンマッチングを行うことにより、比較する(ステップS203)。そして、比較部207が類似する登録波形データを特定できた場合には(ステップS204のYES)、選択部208は、関連付けデータ231を参照し、特定した登録波形データの登録波形番号と対応する出力データを選択する(ステップS205)。さらに、出力部209は、ステップS205で選択された出力データを出力する(ステップS206)。一方、比較部207が類似する登録波形データを特定できなかった場合には(ステップS204のNO)、出力データを出力することなく処理を終了する。
なお、上記処理は、ユーザが玩具40を操作している間、繰り返し実行され得る。
≪ 登録処理の具体例 ≫
図13を用いて、動作検出システム1が実行する登録処理を、具体的に説明する。なお、以下では、図8に例示される関連付けデータ231−1には、データが何も登録されていないものとして、説明を行う。
まず、入力受付部203は、ユーザから、登録する動作を識別するための番号「1」の入力を受け付ける(ステップS301)。入力受付部203は、受け付けた番号「1」を、登録部205に渡す(ステップS302)。次に、入力受付部203は、ユーザから、出力データを新たに録音する旨の選択入力を受け付ける(ステップS303)。入力受付部203は、データを新たに録音する選択がなされた旨を、登録部205に通知する(ステップS304)。登録部205は、録音部206に、出力データの録音を開始するよう指示する(ステップS305)。録音部206は、音又は映像による通知により、ユーザに音声の入力を促した後、録音を行う(ステップS306)。録音部206は、録音したデータを、出力データ234として、記憶部201に記憶し、そのファイル名「userdata_001.aac」を登録部205に通知する(ステップS307)。
登録部205は、出力データの録音が終了すると、ユーザの動作を示す検出データを受信可能である旨の通知を送信するよう、通信部202に指示する(ステップS308)。通信部202は、上記通知を、動作検出装置10の通信部102に送信する(ステップS309)。通信部102は、受け取った通知を、検出部101に渡す(ステップS310)。このとき、登録部205は、並行して、ディスプレイ24又はスピーカ25等を通じて、ユーザに、動作を行うよう指示してもよい。
ユーザが、動作検出装置10とともに玩具40を操作する動作を行う(ステップS311)。検出部101は、ユーザの動作によって検出部101に加わる三軸方向の加速度の値を検出する(ステップS312)。検出部101は、検出した値を、検出データとして、通信部102に渡す(ステップ313)。通信部102は、検出データを、移動通信端末20の通信部202に送信する(ステップS314)。通信部202は、受け取った検出データを、登録部205に渡す(ステップS315)。
さらに、ユーザが動作を継続し、ステップS311−S315と同様に、登録部205が、検出データを受け取る(ステップS316−S320)。ステップS316−S320と同様のステップは、この後、所定回数繰り返される。図7(a)に示される波形は、このようにして、一定時間の間に受け取られた検出データ表している。登録部205は、一定時間の間に受け取った検出データを、ステップS301で入力された番号「1」を有する登録波形データ232として記憶する(ステップS321)。そして、登録部205は、ステップS301で入力された番号「1」を登録波形番号とし、ステップS306で録音されたファイルを出力データ「userdata_001.aac」として、関連付けデータ231−1に登録する(ステップS322)。
≪ 出力処理の具体例 ≫
図14を用いて、動作検出システム1が実行する出力処理を、具体的に説明する。ユーザは、移動通信端末20でアプリケーションを起動し、動作検出装置10と移動通信端末20とが通信可能となり、玩具40を操作可能な状態になっているものとする。なお、以下の説明では、図8に例示される関連付けデータ231−1の例を用いる。図8の関連付けデータ231−1に含まれる、波形登録番号「1」−「3」に対応する登録波形データ232は、図15(a)−(c)に示される。
まず、ユーザが、動作検出装置10とともに玩具40を操作する動作を行う(ステップS401)。検出部101は、ユーザの動作によって検出部101に加わる三軸方向の加速度の値を検出する(ステップS402)。検出部101は、検出した値を、検出データとして、通信部102に渡す(ステップS403)。通信部102は、検出データを、移動通信端末20の通信部202に送信する(ステップS404)。通信部202は、受け取った検出データを、比較部207の検出データ取得部251に渡す(ステップS405)。
ここで、検出データは、一定期間の間、動作検出装置10から複数回に渡って受信し得る。ここでの説明に用いる検出データは、一定期間の間に受信された、ひとまとまりの検出データを表すものとする。
波形比較部253は、検出データ取得部251から、図15(d)に示される検出データを受け取る(ステップS406)。また、波形比較部253は、登録波形データ読込部252の読み込んだ、登録波形データ(ここでは、図15(a)−(c)の波形データ)を受け取る(ステップS407)。そして、波形比較部253は、受け取った検出データと登録波形データとを比較する(ステップS408)。波形比較部253は、例えば、非特許文献1、2に記載の方法により、両データの距離を求め、図16の「動作1」で示されるような結果を得る。ここでは、検出データ(図15(d))と、登録波形番号1(すなわち図15(a))との距離が「720」である。同様に、検出データと、登録波形番号2(図15(b))との距離が「1019」であり、登録波形番号3(図15(c)))との距離が「1170」である。よって、波形比較部253は、検出データと最も距離の近い、登録波形番号1を、比較の結果として、結果出力部256に渡す(ステップS409)。
選択部208は、比較部207の結果出力部256から、比較の結果である「登録波形番号1」を受け取る(ステップS410)。次に、選択部208は、関連付けデータ231を参照し、「登録波形番号1」に対応する出力データ「userdata_001.aac」を、出力すべきデータとして選択する(ステップS411)。次に、選択部208は、選択した出力データを出力するよう、出力部209に指示する(ステップS412)。出力部209は、「userdata_001.aac」を出力する(ステップS413)。
その後、さらなるユーザの動作により、上述したステップS401−S406と同様に、波形比較部253が、図15(e)に例示される検出データを受け取る(ステップS414−S419)。波形比較部253は、上述したステップS407、S408と同様に、検出データと登録波形データとを比較し、図16の「動作2」で示される距離を算出し、最も類似する登録波形データの登録波形番号「2」を特定する(ステップS420、S421)。そして、上述したステップS409−S413と同様の処理により、出力部209は、登録波形番号「2」に対応する出力データ「preset_001.wav」を出力する(ステップS422−S426)。
以後、同様に、ユーザが操作によってアプリケーションを終了するまで、上記の処理は繰り返され、ユーザの動作に応じた出力データが、移動通信端末20より出力される。例えば、図15(f)に示される波形データとして検出された場合に、図15(a)−(c)の登録波形データとの各距離は、図16の「動作3」で示される通りとなる。その結果、登録波形番号「3」と関連付けられた出力データ「preset_002.wav」が出力される。
以上のように、ユーザは、既存の玩具40に、本実施形態における動作検出装置10を取り付け、所定の動作を行うことにより、その動作に対応した音声を、移動通信端末20に出力させることができる。また、ユーザは、登録機能を用いることにより、所望の動作と所望の音声とを登録することができる。その結果、特に、子供のようなユーザは、既存の玩具40と移動通信端末20とを用いて、新たな遊びを経験することができる。
≪ 閾値データ/アプリデータを利用する例 ≫
図11−図16を用いて説明した例では、閾値データ233及びアプリデータ235は使用していない。すなわち、比較部207の閾値データ読込部254及び閾値比較部255、並びに、アプリデータ更新部210の機能は利用していない。一方、以下では、図17−図19を用いて、閾値データ233及びアプリデータ235を利用し、比較部207の閾値データ読込部254及び閾値比較部255、並びに、アプリデータ更新部210の機能を利用する例を説明する。
図17を用いて、閾値データ233及びアプリデータ235を利用する場合の、動作検出システム1が実行する出力処理を説明する。図17に示される出力処理は、図12を用いて説明した出力処理と同様に、動作検出装置10と移動通信端末20とが無線通信により接続され、ユーザが出力機能を実行するよう移動通信端末20を操作した後の状態から実行される。すなわち、上述した、移動通信端末20の切替部204が、移動通信端末20の実行する機能を、出力機能に切り替えた状態である。この状態では、ユーザは、動作検出装置10を取り付けた状態で、玩具40を操作する。
まず、比較部207(検出データ取得部251)は、通信部202を通じて、動作検出装置10から送信される検出データを受信する(ステップS501)。次に、閾値データ読込部254は、閾値データ233(例えば、各軸の閾値A、B、C)を読み込む(ステップS502)。次に、閾値比較部255は、検出データ取得部251が取得した、各軸の検出データ(例えば、図7(b))の最大値と、閾値データ読込部254が読み込んだ閾値データの示す、各軸の閾値A、B、Cとをそれぞれ比較する(ステップS503)。
次に、選択部208は、記憶部201に記憶された、フラグや出力データの出力履歴等のアプリデータ235を読み込む(ステップS504)。次に、選択部208は、関連付けデータ231―2又は231−3を読み込む(ステップS505)。そして、条件が満たされる場合には(ステップS506のYES)、満たされた条件に対応する出力データを選択する(ステップS507)。そして、出力部209は、ステップS507で選択された出力データを出力する(ステップS508)。
ステップS508の後、あるいは、ステップS506で条件が満たされない場合には、アプリデータ更新部210は、必要に応じてアプリデータ235(フラグや出力データの出力履歴)を更新する(ステップS509)。
なお、上記処理は、図12を用いて説明した処理と同様に、ユーザが玩具40を操作している間、繰り返し実行され得る。
≪ 所定の動作に応じて有効となるフラグを用いる例 ≫
図18を用いて、閾値データ233及びアプリデータ235を用いる出力処理の具体例を説明する。ここでは、アプリデータ235は、所定の動作に応じて有効となるフラグであり、当初、フラグはOFFになっているものとする。図14を用いて説明した例と同様に、ユーザは、移動通信端末20でアプリケーションを起動し、動作検出装置10と移動通信端末20とが通信可能となり、玩具40を操作可能な状態になっているものとする。
まず、ユーザが動作を行い、動作検出装置10で検出された検出データが、移動通信端末20の検出データ取得部251により取得されるステップS601−S605は、図14のステップS401−S405と同様である。閾値比較部255は、検出データ取得部251から、検出データを受け取る(ステップS606)。また、閾値比較部255は、閾値データ読込部254の読み込んだ、閾値データ(ここでは、各軸方向の加速度の閾値A、B、C)を受け取る(ステップS607)。そして、閾値比較部255は、受け取った検出データに含まれる、各軸の加速度の最大値と、閾値A、B、Cとを、それぞれ比較する(ステップS608)。ここでは、X軸方向の加速度の最大値が、閾値Aを上回り、Y、Z軸方向の加速度の最大値は、閾値B、Cを下回ったものとする。閾値比較部255は、比較の結果(X>A)を、結果出力部256に渡す(ステップS609)。
選択部208は、比較部207の結果出力部256から、比較の結果である「X>A」を受け取る(ステップS610)。次に、選択部208は、記憶部201に記憶されたアプリデータ(フラグ)を読み込む(ステップS611)。ここでは、フラグは「OFF」であるものとする。そして、選択部208は、関連付けデータ231−2(図9)を参照し、条件(閾値)「X>A」と条件(アプリデータ)「フラグOFF」に対応する、出力データ「ignition.mp3」を、出力すべきデータとして選択する(ステップS612)。次に、選択部208は、選択した出力データを出力するよう、出力部209に指示する(ステップS613)。出力部209は、「ignition.mp3」を出力する(ステップS614)。
さらに、アプリデータ更新部210は、選択部208から、比較の結果である「X>A」と、アプリデータ「フラグOFF」を受け取る(ステップS615)。そして、アプリデータ更新部210は、記憶部201に記憶されたアプリデータ235を「フラグON」に更新する(ステップS616)。なお、アプリデータ更新部210は、比較の結果が「X>A」であり、かつ、アプリデータ「フラグOFF」を受け取った場合にのみ、アプリデータ「フラグON」とする更新処理を行うものとする。
その後、さらなるユーザの動作により、上述したステップS601−S606と同様に、閾値比較部255が、検出データを受け取る(ステップS617−S622)。閾値比較部255は、上述したステップS607、S608と同様に、検出データに含まれる、各軸の加速度の最大値と、閾値A、B、Cとを、それぞれ比較する(ステップS623、S624)。そして、上述したステップS609、S610と同様に、比較の結果が選択部208に渡される(ステップS625、S626)。なお、ここでは、比較の結果は、「X>AかつY>B」であるものとする。
次に、選択部208は、記憶部201に記憶されたアプリデータ「フラグON」を読み込む(ステップS627)。選択部208は、関連付けデータ231−2を参照し、条件(閾値)「X>AかつY>B」と条件(アプリデータ)「フラグON」に対応する、出力データ「drift.mp3」を、出力すべきデータとして選択する(ステップS628)。次に、選択部208は、選択した出力データを出力するよう、出力部209に指示する(ステップS629)。出力部209は、「drift.mp3」を出力する(ステップS630)。
さらに、アプリデータ更新部210は、選択部208から、比較の結果である「X>AかつY>B」と、アプリデータ「フラグON」を受け取る(ステップS631)。ここでは、アプリデータ更新部210は、アプリデータの更新を行わない。
以上の動作により、ユーザは、例えば、乗用車の玩具に、本実施形態における動作検出装置10を取り付け、その玩具を操作し、本実施形態における移動通信端末20を通じて、本物の乗用車の動作に対応した音を楽しむことができる。
なお、上記の動作の例では、X軸の正の方向が、乗用車の進行方向に対応し、Y軸の正の方向が、乗用車の右手方向に対応し、Z軸の正の方向が、乗用車の真上の方向に対応している。すなわち、「フラグOFF」(エンジンがかかっていない状態)である場合に、乗用車が前方に操作されると、図9の関連付けデータ231−2に示されるように、エンジンがかかった音である「ignition.mp3」が出力されることになる。そして、「フラグON」(エンジンがかかっている状態)である場合に、さらに乗用車が前方に操作されると、エンジンの駆動音である「drive.mp3」が出力される。さらに、エンジンがかかった状態で、左右方向への操作が検出されると、ドリフトした音である「drift.mp3」が出力され、上下方向の操作が検出されると、クラッシュした音である「crash.mp3」が出力される。また、クラッシュした後には、アプリデータ更新部210により、フラグかOFFにされる。
≪ 出力データの履歴を用いる例 ≫
図19を用いて、閾値データ233及びアプリデータ235を用いる出力処理の異なる具体例を説明する。ここでは、アプリデータ235は、移動通信端末20が出力した出力データの出力履歴である。図14、図18を用いて説明した例と同様に、ユーザは、移動通信端末20でアプリケーションを起動し、動作検出装置10と移動通信端末20とが通信可能となり、玩具40を操作可能な状態になっているものとする。
まず、動作検出装置10により検出された検出データを、移動通信端末20が受信し、閾値と比較して、結果を選択部208に渡すステップS701−S710は、図18のステップS601−S610と同様である。なお、閾値比較部255による比較の結果も、図18を用いて説明した例と同様に、「X>A」であるものとする。次に、選択部208は、記憶部201に記憶されたアプリデータ(出力履歴)を読み込む(ステップS711)。ここでは、出力履歴は空(履歴なし)であるものとする。選択部208は、関連付けデータ231−3(図10)を参照し、条件(閾値)「X>A」と条件(出力履歴)「履歴なし」に対応する、出力データ「preset_101.wav」を、出力すべきデータとして選択する(ステップS712)。次に、選択部208は、選択した出力データを出力するよう、出力部209に指示する(ステップS713)。出力部209は、「ignition.mp3」を出力する(ステップS714)。
次に、アプリデータ更新部210は、選択部208から、選択された出力データのファイル名「preset_101.wav」を受け取る(ステップS715)。そして、アプリデータ更新部210は、記憶部201に記憶されたアプリデータ235である出力履歴に、「preset_101.wav」を記録する(ステップS716)。
その後、さらなるユーザの動作により、上述したステップS701−S716と同様の処理が繰り返され、アプリデータ235である出力履歴が「preset_101.wav→preset_102.wav→preset_103.wav」となったものとする。
上述したステップS701−S706と同様に、閾値比較部255が、検出データを受け取る(ステップS717−S722)。閾値比較部255は、上述したステップS707、S708と同様に、検出データに含まれる、各軸の加速度の最大値と、閾値A、B、Cとを、それぞれ比較する(ステップS723、S724)。そして、上述したステップS709、S710と同様に、比較の結果が選択部208に渡される(ステップS725、S726)。なお、ここでは、比較の結果は、「X>AかつY>BかつZ>C」であるものとする。
次に、選択部208は、記憶部201に記憶された出力履歴「preset_101.wav→preset_102.wav→preset_103.wav」を読み込む(ステップS727)。選択部208は、関連付けデータ231−3(図10)を参照し、条件(閾値)「X>AかつY>BかつZ>C」と条件(出力履歴)「preset_101.wav→preset_102.wav→preset_103.wav」に対応する、出力データ「preset_103.wav」と「preset_special.wav」とを、出力すべきデータとして選択する(ステップS728)。次に、選択部208は、選択した出力データを出力するよう、出力部209に指示する(ステップS729)。出力部209は、「preset_103.wav」を出力し、その後に、「preset_special.wav」を出力する(ステップS730)。
次に、アプリデータ更新部210は、選択部208から、選択された出力データのファイル名「preset_103.wav」と「preset_special.wav」を受け取る(ステップS731)。そして、アプリデータ更新部210は、記憶部201に記憶されたアプリデータ235である出力履歴を「履歴なし」に更新する(ステップS732)。
以上の動作により、ユーザは、例えば、任意の玩具40又は自分の腕に、本実施形態における動作検出装置10を取り付け、自由に動作を行い、本実施形態における移動通信端末20を通じて、ある法則に応じて出力される音を楽しむことができる。上記の動作の例では、用意された三種類の動き(音)を、所定の順序で行った場合にのみ、特別に用意された音が鳴る。
≪ 5. 応用例 ≫
以上、検出した動作を示す波形データと予め登録された波形データとが一致するとみなせる場合に所定の音を出力する例(図14)と、検出データの加速度の最大値やアプリデータが所定の条件を満たす場合に所定の音を出力する例(図18、図19)とを用いて説明を行った。しかしながら、本発明は、これらの例に限られず、例えば、検出した波形データと予め登録された波形データとが一致し、かつ、他の条件(例えば、閾値やアプリデータ)が満たされる場合に、所定の出力データを出力するようにしてもよい。一方で、本発明は、閾値条件のみを用いて検出データを判定し、所定の出力データを出力するようにしてもよい。
また、上述した例では、動作検出装置10が加速度センサを有する例を用いて説明を行った。しかしながら、本発明は、動作検出装置10が光センサや圧力センサを有する場合であっても、同様に、光量又は圧力の変化を表すデータを用いて、上述した処理を実行し、同様の効果を得ることができる。
≪ B. 配信システム ≫
次に、図20乃至図30を用いて、上述した動作検出システム1を含む、配信システム100を説明する。
≪ 1. 概要 ≫
図20は、配信システム100の概要を表す図である。配信システム100は、上述した動作検出システム1に含まれる、動作検出装置10及び移動通信端末20に加えて、広告を配信する配信装置50と、広告主の使用する情報処理端末60とを有する。移動通信端末20と、配信装置50と、情報処理端末60とは、例えばインターネットのような、ネットワーク3で接続されている。但し、以下で説明する実施形態においては、ユーザの使用する移動通信端末20と、広告主の使用する情報処理端末60は、直接通信しない。
配信装置50は、動作検出システム1として説明した、ユーザのジェスチャを検出して音声を出力するアプリケーション290を、移動通信端末20に提供する。
ここで、アプリケーション290は、上述したように、動作検出装置10を使用するユーザが、予め登録された動作(例えば、剣を振る遊びや、バイクを手動で動かす遊び)を行ったとき、その動作と関連付けられた音声データ(出力データ234)を出力する。すなわち、アプリケーション290は、移動通信端末20が上述の「出力機能」を実行する場合における、図5に示される破線で囲まれた機能ブロックの処理により、主に実現される(データ除く)。
図20に示されるように、アプリケーション290は、まず、動作に対応する複数のアイコンを画面上に提示し、ユーザからの選択を受け付ける。次に、アプリケーション290は、ユーザからの選択に応じて、動作に関連する所定の画面を出力し、動作検出装置10から検出データを受信する。そして、アプリケーション290は、上述したように、検出データと、予め登録された動作を示す登録波形データ232とを比較し、両者が一致しているとみなせる場合に、予め登録された出力データ234を再生する。
配信装置50は、ユーザからの求めに応じて、そのような動作に関連するデータ(図5における登録波形データ232や出力データ234)を、移動通信端末20に配信することができる。これにより、ユーザが体験できる動作の種類が拡張される。配信装置50は、例えば、プラットフォームとして動作するアプリケーション290の中で動作するアプリ内アプリ2900として、これらの関連するデータを、移動通信端末20に配信することができる。
また、配信装置50は、広告主の使用する情報処理端末60からの求めに応じて、ある動作に関連する登録波形データ(以下、ジェスチャデータ631と呼ぶ)、出力データ(以下、音声データ632と呼ぶ)及び広告データ633を受信する。これらのデータには、広告主の実施するビジネスと密接な関係がある。例えば、広告主が、著名な自動二輪車(以下、バイクと呼ぶ)の製造者であるとする。広告主は、バイクを手で前後させる動きに対応するジェスチャデータ631と、エンジンの始動音(又は停止音)の音声データ632と、バイクの画像やカタログのような表示データである広告データ633とを、配信装置50に登録する。ここで、広告主は、配信装置50又はアプリケーション290の提供者に対して、対価を支払う。
なお、ここでは、音声データ632と、広告データ633とを区別して記載しているが、音声データ632そのものが、広告のための広告データであってもよい。例えば、音声データ632が、広告主の音による商標や、広告主の商品に関連する音声(例えば、バイクのエンジン音)である場合に、音声データ632が、広告データ633を兼ねる。広告主は、ジェスチャデータ631と、広告データを兼ねた音声データ632とを、配信装置50に登録しても良い。あるいは、広告主は、ジェスチャデータ631と、広告データを兼ねた音声データ632に加えて、上述した表示データのような、さらなる広告データ633を、配信装置50に登録しても良い。
配信装置50は、ジェスチャデータ631、音声データ632、広告データ633の組み合わせを、例えば、アプリ内アプリ2900(ここでは、これらのデータの組み合わせを「アプリ内アプリ」と呼ぶ)の形式で、ユーザの移動通信端末20に配信する。アプリケーション290は、アプリ内アプリ2900として提供されたジェスチャデータ631と対応する動作を検出すると、音声データ632を出力する。また、アプリ内アプリ2900は、そのような動作を検出している間、あるいは、特定の動作が検出された後に、広告データ633を出力する。これにより、ユーザは、ある広告主の商品又はサービスに関連する動きと音声を楽しみながら、広告を閲覧することができる。
以下、本発明の一実施形態における配信システム100の詳細を説明する。
≪ 2. ハードウェア構成 ≫
図21は、本発明の一実施形態における配信装置50及び情報処理端末60のハードウェア構成図である。図21は、配信装置50及び情報処理端末60が、一般的なコンピュータである場合の、ハードウェア構成例を表している。以下、配信装置50についてのみ説明すると、配信装置50は、CPU51と、ROM52と、RAM53と、ディスプレイ54と、HDD(Hard Disk Drive)55と、NIC(Network Interface Card)56と、入力装置57とを有する。
CPU51は、配信装置50の制御を行うプログラムを実行する。ROM52は、CPU51が実行するプログラムや、プログラムの実行に必要なデータを記憶する。RAM53は、CPU51のワークエリアとして機能する。ディスプレイ54は、例えば液晶パネルを駆動して映像データを出力する装置である。HDD55は、プラッタを高速回転させ、磁気ヘッドを用いて、磁気的にデータを読み書きすることのできる装置である。NIC27は、配信装置50をLANに接続するためのインターフェースである。入力装置55は、キーボード又はマウスのように、ユーザからの操作入力を電気信号として読み取ることのできる装置である。バス58は、上記の各装置を相互に接続する。
なお、配信装置50は、複数の分散されたコンピュータにより実現されてもよい。配信装置50は、ROM52、HDD55又はネットワーク上に配置されたプログラムを、RAM53に読み込み、CPU51を用いて実行することにより、後述する機能を実現することができる。また、配信装置50は、ファイルをHDD55に記憶する代わりに、ネットワークを介して提供される、例えばクラウドのストレージ領域に記憶しても良い。また、配信装置50は、管理者の使用するクライアント端末に対して機能を提供するサーバとして動作する場合、ディスプレイ54又は入力装置57を有していなくても良い。
また、情報処理端末60は、NIC56の代わりに、無線通信装置を備えていても良い。さらに、情報処理端末60は、図4に例示される、移動通信端末20と同様のハードウェア構成を有する、スマートフォンやタブレットのようなデバイスであってもよい。
≪ 3. 機能 ≫
図22を用いて、本発明の一実施形態における配信システム100の機能ブロックを説明する。
≪ 配信装置 ≫
配信装置50は、記憶部501と、登録受付部502と、決済処理部503と、配信部504と、受信部505と、出力部506とを有する。
記憶部501は、図21に示されるHDD55により実現され、配信装置50の動作に関連するファイルを記憶する。特に、記憶部501は、配信管理データ531と、ジェスチャデータ532と、音声データ533と、広告データ534と、収集データ535とを記憶する。
配信管理データ531は、配信装置50が配信するジェスチャデータ、音声データ、広告データを管理するデータである。
図23は、配信管理データ531を格納するテーブルの例を表す。配信管理データ531は、IDと、名称と、ジェスチャデータと、音声データと、広告データの項目を有する。IDは、テーブル内のエントリを識別するための識別子である。名称は、アプリ内アプリを識別するための名称である。
ジェスチャデータの項目は、所定の時間内における2又は3軸方向の加速度又は角速度の変化の値(あるいは、それらの組み合わせ)を格納するファイルのファイル名を表す。例えば、図15(a)−(c)は、所定の時間内における3軸方向の加速度の変化によって表される、ジェスチャデータの例を表している。ジェスチャデータは、動作検出装置10に搭載された、加速度センサ又は角速度センサの出力する、三次元の値の変化を表す、任意の形式のデータである。
音声データの項目は、ジェスチャデータと対応する動作を検出した場合に出力される音声を格納するファイルのファイル名を表す。音声データは、例えば、mp3(MPEG Audio Layer-3)やaac(Advanced Audio Coding)、WAVE形式のように、移動通信端末20が再生可能な、任意の形式のデータである。
広告データの項目は、移動通信端末20に出力される広告を格納したファイルのファイル名を表す。広告データは、例えば、HTMLやMOV、SWF(Small Web Format)形式のように、移動通信端末20又はアプリケーション290で表示又は再生可能な、任意の形式のデータである。
図27の(b)、(c)は、移動通信端末20に表示された広告データの例を表している。なお、広告データは、広告データそのものではなく、インターネット上の広告データへのURLであってもよい。
ジェスチャデータ532は、広告主の情報処理端末60により登録された、ユーザの動作を定義するデータである。上述したように、ジェスチャデータは、所定の時間内における2又は3軸方向の加速度又は角速度の変化の値(あるいは、それらの組み合わせ)を表す。
音声データ533は、広告主の情報処理端末60により登録された、ユーザの動作に応じて再生される音声を定義するデータである。なお、既に述べたように、音声自体が広告主の広告を示していても良い。
広告データ534は、広告主の情報処理端末60により登録された、ユーザに提示される広告を表すデータである。なお、既に述べたように、音声データ533が広告を示す場合には、広告データ534は、登録されていなくても良い。あるいは、音声データ533が広告を示す場合であっても、広告データ534が登録されていても良い。
収集データ535は、アプリケーション290上で動作する、各アプリ内アプリ2900のユーザから収集した統計データである。
図24は、ある一のアプリ内アプリの収集データ535を格納するテーブルの例を表す。収集データ535は、当該アプリ内アプリのユーザごとに収集した情報を表しており、性別と、年齢と、国と、回数と、日時との項目を有する。性別は、ユーザの性別を表し、「F」は女性を表し、「M」は、男性を表す。年齢は、ユーザの年齢を表す。国は、ユーザの住む国の略称を表す。図24の例では、「JP」は、日本国を表し、「US」は、アメリカ合衆国を表し、「DE」は、ドイツ連邦共和国を表す。回数は、当該アプリ内アプリの起動回数を表す。日時は、当該アプリ内アプリを起動した日時を表す。収集データ535は、ユーザがアプリ内アプリを起動した場合に、あるいは、予め定められた任意のタイミングで、移動通信端末20から配信装置50へと送信される。
登録受付部502は、主に図21のCPU51の処理により実現され、広告主の使用する情報処理端末60から、ジェスチャデータ631、音声データ632、広告データ633等の登録要求を受け付ける。登録受付部502は、登録要求を受け付けると、決済処理部503に、決済処理を行うよう指示する。そして、登録受付部502は、決済が可能である旨の通知を受け取ると、受け取ったジェスチャデータ631、音声データ632、広告データ633等を、記憶部501に格納する。一方、登録受付部502は、決済が可能でない旨の通知を受け取った場合には、登録要求を拒絶することができる。
決済処理部503は、主に図21のCPU51の処理により実現され、登録要求を送信した情報処理端末60に対して、決済情報の入力を求める。そして、決済処理部503は、入力された決済情報に基づき、決済が可能かどうか判断し、決済が可能であるか否かを、登録受付部502に通知する。そして、決済処理部503は、決済に係る売り上げデータの処理等を行う。ここで、決済処理には、クレジットカード、Pay−easy、PayPal(登録商標)等の、任意の既存の決済方法を用いた処理が含まれる。
配信部504は、主に図21のCPU51の処理により実現され、ユーザの使用する移動通信端末20(又は移動通信端末20で動作するアプリケーション290)からの配信要求に応じて、指定されたアプリ内アプリに関するデータを配信する。配信部504は、配信要求を受信すると、配信要求において指定されたアプリ内アプリ(すなわち、ジェスチャデータ532、音声データ533及び広告データ534の組み合わせ)を、移動通信端末20に配信する。
受信部505は、主に図21のCPU51及びNIC56の処理により実現され、移動通信端末20から送信された、各アプリ内アプリ2900のユーザごとの統計情報(後述する、属性データ)を受信する。
出力部506は、主に図21のCPU51及びNIC56の処理により実現され、広告主に対して、アプリ内アプリ2900に係る収集データ535の集計データを任意の形式で出力する。出力部506は、例えば、あるアプリ内アプリ2900について、国ごとのユーザの男女比や、ユーザの年齢の分布や、年齢と起動回数との相関や、起動時間帯の集計等を、出力することができる。
図28は、あるアプリ内アプリ2900のユーザの収集データ535を集計して出力したグラフである。図28(a)は、あるアプリ内アプリ2900の、国ごとの、男女別のユーザの数を、棒グラフで出力したものである。これにより、広告主は、国ごとのユーザ数の傾向を知ることができる。また、図28(b)は、あるアプリ内アプリ2900の、時間帯ごとの、全ユーザの使用回数を、折れ線グラフで出力したものである。これにより、広告主は、時間帯ごとのユーザの使用傾向を知ることができる。
≪ 情報処理端末 ≫
情報処理端末60は、記憶部601と、データ生成部602と、登録要求部603と、決済情報入力部604と、表示部605とを有する。
記憶部601は、図21に示されるHDD55により実現され、情報処理端末60の動作に関連するファイルを記憶する。特に、記憶部601は、上述したジェスチャデータ532、音声データ533、広告データ534とそれぞれ対応する、ジェスチャデータ631、音声データ632、広告データ633を記憶する。各データの内容は、既に述べたとおりである。
データ生成部602は、図21に示されるCPU51により実現され、配信装置50に登録するための、ジェスチャデータ631を生成する。既に述べたように、ジェスチャデータ631は、所定時間内における、2又は3次元方向の加速度の変化、角速度の変化、又はそれらの組み合わせである。データ生成部602は、例えば、加速度センサ又は角速度センサを備えるデバイスを通じて得られたデータを、ジェスチャデータ631としてもよい。データ生成部602は、例えば、情報処理端末60と通信可能なように構成された、上述の動作検出装置10を用いて、ジェスチャデータ631を生成しても良い。データ生成部602は、生成したジェスチャデータ631を、記憶部601に格納する。
登録要求部603は、主に図21に示されるCPU51の処理により実現される。登録要求部603は、情報処理端末60を使用する広告主からの指示に応じて、記憶部601に格納されたジェスチャデータ631、音声データ632、広告データ633の登録要求を、配信装置50に送信する。
なお、音声データ632、広告データ633は、予め、広告主によって用意される。例えば、データ生成部602が生成したジェスチャデータ631が、バイクのおもちゃを前方に走行させるような動作に対応する場合、音声データ632は、エンジンの始動音であってもよい。広告主が、バイクの製造者であるような場合、広告データ633は、バイクの画像や、最新カタログへのリンクを含む、広告データであってもよい。
広告データ633の例は、図27(b)、(c)に示されている。ここでは、2種類の広告データ633が用意されており、図27(b)の広告データは、ユーザがアプリ内アプリを使用した場合に、常に表示されるものであり、図27(c)は、ユーザがジェスチャデータ631と対応する動作を正しく行った場合に表示されるものである。
決済情報入力部604は、主に図21に示されるCPU51及び入力装置57の処理により実現され、広告主からの決済情報の入力を受け付け、その決済情報を、配信装置50の決済処理部503に送信する。
表示部605は、主に図21に示されるディスプレイ54の処理により実現され、配信装置50から出力された収集データ535を、ディスプレイ54上に表示する。
≪ 移動通信端末 ≫
移動通信端末20は、図5を用いて説明した機能201乃至210に加えて、管理部221と、受信部222と、属性登録部223と、広告出力部224と、送信部225とを有する。
まず、既に説明した記憶部201は、さらに、管理データ241、ジェスチャデータ242、音声データ243、広告データ244、属性データ245を記憶する。
管理データ241は、移動通信端末20に配信された、アプリケーション290の中で動作するアプリ内アプリを管理するデータである。
図25は、管理データ241を格納するテーブルの例を表す。管理データ241は、図23に示される配信管理データ531と同様の項目を有する。管理データ241は、移動通信端末20に配信されたアプリ内アプリ2900の名称やジェスチャデータ等を特定するためのデータである。
ジェスチャデータ242は、図5に示される登録波形データ232と対応し、アプリケーション290により、動作検出装置10により検出された検出データと比較されるデータである。
音声データ243は、図5に示される出力データ234と対応し、アプリケーション290により、ジェスチャデータ242と検出データとが一致すると判定された場合に再生される音声データ243である。
属性データ245は、アプリ内アプリ2900が使用される前に、ユーザによって予め登録される情報や、アプリ内アプリ2900の使用に関する情報を格納する。
図26は、あるユーザの属性データ245を格納するテーブルの例を表す。属性データ245は、図24に示される収集データ535と同様の項目を有する。
管理部221は、主に図4に示されるCPU21の処理によって実現され、アプリケーション290で使用されるアプリ内アプリ2900を管理する。ここで、アプリケーション290の動作について説明する。
図27(a)は、アプリケーション290が出力する、アプリ内アプリ2900の選択画面である。この画面は、例えば、ユーザが、情報処理端末20にインストールされた、アプリケーション290を起動する操作を行うことに応じて、表示される。その後、アプリケーション290は、管理データ241に格納されたアプリ内アプリ2900を読み込み、その一覧を、画面上に表示することができる。ユーザは、この中から、一のアプリ内アプリ2900を選択することにより、各アプリ内アプリ2900の目的に沿った遊びを体験することができる。
その後、アプリケーション290は、選択された一のアプリ内アプリ2900のジェスチャデータ242、音声データ243、広告データ244を読み込む。次いで、アプリケーション290は、広告出力部224を通じて、図27(b)に示されるように、広告データ244を画面上に表示する。そして、アプリケーション290は、ユーザの使用する動作検出装置10から検出された検出データとジェスチャデータ242が同一とみなせるとき、音声データ243を再生する。また、アプリケーション290は、検出データとジェスチャデータ242が同一とみなせるとき、異なる広告データ244を画面上に表示しても良い。
なお、アプリケーション290は、既に述べたように、閾値による判定を用いて、検出データとジェスチャデータ242の比較を行う。比較に使用される閾値は、予め、アプリケーション290に設定されたデフォルト値を用いても良いし、アプリ内アプリ2900ごとに、別途定義されていても良い。アプリ内アプリ2900ごとに定義される場合、閾値は、ジェスチャデータ242、音声データ243、広告データ244とともに、配信装置50から提供されても良い。
また、管理部221は、ユーザから指定されたアプリ内アプリ2900の配信要求を、配信装置50に送信する。また、管理部221は、配信されたアプリ内アプリ2900に関する情報を、管理データ241に格納する。また、管理部221は、アプリ内アプリ2900が初めて使用されるとき、性別や年齢、住んでいる国のような属性情報の入力を促すよう、属性登録部223に指示する。また、管理部221は、ユーザによって選択されたアプリ内アプリ2900の使用回数及びその使用日時を、管理データ245に記録する。また、管理部221は、任意のタイミングで、記憶部201に記憶された属性データ245を配信装置50に送信するよう、送信部225に指示する。
受信部222は、主に図4のCPU21及び無線通信装置27により実現され、配信装置50から配信されるアプリ内アプリ2900を受信する。
属性登録部223は、主に図4のCPU21及び入力装置28の処理により実現され、管理部221からの指示に応じて、ユーザからの属性情報の入力を受け付ける。属性登録部223は、入力された属性情報を、属性データ245として格納する。
広告出力部224は、主に図4のCPU21及びディスプレイ24により実現される。広告出力部224は、アプリケーション290がアプリ内アプリ2900の選択を受け付けたことに応じて、そのアプリ内アプリ2900と関連付けられた広告データ244を、ディスプレイ24に出力する。また、広告出力部224は、図5に示される選択部208からの、出力データの出力指示(図19のステップS713)に応じて、異なる広告データ244を、ディスプレイ24に出力しても良い。異なる広告データ244とは、例えば、管理データ241において2つの広告データが指定されている場合の、2つ目の広告データである。
また、広告出力部224は、管理データ241において複数の広告データが指定されている場合、属性データ245で示される、ユーザの属性情報(性別、年齢、国等)に応じて、異なる広告データを選択して、出力しても良い。例えば、広告出力部224は、広告データが、性別ごとに用意されている場合、属性データ245で示されるユーザの性別に応じて、異なる広告データを出力しても良い。
なお、上述した広告出力部224は、動作検出装置10が表示装置(図示しない)を備える場合に、広告データ244を、ディスプレイ24に出力する代わりに、動作検出装置10の表示装置に、出力しても良い。この場合、広告出力部224は、例えば、無線通信装置27を介して、無線通信により、広告データ244を、動作検出装置10に出力することができる。
送信部225は、主に図4のCPU21及び無線通信装置27により実現され、管理部221からの指示に応じて、属性データ245を配信装置50に送信する。
なお、本実施例では、広告主は、ジェスチャデータ631と、音声データ632と、広告データ633とを、配信装置50に登録することができ、配信装置50は、これらのデータを含むアプリ内アプリ2900を、移動通信端末20に提供する。しかしながら、本発明は、このようなデータの組み合わせに限定されない。例えば、音声データ632の代わりに、画像データ、動画データ、移動通信端末20の有するLEDの点滅パターンを格納したデータ、移動通信端末20のバイブレータを駆動する駆動パターンを格納したデータ等が、ジェスチャデータ631及び広告データ633とともに、配信装置50に提供されてもよい。この場合、音声データ632の代わりに上述のデータを受け取った移動通信端末20は、ジェスチャデータ631の示す動作を検出したとき、対応する画像データや動画データを出力したり、点灯パターンに従ってLEDを点滅させたり、駆動パターンに従ってバイブレータを駆動させたりしても良い。
≪ 4. 動作例 ≫
図29、図30を用いて、本発明の一実施形態における配信システム100の動作例を説明する。以下の例では、バイクの製造者である広告主が、「Bike」という名称で、アプリ内アプリ2900を提供する例を説明する。
≪ 広告データ登録処理 ≫
図29は、広告データ登録処理の具体例を表すシーケンス図である。以下の例において、広告主は、動作検出装置10を用いて、バイクのおもちゃを走らせるような動作に対応するジェスチャデータを取得するものとする。
まず、広告主は、動作検出装置10を、例えば腕に装着し、バイクのおもちゃを前方に進めるような動作を行う(ステップS801)。これに応じて、動作検出装置10の検出部101は、例えば、3軸方向の加速度及び角速度の値の変化を検出する(ステップS802)。検出部101は、検出した加速度及び角速度の値(検出データ)を、通信部102に渡す(ステップS803)。通信部102は、検出データを、例えばBluetooth(登録商標)による無線通信により、広告主の使用する情報処理端末60に送信する(ステップS804)。
情報処理端末60のデータ生成部602は、動作検出装置10の通信部102から受信した検出データを用いて、ジェスチャデータ631を生成する(ステップS805)。例えば、データ生成部602は、予め定められた、取得開始時点と取得終了時点の間に取得された検出データ(すなわち、加速度及び角速度の値の変化)を、ジェスチャデータ631とする。その後、データ生成部602は、生成したジェスチャデータ631を、記憶部601に格納する(ステップS806)。ここで、ジェスチャデータ631は、「acceleration.dat」というファイル名で記憶されているものとする。
次に、情報処理端末60の登録要求部603は、広告主からの指示に応じて、記憶部601から、ジェスチャデータ631と、音声データ632と、広告データ633を読み込む(ステップS807)。ここで、登録要求部603は、「acceleration.mp3」というファイル名の音声データ632と、「bikeinfo.html」、「bikeinfo_award.html」というファイル名の広告データ633とを読み込むものとする。なお、広告データ633のうち、「bikeinfo.html」は、図27(b)に示される画面を表示するHTMLファイルである。また、広告データ633のうち、「bikeinfo_award.html」は、図27(c)に示される画面を表示するHTMLファイルである。各画面内に表示される画像は、HTMLファイルとともに提供されても良いし、インターネットを通じて外部のサーバから提供されても良い。
次に、情報処理端末60の登録要求部603は、ステップS807で読み込んだジェスチャデータ631と、音声データ632と、広告データ633とともに、登録要求を、配信装置50に送信する(ステップS808)。ここで、登録要求部603は、アプリ内アプリ2900の名称「Bike」の情報を、登録要求とともに送信しても良い。次いで、配信装置50の登録受付部502は、登録要求を受け付けると、決済処理部503に、決済処理を行うよう指示する(ステップS809)。次いで、決済処理部503は、登録要求を送信した情報処理端末60に対して、決済情報の入力を要求する(ステップS810)。ここで、例えば、広告主は、クレジットカード決済に係る、クレジットカード番号、カード名義、有効期限、セキュリティコードを含む決済情報を入力したものとする。情報処理端末60の決済情報入力部604は、広告主が入力した決済情報を受け付け、その決済情報を、決済処理部503に送信する(ステップS811)。
次に、配信装置50の決済処理部503は、受信した決済情報を用いて、決済処理を行う(ステップS812)。決済処理部503は、例えば、クレジットカード会社に対して与信照会を行い、決済が可能であるか判断する。そして、決済処理部503は、決済が可能であると判断すると、決済が可能である旨の通知を、登録受付部502に通知する(ステップS813)。登録受付部502は、通知の受信に応じて、ステップS808で受信したジェスチャデータ631と、音声データ632と、広告データ633とを、記憶部501に格納する(ステップS814)。
さらに、登録受付部502は、配信管理データ531を格納するテーブルに新たなエントリを生成し、ステップS814で受け取った各種データのファイル名等を登録する(ステップS815)。ここでは、図23の一つ目のエントリに示されるように、各項目にデータが登録される。なお、登録受付部502は、IDの項目に、既存のエントリと重複しない数値「1」を登録し、名称の項目に、登録要求とともに受け取った名称「Bike」を登録する。
≪ 広告データ出力処理 ≫
図30は、広告データ出力処理の具体例を表すシーケンス図である。ここでは、移動通信端末20と動作検出装置10とを使用するユーザが、上述した広告主によって登録された、アプリ内アプリ「Bike」をダウンロードする場合の例を用いて説明する。
まず、移動通信端末20の管理部221は、ユーザから、アプリケーション290の中で動作する、新たなアプリ内アプリの取得指示を受け付ける(ステップS901)。このとき、管理部221は、ユーザから、アプリ内アプリの名称「Bike」の指定を受け付けたものとする。管理部221は、アプリ内アプリ「Bike」の配信要求を、配信装置50の配信部504に送信する(ステップS902)。配信装置50の配信部504は、配信管理データ531を参照し、配信要求において指定された名称「Bike」と対応するジェスチャデータ532、音声データ533、広告データ534を、記憶部501から読み込む(ステップS903)。そして、配信部504は、読み込んだジェスチャデータ532、音声データ533、広告データ534を、アプリ内アプリ「Bike」として、移動通信端末20の受信部222に送信する(ステップS904)。
移動通信端末20の受信部222は、受信したデータを、記憶部201に格納する(ステップS905)。次いで、管理部221は、管理データ241を格納するテーブルに新たなエントリを生成し、ステップS904で受信したアプリ内アプリ「Bike」のデータのファイル名等を登録する(ステップS906)。ここでは、図25の一つ目のエントリに示されるように、各項目にデータが登録される。なお、管理部221は、IDの項目に、既存のエントリと重複しない数値「1」を登録し、名称の項目に、アプリ内アプリの名称「Bike」を登録する。また、管理部221は、ステップS904で各種データを受信した日時「2014-05-10 10:00:00」を、日時の項目に登録する。また、管理部221は、図26に示される、属性データ245を格納するテーブルを作成する(ステップS907)。この時点では、当該テーブルには、何のデータも登録されない。
次に、管理部221は、アプリケーション290により出力された、図27(a)に示される画面上で、アプリ内アプリ「Bike」を選択する操作を受け付ける(ステップS908)。管理部221は、アプリ内アプリ「Bike」が初めて起動されたことを検出し、ユーザに対して属性情報を入力させるよう、属性登録部223に指示する(ステップS909)。属性登録部223は、ユーザからの属性情報の入力に基づき、その属性情報を記憶部201の属性データ245に格納する(ステップS910)。ここでは、図26に示される通り、性別が「F」、年齢が「12」、国が「JP」の属性情報が入力されたものとする。そして、管理部221は、図26に示される属性データの、回数を「1」に設定し、現在の日時「2014-05-10 10:00:00」を、日時の項目に登録する(ステップS911)。
その後、アプリケーション290は、アプリ内アプリ「Bike」のジェスチャデータ「acceleration.dat」、音声データ「acceleration.mp3」、広告データ244「bikeinfo.html」、「bikeinfo_award.html」等を読み込み、ユーザの使用する動作検出装置10から、検出データを検出可能な状態となる。このとき、移動通信端末20の広告出力部224は、一つ目の広告データ「bikeinfo.html」を、ディスプレイ24に出力する(ステップS912)。図27(b)は、ディスプレイ24に出力された画面の例を表している。
その後、アプリケーション290は、図18のステップS601−S614や、図19のステップS701−S714と同様の手順により、ユーザの動作を検出し、対応する音声データを再生する(ステップS913)。但し、ここでは、図18の例で用いられているフラグや、図19の例で用いられている出力履歴は使用されなくてもよい。すなわち、アプリケーション290は、ユーザの動作によって得られた検出データが、ジェスチャデータ「acceleration.dat」と同一とみなせる場合、音声データ「acceleration.mp3」を、無条件で再生しても良い。
次に、広告出力部224は、音声データ「acceleration.mp3」が再生されたことに応じて(ユーザがジェスチャデータ「acceleration.dat」により表される動作を行ったことに応じて)、二つ目の広告データ「bikeinfo_award.html」を、ディスプレイ24に出力する(ステップS914)。図27(c)は、ディスプレイ24に出力された画面の例を表している。
その後、管理部221は、記憶部201に記憶された属性データ245を読み込む(ステップS915)。次いで、管理部221は、読み込んだ属性データ245を配信装置50に送信するよう、送信部225に指示する(ステップS916)。次いで、送信部225は、属性データを配信装置50の受信部505に送信する(ステップS917)。配信装置50の受信部505は、受信した属性データを、収集データ535を格納するテーブルの、1つのエントリとして格納する(ステップS918)。なお、受信部505は、既に同一の移動通信端末20から属性データを受信している場合には、その属性データを格納するエントリを上書きしても良い。
次に、配信装置50の出力部506は、記憶部501の収集データ535を読み込む(ステップS919)。次いで、出力部506は、管理者の設定に従って、収集データを集計し、集計結果を、広告主の使用する情報処理端末60の表示部605に出力する(ステップS920)。情報処理端末60の表示部605は、集計結果を、ディスプレイ54に表示する(ステップS921)。図28は、集計結果を表示する画面の例を表している。
なお、アプリ内アプリにおいて、複数の広告データが含まれる場合、移動通信端末20の広告出力部224は、属性データ245として登録されたユーザの性別や年齢等の属性情報に応じて、異なる広告データを出力しても良い。このとき、広告データは、出力されるための条件である属性情報と、予め関連付けられる。
≪ 5. 効果 ≫
本実施形態における配信システム100により、商品又はサービスの提供者は、既存の玩具40、動作検出装置10及び移動通信端末20を用いた動作検出システム1を利用する消費者に、自ら提供する商品又はサービスに関連する広告を配信することができる。特に、消費者は、提供者の提供する商品又はサービスと関係の深い遊びを通じて、広告を閲覧することで、より広告の内容に着目するようになる。例えば、バイクの製造者が、バイクの玩具を用いた遊びを提供するアプリケーションを通じて、バイクに関連する広告を消費者に提供することで、消費者は、より広告に注意を払うようになる。また、バイクの製造者(広告主)は、その製造者が訴求したい商品(バイク)について、その商品を想起させるジェスチャや効果音(エンジン音等)を登録でき、消費者は、それらのジェスチャや効果音を用いた遊びを体験することができる。これにより、消費者は、遊びを通じて、広告主の商品を想起するとともに、その商品を疑似体験できる。また、予め定められた動作(ジェスチャ)を正しく認識させた場合に、消費者に何らかの特典をもたらす広告を表示することで、広告の効果をより高めることができる。さらに、配信システム100は、広告を閲覧した消費者の属性や、遊びを通じて広告を閲覧したであろう日時等の情報を収集することができる。これにより、広告の効果を確認し、将来の効果的な広告の提供に役立てることができる。
1 動作検出システム
10 動作検出装置
20 移動通信端末
40 玩具
50 配信装置
60 情報処理端末
100 配信システム
631 ジェスチャデータ
632 音声データ
633 広告データ

Claims (7)

  1. 無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と、該移動通信端末と通信可能な配信装置とを有する配信システムであって、
    前記移動通信端末は、
    所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付部と、
    配信された前記第一の加速度データと、前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データとを比較する比較部と、
    前記比較部による比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に、前記広告データを出力する第一の出力部と、
    を有
    前記配信装置は、
    前記第一の加速度データ及び前記広告データを前記移動通信端末に配信する配信部を有する配信システム。
  2. 前記移動通信端末は、
    前記ユーザの体に着用される前記動作検出装置から、前記第二の加速度データを受信する通信部
    をさらに有する、請求項1に記載の配信システム。
  3. 前記移動通信端末は、
    前記比較部による比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に、所定の音声データを出力する第二の出力部
    をさらに有し、
    前記受付部は、前記第一の加速度データ及び前記広告データに加えて、前記音声データの登録を受け付ける、
    請求項2に記載の配信システム。
  4. 前記音声データは、前記第一の加速度データの示す動作の結果生ずる音声を示し、
    前記第二の出力部は、前記第一の出力部が前記広告データを出力している間に、前記音声データを出力する、
    請求項3に記載の配信システム。
  5. 前記配信装置は、
    前記移動通信端末から前記広告データの出力に関する属性データを受信する受信部を有し、
    前記移動通信端末は、
    前記広告データの出力に関する属性データを出力する第三の出力部と、
    をさらに有する、請求項に記載の配信システム。
  6. 無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と、該移動通信端末と通信可能な配信装置とを有する配信システムが実行する配信方法であって、
    前記移動通信端末は、
    所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付段階と、
    配信された前記第一の加速度データと、前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データとを比較する比較段階と、
    前記比較段階において比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に、前記広告データを出力する第一の出力段階とを実行し、
    前記配信装置は、
    前記第一の加速度データ及び前記広告データを前記移動通信端末に配信する配信段階を実行する配信方法。
  7. 無線で接続された動作検出装置を用いてユーザの動作を検出する移動通信端末と通信可能な配信装置であって、
    所定時間内の加速度の変化を表す第一の加速度データ及び前記移動通信端末に表示される広告を示す広告データの登録を受け付ける受付部と、
    前記動作検出装置から送信された前記ユーザの動作を表す第二の加速度データと比較される前記第一の加速度データ、及び、前記移動通信端末において前記第一の加速度データと前記第二の加速度データとの比較の結果、前記第一の加速度データと前記第二の加速度データとが一致するとみなされる場合に前記移動通信端末において出力される前記広告データを、前記移動通信端末に配信する配信部と、
    を有する、配信装置。
JP2016520819A 2014-05-19 2014-05-19 配信システム、配信方法及び配信装置 Active JP6263259B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/063188 WO2015177835A1 (ja) 2014-05-19 2014-05-19 配信システム、配信方法及び配信装置

Publications (2)

Publication Number Publication Date
JPWO2015177835A1 JPWO2015177835A1 (ja) 2017-04-27
JP6263259B2 true JP6263259B2 (ja) 2018-01-17

Family

ID=54553535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520819A Active JP6263259B2 (ja) 2014-05-19 2014-05-19 配信システム、配信方法及び配信装置

Country Status (3)

Country Link
US (1) US10307672B2 (ja)
JP (1) JP6263259B2 (ja)
WO (1) WO2015177835A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
CN107423358B (zh) * 2017-06-13 2020-08-07 阿里巴巴集团控股有限公司 一种数据存储及调用方法及装置
CN110675570B (zh) * 2019-11-05 2021-11-30 深圳市丰巢科技有限公司 一种快递柜的控制方法、装置、快递柜及存储介质
KR20230135225A (ko) * 2022-03-15 2023-09-25 현대자동차주식회사 전동화 차량의 사운드 발생 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11290557A (ja) * 1998-04-14 1999-10-26 Shigeo Tsukui 空拳音感装置
JP2002044724A (ja) 2000-07-24 2002-02-08 Seiko Instruments Inc 移動体通信機によるサービス情報提供方法、移動体通信機によるサービス情報提供システム、移動体通信機、携帯端末、移動体通信管理サーバおよびコンピュータ読取可能な記録媒体
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
JP4989105B2 (ja) 2006-05-09 2012-08-01 任天堂株式会社 ゲームコントローラ
US20100016080A1 (en) * 2008-07-21 2010-01-21 Nexon Publishing North America, Inc. Rewarding multiple views of advertisements with a redeemable multipart coupon within a video game
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
US8850365B2 (en) * 2009-02-27 2014-09-30 Blackberry Limited Method and handheld electronic device for triggering advertising on a display screen
US20110270679A1 (en) * 2010-04-29 2011-11-03 Research In Motion Limited System and method for distributing messages to an electronic device based on movement of the device
JP5636888B2 (ja) 2010-11-09 2014-12-10 ソニー株式会社 情報処理装置、プログラムおよびコマンド生成方法
US20120122554A1 (en) * 2010-11-12 2012-05-17 Disney Enterprises, Inc. System and method for in-game interactive advertising
JP2012155616A (ja) 2011-01-27 2012-08-16 Panasonic Corp コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
KR20130044787A (ko) * 2011-10-24 2013-05-03 삼성전자주식회사 휴대 단말기에서 광고 데이터를 제공하는 장치와 방법, 그리고 그에 따른 시스템
KR20130082994A (ko) * 2011-12-26 2013-07-22 엔에이치엔비즈니스플랫폼 주식회사 모바일단말기의 움직임에 기초하여 광고를 제공하는 시스템 및 방법
US20140316884A1 (en) * 2013-04-22 2014-10-23 Yahoo! Inc. Interactive advertising system
US9607319B2 (en) * 2013-12-30 2017-03-28 Adtile Technologies, Inc. Motion and gesture-based mobile advertising activation

Also Published As

Publication number Publication date
WO2015177835A1 (ja) 2015-11-26
US20170182413A1 (en) 2017-06-29
JPWO2015177835A1 (ja) 2017-04-27
US10307672B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
US10922901B2 (en) Systems, methods, and computer-readable media for placing an asset on a three-dimensional model
KR101794493B1 (ko) 햅틱 기술을 채용한 이동 디바이스들 및 방법들
JP6263259B2 (ja) 配信システム、配信方法及び配信装置
US10416774B2 (en) Automatic remote sensing and haptic conversion system
CN103988193B (zh) 管理同步内容的播放
CN103970208B (zh) 可穿戴式设备管理器
JP6092506B2 (ja) 双方向性コンテンツの触覚的に強化された双方向性
CN107210950A (zh) 用于共享用户交互的设备
US9224100B1 (en) Method and apparatus using accelerometer data to serve better ads
CN105242772A (zh) 提供静电触觉效果的表面元件的系统和方法
CN105264495A (zh) 显示应用状态信息的设备之间的交互
KR20200101014A (ko) 아바타 추천 및 다운로드를 지원하는 전자 장치
JP2018008316A (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
US20200238168A1 (en) Vibration control apparatus
EP2378752A2 (en) Mobile terminal and method of controlling operation of the mobile terminal
CN106874057B (zh) 一种信息录入方法及其设备
US20150123897A1 (en) Gesture detection system, gesture detection apparatus, and mobile communication terminal
KR20200067593A (ko) 증강 현실 이모지를 생성하기 위한 전자 장치 및 그에 관한 방법
KR20130096107A (ko) 태스크 수행 방법 및 시스템과 기록 매체
WO2016206645A1 (zh) 为机器装置加载控制数据的方法及装置
CN113805770A (zh) 一种光标的移动方法及电子设备
JP2018004765A (ja) 電子機器及びシステム
CN111417917A (zh) 信息处理装置与信息处理方法
EP3611941A1 (en) Voice providing device, voice providing method, and program
CN106020650B (zh) 控制信号处理方法、装置和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171215

R150 Certificate of patent or registration of utility model

Ref document number: 6263259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250