JP6019283B2 - 射撃システム及びデータ処理装置 - Google Patents

射撃システム及びデータ処理装置 Download PDF

Info

Publication number
JP6019283B2
JP6019283B2 JP2015050317A JP2015050317A JP6019283B2 JP 6019283 B2 JP6019283 B2 JP 6019283B2 JP 2015050317 A JP2015050317 A JP 2015050317A JP 2015050317 A JP2015050317 A JP 2015050317A JP 6019283 B2 JP6019283 B2 JP 6019283B2
Authority
JP
Japan
Prior art keywords
target
distance
light emitting
infrared light
gun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015050317A
Other languages
English (en)
Other versions
JP2015187537A (ja
JP2015187537A5 (ja
Inventor
芳樹 鴇田
芳樹 鴇田
Original Assignee
株式会社スカイワーカーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スカイワーカーズ filed Critical 株式会社スカイワーカーズ
Priority to JP2015050317A priority Critical patent/JP6019283B2/ja
Publication of JP2015187537A publication Critical patent/JP2015187537A/ja
Publication of JP2015187537A5 publication Critical patent/JP2015187537A5/ja
Application granted granted Critical
Publication of JP6019283B2 publication Critical patent/JP6019283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/02Shooting or hurling games
    • A63F9/0291Shooting or hurling games with a simulated projectile, e.g. an image on a screen
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41JTARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J2/00Reflecting targets, e.g. radar-reflector targets; Active targets transmitting electromagnetic or acoustic waves
    • F41J2/02Active targets transmitting infrared radiation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/02Shooting or hurling games
    • A63F9/0204Targets therefor
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/26Teaching or practice apparatus for gun-aiming or gun-laying
    • F41G3/2605Teaching or practice apparatus for gun-aiming or gun-laying using a view recording device cosighted with the gun
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G3/00Aiming or laying means
    • F41G3/26Teaching or practice apparatus for gun-aiming or gun-laying
    • F41G3/2616Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device
    • F41G3/2622Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating the firing of a gun or the trajectory of a projectile
    • F41G3/2661Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating the firing of a gun or the trajectory of a projectile in which the light beam is sent from the target to the weapon
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41JTARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J5/00Target indicating systems; Target-hit or score detecting systems
    • F41J5/08Infrared hit-indicating systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00Miscellaneous game characteristics
    • A63F2250/10Miscellaneous game characteristics with measuring devices
    • A63F2250/1036Miscellaneous game characteristics with measuring devices for distances

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Description

本発明は、LED(発光素子)を取り付けた標的とカメラを装着した銃を用いて行う射撃システムに係り、特に実弾を用いない射撃競技のほか、射撃訓練や射撃ゲームとしても利用することのできる射撃システム及びデータ処理装置に関する。
従来、実弾を用いずに行われる射撃競技や射撃訓練に用いられる技術として、例えば、銃からレーザ光を照射し、このレーザ光を標的側あるいは標的とは離れた位置に設置した受光装置で受光して標的に当たった位置(着弾位置)を計算する方式が提案されている。(例えば特許文献1〜3参照)
また、特徴的な形状等をした画像(特徴画像)を表示した標的を準備し、これを銃に備えたカメラによって撮影し、予め保存しているテンプレート画像とパターンマッチングすることによって特徴画像が撮影画像のどの位置にあるかを検出して、着弾位置を計算する方式も提案されている。(例えば特許文献4,5参照)
特開2002−318096号公報 特開2006−207975号公報 特開2006−207976号公報 特開2010−259589号公報 特開2012−13284号公報
しかしながら、上記特許文献1〜3に記載されている方式では、カメラを標的側に設置したり、その他の固定場所に設置しなければならないので、設置等の準備が煩雑になる。またレーザ光を用いるため、取り扱い等の安全性が問題となり、さらに装置を構築するための費用も大きくなる。
また、上記特許文献4,5に記載されている方式では、撮影画像の中心位置を求めるために、特徴的な画像を用いることを前提としているので、特徴点に乏しい通常の競技用の標的を用いることができない。また、屋外で使用するような場合は、環境光の影響を受けるため特徴画像の認識率が著しく低くなり実用的でない。さらに、この方式では、競技者の立ち位置や腕の長さ、銃のブレ等によって、銃(即ちカメラ)から標的までの距離が変わる。この距離のバラツキにより着弾位置の演算精度が低下するという問題がある。
本発明は、上述のかかる問題に鑑みてなされたものであり、取り扱いに注意を要するレーザや標的に特徴画像の表示を必要とせず、環境光の影響を排除して精度良く標的の中心を検出でき、銃と標的の距離が変動しても着弾位置を精度良く算定することのできる射撃システム及びデータ処理装置を実現することを目的とする。
上記目的を達成するため、本発明の射撃システム(1)においては、
二以上の赤外線発光手段(3)を備えた標的(2)と、
可視光波長領域の全部又は一部の透過を抑制する手段である可視光カットフィルタ(23)を通して前記標的を撮像する撮像手段(24)を銃身(11)内に備え、さらに引金(14)の動きに連動して動作するスイッチ(25)と、前記スイッチが動作すると前記撮像手段によって取得された画像データを送信する送信制御手段(26)とを備えた銃(10)と、
前記送信制御手段から送られてくる画像データを受信する受信手段(53)と、当該画像データから夫々の前記赤外線発光手段の光点位置を検出し、当該光点位置をもとに前記銃から前記標的までの距離と前記標的上の着弾位置とを演算する演算手段(51)と、当該演算の結果を表示する表示手段(52)と、を備えたデータ処理装置(50)と、
を具備することを特徴とする。
本発明では、標的に赤外線発光手段を設け、この赤外線発光手段の光を可視光カットフィルタを通して撮像することによって環境光の影響を排除する。また、可視光カットフィルタと撮像手段とを銃身内に中心軸を合わせて設けることによって射手が狙った位置を正確に捉えることが可能になる。なお、必要により、銃身内の可視光カットフィルタの前段(銃口側)に望遠レンズを装着するようにしても良い。
なお、同心円状の得点領域を有する標的の場合は、標的の中心(通常最も得点の高い領域)に赤外線発光手段を配置し、さらに該標的の中心を通る仮想直線上に、中央の赤外線発光手段を挟んで両側にそれぞれ赤外線発光手段を配置しておき、演算手段は、検知した夫々の赤外線発光手段の光点位置のうち、中央の赤外線発光手段の光点位置を標的の中心と判定し、いずれか二つの赤外線発光手段の光点間隔をもとに前記銃から前記標的までの距離を演算し、当該距離と前記判定の結果をもとに着弾位置を演算するのが好ましい。これにより、標的の中心を精度よく検知することができ、また演算手段での処理負荷を抑えて、標的までの距離や着弾位置を迅速に求めることができる。なお、各赤外線発光手段の光点は、一つの同じ露光タイミングで撮像した画像を用いて検知するのが好ましい。これにより環境光の影響を効果的に排除することができる。
また本発明に係る射撃システムの演算手段は、銃から標的までの距離の演算結果をもとに着弾位置の高さ方向の補正をすることを特徴とする。本発明では、例えば射撃訓練の際の距離の違いによって、銃のリアサイトの調整をしなおす必要がなくなりユーザの利便性が向上する。また、より実射に近い着弾位置の演算も可能になる。
好ましくは、前記銃のスイッチは、引金を引くことによって移動する銃弾、撃針、又はストライカーが該スイッチを押下することによって動作するようにすれば、実弾射撃に近い感覚で競技あるいは訓練を行うことができる。
なお、望遠レンズによって光学的に拡大して標的を撮影する場合は、演算手段に予め銃から標的までの距離と異なる二つの赤外線発光手段の光点間隔との対応関係を示す距離対応テーブルを備えておき、演算手段は、当該距離テーブルを参照して銃から前記標的までの距離を演算するようにすると、精度良くかつ迅速に距離を求めることができる。特に銃−標的間の距離が10m以下の場合は、距離対応テーブルによって演算するのが好ましい。
上記において、演算手段は、銃とは異なるデータ処理装置が備えることとして説明したが、演算手段をマイクロコンピュータで構成して銃内に組み込むようにしても良い。この場合、銃から表示手段へは、銃から標的までの距離や着弾位置等の演算結果のみを送れば良いので、伝送負荷を軽減させることができる。
本発明による銃(10)は、特に、可視光カットフィルタ(23)を通して赤外線発光手段(3)を備えた標的を撮像する撮像手段(24)を銃身(11)内に備え、さらに、引金(14)の動きに連動して動作するスイッチ(25)と、前記スイッチが動作すると前記撮像手段によって取得された画像データ中の前記赤外線発光手段の光点位置をもとに標的上の着弾位置を表示手段(52)へ表示するための送信データを生成する手段(26,51)と、を備えたことを特徴とする。好ましくは、この銃は、撮像手段によって取得した画像を白黒二値化するための閾値を保存するメモリを備え、送信データを生成する手段は、当該閾値に基づいて白黒二値化された画像を送信データとして生成するようにするのが良い。
また、本発明によるデータ処理装置(50)は、同心円状の得点領域を有し、前記同心円の中心に赤外線発光手段が配置され、さらに前記同心円の中心を通る仮想直線上、中心の赤外線発光手段を挟んで両側にそれぞれ赤外線発光手段が配置されている標的の画像であって、撮像手段によって取得された画像のデータから夫々の前記赤外線発光手段の光点位置を検出し、検出した夫々の前記赤外線発光手段の光点位置のうち、中央の赤外線発光手段の光点位置を標的の中心であると判定し、いずれか二つの赤外線発光手段の光点間隔をもとに前記撮像手段を備える銃から前記標的までの距離を演算し、当該距離と前記判定の結果をもとに着弾位置を演算することを特徴とする。

以上説明したように、本発明によれば、レーザや実弾を用いないので安全かつ安価に射撃の競技や訓練を行うことができる。また、射撃玩具や射撃ゲームとしても利用可能となる。
また、標的には赤外線発光手段を用い、銃側では赤外線のみを透過させる可視光カットフィルタを通して撮影するので、環境光の影響を排除して赤外線発光手段の位置を正しく検知することが可能となり、着弾位置を精度良く算定することができる。
本発明の実施の形態による射撃システム1の全体構成図である。 図1の標的上のLED配置の説明図である。 図1の銃の機能ブロック図である。 図3の撮像手段、送信制御手段の詳細機能ブロック図である。 図1の演算手段51で処理される画像データの説明図である。 画像データにおける探索範囲の説明図である。 図1の演算手段51に保存されている距離対応テーブルの説明図である。 画像データにおけるLED光点間の距離と、銃から標的までの距離との関係の説明図である。 図1の表示手段に表示される演算結果の画面の説明図である。 演算手段51の高さ補正用テーブルの説明図である。 本発明の実施例による環境光対策を行って取得した画像データの説明図であり、図11(a)は屋外で撮影した状態、図11(b)は屋内で撮影した状態を表した説明図である。 本発明の他の実施例による標的の外観を表した説明図である。 本発明の他の実施例による環境光対策を行って取得した画像データの説明図であり、図13(a)は屋外で撮影した状態、図13(b)は屋内で撮影した状態を表した説明図である。 図3の発射機構の構成例とスイッチ25の動作説明図である。 図3の発射機構の他の構成例とスイッチ25の動作説明図である。 演算手段51の高さ補正の演算処理の説明図である。 他の実施例による射撃システム1の全体構成図である。 他の実施例による銃の機能ブロック図である。
以下に本発明に係る射撃システムの第1の実施の形態について図面を参照しながら説明する。
図1において、射撃システム1は、概略的には複数の赤外線LED(赤外線発光手段)3を装着した標的2、撮像手段(カメラ)24を搭載した銃10(図3参照)、および撮像手段24で撮影した画像を取得して着弾位置を演算するデータ処理装置50で構成される。
以下、本実施の形態による射撃システム1の構成について詳述する。
(標的の構成)
標的2に装着される赤外線LED3の標的上の配置の一例を図2に示す。
同心円状の得点領域を有する標的の中心に赤外線LED3a、さらに標的の中心を通る直線上に2ヶの赤外線LED3b,3cを装着する。この赤外線LED3b,3cは、標的の赤外線LED3aを挟んで直線上等距離に配置するのが好ましい。
標的の赤外線LED3(3a〜3c)の位置に設けられた穴から各赤外線LEDの発光部を露出し、銃10の撮像手段24から撮像可能になっている。
なお、標的上の赤外線LED3(3a〜3c)は、データ処理装置で標的の映像を見たときに、上下左右反転した映像ではないことを確認できるようにするため、両端LEDを垂直・水平線上ではなく、敢えて斜めに配置すると良い。
(銃の構成)
次に本実施の形態による銃の構成について図3を用いて説明する。なお、銃の種類は本実施の形態に限定されず、例えばピストルであっても良いし、ライフルなどであっても良い。
銃10は、銃本体の銃身11内には、撮像手段24が装着され、その前側(銃口側)に、可視光カットフィルタ23が取り付けられ、レンズ筒22を介して望遠レンズ21が設けられている。これら各手段21〜24は銃身空洞とその中心軸に合わせておくとよい。
この可視光カットフィルタ23の仕様は、標的2側の赤外線LED3の仕様によって決めることができる。例えば、標的側の赤外線LEDとして、ピーク波長940nmのLEDを採用した場合、これに対応して、IR92という920nmより下の波長をカットする可視光カットフィルタを使用するのが好ましい。
なお、取り付け位置は、必要によりいろいろ変更することができる。例えば、可視光カットフィルタを最前部に設けるようにしても良いし、レンズ筒を省略するようにしても良い。
また、銃10は、スイッチ25の動作を検知して撮像手段24によって取得された画像データを送信する送信制御手段26を備えている。
ここで、撮像手段24は、図4に示すように、撮像素子24aと、撮像画像を所定の形式の画像データに変換する画像処理部24bから構成される。
送信制御手段26は、撮像手段24から周期的に画像データを取得し、メモリに記憶する送信処理部、送信処理部の有するメモリ内の画像データをデータ処理装置50へ送信する送信部を備えている。
以下、撮像手段24の機能の一例を説明する。
この撮像素子24aとしては、例えばCCD素子やCMOS素子を用いることができ、VGAサイズ(640×480ピクセル)など所定サイズの撮像画像を画像処理部24bに渡す。画像処理部24bは、この撮像画像から例えばモーションJPEGの形式で圧縮データを生成し、これを送信制御手段26に入力する。送信制御手段26の送信処理部32は、画像処理部24bから画像データを取り込むと逐次メモリ33に書き込む。このメモリは、例えば循環メモリを用いて一定量のデータが書き込まれると逐次上書きされるようにすると良い。
送信処理部32はスイッチ25の動作信号を入力し、スイッチ25がオンしたことを検知して、送信部34を介してWi-Fi(登録商標、以下同様)等の無線通信によってメモリに保存されている最新の画像データをデータ処理装置50へ送る。
(データ処理装置の構成)
データ処理装置50は、図1に示すように銃10の送信制御手段26から送信された画像データを受信する受信手段53、受信した画像データを用いて銃から標的までの距離や標的上の着弾位置などを演算する演算手段51、演算結果を表示する表示手段52を備えている。各手段51〜53は、LANやUSB等の通信手段を介して接続される。
このデータ処理装置50は、Wi-Fiなどの無線通信機能を搭載した一般的なパーソナルコンピュータを用いて実現することができる。
次に本実施の形態による射撃システムの動作を主に図1,図2を参照しながら説明する。本システム1のユーザである射手は、銃10で標的2を狙う。なお、図3,図4に示すように、銃10に搭載されている送信制御手段26は、撮像手段24から標的の画像データを常に周期的に取り込んでメモリ33に書き込んでいる。この状態で射手が銃10の引金(トリガ)14を引くと発射機構15により発射されたブレット(銃弾)16がスイッチ25を押圧してオンさせる。送信制御手段26の送信処理部32は、スイッチ25がオンになったことを検知すると、メモリ33に保存されている最新の画像データを送信部34を介して送信する。
ちなみに発射機構15は、従来技術によるものであり、例えば空気(エア)の力によってブレット16を発射するものがあるが他の方式を用いることもできる。
参考までに従来の発射機構によりブレット16を発射してスイッチ25を押す方式について図14を用いて簡単に説明する。
ここで、射手が引金14を引くと、シアー41とシアー42がそれぞれ矢印方向に動く。すると、シアー42のフック42aがストライカー43の窪み43aから外れ、ストライカー43がバネ44dの付勢力により矢印Vの方向へ動き、バルブ45を押す。このバルブ45はエアタンク46とエア導通管47との間を開閉する弁の役割を担っているが、バルブ45が押されることにより、この弁が開き、エアタンク46内の圧縮空気がエア導通管47に噴出し、ブレット16を押し出す。スイッチ25はこのブレット16によりボタンが押されてオンする。図14のうち、各手段41〜47は、従来の発射機構15を構成するものである。図中バネ44a〜44dの他端は銃本体に固定されている。
なお、従来の発射機構15を利用してスイッチ25を押す方法は図14には限られず、たとえば、図15に示すように、ストライカー43によって直接スイッチ25のボタンを押すようにしても良い。
データ処理装置50は、受信手段53によって送信制御手段26から送られてくる画像データを受信すると、演算手段51によって、この画像データから標的上の赤外線LEDの位置を検出し、赤外線LEDの間隔をもとに銃から標的までの距離と、標的上の着弾位置を演算して、その演算結果を表示手段52に出力する。なお、各銃10にチャンネルを割り当て、演算手段51は同じチャンネルを割り当てられたグループ(チャンネルグループ)単位で処理をするようにしても良いし、各銃独立に処理をするようにしても良い。
以下、この演算手段51の処理内容について説明する。
(LED光点の探索方法)
銃10では、望遠レンズ21で標的を拡大して撮影し、データ処理装置50の演算手段51は、撮像画像内のLED光点の探索範囲を予め定めた一定の範囲内に限定してLEDの検知処理を行う。これにより環境光の影響を排除して精度の高いLED光点の検知が可能となる。このとき重要になるのは、この検知処理の対象となる標的上の複数のLEDは、同時露光処理すなわち同じ露光タイミングで撮像されていることである。環境光の影響(例えば照明や自然光のちらつき)により、標的上のLEDは露光処理ごとに画像内での位置に微妙にずれが生じるからである。同じ露光タイミングで撮像した画像を用いて各LEDの位置を検知することにより、環境光の影響を排除して精度の高い位置検出が可能になる。
例えば、図5の画像は、望遠レンズを通して撮影した画像であるが、標的面では本来のLED以外に認識点はない。標的外の背景の明るいところ(輝度が高いところ。例えばA−C)には認識点があるが、少なくとも標的面は素材を選ぶことで環境光の反射を抑えることができるので、標的面上に意図しない認識点が生まれる可能性を排除することができる。LED光点を正しく認識するために、光点の縦横の差が一定値(例えば16ピクセル)以内の場合はLEDの光点であると判定するのが好ましい。さらに、光点半径が予め定めた閾値の範囲内にある場合はLED光点であるという条件を用いてもよい。これにより、特に白黒二値化された撮像画像からLEDを精度よく検知することができる。
具体的な処理方法としては、標的の同心円の最外枠G(通常、得点が0点の場所。図6参照)が画面中央にあるときに、距離測定用の3個のLED光点が設定範囲の中にちょうど入るようにする。円形の標的全周について、このように範囲を定めて標的2の台紙の大きさを予め確定させておく。
図6は、演算手段51で処理される画像データの一例である。この図において、一点鎖線の交点が画像の中心とした場合、標的2の台紙2aの中で、枠Fが探索範囲に対応する。これにより、得点が0点の場所が画面中央にきても、枠Fが標的の台紙の範囲内で収まることになる。なお、画像処理の結果、LED光点群を検出できなかった場合は、着弾位置は標的外、すなわち得点が0点であったと判定することができる。
(銃から標的までの距離の算定処理)
本実施の形態では、図7に示す、銃-標的間の距離(m)と両端LED3b,3cの光点間のピクセル数(LED間距離(pic))との対応関係を示す距離対応テーブルを予め演算手段51に保存しておき、画像データから抽出した両端LEDの光点間の距離から、この距離対応テーブルを参照して、銃-標的間の距離を求めるようにする。以下、計算例を示す。
標的までの距離は、3つのLED光点のうち、外側の2つが距離算出用のLED光点、中心の1つのLED光点が標的画像の中心になるので、まず外側2点の距離(ピクセル数)を算出する。その後、距離対応テーブルから距離(d)を算出する。
距離対応テーブルが例えば、1.5m = A ドット、2.0m = B ドット、2.5m = C ドットであったとして、距離dが B < d < C だった場合は、
距離= ( d - B ) / ( C - B ) * ( 2.5 - 2.0 ) + 2.0
という式で求めることができる。
比較的近距離から望遠レンズ21を介して標的を撮影した場合、単純にLED光点間の距離(ピクセル数)に係数を掛けて演算すると精度が悪くなる。これは図8に示すように、LED光点間の距離と銃(撮像手段)から標的までの距離との関係が線形ではないからである。しかしながら、上述した方法によれば、距離の遠近によらず精度良く銃から標的までの距離を算定することができる。
なお、上記は、両端の赤外線LED3b,3cの光点間距離を用いるものであるが、中央の赤外線LED3aといずれか一端の赤外線LED(3bまたは3c)の光点間距離を用いるようにしても良い。
(着弾位置の演算)
次に着弾位置の演算方法を以下に示す。
演算手段51は、まず距離関係テーブルから標準の距離(例えば10m)の外側LED2点間の距離を計算し、1ピクセルあたりの寸法を算出する。
いま、標準の距離の外側LED2点間の距離=Ddef、2点間の実距離(単位:mm)=Drealとすると、
1ピクセルあたりの距離(単位:mm) PixDis = Dreal / Ddef
となる。
実際の得点算出は、
画像の中心から中央のLED光点までの距離 = DLED
その時の外側LED2点間の距離 = Dout
中心からの距離(単位:mm) = DLED * PixDis * Dout / Ddef
として算出する。
標的画像上の着弾点を表示する際は、
中央のLEDの撮像画像内座標 : ( XLED , YLED )
撮像画像の中心座標 :( Xcen , Ycen )
標的画像の中心座標 : ( Xtrg_c , Ytrg_c ) =WtrgとHtrgを2で除したもの
標的画像の1ピクセルあたりの距離(単位:mm) : Dtrg
標的画像内の着弾座標: (Xhit , Yhit )
とすると、
Xhit = ( ( XLED - Xcen ) * PixDis * Dout / Ddef ) / Dtrg + Xtrg_c
Yhit = ( ( YLED - Ycen ) * PixDis * Dout / Ddef ) / Dtrg + Ytrg_c
として算出することができる。上記は、演算式の一例であり、他の幾何学的方法により着弾座標を求めるようにしても良い。
このように、標的画像上の着弾点がX, Y座標を算出し、その座標上に着弾位置を示すシンボル(例えば、●)を表示する。そして、X, Y寸法より三角関数で斜辺の長さを求め、得点を判定する。図9に表示手段52に出力される結果表示画面の一例を示す。この図において、表示画面にはグラフィック表示された標的上に着弾位置がシンボル表示され、最新の着弾表示は色別表示さている。赤外線LEDは表示されない。現在の情報欄では銃から標的までの距離をリアルタイムに表示する。履歴欄には点数の履歴と、合計点が表示され、最下欄の履歴消去ボタンを選択することにより履歴欄の情報がクリアされるようになっている。
(着弾位置の高さ補正)
実弾射撃の場合、銃10から標的2までの距離によって弾道が異なる。このため銃弾の落下分を考慮して着弾位置を演算するのが好ましい。さらに、本実施の形態によれば、照準器(図3,図16に示すフロントサイト12、リアサイト13)と撮像手段24の位置が高さ方向にずれている。このため、距離が異なると照準器を再調整する必要が生じる。
本実施の形態では、この再調整の不便を解消するために、距離に応じた高さ方向の補正を行う。以下この補正方法について説明する。
たとえば、図16に示すように、位置P(例えば試合会場、距離10m)での射撃の際に合わせた照準のままで、位置Q(例えば自宅、距離5m)で射撃を行うと、着弾位置は狙いよりも下になる。このため、位置Pで合わせた照準を位置Qの射撃で使用する場合の補正値Hを次の式で求める。
H=(M−L)・S/M
ここで、Mは銃(撮像手段)から位置Pまでの距離、Lは銃(撮像手段)から位置Qまでの距離、Sは照準線(フロントサイトとリアサイトを結んだ線)から撮像画像(撮像素子)の中心までの距離である。
そして、図のように、距離M>距離Lの場合は、撮像画像の中心が狙った位置よりも下になるので、上記着弾位置の演算において、中央のLEDの撮像画像内Y座標 (YLED )に補正値H(正値)を加算して以降の処理を実行する。一方、距離M<距離Lの場合は、撮像画像の中心が狙った位置よりも上になるので、上記着弾位置の演算において、中央のLEDの撮像画像内Y座標 (YLED )から補正値H(負値)を加算して以降の処理を実行する。距離M=距離Lのときは、補正値Hは「0」になる。
距離Mはユーザがデータ処理装置50の演算手段51に設定し、距離Lは、演算手段51が算定した銃と標的間の距離の値を用いることができる。長さSは使用する銃のタイプに応じてユーザが設定するようにしても良いし、予めデータ処理装置に登録しておいても良い。
なお、補正値Hは、上記の計算に替えて、図10に例示する補正用テーブルを用いて求めることもできる。この高さ補正用テーブルは、予め演算手段51に登録しておくものであり、補正用テーブルの行はユーザが演算手段51に登録した距離の設定値、列はユーザの射撃後に演算手段51が算定した銃と標的間の距離を示している。
例えば、ユーザが距離10mに照準器を合わせた銃を、他の距離(例えば5m)の距離で使用するような場合、ユーザは演算手段51に10mを設定する。
そして、ユーザの射撃後に送られてくる画像データのLED光点間隔から演算手段51が銃-標的間の距離を5mと判定した場合は、演算手段51は高さ補正用テーブルにアクセスして行10m,列5mの交点の値(5mm)を抽出し、上記の中央のLEDの撮像画像内Y座標 (YLED )に抽出した値を補正値として加算し、以降の処理を実行する。
この補正処理により、ユーザは距離の異なる環境での試合や訓練において、都度照準器を調整しなおす必要がないのでユーザの利便性が向上する。
以上、本実施の形態によれば、標的の中心に一つ赤外線LEDを設け、さらに中心を通る直線上に中心のLEDを挟んで両側に2つLEDを配置し、銃身内に設けた望遠レンズ,可視光カットフィルタ,撮像手段により標的を拡大して撮像する。さらに、データ処理装置では、探索範囲を絞ってLED光点を検出するので、環境光の影響を排除して精度の良い光点検出が可能になり、着弾位置を精度良く算定することができる。
また、ユーザの設定した距離と、演算手段の演算結果である銃-標的間の距離に基づいて高さ方向の補正をすることによりユーザの利便性が向上する。
なお、本発明は上記の実施の形態に限定されずその要旨を逸脱しない範囲で種々変形して実施することができる。以下、変形例を説明する。
(標的の変形例)
本実施の形態では標的に赤外線LEDを3つ設けることとしたが、環境光の影響が比較的少ないところでは、赤外線LEDは最低2つあれば実現可能である。この場合、例えば、標的の中心の赤外線LEDを除去し、中心から等距離に設けられた両側の赤外線LEDのみとする。そして、両LED光点の中間点を標的の中心とすれば良い。
また、両端の赤外線LED3b、3cは、黒円内に配置することにより目立たなくすることができるが、撮像画像の解像度等の条件からそれが困難な場合は、いずれかの同心円の円周上に配置するのが好ましい。
(銃の変形例)
送信制御手段26の処理能力や無線通信速度が実用上問題なければ、望遠レンズ21で光学的に拡大する代わりに、解像度の高い撮像手段24で撮像した画像の一部(標的部分およびその周辺)を拡大して処理するようにしても良い。一方、望遠レンズ21を用いる場合は、距離対応テーブルを参照して、LEDの光点間隔から銃-標的間の距離を求めるようにするのが好ましい。
本実施の形態は、引金14を引くことによって発射機構15がブレット(銃弾)16を動かしてスイッチ25を押す、あるいは発射機構15のストライカー43が直接スイッチ25を押すというものである。しかしながら、本発明の特徴の一つは従来の発射機構15を利用してスイッチ25を動作させるというものであり、上述した実施の形態に限定されず、たとえば、図15に示すストライカー43をファイアリングピン(撃針)のタイプにして、引金14を引いたときに、シアー(逆鉤)から外れてバネで前進するファイアリングピンでスイッチ25を押すようにしても良い。
上記実施形態は、銃10側で常時撮像画像をメモリ33に保存しておき、スイッチ25が動作したときにメモリ33に保存されている最新の画像を送信するものであるが、スイッチ25の動作によって撮像手段24に電力が供給され、撮像手段24のシャッターが動作することによって撮像画像を取得し、この撮像画像を送信するようにしても良い。
上記実施形態の撮像手段24では、撮像画像をモーションJPEGに変換して送信するようにしているが、モーションJPEGに替えて撮像画像の輝度値(Y値)のみを送信するようにしても良い。あるいは、白黒判定の閾値を銃10のメモリに保存しておき、白黒二値化された画像を圧縮して送信するようにしてもよい。これにより、データ伝送量を減らしてレスポンスタイムを、より向上させることができる。
上記実施形態では、銃10とデータ処理装置50との間はWi-Fiによる無線通信を用いることにしているが、Bluetooth(登録商標)など他の通信手段を用いるようにしても良い。
(システム構成の変形例)
図1は、複数の銃10から送られてくる画像データを受信手段53で受け取り、演算負荷に応じて一または二以上の演算手段51でデータ処理を行うというものである。しかしながら、図17に示すように、標的と銃のペアごとに受信手段53、演算手段51、表示手段52を有するデータ処理装置50を割り付けるようにしても良い。この場合、射撃競技会等においては各演算手段51をLAN55で接続して、競技員用のパーソナルコンピュータ(PC)55で競技結果が見られるようにしておくのが好ましい。
さらに、図18に示すように、スイッチの動作を検知して撮像手段24によって取得された画像データから夫々の赤外線LEDの光点位置を検出し、当該光点位置をもとに銃から標的までの距離と、標的上の着弾位置とを演算する演算手段51を銃10側に設けて、この演算結果を表示手段52に有線または無線で送って表示させるようにしても良い。
(実施例)
本実施例では、標的側ではピーク波長940nmの砲弾型赤外線LEDを採用し、これに対応して、銃側ではIR92という920nmより下の波長をカットする可視光カットフィルタを使用した。図11(a)は屋外で撮影した画像である。LEDの3個の光点を正しく検出しているのがわかる。標的の背景が映っているのは、太陽光に含まれる920nm以上の波長の光によるものである。この背景をカットするために、LED光点の探索範囲を標的の得点枠に限定するのが有効である。
図11(b)の画像は、図11(a)と同じ試作環境を屋内に持ち込んで撮影した画像である。屋内(室内)は太陽光による920nm以上の光線の影響が少ないために、画像は図11(a)に比べて暗い。また、撮像手段24の明るさ調整機能によって、光点が屋外(図11(a))よりも大きく映ることがわかった。しかし、3つのLED群の各光点の中心を夫々割り出すという処理を行えば、光点がくっつかない限り光点が大きくなっても問題はない。
(他の実施例)
図12は、赤外線LEDとして、ピーク波長は950nmのチップ型LEDを使用したライフル銃用の標的である。標的が小さいため、両端のLEDが同心円の外側に配置されている。
図13は、IR92の可視光カットフィルタを用いたライフル銃によって標的を撮像した画像である。図13(a)は屋外で撮影した画像、図13(b)は屋内で撮影した画像である。屋外の場合、太陽光線に含まれる近赤外線のために画面全体が明るくなり、撮像手段の明るさ調整機能によって、LEDの光点が屋内に比べて小さくなる。しかし、屋外、屋内ともデータ処理装置側で正確にLEDを検知するには十分である。
本発明は、上述した実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実現することができる。例えば、銃10とデータ処理装置50が夫々演算機能を有する場合、適宜機能分割することができることは言うまでもない。特に銃10とデータ処理装置50とを無線通信によって接続する場合、上述した演算処理を伝送負荷軽減や応答性能の最適化の観点から機能分割させるようにしても良い。
本発明は実用的な射撃システムに利用することができる。着弾位置をきわめて精度良く判定することができるので、実弾を使わずに射撃競技を行うことができる。また、実弾を使用する射撃と同じレベルの訓練が可能になる。
また、本発明は射撃ゲームに利用することができる。レーザに代えて赤外線LEDを用い、また市販のカメラ程度の解像度で精度の高い着弾位置の判定ができるので、安価かつ安全な射撃ゲームとして提供することができる。
1 射撃システム
2 標的
2a 台紙
3,(3a,3b,3c) 赤外線LED(赤外線発光手段)
10 銃
11 銃身
12 フロントサイト
13 リアサイト
14 引金
15 発射機構
16 ブレット(銃弾)
21 望遠レンズ
22 レンズ筒
23 可視光カットフィルタ
24 撮像手段
24a 撮像素子
24b 画像処理部
25 スイッチ
26 送信制御手段
32 送信処理部
33 メモリ
34 送信部
41,42 シアー
42a フック
43 ストライカー
44a〜44d バネ
45 バルブ
46 エアタンク
47 エア導通管
50 データ処理装置
51 演算手段
52 表示手段
53 受信手段

Claims (7)

  1. 複数の赤外線発光手段を備えると共に同心円状の得点領域を有する標的と、
    可視光カットフィルタを通して前記標的の画像を取得する撮像手段と、引金の動きに連動して、前記撮像手段によって取得された画像のデータを送信する送信制御手段とを備えた銃と、
    前記送信制御手段から送られてくる画像のデータを受信する受信手段と、当該画像のデータから夫々の前記赤外線発光手段の光点位置を検出し、当該光点位置をもとに前記銃から前記標的までの距離と前記標的上の着弾位置とを演算する演算手段と、当該演算の結果を表示する表示手段と、を備えたデータ処理装置と、を具備する射撃システムであって、
    前記標的の中心に赤外線発光手段が配置され、さらに前記標的の中心を通る仮想直線上、中心の赤外線発光手段を挟んで両側にそれぞれ赤外線発光手段が配置されており、
    前記演算手段は、検出した夫々の前記赤外線発光手段の光点位置のうち、中央の赤外線発光手段の光点位置を標的の中心であると判定し、いずれか二つの赤外線発光手段の光点間隔をもとに前記銃から前記標的までの距離を演算し、当該距離と前記判定の結果をもとに着弾位置を演算することを特徴とする射撃システム。
  2. 複数の赤外線発光手段を備えると共に同心円状の得点領域を有する標的と、
    可視光カットフィルタを通して前記標的の画像を取得する撮像手段と、引金の動きに連動して、前記撮像手段によって取得された画像のデータから夫々の前記赤外線発光手段の光点位置を検出し、当該光点位置をもとに銃から前記標的までの距離と前記標的上の着弾位置とを演算する演算手段と、を備えた前記銃と、を具備する射撃システムであって、
    前記標的の中心に赤外線発光手段が配置され、さらに前記標的の中心を通る仮想直線上、中心の赤外線発光手段を挟んで両側にそれぞれ赤外線発光手段が配置されており、
    前記演算手段は、検出した夫々の前記赤外線発光手段の光点位置のうち、中央の赤外線発光手段の光点位置を標的の中心であると判定し、いずれか二つの赤外線発光手段の光点間隔をもとに前記銃から前記標的までの距離を演算し、当該距離と前記判定の結果をもとに着弾位置を演算することを特徴とする射撃システム。
  3. 前記演算手段は、前記演算の結果である前記銃から前記標的までの距離をもとに着弾位置の高さ方向の補正をすることを特徴とする請求項1または2に記載の射撃システム。
  4. 銃から第一の位置までの距離をM、銃から第二の位置までの距離をL、撮像素子の中心から照準線までの距離をSとしたとき、第一の位置で合わせた照準を第二の位置の射撃で使用する場合の補正値Hを式、H=(M−L)・S/Mで求め、当該補正値Hを用いて着弾位置の高さ方向の補正を行うことを特徴とする請求項3に記載の射撃システム。
  5. 前記撮像手段は、前記引金を引くことによって銃弾、撃針、又はストライカーが移動したときに動作するスイッチにより画像を取得することを特徴とする請求項1乃至4のいずれか一項に記載の射撃システム。
  6. 前記銃は、さらに望遠レンズを備え、
    前記演算手段は、前記銃から前記標的までの距離と、異なる二つの赤外線発光手段の光点間隔との対応関係を示す距離対応テーブルを備え、当該距離テーブルを参照して前記銃から前記標的までの距離を演算することを特徴とする請求項1乃至5のいずれか一項に記載の射撃システム。
  7. 同心円状の得点領域を有し、前記同心円の中心に赤外線発光手段が配置され、さらに前記同心円の中心を通る仮想直線上、中心の赤外線発光手段を挟んで両側にそれぞれ赤外線発光手段が配置されている標的の画像であって、撮像手段によって取得された画像のデータから夫々の前記赤外線発光手段の光点位置を検出し、検出した夫々の前記赤外線発光手段の光点位置のうち、中央の赤外線発光手段の光点位置を標的の中心であると判定し、いずれか二つの赤外線発光手段の光点間隔をもとに前記撮像手段を備える銃から前記標的までの距離を演算し、当該距離と前記判定の結果をもとに着弾位置を演算することを特徴とするデータ処理装置。
JP2015050317A 2014-03-13 2015-03-13 射撃システム及びデータ処理装置 Active JP6019283B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015050317A JP6019283B2 (ja) 2014-03-13 2015-03-13 射撃システム及びデータ処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014050644 2014-03-13
JP2014050644 2014-03-13
JP2015050317A JP6019283B2 (ja) 2014-03-13 2015-03-13 射撃システム及びデータ処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016083250A Division JP2016166731A (ja) 2014-03-13 2016-04-18 射撃システム、銃、及びデータ処理装置

Publications (3)

Publication Number Publication Date
JP2015187537A JP2015187537A (ja) 2015-10-29
JP2015187537A5 JP2015187537A5 (ja) 2015-12-10
JP6019283B2 true JP6019283B2 (ja) 2016-11-02

Family

ID=54071910

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015050317A Active JP6019283B2 (ja) 2014-03-13 2015-03-13 射撃システム及びデータ処理装置
JP2016083250A Pending JP2016166731A (ja) 2014-03-13 2016-04-18 射撃システム、銃、及びデータ処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016083250A Pending JP2016166731A (ja) 2014-03-13 2016-04-18 射撃システム、銃、及びデータ処理装置

Country Status (5)

Country Link
US (1) US20170001101A1 (ja)
JP (2) JP6019283B2 (ja)
DE (1) DE112015001226T5 (ja)
TW (1) TW201600826A (ja)
WO (1) WO2015137473A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105371712A (zh) * 2015-12-11 2016-03-02 王光树 一种弹药的触发装置
CN105371709B (zh) * 2015-12-11 2018-05-08 王光树 一种红外弹
CN108211335B (zh) * 2018-01-19 2023-12-05 南京先进激光技术研究院 一种激光模拟对战系统及击中判断方法
CN111150994A (zh) * 2018-11-07 2020-05-15 千寻位置网络有限公司 仿真武器装备的射击评估方法及装置、服务终端、存储器
CN112870664B (zh) * 2021-01-07 2022-03-25 深圳清华大学研究院 可见光弹射击打靶装置
CN116625256A (zh) * 2022-09-26 2023-08-22 汉王科技股份有限公司 打靶设备的校准方法、装置,以及打靶设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3422383B2 (ja) * 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
US5929444A (en) * 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
JP2681454B2 (ja) * 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
JPH11305935A (ja) * 1998-04-24 1999-11-05 Image Tec Kk 位置検出システム
JP3868633B2 (ja) * 1998-08-24 2007-01-17 Smk株式会社 光位置検出方式
JP2002318096A (ja) * 2001-04-18 2002-10-31 Koto Denshi Kk 国際射撃競技用高性能光線銃の電子標的システム
JP2004333122A (ja) * 2002-03-05 2004-11-25 Nec Personal Products Co Ltd 標的装置
JP3910551B2 (ja) * 2003-03-25 2007-04-25 日本無線株式会社 照準位置検出システム
JP4557734B2 (ja) * 2005-01-31 2010-10-06 株式会社野村総合研究所 射撃訓練システム
JP3975215B2 (ja) * 2005-01-31 2007-09-12 株式会社野村総合研究所 射撃訓練システム
IL177080A0 (en) * 2006-03-15 2007-08-19 Israel Aerospace Ind Ltd Combat training system and method
JP5506129B2 (ja) * 2006-05-08 2014-05-28 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
JP4861855B2 (ja) * 2007-02-15 2012-01-25 株式会社バンダイナムコゲームス 指示位置演算システム、指示体及びゲームシステム
US20100178967A1 (en) * 2009-01-10 2010-07-15 Chiu-Hao Cheng Shooting game processing method
JP5554010B2 (ja) * 2009-05-01 2014-07-23 株式会社タイトー 射撃ゲーム装置
JP5588742B2 (ja) * 2010-05-25 2014-09-10 株式会社タイトー 位置指示装置
JP5637589B2 (ja) * 2010-06-30 2014-12-10 株式会社日立国際電気 射撃訓練装置
JP2012113494A (ja) * 2010-11-24 2012-06-14 Sas Kk 指示位置検出装置および指示位置検出方法
CN104067085A (zh) * 2011-11-18 2014-09-24 神火公司 动态瞄准及训练系统

Also Published As

Publication number Publication date
WO2015137473A1 (ja) 2015-09-17
US20170001101A1 (en) 2017-01-05
DE112015001226T5 (de) 2016-12-15
JP2016166731A (ja) 2016-09-15
JP2015187537A (ja) 2015-10-29
TW201600826A (zh) 2016-01-01

Similar Documents

Publication Publication Date Title
JP6019283B2 (ja) 射撃システム及びデータ処理装置
US10234240B2 (en) System and method for marksmanship training
US10274287B2 (en) System and method for marksmanship training
EP2956733B1 (en) Firearm aiming system with range finder, and method of acquiring a target
US8794967B2 (en) Firearm training system
US20160180532A1 (en) System for identifying a position of impact of a weapon shot on a target
EA031066B1 (ru) Система прицеливания огнестрельного оружия (варианты) и способ управления работой огнестрельного оружия
US9504907B2 (en) Simulated shooting system and method
EP2590058B1 (en) Game device, method of game control, and game control program
CN111179679B (zh) 射击训练方法、装置、终端设备及存储介质
US20170321987A1 (en) Simulated firearm with target accuracy detection, and related methods and systems
JP2015187537A5 (ja)
CN113008076A (zh) 影像枪、影像打靶系统、影像打靶方法及存储介质
JP5342855B2 (ja) 射撃訓練用模擬対抗装置
KR101330060B1 (ko) 레이저를 이용한 양방향 시뮬레이터 사격술 전술훈련 시스템 및 방법
US20220049931A1 (en) Device and method for shot analysis
KR20140112117A (ko) 무선 실내 사격 시뮬레이션 시스템
KR101332741B1 (ko) 아케이드 건 인터렉션 시스템
US20210372738A1 (en) Device and method for shot analysis
KR101912754B1 (ko) 사격용 표적 표시 시스템
KR102011765B1 (ko) 목표물의 조준 방법 및 장치
KR20210155931A (ko) 이동 목표물 조준 방법 및 조준 장치
JP2021032425A (ja) 射撃訓練システム
KR102548388B1 (ko) 레이저 사격 시스템
KR102151340B1 (ko) 비비탄용 사격 시스템의 탄착점 검출 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R150 Certificate of patent or registration of utility model

Ref document number: 6019283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250