JP6760610B2 - 位置計測システム、及び位置計測方法 - Google Patents
位置計測システム、及び位置計測方法 Download PDFInfo
- Publication number
- JP6760610B2 JP6760610B2 JP2018157772A JP2018157772A JP6760610B2 JP 6760610 B2 JP6760610 B2 JP 6760610B2 JP 2018157772 A JP2018157772 A JP 2018157772A JP 2018157772 A JP2018157772 A JP 2018157772A JP 6760610 B2 JP6760610 B2 JP 6760610B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- position information
- image
- detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Description
図1は、第1の実施形態による位置追跡システム1の一例を示すブロック図である。
図1に示すように、位置追跡システム1は、情報処理装置10と、レーザレーダ装置20と、撮像装置30とを備える。位置追跡システム1は、位置計測システムの一例である。
なお、説明の都合上、図1において、1台のレーザレーダ装置20及び1台の撮像装置30を記載しているが、位置追跡システム1は、複数のレーザレーダ装置20及び複数の撮像装置30を備えてもよい。
図2に示すように、対象エリアであるコートAR1における対象物(例えば、選手PL1)などの3次元位置座標を検出できるように、複数のレーザレーダ装置20及び複数の撮像装置30が配置されている。本実施形態では、3次元位置座標を、例えば、コートAR1の平面を直交するX軸及びY軸とし、高さ方向をZ軸として表すものとする。
また、情報処理装置10は、記憶部11と、制御部12とを備える。
図3は、本実施形態における対象物情報記憶部113のデータ例を示す図である。
図3に示すように、対象物情報記憶部113は、例えば、「対象物名」と、「特徴量情報」とを対応付けて記憶する。
図3に示す例では、対象物情報記憶部113には、「対象物名」が“選手A”と、当該“選手A”の特徴量情報とが対応付けられて記憶されており、「対象物名」が“ボール”と、当該“ボール”の特徴量情報とが対応付けられて記憶されている。
図4に示すように、移動軌跡記憶部114は、「識別ID」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「識別ID」は、例えば、レーザレーダ装置20によって検出された物体を識別する識別情報であり、「時刻」は、時刻情報を示す。なお、時刻情報には、日付情報が含まれていてもよい。また、「座標」は、3次元位置座標であり、例えば、図2に示すような対象エリアにおける2次元座標である。
図4に示す例では、「識別ID」が“ID1”の移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。
図5において、対象物軌跡記憶部115は、「対象物名」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「時刻」と「座標」とを対応付けた情報は、上述した移動軌跡に相当する。
図5に示す例では、「対象物名」が“選手A”に対応する移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。なお、図5に示す例では、「対象物名」は、“選手A”であり、対象人物に対応する移動軌跡を示しているが、対象物軌跡記憶部115には、例えば、ボールやバットなどの用具(対象物体)に対応する移動軌跡を記憶するようにしてもよい。
制御部12は、データ取得部121と、画像処理部122と、識別処理部123と、軌跡生成部124とを備える。
図6(a)は、レーザレーダ装置20が検出した検出情報に基づく位置座標(第1位置情報)を示している。また、図6(b)は、撮像装置30が撮像した画像情報に基づく位置座標(第2位置情報)を示している。ここでは、図6(a)に示す位置座標(第1位置情報)を黒丸で示し、図6(b)に示す位置座標(第2位置情報)を白丸で示している。また、時刻t1〜t21は、各位置座標を検出した際の時刻情報を示している。なお、この例では、説明を簡略化するために、位置座標をXY軸の2次元座標で説明する。
なお、レーザレーダ装置20と、撮像装置30とは、対象エリアにおける検出情報に基づく3次元座標と、画像情報に基づく3次元座標とが一致するように配置されている。
図7において、画像G1は、撮像装置30が撮像した画像情報を示している。ここで、コートAR2は、バレーボールのコートであり、プレーヤPL2が、ボールB1を打とうとしているものとする。このような場合、画像G1からプレーヤPL2が、ジャンプしているのか否かを判定することは困難である。
ここで、図8を参照して、識別処理部123による対象人物の識別処理について説明する。
図8において、プレーヤPL3(選手B)とプレーヤPL4(選手A)とがコートAR3を交差して走った場合に対象人物を認識する処理について説明する。
図9は、本実施形態による位置追跡システム1の動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置20は、定常的に検出情報を検出し、撮像装置30は、定常的に画像情報を撮像するものとする。
これにより、本実施形態による位置追跡システム1は、レーザレーダ装置20の検出情報に基づく第1位置情報と、撮像装置30の画像情報に基づく第2位置情報とを相互に補完することにより、例えば、複雑な背景や外部環境に影響されることなく、頑健、且つ、高精度な対象物の位置計測を行うことができる。本実施形態による位置追跡システム1は、例えば、図8に示すように、対象物が重なった場合であっても、正確に移動軌跡を生成することができる。
これにより、本実施形態による位置追跡システム1は、例えば、図7に示すように、画像情報からでは計測困難な高さ方向(Z軸方向)の正確な位置を画像情報から計測できるとともに、レーザレーダ装置20により奥行き方向(XY軸方向)の正確な位置を計測できる。そのため、本実施形態による位置追跡システム1は、より高精度に対象物の軌跡を生成することができる。
これにより、本実施形態による位置追跡システム1は、さらに高精度に対象物の位置を計測することができる。
これにより、本実施形態による位置追跡方法は、上述した位置追跡システム1と同様の効果を奏し、処理負荷を抑えつつ、対象物の位置を高精度に計測することができる。
これにより、本実施形態による位置追跡システム1は、例えば、物体の輪郭に沿って部分画像を画像情報から切り出すことで、背景等のノイズをさらに除去することができ、画像処理による対象物の認識精度をさらに向上させることができる。
これにより、本実施形態による位置追跡システム1は、例えば、選手やプレーヤなどの対象人物を適切に識別することができる。
これにより、本実施形態による位置追跡システム1は、計測対象物の位置をより高精度に追跡することができる。
これにより、本実施形態による位置追跡方法は、位置追跡システム1と同様の効果を奏し、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。
次に、図面を参照して、第2の実施形態によるプレー判定システム1aについて説明する。
本実施形態では、上述した位置追跡システム1を含み、対象人物の移動軌跡と、対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するプレー判定システム1aについて説明する。
図10に示すように、プレー判定システム1a(判定システムの一例)は、情報処理装置10aと、レーザレーダ装置20と、撮像装置30とを備える。
なお、この図において、図1と同一の構成には同一の符号を付与し、その説明を省略する。また、本実施形態において、レーザレーダ装置20及び撮像装置30は、少なくとも物体の形状及び位置情報を検出可能な検出装置の一例である。
また、情報処理装置10aは、記憶部11aと、制御部12aとを備える。
また、プレー判定には、プレーの種別の他に、プレーの成否、出来栄え、点数判定などが含まれる。
制御部12aは、データ取得部121と、画像処理部122と、識別処理部123と、軌跡生成部124と、骨格推定部125と、プレー判定部126と、プレー評価部127とを備える。
なお、本実施形態における軌跡生成部124は、対象人物の移動軌跡の他に、対象人物の周辺の物体の移動軌跡、骨格及び関節の移動軌跡、対象人物の手や足などの身体の一部の移動軌跡、等を生成するようにしてもよい。
プレー判定部126は、判定したプレーを示す情報を判定結果として、対象人物と時刻情報と対応付けて、判定結果記憶部118に記憶させる。
図11は、本実施形態によるプレー判定システム1aの動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置20は、定常的に検出情報を検出し、撮像装置30は、定常的に画像情報を撮像するものとする。
図11に示すステップS201からステップS203までの処理は、図9に示すステップS101からステップS103までの処理と同様であるため、ここではその説明を省略する。
なお、上述した例では、骨格推定部125が、対象人物の骨格及び関節を推定し、プレー判定部126が、対象人物の移動軌跡と、対象人物の骨格及び関節の位置とから、プレーを判定する例を説明したが、骨格推定部125が対象人物の骨格及び関節のいずれか一方を推定し、対象人物の移動軌跡と、対象人物の骨格及び関節の位置のいずれか一方とからプレーを判定するようにしてもよい。
これにより、本実施形態によるプレー判定システム1aは、例えば、ボールやラケットなどの用具である対象物の移動軌跡を用いることで、プレー判定の精度を向上させることができる。
また、例えば、バスケットにおいて、対象人物の周囲の人物の移動軌跡を判定器に利用して、プレー判定することにより、本実施形態によるプレー判定システム1aは、例えば、スクリーンプレーなどを精度よく判定することができる。
また、例えば、テニスにおいて、対象人物の骨格と、対象人物、ボール及びラケットの移動軌跡とを判定器に利用して、プレー判定することにより、テニスのショット種別(例えば、バックハンド、フォアハンド、スマッシュ、スライスなど)、ボール(例えば、スピード、スピン種別、回転数など)、ショットの成否、等を判定することができる。
これにより、本実施形態によるプレー判定システム1aは、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報と用いることで、高精度に対象物を識別することができ、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。よって、本実施形態によるプレー判定システム1aは、さらに高精度に対象人物のプレー判定を行うことができる。
これにより、本実施形態によるプレー判定システム1aは、さらに高精度に対象物を識別することができる。
これにより、本実施形態によるプレー判定システム1aは、正確な位置を計測できるため、例えば、ジャンプの伴うプレー判定を高精度に行うことができ、判定可能なプレーの種類をさらに広げることができる。
これにより、本実施形態によるプレー判定システム1aは、例えば、各選手の練習中の走行距離、ジャンプ回数や高さ、プレー動作を評価することができ、オーバートレーニング等の管理を一元的に行うことができる。
これにより、本実施形態による判定方法は、上述したプレー判定システム1aと同様の効果を奏し、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。
例えば、位置追跡システム1(プレー判定システム1a)が備えるレーザレーダ装置20及び撮像装置30の数は、上記の各実施形態に限定されるものではなく、他の台数を備えるようにしてもよい。
また、プレー判定部126が判定するプレーは、例えば、サッカーのゴール、テニスやバレーボールなどのラインイン又はラインアウト、柔道などの技の名前、等であってもよい。また、プレー判定部126は、プレー判定として、プレーの成否(例えば、バスケットボールのシュート成功・失敗)、出来栄え・点数(例えば、体操競技の採点)、等を判定するようにしてもよい。
例えば、コートを使用する競技においては、コートラインに再帰性反射材で作成した有色のシール等を用いることで、レーザレーダ装置20及び撮像装置30のキャリブレーション処理を同時に行うようにしてもよい。この場合、上記シール等をネットポールや、ゴールポール等、競技中に位置が固定されている用具に張り付けて利用するようにしてもよい。
例えば、情報処理装置10(10a)の軌跡生成部124は、通常時には、レーザレーダ装置20による第1位置情報を主として、画像情報に基づく第2位置情報で補完して位置計測を行う。そして、車いすバスケやウィルチェアラグビー競技に使用する際には、選手がボールを抱え込む動作が多く、レーザレーダ装置20による第1位置情報の検出が困難であることが考えられる。このような場合には、軌跡生成部124は、画像情報に基づく第2位置情報が主として、レーザレーダ装置20による第1位置情報で補完するようにしてもよい。
このように、軌跡生成部124は、競技種目や目的に応じて、第1位置情報と第2位置情報の間の補完方法を変更してもよい。
例えば、当該選手、もしくはボールのみを常に追従撮影するようにカメラを操作することができる。また、人間の目では追えない程の速さで移動するボールやシャトルなどが目立つように映像加工することができる。
例えば、プレー判定部126は、サッカーなどのセットプレー時のフォーメーションの変化を通知するようにしてもよいし、アーチェリー等のフォームのみで的に当たる成功率を予測するようにしてもよい。また、プレー判定部126は、アーチェリー、ウェイトリフティング等のフォームのみでコンディション、疲れ具合を推定するようにしてもよい。また、プレー判定部126は、バスケットのスクリーンプレー、バレーボールのブロック等、ボールを保持していない選手のプレーを判定するようにしてもよいし、陸上競技において、骨格・関節の動きからピッチとストライドとを自動計測するようにしてもよい。
プレー評価部127は、可視化アプリケーションとして、画像G2に示すように、以下に示すような各種情報を表示部(不図示)に表示させる。
プレー評価部127は、可視化アプリケーションとして、例えば、1つの映像もしくは、映像内の時間範囲を指定することで、当該部分の映像及び、位置のデータ、及び不随する評価データを表示する。また、画像G2において、映像、位置データ、及び評価データは、表示/非表示の選択が可能である。
また、図13は、第2の実施形態によるプレー判定システム1aの別の変形例を示す図である。
また、例えば、フォーメーション練習を行う際に、遅延時間を20秒と設定し、レシーブ、トス、及びアタックの一連のプレーを、プレー後にスクリーン40等のディスプレイで確認することができる。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
Claims (6)
- 対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも前記物体までの距離及び方向を含む検出情報を検出する検出装置と、
前記対象エリアを含む画像を撮像する撮像装置と、
前記検出装置が検出した前記検出情報と、前記撮像装置が撮像した画像を表す画像情報とを取得して同期させる取得部と、
前記取得部が取得した前記検出情報に基づく前記対象エリアにおける前記物体の位置情報である第1位置情報と、前記取得部が取得した前記画像情報に基づく前記対象エリアにおける前記物体の位置情報である第2位置情報とを補完して、スポーツにおける対象物の位置情報を生成する位置計測部と
を備え、
前記検出装置は、前記撮像装置による画像の撮像よりもサンプリング周波数が低く、前記第1位置情報の検出精度が前記第2位置情報の検出精度よりも高く、
前記第1位置情報と前記第2位置情報とのそれぞれが時刻情報に対応付けられており、
前記位置計測部は、検出間隔が前記第2位置情報よりも広い前記第1位置情報と、検出間隔が前記第1位置情報よりも狭い前記第2位置情報とを相互に補完して、前記対象物の位置情報を補正し、補正した前記対象物の位置情報を生成し、
さらに、前記位置計測部は、スポーツの競技種目又はスポーツにおける位置計測の目的に応じて、前記第1位置情報と前記第2位置情報との間の補完方法を変更する
ことを特徴とする位置計測システム。 - 対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも前記物体までの距離及び方向を含む検出情報を検出する検出装置と、
前記対象エリアを含む画像を撮像する撮像装置と、
前記検出装置が検出した前記検出情報と、前記撮像装置が撮像した画像を表す画像情報とを取得して同期させる取得部と、
前記取得部が取得した前記検出情報に基づく前記対象エリアにおける前記物体の位置情報である第1位置情報と、前記取得部が取得した前記画像情報に基づく前記対象エリアにおける前記物体の位置情報である第2位置情報とを補完して、スポーツにおける対象物の位置情報を生成する位置計測部と
を備え、
前記検出装置は、前記撮像装置による画像の撮像よりもサンプリング周波数が低く、前記第1位置情報と前記第2位置情報とのそれぞれが時刻情報に対応付けられており、
前記位置計測部は、前記第1位置情報と前記第2位置情報とに基づいて前記対象エリアの平面上の位置情報を補正し、前記第2位置情報に基づいて前記対象エリアの高さ方向の位置情報を補正して、前記平面上の位置情報及び前記高さ方向の位置情報を含む3次元位置情報を生成し、
さらに、前記位置計測部は、スポーツの競技種目又はスポーツにおける位置計測の目的に応じて、前記第1位置情報と前記第2位置情報との間の補完方法を変更する
ことを特徴とする位置計測システム。 - 前記位置計測部は、前記第1位置情報に基づいて前記対象エリアの平面上の位置情報を補正し、前記第2位置情報に基づいて前記対象エリアの高さ方向の位置情報を補正して、前記平面上の位置情報及び前記高さ方向の位置情報を含む3次元位置情報を生成する
ことを特徴とする請求項1に記載の位置計測システム。 - 前記検出装置と、前記撮像装置とは、前記対象エリアにおける前記第1位置情報と、前記第2位置情報とが一致するように配置されている
ことを特徴とする請求項1から請求項3のいずれか一項に記載の位置計測システム。 - 前記取得部が取得した前記検出情報に基づいて検出された前記物体の位置に対応する、前記画像情報における部分画像に基づいて、前記物体を計測対象物として識別し、識別した前記計測対象物に対して、当該計測対象物を識別する識別情報を付与する識別処理部を備え、
前記位置計測部は、前記対象物の位置情報と、前記識別処理部が付与した前記識別情報とを対応付けて、対象物が移動した前記対象物の移動軌跡を生成する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の位置計測システム。 - 対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも前記物体までの距離及び方向を含む検出情報を検出する検出装置と、前記対象エリアを含む画像を撮像する撮像装置とを備える位置計測システムの位置計測方法であって、
取得部が、前記検出装置が検出した前記検出情報と、前記撮像装置が撮像した画像を表す画像情報とを取得して同期させる取得ステップと、
位置計測部が、前記取得ステップによって取得された前記検出情報に基づく前記対象エリアにおける前記物体の位置情報である第1位置情報と、前記取得ステップによって取得された前記画像情報に基づく前記対象エリアにおける前記物体の位置情報である第2位置情報とを補完して、スポーツにおける対象物の位置情報を生成する位置計測ステップと
を含み、
前記検出装置は、前記撮像装置による画像の撮像よりもサンプリング周波数が低く、前記第1位置情報の検出精度が前記第2位置情報の検出精度よりも高く、
前記第1位置情報と前記第2位置情報とのそれぞれが時刻情報に対応付けられており、
前記位置計測ステップにおいて、前記位置計測部が、検出間隔が前記第2位置情報よりも広い前記第1位置情報と、検出間隔が前記第1位置情報よりも狭い前記第2位置情報とを相互に補完して、前記対象物の位置情報を補正し、補正した前記対象物の位置情報を生成する
さらに、前記位置計測ステップにおいて、前記位置計測部は、スポーツの競技種目又はスポーツにおける位置計測の目的に応じて、前記第1位置情報と前記第2位置情報との間の補完方法を変更する
ことを特徴とする位置計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018157772A JP6760610B2 (ja) | 2018-08-24 | 2018-08-24 | 位置計測システム、及び位置計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018157772A JP6760610B2 (ja) | 2018-08-24 | 2018-08-24 | 位置計測システム、及び位置計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020030189A JP2020030189A (ja) | 2020-02-27 |
JP6760610B2 true JP6760610B2 (ja) | 2020-09-23 |
Family
ID=69622374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018157772A Active JP6760610B2 (ja) | 2018-08-24 | 2018-08-24 | 位置計測システム、及び位置計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6760610B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188183A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4032843B2 (ja) * | 2002-06-25 | 2008-01-16 | 富士重工業株式会社 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
JP5145986B2 (ja) * | 2008-02-05 | 2013-02-20 | 日産自動車株式会社 | 物体検出装置及び測距方法 |
JP2013207415A (ja) * | 2012-03-27 | 2013-10-07 | Osaka City Univ | 撮像システム及び撮像方法 |
US9277204B2 (en) * | 2013-01-23 | 2016-03-01 | Advanced Scientific Concepts, Inc. | Modular LADAR sensor |
JP2018119942A (ja) * | 2017-01-20 | 2018-08-02 | キヤノン株式会社 | 撮像装置及びその監視方法並びにプログラム |
-
2018
- 2018-08-24 JP JP2018157772A patent/JP6760610B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020030189A (ja) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6704606B2 (ja) | 判定システム、及び判定方法 | |
JP6596804B1 (ja) | 位置追跡システム、及び位置追跡方法 | |
US11049258B2 (en) | Stereoscopic image capture with performance outcome prediction in sporting environments | |
US10886017B2 (en) | Analysis system and analysis method | |
US20100030350A1 (en) | System and Method for Analyzing Data From Athletic Events | |
CN105745695B (zh) | 用于对锻炼运动的进展自动进行评估的方法、分析器和系统 | |
US8774467B2 (en) | Predictive flight path and non-destructive marking system and method | |
JP6677319B2 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
WO2020010040A1 (en) | Systems and methods for determining reduced player performance in sporting events | |
JP6760610B2 (ja) | 位置計測システム、及び位置計測方法 | |
US20200054930A1 (en) | Method, system and computer program for automatic refereeing | |
Liu et al. | Application of Hawk-Eye Technology to Sports Events | |
Grontman et al. | Analysis of sword fencing training evaluation possibilities using Motion Capture techniques | |
RU2599699C1 (ru) | Способ регистрации и анализа соревновательных игровых действий спортсменов | |
JPWO2018122957A1 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
Chakraborty et al. | Deep Learning-Based Prediction of Football Players’ Performance During Penalty Shootout | |
Krzeszowski et al. | Monocular tracking of human motion in evaluation of hurdle clearance | |
Monier et al. | A computer vision based tracking system for indoor team sports | |
JP7054950B1 (ja) | 位置計測システム、及び位置計測方法 | |
EP4325448A1 (en) | Data processing apparatus and method | |
EP4325443A1 (en) | Data processing apparatus and method | |
Buote et al. | Quantifying motion and ‘T’dominance of elite squash players | |
US20220343649A1 (en) | Machine learning for basketball rule violations and other actions | |
EP3592440A1 (en) | Line fault detection systems and method for determining whether a sport gaming device has bounced off an area of a sports field | |
Gade et al. | The (Computer) Vision of Sports: Recent Trends in Research and Commercial Systems for Sport Analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6760610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |