JP6606779B6 - 情報提供装置、情報提供方法、およびプログラム - Google Patents
情報提供装置、情報提供方法、およびプログラム Download PDFInfo
- Publication number
- JP6606779B6 JP6606779B6 JP2018136146A JP2018136146A JP6606779B6 JP 6606779 B6 JP6606779 B6 JP 6606779B6 JP 2018136146 A JP2018136146 A JP 2018136146A JP 2018136146 A JP2018136146 A JP 2018136146A JP 6606779 B6 JP6606779 B6 JP 6606779B6
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- captured
- meaning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 137
- 239000000284 extract Substances 0.000 claims abstract description 7
- 239000000446 fuel Substances 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 34
- 230000010365 information processing Effects 0.000 description 98
- 238000004891 communication Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 26
- 239000003502 gasoline Substances 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 239000002828 fuel tank Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、前記取得部により取得された画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、前記意味領域内の特定の意味を認識する認識部と、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された特定の意味を利用者に提供する提供部とを備える情報提供装置である。
【選択図】図1
Description
実施形態の情報処理装置は、一以上のプロセッサにより実現される。情報処理装置(サーバ)は、他装置と通信する通信部、風景を撮像する基準を示した基準情報に基づいて風景を撮像する撮像部に画像を撮像させる撮像制御部、および位置を取得する位置取得部を含む端末装置から、位置情報が対応付けられた前記風景が撮像された画像を取得し、取得した画像から、前記撮像された風景の表す意味を認識し、前記基準情報を前記端末装置に送信し、前記端末装置に前記画像を送信させる。
実施形態の情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、他装置と通信する通信部、風景を撮像する撮像部に画像を撮像させる撮像制御部、位置を取得する位置取得部、および撮像された画像とモデル情報とに基づいて送信する画像を決定する決定部を含む端末装置から、位置情報が対応付けられた前記風景が撮像された画像を取得し、取得した画像から、前記撮像された風景の表す意味を認識する認識し、前記モデル情報を前記端末装置に送信し、前記端末装置に前記画像を送信させる。
実施形態の情報処理装置(「情報提供装置」の一例)は、一以上のプロセッサにより実現される。情報処理装置は、位置特定部と撮像部を有する他装置から、位置特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得し、取得した画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、前記意味領域内の特定の意味を認識し、前記意味領域を含む画像が撮像された位置に対応付けて、認識された特定の意味を利用者に提供する。
[構成]
図1は、情報処理システム1の機能構成の一例を示す図である。情報処理システム1は、例えば、車両10と、情報処理装置100と、ニュースサーバ200と、端末装置300とを備える。これらの装置は、ネットワークNWを介して互いに通信する。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダなどを含む。なお、情報処理装置100に含まれる構成または機能の一部または全部は、車両10に含まれてもよい。また、車両10に含まれる機能または構成の一部または全部は、情報処理装置100に含まれてもよい。
車両10には、撮像装置20が搭載されている。撮像装置20は、例えば、通信部22と、撮像部24と、位置特定部26と、撮像制御部28と、送信制御部30と、記憶部40とを備える。撮像制御部28、および送信制御部30は、CPU(Central Processing Unit)等のハードウェアプロセッサが記憶部40に記憶された撮像アプリ46を実行することにより実現される。撮像制御部28および送信制御部30は、情報処理装置100と協働して、撮像部24に画像を撮像させたり、撮像された画像を情報処理装置100に送信したりする。記憶部40は、例えば、ROM(Read Only Memory)、フラッシュメモリ、SDカード、RAM(Random Access Memory)等によって実現される。記憶部40には、対応情報42、基準情報44、および撮像アプリ46が記憶されている。対応情報42および基準情報44の内容の詳細については後述する。
情報処理装置100は、例えば、通信部102と、第1処理部104と、第2処理部106と、第3処理部108と、追跡処理部110と、情報管理部112と、更新部114と、提供部116と、記憶部120とを備える。第1処理部104、第2処理部106、第3処理部108、追跡処理部110、情報管理部112、更新部114、および提供部116は、CPU等のハードウェアプロセッサが、記憶装置に記憶されたプログラムを実行することにより実現される。また、これらの機能部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予め記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体が情報処理装置100のドライブ装置に装着されることで記憶装置にインストールされてもよい。
図2は、撮像装置20と情報処理装置100とにより実行される処理の流れをシーケンス図である。本処理は、動画を撮像する場所・時間を、情報処理装置100が補正や指示し、撮像装置20が撮像部24に風景を撮像させる指示を行う。
図3は、基準情報44の内容の一例を示す図である。基準情報44は、風景を撮像する撮像領域と、撮像対象の時間帯とが対応付けられた情報である。基準情報44は、例えば、前回の画像からの情報抽出をもとに、撮像装置20などの移動体で撮像される場所や時間が規定された情報である。例えば、これまでに、その位置が撮像された画像が十分に集まっていない場合は、その位置が撮像されるように基準情報44が生成されている。図3に示す基準情報44には、撮像領域AR1〜AR3が含まれ、撮像領域AR1〜AR3には日時が対応付けられている。例えば、撮像領域AR1〜3は、所定の位置を中心として、所定の半径で形成された円で示される領域である。例えば、撮像装置20は、撮像領域AR1〜AR3に進入した場合に撮像部24に撮像を開始させる。なお、基準情報44は、撮像領域のみが対応付けられていてもよい。
図4は、対応情報42の内容の一例を示す図である。対応情報42は、例えば、基準情報44に基づいて、撮像された動画(画像)と、その動画が撮像された日時とが互いに対応付けられた情報である。例えば、対応情報42において動画の撮像時刻ごとに位置情報が対応付けられている。
図5は、更新された基準情報44の一例を示す図である。例えば、情報処理装置100が、ニュースサーバ200からニュースに関する情報を取得した場合、取得したニュースに関する情報に基づいて、基準情報124を更新する。情報処理装置100は、ニュースに関する情報の位置を含む撮像領域AR4を撮像領域AR1〜AR3に加え、基準情報124を更新する。例えば、撮像領域AR4は、事件が起こった位置を中心として、所定の半径で形成された円で示される領域である。なお、更新は、基準情報44を前回送信したときから所定の期間が経過した場合に行われてもよい。
図6は、撮像装置20に実行される処理の流れの一例を示すフローチャートである。まず、撮像制御部28が、基準情報44と、位置特定部26により特定された位置とに基づいて、現在の位置が撮像する撮像領域内であるか否か判定する(S100)。撮像領域でない場合は、本フローチャートの1ルーチンの処理が終了する。
図7は、情報処理装置100により実行される特定処理の流れ一例を示すフローチャートである。まず、情報処理装置100の第1処理部104が、対応情報122に未処理の動画が存在するか否かを判定する(S200)。未処理の動画が存在しない場合、本フローチャートの1ルーチンの処理が終了する。
以下、第2実施形態について説明する。第1実施形態では、撮像装置20が、基準情報44に基づいて、撮像装置20の位置が撮像領域内に存在する場合に画像を撮像するものとして説明した。これに対して、第2実施形態では、撮像装置20は、基準情報44に代えて(または加えて)判定モデル45を情報処理装置100から取得する。そして、撮像装置20は、判定モデル45に基づいて、撮像した画像が送信対象であると判定した場合に、その画像を情報処理装置100に送信する。以下、第2実施形態について説明する。
図13は、撮像装置20Aに実行される処理の流れの一例を示すフローチャートである。まず、撮像制御部28が、撮像部24に動画を撮像させる(S300)。次に、撮像制御部28は、撮像部24に撮像させた画像と、位置情報とを対応付けた対応情報42を記憶部40に記憶させる(S302)。次に、決定部29が、撮像した画像(動画を分割した画像)を判定モデル45に入力し(S304)、判定モデル45により出力された結果に基づいて、判定モデル45に入力した画像が送信対象の画像であるか否かを判定する(S306)。判定モデル45に入力した画像が送信対象の画像でない場合、本フローチャートの1ルーチンの処理が終了する。判定モデル45に入力した画像が送信対象の画像である場合、送信制御部30が、判定モデル45に入力された画像を情報処理装置100に送信する(S308)。これにより本フローチャートの1ルーチンの処理が終了する。
以下、第3実施形態について説明する。第3実施形態では、情報処理装置100は、基準情報44に代えて、所定の条件を撮像装置20Aに送信する。撮像装置20Aは、画像が撮像されたタイミングが所定の条件を満たす場合、そのタイミングで撮像された画像を情報処理装置100に送信する。所定の条件とは、車両に関する情報に対して設定される条件である。以下、第1実施形態との相違点を中心に第3実施形態について説明する。
以下、第4実施形態について説明する。第4実施形態は、第1実施形態の処理を前提に説明する。第4実施形態では、情報処理装置100は、複数の特定モデル126を備える。そして、情報処理装置100は、複数の特定モデル126のうちから、画像が撮像された位置に基づいて特定モデル126を選択し、選択した特定モデル126に画像を入力して、画像を解析する。以下、第1実施形態との相違点を中心について説明する。
以下、第5実施形態について説明する。第5実施形態は、第2実施形態の処理を前提に説明する。第5実施形態では、第1処理部104が、複数の特定モデル126のうちから、撮像装置20から送信された画像の種別に基づいて特定モデル126を選択し、選択した特定モデル126に画像を入力して、画像を解析する。以下、第1実施形態との相違点を中心について説明する。
以下、第6実施形態について説明する。第6実施形態の情報処理システム1Aは、学習装置400を更に備える点で、各実施形態と異なる。以下、第1実施形態との相違点を中心について説明する。
Claims (14)
- 位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、
前記取得部により取得された画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、複数の特定モデルの中から、前記取得部が取得した画像が撮像された位置ごとに適用される特定モデルを用いて、前記意味領域内の特定の意味を認識する認識部と、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された特定の意味を利用者に提供する提供部と、
を備える情報提供装置。 - 前記特定モデルは、前記位置において撮像された学習用画像と前記学習用画像内の前記意味領域内の特定の意味とが互いに対応付けられた学習用データが機械学習されて生成されたものである、
請求項1に記載の情報提供装置。 - 前記地物は、ガソリンスタンドまたはパーキングのうち一方または双方である、
請求項1または2に記載の情報提供装置。 - 前記認識部は、前記取得部により取得された画像から前記画像内で車両用の燃料価格を表している意味領域を抽出し、前記意味領域内において燃料価格を認識し、
前記提供部は、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識された燃料価格を利用者に提供する、
請求項1または2に記載の情報提供装置。 - 前記取得部は、指定された経路を取得し、
前記提供部は、前記取得部により取得された経路に基づいて、前記認識部が認識した前記燃料価格を利用者に提供する、
請求項4に記載の情報提供装置。
- 前記認識部は、前記取得部により取得された画像から前記画像内でパーキングの空き状況を表している意味領域を抽出し、前記意味領域内において空き状況を認識し、
前記提供部は、前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識されたパーキングの空き状況を利用者に提供する、
請求項1または2に記載の情報提供装置。 - 前記取得部は、指定された経路を取得し、
前記提供部は、前記取得部により取得された経路に基づいて、前記認識部が認識した前記空き状況を利用者に提供する、
請求項6に記載の情報提供装置。 - 位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得する取得部と、
前記取得部により取得された画像から前記画像内でパーキングの空き状況を表している意味領域を抽出し、前記意味領域内において空き状況を認識する認識部と、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識部により認識されたパーキングの空き状況を利用者に提供する提供部と、
を備える情報提供装置。 - 前記取得部は、指定された経路を取得し、
前記提供部は、前記取得部により取得された経路に基づいて、前記認識部が認識した前記空き状況を利用者に提供する、
請求項8に記載の情報提供装置。 - 前記意味領域を含む画像が撮像された位置と、前記認識部により認識された特定の意味とを互いに対応付けた認識情報を管理する情報管理部を、更に備え、
前記提供部は、前記情報管理部により管理されている認識情報を利用者に提供する、
請求項1から9のうちいずれか1項に記載の情報提供装置。 - コンピュータが、
位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得し、
前記取得した画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出し、
複数の特定モデルの中から、前記取得した画像が撮像された位置ごとに適用される特定モデルを用いて、前記意味領域内の特定の意味を認識し、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供する、
情報提供方法。 - コンピュータに、
位置を特定する特定部により特定された位置情報が対応付けられ、撮像部により風景が撮像された画像を取得させ、
前記取得させた画像から、前記風景に含まれる地物に関連する特定の意味を表している意味領域を抽出させ、
複数の特定モデルの中から、前記取得させた画像が撮像された位置ごとに適用される特定モデルを用いて、前記意味領域内の特定の意味を認識させ、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識された特定の意味を利用者に提供させる、
プログラム。 - コンピュータが、
位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得し、
前記取得させた画像から前記画像内でパーキングの空き状況を表している意味領域を抽出し、
前記意味領域内において空き状況を認識し、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識されたパーキングの空き状況を利用者に提供する、
情報提供方法。 - コンピュータに、
位置特定部と撮像部を有する他装置から、前記位置特定部により特定された位置情報が対応付けられ、前記撮像部により風景が撮像された画像を取得させ、
前記取得させた画像から前記画像内でパーキングの空き状況を表している意味領域を抽出させ、
前記意味領域内において空き状況を認識させ、
前記意味領域を含む画像が撮像された位置に対応付けて、前記認識されたパーキングの空き状況を利用者に提供させる、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136146A JP6606779B6 (ja) | 2018-07-19 | 2018-07-19 | 情報提供装置、情報提供方法、およびプログラム |
JP2019109809A JP7365145B2 (ja) | 2018-07-19 | 2019-06-12 | 情報提供装置、情報提供方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136146A JP6606779B6 (ja) | 2018-07-19 | 2018-07-19 | 情報提供装置、情報提供方法、およびプログラム |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019109809A Division JP7365145B2 (ja) | 2018-07-19 | 2019-06-12 | 情報提供装置、情報提供方法、およびプログラム |
JP2019109811A Division JP7258667B2 (ja) | 2019-06-12 | 2019-06-12 | 情報提供装置、情報提供システム、および情報提供方法 |
JP2019109810A Division JP7258666B2 (ja) | 2019-06-12 | 2019-06-12 | 情報提供装置、情報提供システム、情報提供方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP6606779B1 JP6606779B1 (ja) | 2019-11-20 |
JP2020013411A JP2020013411A (ja) | 2020-01-23 |
JP6606779B6 true JP6606779B6 (ja) | 2020-03-18 |
Family
ID=68613338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018136146A Active JP6606779B6 (ja) | 2018-07-19 | 2018-07-19 | 情報提供装置、情報提供方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6606779B6 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6803036B1 (ja) * | 2020-08-26 | 2020-12-23 | 株式会社エクサウィザーズ | 情報処理方法、情報処理装置、情報処理システム、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007078632A (ja) * | 2005-09-16 | 2007-03-29 | Denso Corp | 車載用ナビゲーション装置 |
JP4946238B2 (ja) * | 2006-07-25 | 2012-06-06 | 株式会社デンソー | 車両周辺撮影送信装置および車両周辺撮影送信プログラム |
JP4994028B2 (ja) * | 2006-12-29 | 2012-08-08 | クラリオン株式会社 | ガソリン価格情報収集システム、ガソリン価格情報収集方法およびナビゲーション装置 |
JP2009294757A (ja) * | 2008-06-03 | 2009-12-17 | Fujitsu Ltd | 価格収集装置、価格収集提示装置及び価格収集プログラム |
JP2010202018A (ja) * | 2009-03-03 | 2010-09-16 | Alpine Electronics Inc | 運転支援装置、駐車向き提示方法、駐車向き提示プログラム |
JP2014021516A (ja) * | 2012-07-12 | 2014-02-03 | Mitsubishi Motors Corp | 価格情報提供システム、価格情報送信装置および価格情報受信装置 |
JP2016045678A (ja) * | 2014-08-22 | 2016-04-04 | パイオニア株式会社 | 価格表示システム、価格判定装置、表示装置、価格判定方法、および、価格判定プログラム |
JP2018010320A (ja) * | 2017-10-05 | 2018-01-18 | パイオニア株式会社 | サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム |
-
2018
- 2018-07-19 JP JP2018136146A patent/JP6606779B6/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6606779B1 (ja) | 2019-11-20 |
JP2020013411A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540554B2 (en) | Real-time detection of traffic situation | |
US10586118B2 (en) | Localizing traffic situation using multi-vehicle collaboration | |
JP6418266B2 (ja) | 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置 | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
KR101823464B1 (ko) | 지역 사진 및 거리뷰의 간판 이미지를 활용한 지역 정보 검출 및 보정 방법 및 시스템 | |
CN111174782B (zh) | 位姿估计方法、装置、电子设备及计算机可读存储介质 | |
US11138876B2 (en) | Information system, information processing method, and non-transitory storage medium | |
CN106796755A (zh) | 在抬头显示器上增强路面对象的安全系统 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
CN111221012A (zh) | 用于基于周围环境改进的位置决策的方法和设备 | |
US20100329504A1 (en) | Detecting Geographic Features in Images Based on Invariant Components | |
CN113221756A (zh) | 交通标志检测方法及相关设备 | |
US20220303738A1 (en) | On-board machine vision device for activating vehicular messages from traffic signs | |
US11270136B2 (en) | Driving support device, vehicle, information providing device, driving support system, and driving support method | |
CN116959265A (zh) | 交通信息提示方法、装置、电子设备和可读存储介质 | |
JP6606779B6 (ja) | 情報提供装置、情報提供方法、およびプログラム | |
JP7160763B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラム、およびアプリケーションプログラム | |
JP6686076B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム | |
JP7365145B2 (ja) | 情報提供装置、情報提供方法、およびプログラム | |
JP7258666B2 (ja) | 情報提供装置、情報提供システム、情報提供方法、およびプログラム | |
JP7258667B2 (ja) | 情報提供装置、情報提供システム、および情報提供方法 | |
Marques et al. | An evaluation of machine learning methods for speed-bump detection on a GoPro dataset | |
KR20160117985A (ko) | 녹화 영상 중개 서비스 방법 및 시스템 | |
JP2021124633A (ja) | 地図生成システム及び地図生成プログラム | |
KR101762514B1 (ko) | 지도 기반 촬상 위치 정보 제공 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190109 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190109 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6606779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |