JP6834648B2 - 画像投稿サービスシステム - Google Patents

画像投稿サービスシステム Download PDF

Info

Publication number
JP6834648B2
JP6834648B2 JP2017056259A JP2017056259A JP6834648B2 JP 6834648 B2 JP6834648 B2 JP 6834648B2 JP 2017056259 A JP2017056259 A JP 2017056259A JP 2017056259 A JP2017056259 A JP 2017056259A JP 6834648 B2 JP6834648 B2 JP 6834648B2
Authority
JP
Japan
Prior art keywords
image
posted
unit
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017056259A
Other languages
English (en)
Other versions
JP2018160760A (ja
Inventor
和樹 稲垣
和樹 稲垣
淳 内村
淳 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017056259A priority Critical patent/JP6834648B2/ja
Publication of JP2018160760A publication Critical patent/JP2018160760A/ja
Application granted granted Critical
Publication of JP6834648B2 publication Critical patent/JP6834648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像投稿サービスシステムに関する。
風景画像等の撮影に関して幾つかの技術が提案されている。
例えば、特許文献1に記載の撮像システムでは、情報センターに撮像お勧めポイントの位置情報を登録しておき、車両がその位置情報をインターネットを介してダウンロードする。車両は、現在位置がお勧めポイントの位置と一致した場合に撮像を行う。
また、特許文献2に記載の情報記録装置は、車両の乗員の視線を検出して、車両の乗員が視認している視認対象物を特定する。そして、情報記録装置は、視認対象物の画像をカメラで撮影し、画像データを記憶する。
特開2003−198904号公報 特開2004−064409号公報
車両など移動体に乗って移動する場合、徒歩等と比べて移動速度が速く、撮影スポットで撮影タイミングを逃す可能性がある。撮影を失敗しないために、なるべく良い条件で撮影できることが好ましい。
本発明は、上述の課題を解決することのできる画像投稿サービスシステムを提供することを目的としている。
本発明の第1の態様によれば、画像投稿サービスシステムは、移動体積載装置と、情報配信装置とを備え、前記移動体積載装置は、移動体の走行経路を記録する走行経路記録部と、前記移動体に設けられた撮影装置が撮影した画像から生成された投稿画像と前記走行経路とを前記情報配信装置へ送信する送信部と、を備え、前記情報配信装置は、前記投稿画像と前記走行経路とを含む投稿情報を配信する投稿情報配信部を備える。
この発明によれば、移動体で撮影スポットを通過する際に、撮影を行う条件をより良くすることができる。
本発明の一実施形態に係る画像投稿サービスシステムの機能構成を示す概略ブロック図である。 車載装置100の機能構成を示す概略構成図である。 情報配信装置200の機能構成を示す概略構成図である。 車載装置100が情報配信装置200への投稿を行う処理手順の例を示す図である。 本発明に係る画像投稿サービスシステムの最小構成の例を示す図である。 本発明に係る移動体積載装置の最小構成の例を示す図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像投稿サービスシステムの機能構成を示す概略ブロック図である。図1に示すように、画像投稿サービスシステム1は、車載装置100と、情報配信装置200と、端末装置300とを備える。車載装置100は車両900に搭載されている。
車両900は、移動体の例に該当する。但し、画像投稿サービスシステム1の適用範囲は車両に限らず、周囲画像を撮影可能ないろいろな移動体とすることができる。たとえば、画像投稿サービスシステム1が船舶に適用されていてもよい。
画像投稿サービスシステム1は、撮影スポットの投稿情報を配信し、車両900を撮影スポットへ案内する。ここでいう配信は、複数の車載装置100に対して送信を行うことである。情報配信装置200に端末装置300が通信接続されている場合、画像投稿サービスシステム1は、端末装置300へも投稿情報を配信する。
車載装置100は、情報配信装置200から得られる投稿情報に基づいて車両900を撮影スポットへ誘導し、撮影を行う。情報配信装置200と通信接続する車載装置100の数は、1台以上の任意の台数でよい。車載装置100は、移動体積載装置の例に該当する。
情報配信装置200は、画像と画像を撮影した際の走行経路とを含む投稿を受信し、投稿情報として配信する。
端末装置300は、例えばパソコン(Personal Computer;PC)スマートフォン(Smartphone)など投稿情報を閲覧可能な端末装置である。但し、端末装置300は、画像投稿サービスシステム1に必須ではない。従って情報配信装置200と通信接続する端末装置300の数は0台以上の任意の台数でよい。
図2は、車載装置100の機能構成を示す概略構成図である。図2に示すように、車載装置100は、第一通信部110と、撮影装置120と、位置情報取得部130と、表示部140と、操作入力部150と、音声出力部160と、第一記憶部180と、第一制御部190とを備える。第一記憶部180は、走行経路記憶部181を備える。第一制御部190は、走行経路記録部191と、投稿画像生成部192と、画像合成部193と、経路誘導部194とを備える。
第一通信部110は、他の装置と通信を行う。特に、第一通信部110は送信部の例に該当し、撮影装置120が撮影した画像により生成した投稿画像と前記走行経路とを前記情報配信装置へ送信する。
撮影装置120は、車両900の周囲を撮影する。例えば、撮影装置120は、車両900の前方、右方、後方、左方にそれぞれ1つずつ設けられ、車両900の全周を撮影する。
例えば、撮影装置120が撮影した画像が運転席のコンソールに表示され、運転のための補助情報として用いられる。或いは、撮影装置120が撮影した画像が車両900の自動運転のための情報として用いられていてもよい。
また、撮影装置120が撮影した画像は、情報配信装置200へ投稿される投稿画像に加工される。例えば、情報配信装置200が配信する投稿情報に撮影スポット情報が含まれており、車両900が撮影スポットを通過する際に撮影装置120が自動的に撮影を行う。或いは、車両900のハンドル(ステアリング、Steering)にシャッターボタンが設けられているなど、撮影装置120がシャッターボタン押下操作に従って撮影を行うようにしてもよい。
位置情報取得部130は、位置情報取得部130自らの位置を示す位置情報を取得する。例えば、位置情報取得部130は、GNSS(Global Navigation Satellite System)を備えて測位を行う。但し、位置情報取得部130が位置情報取得部130自らの位置情報を取得する方法は、特定の方法に限定されない。位置情報取得部130が取得する位置情報は、車両900の位置を示す位置情報として用いられる。
表示部140は、例えば液晶パネル又はLED(Light Emitting Diode、発光ダイオード)パネル等の表示画面を備え、各種画像を表示する。例えば、表示部140は、カーナビゲーションシステムの表示装置として用いられ、地図及び経路情報とを表示する。表示部140が、撮影装置120が撮影した車両900の周囲の画像を表示するようにしてもよい。
操作入力部150は、例えば表示部140の表示画面に設けられてタッチパネルを構成するタッチセンサなどの入力デバイスを備え、ユーザ操作を受ける。
音声出力部160は、電気信号を音声に変換して出力する。例えば、音声出力部160は、カーナビゲーションシステムにおける音声案内の出力に用いられる。
第一記憶部180は、各種情報を記憶する。第一記憶部180は、車載装置100が備える記憶デバイスを用いて構成される。
走行経路記憶部181は、走行経路記録部191の制御に従って車両900の走行経路を記憶する。
第一制御部190は、車載装置100の各部を制御して各種処理を実行する。第一制御部190は、車載装置100が備えるCPU(Central Processing Unit、中央処理装置)が第一記憶部180からプログラムを読み出して実行することで構成される。
走行経路記録部191は、車両900の走行経路を記録する。具体的には、走行経路記録部191は、位置情報取得部130が取得する車両900の位置情報の履歴を走行経路記憶部181に記憶させる。走行経路記録部191は、カーナビゲーションシステムの1機能として構成されていてもよいし、画像投稿サービスシステム1が提供する画像投稿サービス専用の機能として構成されていてもよい。
投稿画像生成部192は、撮影装置120が撮影した画像から投稿画像を生成する。特に、投稿画像生成部192は、撮影装置120が撮影した広角画像の一部を含む投稿画像を生成する。ここでいう投稿画像は、例えば撮影スポットで撮影された風景画像など、撮影スポット情報の投稿に含まれる画像である。
撮影装置120は車両900の全周を撮影するために広角レンズを備えており、撮影装置120が撮影した画像そのままでは、広角レンズによる歪みが生じている。そこで、投稿画像生成部192が、撮影装置120が撮影した画像の一部を切り出して歪を修正することで、投稿用の画像を得ることができる。
画像合成部193は、投稿情報に含まれる走行経路上に示される複数の撮影地点の各々で撮影装置120が撮影した画像を合成する。
走行する車両900から撮影を行った際、例えば樹木に視界を遮られるなど、障害物が画像に写る場合がある。そこで、画像合成部193が、同一の撮影対象を複数の地点から撮影した画像を合成する。これにより、画像合成部193は、障害物が写っていない写真を生成する。
経路誘導部194は、カーナビゲーションシステムとして機能し、車両900の走行経路を誘導する。特に経路誘導部194は、情報配信装置200が配信した投稿情報に含まれる走行経路に基づいて車両900の走行経路を誘導する。経路誘導部194を含む車載装置100は、経路誘導装置の例に該当する。
図3は、情報配信装置200の機能構成を示す概略構成図である。図に示すように、情報配信装置200は、第二通信部210と、第二記憶部280と、第二制御部290とを備える。第二制御部290は、投稿情報配信部291を備える。
第二通信部210は、他の装置と通信を行う。特に、第二通信部210は、車両900及び端末装置300からの投稿を受信する。また、第二通信部210は、投稿情報配信部291の制御に従って、車両900及び端末装置300へ投稿情報を配信する。投稿情報には車載装置100が撮影した画像と、撮影を行った際の車両900の走行経路とが含まれる。
第二記憶部280は、各種情報を記憶する。第二記憶部280は、情報配信装置200が備える記憶デバイスを用いて構成される。
第二制御部290は、情報配信装置200の各部を制御して各種処理を行う。第二制御部290は、情報配信装置200が備えるCPUが第二記憶部280からプログラムを読み出して実行することで構成される。
投稿情報配信部291は、第二通信部210を介して投稿情報を配信する。
次に、図4を参照して車載装置100の動作について説明する。
図4は、車載装置100が情報配信装置200への投稿を行う処理手順の例を示す図である。
図4の処理では、撮影装置120が撮影を行うタイミングが2通り示されている。撮影装置120は、ユーザ操作に基づいて撮影を行う(ステップS111)。例えば、撮影装置120は、車両900の運転手がステアリングに設けられたシャッターボタンを押下すると撮影を行う。また、撮影装置120は、情報配信装置200からの投稿情報に示される撮影スポットで撮影を行う(ステップS112)。具体的には、情報配信装置200が配信する投稿情報の走行経路情報に撮影スポットの位置情報が含まれている。そして、第一制御部190は、位置情報取得部130が取得する車両900の位置情報と撮影スポットの位置情報とを比較し、車両900が撮影スポットに位置すると判定した場合に撮影装置120に撮影を行わせる。
撮影装置120が画像を撮影すると、投稿画像生成部192が画像の一部を切り出して歪を修正する(ステップS121)。投稿画像生成部192が、撮影装置120が撮影した画像のうち予め定められている部分を切り出して歪を修正するなど、自動的に処理を行うようにしてもよい。あるいは、投稿画像生成部192がユーザ操作に応じて処理を行うようにしてもよい。例えば、表示部140が、撮影装置120が撮影した画像を表示し、操作入力部150が、切り出し部分を指定するユーザ操作を受けるようにしてもよい。そして、投稿画像生成部192が指定された部分を切り出して歪を修正するようにしてもよい。
さらに、上述したように画像合成部193が複数の写真を合成することで障害物の写っていない写真を生成するようにしてもよい。
ステップS121で投稿画像が得られると、走行経路記録部191が走行経路記憶部181から撮影時の車両900の走行経路を読み出し、投稿画像と組み合わせる(ステップS122)。
さらに、投稿者であるユーザが操作入力部150を用いてコメントを入力すると、第一制御部190が投稿画像及び走行経路にさらにコメントを組み合わせる(ステップS123)。但し、コメントの入力は必須ではない。従って、車載装置100が情報配信装置200に送信する投稿情報は、投稿画像と走行経路とを含んでいてもよいし、投稿画像と走行経路とコメントとを含んでいてもよい。
第一通信部110は、第一制御部190の制御に従って、投稿情報を情報配信装置200へ送信する(ステップS124)。
ステップS124の後、図4の処理を終了する。
情報配信装置200は、車載装置100から投稿情報を受信すると、受信した投稿情報を配信する。情報配信装置200が投稿情報を配信するタイミングは、特定のタイミングに限定されない。例えば、情報配信装置200が、投稿情報を受信する毎に、受信した投稿情報の配信を行うようにしてもよい。或いは、情報配信装置200が、管理者による確認終了後に投稿情報を配信するようにしてもよい。
以上のように、走行経路記録部191は、車両900の走行経路を記録する。第一通信部110は、撮影装置120が撮影した画像から生成された投稿画像と走行経路とを情報配信装置200へ送信する。情報配信装置200は、投稿画像と走行経路とを含む投稿情報を配信する。
このように、情報配信装置200が走行経路を含む投稿情報を配信することで、車両900がこの走行経路に従って走行するように誘導することができる。
ここで、車両900が走行して撮影スポットを通過する際、車両900がどの方向から撮影スポットに近づくかによって撮影対象の見え方が異なる場合がある。車両900の進行方向によっては、撮影対象が見えにくく上手く撮影できない可能性がある。これに対し、車両900が走行経路に示される進行方向に走行して撮影スポットに近づくことで、より撮影に適した条件を得られる。
このように、画像投稿サービスシステム1によれば、車両などの移動体で撮影スポットを通過する際に、撮影を行う条件をより良くすることができる。
また、情報配信装置200が投稿画像を含む投稿情報を配信することで、ユーザは、投稿画像を参照して投稿スポットへ行くか否かを決定することができる。
また、投稿画像生成部192は、撮影装置120が撮影した広角画像の一部を含む投稿画像を生成する。投稿画像生成部192が、撮影装置120が撮影した画像から投稿画像を生成することで、車載装置100は投稿専用の撮影装置を別途備える必要がない。この点で、車載装置100の製造コスト及び運用コストを抑制でき、また、車載装置100のコンパクト化を図ることができる。
また、経路誘導部194は、情報配信装置200が配信した投稿情報に含まれる走行経路に基づいて車両900の走行経路を誘導する。
これにより、経路誘導部194は、車両900の運転手が投稿画像に含まれる走行経路に従って運転を行うことを補助することができる。或いは、車両900が経路誘導部194の誘導に従って自動運転するようにしてもよい。
また、画像合成部193は、投稿情報に含まれる走行経路上に示される複数の撮影地点の各々で撮影装置120が撮影した画像を合成する。
上述したように、画像合成部193は、障害物が写っていない撮影対象の画像を生成することができる。
なお、表示部140が投稿情報を表示する際、最短経路を通る場合との時間差を表示するようにしてもよい。運転手等のユーザは、表示される時間差を参照して、投稿情報に示される走行経路を採用する否かを決定することができる。
また、表示部140が複数の投稿情報を、最短経路を通る場合との時間差が短い順に表示するようにしてもよい。これにより、運転手等のユーザは、より容易に時間差を把握することができる。
次に、図5及び図6を参照して本発明の最小構成について説明する。
図5は、本発明に係る画像投稿サービスシステムの最小構成の例を示す図である。図5に示す画像投稿サービスシステム10は、移動体積載装置11と、情報配信装置14とを備える。移動体積載装置11は、走行経路記録部12と、送信部13とを備える。情報配信装置14は、投稿情報配信部15を備える。
かかる構成にて、走行経路記録部12は、移動体の走行経路を記録する。送信部13は、移動体に設けられた撮影装置が撮影した画像から生成された投稿画像と走行経路とを情報配信装置14へ送信する。投稿情報配信部15は、投稿画像と走行経路とを含む投稿情報を配信する。
このように、情報配信装置14が走行経路を含む投稿情報を配信することで、車両などの移動体がこの走行経路に従って走行するように誘導することができる。これにより、画像投稿サービスシステム10では、車両などの移動体で撮影スポットを通過する際に、撮影を行う条件をより良くすることができる。
図6は、本発明に係る移動体積載装置の最小構成の例を示す図である。図6に示す移動体積載装置20は、走行経路記録部21と、送信部22とを備える。
かかる構成にて、走行経路記録部21は、移動体の走行経路を記録する。送信部22は、移動体に設けられた撮影装置が撮影した画像から生成された投稿画像と走行経路とを情報配信装置へ送信する。
このように、移動体積載装置20が走行経路を含む投稿情報を送信することで、投稿を受けた情報配信装置は、走行経路を含む投稿情報を配信することができる。情報配信装置が走行経路を含む投稿情報を配信することで、車両などの移動体がこの走行経路に従って走行するように誘導することができる。これにより、移動体積載装置20では、車両などの移動体で撮影スポットを通過する際に、撮影を行う条件をより良くすることができる。
なお、第一制御部190又は第二制御部290の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、10 画像投稿サービスシステム
11、20 移動体積載装置
12、21、181 走行経路記憶部
13、22 送信部
14、200 情報配信装置
15、291 投稿情報配信部
100 車載装置
110 第一通信部
120 撮影装置
130 位置情報取得部
140 表示部
150 操作入力部
160 音声出力部
180 第一記憶部
190 第一制御部
191 走行経路記録部
192 投稿画像生成部
193 画像合成部
194 経路誘導部
210 第二通信部
280 第二記憶部
290 第二制御部
300 端末装置

Claims (4)

  1. 移動体積載装置と、情報配信装置とを備え、
    前記移動体積載装置は、
    移動体の走行経路を記録する走行経路記録部と、
    前記移動体に設けられた撮影装置が撮影した画像から生成された投稿画像と前記走行経路とを前記情報配信装置へ送信する送信部と、を備え、
    前記情報配信装置は、
    前記投稿画像と前記走行経路とを含む投稿情報を配信する投稿情報配信部を備える
    画像投稿サービスシステム。
  2. 前記移動体積載装置は、前記撮影装置が撮影した広角画像の一部を含む投稿画像を生成する投稿画像生成部を備える
    請求項1に記載の画像投稿サービスシステム。
  3. 前記情報配信装置が配信した投稿情報に含まれる走行経路に基づいて移動体の走行経路を誘導する経路誘導装置を備える、
    請求項1又は請求項2に記載の画像投稿サービスシステム。
  4. 前記経路誘導装置は、
    撮影装置と、
    前記投稿情報に含まれる走行経路上に示される複数の撮影地点の各々で前記撮影装置が撮影した画像を合成する画像合成部と、
    を備える請求項3に記載の画像投稿サービスシステム。
JP2017056259A 2017-03-22 2017-03-22 画像投稿サービスシステム Active JP6834648B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017056259A JP6834648B2 (ja) 2017-03-22 2017-03-22 画像投稿サービスシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017056259A JP6834648B2 (ja) 2017-03-22 2017-03-22 画像投稿サービスシステム

Publications (2)

Publication Number Publication Date
JP2018160760A JP2018160760A (ja) 2018-10-11
JP6834648B2 true JP6834648B2 (ja) 2021-02-24

Family

ID=63796867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017056259A Active JP6834648B2 (ja) 2017-03-22 2017-03-22 画像投稿サービスシステム

Country Status (1)

Country Link
JP (1) JP6834648B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400641B2 (ja) * 2020-07-01 2023-12-19 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5785063B2 (ja) * 2011-11-16 2015-09-24 トヨタ自動車株式会社 情報処理システム、情報処理装置、及びセンターサーバ

Also Published As

Publication number Publication date
JP2018160760A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
CN107615755B (zh) 头戴式显示器、平视显示器和影像显示方法
CN103969831B (zh) 车辆抬头显示装置
US20210286981A1 (en) Information processing apparatus, information processing method, and program
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
US11165955B2 (en) Album generation apparatus, album generation system, and album generation method
JP6950706B2 (ja) 情報処理装置および方法、並びにプログラム
JP2005318519A (ja) 車載用撮影装置
JP2005290813A (ja) 駐車誘導ロボット
WO2019058785A1 (ja) レンズ鏡筒及び撮像装置
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
US20180056787A1 (en) Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle
KR20150066036A (ko) 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
JP2015128956A (ja) ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
CN111284498A (zh) 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JPWO2018221039A1 (ja) ぶれ補正装置及び撮像装置
JP6834648B2 (ja) 画像投稿サービスシステム
WO2020045598A1 (ja) 電子機器及び固体撮像装置
JP2019095260A (ja) 情報出力装置
WO2018155242A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6941472B2 (ja) 映像再生装置、映像再生システム、及び映像再生方法
US20230186651A1 (en) Control device, projection system, control method, and program
US10951805B2 (en) Image generating apparatus and image generating method
KR100833603B1 (ko) 버드 뷰를 제공하는 차량용 네비게이션 장치 및 그 방법
JP7018561B2 (ja) 表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6834648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150