JP6786152B2 - 車載カメラ - Google Patents

車載カメラ Download PDF

Info

Publication number
JP6786152B2
JP6786152B2 JP2015186693A JP2015186693A JP6786152B2 JP 6786152 B2 JP6786152 B2 JP 6786152B2 JP 2015186693 A JP2015186693 A JP 2015186693A JP 2015186693 A JP2015186693 A JP 2015186693A JP 6786152 B2 JP6786152 B2 JP 6786152B2
Authority
JP
Japan
Prior art keywords
image
selection signal
view
angle
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015186693A
Other languages
English (en)
Other versions
JP2017061193A (ja
Inventor
靖久 廣島
靖久 廣島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2015186693A priority Critical patent/JP6786152B2/ja
Publication of JP2017061193A publication Critical patent/JP2017061193A/ja
Application granted granted Critical
Publication of JP6786152B2 publication Critical patent/JP6786152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、車両に取り付けて使用される車載カメラに関する。
車両の後方を視認するために、カメラとディスプレイとを用いる技術がある。そして、車両後方の遠方の画像と近傍の画像とを組み合わせたり、切り替えたりすることで、死角をより低減させる技術が開発されている(例えば、特許文献1参照)。
特開2014−235639号公報
特許文献1に記載の発明の場合、遠方の画像を撮像するための画角の狭いカメラと、近傍の画像を撮像するための画角の広いカメラとを車両に取り付ける必要がある。これらのカメラは使用されるレンズが異なるだけで、その他の構成は共通している。したがって、これらのカメラの外観形状は同様であり、作業者が間違えて取り付けてしまう可能性がある。
また、車種によって、取り付けるカメラを変更する場合がある。例えば、同じ工場で製造する車両において、ある車種の車両には画角の狭いカメラを取り付け、他の車種の車両には画角の広いカメラを取り付ける場合がある。また、同じ車種でも、仕様によって、取り付けるカメラが異なる場合もある。これらの場合も、カメラの外観形状が同様であることにより、作業者が間違えて取り付けてしまう可能性がある。カメラを間違えて取り付けてしまうと、意図した画像が表示されなくなる。
本発明は上記した事情のもとで考え出されたものであって、画角の狭いカメラと画角の広いカメラとを間違えて取り付けてしまうことを回避することができる車載カメラを提供することを目的としている。
上記課題を解決するため、本発明では、次の技術的手段を講じている。
本発明の第1の側面によって提供される車載カメラは、広画角用のレンズと、前記レンズによって撮像面に結像された光像を撮像する撮像素子と、画像を選択するための選択信号が入力される選択信号入力端子とを備えており、前記選択信号入力端子の接続状態によって、前記撮像素子により撮像された広画角画像をそのまま出力するか、前記広画角画像の中心領域を拡大した狭画角画像に変換して出力するか、選択信号に応じて複数種類の画像のうちのいずれかを出力するか、が決定されることを特徴とする。
本発明によると、撮像素子によって撮像された広画角画像をそのまま出力するか、中心領域を拡大した狭画角画像を出力するか、選択信号に応じた画像を出力するかは、選択信号入力端子の接続状態によって決定される。したがって、広画角画像を出力する場合も、狭画角画像を出力する場合も、選択された画像を出力する場合も、同じ車載カメラを用いることができるので、間違ったカメラを取り付けてしまうことを回避することができる。
本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。
第1実施形態に係る車載カメラを示す図である。 選択信号入力端子の接続状態を示す図である。 広画角画像を狭画角画像に変換する画像処理を説明するための図である。 高感度画像に変換する画像処理を説明するための図である。 画像処理回路で実施される画像処理を説明するためのフローチャートである。
以下、本発明の実施の形態を、図面を参照して具体的に説明する。
図1は、第1実施形態に係る車載カメラ1を示す図である。図1(a)、(b)は、車載カメラ1の簡略化した斜視図を示しており、図1(a)はレンズ側を示し、図1(b)は接続端子側を示している。図1(c)は、車載カメラ1の内部構成を示すブロック図である。
車載カメラ1は、運転手が車両の後方を視認するための画像を撮像するものである。車載カメラ1は、車両の例えばバックドアに取り付けられる。車載カメラ1によって撮像された画像は、例えばダッシュボードに配置されたディスプレイに表示される。運転手は当該ディスプレイに表示される画像(映像)を見ることで、車両の後方を視認することができる。車載カメラ1は、広画角用のカメラとしても、狭画角用のカメラとしても、また、感度切り替え付きの狭画角用のカメラとしても、用いることができる。いずれとして用いるかは、一部の端子の接続によって決定される。図1に示すように、車載カメラ1は、レンズ2、撮像素子3、画像処理回路4、記憶回路5、通信インターフェイス6、コネクタ7、筐体8、および、取付部材9を備えている。
レンズ2は、撮像素子3の撮像面に光像を結像するように、光を収束させるものである。なお、レンズ2の素材は限定されない。撮像素子3は、レンズ2によって撮像面に結像された光像を撮像するものであり、例えばCCD(Charge-Coupled Device)やC−MOSなどを用いたイメージセンサである。撮像素子3は、撮像した画像をデジタルの画像信号として画像処理回路4に出力する。車載カメラ1は、レンズ2が車両の後方を向くように配置されているので、撮像素子3は、車両の後方を見た画像を撮像する。また、レンズ2は、画角が広い(例えば、60°以上)広画角レンズである。したがって、撮像素子3によって撮像される画像は、車両の後方を広範囲(広い画角)で撮像した画像(以下では「広画角画像」とする)になる。
画像処理回路4は、例えばマイクロコンピュータで構成されており、撮像素子3より入力される画像信号に対して画像処理を行うものである。画像処理回路4は、入力された画像に所定の画像処理を行う。当該画像処理の詳細については後述する。そして、画像処理後の画像を画像信号として通信インターフェイス6に出力する。記憶回路5は、例えばRAM(Random Access Memory)などのメモリで構成されており、画像処理回路4による画像処理時にデータを一時的に記憶するために用いられる。
通信インターフェイス6は、車載カメラ1が外部と通信を行うためのインターフェイスである。通信インターフェイス6は、画像処理回路4より入力される画像信号を、通信用の信号に変換して出力する。また、通信インターフェイス6は、外部から入力される選択信号に基づくデジタル信号を、画像処理回路4に出力する。
コネクタ7は、車載カメラ1をディスプレイなどに接続するためのものである。本実施形態では、コネクタ7は6つの入出力端子を備えている。入出力端子は、選択信号を入力するための選択信号入力端子71、画像信号を出力するための画像出力端子72、車載カメラ1で用いられる電力を供給するための電源端子およびグランド接続されるグランド端子などを含んでいる。なお、入出力端子の数および配置は限定されない。画像出力端子72は、通信インターフェイス6で通信用の信号に変換された画像信号を出力する端子であり、ディスプレイに接続される。ディスプレイは、入力される通信用の画像信号を元の画像信号に変換して、連続的に表示する。これにより、映像として表示される。
選択信号入力端子71は、車載カメラ1を広画角用のカメラとして使用する場合は、グランド接続される(図2(a)参照)。この場合、選択信号入力端子71には、常に0[V]の選択信号が入力される。また、車載カメラ1を狭画角用(感度切り替えなし)のカメラとして使用する場合は、選択信号入力端子71は、どこにも接続をせずに、開放状態とする(図2(b)参照)。選択信号入力端子71には常時、所定の電圧(例えば2.5[V])が印加されているので、開放状態の場合には、当該所定の電圧の選択信号が開放状態を示す選択信号として入力される。
また、車載カメラ1を感度切り替え付きの狭画角用のカメラとして使用する場合は、選択信号入力端子71は、イルミネーション電源12に接続される(図2(c)、(d)参照)。イルミネーション電源12は、通常時はOFFになっており、夜間などに車幅灯や前照灯を点灯した場合にONになる電源である。イルミネーション電源12は、OFFのときには開放状態となり、ONのときには12[V]の電圧を出力する。したがって、イルミネーション電源12がOFFの場合、選択信号入力端子71には、開放状態を示す選択信号が入力され(図2(c)参照)、イルミネーション電源12がONの場合、選択信号入力端子71には、12[V]の選択信号が入力される(図2(d)参照)。
筐体8は、車載カメラ1の各部材を収納するものであり、略直方体形状をなしている。筐体8の1つの面(図1(a)においては、手前側の面)には、レンズ2が嵌め込まれている。筐体8のレンズが配置されている面とは反対側の面(図1(b)においては、手前側の面)には、コネクタ7が配置されている。なお、コネクタ7が配置される面は、これに限られない。筐体8は、取付部材9によって、車体の所定の場所に取り付けられる。なお、筐体8の形状や車両への取り付け方法は限定されない。
次に、画像処理回路4が行う画像処理について説明する。
上述したように、レンズ2は広画角レンズなので、撮像素子3によって撮像された画像は広画角画像になる。したがって、車載カメラ1を広画角用のカメラとして使用する場合は、撮像素子3によって撮像された広画角画像を、そのまま出力する。また、画像処理によって、広画角画像の中心領域を切り出して拡大し、歪み補正を行うことで、車両の後方を狭い範囲(狭い画角)で撮像した画像(以下では「狭画角画像」とする)に変換することができる。図3(a)は広画角画像の一例であり、図3(b)は、図3(a)の広画角画像において、白線Aで囲まれた領域を拡大し歪み補正を行う画像処理を行って、狭画角画像に変換したものである。車載カメラ1で狭画角画像を出力する場合は、撮像素子3によって撮像された広画角画像を、狭画角画像に変換して出力する。なお、広画角画像から狭画角画像への変換方法は限定されず、歪み補正を行わずに、広画角画像の中心領域を切り出して拡大することで狭画角画像に変換するようにしてもよい。
また、画像処理によって、周囲が暗い状態で撮像された画像を高感度画像に変換することができる。図4(a)は、夕暮れ時に撮像された広画角画像を狭画角画像に変換した画像の一例である。図4(b)は、図4(a)の狭画角画像において、高感度画像に変換する画像処理を行って、高感度狭画角画像に変換したものである。高感度画像に変換する画像処理によって、不鮮明であった画像(図4(a)参照)が鮮明な画像(図4(b)参照)になっている。なお、高感度画像に変換する画像処理は、例えば、光量不足によるノイズを削減するなどの一般的に用いられている手法を利用すればよい。夜間などに、車載カメラ1で高感度狭画角画像を出力する場合は、撮像素子3によって撮像された広画角画像を狭画角画像に変換し、さらに高感度画像に変換して出力する。
車載カメラ1を広画角用のカメラとして使用するか、狭画角用(感度切り替えなし)のカメラとして使用するか、感度切り替え付きの狭画角用のカメラとして使用するかは、選択信号入力端子71の接続によって設定する。すなわち、車載カメラ1を広画角用のカメラとして使用する場合は、選択信号入力端子71をグランド接続することで、選択信号入力端子71に0[V]の選択信号が入力されるようにする。また、車載カメラ1を狭画角用(感度切り替えなし)のカメラとして使用する場合は、選択信号入力端子71をどこにも接続せずに開放状態とすることで、選択信号入力端子71に開放状態を示す選択信号が入力されるようにする。また、車載カメラ1を感度切り替え付きの狭画角用のカメラとして使用する場合は、選択信号入力端子71をイルミネーション電源12に接続することで、選択信号入力端子71に開放状態を示す選択信号または12[V]の選択信号が入力されるようにする。イルミネーション電源12は、夜間などにONにされ、12[V]の電圧を出力するので、このときに高感度画像に変換するようにしておけば、撮像素子3によって撮像された不鮮明な画像を、高感度画像に変換して、鮮明な画像にすることができる。
図5は、画像処理回路4が行う画像処理を説明するためのフローチャートである。当該画像処理は、撮像素子3より画像信号が入力されると開始される。
まず、選択信号が入力される(S1)。具体的には、通信インターフェイス6から、選択信号入力端子71に入力される選択信号に基づくデジタル信号が入力される。そして、選択信号が0[V]の選択信号であるか否かが判別される(S2)。0[V]の選択信号である場合(S2:YES)、入力された画像信号に対して画像処理が行われず、そのまま出力される(S3)。車載カメラ1を広画角用のカメラとして使用する場合は、選択信号入力端子71がグランド接続されているので、選択信号入力端子71に0[V]の選択信号が入力される。したがって、この場合、ステップS2,S3によって、撮像素子3より入力された画像信号がそのまま出力されることで、広画角画像の画像信号が通信インターフェイス6に出力される。そして、通信用の信号に変換された広画角画像の画像信号が、画像出力端子72からディスプレイ11に出力される(図2(a)参照)。
ステップS2において、選択信号が0[V]の選択信号でない場合(S2:NO)、入力された画像信号に対して、狭画角画像への変換処理が行われる(S4)。具体的には、画像信号を1画像分蓄積しておいて、当該画像(広画角画像)の中心領域を切り出して拡大し、歪み補正を行うことで狭画角画像に変換する。次に、選択信号が12[V]の選択信号であるか否かが判別される(S5)。12[V]の選択信号でない場合(S5:NO)、狭画角画像に変換された画像信号が出力される(S3)。車載カメラ1を狭画角用のカメラ(感度切り替えなし)として使用する場合は、選択信号入力端子71が開放されているので、選択信号入力端子71に開放状態を示す選択信号が入力される。したがって、この場合、ステップS4,S5,S3によって、撮像素子3より入力された画像が狭画角画像に変換されて、狭画角画像の画像信号が通信インターフェイス6に出力される。そして、通信用の信号に変換された狭画角画像の画像信号が、画像出力端子72からディスプレイ11に出力される(図2(b)参照)。また、車載カメラ1を感度切り替え付きの狭画角用のカメラとして使用する場合で、イルミネーション電源12がOFFの場合、選択信号入力端子71に開放状態を示す選択信号が入力される。したがって、この場合も、ステップS4,S5,S3によって、撮像素子3より入力された画像が狭画角画像に変換されて、狭画角画像の画像信号が通信インターフェイス6に出力される。そして、通信用の信号に変換された狭画角画像の画像信号が、画像出力端子72からディスプレイ11に出力される(図2(c)参照)。
ステップS5において、選択信号が12[V]の選択信号である場合(S5:YES)、狭画角画像の画像信号に対して、さらに、高感度画像に変換する画像処理が行われ(S6)、高感度狭画角画像に変換された画像信号が出力される(S3)。車載カメラ1を感度切り替え付きの狭画角用のカメラとして使用する場合で、イルミネーション電源12がONの場合、選択信号入力端子71に12[V]の選択信号が入力される。したがって、この場合、ステップS4,S5,S6,S3によって、撮像素子3より入力された画像が高感度狭画角画像に変換されて、高感度狭画角画像の画像信号が通信インターフェイス6に出力される。そして、通信用の信号に変換された高感度狭画角画像の画像信号が、画像出力端子72からディスプレイ11に出力される(図2(c)参照)。
なお、画像処理回路4が行う画像処理は、これに限られない。
次に、第1実施形態に係る車載カメラ1の作用効果について説明する。
本実施形態によると、選択信号入力端子71をグランド接続した場合は、撮像素子3によって撮像された広画角画像がそのまま出力され、選択信号入力端子71を開放状態にした場合は、広画角画像から変換された狭画角画像が出力される。また、選択信号入力端子71をイルミネーション電源12に接続した場合、イルミネーション電源12がOFFのときは、広画角画像から変換された狭画角画像が出力され、イルミネーション電源12がONのときは、画角画像から変換された狭画角画像がさらに高感度狭画角画像に変換されて出力される。つまり、広画角画像を出力するか、狭画角画像を出力するか、狭画角画像と高感度狭画角画像とを切り替え可能にするかは、選択信号入力端子71の接続によって決定される。したがって、広画角用のカメラとしても、狭画角用(感度切り替えなし)のカメラとしても、また、感度切り替え付きの狭画角用のカメラとしても、同じ車載カメラ1を用いることができるので、間違ったカメラを取り付けてしまうことを回避することができる。
また、本実施形態によると、選択信号入力端子71をイルミネーション電源12に接続した場合、イルミネーション電源12がOFFのときには選択信号入力端子71に開放状態を示す選択信号が入力され、イルミネーション電源12がONのときには選択信号入力端子71に12[V]の選択信号が入力される。そして、選択信号入力端子71に12[V]の選択信号が入力された場合は、狭画角画像が高感度狭画角画像に変換されて出力される。したがって、周囲が暗くなって画像が不鮮明になるときには、より鮮明な画像を出力することができる。
なお、選択信号入力端子71の接続方法は、上述したものに限定されない。例えば、選択信号入力端子71をグランド接続した場合に狭画角画像を出力するようにして、選択信号入力端子71を開放状態にした場合に広画角画像を出力するようにしてもよい。また、開放状態とグランド接続以外の電圧を出力する電源に接続するようにしてもよい。例えば、常時12[V]を出力する電源に接続するようにしてもよいし、12[V]を降圧して常時所定の電圧を出力する電源に接続するようにしてもよい。つまり、2種類の異なる電圧を出力する電源(グランド接続および開放も含む)の一方に接続した場合は広画角画像を出力し、他方に接続した場合は狭画角画像を出力するようにしてもよい。
上記第1実施形態においては、車載カメラ1が車両のバックドアに取り付けられる場合について説明したがこれに限られない。例えば、車両の天井や、車両の内部に取り付けるようにしてもよい。また、上記第1実施形態においては、車載カメラ1が車両の後方を撮像する場合について説明したが、これに限られない。例えば、車載カメラ1をドアミラーに取り付けて、車両の右後方(または左後方)を撮像するようにしてもよい。また、前方や横方向を撮像するようにしてもよい。つまり、車載カメラ1の取り付け位置や、撮像方向は限定されない。
本発明に係る車載カメラは、上述した実施形態に限定されるものではない。本発明に係る車載カメラの各部の具体的な構成は、種々に設計変更自在である。
1 車載カメラ
2 レンズ
3 撮像素子
4 画像処理回路
5 記憶回路
6 通信インターフェイス
7 コネクタ
71 選択信号入力端子
72 画像出力端子
8 筐体
9 取付部材
11 ディスプレイ
12 イルミネーション電源

Claims (1)

  1. 広画角用のレンズと、
    前記レンズによって撮像面に結像された光像を撮像する撮像素子と、
    画像を選択するための選択信号が入力される選択信号入力端子と、
    を備えており、
    前記選択信号入力端子は、グランド接続されるか、開放されるか、または、イルミネーション電源に接続され、
    前記選択信号入力端子の接続状態によって、前記撮像素子により撮像された広画角画像をそのまま出力するか、前記広画角画像の中心領域を拡大した狭画角画像に変換して出力するか、前記広画角画像を狭画角画像に変換し、さらに高感度画像に変換して高感度狭画角画像を出力できるようにするか、が決定され
    前記選択信号入力端子がグランド接続されると前記広画角画像をそのまま出力し、前記選択信号入力端子が開放されると前記狭画角画像を出力し、前記選択信号入力端子が前記イルミネーション電源に接続され、前記イルミネーション電源がONにされると前記高感度狭画角画像を出力する、
    ことを特徴とする車載カメラ。
JP2015186693A 2015-09-24 2015-09-24 車載カメラ Active JP6786152B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015186693A JP6786152B2 (ja) 2015-09-24 2015-09-24 車載カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015186693A JP6786152B2 (ja) 2015-09-24 2015-09-24 車載カメラ

Publications (2)

Publication Number Publication Date
JP2017061193A JP2017061193A (ja) 2017-03-30
JP6786152B2 true JP6786152B2 (ja) 2020-11-18

Family

ID=58428952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015186693A Active JP6786152B2 (ja) 2015-09-24 2015-09-24 車載カメラ

Country Status (1)

Country Link
JP (1) JP6786152B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352096B2 (ja) * 1991-02-28 2002-12-03 株式会社デンソー 車両用車外監視装置
JP2001094885A (ja) * 1999-09-17 2001-04-06 Victor Co Of Japan Ltd 固体撮像装置及び画像表示システム
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
KR20140054909A (ko) * 2012-10-30 2014-05-09 팅크웨어(주) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
JP6155674B2 (ja) * 2013-02-07 2017-07-05 市光工業株式会社 車両用視認装置

Also Published As

Publication number Publication date
JP2017061193A (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
CN108139654B (zh) 镜头系统、辅助设备、通信方法及记录介质
CN105163006B (zh) 汽车成像系统及安装成像系统的方法
JP2007304407A (ja) 車載カメラ用自動露出装置および車載カメラ用自動露出方法
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
JP2013207325A (ja) アクセサリーシューを備えた撮像装置
JP2008207627A (ja) 車載撮像システム、撮像装置及び表示制御装置
US20240017680A1 (en) Vehicular camera system with forward viewing camera module
JP2014178663A (ja) 交換レンズおよびカメラボディ
JP2008054030A (ja) 車両周辺監視装置
CN113330731A (zh) 车载相机
JP2012222374A (ja) 車載カメラシステム
JP2019001325A (ja) 車載用撮像装置
JP6786152B2 (ja) 車載カメラ
WO2017169087A1 (ja) 電子ミラーの電気回路
KR20130061876A (ko) 자동밝기조절 카메라 모듈
KR20100019605A (ko) 후방 카메라 디스플레이 시스템
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP2007053144A (ja) 電子機器、および撮影装置
CN108297791B (zh) 相机系统和视镜替代系统
JP4611898B2 (ja) 画像表示システム
US20190162928A1 (en) Image pickup device
JP2007134999A (ja) 撮像装置
JP2007052077A (ja) 撮影装置
US20220055527A1 (en) Lamp controller interlocking system of camera built-in headlamp and method thereof
JP4900153B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6786152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250