JPWO2018042536A1 - 装着検出装置、撮影装置、拘束装置及び装着検出プログラム - Google Patents

装着検出装置、撮影装置、拘束装置及び装着検出プログラム Download PDF

Info

Publication number
JPWO2018042536A1
JPWO2018042536A1 JP2018514489A JP2018514489A JPWO2018042536A1 JP WO2018042536 A1 JPWO2018042536 A1 JP WO2018042536A1 JP 2018514489 A JP2018514489 A JP 2018514489A JP 2018514489 A JP2018514489 A JP 2018514489A JP WO2018042536 A1 JPWO2018042536 A1 JP WO2018042536A1
Authority
JP
Japan
Prior art keywords
strap
image
identification
seat
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018514489A
Other languages
English (en)
Other versions
JP6629434B2 (ja
Inventor
啓文 大野
啓文 大野
達衛 星野
達衛 星野
保 増田
保 増田
諭 前杉
諭 前杉
康介 今井
康介 今井
尚登 新川
尚登 新川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Digital Solutions Corp filed Critical Toshiba Digital Solutions Corp
Publication of JPWO2018042536A1 publication Critical patent/JPWO2018042536A1/ja
Application granted granted Critical
Publication of JP6629434B2 publication Critical patent/JP6629434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00Safety belts or body harnesses in vehicles
    • B60R22/12Construction of belts or harnesses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00Safety belts or body harnesses in vehicles
    • B60R22/48Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00Safety belts or body harnesses in vehicles
    • B60R22/48Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808Sensing means arrangements therefor
    • B60R2022/485Sensing means arrangements therefor for sensing belt anchor position, belt orientation, or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00Safety belts or body harnesses in vehicles
    • B60R22/48Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866Displaying or indicating arrangements thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automotive Seat Belt Assembly (AREA)

Abstract

実施形態によれば、装着検出装置は、拘束装置と、撮影装置と、コントロールユニットと、出力装置を有する。拘束装置は、座席に着席した搭乗者を拘束するために装着されるものであって、装着時と非装着時において露出される範囲が変化するストラップが設けられている。撮影装置は、前記拘束装置のストラップを含む画像を撮影する。コントロールユニットは、前記撮影装置により撮影された画像から、前記ストラップの装着時に露出される範囲に付加された識別部材に相当する識別画像を検出する。出力装置は、前記識別画像の検出の結果を出力する。

Description

本発明は、拘束装置の装着を検出する装着検出装置、撮影装置、拘束装置及び装着検出プログラムに関する。
一般に、自動車には、拘束装置(以下、シートベルトと称する)が設けられている。シートベルトは、例えば収納部に収納されたストラップ(ウェビング)を引き出し、座席横に固定することで装着される。ストラップと座席とは、ストラップに装着されたバックルを、座席に固定されたタングプレートに接続させることにより固定される。
従来では、バックルとタングプレートとが接続されたことを検出することで、搭乗者がシートベルトを装着しているか判別する装着検出装置が設けられている。
特許第4403102号公報
従来の装着検出装置は、バックルがタングプレートに接続されたことを検出することでシートベルトの装着が判別されている。このため、例えばシートベルトの装着を嫌う搭乗者が、ストラップに装着されていないダミーのバックルをタングプレートに接続すると、装着検出装置は、シートベルトが装着されていると誤検出してしまう。すなわち、機械的な方法による装着検出では、装着検出装置に対して容易に誤検出させることができる。
本発明が解決しようとする課題は、機械的な方法によらず拘束装置の装着を検出することができる装着検出装置、撮影装置、拘束装置及び装着検出プログラムを提供することである。
実施形態によれば、装着検出装置は、拘束装置と、撮影装置と、コントロールユニットと、出力装置を有する。拘束装置は、座席に着席した搭乗者を拘束するために装着されるものであって、装着時と非装着時において露出される範囲が変化するストラップが設けられている。撮影装置は、前記拘束装置のストラップを含む画像を撮影する。コントロールユニットは、前記撮影装置により撮影された画像から、前記ストラップの装着時に露出される範囲に付加された識別部材に相当する識別画像を検出する。出力装置は、前記識別画像の検出の結果を出力する。
図1は、第1実施形態における装着検出装置の構成を示すブロック図である。 図2は、第1実施形態の装着検出装置が実装される自動車の車内を示す図である。 図3は、第1実施形態における装着検出装置が搭載された自動車の左側座席の一例を示す図である。 図4は、第1実施形態における右側座席に設けられた3点式のシートベルトの構成を示す図である。 図5は、第1実施形態におけるシートベルトのストラップに付加される識別部材の範囲を説明するための図である。 図6は、第1実施形態におけるストラップに付加される識別部材の一例を示す図である。 図7は、第1実施形態における装着検出装置の動作を説明するためのフローチャートである。 図8は、第1実施形態におけるシートベルト装着検出処理の動作を説明するためのフローチャートである。 図9は、第1実施形態におけるカメラから入力された画像の一例を示す図である。 図10は、第2実施形態における装着検出装置の構成を示すブロック図である。
以下、実施形態について図面を参照して説明する。
(第1実施形態)
図1は、第1実施形態における装着検出装置10の構成を示すブロック図である。装着検出装置10は、例えば拘束装置(以下、シートベルトと称する)が設けられた自動車に搭載される。自動車には、例えば複数の座席が設けられており、それぞれの座席にシートベルトが設けられている。装着検出装置10は、座席に搭乗者がいる場合に、搭乗者によってシートベルトが装着された状態にあるか検出する機能を有する。
図1に示すように、装着検出装置10は、シートベルト(図3に示すシートベルト4)、コントロールユニット20、カメラ22(22A,22B,22C)、キーセンサ24、及び表示装置(出力装置)28を有する。
シートベルトは、座席に着席した搭乗者を拘束するために装着されるものであって、装着時と非装着時において露出される範囲が変化するストラップが設けられている。シートベルトの詳細な構成については図3に示す。
カメラ22は、自動車の車内を撮影するために少なくとも1台が設けられる。カメラ22は、例えば、搭乗者の有無、搭乗者の動作、シートベルトの装着を検出するための画像を撮影するために使用される。従って、カメラ22は、搭乗者及びシートベルト(少なくともストラップ)を含む画像を撮影可能な位置に設置される。
また、第1実施形態においてカメラ22は、例えば可視光外の特定の波長光の画像を撮影することができ、可視光外の特定の波長光を放射する発光装置が実装されるものとする。カメラ22は、例えば近赤外カメラが用いられる。この場合、カメラ22には、例えば近赤外LED(Light Emitting Diode)などの近赤外光を放射する発光装置が設けられる。
近赤外光により撮影可能なカメラ22を用いることで、夜間やトンネル内などの可視光環境下での撮影ができない状況であっても、シートベルト4の装着を検出するための画像撮影をすることができる。夜間等において可視光による撮影をするためには可視光を発光する発光装置が必要となるが、運転に支障が生じる可能性がある。第1実施形態では、可視光外の特定の波長光の画像を撮影することで、運転に支障を生じるおそれがない。
なお、カメラ22は、例えば近紫外カメラを用いることも可能である。この場合、カメラ22には、近紫外光を放射する発光装置が設けられる。
コントロールユニット20は、各種のセンサからの信号、カメラ22からの画像データなどの入力に応じて、自動車を構成する各部を制御するためのものである。コントロールユニット20は、例えば自動車に搭載されるエンジンコントロールユニット(ECU)(あるいはエンジンコンピュータ)によって実現することができる。また、コントロールユニット20は、一般的な自動車に搭載されるECUとは別に、独立した専用ユニット(コンピュータ)として構成することもできる。この場合、コントロールユニット20は、シートベルト装着検出装置として実現され、ECUと連携して動作するように構成される。
コントロールユニット20は、カメラ22により撮影された画像をもとに、例えば搭乗者の座席への着席と及び搭乗者によるシートベルトの装着の有無を検出する機能を実現する。コントロールユニット20は、カメラ22により撮影された画像からストラップの装着時に露出される範囲に付加された識別部材(認識用マーキング)に相当する識別画像を検出することにより、シートベルトの装着を判別する。
また、コントロールユニット20は、搭乗者の座席への着席と及び搭乗者によるシートベルトの装着の有無を検出する機能だけでなく、例えば搭乗者の動作を検出する機能を実現することができる。例えば、コントロールユニット20は、カメラ22により撮影された画像をもとに、運転者の視線方向、ハンドル等の操作などを検出して、運転をサポートするための処理を実行する。
表示装置28は、コントロールユニット20による処理結果を表示するためのもので、例えばインストルメントパネル(ダッシュボード)に設けられる。例えば、表示装置28は、コントロールユニット20によるシートベルトの識別画像の検出の結果、すなわちシートベルトの装着の判別結果を表示する。
コントロールユニット20は、図1に示すように、プロセッサ20A、RAM20B、記憶装置20C、入力回路20D及び出力回路20Eを有する。
プロセッサ20Aは、記憶装置20Cに記憶された各種プログラムを実行して各種機能を実現する。プロセッサ20Aは、装着検出プログラムに基づいて、カメラ22から入力された画像をもとにシートベルトの装着を検出するシートベルト装着検出処理を実行する。
RAM20Bは、プロセッサ20Aによる処理に伴う一時的なデータ等を記憶する。
記憶装置20Cは、コントロールユニット20の動作を制御するためのプログラムやデータを記憶するもので、例えばEEPROM(登録商標)(Electrically Erasable and Programmable ROM)などの記憶媒体により実現される。
入力回路20Dは、例えばキーセンサ24などを含む各種センサからの信号や、カメラ22などの機器からのデータを入力する。
出力回路20Eは、プロセッサ20Aによる処理結果を各部に出力する。出力回路20Eは、例えばプロセッサ20Aによる装着検出処理の結果を表示装置28に出力して、シートベルトの装着状態を表示させる。
なお、コントロールユニット20は、外部の情報機器(例えばパーソナルコンピュータ)やネットワークと通信可能な機能を設け、記憶装置20Cに記憶されたプログラムやデータを変更することができる。例えば、コントロールユニット20は、外部の情報機器から記憶装置20Cに装着検出プログラムを記憶(インストール)させることができる。これにより、コントロールユニット20は、装着検出処理が実行可能となる。
図2は、第1実施形態の装着検出装置10が実装される自動車の車内を示す図である。図2は、例えば3列シート(1列目シート30、2列目シート31、3列目シート32)が設けられた構成の一例を示す。例えば、1列目シート30に2人、2列目シート31に3人、3列目シート32に3人が乗車することができる座席が設けられている。そして、各座席には、着席した搭乗者を拘束するためのシートベルトが設けられている。なお、2列目シート31は、2列目シート31と3列目シート32に比較して、例えば前後方向により大きく移動可能となっており、シートの配置を変更できるものとする。
3列シートの場合には、車内を撮影するために、それぞれの列シートに対応する3台のカメラ22A,22B,22Cが設置される。カメラ22Aは、1列目シート30に着席した搭乗者と、それぞれの座席のシートベルトを含む画像を撮影できるように、例えばルームミラー34の近傍の天井に設けられる。カメラ22Bは、2列目シート31に着席した搭乗者と、それぞれの座席のシートベルトを含む画像を撮影することができるように、例えば1列目シート30の上方の天井に設置される。カメラ22Cは、3列目シート32に着席した搭乗者と、それぞれの座席のシートベルトを含む画像を撮影することができるように、例えば2列目シート31の上方の天井に設置される。
なお、図2に示す例では、3列シートのそれぞれに対応する3台のカメラ22A,22B,22Cを設置した例を示しているが、カメラ22の台数や設置位置は図2に示す構成に限定されない。天井以外の設置位置としては、例えば、ダッシュボード、前座席背面側、ピラーなどがある。
例えば、1列のシートに対応づけて複数台のカメラ22を設けても良い。この場合、複数台のカメラ22を離れた位置に設置し、同じ範囲を重複して撮影するようにする。これにより、カメラ22により撮影できない死角となる範囲を少なくすることができる。この場合、複数のカメラ22により撮影された画像のそれぞれについて、シートベルトのストラップに付加された識別画像を検出する。そして、複数のカメラ22に対応する検出の結果を組み合わせてシートベルトの装着を判別する。これにより、シートベルトの装着の有無を確実に判定することができる。
また、1台のカメラ22によって複数列のシートの座席を撮影できるようにしても良い。さらに、各座席のそれぞれに対応するカメラ22を設けても良いし、シートベルトの装着検出用の専用のカメラを設けても良い。また、3列シート以外の形状の座席が設けられている自動車の場合には、座席の形状に合わせて、カメラ22の台数や設置位置が決められる。
なお、表示装置28は、図2に示すように、インストルメントパネル(ダッシュボード)に設けられる。表示装置28は、例えば装着検出装置10により検出されたシートベルトの装着有無を示す情報が表示される。
図3は、第1実施形態における装着検出装置10が搭載された自動車の左側座席30A(1列目シート30)の一例を示す図である。図3には、座席30Aに設けられた3点式のシートベルト4の構成を示している。シートベルト4は、座席30Aに着席した搭乗者H1を拘束するために装着されるものである。図3では、搭乗者H1にシートベルト4が装着された状態を示している。
シートベルト4は、座席30Aに着席した搭乗者H1にストラップ(ウェビング)40を掛け渡し、ストラップ40を3点において固定することで搭乗者H1を拘束することができる。ストラップ40は、一方の端部が例えばピラー35に設けられた収納部44に収納され、他方の端部が座席30Aの一側面(ピラー35と相対する側)に固定される。収納部44に収納されたストラップ40は、収納部44に設けられたリトラクタ42(ロードリミッタ内蔵型のリトラクタ)に引出し可能に巻取られている。
ストラップ40は、シートベルト4の非装着時には、収納部44に収納された状態にあり、シートベルト4の装着時には収納部44から引き出されて、バックル45を介して座席30Aの他側面に固定される。バックル45は、ストラップ40に摺動可能となるように取り付けられている。座席30Aの他側面(ピラー35と相対しない側)には、バックル45と係合可能なタングプレート46が固定されている。バックル45とタングプレート46は、収納部44から引き出されたストラップ40を固定する固定具として作用する。なお、ストラップ40にタングプレート46を取り付け、座席30Aにバックル45を設けても良い。
ピラー35には、座席30Aに着席した搭乗者H1の肩より高い位置にベルトガイド41が設けられる。ベルトガイド41(誘導部材)は、収納部44から引き出されたストラップ40を吊り下げることにより、ストラップ40を搭乗者H1の肩より高い位置まで誘導する。これにより、ストラップ40は、バックル45とタングプレート46とが係合されることで、搭乗者H1の肩部上方から腰部にかけて斜めに掛け渡されるショルダベルトと、搭乗者H1の腰部を跨いで横方向(車幅方向)掛け渡されるラップベルトとして使用される。
図3に示すように、シートベルト4の装着時に、ストラップ40の露出される範囲に認識用マーキングとして識別部材40A,40Bが付加されている。図3では、識別部材40A,40Bを識別可能に記載しているが、通常の可視光環境においては視認できないように構成されている。第1実施形態では、識別部材40A,40Bは、可視光外の特定の波長光、例えば近赤外光を反射するように構成されている。
識別部材40Aは、ストラップ40がバックル45とタングプレート46とにより固定された時に、ベルトガイド41により誘導されたストラップ40の搭乗者の肩上位置周辺で露出される範囲に設けられている。すなわち、識別部材40Aは、カメラ22により確実に撮影可能となる範囲で表れるように付加されている。搭乗者の肩上位置周辺は、搭乗者の身体(例えば、腕、頭、髪など)、搭乗者が所持する荷物や衣類などによってストラップ40が隠されることがない。従って、カメラ22によって撮影された、搭乗者の肩上位置周辺の画像をもとに、識別部材40Aの検出有無を確実に判別することが可能となる。
識別部材40Aは、座席30Aに搭乗者がいない状態でストラップ40が装着された場合に、カメラ22Aによる撮影範囲に表れる範囲に設けられる。また、識別部材40Aは、座席30Aに搭乗者がいない状態から、想定される最大の体サイズの搭乗者H1が搭乗している状態までの間で、搭乗者の肩上位置周辺で表れるように、ストラップ40に対して連続的に付加される。
識別部材40Aが露出された状態にある場合には、ストラップ40が収納部44から引き出されて、バックル45とタングプレート46とが係合された状態と見なすことができる。すなわち、シートベルト4が装着された状態にあると判別することができる。
また、図3に示すストラップ40には、識別部材40Aの他に、さらに識別部材40Bが設けられている。識別部材40Bは、バックル45をタングプレート46に係合させた状態において、バックル45とタングプレート46の近傍となる範囲に付加される。
従って、識別部材40Bがバックル45とタングプレート46の近傍において露出された状態にある場合には、ストラップ40が収納部44から引き出されて、バックル45とタングプレート46とが係合された状態と見なすことができる。すなわち、識別部材40Aと識別部材40Bの両方が露出された状態を検出することで、確実にシートベルト4が装着された状態であることを判別することができる。
なお、ストラップ40には、少なくとも識別部材40Aが付加されていれば良く、識別部材40Bが付加されていなくても良い。
図4には、右側座席32A(3列目シート32)に設けられた3点式のシートベルト4の構成を示している。図4は、座席34Aに着席した搭乗者H2を拘束するために、シートベルト4が装着された状態を示している。図4に示すシートベルト4は、図3に示すシートベルト4と基本的に同じであるが、座席の形状に応じてベルトガイド41の位置が異なっている。
図3に示すシートベルト4では、ピラー35に収納部44を設けているが、図4では、座席34Aの背面に収納部44(図示せず)を設けている。収納部44からストラップ40を引き出す引き出し口は、座席34Aの上端部近傍に設けられる。従って、引き出し口は、ベルトガイド41として機能し、座席34Aに着席した搭乗者H2の肩より高い位置からストラップ40を引き出すことができる。
図4に示すように、右側座席32Aにおいても、シートベルト4の装着時には、ストラップ40に付加された識別部材40A,40Bが露出された状態となる。すなわち、識別部材40Aは、ストラップ40の搭乗者の肩上位置周辺で露出され、識別部材40Bは、バックル45とタングプレート46の近傍において露出される。
図5は、第1実施形態におけるシートベルト4のストラップ40に付加される識別部材40Aの範囲を説明するための図である。
図5の(A)には、シートベルト4が装着されていない時のストラップ40の状態を示している。図5の(A)に示すように、シートベルト4が装着されていない時には、ストラップ40が収納部44の内部に設けられたリトラクタ42により巻き取られる。従って、ストラップ40に識別部材40Aが付加された範囲40AHは、収納部44の内部に収納された状態となる。すなわち、識別部材40Aは、露出された状態とならないので、カメラ22により撮影されることはない。
図5の(B)には、シートベルト4が装着された時のストラップ40の状態を示している。図5の(B)に示すように、シートベルト4が装着された時には、ストラップ40が収納部44から引き出される。これにより、ストラップ40に識別部材40Aが付加された範囲40AHは、収納部44の外部に露出され、カメラ22により撮影可能となる。
識別部材40Aが付加された範囲40AHは、想定される最大の体サイズの搭乗者に応じて設けられているため、少なくとも搭乗者の肩上位置周辺で露出される。
図6は、ストラップ40に付加される識別部材40Aの一例を示す図である。
ストラップ40は、例えば、ポリエステル繊維を編んで形成される。例えば、識別部材40Aは、ストラップ40を製造する段階において、カメラ22により撮影可能(近赤外光を反射可能)な識別部材用の素材を編み込むことにより形成される。例えば、繊維状にした識別部材用の素材をポリエステル繊維と共に編み込んでも良いし、あるいはポリエステル繊維により形成された帯状の2枚の部材に識別部材用の素材を挟んで編み込んでも良い。カメラ22により撮影可能な素材としては、例えばシリコン、金属、樹脂、特定の目の粗さを有する布などを用いることができる。なお、その他の素材(材料)を用いることも可能である。すなわち、カメラ22によって撮影された画像において、識別部材40Aが付加された範囲と、識別部材40Aが付加されていない範囲とが識別可能となる素材であれば良い。
また、図6の(A)(B)(C)(D)に示すように、識別部材40Aは、カメラ22により撮影された画像から、識別部材40Aに相当する識別画像の識別が容易となるように、特定のパターン(形状)にすることができる。
図6の(A)に示す識別部材40A1のパターンは、面状に形成した例を示している。識別部材40A1は、例えばストラップ40のほぼ全面の範囲に付加されているため、ストラップ40の装着状態に関係なく、カメラ22により撮影しやすくなる。
図6の(B)に示す識別部材40A2のパターンは、複数の線状のパターンを、所定の間隔を設けて連続して配置した例を示している。図6の(C)に示す識別部材40A3のパターンは、格子状のパターンを配置した例を示している。図6の(D)に示す識別部材40A4のパターンは、サイズの異なる所定の形状(例えば円)のパターンを複数配置した例を示している。識別部材40A2,40A3,40A4のパターンは、単純な形状のパターンのため、カメラ22により撮影された画像から容易に識別することができる。また、識別部材40A2,40A3は、ストラップ40の繊維の方向に合わせて線状のパターンを配置するので、ストラップ40を製造する際に、識別部材用の素材の編み込みを容易にすることができる。識別部材40A4は、ストラップ40を形成する帯状の2枚の部材に、所定の形状のパターンを挟み込むことで形成することができる。
こうして、識別部材40Aを特定のパターンによって形成することで、カメラ22により撮影された画像からの識別を容易にすることができる。また、カメラ22による近赤外光を用いた撮影によって、識別部材40Aだけでなく、車内に存在する他の物体が検出されるとしても、識別部材40Aのパターンに基づいて容易に識別することが可能となる。従って、識別部材40Aは、例えば近赤外光により撮影可能な物体が車内にあっても、それらの物体と区別することが可能なパターンで付加することが望ましい。
なお、図6に示す(A)〜(C)のパターンは、ストラップ40に対して同じ形状により一様に付加されているが、ストラップ40に付加される位置に応じて形状を変化させても良い。
例えば、図6の(A)に示す識別部材40A1のパターンでは、カメラ22により撮影された画像においてグラデーションが表れるように形成する。例えば、識別部材40A1の端部から段階的に変化するようにパターンを形成する。また、識別部材40A2,40A3では、線状パターンの間隔あるいは線状パターンの太さを、ストラップ40に付加される位置に応じて変化させる。
こうして、ストラップ40に付加される位置に応じて識別部材40Aの形状を変化させることで、識別部材40Aに相当する識別画像をもとに、ストラップ40の収納部44からの引き出し長さを識別することも可能である。
なお、識別部材40Aのみについて説明しているが、識別部材40Bは、識別部材40Aと同じパターンとすることができる。識別部材40A,40Bは、カメラ22により撮影された画像の異なる位置において検出されるため同じパターンであっても識別可能である。
また、識別部材40Bは、識別部材40Aと異なるパターンとすることも可能である。この場合には、カメラ22により撮影された画像から、識別画像のパターンの違いをもとにして、識別部材40A,40Bのそれぞれに対応する識別画像を明確に区別することができる。
さらに、座席毎にシートベルト4のストラップ40に付加される識別部材40A(あるいは識別部材40B)のパターンが異なるようにしても良い。例えば、座席毎に識別部材40Aのパターンを異なるようにすることで、1つのカメラ22によって撮影された画像から、複数の座席に設けられたシートベルト4の識別部材40Aをそれぞれ識別することが容易となる。
第1実施形態においては、識別部材40A,40Bを可視光では目視によって認識できないようにストラップ40に付加している。これにより、悪意を持った搭乗者がシートベルト4の装着を欺くためにダミーの識別部材を付加しにくいようにしている。すなわち、目視によって識別部材40A,40Bの材質やパターンを認識できないようにすることで、ダミーの識別部材の作成を困難にしている。
なお、識別部材40A,40Bを目視できる形態にすることを許容する場合には、ストラップ40に対して、例えば近赤外領域の光の反射特性を制御可能な特殊な塗料(例えば、高日射反射率塗料)を塗布することにより、識別部材40A,40Bを形成することも可能である。さらに、近赤外光により撮影可能な素材をストラップ40に貼り付けるようにしても良い。これにより、識別部材40A,40Bが付加されたストラップ40の製造を簡単にすることが可能である。
次に、第1実施形態における装着検出装置10の動作について説明する。
図7は、第1実施形態における装着検出装置10の動作を説明するためのフローチャートである。
プロセッサ20Aは、キーセンサ24からキーオンされたことが通知されると、搭乗者の有無を検出するための検出処理を実行する。プロセッサ20Aは、カメラ22から入力される画像データをもとに、撮影された画像中に搭乗者が撮影されているかを既存の画像処理技術を用いて識別する。例えば、プロセッサ20Aは、画像中の座席に相当する領域内において動きのある物体を検出する。そして、動きのある物体が検出された場合に、その物体の形状が人物に該当するかを判別する。これにより搭乗者の有無を検出することができる。なお、プロセッサ20Aは、カメラ22から入力される画像をもとに、全ての座席を対象として検出処理を実行する。
プロセッサ20Aは、搭乗者がいることを検出すると(ステップA1、Yes)、装着検出プログラムに基づいて、搭乗者がシートベルト4を装着しているかを検出するためのシートベルト装着検出処理を実行する(ステップA2)。
図8は、第1実施形態におけるシートベルト装着検出処理の動作を説明するためのフローチャートである。
プロセッサ20Aは、搭乗者がいると判別された座席を撮影しているカメラ22から、撮影された画像の画像データを入力する(ステップB1)。カメラ22は、前述したように、例えば近赤外光により画像を撮影している。
プロセッサ20Aは、カメラ22から入力した画像から、認識用マーキング(識別部材40A,40B)に相当する識別画像を検出する(ステップB2)。例えば、プロセッサ20Aは、識別画像に相当する画像領域を抽出し、この画像領域について識別部材40A,40Bのパターンに基づいて認識処理を実行する。
図9は、第1実施形態におけるカメラ22から入力された画像の一例を示している。図9では、1つの座席に相当する領域の画像を表している。図9において、領域SA1は、搭乗者の肩上位置周辺に相当する領域であり、領域SA2は、座席の固定具の近傍に相当する領域である。
プロセッサ20Aは、領域SA1から識別部材40Aに相当する識別画像を検出する。また、プロセッサ20Aは、領域SA2から識別部材40Bに相当する識別領域を検出する。なお、図9には、図6の(A)に示すパターンの識別部材40A,40Bが用いられた例を示しており、近赤外光により撮影される一様なパターンの識別画像が含まれている。領域SA1,SA2を対象として識別画像を検出することで、画像全体を処理対象とする場合よりも処理時間を短縮することができ、また識別部材40A,40Bに相当しない画像が検出されにくくなるので識別画像の誤認識を回避することができる。
プロセッサ20Aは、識別領域を検出した場合(ステップB3、Yes)、検出結果としてシートベルトの装着有りを出力する(ステップB4)。なお、コントロールユニット20は、少なくとも識別部材40Aに相当する識別画像が検出された場合に、シートベルトの装着有りを出力するものとする。ただし、識別部材40A,40Bの両方に相当する識別画像が検出された場合に、シートベルトの装着有りを出力するようにしても良い。
プロセッサ20Aは、シートベルト装着検出処理によって装着有りが判別されると(ステップA3、Yes)、表示装置28において、該当する座席のシートベルトについて装着有りを示す情報を表示させる(ステップA4)。この場合、プロセッサ20Aは、キーオフされるまでの間(ステップA8、No)、例えば一定期間(1分間隔)毎に、シートベルト装着処理を実行することにより(ステップA2)、シートベルト4が装着されているかを確認する。
一方、プロセッサ20Aは、シートベルト装着検出処理によって装着有りが判別されなかった場合(ステップA3、No)、すなわちカメラ22により撮影された画像から識別画像が検出されなかった場合には、表示装置28において、該当する座席のシートベルトについて装着無し(未装着)を示す情報を表示させる(ステップA5)。この場合、プロセッサ20Aは、キーオフされるまでの間(ステップA8、No)、例えば一定期間毎に、シートベルト装着処理を実行することにより(ステップA2)、シートベルト4が装着されているかを確認する。装着が検出された場合には、プロセッサ20Aは、前述のようにして装着有りを表示装置28において表示させる。
プロセッサ20Aは、全ての搭乗者がシートベルト4を装着していない状態において、走行が開始された場合には(ステップA6、Yes)、シートベルト4の未装着を通知するための警報を出力する。例えば、プロセッサ20Aは、表示装置28に警報を表す情報を表示したり、スピーカ(図示せず)から警報音を出力させたりする。
プロセッサ20Aは、走行が開始された後、シートベルト装着検出処理を続けて実行し、搭乗者がいる全ての座席でのシートベルト4の装着が検出されるまで、警報の出力を続ける。警報出力中のシートベルト装着検出処理は、装着が検出された場合の一定期間よりも短い間隔(例えば1秒間隔)毎に実行する。
なお、前述した説明では、1つの座席について1台のカメラ22によって撮影しているが、1つの座席について複数台(例えば2台)のカメラ22で撮影している場合には、複数のカメラ22により撮影された画像を対象として1つの座席についてシートベルト装着検出処理を実行することができる。この場合、例えば1台目のカメラ22により撮影された画像を対象としてシートベルト装着検出処理をした結果、未装着と判別された場合に、2台目のカメラ22により撮影された画像を対象としてシートベルト装着検出処理を実行する。この結果、識別画像が検出された場合には、シートベルトが装着されているものと判別する。すなわち、複数のカメラ22により撮影された画像を対象とした処理結果を組み合わせて、1つの座席におけるシートベルトの装着を判別する。これにより、シートベルトの装着の有無を確実に判定することができる。
このようにして、第1実施形態における装着検出装置10は、バックル45とタングプレート46との装着を検出するといった機械的な方法では無く、カメラ22によって撮影した画像をもとに、搭乗者がいる各座席におけるシートベルト4の装着を検出することができる。また、装着検出装置10は、各座席の搭乗者の有無についてカメラ22により撮影された画像をもとに判別している。従って、各座席において搭乗者の有無を検出するための重量センサ、及びバックル45とタングプレート46との装着を検出する装着センサを設ける必要が無い。このため、重量センサと装着センサからの信号を装着検出装置10に送るためのケーブルを配設する必要がなく、自動車内の配線の数を削減することができる。特に、2列目シート31のように大きく移動可能とするために、座席から配設するケーブルが障害とならない。
(第2実施形態)
次に、第2実施形態について説明する。
図1に示す第1実施形態の構成では、コントロールユニット20に複数のカメラ22からの画像データを入力して、コントロールユニット20においてシートベルト装着検出処理を実行している。第2実施形態では、カメラユニットにおいてシートベルト装着検出処理を実行して、検出結果をコントロールユニットに出力する。
図10は、第2実施形態における装着検出装置110の構成を示すブロック図である。なお、図1に示す構成と同じ部分については、同じ名称を付して詳細な説明を省略する。
図10では、例えば3台のカメラユニット122(122A,122B,122C)が設けられている。カメラユニット122Aは、カメラユニット122B,122Cと同じ構成を有しているものとする。
カメラユニット122Aは、検出回路120とカメラ121とを有する。カメラ121は、第1実施形態におけるカメラ22と同様に構成される。すなわち、カメラ121は、例えば近赤外光により画像を撮影することができる。
検出回路120は、カメラ121により撮影された画像から、特定の波長光を反射する部材に対応する識別画像を検出することができる。すなわち、検出回路120は、第1実施形態におけるコントロールユニット20と同様の識別画像を検出する機能を有する。検出回路120は、カメラ121からの画像をもとにシートベルト装着検出処理を実行する。
検出回路120は、識別領域を検出した場合、検出結果としてシートベルトの装着有りをコントロールユニット119に出力する。この場合、コントロールユニット119は、表示装置128において、該当する座席のシートベルトについて装着有りを示す情報を表示させる。一方、コントロールユニット119は、検出回路120において識別領域が検出されなかった場合、表示装置128において、該当する座席のシートベルトについて装着無し(未装着)を示す情報を表示させる。
このようにして、第2実施形態では、カメラユニット122にシートベルト装着検出処理を実行する検出回路120を見受けることで、カメラユニット122をシートベルト装着検出のセンサとして使用することができる。従って、既存のECUにおいて、バックル45とタングプレート46との装着を検出するセンサからの信号に代えて、カメラユニット122からの信号(装着検出有無を示す)を入力するように構成することができる。
なお、前述した各実施形態の説明では、シートベルト(拘束装置)が設けられた自動車を例にして説明しているが、シートベルトが設けられた他の乗り物に適用することも可能である。例えば、アミューズメント施設に設置された乗り物に拘束装置が設けられている場合に、この拘束装置の装着検出に適用することができる。
また、前述した各実施形態の説明では、コントロールユニット20によるシートベルトの識別画像の検出の結果、すなわちシートベルトの装着の判別結果を表示装置に表示させるとしているが、表示装置以外の他の出力装置を使用しても良い。例えば、識別画像の検出の結果に応じて、スピーカから音を出力させたり、バイブレータなどの振動装置によって振動を発生させたりすることも可能である。
また、図3及び図4に示すシートベルト4は、3点式のシートベルトを例にして説明しているが、例えば2点式あるいは4点式のシートベルトに適用することもできる。4点式のシートベルトの場合には、2箇所から引き出される2本のストラップのそれぞれについて、前述したように、ストラップに設けられた識別部材を検出する。これにより、2本のストラップのそれぞれについて装着されているかを検出することができる。
なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラム(装着検出プログラム)として、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、光磁気ディスク(MO)、半導体メモリなどの記憶媒体に格納して頒布することもできる。
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は1つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (10)

  1. 座席に着席した搭乗者を拘束するために装着されるものであって、装着時と非装着時において露出される範囲が変化するストラップが設けられた拘束装置と、
    前記拘束装置のストラップを含む画像を撮影する撮影装置と、
    前記撮影装置により撮影された画像から、前記ストラップの装着時に露出される範囲に付加された識別部材に相当する識別画像を検出するコントロールユニットと、
    前記識別画像の検出の結果を出力する出力装置とを有する装着検出装置。
  2. 装着時と非装着時において露出される範囲が変化するストラップが設けられた拘束装置の画像を撮影する撮影装置と、
    前記撮影装置により撮影された画像から、前記ストラップの装着時に露出される範囲に付加された識別部材に相当する識別画像を検出するコントロールユニットと
    を有する装着検出装置。
  3. 前記撮影装置は、可視光外の特定の波長光の画像を撮影し、
    前記コントロールユニットは、前記ストラップに設けられた前記特定の波長光を反射する識別部材に対応する識別画像を検出する請求項2記載の装着検出装置。
  4. 前記コントロールユニットは、前記撮影装置により撮影された画像から、予め決められた複数箇所の範囲のそれぞれにおいて前記識別画像を検出する請求項2記載の装着検出装置。
  5. 前記コントロールユニットは、
    前記撮影装置により撮影された画像をもとに座席に着席した搭乗者を検出し、
    前記搭乗者が検出された場合に前記識別画像を検出する請求項2記載の装着検出装置。
  6. 可視光外の特定の波長光の画像を撮影する撮影装置と、
    前記撮影装置により撮影された画像から、特定の波長光を反射する部材に対応する識別画像を検出する検出回路とを有するカメラユニット。
  7. 前記検出回路は、前記撮影装置により撮影された画像をもとに座席に着席した搭乗者を検出する請求項6記載のカメラユニット。
  8. 座席に着席した搭乗者を拘束するために装着される拘束装置において、
    非装着時には収納部内に収納された状態にあり、装着時には前記収納部内から引き出されて露出されるストラップと、
    装着するために前記収納部内から引き出された前記ストラップを固定する固定具とを有し、
    前記固定具により固定された前記ストラップの露出される範囲に、可視光外の特定の波長光を反射する識別部材が設けられた拘束装置。
  9. 座席に着席した搭乗者の肩上位置に前記収納部から引き出された前記ストラップを誘導する誘導部材が設けられ、
    前記ストラップが前記固定具により固定された時に、前記誘導部材により誘導された前記ストラップの搭乗者の肩上位置周辺で露出される範囲に前記識別部材が設けられた請求項8記載の拘束装置。
  10. コンピュータを、
    装着時と非装着時において露出される範囲が変化するストラップが設けられた拘束装置の画像を撮影装置により撮影させる手段と、
    前記撮影装置により撮影された画像から、前記ストラップの装着時に露出される範囲に付加された識別部材に相当する識別画像を検出させる手段として機能させるための装着検出プログラム。
JP2018514489A 2016-08-31 2016-08-31 装着検出装置、撮影装置、拘束装置及び装着検出プログラム Active JP6629434B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/075446 WO2018042536A1 (ja) 2016-08-31 2016-08-31 装着検出装置、撮影装置、拘束装置及び装着検出プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019218001A Division JP6730505B2 (ja) 2019-12-02 2019-12-02 装着検出装置、カメラユニット及び装着検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2018042536A1 true JPWO2018042536A1 (ja) 2018-08-30
JP6629434B2 JP6629434B2 (ja) 2020-01-15

Family

ID=61300380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514489A Active JP6629434B2 (ja) 2016-08-31 2016-08-31 装着検出装置、撮影装置、拘束装置及び装着検出プログラム

Country Status (4)

Country Link
US (1) US10997440B2 (ja)
EP (1) EP3508385B1 (ja)
JP (1) JP6629434B2 (ja)
WO (1) WO2018042536A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10501048B2 (en) * 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
JP7081315B2 (ja) * 2018-06-07 2022-06-07 トヨタ自動車株式会社 シートベルト装着状態判定装置
DE102018129267A1 (de) * 2018-11-21 2020-05-28 Trw Automotive Gmbh Verfahren zur Herstellung eines Gurtbandes für ein Sicherheitsgurtsystem in einem Fahrzeug, Gurtband sowie Fahrzeug mit Gurtband
US10850702B2 (en) * 2019-03-18 2020-12-01 Pony Ai Inc. Vehicle seat belt monitoring
US11210539B2 (en) * 2019-04-04 2021-12-28 Joyson Safety Systems Acquisition Llc Detection and monitoring of active optical retroreflectors
US11117545B2 (en) * 2019-04-19 2021-09-14 GM Global Technology Operations LLC System and method for determining seatbelt routing
US11247698B2 (en) * 2019-08-28 2022-02-15 Toyota Motor North America, Inc. Methods and systems for monitoring rear objects in a vehicle
EP3848256A1 (en) 2020-01-07 2021-07-14 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
US20220203930A1 (en) * 2020-12-29 2022-06-30 Nvidia Corporation Restraint device localization
US20220250570A1 (en) * 2021-02-05 2022-08-11 Veoneer Us, Inc. Seatbelt buckle engagement detection
US11975683B2 (en) * 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2008068742A (ja) * 2006-09-14 2008-03-27 Honda Motor Co Ltd 車両のシートベルト装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10142792B4 (de) * 2001-08-31 2005-05-04 Daimlerchrysler Ag Verfahren zur Ermittlung des Anlegestatus eines Sicherheitsgurts
JP4403102B2 (ja) 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
US20070195990A1 (en) * 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
US20090096200A1 (en) * 2007-10-15 2009-04-16 Elaine Jamison Reflective seatbelts for increasing safety for patrol officers and motorists
JP2009132303A (ja) 2007-11-30 2009-06-18 Denso Corp 車載ディスプレイ作動装置
JP5251539B2 (ja) * 2009-01-21 2013-07-31 マツダ株式会社 車両の状態認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2008068742A (ja) * 2006-09-14 2008-03-27 Honda Motor Co Ltd 車両のシートベルト装置

Also Published As

Publication number Publication date
EP3508385B1 (en) 2021-07-14
WO2018042536A1 (ja) 2018-03-08
JP6629434B2 (ja) 2020-01-15
EP3508385A4 (en) 2020-01-15
US10997440B2 (en) 2021-05-04
EP3508385A1 (en) 2019-07-10
US20190197326A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6629434B2 (ja) 装着検出装置、撮影装置、拘束装置及び装着検出プログラム
US10940828B2 (en) Detection and monitoring of occupant seat belt
EP3191864B1 (en) Radar sensing of vehicle occupancy
US7920722B2 (en) Occupant detection apparatus
CN104908705B (zh) 安全带使用监控的系统和方法
EP1980452A1 (en) Occupant detection apparatus, operation device control system, seat belt system, and vehicle
EP1985505A2 (en) Occupant information detection system, occupant restraint system, and vehicle
US20070229661A1 (en) Object detecting system and method
JP6730505B2 (ja) 装着検出装置、カメラユニット及び装着検出プログラム
CN103359035B (zh) 包括多个主动或被动的安全装置的机动车
JP2007055294A (ja) 車両用乗員検知装置
JP2016199207A (ja) シートベルト警告装置
US20150125126A1 (en) Detection system in a vehicle for recording the speaking activity of a vehicle occupant
JP2007276576A (ja) 対象物検出システム、作動装置制御システム、車両、対象物検出方法
US20220227331A1 (en) Safety Apparatus for Indicating the Usage State of a Seat Belt
JP2013216187A (ja) シートベルト装置
JP2016222145A (ja) 乗員拘束制御装置
JP6187399B2 (ja) 車両用シートベルト警告装置
JP2016199208A (ja) シートベルト警告装置
GB2622599A (en) Method and system for detecting a seatbelt status of a vehicle seat
JP2011182827A (ja) シートベルト変位検出装置
JP4719627B2 (ja) 車両のシートベルト装置
KR20230090556A (ko) 차량의 시트 벨트 검출 방법 및 그 검출 장치
KR101749655B1 (ko) 웨빙클립 감지모듈 및 이를 포함하는 시트벨트용 리트랙터
KR20210088867A (ko) 물에 잠기면 자동으로 풀리는 안전벨트

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191204

R150 Certificate of patent or registration of utility model

Ref document number: 6629434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250