JPH1178657A - 座席の使用状況判定装置 - Google Patents

座席の使用状況判定装置

Info

Publication number
JPH1178657A
JPH1178657A JP9246794A JP24679497A JPH1178657A JP H1178657 A JPH1178657 A JP H1178657A JP 9246794 A JP9246794 A JP 9246794A JP 24679497 A JP24679497 A JP 24679497A JP H1178657 A JPH1178657 A JP H1178657A
Authority
JP
Japan
Prior art keywords
seat
edge
image
occupant
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9246794A
Other languages
English (en)
Other versions
JP3286219B2 (ja
Inventor
Satoshi Hatake
聡志 畠
Jiro Nakano
次郎 中野
Yasushi Uenaka
裕史 植中
Kazuo Hisama
和生 久間
Atsushi Ota
淳 太田
Shinya Oita
真也 追田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Toyota Motor Corp
Original Assignee
Mitsubishi Electric Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Toyota Motor Corp filed Critical Mitsubishi Electric Corp
Priority to JP24679497A priority Critical patent/JP3286219B2/ja
Priority to US09/149,004 priority patent/US6480616B1/en
Priority to CA002244061A priority patent/CA2244061C/en
Priority to DE19841399A priority patent/DE19841399B4/de
Publication of JPH1178657A publication Critical patent/JPH1178657A/ja
Application granted granted Critical
Publication of JP3286219B2 publication Critical patent/JP3286219B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/28—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/28—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle
    • B60N2/2857—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle characterised by the peculiar orientation of the child
    • B60N2/286—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle characterised by the peculiar orientation of the child forward facing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/28—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle
    • B60N2/2857—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle characterised by the peculiar orientation of the child
    • B60N2/2863—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle characterised by the peculiar orientation of the child backward facing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Air Bags (AREA)
  • Seats For Vehicles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Passenger Equipment (AREA)

Abstract

(57)【要約】 【課題】 自動車の助手席の乗員保護装置を適切に作動
させるために、使用状況を的確に把握する 【解決手段】 助手席１０およびその周囲の所定の複数
点に対し、スポット光２０を照射し、カメラ１８でこれ
をとらえて、スポット光２０の照射位置に基づき距離測
定を行う（距離算出部４２）。一方、カメラ１８により
とらえた画像情報から、座席の輪郭やチャイルドシート
１２の輪郭の形状など座席の使用状況ごと特徴を検出す
る（輪郭抽出部３６）。この使用状況ごとの特徴と前記
距離測定された距離情報に基づき、座席使用状況の判定
を行う（使用状況判定部６０）。この判定に基づきエア
バッグ装置２８などの乗員保護装置の作動制御を行う
（作動制御部６２）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、座席に人が座って
いるのか、荷物などが置かれているのかなどの座席の使
用状況を判定する装置に関し、特に自動車などにおい
て、その座席の使用状況に応じて、エアバック装置やシ
ートベルト装置などの乗員保護装置の作動を制御する装
置に関する。
【０００２】
【従来の技術】車両などの事故時において、乗員が車両
内部の構造体にぶつかることを防止し、乗員保護する乗
員保護装置が実用に供されている。乗員保護装置は、具
体的にはエアバック装置、シートベルト装置などがあ
る。エアバック装置は、車両が衝突したときに、乗員と
車両内部の構造体の間にエアバッグを展開し、これがク
ッションとなって乗員を受け止め、乗員が前記の構造体
に衝突することを防止するものである。また、シートベ
ルト装置は乗員を座席に固定し、乗員が前記構造体に衝
突することを防止するものである。特に、近年車両衝突
時にシートベルトを所定の長さ引き込んで、より強固に
乗員を座席に固定するプリテンショナ付きのシートベル
ト装置も実用に供されている。また、これらの乗員保護
装置が、運転席のみならず助手席にも装備された車両が
実用に供されている。
【０００３】従来の乗員保護装置は、座席、特に助手席
に乗員が着席していない場合であっても、車両衝突時に
は作動する。この作動は無意味な作動であり、修理にあ
たっては、作動した装置の交換はもちろん、エアバッグ
が納められたダッシュボード（インストルメントパネ
ル）生じ、修理費が増加するという問題があった。
【０００４】特開平６−２０６５１４号公報には、車体
の所定位置、たとえば乗員の頭上の天井部から座席に向
けて距離測定を行い、この距離に基づき乗員の有無を検
出する装置が開示されている。
【０００５】
【発明が解決しようとする課題】前記公報に記載された
装置のように、前記天井部から乗員までの距離に基づき
乗員の存在を検出しようとしても、助手席に荷物が置い
てあった場合などこれを乗員と誤検出する可能性があ
る。その他、チャイルドシートが前向きに設置されてい
るのか、後ろ向きに設置されているのか、さらにチャイ
ルドシート上の子供の有無など、距離測定だけでは十分
に判別することができなかった。
【０００６】本発明は、上記の問題点を解決するために
なされたものであり、座席の使用状況を判定する座席の
使用状況判定装置、およびこの判定装置の判定に基づき
適切に作動する助手席乗員保護装置を提供することを目
的とする。
【０００７】
【課題を解決するための手段】前述の課題を解決するた
めに、本発明にかかる座席の使用状況判定装置は、座席
および座席の周囲の所定の複数点に対し、上方の所定点
からの距離を測定し、距離情報を得る距離計測手段と、
座席の少なくとも一部を含む範囲を撮影し、画像情報を
得る撮影手段と、前記画像情報より輪郭を抽出する輪郭
抽出手段と、前記距離情報と前記輪郭の形状に基づき、
座席の使用状況を判定する使用状況判定手段とを有して
いる。抽出された輪郭は、その形状によって、座席の輪
郭であるのか、座席上に置かれた物体のものであるの
か、また着席者のものであるのか、ある程度判断ができ
る。さらに、距離情報と組み合わせれば、座席の模様や
座席に写った影などの２次元的なものを排除することが
できるので、判定の精度が向上する。
【０００８】さらに、座席の調整による移動量を検出す
る座席移動量検出手段と、前記座席の移動量に基づき前
記距離情報を補正する距離情報補正手段と、を有するも
のとすることができる。車両に備えられた座席には、座
席の前後、上下の移動、背もたれの角度の変更などが可
能なものが知られており、これらの移動量などによっ
て、得られる距離情報が異なってくる。前記の座席移動
量検出手段と距離情報補正手段を有することによって、
前記の移動量などの変更に対応することができ、より判
定精度が向上する。
【０００９】さらに、座席の形状の経時変化を算出する
形状変化算出手段を有し、前記距離情報補正手段は、前
記座席の移動量と前記座席形状の変化に基づき前記距離
情報を補正するものとすることができる。これによれ
ば、座席の形状の経時変化にも対応することができ、判
定精度を向上することができる。
【００１０】また、本発明にかかる他の座席使用状況判
定装置は、座席の少なくとも一部を含む範囲を撮影し、
画像情報を得る撮影手段と、前記画像情報に基づき当該
画像のエッジの検出を行うエッジ検出手段と、前記エッ
ジの形状に基づき座席の使用状況を判定する使用状況判
定手段と、を有している。ここで、エッジとは、隣接す
る画素の明暗などの画像情報の差が、特に大きい部分の
ことであり、このエッジは物体の縁付近に集中して現れ
る傾向がある。このエッジの形状に基づき判定すること
で、座席および座席に置かれている物体の形状を確実に
判定することができる。
【００１１】さらに、前記エッジの形状に基づき判定を
行う使用状況判定手段は、座席の座面の縁付近に現れる
エッジ形状が検出された場合に、着席者がいないことを
判定するものとすることができる。
【００１２】さらに、前記エッジの形状に基づき判定を
行う使用状況判定手段は、着席者の脚の輪郭付近に現れ
るエッジ形状が検出された場合に、着席者がいることを
判定するものとすることができる。特に、前述の座席の
座面にかかるエッジ形状と着席者の脚にかかるエッジ形
状の双方により判定を行うことで、より判定の精度を向
上させることができる。
【００１３】さらに、前記エッジの形状に基づき判定を
行う使用状況判定手段は、前記エッジの傾きを算出する
傾き算出手段と、前記エッジの傾きごとの出現頻度を算
出する頻度算出手段とを含み、前記エッジの出現頻度を
エッジの形状とするものとすることができる。
【００１４】さらに、前記頻度算出手段は、前記撮影さ
れた画像の範囲を縦横に所定数分割し、前記分割された
個々の画像の縦の列ごとに縦エッジの出現頻度を算出
し、横の列ごとの横エッジの出現頻度を算出するものと
することができる。
【００１５】また、本発明にかかるさらに他の座席の使
用状況判定装置は、座席の少なくとも一部を含む範囲を
撮影し、画像情報を得る撮影手段と、前記撮影範囲の座
席使用状況ごとの代表画像を少なくとも一つ記憶する代
表画像記憶手段と、前記画像情報と前記代表画像を比較
し、座席の使用状況を判定する使用状況判定手段と、を
有している。実際に得られた画像情報と代表画像の各々
を比較し、より類似している代表画像の属する使用状況
を現在の座席の使用状況と判定する。
【００１６】さらに、前記画像情報に基づき当該画像の
エッジを検出し、エッジ画像を生成するエッジ画像生成
手段を有し、前記代表画像との比較により判定を行う使
用状況判定手段は、前記エッジ画像を比較して座席の使
用状況を判定するものとすることができる。エッジ画像
は、隣接する画素との明度などの画像情報の差を明度と
して表した画像であり、たとえば隣接画素の明度の差が
大きい部分、すなわちエッジが急峻な部分が白く表示さ
れ、差が小さい部分が黒く表示された画像である。この
とき記憶された代表画像は、エッジ画像をあらかじめ記
憶しても、また通常の画像を記憶し、そのたびごとにエ
ッジ画像を生成しても良い。
【００１７】さらに、座席の調整による移動量を検出す
る座席移動量検出手段と、前記座席の移動量に基づき比
較すべき前記代表画像を定める代表画像決定手段を有す
るものとすることができる。座席が移動すると撮影画像
中の座席の位置が変化するので、比較対象の代表画像も
これに応じて変更する必要があり、前記の構成によりこ
れに対応することができる。
【００１８】また、本発明にかかるさらに他の座席の使
用状況判定装置は、座席の少なくとも一部を含む範囲を
撮影し、画像情報を得る撮影手段と、前記画像情報を記
憶する画像情報記憶手段と、前記画像情報記憶手段に所
定時間前に記憶された画像情報と、現時点で撮影された
画像情報を比較して、座席の使用状況を判定する使用状
況判定手段とを有するものとすることができる。以前の
画像情報と今回の画像情報を比較することにより、動き
の有無を検出することができ、これによって乗員の有無
を判定することができる。
【００１９】さらに、画像情報の変化に基づき判定を行
う使用状況判定手段は、前記所定時間前に記憶された画
像と、現時点で撮影された画像を比較して、画像変化の
大きい領域を特定する動き領域特定部を有し、前記特定
された領域の位置に基づき座席の使用状況を判定するも
のとすることができる。
【００２０】また、本発明にかかるさらに他の座席の使
用状況判定装置は、座席の少なくとも一部を含む範囲を
赤外領域で撮影し温度分布を得る温度分布撮影手段と、
前記温度分布に基づき、座席の使用状況を判定する使用
状況判定手段とを有している。着席者がいれば、着席者
の体表面が体温程度となり、これを検出することができ
る。
【００２１】また、本発明にかかる他の態様である乗員
保護装置は、前述したいずれかの座席の使用状況判定装
置を少なくともひとつ備え、所定条件下において、車両
内部構造体への衝突から乗員を保護する保護手段と、前
記座席の使用状況に応じて前記保護手段の作動を制御す
る制御手段とを有している。また、複数の使用状況判定
装置を備える場合には、各々判定装置の判定結果に対し
所定の重み付けを行い、総合して使用状況の判定をする
ことが好ましい。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態（以下
実施形態という）を、図面に従って説明する。以下に示
す各実施形態は、本発明を自動車の助手席の使用状況を
判定する装置およびこの装置の判定に基づき作動する乗
員保護装置に適用したものである。
【００２３】第１実施形態 図１には、本発明の第１の実施形態の座席の使用状況判
定装置および乗員保護装置の概略構成が示されている。
図には、乗用車の助手席１０上にチャイルドシート１２
が置かれ、子供１４がチャイルドシート１２上に仰向け
寝かされている状態が示されている。そして、子供１４
の頭が車両前方に、足が車両の後方に向くようにチャイ
ルドシート１２が設置されている。以降、このような設
置方向を後ろ向きと呼び、逆に子供が正面を向くように
設置する方向を前向き設置と呼ぶ。
【００２４】助手席と運転席の中間の天井部分には、ス
ポット光源１６と、カメラ１８が設置されている。スポ
ット光源１６は、複数の赤外線のスポット光２０を助手
席およびその周囲に向けて照射する。本実施形態におい
ては、図２に示すようにスポット光２０の照射点が、助
手席１０の座面上でほぼ助手席中心線上に並ぶように各
々のスポット光２０の向きが定められている。カメラ１
８は、図２に示すように、助手席１０のシートクッショ
ン２２およびその前方を撮影範囲２４としている。
【００２５】助手席１０前方のインストルメントパネル
２６内部には、エアバッグ装置２８が納められている。
そして、車両が衝突したとき必要に応じてエアバッグが
展開し、助手席１０の乗員の主に頭部、胸部を受け止
め、乗員の身体が車両の構造物に衝突することを防止す
る。
【００２６】さらに、本実施形態においては、助手席の
前後方向の位置を検出するスライドセンサ３０と上下方
向の位置を検出するチルトセンサ３２が備えられてい
る。
【００２７】カメラ１８で撮影された映像は、画像情報
として制御部３４に送られる。この画像情報は、スポッ
ト光２０の照射像を含んでいる。また、スライドセンサ
３０およびチルトセンサ３２の出力も制御部３４に送ら
れる。制御部３４では、輪郭抽出部３６にて、送られて
きた画像情報を基にシートクッション２２およびチャイ
ルドシート１２の輪郭線（図中、太線で示す）の抽出を
試みる。輪郭の抽出は、画像のエッジ、すなわち隣接す
る画素との明度差が大きい画素を抽出し、この抽出され
たエッジの配列の形状を基に行われる。
【００２８】具体的には、以下のように行われる。図３
は、助手席のシートクッション２２に乗員や荷物がない
状態の映像を示している。図４は、とらえた助手席の映
像に対しエッジ処理を行った映像の例が示されている。
シートクッション２２の位置は、スライドセンサ３０お
よびチルトセンサ３２により分かるので、シートクッシ
ョンの縁部分の位置はあらかじめ推定できる。この領域
が、図４において一点鎖線の長方形で示されている。す
なわち、シートクッション２２の側端の存在領域を示す
側端領域３８と前端の存在領域を表す前端領域４０であ
る。側端領域３８においては、シートクッション２２の
縁は図中縦方向に延びていると考えられるので、この領
域内で、縦方向に連続して延びる所定の長さ以上のエッ
ジをシートクッション２２の縁と認識することができ
る。また、前端領域４０においては、シートクッション
２２の縁は図中横方向に延びていると考えられるので、
この領域内で、横方向に連続して延びる所定長さ以上の
エッジをシートクッション２２の縁として認識すること
ができる。この縁がシートクッション２２を輪郭として
認識する。チャイルドシート１２についても同様に輪郭
を抽出する。
【００２９】さらに、距離算出部４２が助手席およびそ
の周囲に対する距離測定を行う。図５は、距離測定の原
理を説明するための図である。スポット光源１６が出力
されたビームはシートクッション２２に物体がない場
合、図中点線４４に沿ってシートクッション２２で反射
し、レンズ４５を通過して、カメラ１８の画像センサ４
６上の点Ａに結像する。シートクッション２２に物体４
８があるとビームは実線５０のように進み、画像センサ
４６上の点Ｂに結像する。点Ａと点Ｂの距離ｄに基づき
物体４８の表面までの距離ｙを算出することができる。
すなわち、スポット光源１６とレンズ４５の中心までの
距離をＬ、レンズ４５の焦点距離ｆ、スポット光の照射
角をθとすれば、距離ｙは次式で求めることができる。
【００３０】
【数１】ｙ＝Ｌ／（ｄ／ｆ＋ｔａｎ-1θ） 距離算出部４２は、スライドセンサ３０とチルトセンサ
３２から得られた助手席１０の位置の情報と、あらかじ
め記憶されている助手席１０の形状に基づき、助手席上
にものがない場合のスポット光１６の照射点の位置と実
際に得られた照射点の位置との差に基づき距離測定を行
う。
【００３１】距離に関する情報を得たことにより、前述
のように得られた輪郭が、実際の物体か、シートクッシ
ョン２２上に映った影などの平面的なものであるかの判
別ができる。さらに、図１および２のように、スポット
光２０を複数とすれば、チャイルドシート１２の子供の
有無も推定可能である。すなわち、子供がいなければ、
チャイルドシート１２上の照射点は、下に凸の略円弧上
に載るが、子供がいる場合は、照射点が子供の身体上と
なり凹凸が発生し、これをもって推定が可能である。
【００３２】また、スポット光２０の照射位置を適宜設
定すれば、助手席の他の使用状況に対応することができ
る。たとえば、図６のようにシートクッション２２の前
端付近に横方向に並べてスポット光２０を照射すれば、
図７に示すように乗員の大腿部に照射され、このときの
特徴から乗員の有無を推定することができる。また、図
８および図９に示すように、助手席１０の背もたれ５
４、ヘッドレスト５６にもスポット光２０を照射するこ
とによっても乗員５２の有無を判断することができる。
この場合には、乗員５２の体格に関しても判断が可能と
なる。すなわち、ヘッドレスト５６部分に物体がないと
判断されれば、ここまで頭が達しない程度の乗員である
可能性がある。なお、背もたれ５４などにスポット光２
０を照射する場合は、背もたれ５４の角度を検出するリ
クライニングセンサを設けることが好ましい。これと、
前述のスライドセンサ３０およびチルトセンサ３２によ
り、背もたれ５４などの実際の位置が分かり、乗員の有
無を推定することができる。
【００３３】図１０から図１４は、シートクッション２
２、背もたれ５４とヘッドレスト５６にスポット光２０
を照射した場合の、助手席の使用状況の推定基準を説明
するための図である。図１０は、助手席１０が空席の場
合を示し、このときのスポット光２０の照射点までの距
離が各々ｙ1，ｙ2，ｙ3である。図１１には、乗員５２
が着席している場合が示されている。このときの照射点
までの距離をｙ1’，ｙ2’，ｙ3’とすると、乗員がい
ない場合との差（ｙ1−ｙ1’），（ｙ2−ｙ2’），（ｙ
3−ｙ3’）がどの点においても現れる。図１２には、チ
ャイルドシート１２が前向きに設置された場合が示され
ている。このときは、ヘッドレスト５６部分の差（ｙ1
−ｙ1’）が現れない。さらに、図１３には、チャイル
ドシート１２が後ろ向きに設置された場合が示されてい
る。このときは、ヘッドレスト５６部分の差（ｙ1−
ｙ1’）と背もたれ５４部分の差（ｙ2−ｙ2’）が現れ
ない。さらに、図１４には、チャイルドシート１２が前
向きに設置され、子供が着席している場合が示されてい
る。このときは、ヘッドレスト５６部分の差（ｙ1−
ｙ1’）が現れず、さらに背もたれ５４部分の差（ｙ2−
ｙ2’）が図１２に示す場合よりも大きくなる。以上の
傾向に従って、助手席の使用状況が推定できる。
【００３４】なお、助手席１０の位置は、スライド、チ
ルト、リクライニングなどにより変化するので、ｙ1，
ｙ2，ｙ3の値は、前述のスライドセンサ３０、チルトセ
ンサ３２およびリクライニングセンサの出力に基づき、
距離補正部５８によって補正される。
【００３５】図１５には、乗員５２が斜めに着席してい
る状態が示されている。このように、頭部がヘッドレス
ト５６からはずれていると、スポット光２０の照射点の
位置（ｙ1−ｙ1’），（ｙ2−ｙ2’），（ｙ3−ｙ3’）
が前述の図１４の場合に近いものとなる。このように距
離測定のみの情報では、使用状況の十分な判定が行えな
い可能性がある。使用状況判定部６０は、前述の輪郭情
報などと組み合わせて総合的に座席の使用状況の判定を
行う。作動制御部６２は、判定された使用状況に応じて
エアバッグ装置２８の展開の制御を行う。たとえば、助
手席１０が空席の状態であれば、エアバッグの展開は不
要であるので、衝突が感知されてもエアバッグの展開を
行わないよう制御する。
【００３６】なお、輪郭の検出は、あらかじめシートク
ッション２２やチャイルドシート１２の縁の部分を、所
定の波長の光線を吸収または反射する材料で構成するこ
とにより、行うこともできる。この場合、所定波長を可
視領域外とすれば、助手席１０やチャイルドシート１２
の意匠を損なうことがなく、好適である。
【００３７】また、シートクッション２２の端部の検出
に際し、助手席１０の動きに合わせて測端領域３８や前
端領域４０の設定を行うとしたが、あらかじめこれらの
領域を広めに設定することによって、助手席１０の移動
量に応じた設定変更を不要とすることができる。特に、
助手席１０の移動範囲が小さい場合などには、好適であ
る。
【００３８】さらに、助手席１０に乗員や荷物などがな
い場合、あらかじめ記憶されている助手席１０の形状
と、実際に測定されたスポット光２０の照射点までの距
離に基づいて、記憶されている助手席１０の形状の修正
を行うようにすることもできる。助手席１０の形状は、
時が経つと、へたりなどによって変化する場合があり、
この形状の経時変化を修正することにより、判定の精度
向上を図ることができる。
【００３９】第２実施形態 図１６は、本発明の第２実施形態の構成ブロック図であ
る。撮影部１００は、前述の第１実施形態のカメラ１８
に相当し、助手席をその上方より撮影することができ
る。撮影部１００により得られた画像情報が制御部１０
２に送出され、エッジ検出部１０４にてエッジ検出が行
われる。エッジは、隣接する画素間の明度などの画像情
報の差分に相当する情報である。本実施形態において
は、画素間の明度差をエッジとしている。このエッジが
大きいと、隣接画素間で、より大きな明度の差があるこ
ととなる。第１実施形態において述べたように、助手席
に何も置かれていない場合においては、図４に示される
ように、側端領域３８には縦方向に延びる鋭いエッジ
（図中ダブルハッチングの部分）が現れる。また、前端
領域４０においては、横方向に延びる鋭いエッジが現れ
る。
【００４０】使用状況判定部１０６は、このようなエッ
ジの形状から助手席の使用状況を判定する。使用状況判
定部１０６のエッジ解析部１０８においては、前記の側
端領域３８および前端領域４０ごとに、このエッジの総
延長と連続するものの最大長が各々所定の値を超える場
合に、これをシートクッション２２の縁と判断する。こ
のエッジ形状によりシートクッション２２の縁が検出で
きれば、助手席に乗員がいないことが推定できる。
【００４１】さらに、エッジ解析部１０８では、助手席
に乗員がいるときの特徴的なエッジ形状を判定する。図
１７は、助手席に乗員が着席しているときの腰から下を
撮影し、エッジ処理を行ったエッジ画像である。この場
合、画面下半分の中央部分（図中一点鎖線の長方形で示
す）の脚エッジ領域１１０が設定されている。この領域
には、着席者の大腿部が含まれ、この部分は内股で陰影
ができ、ほぼ縦方向に延びるエッジ（脚エッジ）が発生
する。図１７においては、脚エッジ領域１１０のほぼ中
央に示されるダブルハッチングの部分１１２が脚エッジ
となる。
【００４２】使用状況判定部１０６の判定部１１４は、
前述のシートクッション２２の縁が検出され、脚エッジ
が検出できなければ乗員なしを判定し、シートクッショ
ン２２の縁が検出されず、脚エッジが検出されれば乗員
有りを判定する。その他の場合は、不明と判定する。
【００４３】作動制御部１１６は、使用状況判定部１０
６の判定に基づき、エアバッグやプリテンショナ付きシ
ートベルトなどの乗員保護装置の作動を制御する。たと
えば、乗員なしが判定されていれば、助手席に関する乗
員保護装置の作動は不要であるので、これを禁止する制
御を行う。
【００４４】なお、本実施形態の場合も、前述の第１実
施形態と同様、助手席の移動に合わせて測端領域３８前
端領域４０、さらに脚エッジ領域１１０の設定位置を変
更することも可能である。
【００４５】第３実施形態 図１８は、本発明にかかる第３実施形態の要部を示す構
成ブロック図である。本実施形態は、図１６に示す第２
実施形態のエッジ解析部１０８の構成が異なるものであ
り、他の構成については説明を省略する。
【００４６】エッジ解析１０８の傾き算出部１２０は、
全ての画素に対してエッジの傾きの算出を行う。本実施
形態の場合は、傾きは、図１９（ａ）に示す横、右上が
り４５°、縦および右下がり４５°の４つに分類され
る。具体的には、次のよう部分類が行われる。画素(x,
y)に対し、図１９（ｂ）のフィルタを適用する。画素
(x,y)の輝度をｉ(x,y)とし、フィルタの左上の画素の値
をａ、右上をｂ、左下をｃ、右下をｄとしたとき、図示
する四つのフィルタごとに、
【数２】Ｅ＝ａ・ｉ(x,y)＋ｂ・ｉ(x+1,y)＋ｃ・ｉ(x,y
+1)＋ｄ・ｉ(x+1,y+1) を計算し、最大のＥを与えるフィルタに対する傾きを画
素(x,y)の位置における傾きとする。
【００４７】図２０には、助手席の背もたれ５４の上部
とヘッドレスト５６を写した画像の例が示されている。
この画像のエッジの傾きを算出すると図２１のようなエ
ッジ画像が得られる。同様に、図２２のように乗員５２
がいる場合には、図２３のようなエッジ画像が得られ
る。このエッジの傾きごとの出現頻度を頻度算出部１２
２が算出する。この例は、図２１のように乗員のいない
場合が図２４となり、図２３のように乗員のいる場合は
図２５のようになる。このように助手席の使用状況によ
って、傾きごとの出現頻度の分布が異なるので、これを
基に、助手席の使用状況の判定を行うことができる。た
とえば、横エッジの出現頻度が高い場合は、ヘッドレス
ト５６の輪郭が反映していると考えられるので、乗員が
いないと判定する。
【００４８】図２６から図３０には、図２０などとは異
なる撮影範囲の例が示されている。撮影範囲は、シート
クッション２２がほぼ画面の中央に納まり、背もたれ５
４の下部が入る程度の範囲である。それぞれの使用状況
は、図２６から順に、乗員なし（空席）、乗員（大人）
有り、チャイルドシート前向き（子供なし）、チャイル
ドシート後ろ向き（子供なし）、そしてチャイルドシー
ト前向き（子供あり）である。図２６から図３０の
（ａ）には、前記の使用状況における撮影画像の例が示
されている。この画像をエッジ処理し、エッジを図１９
に示した４つのエッジの傾きに分類する。この分類され
たエッジ画像が図２６から図３０の（ｂ）に示されてい
る。さらに、頻度算出部１２２は、画素の横方向の列に
おいて、その列に含まれる横エッジを計数し、この結果
が図２６から図３０の（ｂ）の右端にヒストグラムで示
されている。また、頻度算出部１２２は、縦方向の列に
おいて、その列に含まれる縦エッジを計数し、この結果
が図２６から図３０の（ｂ）の下端にヒストグラムで示
されている。これら二つのヒストグラムからそれぞれの
助手席の使用状況に関する特徴量を抽出し、異なる５種
類の状況を区別することができる。
【００４９】以上は、撮影した画像全体に対してエッジ
処理およびエッジの傾きの頻度算出を行ったが、あらか
じめ特徴的なエッジ画像の現れる領域が分かっている場
合、この領域のみに対し処理を行うようにすることがで
きる。たとえば、助手席全体を撮影し、この画像情報か
らヘッドレスト付近と、シートクッションの付近の領域
を設定して、この領域に対し、前記の処理を行うことが
できる。このようにすれば、画像処理の負担を低減する
こともできる。また、この領域は、助手席の移動量、す
なわち前述のスライドセンサ３０、チルトセンサ３２さ
らにはリクライニングセンサなどの出力に基づき設定す
ることができる。この場合、所望の領域を正確に設定す
ることができ、使用状況の判定の精度を向上することが
できる。
【００５０】また、図２６などに示した例によれば、画
素一列ごとに所定の傾きのエッジを計数したが、画面を
複数の列に分割してこの列ごとに所定の傾きのエッジを
計数することも可能である。
【００５１】第４実施形態 図３１は、本発明にかかる第４実施形態の要部を示す構
成ブロック図である。本実施形態は、図１６に示す第２
実施形態の制御部１０２の動作が異なるものである。
【００５２】撮影部２００は、第１実施形態のカメラ１
８に相当し、助手席の少なくとも一部を含む画像を撮影
する。得られた画像情報は、制御部２０２に送られ、こ
こではエッジ検出部２０４にて前述と同様のエッジ検出
処理によりエッジ画像を得る。得られたエッジ画像は、
たとえば図１７に示すような画像である。使用状況判定
部２０６は、このエッジ画像とあらかじめ代表画像記憶
部２０８に記憶されている代表画像を比較して、最も類
似度の高い代表画像を選定し、この代表画像が属する使
用状況を現在の使用状況として判定する。代表画像記憶
部２０８には、図３２に示すように、座席の使用状況ご
とに１枚または複数枚の代表画像が記憶されている。代
表画像は、単なる撮影された画像ではなく、複数の画像
を処理してその使用状況の特徴が現れるようなものとな
っている。
【００５３】使用状況の判定がなされると、作動制御部
２１０は、これに基づきエアバッグ装置などの乗員保護
装置２１２の作動の制御を行う。たとえば、助手席に乗
員がいないと判断された場合は、乗員保護装置の作動は
不要であるので、これを禁止する。
【００５４】なお、本実施形態においては、撮影された
画像に対しエッジ処理を行い、得られたエッジ画像によ
って類似性の判断を行ったが、エッジ処理前の画像と代
表画像を比較して類似性の判断を行うことも可能であ
る。また、エッジ画像で比較する場合には、記憶される
代表画像をエッジ画像とすることもできる。
【００５５】さらに、スライドセンサ３０などにより検
出された助手席の位置に基づき、撮影された画像と代表
画像の位置あわせを正確に行うことによって、判定の精
度を向上させることができる。
【００５６】第５実施形態 図３３は、本発明にかかる第５実施形態の要部を示す構
成ブロック図である。本実施形態は、図１６に示す第２
実施形態の制御部１０２の動作が異なるものである。
【００５７】撮影部３００は、第１実施形態のカメラ１
８に相当し、助手席の少なくとも一部を含む画像を撮影
する。得られた画像情報は制御部３０２に送られ、画像
情報記憶部３０４と、使用状況判定部３０６に送られ
る。画像情報記憶部３０４では、一旦画像を記憶し、所
定時間経過後、使用状況判定部３０６の要求に応じて、
記憶されている画像情報を送出する。使用状況判定部３
０６においては、現時点で撮影された画像情報と、画像
情報記憶部３０４に記憶されている所定時間前の画像情
報から、対応する画素ごとに差分を取った差分画像を得
る。
【００５８】この差分値が大きい領域を動き領域特定部
３０８が特定する。具体的には以下のように行われる。
図３４に示すように画素数ｎ×ｎの画面に対し、これよ
り小さい領域（画素数ｍ×ｍ）の領域Ｒを設定する。最
初に領域Ｒを画面の左上隅に設定する（領域Ｒ00）。こ
の領域内の差分値の合計Ｓ00を算出する。次に領域を右
に１画素分ずらし（領域Ｒ01）、この領域内で差分値の
合計Ｓ01を算出する。これを順次繰り返し、領域Ｒを右
下隅（領域Ｒ(n-m)(n-m)）まで移動させる。差分値の最
も大きい領域を動き領域として選定する。
【００５９】使用状況判定部３０６では、動き領域が図
示する判定領域Ｊ内にある場合、「動きあり」の判定を
行う。さらに、所定時間内に「動きあり」の判定が所定
回数以上なされた場合、「乗員有り」の判定を行う。判
定領域Ｊは、乗員が着席している場合、動きが頻繁に現
れる領域であり、乗員の膝を中心とした領域である。こ
の判定領域Ｊも、助手席の移動に応じてその位置を変更
することが好ましい。この使用状況判定部３０６の判定
に基づき、エアバッグ装置などの乗員保護装置３１０の
制御がなされる。この変更は、前述の実施形態と同様
に、スライドセンサ３０などの出力に基づき行うことが
できる。
【００６０】第６実施形態 図３５は、本発明にかかる第６実施形態の要部を示す構
成ブロック図である。本実施形態は、図１６に示す第２
実施形態の撮影部１００と制御部１０２が異なるもので
ある。
【００６１】温度分布撮影部４００は、赤外領域に感度
を持つ撮影装置であり、赤外線の波長に基づき対象点の
温度を算出し、これを画像情報として出力する。この温
度分布を示す画像情報が制御部４０２に送られる。
【００６２】図３６と図３７には、温度分布撮影部４０
０でとらえた画像の例が示されている。ハッチングが密
な領域ほど温度が高いことを示している。図３６は、乗
員がなく助手席の背もたれ５４の上部とヘッドレスト５
６が映っている。また、図３７は乗員がいる場合であ
り、乗員の顔の部分に温度の高い部分があることが分か
る。使用状況判定部４０４の熱源解析部４０６では、こ
れらの画像の温度ごとの画素数を計数する。この結果が
図３８および図３９に示されている。図３８が乗員がい
ない場合、図３９が乗員がいる場合である。図に示され
るように、乗員がいる場合は、３５°Ｃ前後の画素数が
多くなり、これによって使用状況判定部４０６は、座席
の使用状況、特に乗員の有無を判定する。作動制御部４
０８は、前記の判定に基づきエアバッグ装置などの乗員
保護装置４１０の作動制御を行う。たとえば、乗員がい
ないと判定された場合、エアバッグの展開は不要である
ので、作動を禁止する制御を行う。
【００６３】また、画素数を計数するのに代えて、熱源
解析部４０６で所定の温度以上の画素を抽出してその形
状に基づき、座席の使用状況を判定することも可能であ
る。図４０および図４１には、所定の温度以上である画
素を抽出した例が示されている。図４０が図３６に対応
し、図４１が図３７に対応する。図４１においては、所
定温度以上の領域が人の顔の形状と大きさを示してお
り、これをもって、使用状況判定部４０４では乗員のい
ることを判定することができる。
【００６４】その他の実施形態 さらに、前述した実施形態を適宜組み合わせ、複数の判
定を総合的に判断して、助手席の使用状況を判定するこ
ともできる。また、各判定ごとに所定の重みづけを行
い、総合判断を行うことができる。
【００６５】具体的には、たとえば、図４２に示すフロ
ーチャートに基づき制御を行うことができる。まず、助
手席およびその周囲に対して距離測定を行う（Ｓ１
０）。検出された距離情報が、あらかじめ記憶されてい
る助手席およびその周囲の形状と一致すれば、少なくと
も助手席およびその周囲に乗客がおらず、荷物もない状
態（空席の状態）であることを判定することができる。
次に、助手席およびその周囲の撮影を行いエッジ処理し
た画像を得る（Ｓ１２）。このエッジ画像から使用状況
に応じた特徴的なエッジを検出する（Ｓ１４）。たとえ
ば、助手席のシートクッションの縁により生じるエッジ
や、乗員の大腿部により生じるエッジなどを検出する。
さらに、前記のエッジ画像を、使用状況ごとに記憶され
ている代表画像と比較し（パターンマッチング）、最も
類似性の高い代表画像が選択される（Ｓ１６）。
【００６６】次に、前回の動き判定を行ってから、Ｓ１
２で得られた画像の数（フレーム数）が所定数に達して
いるかが判断され（Ｓ１８）、所定数に達していれば、
前回の記憶画像と、今回撮影された画像の比較が行わ
れ、画像中の動きのある領域が特定される（Ｓ２０）。
この動きのある領域が画像中のどこにあるかによって、
使用状況の判定が行われる。ステップＳ１８で撮影され
たフレーム数が所定数に達していない場合は、動き検知
は行わない。
【００６７】以上の各ステップで得られた使用状況を総
合判定し（Ｓ２２）、大人が着席している状況、子供が
着席している状況、チャイルドシート（ＣＲＳ）が置か
れている状況、空席の状況、荷物が置かれている状況な
どが判定される。この総合判定結果が、過去の判定結果
の履歴と比較される（Ｓ２４）。このとき、前回までの
判定結果と異なる結果が得られた場合は、直ちに使用状
況を変更することはせずに、所定時間その結果が維持さ
れることが確認されてから、変更を行う（Ｓ２６）。そ
して、使用状況の出力がなされ（Ｓ２８）、乗員保護装
置は、この出力に基づき作動を制御される。
【００６８】このように、複数の方法により使用状況の
判定を行うことで精度の向上を図ることができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態の概略を示す構成図で
あり、例としてチャイルドシートが助手席に後ろ向きで
設置された状態が示された図である。
【図２】 図１を上方より見た状態を示す図である。
【図３】 シートクッションをとらえた画像情報の例を
示す図である。
【図４】 エッジ処理された画像の一例であり、シート
クッションの縁の検出を説明するための図である。
【図５】 距離測定の原理を説明するための図である。
【図６】 距離測定を利用した座席の使用状況の判定を
説明するための図であり、特に乗員などがない座席に対
し横配列のスポット光が照射されている場合を示す図で
ある。
【図７】 距離測定を利用した座席の使用状況の判定を
説明するための図であり、図６に示される座席に乗員が
いる場合を示す図である。
【図８】 距離測定を利用した座席の使用状況の判定を
説明するための図であり、特に乗員などがない座席に対
し縦配列のスポット光が照射されている場合を示す図で
ある。
【図９】 距離測定を利用した座席の使用状況の判定を
説明するための図であり、図８に示される座席に乗員が
いる場合を示す図である。
【図１０】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、乗員などがない場合を示す
図である。
【図１１】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、大人が着席した状態を示す
図である。
【図１２】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、チャイルドシートが前向き
に置かれた状態を示す図である。
【図１３】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、チャイルドシートが後向き
に置かれた状態を示す図である。
【図１４】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、前向きに置かれたチャイル
ドシートに子供がすわっている状態を示す図である。
【図１５】 距離測定を利用した座席の使用状況の判定
を説明するための図であり、着席している大人が姿勢を
くずした状態を示す図である。
【図１６】 本発明の第２実施形態の要部構成を示すブ
ロック図である。
【図１７】 エッジ処理された画像の一例であり、乗員
の脚の検出を説明するための図である。
【図１８】 本発明の第３実施形態の要部構成を示すブ
ロック図である。
【図１９】 エッジの傾きを算出を説明するための図で
ある。
【図２０】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、乗員などがないときの画像
を示す図である。
【図２１】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、乗員などがないときのエッ
ジ画像を示す図である。
【図２２】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、乗員がいるときの画像を示
す図である。
【図２３】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、乗員がいるときのエッジ画
像を示す図である。
【図２４】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、図２１の場合のエッジの種
類ごとの出現頻度を示す図である。
【図２５】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、図２３の場合のエッジの種
類ごとの出現頻度を示す図である。
【図２６】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、乗員などがないときの画像
及びエッジ画像を示す図である。
【図２７】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、大人が着席したときの画像
とエッジ画像を示す図である。
【図２８】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、チャイルドシートが前向き
に置かれたときの画像とエッジ画像を示す図である。
【図２９】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、チャイルドシートが後向き
に置かれたときの画像とエッジ画像を示す図である。
【図３０】 エッジの傾きによる座席の使用状況の判定
を説明するための図であり、前向きに置かれたチャイル
ドシート上に子供がすわったときの画像とエッジ画像を
示す図である。
【図３１】 本発明の第４実施形態の要部構成を示すブ
ロック図である。
【図３２】 代表画像の例を示す図である。
【図３３】 本発明の第５実施形態の要部構成を示すブ
ロック図である。
【図３４】 動き検出にかかる領域設定を説明するため
の図である。
【図３５】 本発明の第６実施形態の要部構成を示すブ
ロック図である。
【図３６】 乗員がいないときの温度分布画像の一例を
示す図である。
【図３７】 乗員がいるときの温度分布画像の一例を示
す図である。
【図３８】 温度分布画像から座席の使用状況を判定す
る方法の説明図であり、乗員がいない場合の温度ごとの
画素数を示した図である。
【図３９】 温度分布画像から座席の使用状況を判定す
る方法の説明図であり、乗員がいる場合の温度ごとの画
素数を示した図である。
【図４０】 温度分布画像から座席の使用状況を判定す
る他の方法の説明図であり、乗員がいない場合の所定値
以上の温度の画素を抽出した画像を示す図である。
【図４１】 温度分布画像から座席の使用状況を判定す
る他の方法の説明図であり、乗員がいる場合の所定値以
上の温度の画素を抽出した画像を示す図である。
【図４２】 座席の使用状況を複数の方法により判定
し、総合的に使用状況の判定を行う場合のフローチャー
トの一例である。
【符号の説明】
１０ 助手席、１２ チャイルドシート、１４ 子供、
１６ スポット光源（距離計測手段）、１８ カメラ
（撮影手段，距離計測手段）、２０ スポット光、２２
シートクッション、３０ スライドセンサ（座席移動
量検出手段）、３２ チルトセンサ（座席移動量検出手
段）、３４ 制御部、３６ 輪郭抽出部、４２ 距離算
出部、５２ 乗員、５８ 距離補正部、６０ 使用状況
判定部、６２ 作動制御部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 植中 裕史 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 (72)発明者 久間 和生 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 太田 淳 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 追田 真也 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 座席および座席の周囲の所定の複数点に
    対し、上方の所定点からの距離を測定し、距離情報を得
    る距離計測手段と、 座席の少なくとも一部を含む範囲を撮影し、画像情報を
    得る撮影手段と、 前記画像情報より輪郭を抽出する輪郭抽出手段と、 前記距離情報と前記輪郭の形状に基づき、座席の使用状
    況を判定する使用状況判定手段と、を有する座席の使用
    状況判定装置。
  2. 【請求項２】 請求項１に記載の座席の使用状況判定装
    置において、さらに、 座席の調整による移動量を検出する座席移動量検出手段
    と、 前記座席の移動量に基づき前記距離情報を補正する距離
    情報補正手段と、を有する座席の使用状況判定装置。
  3. 【請求項３】 請求項２に記載の座席の使用状況判定装
    置において、さらに、座席の形状の経時変化を算出する
    形状変化算出手段を有し、前記距離情報補正手段は、前
    記座席の移動量と前記座席形状の変化に基づき前記距離
    情報を補正するものである、座席の使用状況判定装置。
  4. 【請求項４】 座席の少なくとも一部を含む範囲を撮影
    し、画像情報を得る撮影手段と、 前記画像情報に基づき当該画像のエッジの検出を行うエ
    ッジ検出手段と、 前記エッジの形状に基づき座席の使用状況を判定する使
    用状況判定手段と、を有する座席の使用状況判定装置。
  5. 【請求項５】 請求項４に記載の座席の使用状況判定装
    置において、前記使用状況判定手段は、座席の座面の縁
    付近に現れるエッジ形状が検出された場合に、着席者が
    いないことを判定する、座席の使用状況判定装置。
  6. 【請求項６】 請求項５に記載の座席の使用状況判定装
    置において、前記使用状況判定手段は、着席者の脚の輪
    郭付近に現れるエッジ形状が検出された場合に、着席者
    がいることを判定する、座席の使用状況判定装置。
  7. 【請求項７】 請求項４に記載の座席の使用状況判定装
    置において、前記使用状況判定手段は、 前記エッジの傾きを算出する傾き算出手段と、 前記エッジの傾きごとの出現頻度を算出する頻度算出手
    段と、を含み、前記エッジの出現頻度をエッジの形状と
    する、座席の使用状況判定装置。
  8. 【請求項８】 請求項７に記載の座席の使用状況判定装
    置において、前記頻度算出手段は、前記撮影された画像
    の範囲を縦横に所定数分割し、前記分割された個々の画
    像の縦の列ごとに縦エッジの出現頻度を算出し、横の列
    ごとの横エッジの出現頻度を算出するものである、座席
    の使用状況判定装置。
  9. 【請求項９】 座席の少なくとも一部を含む範囲を撮影
    し、画像情報を得る撮影手段と、 前記撮影範囲の座席使用状況ごとの代表画像を少なくと
    も一つ記憶する代表画像記憶手段と、 前記画像情報と前記代表画像を比較し、座席の使用状況
    を判定する使用状況判定手段と、を有する、座席の使用
    状況判定装置。
  10. 【請求項１０】 請求項９に記載の座席の使用状況判定
    装置において、さらに、前記画像情報に基づき当該画像
    のエッジを検出し、エッジ画像を生成するエッジ画像生
    成手段を有し、前記使用状況判定手段は、前記エッジ画
    像を比較して座席の使用状況を判定する、座席の使用状
    況判定装置。
  11. 【請求項１１】 請求項９または１０に記載の座席の使
    用状況判定装置において、さらに、 座席の調整による移動量を検出する座席移動量検出手段
    と、 前記座席の移動量に基づき比較すべき前記代表画像を定
    める代表画像決定手段、を有する座席の使用状況判定装
    置。
  12. 【請求項１２】 座席の少なくとも一部を含む範囲を撮
    影し、画像情報を得る撮影手段と、 前記画像情報を記憶する画像情報記憶手段と、 前記画像情報記憶手段に所定時間前に記憶された画像情
    報と、現時点で撮影された画像情報を比較して、座席の
    使用状況を判定する使用状況判定手段と、を有する、座
    席の使用状況判定装置。
  13. 【請求項１３】 請求項１２に記載の座席の使用状況判
    定装置において、前記使用状況判定手段は、前記所定時
    間前に記憶された画像と、現時点で撮影された画像を比
    較して、画像変化の大きい領域を特定する動き領域特定
    部を有し、前記特定された領域の位置に基づき座席の使
    用状況を判定する、座席の使用状況判定装置。
  14. 【請求項１４】 座席の少なくとも一部を含む範囲を赤
    外領域で撮影し温度分布を得る温度分布撮影手段と、 前記温度分布に基づき、座席の使用状況を判定する使用
    状況判定手段と、を有する、座席の使用状況判定装置。
  15. 【請求項１５】 請求項１から１４のいずれかに記載の
    座席の使用状況判定装置を備え、 所定条件下において、車両内部構造体への衝突から乗員
    を保護する保護手段と、 前記座席の使用状況に応じて前記保護手段の作動を制御
    する制御手段と、を有する、乗員保護装置。
JP24679497A 1997-09-11 1997-09-11 座席の使用状況判定装置 Expired - Fee Related JP3286219B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP24679497A JP3286219B2 (ja) 1997-09-11 1997-09-11 座席の使用状況判定装置
US09/149,004 US6480616B1 (en) 1997-09-11 1998-09-08 Status-of-use decision device for a seat
CA002244061A CA2244061C (en) 1997-09-11 1998-09-09 Status-of-use decision device for a seat
DE19841399A DE19841399B4 (de) 1997-09-11 1998-09-10 Verwendungsstatusbestimmungsvorrichtung für einen Sitz

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24679497A JP3286219B2 (ja) 1997-09-11 1997-09-11 座席の使用状況判定装置

Publications (2)

Publication Number Publication Date
JPH1178657A true JPH1178657A (ja) 1999-03-23
JP3286219B2 JP3286219B2 (ja) 2002-05-27

Family

ID=17153778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24679497A Expired - Fee Related JP3286219B2 (ja) 1997-09-11 1997-09-11 座席の使用状況判定装置

Country Status (4)

Country Link
US (1) US6480616B1 (ja)
JP (1) JP3286219B2 (ja)
CA (1) CA2244061C (ja)
DE (1) DE19841399B4 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280858A (ja) * 1999-03-30 2000-10-10 Toshiba Corp 車載機器制御装置および方法
JP2008516301A (ja) * 2004-09-06 2008-05-15 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 自動車シート上の対象物を検出するための装置
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
WO2010090321A1 (ja) * 2009-02-06 2010-08-12 マスプロ電工株式会社 着座状態検出装置及び移動体の乗員監視システム
JP2012126219A (ja) * 2010-12-14 2012-07-05 Honda Motor Co Ltd シート検知装置
KR101251836B1 (ko) 2011-09-02 2013-04-09 현대자동차주식회사 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
JP2013252863A (ja) * 2013-09-27 2013-12-19 Takata Corp 乗員拘束制御装置および乗員拘束制御方法
JP2014081349A (ja) * 2012-09-28 2014-05-08 Lixil Corp 人体検知センサ及び自動水栓
JP2019052889A (ja) * 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置
CN111196240A (zh) * 2020-01-19 2020-05-26 深圳瑞为智能科技有限公司 一种基于视觉分析的幼儿防遗留预警装置及预警方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP4810052B2 (ja) 2000-06-15 2011-11-09 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員センサ
JP3632607B2 (ja) * 2001-03-22 2005-03-23 トヨタ自動車株式会社 乗物の表現動作制御システム及び乗物のコミュニケーションシステム、表現動作を行う乗物
US6493620B2 (en) * 2001-04-18 2002-12-10 Eaton Corporation Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
US6968073B1 (en) 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US7016537B2 (en) * 2001-07-02 2006-03-21 Trw Inc. Vehicle occupant sensor apparatus and method including scanned, phased beam transmission for occupant characteristic determination
US7124007B2 (en) 2001-07-10 2006-10-17 Siemens Aktiengesellschaft System for monitoring the interior of a vehicle
WO2003054683A2 (en) * 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
AU2003219926A1 (en) * 2002-02-26 2003-09-09 Canesta, Inc. Method and apparatus for recognizing objects
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
US7607509B2 (en) * 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7370883B2 (en) 2002-06-03 2008-05-13 Intelligent Mechatronic Systems, Inc. Three dimensional occupant position sensor
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
DE10238222A1 (de) * 2002-08-21 2004-03-04 Robert Bosch Gmbh Verfahren und Anordnung zur Erfassung des Belegungszustandes eines Sitzes
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
US6947071B2 (en) * 2002-11-13 2005-09-20 Kirstin Eichmann Vehicle compartment monitor
WO2004075105A2 (en) * 2003-02-20 2004-09-02 Intelligent Mechatronic Systems Inc. Adaptive visual occupant detection and classification system
EP1602063A1 (en) * 2003-03-13 2005-12-07 Intelligent Mechatronic Systems, Inc. Automotive occupant detection and classification method and system
EP1498328A1 (de) * 2003-07-15 2005-01-19 IEE International Electronics & Engineering S.A.R.L. Sicherheitsgurt-Warnvorrichtung
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
US20050179239A1 (en) * 2004-02-13 2005-08-18 Farmer Michael E. Imaging sensor placement in an airbag deployment system
US20060056657A1 (en) * 2004-02-13 2006-03-16 Joel Hooper Single image sensor positioning method and apparatus in a multiple function vehicle protection control system
FR2866843B1 (fr) * 2004-03-01 2006-05-26 Faurecia Sieges Automobile Systeme de siege d'automobile comportant un dispositif de mesure de l'inclinaison du dossier
JP4403102B2 (ja) * 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
US7403845B2 (en) * 2004-06-07 2008-07-22 Delphi Technologies, Inc. Child seat monitoring system and method for determining a type of child seat
EP1755915B1 (en) * 2004-06-07 2015-08-12 Delphi Technologies, Inc. Child seat and monitoring system
JP5405741B2 (ja) 2004-07-26 2014-02-05 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
WO2006020604A2 (en) * 2004-08-09 2006-02-23 Delphi Technologies, Inc. Child restraint system comprising event data recorder
US7288009B2 (en) * 2004-09-08 2007-10-30 Delphi Technologies, Inc. Apparatus and method for interconnecting a child seat and monitoring system
DE102004046189A1 (de) * 2004-09-23 2006-04-06 Siemens Ag Verfahren zum Auswerten von Reflektorantwortsignalen eines Systems zur Erkennung einer Sitzbelegung eines Sitzes
US7372996B2 (en) * 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
JP4623501B2 (ja) * 2005-02-18 2011-02-02 タカタ株式会社 検知システム、報知装置、駆動装置、車両
US20060267321A1 (en) * 2005-05-27 2006-11-30 Loadstar Sensors, Inc. On-board vehicle seat capacitive force sensing device and method
US20070124043A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for modifying the processing of content in vehicles based on vehicle conditions
US20070120697A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P Method and device for determining a location and orientation of a device in a vehicle
US20070124045A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for controlling the processing of content based on zones in vehicles
US9269265B2 (en) * 2005-11-29 2016-02-23 Google Technology Holdings LLC System and method for providing content to vehicles in exchange for vehicle information
US20070124044A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for controlling the processing of content based on vehicle conditions
JP4922715B2 (ja) * 2006-09-28 2012-04-25 タカタ株式会社 乗員検出システム、警報システム、制動システム、車両
JP2008129948A (ja) * 2006-11-22 2008-06-05 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
JP5030580B2 (ja) * 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
JP2008261749A (ja) * 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
US8806426B2 (en) * 2008-06-04 2014-08-12 Microsoft Corporation Configurable partitioning of parallel data for parallel processing
US9152856B2 (en) * 2013-12-19 2015-10-06 Institute For Information Industry Pedestrian detection system and method
CN104735296B (zh) * 2013-12-19 2018-04-24 财团法人资讯工业策进会 行人侦测系统与方法
US9610862B2 (en) * 2014-10-14 2017-04-04 Faurecia Automotive Seating, Llc Seat position sensing and adjustment
DE102015201901B4 (de) * 2015-02-04 2021-07-22 Volkswagen Aktiengesellschaft Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug
US9446730B1 (en) 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
DE102017125390A1 (de) * 2017-10-30 2019-05-02 Karsten Laing Verfahren zum Erfassen des Belegungszustandes mindestens eines Möbelstücks und elektrisch verstellbares Möbelstück
KR102506860B1 (ko) * 2017-11-22 2023-03-08 현대자동차주식회사 차량 내 객체 검출 장치 및 방법
US10501048B2 (en) * 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
DE102018208742A1 (de) * 2018-06-04 2019-12-05 Volkswagen Aktiengesellschaft Verfahren zum Beleuchten eines Sitzplatzes in einem Fahrzeug
CN109017475B (zh) * 2018-09-20 2020-12-15 飞适动力汽车座椅零件（上海）有限公司 一种汽车儿童安全座椅
US20220016999A1 (en) * 2020-07-15 2022-01-20 Micron Technology, Inc. Customized vehicle settings based on occupant identification
CN112590692A (zh) * 2020-11-03 2021-04-02 泰州镭昇光电科技有限公司 自适应式安全设施复用系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6116639A (en) * 1994-05-09 2000-09-12 Automotive Technologies International, Inc. Vehicle interior identification and monitoring system
US5263765A (en) * 1989-12-27 1993-11-23 Nissan Motor Co., Ltd. Automatic adjustable seat
JP2605922B2 (ja) * 1990-04-18 1997-04-30 日産自動車株式会社 車両用安全装置
DE4042722C2 (de) * 1990-07-20 2002-11-21 Conti Temic Microelectronic Verfahren zum Auslösen von Insassenschutzeinrichtungen
US5330226A (en) * 1992-12-04 1994-07-19 Trw Vehicle Safety Systems Inc. Method and apparatus for detecting an out of position occupant
US5298732A (en) * 1993-02-18 1994-03-29 Emee, Inc. Automatic visor for continuously repositioning a shading object to shade a designated location from a direct radiation source
WO1994022693A1 (en) * 1993-03-31 1994-10-13 Automotive Technologies International, Inc. Vehicle occupant position and velocity sensor
JPH07196006A (ja) * 1993-12-29 1995-08-01 Sensor Technol Kk 助手席用乗員検知システム
DE4400664C2 (de) * 1994-01-12 1995-11-16 Spies Martin Dipl Ing Fh Vorrichtung zur Erkennung der Sitzbelegung in Fahrzeugen etc.
US5853330A (en) * 1994-06-02 1998-12-29 Engstrand; Brad Sensory simulator and editor
US6055335A (en) * 1994-09-14 2000-04-25 Kabushiki Kaisha Toshiba Method and apparatus for image representation and/or reorientation
US6027138A (en) * 1996-09-19 2000-02-22 Fuji Electric Co., Ltd. Control method for inflating air bag for an automobile
US5703303A (en) * 1996-12-19 1997-12-30 Lear Corporation Method and system for wear testing a seat by simulating human seating activity and robotic human body simulator for use therein
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US6252240B1 (en) * 1997-04-25 2001-06-26 Edward J. Gillis Vehicle occupant discrimination system and method
US5906393A (en) * 1997-09-16 1999-05-25 Trw Inc. Occupant restraint system and control method with variable sense, sample, and determination rates

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280858A (ja) * 1999-03-30 2000-10-10 Toshiba Corp 車載機器制御装置および方法
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
JP2008516301A (ja) * 2004-09-06 2008-05-15 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 自動車シート上の対象物を検出するための装置
JP4756044B2 (ja) * 2004-09-06 2011-08-24 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト 自動車シート上の対象物を検出するための装置
WO2010090321A1 (ja) * 2009-02-06 2010-08-12 マスプロ電工株式会社 着座状態検出装置及び移動体の乗員監視システム
JP2010202181A (ja) * 2009-02-06 2010-09-16 Maspro Denkoh Corp 着座状態検出装置及び移動体の乗員監視システム
JP2012126219A (ja) * 2010-12-14 2012-07-05 Honda Motor Co Ltd シート検知装置
KR101251836B1 (ko) 2011-09-02 2013-04-09 현대자동차주식회사 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
JP2014081349A (ja) * 2012-09-28 2014-05-08 Lixil Corp 人体検知センサ及び自動水栓
JP2013252863A (ja) * 2013-09-27 2013-12-19 Takata Corp 乗員拘束制御装置および乗員拘束制御方法
JP2019052889A (ja) * 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置
CN111196240A (zh) * 2020-01-19 2020-05-26 深圳瑞为智能科技有限公司 一种基于视觉分析的幼儿防遗留预警装置及预警方法

Also Published As

Publication number Publication date
CA2244061A1 (en) 1999-03-11
CA2244061C (en) 2004-03-30
JP3286219B2 (ja) 2002-05-27
DE19841399B4 (de) 2004-03-25
DE19841399A1 (de) 1999-03-25
US6480616B1 (en) 2002-11-12

Similar Documents

Publication Publication Date Title
JP3286219B2 (ja) 座席の使用状況判定装置
EP1693254B1 (en) Detection system, informing system, actuation system and vehicle
JP4810052B2 (ja) 乗員センサ
US7630804B2 (en) Occupant information detection system, occupant restraint system, and vehicle
US7561731B2 (en) Method and apparatus for enhancing the dynamic range of a stereo vision system
EP1674347B1 (en) Detection system, occupant protection device, vehicle, and detection method
US6757009B1 (en) Apparatus for detecting the presence of an occupant in a motor vehicle
US7920722B2 (en) Occupant detection apparatus
US7607509B2 (en) Safety device for a vehicle
JP3532772B2 (ja) 乗員の乗車状態検出装置
US20070289799A1 (en) Vehicle occupant detecting system
US20080255731A1 (en) Occupant detection apparatus
JP4898261B2 (ja) 対象物検出システム、作動装置制御システム、車両、対象物検出方法
JP6870294B2 (ja) 乗員情報検出装置およびプログラム
US6781676B2 (en) Structured lighting detection of vehicle occupant type and position
JP2009046026A (ja) 運転席調整システム
JP2002543503A (ja) シーン内の物体の位置を求めるための方法および装置
JP3943367B2 (ja) 車両用乗員頭部検出装置
US20050151053A1 (en) Infrared proximity sensor for air bag safety
US20080036186A1 (en) Active Headrest System
JP2004053324A (ja) 自動車用衝突安全制御装置
JP3855904B2 (ja) 乗員検知装置
JP4144148B2 (ja) 車両用エアバッグシステムのための乗員判定装置
JPH11334516A (ja) 車両用乗員保護装置

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090308

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100308

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110308

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110308

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110308

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120308

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130308

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130308

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140308

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees