JP4375142B2 - 車両における備品の積み込み支援装置および備品の積み降ろし支援装置 - Google Patents

車両における備品の積み込み支援装置および備品の積み降ろし支援装置 Download PDF

Info

Publication number
JP4375142B2
JP4375142B2 JP2004197725A JP2004197725A JP4375142B2 JP 4375142 B2 JP4375142 B2 JP 4375142B2 JP 2004197725 A JP2004197725 A JP 2004197725A JP 2004197725 A JP2004197725 A JP 2004197725A JP 4375142 B2 JP4375142 B2 JP 4375142B2
Authority
JP
Japan
Prior art keywords
equipment
vehicle
information
loading
check
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004197725A
Other languages
English (en)
Other versions
JP2006015938A (ja
Inventor
昌吾 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004197725A priority Critical patent/JP4375142B2/ja
Publication of JP2006015938A publication Critical patent/JP2006015938A/ja
Application granted granted Critical
Publication of JP4375142B2 publication Critical patent/JP4375142B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Emergency Alarm Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、車両の積荷の積み忘れおよび降ろし忘れを防止する車両における備品の積み込み支援装置および積み降ろし支援装置に関するものである。
従来、カバンや荷物等の所持品を床や車中等に置き忘れた場合、しばらくして置き忘れたことに気付き、大慌てで置いた場所に戻ったり、車中に置き忘れた場合は交通機関に連絡をとり、該所持品に関する届出の有無の確認をとり、あれば取りに行くなど、置き忘れをした後の対応が大変であるとともに、置き忘れた物が貴重品や金銭であった場合などは取り返しのつかない事態へと発展する。
そこで、送信機と受信機を組み合わせ、送信機からの電波が受信機に届かなくなると受信機から警報を発するようにした忘れ物防止器が提案されている(特許文献1参照)。
特開平05−062084号公報
特許文献1の例では、車両からの荷物の降ろし忘れを防止することは可能であるが、積み込み忘れを防止することはできず、レジャー(海外旅行、つり、ゴルフ、温泉等)に行く時に持っていかなければならなかった物(パスポート、衣類、ロッド等)を忘れて、レジャーそのものを中止せざるを得なくなったり、途中で購入せざるを得なくなって無駄な出費を強いられたりして、楽しみが中途半端となってしまうことがある。
また、特許文献1の例では、複数の荷物についての忘れ物を防止する構成について十分考慮されているとはいえない。仮に荷物が複数あると送信機が荷物の数だけ必要となり、荷物の数が増えるほど忘れ物防止器に要するコストは上昇する。また、送受信に用いる電波の周波数も混信を回避するために個別の荷物において異なるものとするか、個別の荷物に割り当てる送信機に識別番号を付与して、該識別番号毎にデータの送受信(忘れ物の有無の判定)を行なう必要があり、忘れ物防止器の構成が複雑になりコスト上昇要因の一つとなる。さらに、忘れ物防止を正確に行なうためには、荷物が何個あるか(どの識別番号が有効データであるか)を受信機に記憶させておく必要があり、使用者の操作負荷が増えて使い勝手は悪くなる。
上記事情を背景とし、本発明の課題は、車を使用する目的に応じて、荷物の積み忘れ、降ろし忘れ、および不足分調達忘れを防止する車両における備品の積み込み支援装置および備品の積み降ろし支援装置を提供することにある。
課題を解決するための手段および発明の効果
本発明は上記課題を解決するための車両における備品の積み込み支援装置を提供するものである。即ち、本発明の車両における備品の積み込み支援装置は、
車両の使用者に対応して電子的に設定され管理されるスケジュールを記憶するスケジュール記憶手段と、
スケジュール記憶手段に記憶されているスケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品の情報を、スケジュール記憶手段の内容に基づいて出力する備品情報出力手段と、
備品情報出力手段で出力された備品が車両に積み込まれたかどうかのチェックを行なう備品積み込みチェック手段と、
チェックの結果として、備品情報として出力された備品に対する搭載済みとされた備品の充足および不足の少なくとも不足情報を報知する備品チェック結果報知手段と、を含み、
備品積み込みチェック手段は、備品情報出力手段が出力した備品リストのそれぞれに対し、使用者が積み込んだかどうかを示す搭載済みまたは非搭載の搭載情報、およびこれに加え現に所持してないが調達が必要であることを示す要調達、現に所持していないがレンタルが必要であることを示す要レンタルの少なくとも一つの搭載情報を使用者に入力させる搭載情報入力手段を備えており、
さらに、電子地図上に車両の現在位置を表示して車両を目的地に誘導する車両用ナビゲーション装置と、
要調達または要レンタルの備品情報が入力されている備品について、調達先またはレンタル先の情報を検索する調達先等検索手段と、
調達先等検索手段により検索された調達先またはレンタル先の所在地情報を、車両用ナビゲーション装置の電子地図上に示して当該所在地に位置に車両を誘導する調達支援手段と、を含むことを特徴とする。
上記構成では、使用者のスケジュールから該スケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品の情報を自動抽出するため、車両への積み込み前の段階における備品の用意を忘れることを防止できる。また、車両に積み込まれたかどうかのチェックを行なう備品積み込みチェック手段によって、車両への積み込み段階での備品の積み込み忘れを防止することができる。また、積み込み時に準備できなかった備品あるいは積み込み忘れた備品についての処置(調達,レンタル)を使用者が選択することができ、該スケジュールの中止あるいは変更を行なう必要はなくなる。また、車両用ナビゲーション装置を含むことで、調達先またはレンタル先の情報を検索し経路誘導を行なうことができるので、使用者は効率よく不足する備品の調達あるいはレンタルを行なうことができる。
本発明の車両における備品の積み込み支援装置における備品積み込みチェック手段は、備品情報出力手段が出力した備品リストのそれぞれに対し、積み込まれたかどうかを搭載情報として使用者に入力させる搭載情報入力手段と、搭載情報入力手段により入力された搭載情報と備品情報出力手段が出力した備品リストとを比較する比較手段とを備え、備品チェック結果報知手段は、比較された結果である、備品リストに挙げられている備品であって、搭載情報入力手段により搭載情報が入力されていない備品を不足情報して報知する構成をとることができる。
上記構成では、使用者のスケジュールから該スケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品リストを自動抽出するため、備品の漏れ(即ち、準備忘れ)はなくなる。そして、車両への積み込み時に備品リストと照合しながら搭載情報を入力するため、積み込み忘れを防止することができる。搭載情報の入力忘れ、あるいは積み込み忘れが発生した場合には、不足情報して報知されるため、結果として備品の積み込み忘れを防止することができる。さらに、備品(荷物)の数だけ送信機を用意する必要はなく、荷物の数によらずコストは一定となる。また、送信機は使用しないため、従来技術のように電波使用にまつわる問題は全く発生しない。
本発明の車両における備品の積み込み支援装置における備品積み込みチェック手段は、車両内に配置されて車両内に積み込まれる備品の画像を撮影する備品撮影カメラと、備品撮影カメラが撮影した画像から備品の種別を推定して搭載情報を生成する備品推定手段と、備品推定手段により搭載済みと推定された備品と備品情報出力手段が出力した備品リストとを比較する比較手段とを備え、備品チェック結果報知手段は、比較された結果である、備品リストに挙げられている備品であって、備品推定手段によっては搭載情報が生成されていない備品を不足情報として報知する構成をとることができる。
上記構成では、使用者のスケジュールから該スケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品リストを自動抽出するため、備品の漏れ(即ち、準備忘れ)はなくなる。そして、車両への積み込み時には備品撮影カメラによって搭載状況を生成するために使用者(積み込みを行なう者)の操作負荷は増えない。さらに、備品(荷物)の数だけ送信機を用意する必要はなく、荷物の数によらずコストは一定となる。また、送信機は使用しないため、従来技術のように電波使用にまつわる問題は全く発生しない。
本発明の車両における備品の積み込み支援装置における調達先等検索手段、その調達またはレンタルに予約が必要であると判断した場合は、その予約を通信手段を介して実行する予約実行手段を含む構成をとることができる。本構成によって、使用者の操作負荷を増大することなく迅速に備品の調達またはレンタルの予約を行なうことができ、該スケジュールの中止あるいは変更を行なう必要はなくなる。
本発明の車両における備品の積み込み支援装置における備品チェック結果報知手段は、車両の内部あるいは外部に設置されたスピーカ、車両の内部あるいは外部に設置された表示装置、および車両と通信可能な携帯端末のうちの少なくとも一つを含む構成をとることができる。本構成によって、使用者が車両から離れた位置にいても確実に備品チェック結果(準備忘れあるいは積み込み忘れ)を伝達することができる。
また、本発明は上記課題を解決するための車両における備品の積み降ろし支援装置を提供するものである。即ち、本発明の車両における備品の積み降ろし支援装置の第一は、前述の積み込み支援装置に加え、備品を降ろし終えたことを推定する備品降ろし終了推定情報を検出する備品降ろし終了検出手段と、備品降ろし終了検出手段が備品を降ろし終えたことを検出した後、車両内に備品が残っているかどうかをチェックする備品降ろし忘れチェック手段と、備品降ろし忘れチェック手段により降ろし忘れの備品が存在すると判断された場合は、備品降ろし忘れ情報を報知する備品降ろし忘れ報知手段と、を含むことを特徴とする車両における備品の積み降ろし支援装置として構成される。
上記構成によって、使用者の負荷を増大することなく備品の降ろし忘れを防止することができる。また、送信機および受信機も不要となり、製造コストを低減できる。
本発明の備品の積み降ろし支援装置における備品降ろし終了検出手段は、車両内に配置されて車両内に積み込まれている備品の画像を撮影する備品撮影カメラと、車両の乗員が降車したかどうかを検出する降車検出手段とを含み、乗員が降車したことを検出した際に、備品撮影カメラにより撮影された画像データから備品降ろし終了推定情報を検出する構成をとることができる。また、本発明の備品の積み降ろし支援装置の第二は、 車両の使用者に対応して電子的に設定され管理されるスケジュールを記憶するスケジュール記憶手段と、
スケジュール記憶手段に記憶されているスケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品の情報を、スケジュール記憶手段の内容に基づいて出力する備品情報出力手段と、
備品情報出力手段で出力された備品が車両に積み込まれたかどうかのチェックを行なう備品積み込みチェック手段と、
チェックの結果として、備品情報として出力された備品に対する搭載済みとされた備品の充足および不足の少なくとも不足情報を報知する備品チェック結果報知手段と、を含むことを特徴とする車両における備品の積み込み支援装置に加え、さらに、
備品を降ろし終えたことを推定する備品降ろし終了推定情報を検出する備品降ろし終了検出手段と、
備品降ろし終了検出手段が備品を降ろし終えたことを検出した後、車両内に備品が残っているかどうかをチェックする備品降ろし忘れチェック手段と、
備品降ろし忘れチェック手段により降ろし忘れの備品が存在すると判断された場合は、備品降ろし忘れ情報を報知する備品降ろし忘れ報知手段と、を含み、
備品降ろし終了検出手段は、車両内に配置されて車両内に積み込まれている備品の画像を撮影する備品撮影カメラと、車両の乗員が降車したかどうかを検出する降車検出手段とを含み、乗員が降車したことを検出した際に、備品撮影カメラにより撮影された画像データから備品降ろし終了推定情報を検出することを特徴とする。
上記構成によって、備品(荷物)の数だけ送信機を用意する必要はなく、荷物の数によらずコストは一定となる。また、送信機は使用しないため、従来技術のように電波使用にまつわる問題は全く発生しない。また、備品を降ろす際に備品リストをチェックする必要はなく、降車検出も自動的に行なわれるので使用者の操作負荷は増大しない。
本発明の備品の積み降ろし支援装置における降車検出手段は、車両の室内における乗員の有無を検出する乗員検出手段と、車両が停止しているかどうかを判定する停止状態判定手段と、車両のドアの開閉状態を検出するドア状態検出手段と、車両のドアの施錠状態を検出するドアロック状態検出手段と、のうちの少なくとも一つを含む構成をとることができる。
車両の室内に乗員が一人もいない、車両が停止してから所定の時間が経過している、車両のドアが開状態から閉状態になってから所定の時間が経過している、車両のドアが施錠状態になってから所定の時間が経過している、等の条件の少なくとも一つを用いれば、乗員の全員の降車を検出することが可能である。上記の各検出手段は、既に殆どの車両に備えられているものであるため、コストの上昇を伴わずに降車検出を行なうことが可能である。
本発明の備品の積み降ろし支援装置における備品降ろし忘れ報知手段は、車両の内部あるいは外部に設置されたスピーカ、車両の内部あるいは外部に設置された表示装置、および車両と通信可能な携帯端末のうちの少なくとも一つを含む構成をとることができる。本構成によって、使用者が車両から離れた位置にいても確実に降ろし忘れを伝達することができる。
車を使用する目的に応じて、荷物の積み忘れ、降ろし忘れ、および不足分調達忘れを防止する車両における備品の積み込み支援装置および備品の積み降ろし支援装置を提供するという目的を、スケジュールを実行するために車両に搭載して携行することが必要なまたは望ましい備品の情報を抽出し、抽出した備品の情報と実際に車両に積み込まれた備品の情報を比較することにより実現した。
以下、本発明の駐車両の積荷確認システムについて図面を用いて説明する。図1は本発明の積荷確認システムの全体構成を示した模式図である。携帯端末1(本発明のスケジュール記憶手段,備品チェック結果報知手段,備品降ろし忘れ報知手段),情報センタ2(本発明の備品情報出力手段),車載機器100,およびショップ3を含んで構成される。携帯端末1は周知の携帯電話機を用いているが、パーソナルコンピュータ,PDA(Personal Data Assistant:携帯情報端末),その他の通信可能な装置を用いる構成を採ってもよい。
(積み込み忘れ防止)
携帯端末1には、目的地,行動目的を含む該端末の使用者のスケジュールが記憶されている。携帯端末1におけるスケジュールの入力方法、記憶方式等には特に制約を設けるものではない。
携帯端末1に記憶されているスケジュールを、情報センタ2を経由して車載機器100に送信する。情報センタ2は該スケジュールを車載機器100に中継する要求を受けたときに、該スケジュールに含まれた目的地データあるいは行動目的に関するデータを抽出し、そのデータに対応した物品(備品)に関する情報(名称、一般的な形状を表す画像データ:物品データなど)および天候に関する情報を含む目的地情報を車載機器100に送信する。
車載機器100の内の制御部120は図示しない周知のCPU,ROM,RAM,入出力回路であるI/Oおよびこれらの構成を接続するバスラインが備えられている。CPUは、ROMおよびRAMに記憶されたプログラムおよびデータにより制御を行なう。ROMは、プログラム格納領域とデータ記憶領域とを有している。プログラム格納領域には制御プログラムが格納され、データ記憶領域には制御プログラムの動作に必要なデータが格納されている。また、制御プログラムは、RAM上にてワークメモリを作業領域とする形で動作する。
図3は、本発明の備品情報出力処理を表したフロー図である。なお、本積み込み忘れ防止処理は、情報センタ2に含まれる情報サーバ25の制御プログラムによって繰り返し実行される(情報サーバ25の詳細については後述)。
情報サーバ25では送受信装置22を介して携帯端末1から受信(S11)した目的地情報(備品および天候)から、必須物品(娯楽に使用する物、健康を維持する物、不愉快にさせない物)、より楽しませる物品をデータベース23において抽出し(S12)、送受信装置22を介して備品情報として車載機器100に送信する(S13)。上記健康を維持する物、不愉快にさせない物として、例えば、傘、寒暑対策の衣類、口コミにより評判の高い便利用品等が挙げられる。
車載機器100では受信部101により該備品情報を受信すると、備品情報出力部106および通知部110を介して使用者に通知する。この通知は、ディスプレイ115の表示あるいはスピーカ116の音声メッセージ送出のうちの少なくとも一つにより行われる。該備品情報は、物品リストとして制御部120に含まれる図示しない不揮発メモリに記憶される。図6は不揮発メモリに記憶される内容の一例を表したもので、図の「物品」欄が物品リストに相当する。
図4は、本発明の積み込み忘れ防止処理を表したフロー図である。なお、本積み込み忘れ防止処理は、制御部120の図示しないROMに含まれる制御プログラムによって繰り返し実行される。
まず、カメラ102(本発明の備品撮影カメラ)により車両1に順次搭載される物品を撮影し、カメラ102に含まれ図示しない周知の画像認識技術を用いた画像処理部において認識できた物品を、積み込み済みと判定して対応する物品リスト(図6)に記憶する。また、使用者が積み込んだ物品について、ディスプレイ115に表示された物品リスト上の該物品を入力部103(本発明の搭載情報入力手段)のスイッチ操作により選択し積み込み済みとする。このとき、ディスプレイ115に表示された該物品の表示を反転させたり表示色を積み込み済みでない物品と変えてもよい。また、スイッチ操作の代わりに図示しない音声入力装置を用いて音声入力による指示を行なってもよい。ディスプレイ115の表示が積み込み済み表示となるとともに、図6の物品リストにおいて該物品に対応する「積み込み状態」欄が積み込み済みを表す「済」となる(S21)。
物品の認識は、情報センタ2から受信した物品画像データとの照合により行なう。物品画像データは、例えば釣竿でいえば、釣竿を撮影した基準画像データであり、該基準画像データと一致あるいは該基準画像データとの差が所定の範囲内の場合に、基準画像データに相当する物品(釣竿)が積載されたと判定する。物品画像データを情報センタ2から受信する構成の他に、予め制御部120に含まれる図示しない不揮発メモリに記憶しておく構成をとってもよい。
その後、カメラ102により使用者が乗車したことを判断し、かつ全てのドアが閉状態となった場合に、通知部110は、使用者に乗車終了(積み込み終了)を通知する。(ドア状態の検出方法については後述)
そして、備品情報出力部106(本発明の備品推定手段)において図6の物品リストにおいての内容から、「積み込み状態」欄が「済」になっていない物品があれば抽出して、これを不足している物品と判断し、ディスプレイ115(本発明の備品チェック結果報知手段)の表示あるいはスピーカ116(本発明の備品チェック結果報知手段)の音声メッセージ送出により、使用者に確認および処置を入力するよう促す。このとき、使用者は入力部103から、使用者に処置を入力するよう促された情報(物品)に対して、「搭載済み」、「非搭載」、「要調達」、「要レンタル」等の選択を行なう。また、物品の積み込みが終了したときにカメラ102が撮影した画像データは、制御部120に含まれる図示しない不揮発メモリに記憶する。
図6の例では、氷、餌、ボート、救命胴衣が積み込まれていないので、「氷が積み込まれていません」等の表示あるいはメッセージ送出が行なわれる。よって、これらに対する処置を入力する必要がある。入力した結果は「処置」欄に記憶され、氷、餌は「要調達」、ボート、救命胴衣は「要レンタル」という選択が行なわれている。
入力部103は、例えばカラー液晶表示器により構成されたディスプレイ115と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられる。タッチスイッチは、表示装置の画面上に縦横に微細に配置された赤外線センサより構成されており、例えば指やタッチペンなどでその赤外線を遮断すると、その遮断した位置が2次元座標値(X,Y)として検出される。また、マウスやカーソル等のポインティングデバイスを用いてもよい。この入力部103によって、種々の指示を入力することが可能である。また、マイクおよび周知の音声認識装置を接続することで、音声により入力する方法を用いてもよい。
カメラ102は撮影した画像データから乗車者および積載された物品の有無を判定するもので、CCDカメラを用いる。カメラ102は車室内の全座席の状況を撮影可能なように設置する必要がある。例えば車室天井の略中央に、超広角あるいは魚眼レンズを備えるものを設ける。カメラ102に含まれる図示しない画像認識部における画像認識処理は以下のように行なわれる。
(1)基準データの作成
まず、誰も乗車していない場合の座席をカメラ102で撮影する。そして、入力部103のスイッチを操作して画像認識部において座席の色調および形状の特徴を抽出して降車完了時基準データとして図示しない不揮発メモリに記憶する。同様に物品を積載しない場合のトランクあるいは荷物収納箇所を撮影して基準データとして図示しない不揮発メモリに記憶する。
(2)乗車および降車の検出
人間が乗車した場合、カメラ102で撮影された画像データは、人間の顔の肌色あるいは服の色が含まれることで色調が基準データとは異なる。また、人間が着座状態の座席を撮影した場合は、座席のみを撮影した基準データとは形状が異なる。これらの基準データとの違いを検出して乗車を検出する。乗車を検出した後にカメラ102で撮影された画像データが基準データと同じ場合あるいは基準データとの差が所定の範囲内の場合に降車を検出する。
(3)物品の有無の検出
物品を積載すればカメラ102で撮影された画像データは基準データとは異なるものとなる。よって、該画像データと基準データとの差が所定の範囲以上の場合に物品が積載されたと判定し、該画像データが基準データと同じ場合あるいは該画像データと基準データとの差が所定の範囲内の場合には物品が全て降ろされたと判定する。
備品情報出力部106において抽出された内容との比較結果およびそれに続く不足物品に対する処置の入力結果とに基づいて、不足分抽出部108(本発明の備品積み込みチェック手段,比較手段)では本当に不足している物品(即ち、「要調達」あるいは「要レンタル」等の選択が行なわれた物品)について情報反映部109に送り、使用者への通知情報に反映させる。そして、上記の結果により、調達が必要である物品(即ち、「要調達」の選択が行なわれた物品)については(S22:No)、調達部111(本発明の調達先等検索手段)において位置検出部105によって検出される車両の現在位置および地図データ104を用いて調達が可能な店あるいは施設を検索し(S23)、該物品を調達するための立ち寄り点として設定し誘導部114(本発明の調達支援手段)によって案内を行なう(S24)。該立ち寄り点に到達した場合には、ディスプレイ115の表示あるいはスピーカ116の音声メッセージ送出により使用者に通知を行なう(S26)
また、予約が必要と判断された物品(即ち、「要レンタル」の選択が行なわれた物品)がある場合には(S22:Yes)、地図データ104を用いて予約部113(本発明の予約実行手段)において該物品を使用する地域近辺で、値段、使用者の好みに応じて、予約できる店を抽出し(S26)、予約を実行する。なお、予約実施の最終確認時にディスプレイ115の表示あるいはスピーカ116の音声メッセージ送出により使用者に通知を行ない、使用者の確認の後(S27)、送信部112を介して情報センタ2を経由してショップ3あるいは施設に予約要求を行なう。そして、予約確定時(S28)にディスプレイ115の表示あるいはスピーカ116の音声メッセージ送出により使用者に通知する。
地図データ104,位置検出部105,誘導部114は車両用ナビゲーション装置に含まれている周知の機能である。即ち、位置検出部105は周知の地磁気センサ,ジャイロスコープ,距離センサ,および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機を有し、地図データ104は位置検出の精度向上のためのいわゆるマップマッチング用データ,道路の接続を表した道路データを含み、CD−ROMやDVD等を用いた記憶媒体に記憶されている。そして、誘導部114はGPS受信機から得られる衛星のデータに基づき車両の現在位置が求められ、現在位置から目的地までの最適な経路を求める処理が行われる。そして、表示装置上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、表示装置およびスピーカによって、操作時のガイダンスや動作状態に応じたメッセージの送出を行なう。
よって、本発明の車載機器100と車両用ナビゲーション装置とを通信可能な構成として、調達部111から調達を行なうショップ3の位置データを車両用ナビゲーション装置に送り、地図データ104,位置検出部105,誘導部114は車両用ナビゲーション装置に含まれている機能を使用する構成とし、車両用ナビゲーション装置が該ショップ3までの経路案内を行なう構成をとってもよい。また、ディスプレイ115,スピーカ116を車両用ナビゲーション装置のものを使用する構成をとってもよい。この場合は、通知部110から車両用ナビゲーション装置へ表示用のデータあるいは音声メッセージデータを送り、車両用ナビゲーション装置は送られてきたデータにしたがって表示あるいはメッセージ送出を行なう。
逆に、車両用ナビゲーション装置に本発明の車載機器100の機能を含む構成をとってもよい。車両用ナビゲーション装置ではカメラ102以外の車載機器100の機能を実現することが部品を追加することなく可能であるので、コスト上昇を抑制することが可能である。
以下、情報センタ2の構成について説明する。情報センタ2には車載機器100に含まれる受信部101および送信部112との通信を行なう送受信装置22および情報サーバ25が含まれている。図2は情報サーバ25の一実施例の構成を示す図である。情報サーバ25は、CPU51,ROM52,RAM53および入出力インターフェース(I/O)54を有し、これらがバスライン55により送受信可能に接続されたコンピュータ本体50を備え、これに周辺機器として、キーボード56あるいはマウス57等の入力装置,CD−ROMドライブ58あるいはフロッピー(登録商標)ディスクドライブ(以下、FDDと記す)59等の記録媒体読取手段,HDD(ハードディスクドライブ)60,モニタ制御部61を介して接続されるモニタ62,プリンタ63、および送受信装置22等との通信を行なうネットワーク制御部64等が接続されたコンピュータシステムとして全体が構築されている。
HDD60には、オペレーティングシステムプログラム(以下、OSという)60a及び情報サーバプログラム60bが格納されている。情報サーバプログラム60bは、情報サーバとしての機能を実現するため、OS60a上でRAM53に確保される情報サーバワークメモリ53bを作業領域とする形で作動するものである。これは、例えばCD−ROM65等に読み取り可能な状態で記憶され、HDD60上の所定の記憶領域にインストールされるものである。また、RAM53には、OS60aのワークメモリ53aも形成される。
また、HDD60にはデータベース23が含まれ、目的地データあるいは行動目的に関するデータに対応した備品(物品)に関する情報および天候に関する情報を含む目的地情報が記憶されている。目的地情報は、キーボード56あるいはマウス57等の入力装置によるデータ入力、あるいはCD−ROMドライブ58あるいはFDD59等の記録媒体読取装置からのデータ読み取りによって定期的に更新される。例えば、行動目的が「釣り」であるとすると、釣りに必要と思われる釣竿、仕掛、救命胴衣、クーラーボックス、餌などが「釣り」に関連付けて記憶される。
このような構成を持つことにより、本情報サーバ25は、コンピュータ本体50のCPU51により情報サーバプログラム60bが起動されると、必要な初期化処理を実行した後に情報サーバとして機能する。この後、送受信装置22を経由して車載装置100からの接続要求あるいは検索要求が発生した場合、情報サーバプログラム60bに格納されている処理が実行され、必要なデータあるいはデータベース23の検索結果を送受信装置22を経由して車載装置100へ送る。
なお、ショップ3にも情報サーバ25と同様な構成を持つ予約サーバ3aが設置されている。情報サーバ25と異なる点は、データベースとしてユーザIDおよびパスワードを含む顧客情報および物品予約情報が含まれていることと、情報サーバプログラム60bの代わりに予約サーバプログラム(図示せず)を有していることである。予約サーバプログラムは、携帯端末1あるいは車載装置100からの接続要求を受信すると、ユーザIDおよびパスワードによって認証を行ない、正規ユーザであることを判定した後に該ユーザからの予約要求内容を受信し、該予約内容に含まれる物品あるいはサービスを提供可能かどうかを、データベースに含まれる物品予約情報から調べ、予約の可否を返送してユーザからの予約するかどうかの最終確認を待つ。ユーザからの最終確認(予約要求)を受信した後にデータベースの該物品に関する物品予約情報を更新する。
(降ろし忘れ防止)
次に、図5のフロー図を用いて物品の降ろし忘れ防止処理について説明する。なお、本降ろし忘れ防止処理は、制御部120の図示しないROMに含まれる制御プログラムによって繰り返し実行される。まず、物品の荷降ろしが終了したかを判定する。
降忘判定部107には、降車検出手段として図示しない以下のセンサあるいはスイッチが接続されている。
(1)ドアの開閉状態を検出するドア状態検出スイッチ(本発明のドア状態検出手段)。例えば、ドア開状態のときに該スイッチがオン状態となり、ドア閉状態のときに該スイッチがオフ状態となる。車両のドアが開状態から閉状態になってから所定の時間が経過した場合に降車(荷降ろしの終了)を検出する。
(2)ドアの施錠状態を検出するドアロック状態検出スイッチ(本発明のドアロック状態検出手段)。例えば、ドアが開錠状態のときに該スイッチがオン状態となり、ドアが施錠状態のときに該スイッチがオフ状態となる。ドアが施錠状態になってから所定の時間が経過した場合に降車(荷降ろしの終了)を検出する。
(3)車両の速度を検出する車速センサ(本発明の停止状態判定手段)。周知のロータリエンコーダ等の回転検出部を含んで構成され、車輪等の回転速度から車速を求める。車速が所定の値(例えば5km/h以下)の場合に車両が停止していると判定する。車両が停止状態となって所定の時間が経過した場合に降車(荷降ろしの終了)を検出する。
(4)車両のシフトレバーの位置を検出するシフトポジションセンサ(本発明の停止状態判定手段)。シフトレバーの位置毎にスイッチが配設され、車両のシフトレバーの位置に応じて該スイッチの状態が変化する。例えば、シフトレバーがパーキングの位置にある場合に車両が停止していると判定する。シフトレバーがパーキングの位置になって所定の時間が経過した場合に降車(荷降ろしの終了)を検出する。
(5)車両の座席に設置される乗員検出センサ(本発明の乗員検出手段)。座席の着座面あるいは背もたれ部にスイッチを配設し、該座席に人が座ると該スイッチがオン状態となり、人がいないと該スイッチがオフ状態となる。座席に人がいない状態になってから所定の時間が経過した場合に降車(荷降ろしの終了)を検出する。
上記センサの少なくとも一つあるいは二つ以上の組み合わせによって降車を判定する。また、トランクの開け閉めが頻繁に行われた後に閉状態が所定の時間継続した状態、または、カメラ102により車内に誰も人が居なくなった状態を検出することで荷降ろし作業の終了を判定してもよい。
また、上記センサあるいはスイッチは、上述した積み込み忘れ防止処理において乗員が乗車したかどうかの判定に用いることもできる。例えば、乗員検出センサで乗員を検出して、ドアの状態が開状態から閉状態に変化して所定の時間が経過した場合に乗車完了即ち積み込み完了と判断するものである。例えばイグニッションスイッチのように、上記センサあるいはスイッチの他のセンサあるいはスイッチを用いて、積み込み完了あるいは荷降ろし完了を判定する方法を用いてもよい。
この時の室内状態をカメラ102で撮影し、降忘推定部107(本発明の備品降ろし終了検出手段,備品降ろし忘れチェック手段,比較手段)において、撮影された画像データと、制御部120に含まれる図示しない不揮発メモリに記憶されている積み込み終了時にカメラ102で撮影した画像データとを比較し、降ろし忘れがあるかどうかを判定する(図5,S31)。このとき、図6の物品リストの「積み下ろし状態」欄に結果を記憶する。
また、使用者が降ろした物品について、ディスプレイ115に表示された物品リスト上の該物品を入力部103のスイッチ操作により選択し荷降ろし済みとする。このとき、ディスプレイ115に表示された該物品の表示を反転させたり表示色を荷降ろし済みでない物品と変えてもよい。また、スイッチ操作の代わりに音声入力による指示を行なってもよい。ディスプレイ115の表示が荷降ろし済み表示となるとともに、図6の物品リストにおいて該物品に対応する「荷降ろし状態」欄が荷降ろし済みを表す「済」となる。
降忘推定部107において図6の物品リストを参照した結果、降ろし忘れがあると判定された場合(図5,S32:Yes)、使用者に通知を行なう(図5,S33)この通知は、車外の使用者に認識できるように行われるようにする。このために、車外から認識できるスピーカ116による音声メッセージ送出、ディスプレイ115による表示、あるいは送信部112を介しての使用者の持つ携帯端末1の呼び出し、等の方法を用いて行われる。この場合、ディスプレイ115(本発明の備品降ろし忘れ報知手段)の表示およびスピーカ116(本発明の備品降ろし忘れ報知手段)の音声メッセージが車外からも視認可能あるいは聴取可能なようにディスプレイ115あるいはスピーカ116が配置されている。
図6の例では、クーラーボックスを降ろし忘れているので、「クーラーボックスを降ろして下さい」等の表示あるいはメッセージ送出が行なわれる。予め制御部120の図示しない不揮発メモリは、「○○を降ろして下さい」等の定型文が記憶されている。降忘推定部107では、降ろし忘れた物品を物品リストから抽出すると、その物品名を定型文の「○○」に置き換えて文を完成し、通知部110へ送り、通知部110では該メッセージを所定のデータに変換し、ディスプレイ115、スピーカ116、送信部112へ送る。
スピーカ116による音声メッセージ送出、ディスプレイ115による表示、あるいは送信部112を介しての使用者の持つ携帯端末1の呼び出しのいずれを用いるかは、使用者により設定可能である。即ち、入力部103に含まれるスイッチ操作あるいは音声入力によって設定画面を表示させ、使用者への通知方法を選択する。通知方法は一つでも二つ以上の組み合わせでもよく、通知しないよう設定することもできる。また、携帯端末1として周知の携帯電話機を使用する場合は、予め制御部120の図示しない不揮発メモリにメールアドレスあるいは電話番号を登録しておく。
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
本発明の積荷確認システムの全体構成を示すブロック図。 情報サーバの構成を示すブロック図。 備品情報出力処理を説明するためのフロー図。 積み込み忘れ防止処理を説明するためのフロー図。 荷降ろし忘れ防止処理を説明するためのフロー図。 物品リストの一例を示す図。
符号の説明
1 携帯端末(スケジュール記憶手段,備品チェック結果報知手段,備品降ろし忘れ報知手段)
2 情報センタ(備品情報出力手段)
3 ショップ
23 データベース
25 情報サーバ
100 車載機器
101 受信部
102 カメラ(備品撮影カメラ)
103 入力部(搭載情報入力手段)
104 地図データ
105 位置検出部
106 備品情報出力部(備品推定手段)
107 降忘判定部(備品降ろし終了検出手段,備品降ろし忘れチェック手段,比較手段)
108 不足分抽出部(備品積み込みチェック手段,比較手段)
109 情報反映部(備品積み込みチェック手段,備品降ろし忘れチェック手段)
110 通知部(備品チェック結果報知手段,備品降ろし忘れ報知手段)
111 調達部(調達先等検索手段)
112 送信部
113 予約部(予約実行手段)
114 誘導部(調達支援手段)
115 ディスプレイ(備品チェック結果報知手段,備品降ろし忘れ報知手段)
116 スピーカ(備品チェック結果報知手段,備品降ろし忘れ報知手段)
120 制御部

Claims (10)

  1. 車両の使用者に対応して電子的に設定され管理されるスケジュールを記憶するスケジュール記憶手段と、
    前記スケジュール記憶手段に記憶されているスケジュールを実行するために前記車両に搭載して携行することが必要なまたは望ましい備品の情報を、前記スケジュール記憶手段の内容に基づいて出力する備品情報出力手段と、
    前記備品情報出力手段で出力された備品が前記車両に積み込まれたかどうかのチェックを行なう備品積み込みチェック手段と、
    前記チェックの結果として、前記備品情報として出力された備品に対する搭載済みとされた備品の充足および不足の少なくとも不足情報を報知する備品チェック結果報知手段と、を含み、
    前記備品積み込みチェック手段は、前記備品情報出力手段が出力した備品リストのそれぞれに対し、使用者が積み込んだかどうかを示す搭載済みまたは非搭載の搭載情報、およびこれに加え現に所持してないが調達が必要であることを示す要調達、現に所持していないがレンタルが必要であることを示す要レンタルの少なくとも一つの搭載情報を使用者に入力させる搭載情報入力手段を備えており、
    さらに、電子地図上に前記車両の現在位置を表示して車両を目的地に誘導する車両用ナビゲーション装置と、
    前記要調達または要レンタルの備品情報が入力されている備品について、調達先またはレンタル先の情報を検索する調達先等検索手段と、
    前記調達先等検索手段により検索された調達先またはレンタル先の所在地情報を、前記車両用ナビゲーション装置の前記電子地図上に示して当該所在地に位置に車両を誘導する調達支援手段と、
    を含むことを特徴とする車両における備品の積み込み支援装置。
  2. 前記備品積み込みチェック手段は、前記備品情報出力手段が出力した備品リストのそれぞれに対し、積み込まれたかどうかを搭載情報として使用者に入力させる搭載情報入力手段と、前記搭載情報入力手段により入力された搭載情報と前記備品情報出力手段が出力した備品リストとを比較する比較手段とを備え、
    前記備品チェック結果報知手段は、前記比較された結果である、前記備品リストに挙げられている備品であって、前記搭載情報入力手段により前記搭載情報が入力されていない備品を前記不足情報して報知するものである請求項1に記載の車両における積み込み支援装置。
  3. 前記備品積み込みチェック手段は、前記車両内に配置されて前記車両内に積み込まれる前記備品の画像を撮影する備品撮影カメラと、前記備品撮影カメラが撮影した画像から備品の種別を推定して搭載情報を生成する備品推定手段と、前記備品推定手段により搭載済みと推定された備品と前記備品情報出力手段が出力した備品リストとを比較する比較手段とを備え、
    前記備品チェック結果報知手段は、前記比較された結果である、前記備品リストに挙げられている備品であって、前記備品推定手段によっては搭載情報が生成されていない備品を前記不足情報として報知するものである請求項1に記載の車両における積み込み支援装置。
  4. 前記調達先等検索手段が、その調達またはレンタルに予約が必要であると判断した場合は、その予約を通信手段を介して実行する予約実行手段を含むものである請求項1に記載の車両における積み込み支援装置。
  5. 前記備品チェック結果報知手段は、
    前記車両の内部あるいは外部に設置されたスピーカ、前記車両の内部あるいは外部に設置された表示装置、および前記車両と通信可能な携帯端末のうちの少なくとも一つを含むものである請求項1ないし4のいずれか1項に記載の車両における備品の積み込み支援装置。
  6. 請求項1ないし5のいずれか1項に記載された積み込み支援装置に加え、
    前記備品を降ろし終えたことを推定する備品降ろし終了推定情報を検出する備品降ろし終了検出手段と、
    前記備品降ろし終了検出手段が前記備品を降ろし終えたことを検出した後、車両内に備品が残っているかどうかをチェックする備品降ろし忘れチェック手段と、
    前記備品降ろし忘れチェック手段により降ろし忘れの備品が存在すると判断された場合は、備品降ろし忘れ情報を報知する備品降ろし忘れ報知手段と、
    を含むことを特徴とする車両における備品の積み降ろし支援装置。
  7. 車両の使用者に対応して電子的に設定され管理されるスケジュールを記憶するスケジュール記憶手段と、
    前記スケジュール記憶手段に記憶されているスケジュールを実行するために前記車両に搭載して携行することが必要なまたは望ましい備品の情報を、前記スケジュール記憶手段の内容に基づいて出力する備品情報出力手段と、
    前記備品情報出力手段で出力された備品が前記車両に積み込まれたかどうかのチェックを行なう備品積み込みチェック手段と、
    前記チェックの結果として、前記備品情報として出力された備品に対する搭載済みとされた備品の充足および不足の少なくとも不足情報を報知する備品チェック結果報知手段と、を含むことを特徴とする車両における備品の積み込み支援装置に加え、さらに、
    前記備品を降ろし終えたことを推定する備品降ろし終了推定情報を検出する備品降ろし終了検出手段と、
    前記備品降ろし終了検出手段が前記備品を降ろし終えたことを検出した後、車両内に備品が残っているかどうかをチェックする備品降ろし忘れチェック手段と、
    前記備品降ろし忘れチェック手段により降ろし忘れの備品が存在すると判断された場合は、備品降ろし忘れ情報を報知する備品降ろし忘れ報知手段と、を含み、
    前記備品降ろし終了検出手段は、前記車両内に配置されて前記車両内に積み込まれている前記備品の画像を撮影する備品撮影カメラと、前記車両の乗員が降車したかどうかを検出する降車検出手段とを含み、前記乗員が降車したことを検出した際に、前記備品撮影カメラにより撮影された画像データから前記備品降ろし終了推定情報を検出することを特徴とする車両における備品の積み降ろし支援装置。
  8. 前記備品降ろし終了検出手段は、前記車両内に配置されて前記車両内に積み込まれている前記備品の画像を撮影する備品撮影カメラと、前記車両の乗員が降車したかどうかを検出する降車検出手段とを含み、
    前記乗員が降車したことを検出した際に、前記備品撮影カメラにより撮影された画像データから前記備品降ろし終了推定情報を検出するものである請求項6又は請求項7に記載の車両における備品の積み降ろし支援装置。
  9. 前記降車検出手段は、
    前記車両の室内における乗員の有無を検出する乗員検出手段と、
    前記車両が停止しているかどうかを判定する停止状態判定手段と、
    前記車両のドアの開閉状態を検出するドア状態検出手段と、
    前記車両のドアの施錠状態を検出するドアロック状態検出手段と、
    のうちの少なくとも一つを含むものである請求項8に記載の車両における備品の積み降ろし支援装置。
  10. 前記備品降ろし忘れ報知手段は、前記車両の内部あるいは外部に設置されたスピーカ、前記車両の内部あるいは外部に設置された表示装置、および前記車両と通信可能な携帯端末のうちの少なくとも一つを含むものである請求項ないし9のいずれか1項に記載の車両における備品の積み降ろし支援装置。
JP2004197725A 2004-07-05 2004-07-05 車両における備品の積み込み支援装置および備品の積み降ろし支援装置 Expired - Fee Related JP4375142B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004197725A JP4375142B2 (ja) 2004-07-05 2004-07-05 車両における備品の積み込み支援装置および備品の積み降ろし支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004197725A JP4375142B2 (ja) 2004-07-05 2004-07-05 車両における備品の積み込み支援装置および備品の積み降ろし支援装置

Publications (2)

Publication Number Publication Date
JP2006015938A JP2006015938A (ja) 2006-01-19
JP4375142B2 true JP4375142B2 (ja) 2009-12-02

Family

ID=35790550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004197725A Expired - Fee Related JP4375142B2 (ja) 2004-07-05 2004-07-05 車両における備品の積み込み支援装置および備品の積み降ろし支援装置

Country Status (1)

Country Link
JP (1) JP4375142B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412298B2 (ja) 2006-03-17 2010-02-10 株式会社デンソー 情報提供システム,端末装置およびプログラム
JP4730240B2 (ja) * 2006-07-25 2011-07-20 株式会社デンソー 車両到着判定装置及び車両制御システム
JP5286952B2 (ja) * 2008-06-05 2013-09-11 日産自動車株式会社 移動目的推定装置及び移動目的推定方法
US8606612B2 (en) 2008-12-10 2013-12-10 Alpine Electronics, Inc Method and apparatus for improving efficiency in event information exchange among parties of event
US8249805B2 (en) 2008-12-12 2012-08-21 Alpine Electronics, Inc. Automatic updating of favorite places for navigation system upon change of home address
JP2011105073A (ja) * 2009-11-13 2011-06-02 Toyota Motor Corp 停車時注意喚起システム、停車時注意喚起装置及び情報処理センター
US8532921B1 (en) * 2012-02-27 2013-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining available providers
US8594861B2 (en) * 2012-02-27 2013-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for communicating with a vehicle user
JP5827926B2 (ja) * 2012-06-19 2015-12-02 日本電信電話株式会社 湿度推定装置を用いたレコメンドサービスシステム、方法およびプログラム
JP7216672B2 (ja) * 2017-07-12 2023-02-01 ジェンテックス コーポレイション 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出
JP2020004252A (ja) * 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
KR102295080B1 (ko) * 2019-04-26 2021-08-26 송혜선 차량 탑승 시 소지품 체크 시스템 및 이를 이용한 소지품 체크 방법
JP7318526B2 (ja) * 2019-12-27 2023-08-01 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
JP7459719B2 (ja) * 2020-08-07 2024-04-02 トヨタ自動車株式会社 制御装置、車両、プログラム及び制御方法
CN112562289B (zh) * 2020-12-15 2022-08-16 广州极飞科技股份有限公司 一种图像采集器的防遗失方法、装置、设备及存储介质
JP7366106B2 (ja) 2021-11-17 2023-10-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 端末装置、処理方法及び処理プログラム

Also Published As

Publication number Publication date
JP2006015938A (ja) 2006-01-19

Similar Documents

Publication Publication Date Title
JP4375142B2 (ja) 車両における備品の積み込み支援装置および備品の積み降ろし支援装置
JP7418035B2 (ja) 車載機,解錠システム,システムおよび車載機を制御する方法
US10604067B2 (en) System and method for controlling vehicle seating arrangement
TWI700666B (zh) 資訊處理裝置
US10303961B1 (en) Object detection and passenger notification
JP4362719B2 (ja) 駐車中車両の状態報知システム
JP6907933B2 (ja) 情報システム、情報処理方法およびプログラム
JP2020149708A (ja) 自動運転車及び自動運転車用プログラム
JP7119871B2 (ja) 忘れ物配送支援装置、忘れ物配送支援システム、忘れ物配送支援方法、及び忘れ物配送支援用コンピュータプログラム
JP6996359B2 (ja) 持ち忘れ防止支援方法、端末装置および持ち忘れ防止支援システム
JP2012123491A (ja) 車載装置および忘れ物確認サービス
JP6950521B2 (ja) 集荷システム
JP6851048B2 (ja) タクシー手荷物忘れ防止システム
JP6302016B2 (ja) 制御装置
CN114792262A (zh) 信息处理装置、信息处理方法和记录介质
KR100537728B1 (ko) 통신망을 통한 운송 수단의 운행 정보 제공 방법 및 시스템
JP7146981B2 (ja) 情報通知システム、及び情報通知方法
JP2009265986A (ja) 車載器用表示情報制限装置及び車載用電子装置
JP2020111990A (ja) 荷物ロック装置
JP4561598B2 (ja) 搭載荷物確認システム
US20230298087A1 (en) System and method for facilitating contactless drive up order fulfillment
JP2019133357A (ja) 運転支援システム、運転支援方法、プログラム、及び移動体
JP7473082B2 (ja) 遺失物防止装置、遺失物防止プログラム及び遺失物防止方法
JP2006127151A (ja) 車両における備品の積み込み支援装置
JP7356795B2 (ja) エンジン制御装置およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees