JP4190843B2 - 個人ナビゲーションシステム - Google Patents

個人ナビゲーションシステム Download PDF

Info

Publication number
JP4190843B2
JP4190843B2 JP2002278801A JP2002278801A JP4190843B2 JP 4190843 B2 JP4190843 B2 JP 4190843B2 JP 2002278801 A JP2002278801 A JP 2002278801A JP 2002278801 A JP2002278801 A JP 2002278801A JP 4190843 B2 JP4190843 B2 JP 4190843B2
Authority
JP
Japan
Prior art keywords
information
route
current position
communication
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002278801A
Other languages
English (en)
Other versions
JP2004117094A (ja
Inventor
義仁 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Fielding Ltd
Original Assignee
NEC Fielding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Fielding Ltd filed Critical NEC Fielding Ltd
Priority to JP2002278801A priority Critical patent/JP4190843B2/ja
Publication of JP2004117094A publication Critical patent/JP2004117094A/ja
Application granted granted Critical
Publication of JP4190843B2 publication Critical patent/JP4190843B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、視力に障害がある人等の個人を目的地まで誘導することのできる個人ナビゲーションシステムに関する。
【0002】
【従来の技術】
視力あるいは視覚に何らかの障害を有する人(以下、視覚障害者という。)は、単独での外出を控える傾向にある。このような視覚障害者の外出時の誘導を行うために盲導犬が活躍している。しかしながら、盲導犬は視覚障害者の進行方向の指示を受けて周囲の状況を判断しながら進行を誘導するので、目的地を盲導犬に教えてその場所まで自主的に誘導してもらうことまではできない。そこで、最近発達した通信技術を使用して視覚障害者を目的地まで誘導する提案が幾つか行われている。
【0003】
図13は、このうち特開2000−205891号公報に開示された提案の誘導安定装置の概要を表わしたものである。この提案では視覚障害者の頭部上部101に通信部102を配置しており、また、口の近くにマイクロフォン103を、また耳の近くにスピーカ104をそれぞれ配置している。更に、リモコン操作部105が図示しない手の部分で操作できる位置に配置されている。誘導安定装置本体106は、これら各部と電気的に接続されており、誘導のための制御を行うようになっている。
【0004】
この提案の誘導安定装置の通信部102は図示しないGPS(Global Positioning System)部および超音波処理部を備えている。GPS部は、複数の通信衛星(図では1つのみを表示)108から電波を受信することで、この視覚障害者の位置を検出するようになっている。超音波処理部は超音波の発信と受信を行い、これによって視覚障害者の進行方向における障害物の検出を行うようになっている。
【0005】
この提案では、視覚障害者がリモコン操作部105を操作して、行き先の電話番号を入力すると、誘導安定装置本体106がその行き先の地図情報を図示しない記憶部から読み出すと共に、GPS部から得られた現在地の情報と照合して視覚障害者に進むべき方向を音声等で指示するようになっている。したがって、視覚障害者はこの指示に従い、かつ超音波処理部によって障害物を検出しながら目的地に到達することができる。
【0006】
ところで、この提案では視覚障害者が精度良く目的地に到達するためには誘導安定装置本体106内にかなり詳細な地図情報を格納しておく必要がある。この地図情報とGPS部から得られた現在地の情報とを照合する必要があるからである。このためには誘導安定装置本体106内にCD(Compact Disc)−ROM(Read Only Memory)あるいはDVD(Digital Versatile Disc)−ROMならびにこれらからデータを読み出す読出装置を格納しておく必要がある。更に装置各部に電源を供給する電源部も必要であり、誘導安定装置自体がかなり大型化するといった問題があった。また、地図データを格納するためのCD−ROMあるいはDVD−ROMは、購入時は最新の内容でも時間と共に情報が古くなり、地図の信頼性が確保されないという問題があった。
【0007】
そこで、図14に示す装置が提案されている。特開2001−175987号公報に開示されたこの提案では、無線基地局121と接続された本部122側に地図データベース123を配置している。視覚障害者124は、携帯送受信機125を所持しており、これに目的地127を入力するようになっている。すると、本部122がこれを受信して地図データベース123を検索し、対応するセル128に至るように、現在の無線基地局121のセル129から順に通過すべきセル131、132、……を設定する。これにより、視覚障害者124は現在のセルから東西南北のどの方向に行けば次に通過するセルに到達するかを音声でガイドされることによって、これらのセル131、132、……を順に通過し目的地127に到達することができる。
【0008】
【発明が解決しようとする課題】
この図14に示した提案では、視覚障害者が携帯電話機に代表される携帯送受信機125を所持するだけでよいので、所持する機器の重量を大幅に減少させることができる。したがって、長時間持ち歩くことに不都合が発生しない。しかしながら、視覚障害者は各小ゾーン(セル)を経由して目的地に到達するようになっている。したがって、これらセルのサイズが大きすぎると1つのセル内で目的地を特定する処理が困難になり、精度も高くすることができない。一方、セルのサイズを小さくすると目的地や途中の経路の特定のための精度が一般的には向上するが、基地局の設置数が膨大となる。また、セル内の位置の特定は基地局からのそのセル内での電波の強度や、他のセルから同時に送られてくる電波の強度の相対的な関係によって求めるので、セルのサイズを小さくしたとしても、地形やビルの配置等の環境によって電波の強度が影響を受ける場合には位置の精度を十分高めることができない。更に基地局の数が多くなると、これらと本部122側の通信のための設備にもコストが掛かることになる。
【0009】
以上、視覚障害者が目的地までガイドされる場合の従来提案された装置についての問題を説明したが、同様の問題は視覚障害者に限るものではない。不慣れな土地で目的の場所に到達するためにかなりの余裕時間を設定するのは通常行われていることであり、また、道に迷ったために予定された時刻に間に合わないといった経験を持つ者も多い。
【0010】
そこで本発明の目的は、視覚障害者等の個人がより確実に目的地に到達することのできる個人ナビゲーションシステムを提供することにある。
【0011】
【課題を解決するための手段】
請求項1記載の発明では、(イ)棒状部材における個人が手で握る側としての一端側を基点としたときの他端側としての先端部分が示す方向を検出する方向検出手段と、この方向検出手段によって検出された方向を示す進行方向情報を送出する進行方向情報送信手段とを備えた杖と、(ロ)個人が向かおうとする目的地への移動経路としてのルートの設定を要求するルート設定要求手段と、このルート設定要求手段の要求に対して複数のルートが候補として送られてきたときこの中から1つのルートを選択するルート選択手段と、複数の通信衛星からの電波を受信することで現在位置を検出する現在位置検出手段と、この現在位置検出手段によって検出された現在位置を表わした現在位置情報と前記したルート設定要求手段の要求によって設定したルートの照合結果を基にして現在位置から目的地に向かって最適な方向に移動するための移動指示情報が送られてきたときこれを基にして移動を指示する移動指示手段と、通信のためにインターネットに接続するインターネット接続手段と、前記した進行方向情報送信手段から受信した前記した進行方向情報を前記した杖の所持者の移動する方向を示す情報として送信する移動方向送信手段と、前記した現在位置情報を送信する現在位置情報送信手段を備えた通信端末と、(ハ)個人が移動する土地の地図や移動する可能性のある場所に存在する障害物および施設に関する情報を格納し通信によってその内容を逐次更新される情報格納手段と、前記した通信端末のルート設定要求手段からルートの設定が要求されたときその現在位置から目的地に至るルートを前記した情報格納手段に格納された情報を基にして検索するルート検索手段と、このルート検索手段によって検索されたルートについての候補が複数存在するとき前記した通信端末に対して1つのルートの選択を要求するルート選択要求手段と、このルート選択要求手段の要求に基づいて1つのルートが選定されたときこれを受信するルート受信手段と、前記した通信端末の現在位置情報送信手段から送られてきた現在位置情報を受信する現在位置情報受信手段と、前記した通信端末の移動方向送信手段から送られてきた前記した杖の所持者の移動する方向を示す情報を受信する移動方向受信手段と、これら現在位置情報受信手段および移動方向受信手段から現在位置情報および前記した進行方向情報が送られてきたときルート受信手段によって受信したルート上にこの通信端末が位置しかつ障害物を回避するように逐次判別し、現在位置から最適な方向に移動するための移動指示情報をこの通信端末に送出する移動指示情報送出手段と、通信のためにインターネットに接続するインターネット接続手段とを備えた誘導監視手段とを個人ナビゲーションシステムに具備させる。
【0025】
【発明の実施の形態】
【0026】
【実施例】
以下実施例につき本発明を詳細に説明する。
【0027】
図1は本発明の個人ナビゲーションシステムの一例として視覚障害者の使い勝手を特に考慮したシステムの構成を表わしたものである。本実施例の個人ナビゲーションシステム200は、インターネット網201および携帯通信網202を利用するものである。携帯通信網202には基地局204が設置されており、携帯電話機205と無線で通信が行えるようになっている。携帯電話機205はGPS機能を搭載しており、複数の通信衛星(図では1つのみを表示)206から得られる信号を受信し、現在位置の計測を行うようになっている。これにより、数センチメートル程度までの誤差で携帯電話機205の現在位置を確定することができる。本実施例ではGPSによる位置測定の原理を使用することで、たとえばA地点211Aから目的地としてのB地点211Bまで携帯電話機205の使用者212をガイドするようになっている。また、両地点211A、211Bの間に鉄道213等の交通機関が存在するときは、使用者212にその存在を知らせ、適宜これらの交通機関を利用させることで効率的な個人ナビゲーションを実現することにしている。
【0028】
この個人ナビゲーションシステム200を実現するためにインターネット網201には、監視装置215と誘導装置216が接続されている。本実施例で携帯電話機の使用者212がA地点211AからB地点211Bまでガイドされるものとすると、監視装置215は、携帯電話機の使用者212がどのような経路を経て移動するかをインターネット網201を通じて監視するようになっている。誘導装置216は、内部に各種のデータベースを備えており、携帯電話機の使用者212に対して目的地としてのB地点211Bまで誘導するデータを検索し、これを監視装置215に提供するようになっている。
【0029】
図2は、本実施例で使用される携帯電話機の外観を示したものである。この携帯電話機205は2つの筐体221、222をヒンジ機構223によって折り畳むことができるタイプのものである。図で上側に配置された一方の筐体221の閉じ合わされる面と反対側の面にはズーム付きの第1のデジタルカメラ224が配置されており、更にこの筐体221の反対側の面には図示しない液晶等の第1のディスプレイと共に第2のデジタルカメラ225が配置されている。このように2つのデジタルカメラ224、225が配置されているのは、携帯電話機205の使用者212(図1)の前方と後方の被写体を同時に映し出すことによって、たとえば通話相手が使用者212の周囲の状況をより把握しやすくするためである。ズーム付きの第1のデジタルカメラ224は通話相手側の指示で倍率を変更できるモードが存在し、使用者212が有人(通話相手)によるサポートを受ける場合に、前方の障害物等の特定に効力を発揮する。ただし、本実施例ではGPSを使用して人手を介すことなく目的地にたどり着く場合を主として説明する。
【0030】
一方の筐体221における第1のデジタルカメラ224の配置された面には小型の第2のディスプレイ227が配置されている。また、他方の筐体222の側面にはイヤホンジャック228が設けられている。このイヤホンジャック228にイヤホン229のプラグ側を挿入することで、携帯電話機205に内蔵の図示しないスピーカから出力される音をイヤホン229側に切り替えて出力させることができる。これは、本実施例で携帯電話機205の使用者212が雑音の多い市街地等で音によって進行等の指示を受けるときに確実にその内容を聞き取ることができるようにするためである。図示しないステレオヘッドホンを代わりに使用できるようになっていてもよいが、携帯電話機205の音を聴取している状態で周囲の音を十分取り込めるような構造にしておくことが安全である。
【0031】
図3は図2に示した携帯電話機の回路構成の概要を表わしたものである。携帯電話機205は、CPU(中央処理装置)231を搭載している。CPU231はバス232を通じて装置内の各部と接続されている。このうちROM233はこの携帯電話機205の各部を制御するためのプログラムを格納したリード・オンリ・メモリである。RAM234はプログラムを実行するときに必要となる一時的なデータおよび画像等を含んだ通信データを一時的に格納するランダム・アクセス・メモリである。操作部235は図2に示した筐体222の閉じ合わせる側の面に配置されたキースイッチ群から構成されている。操作部235の操作により発生した信号は入力回路236を介してバス232に伝達されるようになっている。第1のデジタルカメラ224と第2のデジタルカメラ225の出力は画像制御回路237によって圧縮等の処理が行われた後、バス232に出力される。なお、第1のデジタルカメラ224の倍率制御は画像制御回路237が画像処理として行うが、光学的に倍率を変化させる装置構成の場合にはこの画像制御回路237と併せてモータ駆動制御回路が必要である。
【0032】
音声制御回路238は音声の入出力を行う回路で、マイクロフォン239から音声を入力すると共に、切替器241を介してスピーカ242および図2に示したイヤホン229に接続されており、これらのいずれかから音声を出力するようになっている。表示制御回路244は、前記した第1のディスプレイ245および第2のディスプレイ227の表示を制御するようになっている。第1の通信制御回路246は、図1に示した基地局204と無線で通信を行い、本実施例ではインターネット網201を介して監視装置215や誘導装置216と接続されるようになっている。もちろん、携帯通信網202上の図示しないサポート機関(あるいはサポート会社)に電話し、テレビカメラあるいはデジタルカメラを取り付けた携帯電話機205を用いた視覚障害者支援(テレサポート)を受けることもできる。この場合には、第1のデジタルカメラ224あるいは第2のデジタルカメラ225または双方によって取得した画像をサポート機関に送って、映し出された画像を見た支援者が音声によって携帯電話機205の使用者212に指示を与えることになる。
【0033】
本実施例の携帯電話機205は第1の通信制御回路246の他に第2の通信制御回路247を備えている。第2の通信制御回路247は付属装置入出力回路248を介してバス232と接続されており、オプションとして用意される付属装置に無線で必要な情報を与えたり、付属装置から出力される無線による情報を出力するようになっている。このような付属装置の一例としては後に説明する視覚障害者用杖や誘導ブロック(点字ブロック)の一種としての無線誘導ブロック等がある。GPS受信部249は図1に示した通信衛星の複数から電波を受信して携帯電話機205の現在位置を判別する装置である。
【0034】
図4は本実施例の誘導装置の構成を具体的に表わしたものである。誘導装置216は、処理装置部261を備えている。処理装置部261は図示しないCPU(中央処理装置)、制御プログラムを格納した記録媒体ならびに通信制御部を備えており、通常のパーソナルコンピュータと同一の構成となっている。通信制御部は図1に示したインターネット網201と誘導装置216を常時接続するようになっている。処理装置部261はバス262を介して3種類のデータベース(DB)を接続している。これらは、地図情報データベース263、構造化地図データベース264および交通機関情報データベース265である。
【0035】
このうち地図情報データベース263には、日本全国の詳細なディジタル地図情報と、各地域に存在する交差点、信号、踏切、横断歩道の位置、横断歩道の横断距離、歩道と車道の段差、歩道の勾配、歩道の幅員、歩道上に存在する電柱、看板、花壇等の障害物の一覧とこれらの位置とに関するデータが格納されている。これらの情報は、最新の情報に逐次更新される。また、これら道路等に対する工事が行われる場合には、それについて提出される情報に基づいて情報の一時的な変更や訂正が行われるようになっている。
【0036】
構造化地図データベース264は、駅舎、建物等の施設の出入り口、これら施設における階段等の通行のための設備の位置や形状等についての位置的な精度情報が格納されている。
【0037】
交通機関情報データベース265は、携帯電話機の使用者212が交通機関を利用するときに使用するデータベースである。ここには、各交通機関の駅、バス停、港、空港等の位置、それぞれの交通機関の平日および休日における行き先、出発時刻、それぞれの駅、バス停、港等の到着時刻、電車等の出発および到着の番線、搭乗口に関する情報が格納されている。臨時便が存在するときの内容や、台風等による運休あるいは欠航、行き先の変更についても、最新のものがインターネットに接続された各交通機関の協力によってデータベースとして常に整備されるようになっている。
【0038】
このように地図情報データベース263、構造化地図データベース264および交通機関情報データベース265は全国規模になると情報量が膨大である。しかしながら、これらのデータベースの少なくとも一部は、地図や時刻表に関するアプリケーションプログラムを売り出している幾つかの会社がすでにデータベース化している。そこで、たとえばこれらの会社と提携することで、内容的にも常に新しく、かつ詳細なデータベースを構築し、維持することができる。
【0039】
図5は、本実施例の監視装置の機能ブロックを表わしたものである。監視装置215は、ワークステーション等の通信機能を持ったデータ処理装置によって構成されており、地図上の障害物と図1に示した携帯電話機205を持って行動する使用者212とのマッチングを判別する障害物マッチング部271と、周囲の施設と使用者212とのマッチングを判別する施設マッチング部272と、経路情報と使用者212とのマッチングを判別する経路情報マッチング部273と、インターネット網201と接続する通信部274から構成されている。
【0040】
これら3つのマッチング部271〜273は、図4に示した誘導装置216の3種類のデータベースに1つずつ対応している。すなわち障害物マッチング部271は、使用者212が携帯電話機205を使用しながら移動するとき、地図情報データベース263を参照して、正確にルート上を移動しているかどうかをリアルタイムに監視する。また、施設マッチング部272は、構造化地図データベース264を参照して、使用者212が各施設を結ぶルート上を正確に移動しているかどうか、あるいはこれらの施設のいずれかに辿り着いたかをリアルタイムに監視する。更に経路情報マッチング部273は、交通機関情報データベース265を参照して、使用者212が交通機関を利用するとき、交通機関の改札口等に正確に辿り着いたかあるいは交通機関によって正確に移動しているかどうかをリアルタイムに監視する。これらのマッチング部271〜273は使用者212が予め設定したルートを外れて移動している場合に、携行している携帯電話機205に対してアラーム音を出力したりバイブレーションを発信して注意を促すようにしている。
【0041】
更に本実施例の個人ナビゲーションシステムでは、本人から緊急通報依頼が発せられた場合、GPS機能を搭載した携帯電話機205から使用者212の現在位置を把握して、最寄りの警察あるいは消防署に自動通報するようになっている。また、このような事態ではなくても使用者212本人が道に迷ったと自覚したとき、あるいは周囲に存在する施設等について確認をしたいとき等には、現在地の施設等に対して自動音声ガイダンスを要求したり、前記したように第1のデジタルカメラ224あるいは第2のデジタルカメラ225の画像をサポート機関に送信して視覚障害者支援を受けることもできる。
【0042】
図6は、本実施例の視覚障害者用杖および無線誘導ブロックの構成を示したものである。携帯電話機の使用者212が携行する視覚障害者用杖281はたとえば白色に塗られた杖であり、その上部付近に、図3に示した第2の通信制御回路247と近距離の無線通信を行う通信部282を備えており、その僅か下に第1のGPS受信部283が設けられている。また、視覚障害者用杖281の最下端近傍には第2のGPS受信部284が設けられており、その僅か上部には無線受信部285が設けられている。無線受信部285は、歩道等に配置された誘導ブロックとしての無線誘導ブロック291から発せられる誘導情報を受信して、これを第1および第2のGPS受信部283、284から得られた進行方向情報と共に第2の通信制御回路247に送出するようになっている。
【0043】
ここで2つのGPS受信部283、284が設けられているのは、複数の通信衛星(図では1つのみを表示)206から視覚障害者用杖281の2点でそれぞれ位置情報を取得して、これから杖の方向を識別することで使用者212の進行方向を判別できるようにするためである。また、視覚障害者用杖281の先端近傍に無線送受信部285が設けられているのは、無線誘導ブロック291がその配置方向によって異なった情報を発信している場合、それらを区別して受信しやすくするためである。使用者212は視覚障害者用杖281をたとえば矢印293方向に移動していくことで、たとえば「新宿駅広場方向200メートル。……新宿駅広場方向195メートル。……交差点。」という音声情報を順に得ることができる。この場合、更に矢印294方向に直進すると「小田急線、小田急デパート方向」という音声情報に切り替わり、矢印295方向に右折すると「京王線、京王デパート方向」という音声情報に切り替わる。また、矢印296方向に左折すると「JR線、丸ノ内線方向」という音声情報に切り替わる。
【0044】
無線誘導ブロック291は、視覚障害者用杖281の識別情報を受信しており、進行方向を判別することで音声情報を2種類の情報から切り替える。無線誘導ブロック291はそれぞれ2種類の情報を常に発信し、視覚障害者用杖281側がその進行方向をブロックごとの識別情報の切り替え状況から判別して、そのうちの一方のみを携帯電話機205に送出するようにしてもよい。もちろん、図1に示したA地点211Aから目的地としてのB地点211Bまで移動するときに使用者212がそのルートを決定したら、そのルート上に存在する無線誘導ブロック291に沿って正常に歩行している間は正常移動を示す音楽等の音情報を携帯電話機205に送出させ、間違った無線誘導ブロック291に沿って歩行し始めたときには警告音あるいは警告メッセージを音情報として携帯電話機205に送出するようにしてもよい。後者の場合には無線誘導ブロック291のそれぞれが監視装置215(図1参照)の制御に基づく携帯電話機205からのルート情報を用いて独自にメッセージ等の音情報を送出してもよいし、無線誘導ブロック291のそれぞれは固有の識別情報を出力し、誘導装置216(図1参照)のデータベースを使用して監視装置215が正常なルートに沿って歩行しているかを判別してこれに応じた音情報を送出するようにすることもできる。
【0045】
<目的地へのルートの選択>
【0046】
次に携帯電話機の使用者212が図1に示したA地点211Aから目的地としてのB地点211Bまで移動する場合の本実施例の個人ナビゲーションシステムの実際の運用を具体的に説明する。まず、B地点211Bまで移動する際のルートの選択について説明する。
【0047】
図7は、携帯電話機を使用したルートの設定作業の流れを表わしたものである。まず、使用者212は携帯電話機205を操作して目的地へ移動するためのモードとしてのルート設定モードにこれを設定する(ステップS301)。そして、目的地としてのB地点211Bを特定するための音声入力を指示に従って実行する(ステップS302)。たとえばルート設定モードに設定すると携帯電話機205から「目的地の郵便番号を音声入力あるいはキー入力するか、地名を音声入力してください。」というメッセージが流れる。携帯電話機205は音声識別機能を有しており、予め使用者212の音声を識別するための学習を行っている。使用者212が図3に示した操作部235からキー入力をした場合には、「○○県、○○市ですね。正しければそれ以後の住所を音声入力してください。間違っていれば取消キーを押して再度入力してください。」という音声メッセージが出力される。郵便番号が特別に割り当てられた会社やホテル等の場合には、たとえば「○○県の○○ホテルですね。正しければ実行キーを間違っていれば取消キーを押して再度入力してください。」という音声メッセージが出力される。実行キーを押すと「更に追加する情報はありますか。あれば実行キーを押した後、音声で入力してください。無い場合には取消キーを押してください。」という音声メッセージが出力される。この例で実行キーを押せば、その後に「フロント」とか「結婚式場」、あるいは「○○号室」のように更に細かい目的地を指示することができる。
【0048】
以上のようにして目的地としてのB地点211Bの入力処理が行われている間、携帯電話機205は誘導装置216と接続されている。そして同音の目的地が複数存在するような場合や構造化地図データベース264に存在しないような施設の目的地が指定された場合には、その目的地の別の称呼等を要求して特定する。目的地の特定は郵便番号以外の手法で行うことが可能であり、事前に携帯電話機205の環境設定を行っておくことで、たとえば電話番号の入力で行ってもよい。また目的地に居住する個人の氏名と大体の年齢および大まかな地名といった幾つかの条件を組み合わせて候補を選出させたり、誘導装置216側から質問を行って目的地を絞り込んでいくようにしてもよい。これにより、住所を移動した昔の友人を訪ねていくことも場合により可能になる。
【0049】
このようにして目的地としてのB地点211Bが確定したら、使用者212は音声あるいは操作部235のキーを使用してこれを肯定(OK)する指示を出す(ステップS303)。携帯電話機205はこの指示を入力すると(Y)、誘導装置216にルートの問い合わせを行う(ステップS304)。誘導装置216はこれに対して、幾つかのルートを検索して回答を携帯電話機205に送出する。携帯電話機205はこの回答を受信すると(ステップS305:Y)、ルートの各候補を音声で表示する(ステップS306)。たとえばA地点211AからB地点211Bへ移動する際に途中のC地点からD地点までJR線と京王線が存在する場合には、それぞれ目的地までの到達予定時間の長短と運行の時間間隔、エレベータの設置の有無、料金等の必要な情報が表示される。使用者212がこの中から気に入ったルートを決定すると(ステップS307:Y)、携帯電話機205はその決定されたルートを監視装置215に送信する(ステップS308)。なお、使用者212が直ちに出発するものでない場合には、出発時に監視装置215にその旨を通知する。この時点から携帯電話機205はA地点211AからB地点211Bへ移動するための監視モードに移行する。
【0050】
<監視モードでの動作>
【0051】
図8は、自宅等のA地点からC地点としての駅までの地図の一例を示したものである。A地点211AからC地点としての駅401までには、道路411と、この道路411と他の道路412が交叉する十字路413および道路411の一方から駅401の手前の階段415まで延びる更に他の道路416が存在している。道路411と十字路413の間には電柱等の障害物417が存在する。十字路413のそれぞれの角および十字路413から駅401までの歩道には無線誘導ブロック291が存在する。
【0052】
携帯電話機の使用者212(図1)は、A地点211Aを出てから十字路413の方向に音声で指示を受けながら進行し、障害物マッチング部271(図5)がルート上で事前に抽出しておいた障害物417を避けて十字路413の手前に到達する。そして、図示しない交通信号機の信号切り替えに連動したガイド音を確認して他の道路412を横断し、その後は無線誘導ブロック291に案内されて階段415の手前まで到達する。
【0053】
図9は、携帯電話機の使用者が階段の傍まで到達した状態の一例を示したものである。階段415は上りと下りがあり、視覚障害者にはこれを判断しにくい。そこで携帯電話機のGPS受信部249(図3参照)が使用者212の位置を判別した結果、階段415の数メートルまで近づいたことを監視装置215が判別すると、この時点で、何メートル先にどのような段差で上り方向あるいは下り方向に何段の階段415が存在するかを音声情報で通知する。また、無線誘導ブロック291が階段415の付近に設置されている場合には、使用者212が視覚障害者用杖281をゆっくりと左右に動かすと、階段の手すりが配置されている進行すべき方向等の情報が音声で指示される。階段415を上り終わる、あるいは下り終わると、図示しないが同様に無線誘導ブロック291が設置されており、これによって切符売り場や改札口(共に図示せず)に到達することができる。
【0054】
図10は、使用者が図8に示した例のように移動する場合の監視装置の制御の様子を表わしたものである。図5に示した監視装置215は図1に示した通信衛星206を使用したGPSシステムを用いた位置制御に優先する制御を行う優先情報が存在する場合には(ステップS321:Y)、それによる優先制御を実行する(ステップS322)。たとえば使用者212が地下鉄の駅まで到達し通信衛星206を使用したGPSシステムを利用できなくなる段階で無線誘導ブロック291等が存在した場合には、その手段を用いて使用者212をガイドする優先制御が行われる。ただし、割り当てられた1単位時間内の優先制御の処理のみで目的地に到達できない場合には(ステップS323:N)、次の単位時間でも優先情報による処理が継続的に行われるかがチェックされる(ステップS321)。たとえば駅構内を抜けて使用者212が再び屋外に出た段階で無線誘導ブロック291がなくなると、監視装置215は優先情報による制御から離脱する。
【0055】
このように優先情報が存在しなくなった状態で(ステップS321:N)、監視装置215は該当する携帯電話機205がGPSを用いて位置情報を取得しているかどうかを判別する(ステップS324)。位置情報を取得していれば(Y)、現在地がA地点211Aから目的地としてのB地点211Bまで移動する予定されたルート上であるかどうかをチェックする(ステップS325)。そして、ルート上からずれているような場合には(N)、ルートに正しく戻らせるための方向変更処理を行う(ステップS326)。
【0056】
この方向変更処理では図6に示した視覚障害者用杖281が向いている方向をその第1および第2のGPS受信部283、284から得られた進行方向情報から判別して、正しい方向を監視装置215が音声情報として指示する。たとえば「杖の向いている方向を前方にしたとき左方向に10メートル離れた歩道に移動してください。」といったメッセージが図3に示すスピーカ242あるいはイヤホン229から出力される。方向変更処理が行われると、処理は再びステップS321に戻る。
【0057】
このようにして正規のルート上まで移動すると(ステップS325:Y)、使用者212はそのルートに沿って進行を開始する。これによってそのときどきの位置情報が携帯電話機205から監視装置215に送られてくる。監視装置215は、図5に示した障害物マッチング部271、施設マッチング部272および経路情報マッチング部273を用いて携帯電話機205の位置情報を順にチェックする。その結果として、たとえば前方数メートルの範囲内でポスト等の障害物が存在する場合には(ステップS327:Y)、進行方向を一時的に変更して障害物に対する回避処理を実行する(ステップS328)。そして再びステップS321の処理に戻ることになる。
【0058】
一方、ルートの前方に階段があったり、次に乗る交通機関としてのバス停があるような場合で一時停止が必要な場合には(ステップS329:Y)、監視装置215がその旨の音声情報を携帯電話機205に送出して一次停止処理を行う(ステップS330)。たとえば前方に階段がある場合には、前記したようにその詳細な位置情報を通知したり、階段の向きや手すりの有無や手すりがある場合にはその位置等を音声情報として出力し、使用者212がその指示に従って進行できるようにする。バス停があるような場合には目的地との関係でバスが来る予定時刻、待ち時間、降りるバス停、料金等をアナウンスしてその場に待たせることになる。待合室や腰掛けが存在する場合には、この一次停止処理で視覚障害者用杖281を用いたその位置へのガイドを行うことになる。トイレや売店についての情報も適宜提供されるが、後に説明するリプレイ機能を使用してこれらの情報を積極的に取得することもできる。なお、無線誘導ブロック291がバス停等の場所に設置されている場合には、使用者212が視覚障害者用杖281でこれを検知した時点で優先情報による制御が行われ(ステップS322)、適切な音声情報が携帯電話機205に送出されるようになっていてもよい。
【0059】
ステップS325で使用者212がルート上を移動していると判断した場合でも前方がT字路となっている場合のように進行方向を変更する必要が生じる場合がある(ステップS331:Y)。このような場合にはステップS326に進んで方向変更が行われる。以上のような処理が繰り返された結果として目的地としてのB地点211Bまで移動できたときには(ステップS332:Y)、その旨の音声情報が送出されて処理が終了する(エンド)。
【0060】
なお、ステップS324でGPSによる位置情報の取得もできないような場合には(ステップS324:N)、従来行われていたような手法で使用者212がルート上を移動することを試みる必要がある。すなわちこの場合には手動制御が行われる(ステップS333)。ただし、視覚障害者に対して整備された環境ではこのような事態が生じても一時的なものでしかない。そこで手動制御の状態でも目的地に到達した場合を除き(ステップS334:N)、ステップS321に制御が戻り、優先情報制御(ステップS322)あるいはGPSを用いた制御に移行できる(ステップS324:Y)ときは直ちにその制御によるサポートが受けられるようになっている。
【0061】
ただし、本実施例の携帯電話機205は手動制御の状態(ステップS333)でも、本人の選択により前記した有人(通話相手)によるサポートを受けることができる。この場合には第1のデジタルカメラ224や第2のデジタルカメラ225の画像を使用することも既に説明した。
【0062】
図11は、緊急時等における携帯電話機側の処理の流れを表わしたものである。図3に示した携帯電話機205はその操作部235の特定のキーが押されるのを待機している。これらのキーのうちの1つは緊急事態の発生を知らせるキーである。このキーが押されると(ステップS351:Y)、緊急事態の通報を行う旨の確認が音声で出力され(ステップS352)、これに対して使用者212が肯定を示すキーを所定時間以内に押すと(ステップS353:Y)、携帯電話機205は監視装置215に対して緊急事態の通報の割込み処理を行う(ステップS354)。使用者212が所定時間以内に肯定を示すキーを押さなかった場合には(ステップS355:Y)、操作ミスであるとして処理を終了させる。
【0063】
一方、使用者212がサポート会社の呼び出しを希望するキーを押下した場合には(ステップS356:Y)、サポート会社のスタッフによる有人サービスを行うことを確認する音声情報が出力される(ステップS357)。このサービスは、前記したように第1のデジタルカメラ224や第2のデジタルカメラ225による画像を会社に送ってエレベータの乗り方や売店での弁当の買い方等のサポートを受けるもので、場合によっては有料となる。そこで、有料の場合には時間当たりの料金等についての情報も使用者212に通知される。これに対して使用者212がサービスを受けることの肯定を示すキーを所定時間以内に押すと(ステップS358:Y)、携帯電話機205は監視装置215に対してサポート会社への接続の割込み処理を行う(ステップS359)。使用者212が所定時間以内に肯定を示すキーを押さなかった場合には(ステップS360:Y)、操作ミスであるとして処理を終了させる。
【0064】
以上とは異なり、携帯電話機の使用者212が音声によるガイドを受けたときに、それがよく聞き取れなかったような場合がある。このような場合、使用者212は所定のリプレイキーを押す(ステップS361:Y)。すると、直前に出力された音声情報が再度出力される(ステップS362)。この処理は、携帯電話機205自体のRAM234(図3)に格納されている直前の音声情報を消去前に再出力するもので、監視装置215に負担を掛けることはない。なお、以上のボタン操作の代わりに、「緊急」、「サポート」、「リプレイ」、「OK」等の決められた言葉を音声で発して、これを音声認識させるようにすることは可能である。なお、本実施例の個人ナビゲーションシステムではリプレイキーを同時に複数回押すと、現地の住所および周囲の施設等について自動音声ガイダンスが行われるようになっている。これは本人が道に迷ったと思ったときや、移動しながら周囲の施設等の案内を受けるときに便利である。歩いているときにトイレに行きたくなったような場合には、自動音声ガイダンスにトイレの情報も含めておけば、トイレの場所も知ることができる。この自動音声ガイダンスが行われるタイミングで音声入力を受け付け、音声入力があったときにはこれに関連するガイダンスを行うようにしてもよい。たとえば使用者212がこのタイミングでマイクロフォン239(図3)から「トイレ」と音声入力した場合には現在地に近いトイレの場所を知らせるといった具合である。この場合に、監視装置215が誘導装置216と交信してトイレまでのルート情報を取得し、暫定的にこのルートに使用者212を導くことは可能である。
【0065】
図12は、携帯電話機が図11の処理を行った場合の監視装置側の制御の様子を表わしたものである。緊急事態の通報があった場合には(ステップS381:Y)、通報のあった携帯電話機205の現在地に対応した警察または消防署に通知を行う(ステップS382)。これらの管轄所は、携帯電話機の使用者212が目的地としてのB地点211Bまでルートの設定を行い、これに基づいて誘導装置216がこれに関連するデータを監視装置215に送出した際に緊急用の情報としてこれに含まれている。ただし、使用者212が携帯電話機205の電源を切ってルートから外れた移動を行った先で緊急事態が発生した場合のように現在地の警察または消防署が把握できない場合もある。このようなとき、監視装置215は誘導装置216に問い合わせて現在地の管轄の警察または消防署を知り、通知する。非常時のこのような通知は電子メールで行われてもよいが、専門のスタッフが携帯電話機205の使用者212に内容を確認しながら行ってもよい。
【0066】
一方、監視装置215がサポート会社の依頼の要求を受けた場合には(ステップS383:Y)、携帯電話機205からの接続をサポート会社に切り替える(ステップS384)。これにより、これ以後はサポート会社のスタッフが携帯電話機205から送られてくる画像や音声を基にして使用者212に対してサポートを行うことになる。
【0067】
なお、携帯電話機の使用者212が目的地を途中で変更する場合は、現在地から新たな目的地までルートを新たに設定するようにすれば、これに対処することができる。また、一時的に携帯電話機205の電源を切って歩いた結果として迷ってしまったような場合には、電源を再投入した時点で図10で説明した監視装置215がルートから外れたことを検出するので(ステップS325:N)、ステップS326で説明した方向変更処理を実行すればよい。サポート会社を呼び出してスタッフの協力で正規のルートに戻ることもできる。あるいは監視装置215側に同様の支援体制が存在する場合には、現在地の画像をこれに対して送信し、その判別を行わせて指示を受けることも場合により可能である。
【0068】
以上説明した実施例では誘導装置216が地図等のデータベースを有して監視装置215が携帯電話機205との仲介を図ることにしたが、誘導装置216と監視装置215が一箇所に統合されていてもよいし、あるいはこれら2つの装置の担当が明確に分離されていないものであってもよい。もちろん、データベースも実施例で説明したように3つに区分される必要はなく、更にデータベースごとに独立したサーバあるいは装置が割り当てられていてもよい。
【0069】
また、実施例では携帯電話機を使用した個人ナビゲーションシステムを説明したが、PHS(Personal Handy-phone System)あるいはPDA(Personal Digital Assistant)等の他の小型の無線通信機器を使用することも可能である。更に実施例では視覚障害者が主に使用する個人ナビゲーションシステムについて説明したが、営業マンや運送業者等が目的地にガイドされるためのナビゲーションシステムとして本発明を同様に適用できることも当然である。
【0070】
更に実施例では第1および第2のデジタルカメラ224、225をナビゲーションに役立てたが、1つのデジタルカメラを使用してもよいし、デジタルカメラの代わりに小型のテレビカメラを用いてもよい。この他、本発明では各種の変更が可能であることも当然である。
【0071】
【発明の効果】
以上説明したように請求項1記載の発明によれば、複数の通信衛星からの電波を受信することで現在位置を検出し障害物を避ける等の処理を行うことにしたので、超音波を使用して同様の処理を行う場合と比べると、超音波の発振部分が不要になる。このため、本体側の装置のバッテリの電圧低下、故障等により障害物の回避処理が不能になるといった不都合が生じない。本発明の場合には、しかも通信端末側が検出した現在位置情報をインターネット接続手段によってインターネットを介して他の装置に送出して処理を行うことにしているので、通信端末側の処理が簡略化されるだけでなく、システムが簡略化するので信頼性も向上することになる。
【0075】
また、請求項1記載の発明によれば、方向検出手段と進行方向情報送信手段とを備えた杖を通信端末の所持者に所持させるので、所持者がどの方向に移動しているかを簡単に把握することができ、進むべき方向を適切に指示することができる。
【0076】
更に請求項2記載の発明によれば、請求項1記載の杖に更に受信あるいは通信機能を備えさせると共に、誘導ブロックを無線発信機能を備えた無線誘導ブロックとして、無線誘導ブロックの配置された場所等の情報を杖を介して通信端末に伝達できるようにしたので、たとえば通信衛星による現在位置の特定ができないような場所でも必要な情報を取得することができる。
【図面の簡単な説明】
【図1】本発明の一実施例における個人ナビゲーションシステムの概要を示したシステム構成図である。
【図2】本実施例で使用される携帯電話機の外観を示した斜視図である。
【図3】本実施例の携帯電話機の回路構成の概要を表わしたブロック図である。
【図4】本実施例の誘導装置の構成を具体的に表わしたブロック図である。
【図5】本実施例の監視装置の機能ブロックを表わしたブロック図である。
【図6】本実施例の視覚障害者用杖および無線誘導ブロックの構成を示した斜視図である。
【図7】本実施例で携帯電話機を使用したルートの設定作業の流れを表わした流れ図である。
【図8】自宅等のA地点からC地点としての駅までの地図の一例を示した平面図である。
【図9】携帯電話機の使用者が階段の傍まで到達した状態の一例を示した要部斜視図である。
【図10】使用者が移動する場合の監視装置の制御の様子を表わした流れ図である。
【図11】本実施例で緊急時等における携帯電話機側の処理の流れを表わした流れ図である。
【図12】携帯電話機が図11の処理を行った場合の監視装置側の制御の様子を表わした流れ図である。
【図13】従来提案された視覚障害者に対する誘導安定装置の概要を示す概略構成図である。
【図14】従来提案された他の装置の原理的構成を示す説明図である。
【符号の説明】
200 個人ナビゲーションシステム
201 インターネット網
202 携帯通信網
204 基地局
205 携帯電話機
206 通信衛星
215 監視装置
216 誘導装置
224 第1のデジタルカメラ
225 第2のデジタルカメラ
231 CPU
233 ROM
234 RAM
246 第1の通信制御回路
247 第2の通信制御回路
249 GPS受信部
263 地図情報データベース
264 構造化地図データベース
265 交通機関情報データベース
271 障害物マッチング部
272 施設マッチング部
273 経路情報マッチング部
281 視覚障害者用杖
291 無線誘導ブロック

Claims (2)

  1. 棒状部材における個人が手で握る側としての一端側を基点としたときの他端側としての先端部分が示す方向を検出する方向検出手段と、この方向検出手段によって検出された方向を示す進行方向情報を送出する進行方向情報送信手段とを備えた杖と、
    個人が向かおうとする目的地への移動経路としてのルートの設定を要求するルート設定要求手段と、このルート設定要求手段の要求に対して複数のルートが候補として送られてきたときこの中から1つのルートを選択するルート選択手段と、複数の通信衛星からの電波を受信することで現在位置を検出する現在位置検出手段と、この現在位置検出手段によって検出された現在位置を表わした現在位置情報と前記ルート設定要求手段の要求によって設定したルートの照合結果を基にして現在位置から目的地に向かって最適な方向に移動するための移動指示情報が送られてきたときこれを基にして移動を指示する移動指示手段と、通信のためにインターネットに接続するインターネット接続手段と、前記進行方向情報送信手段から受信した前記進行方向情報を前記杖の所持者の移動する方向を示す情報として送信する移動方向送信手段と、前記現在位置情報を送信する現在位置情報送信手段を備えた通信端末と、
    個人が移動する土地の地図や移動する可能性のある場所に存在する障害物および施設に関する情報を格納し通信によってその内容を逐次更新される情報格納手段と、前記通信端末のルート設定要求手段からルートの設定が要求されたときその現在位置から目的地に至るルートを前記情報格納手段に格納された情報を基にして検索するルート検索手段と、このルート検索手段によって検索されたルートについての候補が複数存在するとき前記通信端末に対して1つのルートの選択を要求するルート選択要求手段と、このルート選択要求手段の要求に基づいて1つのルートが選定されたときこれを受信するルート受信手段と、前記通信端末の現在位置情報送信手段から送られてきた現在位置情報を受信する現在位置情報受信手段と、前記通信端末の移動方向送信手段から送られてきた前記杖の所持者の移動する方向を示す情報を受信する移動方向受信手段と、これら現在位置情報受信手段および移動方向受信手段から現在位置情報および前記進行方向情報が送られてきたときルート受信手段によって受信したルート上にこの通信端末が位置しかつ障害物を回避するように逐次判別し、現在位置から最適な方向に移動するための移動指示情報をこの通信端末に送出する移動指示情報送出手段と、通信のためにインターネットに接続するインターネット接続手段とを備えた誘導監視手段
    とを具備することを特徴とする個人ナビゲーションシステム。
  2. 人間の歩く床面に適宜配置され、個人の移動のための情報を発信する無線誘導ブロックを具備し、前記杖はこの無線誘導ブロックから発信された情報を受信して前記通信端末にこれを送信する中継手段を具備することを特徴とする請求項1記載の個人ナビゲーションシステム。
JP2002278801A 2002-09-25 2002-09-25 個人ナビゲーションシステム Expired - Fee Related JP4190843B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002278801A JP4190843B2 (ja) 2002-09-25 2002-09-25 個人ナビゲーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002278801A JP4190843B2 (ja) 2002-09-25 2002-09-25 個人ナビゲーションシステム

Publications (2)

Publication Number Publication Date
JP2004117094A JP2004117094A (ja) 2004-04-15
JP4190843B2 true JP4190843B2 (ja) 2008-12-03

Family

ID=32273985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002278801A Expired - Fee Related JP4190843B2 (ja) 2002-09-25 2002-09-25 個人ナビゲーションシステム

Country Status (1)

Country Link
JP (1) JP4190843B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1762822A4 (en) 2004-06-29 2011-06-29 Sony Corp INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM
JP4569391B2 (ja) * 2005-06-06 2010-10-27 株式会社日立製作所 経路誘導装置
US7782359B2 (en) 2005-10-26 2010-08-24 Olympus Corporation Image capture apparatus and method
GB2440583A (en) * 2006-08-04 2008-02-06 Guide Dogs For The Blind Ass A portable route planning and object identification device for the visually impaired
JP5169833B2 (ja) * 2006-11-02 2013-03-27 日本電気株式会社 情報提供システムおよび情報提供方法
JP5982357B2 (ja) * 2010-03-25 2016-08-31 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 徘徊予防のための装置と方法
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
US20230358556A1 (en) * 2020-03-27 2023-11-09 Pioneer Corporation Information providing device, information providing method, and information providing program
CN112611383B (zh) * 2020-11-30 2024-03-26 吉林建筑大学 视力障碍者的参观路线导航方法及装置
CN113311819A (zh) * 2021-03-25 2021-08-27 华南理工大学广州学院 一种由机器狗导盲的方法及机器狗控制系统
CN113687810A (zh) * 2021-05-25 2021-11-23 青岛海尔科技有限公司 语音导航方法和装置、存储介质及电子设备
KR102313973B1 (ko) * 2021-07-16 2021-10-18 김병주 시각장애인용 보행 보조 시스템

Also Published As

Publication number Publication date
JP2004117094A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
Loomis et al. Assisting wayfinding in visually impaired travelers
JP4441962B2 (ja) 案内システム
JP3233048B2 (ja) 経路案内装置
JP4190843B2 (ja) 個人ナビゲーションシステム
WO1996017315A1 (fr) Systeme d'etablissement de plan et de traitement
JP2001304908A (ja) 車椅子利用者用ナビゲーション装置及び車椅子利用者用ナビゲーションシステム
Flores et al. A public transit assistant for blind bus passengers
JP4375234B2 (ja) 経路計算装置
JP4097673B2 (ja) ナビゲーションシステムおよび経路探索方法並びに経路探索サーバおよびナビゲーション端末装置
JP2023001135A (ja) 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP2002286491A (ja) 携帯用ナビゲーションシステム
JP4415861B2 (ja) 歩行者横断支援システム及び歩行者横断支援方法
JP2012083180A (ja) ナビゲーション装置、及びナビゲーションプログラム
JP2003021531A (ja) 移動通信端末、及び、プログラム
KR101873489B1 (ko) 시각장애인을 위한 교차로 통행지원 시스템 및 그 방법
JP4140893B2 (ja) 携帯用ナビゲーション装置及び携帯用ナビゲーションシステム
JP3887650B2 (ja) 歩行者に施設情報を提供するシステム及び方法
KR20040069020A (ko) 위치정보를 이용한 목적지 도착 예정시간의 제공방법과 그 통신수단
JP2017102014A (ja) ナビゲーション装置およびナビゲーション方法
JP2005249539A (ja) 経路案内装置
JP2005056208A (ja) ナビゲーションシステム及びそれに用いるナビゲーション方法
JP2002170193A (ja) 情報提供システム
US20240019263A1 (en) Information processing apparatus, information processing method, and moving object
JP7465710B2 (ja) 情報提供装置
JP6758146B2 (ja) 交通障害通知システム、交通障害通知サーバ、携帯通信端末、交通障害通知方法及び交通障害通知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees