JP4137910B2 - 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体 - Google Patents

測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体 Download PDF

Info

Publication number
JP4137910B2
JP4137910B2 JP2005135970A JP2005135970A JP4137910B2 JP 4137910 B2 JP4137910 B2 JP 4137910B2 JP 2005135970 A JP2005135970 A JP 2005135970A JP 2005135970 A JP2005135970 A JP 2005135970A JP 4137910 B2 JP4137910 B2 JP 4137910B2
Authority
JP
Japan
Prior art keywords
identification information
receiving
positioning
brightness
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005135970A
Other languages
English (en)
Other versions
JP2006313111A (ja
Inventor
修一 吉野
雅史 清水
智明 小川
俊光 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005135970A priority Critical patent/JP4137910B2/ja
Publication of JP2006313111A publication Critical patent/JP2006313111A/ja
Application granted granted Critical
Publication of JP4137910B2 publication Critical patent/JP4137910B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、例えば監視対象物の位置を検出することに用いられる測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体に関する。
従来の技術では、人または物に発光体を設置し、撮影装置によりその発光体の光を検出することで画像処理によりその位置を検出するシステムが発明されている。
例えば、特許文献1に記載されている「カメラ位置推定システムおよびカメラ位置推定方法」では、発光体が発光したときの撮影画像より発光体の位置を検出し、発光するパターンから発光体を特定している。しかし、このシステムでは、発光体が物等により覆われ、撮影装置の死角になった場合、その発光体の位置を検出することができない。また、発光体の発光タイミングを撮影装置側で制御できないため、撮影装置が記録した画像に発光体があるかを常時監視する必要があり、測位装置での負荷が大きいといった問題がある。
これに対し、特許文献2では、発光体に無線受信手段を設け、測位装置側からの呼出無線信号により、その発光タイミングを制御することを可能にしている。この場合、呼出無線信号を送信した後の画像のみを解析することで発光体の位置検出は可能となり、測位装置での負荷は軽減されることになる。
特開2002−314994号公報 特開2000−055657号公報
しかしながら、特許文献2では、発光体が撮影装置の死角に入ったときに測位できず、また、発光体が常時呼出信号を受信する無線受信部を装備しなければならないため、発光体の消費電力が大きくなるといった問題がある。
また、複数の受信装置が受信する無線装置から発信される無線電波の受信強度により、無線装置の位置を検出する方法が考えられる。しかし、この方法では無線電波の伝播状態が不安定であるため、受信装置からの見通しの悪い場所に無線装置が置かれた場合や、無線装置が室内のキャビネットや引き出し等に入れられた場合、受信装置から見通しが良い場所に置かれた場合に比べ、その受信強度は極端に弱くなる。このため、正確な位置の測定が難しいといった問題がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、測位装置での処理負荷を軽減しつつ、発光体による消費電力を抑えることを可能とする測位装置、識別情報発信装置、受信装置、測位システム及び測位方法並びにコンピュータプログラムを提供することにある。
また、本発明は撮影装置の死角であって受信装置からの見通しが悪いところに置かれた場合にも位置を検出することができる測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体を提供することにある。
上記問題を解決するために、本発明は、一定の間隔で発光する発光体及び一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を有する測位システムにおける測位装置であって、前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段と、を備え、前記第1の受信手段は、前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、前記検出手段は、前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出することを特徴とすることを特徴とする測位装置である。
本発明は、上記に記載の発明において、前記第1の受信手段は、前記受信装置が測定した前記無線信号の前記受信強度を前記識別情報とともに前記受信装置から受信し、前記検出手段は、前記識別情報と、前記明度と、前記受信強度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出することを特徴とする。
本発明は、上記に記載の発明において、前記第1の受信手段は、複数の識別情報と前記複数の識別情報のそれぞれに対応する受信強度とを受信し、前記検出手段は、前記撮影画像に複数の発光体の画像が含まれている場合、前記複数の発光体の明度を前記読出手段が読み出す前記撮影画像の情報から算出し、算出した明度と前記複数の受信強度とに基づいて前記複数の識別情報のそれぞれに対応する前記識別情報発信装置の位置を検出することを特徴とする。
本発明は、上記に記載の発明において、前記検出手段は、前記撮影画像に複数の発光体の画像が含まれている場合、前記読出手段に前記時刻の第2の所定時間前までの連続する撮影画像を読み出させ、前記連続する撮影画像に基づいて前記複数の発光体のそれぞれの明滅の間隔を検出し、検出した前記明滅の間隔と予め記憶している前記識別情報発信装置ごとの明滅の間隔の情報とに基づいて、前記複数の識別情報のそれぞれに対応する前記発光体を検出し、検出した前記発光体に基づいて前記識別情報発信装置の位置を検出することを特徴とする。
本発明は、一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続され、前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段とを有する測位装置と、を有し、前記第1の受信手段は、前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、前記検出手段は、前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する測位システムにおける識別情報発信装置であって、発光体と、外部の明度を測定する測定手段と、前記測定手段が測定する前記明度と前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、前記発光体を一定の間隔で発光させる発光手段と、を備えたことを特徴とする識別情報発信装置である。
本発明は、上記に記載の発明において、前記発光手段は、他の識別情報発信装置とは異なる前記一定の間隔で前記発光体を発光させることを特徴とする。
本発明は、上記に記載の発明において、一意に識別可能な第1と第2の識別情報を予め内部に記憶し、振動を検出する振動検出手段を備え前記発信手段は、前記一定の間隔で無線信号を発信する場合には、前記第1の識別情報を含む無線信号を発信し、前記振動検出手段が検出したときは前記第2の識別情報を含む無線信号を発信することを特徴とする。
本発明は、一定の間隔で発光する発光体及び一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続され、前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段とを有する測位装置と、を有し、前記第1の受信手段は、前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、前記検出手段は、前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する測位システムにおける受信装置であって、前記識別情報発信装置から発信される無線信号を受信する受信手段と、前記受信手段が受信した前記無線信号から前記識別情報を読み出して前記識別情報を前記測位装置に送信する送信手段と、を備えたことを特徴とする受信装置である。
本発明は、上記に記載の発明において、前記無線信号の受信強度を測定する測定手段を備え、前記送信手段は、前記識別情報を前記測位装置に送信する際に、前記測定手段が測定する前記受信強度を前記識別情報とともに送信することを特徴とする。
本発明は、一意に識別可能な識別情報が予め付与される識別情報発信装置と、無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を備えた測位システムであって、前記識別情報発信装置は、発光体と、外部の明度を測定する測定手段と、前記測定手段が測定する前記明度と前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、前記発光体を一定の間隔で発光させる発光手段と、を備え、前記受信装置は、前記識別情報発信装置から発信される前記無線信号を受信する受信手段と、前記受信手段が受信する前記無線信号から前記識別情報と明度とを読み出し、該読み出した前記識別情報と明度とを前記測位装置に送信する送信手段と、を備え、前記測位装置は、前記受信装置から前記識別情報と明度とを受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信した際に計時手段から取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段と、を備えたことを特徴とする測位システムである。
本発明は、上記に記載の発明において、前記識別情報発信装置と前記撮影装置が複数存在する場合、複数の識別情報発信装置に対応する前記識別情報が予めグループに分類されており、前記複数の識別情報発信装置は、前記識別情報が属する前記グループごとに異なる波長の光を発光する発光体と、前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、前記発光体を前記一定の間隔で発光させる発光手段と、を備え、前記複数の撮影装置は、それぞれ透過波長帯の異なるバンドパスフィルタを備え、前記測位装置は、前記識別情報のグループの情報と、前記グループごとに割り当てられた光波長を透過させる前記バンドパスフィルタを備えた撮影装置の情報とを対応付けて記憶し、前記読出手段は、第1の受信手段が受信した前記識別情報と、前記識別情報のグループの情報と前記撮影装置の対応付けの情報とに基づいて、前記識別情報に対応する前記撮影装置によって撮影された撮影画像のうち前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を読み出すことを特徴とする。
本発明は、上記に記載の発明において、位置が固定され、位置の情報が既知である参照用の識別情報発信装置を更に備え、前記検出手段は、前記識別情報が前記参照用の識別情報発信装置の識別情報である場合に、予め内部に記憶する前記参照用の識別情報発信装置の位置の情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記撮像装置の位置を検出することを特徴とする。
本発明は、一意に識別可能な識別情報が予め付与され、発光体を備えた識別情報発信装置と、無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を備えた測位システムにおける測位方法であって、前記識別情報発信装置が、外部の明度を測定する測定ステップと、前記識別情報発信装置が、前記識別情報と前記測定ステップが測定した明度とを含む無線信号を一定の間隔で発信するステップと、前記識別情報発信装置が、前記発光体を一定の間隔で発光させるステップと、前記受信装置が、前記識別情報発信装置から発信される前記無線信号を受信するステップと、前記受信装置が、受信した前記無線信号から前記識別情報と明度とを読み出し、該読み出した前記識別情報と明度とを前記測位装置に送信するステップと、前記測位装置が、前記受信装置から前記識別情報と明度とを受信するステップと、前記測位装置が、前記撮影装置から前記撮影画像を連続的に受信するステップと、前記測位装置が、受信した前記撮影画像と、受信した際に計時手段から取得した時刻とを対応付けて記憶手段に記録するステップと、前記測位装置が、前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出すステップと、前記測位装置が、受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出するステップと、を有することを特徴とする測位方法である。
本発明は、一定の間隔で発光する発光体、外部の明度を測定する測定手段、及び、一意に識別可能な識別情報と前記測定手段が測定した明度とを含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を有する測位システムにおける測位装置としてのコンピュータを、記受信装置によって前記無線信号から読み出される前記識別情報と明度と前記受信装置から受信する第1の受信手段、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段、前記第1の受信手段が受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段、として機能させるためのコンピュータプログラムである。
本発明は、上記に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、測位装置は、受信装置によって無線信号から読み出される識別情報発信装置の識別情報を受信し、撮影装置から撮影された撮影画像を受信する。また、受信した撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録し、識別情報を受信した際に、計時手段から取得する時刻に基づいて、当該時刻の前後に撮影され前記発光体の画像を含む撮影画像を読み出し、読み出した撮影画像に基づいて識別情報に対応する識別情報発信装置の位置を検出する構成とした。これにより、無線信号を受信した場合にのみ、撮影画像から識別情報発信装置の位置を検出することができるので処理負荷を軽減することが可能となる。
また、本発明によれば、測位装置は、受信装置が測定した無線信号の受信強度を識別情報とともに受信装置から受信し、受信した識別情報と、受信強度と、撮影画像とに基づいて識別情報に対応する識別情報発信装置の位置を検出する構成とした。これにより、識別情報発信装置が撮影装置の死角に入り、撮影画像に写らない場合であっても、無線信号の受信強度に基づいて識別情報発信装置の位置を検出することが可能となる。
また、本発明によれば、測位装置は、識別情報発信装置が測定した外部の明度を識別情報と受信強度とともに受信装置から受信し、受信した識別情報と、明度と、受信強度と、撮影画像とに基づいて識別情報に対応する識別情報発信装置の位置を検出する構成とした。これにより、識別情報発信装置が、撮影装置の死角に入り、かつ無線信号が透過し難い閉域に存在していたとしても、明度に基づいて、無線信号の減衰率を推定し、無線信号の受信強度に基づいて識別情報発信装置の位置を検出することが可能となる。
また、本発明によれば、測位装置は、複数の識別情報と前記複数の識別情報のそれぞれに対応する受信強度とを受信し、撮影画像に複数の発光体の画像が含まれている場合、複数の発光体の明度を撮影画像の情報から算出し、算出した明度と複数の受信強度とに基づいて複数の識別情報のそれぞれに対応する識別情報発信装置の位置を検出する構成とした。これにより、複数の識別情報発信装置が同時に撮影されても、距離が遠いほど明るさも低くなるという関係に基づいて発光体と識別情報との対応付けを検出して複数の識別情報発信装置の位置を検出することが可能となる。
また、本発明によれば、測位装置は、撮影画像に複数の発光体の画像が含まれている場合、時刻前の複数の撮影画像を読み出し、読み出した撮影画像に基づいて複数の発光体のそれぞれの明滅の間隔を検出し、検出した明滅の間隔と予め記憶している識別情報発信装置ごとの明滅の間隔の情報とに基づいて、複数の識別情報のそれぞれに対応する発光体を検出し、検出した発光体に基づいて識別情報発信装置の位置を検出する構成とした。これにより、複数の識別情報発信装置が同時に撮影されても、明滅のパターンによって識別情報発信装置を特定することができ、それぞれの識別情報発信装置の位置を検出することが可能となる。
また、本発明によれば、識別情報発信装置は、発光体と、識別情報を含む無線信号を一定の間隔で発信する手段と、発光体を当該一定の間隔で発光させる手段とを備える構成とした。これにより、識別情報発信装置は、自装置のタイミングにより無線信号の発信と、発光体の明滅を行うことができるため、消費電力を抑えつつ位置検出のための被測位対象として適用することができる。
また、本発明によれば、識別情報発信装置は、外部の明度を測定する手段を備え、測定した明度と識別情報とを含む無線信号を発信する構成とした。これにより、測位装置に識別情報発信装置の外部の明度の情報を送信することができ、測位装置は、当該明度の情報に基づいて、無線信号の減衰率を推定し、識別情報発信装置の位置の検出を行うことが可能となる。
また、本発明によれば、識別情報発信装置は、他の識別情報発信装置とは異なる一定の間隔で発光体を発光させる構成とした。これにより、測位装置は、発光体の発光のパターンにより識別情報発信装置を特定でき、その位置を検出することが可能となる。
また、本発明によれば、識別情報発信装置は、第1と第2の識別情報が付与されており、更に、振動を検出する手段を備え、一定の間隔で送信する場合には第1の識別情報を含む無線信号を発信し、振動を検出したときは第2の識別情報を含む無線信号を発信する構成とした。これにより、識別情報発信装置から受信装置経由で情報を受信した測位装置は、識別情報発信装置の位置を検出したときに、振動が検出されたときの位置、すなわち移動したと推測される場合の位置の情報と、静止している場合の位置の情報とを区別して検出することができる。
また、本発明によれば、受信装置は、識別情報発信装置から発信される無線信号を受信し、受信した無線信号から識別情報を読み出して識別情報を測位装置に送信する構成とした。これにより、測位装置は、受信装置経由で識別情報発信装置から発信された識別情報を受信することが可能となる。
また、本発明によれば、受信装置は、無線信号の受信強度を測定する手段を備え、識別情報を測位装置に送信する際に、測定した受信強度を識別情報とともに送信する構成とした。これにより、識別情報とともに受信強度を受信した測位装置は、受信強度に基づいて識別情報発信装置の位置を検出することが可能となる。
また、本発明によれば、測位システムは、一意に識別可能な識別情報が予め付与される識別情報発信装置と、無線信号を受信する受信装置と、識別情報発信装置が存在する領域を撮影する撮影装置と、受信装置と、撮影装置とに接続される測位装置とを備える。識別情報発信装置は、識別情報を含む無線信号を一定の間隔で発信し、発光体を一定の間隔で発光させる。受信装置は、識別情報発信装置から発信される無線信号を受信し、受信した無線信号から識別情報を読み出して識別情報を測位装置に送信する。測位装置は、受信装置から識別情報を受信し、撮影装置から撮影画像を受信し、受信した撮影画像と、受信した際に計時手段から取得した時刻とを対応付けて記憶手段に記録する。また、測位装置は、識別情報を受信する際に計時手段から取得する時刻に基づいて、時刻の前後に撮影され発光体の画像を含む撮影画像を記憶手段から読み出し、読み出した撮影画像と、識別情報とに基づいて識別情報に対応する識別情報発信装置の位置を検出する構成とした。これにより、識別情報発信装置から無線信号が発信されたときにのみ、位置の検出を行うことができ、測位装置での処理負荷を軽減し、かつ、識別情報発信装置における消費電力を抑えた状態での位置検出が可能となる。
また、本発明によれば、測位システムは、識別情報発信装置と撮影装置とが複数存在している場合に、複数の識別情報発信装置に対応する識別情報が予めグループに分類されており、複数の識別情報発信装置は、識別情報が属するグループごとに異なる発光波長の光を発光する発光体を備える。また、複数の撮影装置はそれぞれ透過波長帯の異なるバンドパスフィルタを具備している。測位装置は、識別情報のグループの情報と、グループに割り当てられた光波長を透過させるバンドパスフィルタを備えた撮影装置の情報とを対応付けて記憶し、受信した識別情報と、識別情報のグループの情報と撮影装置の対応付けの情報とに基づいて、識別情報に対応する撮影装置によって撮影された撮影画像のうち時刻の前後に撮影され発光体の画像を含む撮影画像を読み出す構成とした。これにより、同じ領域に複数の識別情報発信装置が存在する場合であっても、予め発光体の波長により分類しておくことで複数の撮影装置に分散して画像を記録することができるため、測位装置における位置検出を容易にすることが可能となる。
また、本発明によれば、測位システムは、位置が固定され、位置の情報が既知である参照用の識別情報発信装置を更に備えており、測位装置が受信した識別情報が参照用の識別情報発信装置の識別情報である場合に、予め内部に記憶する参照用の識別情報発信装置の位置の情報と、読み出した撮影画像とに基づいて撮像装置の位置を検出する構成とした。これにより、撮影装置の位置を変更した場合であっても撮影装置の位置を実測せずに、撮影画像から得られる情報に基づく演算によって撮影装置の位置を検出することが可能となる。
以下、本発明の一実施形態による測位システムを図面を参照して説明する。
(第1実施形態)
図1は、第1実施形態による測位システム1を示す概略ブロック図である。
図1において測位システム1は、位置検出される識別情報発信装置40と、識別情報発信装置40を含む領域を撮影する撮影装置30と、識別情報発信装置40から発信される無線信号を受信する受信装置10と、受信装置10及び撮影装置30を接続し、識別情報発信装置40の位置を検出する測位装置20とから構成されている。
識別情報発信装置40は、一意に識別可能な識別情報がそれぞれに予め付与されており、一定の間隔で識別情報を含む無線信号を発信する。また、識別情報発信装置40には無線信号の送信にあわせて外部に光を放つ発光体が備えられている。なお、識別情報発信装置40としては、例えば、無線タグなどが適用され、監視対象物に付けることにより、監視対象物の位置を検出することができる。
撮影装置30は、連続的に撮影対象となる領域を撮影し、撮影した撮影画像のデータを測位装置20に送信する。例えば、ビデオ信号入力などを利用すると約1/30秒に一枚の撮影画像を撮影することが可能となる。
受信装置10は、位置検出の対象となる領域に存在する識別情報発信装置40の無線信号を受信する位置に配置され、識別情報発信装置40から無線信号を受信し、無線信号に含まれている識別情報を読み出して測位装置20に送信する。
測位装置20は、撮影装置30から撮影画像のデータを受信し、内部のデータベースに受信時の時刻を時計から取得し、当該時刻を付与して記録する。また、測位装置20は、受信装置10から受信した識別情報と、当該識別情報を受信した時の時刻の情報とに基づいて、データベースから当該時刻の前後の所定時間に撮影された撮影画像のデータを読み出し、識別情報発信装置40の発光体の画像が含まれている撮影画像を検出し、当該撮影画像に基づいて当該識別情報発信装置40の位置を検出する。
図2は、識別情報発信装置40の内部構成を示したブロック図である。図2において、記憶部44は、予め付与される識別情報を記憶する。発光部45は、発光体46を発光させる。無線送信部42は、識別情報を含む無線信号をアンテナ41を介して送信する。制御部43は、記憶部44から識別情報を読み出し、無線送信部42に一定の間隔で無線信号を送信させる指示を送信する。また、制御部43は、発光部45に発光体46を発光させる指示を一定の間隔で送信する。発光体46は、例えばLED(Light−Emitting Diode)等を適用することで小型化が可能である。また、無線送信部42に適用される無線方式は、消費電力が少ない特定小電力規格や微弱規格を利用することにより、消費電力を低減できる。
また、識別情報発信装置40は、それぞれの装置に予め設定されるタイミングで無線信号の送信、発光体の発光を行い、無線信号を発信しない場合は、他の処理を行わない間欠的な動作を行う。この動作により、識別情報発信装置40を電池で駆動させている場合、その動作寿命を延ばすことが可能であり、それによって、電池の交換などのメインテナンスコストを低減することができる。
なお、上述した識別情報発信装置の発信手段は、無線送信部42に対応し、発光手段は発光部45に対応する。
図3は、受信装置10の内部構成を示したブロック図である。図3において無線受信部12は、アンテナ11から無線信号を受信し、制御部13に無線信号の信号情報を送信する。制御部13は、読出手段13aを備えており、信号情報から識別情報を読み出し、送信部14へ送信する。送信部14は、測位装置20に接続されており、識別情報を測位装置20に送信する。
なお、上述した受信装置の受信手段は、無線受信部12に対応し、送信手段は、送信部14に対応する。
図4は、測位装置20の内部構成を示したブロック図である。図4において、受信部21は、撮影装置30に接続され、撮影装置30が撮影した撮影画像のデータを受信し、記録部22に送信する。記録部22は、受信部21から撮影画像のデータを受信した時、時計24から時刻を取得し、時刻に対応付けて撮影画像のデータをデータベース23に記録する。受信部25は、受信装置10から識別情報を受信し、検出部26に送信する。検出部26は、受信部25から識別情報を受信した時、時計24から時刻を取得し、当該時刻の前後の所定時間の撮影画像のデータをデータベース23から検出し、発光体の画像が含まれている撮影画像データを検出し、さらに当該撮影画像データから識別情報発信装置40の位置を検出し、識別情報とともに位置の情報を出力部27へ送信する。出力部27は、例えば、表示装置であり、検出部26から受信した識別情報と位置の情報とを表示する。
ここで、撮影画像データを検出する範囲となる所定時間(上述した第1の所定時間に対応)とは、受信装置10から送信される際の遅延などを考慮し、撮影された時刻と、受信装置10で無線信号が受信された時刻とが一致するような範囲が設定される。
なお、上述した測位装置の、第1の受信手段は、受信部25に対応し、第2の受信手段は、受信部21に対応する。また、記録手段は記録部22に対応し、記憶手段はデータベース23に対応する。また、読出手段及び検出手段は検出部26に対応する。また、計時手段は時計24に対応する。また、上記の構成では測位装置20にて、識別情報を受信した時刻を付与するようにしているが、当該時刻は、受信装置が無線信号を受信したときに、受信装置の内部の時計から取得した時刻を付与して、測位装置に送信するようにしてもよい。
図5は、測位装置20における識別情報発信装置40の位置の検出の処理を示したフローチャートである。
まず最初に、受信部25が受信装置10から識別情報を受信し、検出部26に識別情報を送信する(ステップSa1)。検出部26は、受信部25から識別情報を受信した時、時計24から時刻を取得する(ステップSa2)。検出部26は、取得した時刻に基づいて、当該時刻の前後所定時間の撮影画像のデータを読み出す(ステップSa3)。次に、検出部26は、発光体の画像が含まれている撮影画像を検出する(ステップSa4)。発光体が撮影されている画像から画像上での発光体の座標を算出する。撮影装置30が撮影する画像の座標と、測位の対象となる座標の対応付けは予め取られており、当該対応付けの情報に基づいて、発光体の座標から、識別情報発信装置40の位置、すなわち絶対座標を検出する(ステップSa5)。そして、出力部27に識別情報と絶対座標の値とを出力する(ステップSa6)。
なお、撮影装置30が撮影する撮影画像の座標と、測位の対象となる座標の対応付けの方法としては、例えば、天井に撮影装置30を設置し、床面に向けて撮影することにより、2次元での絶対座標の値と、撮影画像の座標の値とを対応付けることができる。
また、撮影装置30に用いられるレンズとしては、一台で広い範囲を撮影可能な魚眼レンズなどが適用可能であるが、一台でカバーできない場合には複数の撮影装置30を利用するようにするようにしてもよい。
また、複数の識別情報発信装置が存在する場合、発光のタイミングによっては、1つの撮影画像のデータに複数の発光体が存在する場合が出てくるが、発信間隔を完全な一定周期ではなく、揺らぎをもった周期、または予め設定される範囲内でランダムに発信周期を変更する仕組みを備えることにより、発光のタイミングが重なることを避け、撮影画像に1つだけが写るようにすることも可能である。
(第2実施形態)
次に、図6から図9を参照して、本発明における第2実施形態について説明する。
図6は、第2実施形態における測位システム2を示したブロック図である。測位システム2は、発光体が撮影装置30の死角にあり、発光体を撮影できない場合であっても識別情報発信装置40の位置を検出することを可能とする。図6に示すように、第1実施形態との違いは、少なくとも3つ以上の受信装置101a、101b、101c(以下、受信装置101a、101b、101cを代表して記載する場合には符号101を付して記載する)を備えた点が異なる。
図7は、第2実施形態に適用される受信装置101の内部構成を示したブロック図である。第2実施形態の受信装置101では、制御部13にさらに無線信号の受信強度を測定する受信強度測定手段13bを備えている。受信強度測定手段13bは、無線信号のRSSI(Received Signal Strength Indicator)、即ち受信電界強度(以下、受信強度とよぶ)を測定する。送信部14は、読出手段13aと受信強度測定手段13bによって測定される受信強度とを測位装置20へ送信する。
図8は、受信装置101a、101b、101cの配置を示した図である。各受信装置101a、101b、101cは、測位領域において互いの無線信号の受信範囲が重なるように配置され、識別情報発信装置40から発信される無線信号を受信装置101a、101b、101cが受信する。少なくとも3つ以上必要とされるのは、三点測量等の方法によって位置を特定する際の必須の条件だからである。
図9は第2実施形態における測位装置20における識別情報発信装置40の位置の検出の処理を示したフローチャートである。
まず最初に、受信部25が3つの受信装置10a、10b、10cから同一の識別情報とそれに対応する受信強度を受信し、検出部26に識別情報と受信強度を送信する(ステップSb1)。検出部26は、受信部25から識別情報を受信した時、時計24から時刻を取得する(ステップSb2)。検出部26は、取得した時刻に基づいて、当該時刻の前後所定時間の撮影画像のデータを読み出す(ステップSb3)。次に、検出部26は、読み出した撮影画像に発光体の画像が含まれているか否かを判定する(ステップSb4)。発光体の画像が含まれていると判定した場合には、第1実施形態と同様に識別情報発信装置40の位置の検出を行い(ステップSb5)、出力部27に識別情報と絶対座標の値とを出力する(ステップSb6)。
一方、検出部26は、読み出した撮影画像に発光体の画像が含まれていなと判定した場合には、3つの受信強度から識別情報に対応する識別情報発信装置40の位置を検出する。ここで、受信強度から位置を検出する方法としては、受信強度に基づいて各受信装置101a、101b、101cと識別情報発信装置40の距離を自由空間損失式などで換算し、三点測量等の方法を利用することで識別情報発信装置40の位置を検出することができる。三点測量等の方法としては、特開2002−236166号公報に記載の位置検出システムの手法などを利用することができる(ステップSb7)。検出部26は、検出した位置の情報に対応する絶対座標の値と識別情報とを出力部27に出力する(ステップSb8)。
(第3実施形態)
次に、図10から図15を参照して、本発明における第3実施形態について説明する。
図10は、第3実施形態における測位システム3を示した図である。図10に示すように第3実施形態では、識別情報発信装置401a〜401d(以下、識別情報発信装置401a〜401dを代表して記載する場合は符号401を付与して記載する)は、金属製キャビネットの中や壁の裏や引き出しの中や机の上などに配置されている。識別情報発信装置401a、401b、401dは、それぞれ金属製キャビネット、壁の裏、引き出しの中に配置されており撮影装置30の死角となる位置に存在する。また、識別情報発信装置401a及び401dは、それぞれ金属製キャビネット、プラスチック製の引き出しの中に配置されているため無線信号の電力が減衰する場所に存在する。
なお、図10において測位装置20及び撮影装置30は図示していないが、第2実施形態と同様に配置されているものとし、また受信装置も以下の説明上、受信装置101aのみを記載しているが、受信強度により位置の検出を行うため第2実施形態と同じく少なくとも3つ以上の受信装置101a、101b、101cが設置されているものとする。
図11は、第3実施形態に適用される識別情報発信装置401の内部構成を示したブロック図である。第3実施形態に適用される識別情報発信装置401には、第1実施形態の識別情報発信装置40の構成に加えて、外部の明度を検出する光検出器48と当該検出器48から検出された情報を受信する光検出部47が備えられている。光検出器48としては、例えばフォトディテクタなどが適用される。光検出部47は、無線送信部42から識別情報を含む無線信号が送信される前に、制御部43の指示を受信し、光検出器48を介して識別情報発信装置40の外部の明度を測定し、測定した明度を制御部43に送信する。制御部43は、当該明度と識別情報とを無線送信部42に送信する。無線送信部42は、制御部43から受信した識別情報と明度の情報とを含んだ無線信号を送信する。なお、光検出部47で外部の明度を検出する際に、発光体46が発光していない状態になるよう制御部43によってタイミングが制御される。
図12は、第3実施形態における測位装置20における識別情報発信装置401の位置の検出の処理を示したフローチャートである。
まず最初に、受信部25が3つの受信装置101a、101b、101cから同一の識別情報とそれに対応する受信強度と明度の情報とを受信し、検出部26に識別情報と受信強度と明度とを送信する(ステップSc1)。検出部26は、受信部25から識別情報を受信した時、時計24から時刻を取得する(ステップSc2)。検出部26は、取得した時刻に基づいて、当該時刻の前後所定時間の撮影画像のデータを読み出す(ステップSc3)。次に、検出部26は、読み出した撮影画像に発光体の画像が含まれているか否かを判定する(ステップSc4)。発光体の画像が含まれていると判定した場合には、第1実施形態と同様に識別情報発信装置40の位置の検出を行い(ステップSc5)、出力部27に識別情報と絶対座標の値とを出力する(ステップSc6)。
一方、検出部26は、読み出した撮影画像に発光体の画像が含まれていないと判定した場合には、受信強度と明度の関係に基づいて識別情報発信装置40の位置を検出する。
例えば、明度が“暗い”状態を示している場合には、引き出しの中やキャビネットの中に配置されていると推測されるため、明度に従う受信強度の減衰率に基づいて換算された受信強度から識別情報発信装置40の位置を検出する。当該位置検出の手段についての詳細は、後述する図13から図14を用いて説明する。検出部26は、検出した位置の情報に対応する絶対座標の値と識別情報とを出力部27に出力する(ステップSc8)。
図13は、図10に示す測位システム3の配置状態おいて、3つの受信装置の1つである受信装置101aによって受信される各識別情報発信装置401a〜401dの無線信号の受信強度と明度の関係を示した図である。なお、図10に示すように受信装置101aは、図中の左である金属製キャビネット寄りに配置されているものとする。
図13に示すように、識別情報発信装置401bと401cとは、プラスチック製の引き出しや金属製のキャビネットの中には入れられていないため、受信装置101aによって受信される受信強度は識別情報発信装置401a及び401dよりも大きくなる。つまり、識別情報発信装置401bと401cの受信強度のレベルは、遮蔽物などが無く、自由空間減衰により受信強度が損失する範囲であることを示している。
壁の裏にある識別情報発信装置401bと机の上に配置されている識別情報発信装置401cの明度を比較すると、壁の裏にある識別情報発信装置401bの方が明度が低くなる。
また、識別情報発信装置401aと401dは、それぞれ金属製キャビネットとプラスチックの引き出しの中に配置されているため、明度は識別情報発信装置401bよりもさらに低くなる。また、金属製のキャビネットに配置されている識別情報発信装置401aとプラスチックの引き出しの中に配置されている識別情報発信装置401dとでは、金属の無線信号の減衰率がプラスチックよりも大きいため、識別情報発信装置40aの方が受信強度が低くなる。このことから、識別情報発信装置401aの受信強度のレベルは、金属などの無線信号を減衰させる率が高い媒体の中に存在する場合の受信強度のレベルと推定でき、このレベルを記憶しておくことで減衰率の判定に利用することができる。
図14は、測位装置20において、事前に複数の場所に識別情報発信装置401を配置して、図13に示す受信強度と明度の情報を詳細に実測し、実測した際の識別情報発信装置401の位置の情報に対応付けて測位装置20の内部に予め記憶しておく情報を示した図である。測位装置20では、当該座標の値によって示される範囲と位置情報とを対応付けて受信装置101ごとに記憶しておくことで、どの範囲に含まれるかを判定することで、受信強度の減衰を考慮する次式(1)により各受信装置101と識別情報発信装置401の距離を算出することができる。
Figure 0004137910
式(1)は、ITU−R(国際電気通信連合無線部門)で勧告されている屋内伝搬損失モデルを示した式であり、式(1)においてLはdB値で表された伝搬損、dは受信装置10と識別情報発信装置40の距離[m]、Nは減衰率、Lf(n)はdB値で表した透過率である。受信強度から伝搬損を換算し、式(1)において明度により減衰率Nを変更することで距離dを求めることができる。減衰率Nは、予め識別情報発信装置40を配置して実測しておいてもよく、また、図15に示すITU−Rで公開されているパラメータを用いてもよい。
なお、上記では、光検出部47は、発光体45が発光していないときの外部の明度を検出するようにしたが、プラスチックの引き出しと、金属のキャビネットとで発光体46による反射光の明度の違いを検出可能な精度を有するフォトディテクタなどを用いる場合には、どのような媒体に収納されているかを特定することができるため、その場合には、逆に発光体46が発光しているときに光検出部47が明度を検出するようにしてもよい。
(第4実施形態)
次に、図16及び図19を参照して、本発明における第4実施形態について説明する。
図16は、第4実施形態における測位システム4の構成を示したブロック図である。第4実施形態では、撮影装置30が撮影した撮影画像に複数の発光体が含まれているときに、測位装置20は、受信装置10から受信した識別情報に対応する発光体を撮影画像の中から特定し、複数の識別情報発信装置40a、40b、40cの位置の検出を行う。検出手段としては、撮影画像中の発光体の明度と受信強度の関係により特定する手段(その1の手段)と、発光体の明滅の間隔により特定する手段(その2の手段)とがあり、以下にこの2つの手段について説明する。
図17は、撮影画像中の発光体の明度と受信強度の関係により識別情報発信装置40を特定する手段(その1の手段)を行う処理を示したフローチャートである。図17の処理を行う前提として、図16の測位システム4では、撮影装置30と受信装置10は近傍であって、識別情報発信装置40から見てほぼ同一の方向に配置されているものとする。
まず最初に、受信部25が受信装置10から識別情報と受信強度を受信し、検出部26に識別情報と受信強度を送信する(ステップSd1)。検出部26は、受信部25から識別情報を受信した時、時計24から時刻を取得する(ステップSd2)。検出部26は、取得した時刻に基づいて、当該時刻の前後所定時間の撮影画像のデータを読み出す(ステップSd3)。次に、検出部26は、読み出した撮影画像に複数の発光体の画像が含まれているか否かを判定する(ステップSd4)。1つの発光体の画像しか含まれていないと判定した場合には、第1実施形態と同様に識別情報発信装置40の位置の検出を行い(ステップSd5)、出力部27に識別情報と絶対座標の値とを出力する(ステップSd6)。
一方、検出部26は、読み出した撮影画像に複数の発光体の画像が含まれていると判定した場合には、発光体が複数撮影されている画像データから各発光体の明度を、画像データのRGBデータや輝度情報から算出する(ステップSd7)。次に、検出部26は、受信した受信強度から受信装置10と識別情報発信装置40の距離を算出し、距離の遠いものほど明度が低いという対応関係に基づいて、識別情報発信装置40に対応する発光体を撮影画像から検出し、検出した発光体に基づいて位置を算出する(ステップSd8)。そして、検出部26は、検出した位置の情報に対応する絶対座標の値と識別情報とを出力部27に出力する(ステップSd9)。
次に、図18を参照して、第4実施形態において、発光体の明滅の間隔により識別情報発信装置40の特定を行う手段(その2の手段)について説明する。
図18は、2つの識別情報発信装置40aと40bの発光体46a、46bの明滅の間隔、すなわち発光パターンとその際に撮影装置30によって撮影される撮影画像の関係を示した図である。識別情報発信装置40aと40bは時刻tに無線信号による識別情報を発信する。その後、識別情報発信装置40aと40bにおいて、それぞれの記憶部44a、44bに予め設定されている発光パターンの情報に従い、制御部43a、43bからの指示を受信した発光部45a、45bがそれぞれの発光体46a、46bを発光させる。
時刻tでは、識別情報発信装置40aと40bの両方の発光体46a、46bが発光しているため撮影装置30によって撮影される撮影画像60−1には2つの発光体が撮影される。次に、時刻tでは、識別情報発信装置40aの発光体46aのみが発光しているため撮影画像60−2には発光体は1つのみ画像の左上に撮影される。また、時刻tでは、識別情報発信装置40bの発光体46bのみが発光しているため撮影画像60−3には発光体は1つのみ画像の右下に撮影される。次に、時刻tでは、識別情報発信装置40aと40bの両方の発光体46a、46bが発光しているため撮影装置30によって撮影される撮影画像60−4は時刻tに撮影された撮影画像60−1と同じくには2つの発光体が撮影される。
これらの時刻の情報と各撮影画像60−1〜60−4に撮影されている発光パターンから左上の発光体を識別情報発信装置40aに対応する発光体の画像であると判定し、右下の発光体を識別情報発信装置40bに対応する発光体の画像であると判定することができる。
図19は、発光体の発光パターンにより識別情報発信装置40を特定する手段を行う処理を示したフローチャートである。
ステップSe1からステップSe6までの処理は、図17で説明したステップSd1からSd6までの処理と同じである。以下、ステップSe7からステップSe9の処理について説明する。
検出部26は、読み出した撮影画像に複数の発光体の画像が含まれていると判定した場合には、時計から取得した時刻より所定時間前までの(上述した第2の所定時間に対応)の連続する複数の撮影画像をデータベース23から読み出す(ステップSe7)。次に、検出部26は、読み出した複数の撮影画像から発光体の発光パターンを検出し、予め内部に記憶している発光パターンと識別情報との対応関係から、識別情報に対応する発光体を特定し、対応する識別情報発信装置40a〜40cの位置を検出する(ステップSe8)。そして、検出部26は、検出した位置の情報に対応する絶対座標の値と識別情報とを出力部27に出力する(ステップSe9)。
(第5実施形態)
次に、図20及び図21を参照して本発明における第5実施形態について説明する。図20は、第5実施形態における測位システム5の構成を示したブロック図である。図20において、測位システム5は、複数の識別情報発信装置40a〜40dと、複数の撮影装置30a〜30cとが存在し、複数の撮影装置30a〜30cの撮影領域が互いに重複しており、重複している撮影領域に複数の識別情報発信装置40a〜40dが存在し、複数の撮影装置30a〜30cによって撮影された撮影画像から測位装置20が複数の識別情報発信装置40a〜40dのそれぞれの位置を検出する。
図21は、識別情報発信装置40a〜40dに付与される識別情報を示した図である。図21に示すように識別情報が例えば8ビットから構成されている場合、上位4ビットをグループコードとし、下位4ビットを個別コードとしてそれぞれの識別情報発信装置40a〜40dに付与する。そして、図21の表に示すように、グループA、すなわちグループコードとして1が付与された識別情報発信装置40aの発光体46aには光の波長が800nmのものを適用する。また、グループB、すなわちグループコードとして2が付与された識別情報発信装置40bの発光体46bには光の波長が850nmのものを適用するといった方法で、グループごとに異なる波長の発光体が識別情報発信装置に備えられるように設定を行う。
一方、複数の撮影装置30a〜30cのそれぞれのレンズには、識別情報発信装置40a〜40dのグループごとに割り当てられたそれぞれの光の波長のみを通すバンドパスフィルタを装着する。これにより、各撮影装置30a〜30cは、グループ以外の識別情報発信装置の発光体を撮影しても撮影画像には写らず、対応するグループの識別情報発信装置の発光体のみが撮影画像に記録されることになる。
つまり、識別情報発信装置のグループごとに一台の撮影装置30a〜30cが割り当てられているのと同じ状態になり、領域内に複数の識別情報発信装置40a〜40dが存在しても記録される撮影画像が分かれることになり、またグループ内で発光体の発光のタイミングが重ならないようにすることで、各識別情報発信装置40a〜40dの位置の検出を行うことが可能となる。また、測位装置20では、図21に示す対応関係を記憶しておくことで、受信した識別情報からどの撮影装置30a〜30cで撮影された撮影画像に含まれるかを特定することができ、データベース23から読み出す際に、該当する撮影画像を読み出すことで識別情報に対応する発光体を特定することができる。
(第6実施形態)
次に、図22を参照して本発明における第6実施形態について説明する。第6実施形態は、第1実施形態の測位システム1において、振動を検出したときに無線信号を発信する識別情報発信装置402を適用することで、識別情報発信装置402の移動情報を検出するようにしたシステムである。
図22は、第6実施形態における識別情報発信装置402の内部構成を示したブロック図である。識別情報発信装置402は、第1実施形態の識別情報発信装置40の構成に加えて振動検出部49を備えている。振動検出部49は、移動時に発生する振動を検出し、振動検出の情報を制御部43に送信する。また、記憶部44には、識別情報1と識別情報2の2つの識別情報が記憶されている。
第6実施形態における識別情報発信装置402の動作は以下の通りである。まず、一定の間隔で発信する場合には、制御部43は発信するタイミング検出すると、記憶部44から識別情報1を読み出し、無線送信部42に識別情報1を含む無線信号を送信させ、発光部45に指示を送信し、発光体46を発光させる。一方、識別情報発信装置402が移動した場合には、振動検出部48が振動を検出し、振動検出の情報を制御部43に送信する。振動検出の情報を受信した制御部43は、記憶部44から識別情報2を読み出し、無線送信部42に識別情報2を含む無線信号を送信させ、発光部45に指示を送信し発光体46を発光させる。
測位装置20は、第1実施形態の構成を適用することができ、一定の間隔で発光する発光体の撮影画像と同じく、識別情報発信装置402の移動時の撮像画像を測位装置20が受信し、受信したとき時計24から取得した時刻とともにデータベース23に記録する。
測位装置20は、受信した識別情報が予め記憶している識別情報2の場合には、振動により発信された識別情報であることを判定することができ、振動検出時の位置の情報として集計することで識別情報発信装置402の移動の履歴を検出することができる。
次に、上記第1から第6の実施形態において識別情報発信装置40の位置の検出に必要となる撮影装置30の位置の検出手段について説明する。まず最初に、撮影対象領域に位置が既知の参照用の識別情報発信装置40を配置しておく。そして、3つ以上あるいは6つ以上の参照用の識別情報発信装置40の発光体を撮影した撮影画像を撮影装置30により撮影する。
3つ以上の参照用の識別情報発信装置40の発光体を撮影した場合には、単写真標定方法により、撮影装置30の位置を検出することができる。
また、6つ以上の参照用の識別情報発信装置の発光体を撮影することにより、当該撮影によって得られた撮影画像からDLT(Direct Linear Transformation)法により、撮影装置30の位置を検出することができる。これにより、識別情報発信装置40の位置を検出する際に必要となる撮影装置30の位置を実測によらず、撮影画像から得ることが可能となり、撮影装置30を移動させても測位装置20内で自動的に基準となる撮影装置30の位置の情報を補正し、識別情報発信装置40の位置を検出することが可能となる。
なお、DLT法によって撮影装置30の位置を算出する場合には以下のような演算により算出することができる。
まず、図23に示す空間座標系X−Y−Zにおいて撮影装置30のカメラ座標の原点、すなわち撮影位置を(X,Y,Z)とし、カメラ座標x−y−zの空間座標系X−Y−Zにおける回転角を(ω,φ,κ)とする。参照用の識別情報発信装置40の位置を、空間座標系においてP(X,Y,Z)する。カメラ座標系から見た写真面上での参照用の識別情報発信装置40の座標pは、写真面のz座標は常に−cであるからp(x,y,−c)で表される。このとき、(x,y)は、(X,Y,Z)と(X,Y,Z)と(ω,φ,κ)を用いて次式(2)で表される。
Figure 0004137910
ここで、mijは次式(3)で示される。
Figure 0004137910
ここで、参照用の識別情報発信装置40の位置が既知であるため(X,Y,Z)は既知であり、また(x,y)は写真平面上の座標であるから既知である。6つ以上の参照用の識別情報発信装置40を撮影すると式(2)は、xについて3つ以上、yについて3つ以上でき、6つの未知数(X,Y,Z)と(ω,φ,κ)で6つ以上の連立方程式が存在することになり、このとき最小二乗法を用いて未知数を算出することができ、これにより、撮影装置30の位置の情報である(X,Y,Z)と(ω,φ,κ)を算出することが可能となる。
上述の測位装置は内部に、コンピュータシステムを有している。そして、上述した識別情報発信装置の位置の情報を検出過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
第1実施形態における測位システムを示すブロック図である。 第1実施形態における識別情報発信装置のブロック図である。 第1実施形態における受信装置のブロック図である。 第1実施形態における測位装置のブロック図である。 第1実施形態における測位方法を示したフローチャートである。 第2実施形態における測位システムを示すブロック図である。 第2実施形態における受信装置のブロック図である。 第2実施形態における受信装置の配置図である。 第2実施形態における測位方法を示したフローチャートである。 第3実施形態における測位システムを示すブロック図である。 第3実施形態における識別情報発信装置のブロック図である。 第3実施形態における測位方法を示したフローチャートである。 第3実施形態における測位方法を説明するための図(その1)である。 第3実施形態における測位方法を説明するための図(その2)である。 第3実施形態における明度と受信強度の減衰率の関係を示した図である。 第4実施形態における測位システムを示すブロック図である。 第4実施形態における測位方法を示したフローチャート(その1)である。 第4実施形態における発光体の発光パターンによる検出手段を説明するための図である。 第4実施形態における測位方法を示したフローチャート(その2)である。 第5実施形態における測位システムを示すブロック図である。 第5実施形態における識別情報のグループ化を説明するための図である。 第5実施形態における識別情報発信装置のブロック図である。 撮影装置の位置を検出する手段を説明するための図である。
符号の説明
1 測位システム
10 受信装置
20 測位装置
30 撮影装置
40 識別情報発信装置

Claims (15)

  1. 一定の間隔で発光する発光体及び一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を有する測位システムにおける測位装置であって、
    前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、
    前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、
    前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、
    前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、
    前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段と、
    を備え、
    前記第1の受信手段は、
    前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、
    前記検出手段は、
    前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出することを特徴とすることを特徴とする測位装置。
  2. 前記第1の受信手段は、
    前記受信装置が測定した前記無線信号の前記受信強度を前記識別情報とともに前記受信装置から受信し、
    前記検出手段は、
    前記識別情報と、前記明度と、前記受信強度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出することを特徴とする請求項1に記載の測位装置。
  3. 前記第1の受信手段は、
    複数の識別情報と前記複数の識別情報のそれぞれに対応する受信強度とを受信し、
    前記検出手段は、
    前記撮影画像に複数の発光体の画像が含まれている場合、前記複数の発光体の明度を前記読出手段が読み出す前記撮影画像の情報から算出し、算出した明度と前記複数の受信強度とに基づいて前記複数の識別情報のそれぞれに対応する前記識別情報発信装置の位置を検出することを特徴とする請求項1または2のいずれか1つに記載の測位装置。
  4. 前記検出手段は、
    前記撮影画像に複数の発光体の画像が含まれている場合、前記読出手段に前記時刻の第2の所定時間前までの連続する撮影画像を読み出させ、前記連続する撮影画像に基づいて前記複数の発光体のそれぞれの明滅の間隔を検出し、検出した前記明滅の間隔と予め記憶している前記識別情報発信装置ごとの明滅の間隔の情報とに基づいて、前記複数の識別情報のそれぞれに対応する前記発光体を検出し、検出した前記発光体に基づいて前記識別情報発信装置の位置を検出することを特徴とする請求項1から3のいずれか1つに記載の測位装置。
  5. 一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続され、前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段とを有する測位装置と、を有し、前記第1の受信手段は、前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、前記検出手段は、前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する測位システムにおける識別情報発信装置であって、
    発光体と、
    外部の明度を測定する測定手段と、
    前記測定手段が測定する前記明度と前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、
    前記発光体を一定の間隔で発光させる発光手段と、
    を備えたことを特徴とする識別情報発信装置。
  6. 前記発光手段は、他の識別情報発信装置とは異なる前記一定の間隔で前記発光体を発光させることを特徴とする請求項5に記載の識別情報発信装置。
  7. 一意に識別可能な第1と第2の識別情報を予め内部に記憶し、
    振動を検出する振動検出手段を備え
    前記発信手段は、前記一定の間隔で無線信号を発信する場合には、前記第1の識別情報を含む無線信号を発信し、前記振動検出手段が検出したときは前記第2の識別情報を含む無線信号を発信することを特徴とする請求項5または6のいずれか1つに記載の識別情報発信装置。
  8. 一定の間隔で発光する発光体及び一意に識別可能な識別情報を含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続され、前記受信装置から前記受信装置によって前記無線信号から読み出される前記識別情報を受信する第1の受信手段と、前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段と、前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、前記第1の受信手段が受信した前記識別情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段とを有する測位装置と、を有し、前記第1の受信手段は、前記受信装置から前記識別情報発信装置が測定した外部の明度を前記識別情報とともに受信し、前記検出手段は、前記識別情報と、前記明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する測位システムにおける受信装置であって、
    前記識別情報発信装置から発信される無線信号を受信する受信手段と、
    前記受信手段が受信した前記無線信号から前記識別情報を読み出して前記識別情報を前記測位装置に送信する送信手段と、
    を備えたことを特徴とする受信装置。
  9. 前記無線信号の受信強度を測定する測定手段を備え、
    前記送信手段は、
    前記識別情報を前記測位装置に送信する際に、前記測定手段が測定する前記受信強度を前記識別情報とともに送信することを特徴とする請求項8に記載の受信装置。
  10. 一意に識別可能な識別情報が予め付与される識別情報発信装置と、無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を備えた測位システムであって、
    前記識別情報発信装置は、
    発光体と、
    外部の明度を測定する測定手段と、
    前記測定手段が測定する前記明度と前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、
    前記発光体を一定の間隔で発光させる発光手段と、
    を備え、
    前記受信装置は、
    前記識別情報発信装置から発信される前記無線信号を受信する受信手段と、
    前記受信手段が受信する前記無線信号から前記識別情報と明度とを読み出し、該読み出した前記識別情報と明度とを前記測位装置に送信する送信手段と、
    を備え、
    前記測位装置は、
    前記受信装置から前記識別情報と明度とを受信する第1の受信手段と、
    前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段と、
    前記第2の受信手段が受信する前記撮影画像と、受信した際に計時手段から取得した時刻とを対応付けて記憶手段に記録する記録手段と、
    前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段と、
    前記第1の受信手段が受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段と、
    を備えたことを特徴とする測位システム。
  11. 前記識別情報発信装置と前記撮影装置が複数存在する場合、複数の識別情報発信装置に対応する前記識別情報が予めグループに分類されており、
    前記複数の識別情報発信装置は、
    前記識別情報が属する前記グループごとに異なる波長の光を発光する発光体と、
    前記識別情報を含む無線信号を一定の間隔で発信する発信手段と、
    前記発光体を前記一定の間隔で発光させる発光手段と、
    を備え、
    前記複数の撮影装置は、
    それぞれ透過波長帯の異なるバンドパスフィルタ
    を備え、
    前記測位装置は、
    前記識別情報のグループの情報と、前記グループごとに割り当てられた光波長を透過させる前記バンドパスフィルタを備えた撮影装置の情報とを対応付けて記憶し、
    前記読出手段は、
    第1の受信手段が受信した前記識別情報と、前記識別情報のグループの情報と前記撮影装置の対応付けの情報とに基づいて、前記識別情報に対応する前記撮影装置によって撮影された撮影画像のうち前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を読み出すことを特徴とする請求項10に記載の測位システム。
  12. 位置が固定され、位置の情報が既知である参照用の識別情報発信装置を更に備え、
    前記検出手段は、
    前記識別情報が前記参照用の識別情報発信装置の識別情報である場合に、予め内部に記憶する前記参照用の識別情報発信装置の位置の情報と、前記読出手段が読み出す前記撮影画像とに基づいて前記撮像装置の位置を検出することを特徴とする請求項10または11に記載の測位システム。
  13. 一意に識別可能な識別情報が予め付与され、発光体を備えた識別情報発信装置と、無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を備えた測位システムにおける測位方法であって、
    前記識別情報発信装置が、外部の明度を測定する測定ステップと、
    前記識別情報発信装置が、前記識別情報と前記測定ステップが測定した明度とを含む無線信号を一定の間隔で発信するステップと、
    前記識別情報発信装置が、前記発光体を一定の間隔で発光させるステップと、
    前記受信装置が、前記識別情報発信装置から発信される前記無線信号を受信するステップと、
    前記受信装置が、受信した前記無線信号から前記識別情報と明度とを読み出し、該読み出した前記識別情報と明度とを前記測位装置に送信するステップと、
    前記測位装置が、前記受信装置から前記識別情報と明度とを受信するステップと、
    前記測位装置が、前記撮影装置から前記撮影画像を連続的に受信するステップと、
    前記測位装置が、受信した前記撮影画像と、受信した際に計時手段から取得した時刻とを対応付けて記憶手段に記録するステップと、
    前記測位装置が、前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出すステップと、
    前記測位装置が、受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出するステップと、
    を有することを特徴とする測位方法。
  14. 一定の間隔で発光する発光体、外部の明度を測定する測定手段、及び、一意に識別可能な識別情報と前記測定手段が測定した明度とを含む無線信号を一定の間隔で発信する手段を備えた識別情報発信装置と、前記識別情報発信装置から発信される無線信号を受信する受信装置と、前記識別情報発信装置が存在する領域を連続的に撮影画像に記録する撮影装置と、前記受信装置と前記撮影装置とに接続される測位装置と、を有する測位システムにおける測位装置としてのコンピュータを、
    記受信装置によって前記無線信号から読み出される前記識別情報と明度と前記受信装置から受信する第1の受信手段、
    前記撮影装置から前記撮影画像を連続的に受信する第2の受信手段、
    前記第2の受信手段が受信する前記撮影画像と、受信する際に計時手段より取得した時刻とを対応付けて記憶手段に記録する記録手段、
    前記第1の受信手段が前記識別情報を受信する際に計時手段から取得する時刻に基づいて、前記時刻の前後第1の所定時間内に撮影され前記発光体の画像を含む撮影画像を前記記憶手段から読み出す読出手段、
    前記第1の受信手段が受信した前記識別情報と明度と、前記読出手段が読み出す前記撮影画像とに基づいて前記識別情報に対応する前記識別情報発信装置の位置を検出する検出手段、
    として機能させるためのコンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2005135970A 2005-05-09 2005-05-09 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体 Expired - Fee Related JP4137910B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005135970A JP4137910B2 (ja) 2005-05-09 2005-05-09 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005135970A JP4137910B2 (ja) 2005-05-09 2005-05-09 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2006313111A JP2006313111A (ja) 2006-11-16
JP4137910B2 true JP4137910B2 (ja) 2008-08-20

Family

ID=37534655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005135970A Expired - Fee Related JP4137910B2 (ja) 2005-05-09 2005-05-09 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4137910B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5262148B2 (ja) * 2008-02-05 2013-08-14 日本電気株式会社 ランドマーク検出装置および方法ならびにプログラム
JP5634266B2 (ja) * 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
WO2017145789A1 (ja) 2016-02-26 2017-08-31 ソニー株式会社 測位装置、通信装置、および測位システム
JP6726118B2 (ja) 2017-02-22 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、無線通信端末および位置推定システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3267773B2 (ja) * 1993-11-29 2002-03-25 株式会社野村総合研究所 移動体位置認識システム
JP3772063B2 (ja) * 2000-02-28 2006-05-10 オリンパス株式会社 位置検出装置、及び、位置検出システム
JP2001304815A (ja) * 2000-04-24 2001-10-31 Mitsubishi Electric Corp 位置計測システムおよび位置計測方法
JP3643538B2 (ja) * 2001-02-07 2005-04-27 日本電信電話株式会社 位置検出システム及び位置検出方法
CA2441512C (en) * 2001-03-09 2010-06-29 Radianse, Inc. Location system and methods

Also Published As

Publication number Publication date
JP2006313111A (ja) 2006-11-16

Similar Documents

Publication Publication Date Title
US7852217B2 (en) Object detecting device, object detecting method and object detecting computer program
EP1672821B1 (en) Identifying objects tracked in images using active device
US7710455B2 (en) Node management system and node managing program using sensing system
KR20210033532A (ko) 탈착 가능하고 부착 가능한 음향 이미징 센서를 위한 시스템 및 방법
CN105393079A (zh) 基于上下文的深度传感器控制
CN107607957B (zh) 一种深度信息获取系统及方法、摄像模组和电子设备
JP4137910B2 (ja) 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整
US20160225160A1 (en) Monitoring camera, monitoring system, and motion detection method
US20190340472A1 (en) System of recognizing identity of object and method of automatically recognizing identity of object
US20020131643A1 (en) Local positioning system
WO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
EP1771778B1 (en) Tracking system using fixed optical radiators
KR101921113B1 (ko) 탐지용 하이브리드 가시광 rfid 태그 및 이에 사용되는 로봇시스템
US20210287390A1 (en) Automatic light position detection system
US9992838B1 (en) Automated luminaire identification and group assignment devices, systems, and methods using dimming function
JP2010108089A (ja) 作業時間測定システム
US10762467B2 (en) Placement information registration device, placement information registration method, and placement information registration program
US11676286B2 (en) Information management apparatus, information management method, and non-transitory recording medium
EP3479055A1 (en) Method for identifying and locating a movable object
JP2006003157A (ja) 位置検出システム
JP3515749B2 (ja) 移動体の位置検出方法および装置
WO2023032769A1 (ja) 位置推定システム、及び、位置推定方法
KR101550563B1 (ko) 조명등 및 이미지 센서를 이용한 위치 측위 방법 및 장치
JP2006084195A (ja) 測位システムおよび測位方法、測位装置およびそのプログラムならびに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R151 Written notification of patent or utility model registration

Ref document number: 4137910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140613

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees