JP3897984B2 - 監視カメラのキャリブレーション方法及び道路監視用カメラ - Google Patents
監視カメラのキャリブレーション方法及び道路監視用カメラ Download PDFInfo
- Publication number
- JP3897984B2 JP3897984B2 JP2001027431A JP2001027431A JP3897984B2 JP 3897984 B2 JP3897984 B2 JP 3897984B2 JP 2001027431 A JP2001027431 A JP 2001027431A JP 2001027431 A JP2001027431 A JP 2001027431A JP 3897984 B2 JP3897984 B2 JP 3897984B2
- Authority
- JP
- Japan
- Prior art keywords
- feature points
- camera
- road
- moving body
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、道路や施設などに設置された監視用のカメラのキャリブレーション方法に関するものである。
ここでは、カメラパラメータ（例えば、カメラに使用しているレンズの焦点距離）や、カメラから見た監視エリアの基準平面の方程式を算出することをカメラのキャブレーションと呼ぶ。また、監視対象である移動体が特定の平面上を移動する場合には、当該基準平面は特定の平面を指し、これを移動平面と呼ぶ。なお、カメラから見た基準平面は、当該平面に対するカメラの高さや向き（チルト角、パン角）として言い換えることもできる。
【０００２】
【従来の技術】
例えば、道路監視システムでは、車両の走行状態を計測するために、監視エリアの基準平面である道路平面と監視カメラとの関係をあらかじめ算出しておく必要がある。
特開平４−１５０５９１号公報には、道路上の白線を利用することにより、監視カメラのキャリブレーションを実施するカメラのキャリブレーション方法が開示されている。
【０００３】
このキャリブレーション方法では、道路上の白線が直線でなければならず、カーブ道路などには用いることができない。
そこで、最近では、道路上にマーカを設置し、そのマーカを利用することにより、監視カメラのキャリブレーションを実施するようにしている。
なお、キャリブレーション時の具体的な計算方法は、例えば、「単眼視画像による顔の向き検出法の指示入力への応用」（電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１４４１−１４４７、１９８９年）に記載されている。
【０００４】
即ち、上記文献に記載の方法を利用すれば、道路平面と監視カメラとの関係は、次のようにして得ることができる。
カメラレンズの主点を原点とするワールド座標系（Ｘ，Ｙ，Ｚ）と、画像平面座標系（ｘ，ｙ）とを図４のように設定する。
カメラの焦点距離をｆとし、光軸はＺ軸に一致しているとする。ここで、道路平面上の３点のマーカＰｎ（Ｘｎ，Ｙｎ，Ｚｎ）の投影像をＱｎ（ｘｎ，ｙｎ）（ｎ＝１，２，３）とすると、Ｐｎは原点ＯとＱｎを通る直線上に存在することになる。したがって、Ｐｎの位置ベクトルｐｎは、直線ＯＱｎの方向を表す単位ベクトルｕｎとスカラーａｎを用いて表せる。
Ｐｎ＝ｕｎａｎ
【０００５】
ここで、ｕｎは投影像Ｑｎの座標値（ｘｎ，ｙｎ）を用いると、下記のようになる。
ｕｎ＝（ｘｎ，ｙｎ，ｆ）／（ｘ２ ｎ，ｙ２ ｎ，ｆ２）１／２
また、スカラーａｎは原点ＯからＰｎまでの距離を表しており、ａｎが決まればＰｎの３次元位置を求めることができる。
【０００６】
ここで、Ｐｎに関する情報として２つのマーカＰｍ，Ｐｎ間の距離ｌｍｎを予め測ることができるため、次のように表せる。
｜ｐｍ−ｐｎ｜＝ｌｍｎ
また、Ｐｍ，Ｐｎ間の距離は、次のようにも表せる。
｜ｐｍ−ｐｎ｜２＝ａ２ ｍ＋ａ２ ｎ−２（ｕｍ，ｕｎ）ａｍａｎ
【０００７】
したがって、下式が成立する。
ａ２ ｍ＋ａ２ ｎ−２（ｕｍ，ｕｎ）ａｍａｎ＝ｌ２ ｍｎ
同様にして、３つのマーカの各２点で式を導出すると、次の連立方程式が得られる。
ａ２ １＋ａ２ ２−２（ｕ１，ｕ２）ａ１ａ２＝ｌ２ １２
ａ２ ２＋ａ２ ３−２（ｕ２，ｕ３）ａ２ａ３＝ｌ２ ２３
ａ２ ３＋ａ２ １−２（ｕ３，ｕ１）ａ３ａ１＝ｌ２ ３１
この連立方程式を解いて、解ａ１，ａ２，ａ３をＰｎ＝ｕｎａｎに代入すれば、３つのマーカＰｎの３次元座標値を求めることができる。
【０００８】
次に、３つのマーカを通る平面を算出すると、カメラ座標系における道路平面が得られる。なお、ここでは、カメラの焦点距離ｆを既知として道路平面を求めたが、焦点距離ｆが未知な場合でも、マーカを４つ用意し、４つの連立方程式を立てることで道路平面及び焦点距離ｆを算出することができる。
【０００９】
【発明が解決しようとする課題】
従来のカメラのキャリブレーション方法は以上のように構成されているので、道路上にマーカを設置して、十分な交通規制を実施することができれば、そのマーカを利用することにより、監視カメラのキャリブレーションを実施することができるが、監視場所によっては十分な交通規制を実施できず、監視カメラのキャリブレーションを実施することができない課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができるカメラのキャリブレーション方法を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る監視カメラのキャリブレーション方法は、監視場所に設置されている監視カメラが移動体を撮像して、その移動体の撮像画像における複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と移動体上の複数の特徴点間の距離から移動体上の特徴点の監視場所における三次元座標位置を算出し、その三次元座標位置から移動体の移動平面を算出するようにしたものである。
【００１２】
この発明に係る監視カメラのキャリブレーション方法は、三次元座標位置から移動体の移動平面を算出するとともに、カメラパラメータを算出するようにしたものである。
【００１４】
この発明に係るカメラのキャリブレーション方法は、移動体上の特徴点を示すマーカを当該移動体に設置するようにしたものである。
【００１５】
この発明に係るカメラのキャリブレーション方法は、発光体を用いてマーカを構成するようにしたものである。
【００１６】
この発明に係る道路監視用カメラは、監視道路を走行する不特定多数の車両を撮像し、その撮像画像から特定車両を検出し、その撮像画像上の特定車両の複数の特徴点の座標値を検出し、複数の特徴点の座標値と予め計測されていた特定車両の複数の特徴点間の距離から、撮像された特定車両の特徴点の三次元座標位置を算出し、その算出された三次元座標位置から特定車両の移動平面とカメラパラメータを算出して、特定車両の検出毎にキャリブレーションを行うようにしたものである。
【００２２】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるカメラのキャリブレーション方法を示すフローチャートである。図において、ＳＴ１は監視カメラのキャリブレーションの実施に用いる専用の車両（移動体）を用意する準備ステップ、ＳＴ２は車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する測定ステップ、ＳＴ３は監視カメラを用いて専用の車両を撮像する撮像ステップである。
【００２３】
ＳＴ４は監視カメラにより撮像された画像における複数の特徴点の座標値を検出する特徴点検出ステップ、ＳＴ５は複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する三次元位置算出ステップ、ＳＴ６は複数の特徴点の奥行きと道路平面からの高さに基づいて、監視カメラから見た道路平面パラメータを算出する道路平面算出ステップである。
【００２４】
次に動作について説明する。
この実施の形態１では、道路監視用のカメラのキャリブレーション方法について説明する。ただし、これに限るものではなく、施設などの監視カメラに応用できることは言うまでもない。
【００２５】
まず、監視カメラのキャリブレーションを実施するに際して、専用の車両を用意する（ステップＳＴ１）。ただし、特別な装備を実装している車両である必要はない。
【００２６】
次に、専用の車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する（ステップＳＴ２）。
例えば、車両上の特徴点として、左右の尾灯と左側面の車幅灯を選択し、互いの相対的な位置関係や道路平面からの高さを測定する。この作業は、監視カメラが設置されている現地で行う必要はない。なお、特徴点は上記例に限定するものではないが、現地で車両を走行させたとき、監視カメラにより映すことができる部位を選択する必要がある。
【００２７】
次に、監視カメラが設置されている道路上を走行する一般車両にまぎれて、専用の車両を走行させて、当該監視カメラにより専用の車両を撮像する（ステップＳＴ３）。
監視カメラが専用の車両を撮像すると、複数の特徴点に対応する画像上の座標値を検出する（ステップＳＴ４）。座標値の検出処理は、目視により手作業で行ってもよいし、画像処理で行ってもよい。
【００２８】
次に、複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する（ステップＳＴ５）。これらの具体的な算出方法は公知の技術であるため説明を省略する。
【００２９】
最後に、ステップＳＴ５で算出した複数の特徴点の奥行きと、ステップＳＴ２で測定した道路平面からの高さとに基づいて、監視カメラから見た道路平面パラメータを算出する（ステップＳＴ６）。これらの具体的な算出方法は公知の技術であるため説明を省略する。
【００３０】
以上で明らかなように、この実施の形態１によれば、専用の車両を撮像して、その撮像画像における複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果を奏する。
なお、作業員の行う作業は、撮像画像から特徴点の座標値を検出するだけであり、道路から離れた場所で行えるため、作業員の作業負荷は軽い。
【００３１】
この実施の形態１では、専用の車両の画像を１枚だけ撮像するものについて示したが、複数枚の画像を撮影して、ステップＳＴ４〜ＳＴ６の処理を繰り返し行うようにすれば、統計的に平滑化できるため、高精度な道路平面パラメータを得ることができる。
また、この実施の形態１では、３つの特徴点を選択するものについて示したが、これに限るものではなく、４つ以上の特徴点を選択するようにしてもよい。その場合、計算量が増加するが、ノイズ等に対して頑健になる効果が得られる。
【００３２】
さらに、この実施の形態１では、特徴点として車両上の部位を選択するものについて示したが、マーカを専用の車両に設置してもよい。この場合は、マーカの模様、形状、材質、種類を撮影環境に応じて決定することにより、撮像画像からの特徴点の検出を容易にすることができる。
特に、画像処理で特徴点を自動的に検出する場合には、誤検出が少なく、位置精度が高くなるため有効である。例えば、トンネル内では、発光体を用いてマーカを構成すれば、特徴点の検出が容易になる。模様ならば、その中心が特定できるような点対称の模様が適している。
また、計算誤差の観点から、特徴点は互いに離れた部位を選択する方が望ましい。したがって、車両はトラックなどのように大きい方がよい。
【００３３】
実施の形態２．
図２はこの発明の実施の形態２によるカメラのキャリブレーション方法を示すフローチャートである。図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＳＴ１１はキャリブレーションを実施する特定車両の種類を選択する特定車種選択ステップ、ＳＴ１２は不特定多数の車両を撮像する撮像ステップ、ＳＴ１３は不特定多数の車両の撮像画像から特定車両を検出する特定車両検出ステップ、ＳＴ１４は特定車両を検出したか否かを判定する検出判定ステップである。
【００３４】
次に動作について説明する。
まず、監視カメラのキャリブレーションを実施するに際して、キャリブレーションを実施する特定車両の種類を選択する（ステップＳＴ１１）。ただし、走行台数の多い一般的な車両の種類が望ましい。
【００３５】
次に、特定車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する（ステップＳＴ２）。
例えば、車両上の特徴点として、左右の尾灯と左側面の車幅灯を選択し、互いの相対的な位置関係や道路平面からの高さを測定する。この作業は、監視カメラが設置されている現地で行う必要はない。なお、特徴点は上記例に限定するものではないが、現地で車両を走行させたとき、監視カメラにより映すことができる部位を選択する必要がある。
【００３６】
次に、監視カメラが設置されている道路上を走行する不特定多数の車両を撮像する（ステップＳＴ１２）。
そして、不特定多数の車両を撮像する毎に、その撮像画像に特定車両が撮像されているか否かを判定する（ステップＳＴ１３，ＳＴ１４）。
なお、特定車両が撮像されている撮像画像を検出するまで、ステップＳＴ１２〜ＳＴ１４の処理を繰り返し実施する。
【００３７】
次に、特定車両が撮像されている撮像画像を検出すると、上記実施の形態１と同様にして、複数の特徴点に対応する画像上の座標値を検出する（ステップＳＴ４）。
そして、上記実施の形態１と同様にして、複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する（ステップＳＴ５）。
【００３８】
最後に、上記実施の形態１と同様に、ステップＳＴ５で算出した複数の特徴点の奥行きと、ステップＳＴ２で測定した道路平面からの高さとに基づいて、監視カメラから見た道路平面パラメータを算出する（ステップＳＴ６）。
【００３９】
以上で明らかなように、この実施の形態２によれば、不特定多数の車両を撮像して、その車両が予め設定した特定種類の車両であるか否かを判定し、その車両が特定種類の車両である場合、その撮像画像における複数の特徴点の座標値を検出するように構成したので、通行中の一般車両を利用してキャリブレーションを実施することができる。したがって、専用の車両をわざわざ走行させる手間を省くことができる効果を奏する。
また、特定種類の車両が通行する度に、キャリブレーションを実施することができるため、統計的にキャリブレーション精度を向上させることができる効果を奏する。また、経年変化等で、カメラの向き等が変化しても、その後のキャリブレーションで自動的に修正することができる効果を奏する。
【００４０】
実施の形態３．
図３はこの発明の実施の形態３によるカメラのキャリブレーション方法を示すフローチャートである。図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＳＴ２１は特殊のマーカ（複数の特徴点の相対的な位置関係を計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成されたマーカ）が搭載された専用の車両を用意する準備ステップ、ＳＴ２２は監視カメラを用いて専用の車両を撮像するとともに、マーカの無線機からセンサの計測結果を受信する撮像・情報受信ステップである。
【００４１】
次に動作について説明する。
まず、監視カメラのキャリブレーションを実施するに際して、専用の車両を例えば３台用意する（ステップＳＴ２１）。
即ち、他のマーカとの相対的な距離と道路平面からの高さをリアルタイムに計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成された特殊のマーカを３台の車両にそれぞれ設置する。
【００４２】
次に、監視カメラを用いて専用の車両を撮像するとともに、マーカの無線機からセンサの計測結果を受信する（ステップＳＴ２２）。
以下、専用車両の撮像画像とセンサの計測結果（他のマーカとの相対的な距離（複数の特徴点の相対的な位置関係）と道路平面からの高さ）に基づき、上記実施の形態１と同様にして、道路平面パラメータや監視カメラのパラメータ等を算出する（ステップＳＴ４〜ＳＴ６）。
【００４３】
以上で明らかなように、この実施の形態３によれば、専用の車両を撮像して、その撮像画像における複数の特徴点の座標値を検出するとともに、複数の特徴点の相対的な位置関係を計測し、その座標値と当該相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４４】
また、他のマーカとの相対的な距離と道路平面からの高さをリアルタイムに計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成された特殊のマーカを専用の車両に設置するように構成したので、予め複数の特徴点の相対位置関係などを測定する手間を省くことができる効果を奏する。
なお、複数の車両に跨ってマーカを設置するようにすれば、特徴点の間隔を大きく取ることができるため、計算誤差の影響を軽減させることができる効果を奏する。
【００４５】
なお、車両に対するマーカの位置を動的に変更（制御）できるようにすれば、監視カメラから見えやすい位置に配置することができるため、マーカの検出が容易になる。
この実施の形態３では、３台の専用車両を用意したが、これに限るものではなく、１台以上であればよい。
また、この実施の形態３では、マーカが無線機を備えるものについて示したが、車両に備わる通信機能を利用してもよい。
【００４６】
【発明の効果】
以上のように、この発明によれば、監視場所に設置されている監視カメラが移動体を撮像して、その移動体の撮像画像における複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と移動体上の複数の特徴点間の距離から移動体上の特徴点の監視場所における三次元座標位置を算出し、その三次元座標位置から移動体の移動平面を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４７】
この発明によれば、三次元座標位置から移動体の移動平面を算出するとともに、カメラパラメータを算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４９】
この発明によれば、移動体上の特徴点を示すマーカを当該移動体に設置するように構成したので、撮像画像から特徴点を容易に検出することができる効果がある。
【００５０】
この発明によれば、発光体を用いてマーカを構成するようにしたので、例えばトンネル内での特徴点の検出が容易になる効果がある。
【００５１】
この発明によれば、監視道路を走行する不特定多数の車両を撮像し、その撮像画像から特定車両を検出し、その撮像画像上の特定車両の複数の特徴点の座標値を検出し、複数の特徴点の座標値と予め計測されていた特定車両の複数の特徴点間の距離から、撮像された特定車両の特徴点の三次元座標位置を算出し、その算出された三次元座標位置から特定車両の移動平面とカメラパラメータを算出して、特定車両の検出毎にキャリブレーションを行うように構成したので、通行中の一般車両を利用してキャリブレーションを実施することができる。したがって、専用の車両をわざわざ走行させる手間を省くことができる効果がある。
また、特定種類の車両が通行する度に、キャリブレーションを実施することができるため、統計的にキャリブレーション精度を向上させることができる効果がある。また、経年変化等で、カメラの向き等が変化しても、その後のキャリブレーションで自動的に修正することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるカメラのキャリブレーション方法を示すフローチャートである。
【図２】 この発明の実施の形態２によるカメラのキャリブレーション方法を示すフローチャートである。
【図３】 この発明の実施の形態３によるカメラのキャリブレーション方法を示すフローチャートである。
【図４】 カメラと道路平面の関係を示す説明図である。
【符号の説明】
ＳＴ１ 準備ステップ、ＳＴ２ 測定ステップ、ＳＴ３ 撮像ステップ、ＳＴ４ 特徴点検出ステップ、ＳＴ５ 三次元位置算出ステップ、ＳＴ６ 道路平面算出ステップ、ＳＴ１１ 特定車種選択ステップ、ＳＴ１２ 撮像ステップ、ＳＴ１３ 特定車両検出ステップ、ＳＴ１４ 検出判定ステップ、ＳＴ２１ 準備ステップ、ＳＴ２２ 撮像・情報受信ステップ。
【発明の属する技術分野】
この発明は、道路や施設などに設置された監視用のカメラのキャリブレーション方法に関するものである。
ここでは、カメラパラメータ（例えば、カメラに使用しているレンズの焦点距離）や、カメラから見た監視エリアの基準平面の方程式を算出することをカメラのキャブレーションと呼ぶ。また、監視対象である移動体が特定の平面上を移動する場合には、当該基準平面は特定の平面を指し、これを移動平面と呼ぶ。なお、カメラから見た基準平面は、当該平面に対するカメラの高さや向き（チルト角、パン角）として言い換えることもできる。
【０００２】
【従来の技術】
例えば、道路監視システムでは、車両の走行状態を計測するために、監視エリアの基準平面である道路平面と監視カメラとの関係をあらかじめ算出しておく必要がある。
特開平４−１５０５９１号公報には、道路上の白線を利用することにより、監視カメラのキャリブレーションを実施するカメラのキャリブレーション方法が開示されている。
【０００３】
このキャリブレーション方法では、道路上の白線が直線でなければならず、カーブ道路などには用いることができない。
そこで、最近では、道路上にマーカを設置し、そのマーカを利用することにより、監視カメラのキャリブレーションを実施するようにしている。
なお、キャリブレーション時の具体的な計算方法は、例えば、「単眼視画像による顔の向き検出法の指示入力への応用」（電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１４４１−１４４７、１９８９年）に記載されている。
【０００４】
即ち、上記文献に記載の方法を利用すれば、道路平面と監視カメラとの関係は、次のようにして得ることができる。
カメラレンズの主点を原点とするワールド座標系（Ｘ，Ｙ，Ｚ）と、画像平面座標系（ｘ，ｙ）とを図４のように設定する。
カメラの焦点距離をｆとし、光軸はＺ軸に一致しているとする。ここで、道路平面上の３点のマーカＰｎ（Ｘｎ，Ｙｎ，Ｚｎ）の投影像をＱｎ（ｘｎ，ｙｎ）（ｎ＝１，２，３）とすると、Ｐｎは原点ＯとＱｎを通る直線上に存在することになる。したがって、Ｐｎの位置ベクトルｐｎは、直線ＯＱｎの方向を表す単位ベクトルｕｎとスカラーａｎを用いて表せる。
Ｐｎ＝ｕｎａｎ
【０００５】
ここで、ｕｎは投影像Ｑｎの座標値（ｘｎ，ｙｎ）を用いると、下記のようになる。
ｕｎ＝（ｘｎ，ｙｎ，ｆ）／（ｘ２ ｎ，ｙ２ ｎ，ｆ２）１／２
また、スカラーａｎは原点ＯからＰｎまでの距離を表しており、ａｎが決まればＰｎの３次元位置を求めることができる。
【０００６】
ここで、Ｐｎに関する情報として２つのマーカＰｍ，Ｐｎ間の距離ｌｍｎを予め測ることができるため、次のように表せる。
｜ｐｍ−ｐｎ｜＝ｌｍｎ
また、Ｐｍ，Ｐｎ間の距離は、次のようにも表せる。
｜ｐｍ−ｐｎ｜２＝ａ２ ｍ＋ａ２ ｎ−２（ｕｍ，ｕｎ）ａｍａｎ
【０００７】
したがって、下式が成立する。
ａ２ ｍ＋ａ２ ｎ−２（ｕｍ，ｕｎ）ａｍａｎ＝ｌ２ ｍｎ
同様にして、３つのマーカの各２点で式を導出すると、次の連立方程式が得られる。
ａ２ １＋ａ２ ２−２（ｕ１，ｕ２）ａ１ａ２＝ｌ２ １２
ａ２ ２＋ａ２ ３−２（ｕ２，ｕ３）ａ２ａ３＝ｌ２ ２３
ａ２ ３＋ａ２ １−２（ｕ３，ｕ１）ａ３ａ１＝ｌ２ ３１
この連立方程式を解いて、解ａ１，ａ２，ａ３をＰｎ＝ｕｎａｎに代入すれば、３つのマーカＰｎの３次元座標値を求めることができる。
【０００８】
次に、３つのマーカを通る平面を算出すると、カメラ座標系における道路平面が得られる。なお、ここでは、カメラの焦点距離ｆを既知として道路平面を求めたが、焦点距離ｆが未知な場合でも、マーカを４つ用意し、４つの連立方程式を立てることで道路平面及び焦点距離ｆを算出することができる。
【０００９】
【発明が解決しようとする課題】
従来のカメラのキャリブレーション方法は以上のように構成されているので、道路上にマーカを設置して、十分な交通規制を実施することができれば、そのマーカを利用することにより、監視カメラのキャリブレーションを実施することができるが、監視場所によっては十分な交通規制を実施できず、監視カメラのキャリブレーションを実施することができない課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができるカメラのキャリブレーション方法を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る監視カメラのキャリブレーション方法は、監視場所に設置されている監視カメラが移動体を撮像して、その移動体の撮像画像における複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と移動体上の複数の特徴点間の距離から移動体上の特徴点の監視場所における三次元座標位置を算出し、その三次元座標位置から移動体の移動平面を算出するようにしたものである。
【００１２】
この発明に係る監視カメラのキャリブレーション方法は、三次元座標位置から移動体の移動平面を算出するとともに、カメラパラメータを算出するようにしたものである。
【００１４】
この発明に係るカメラのキャリブレーション方法は、移動体上の特徴点を示すマーカを当該移動体に設置するようにしたものである。
【００１５】
この発明に係るカメラのキャリブレーション方法は、発光体を用いてマーカを構成するようにしたものである。
【００１６】
この発明に係る道路監視用カメラは、監視道路を走行する不特定多数の車両を撮像し、その撮像画像から特定車両を検出し、その撮像画像上の特定車両の複数の特徴点の座標値を検出し、複数の特徴点の座標値と予め計測されていた特定車両の複数の特徴点間の距離から、撮像された特定車両の特徴点の三次元座標位置を算出し、その算出された三次元座標位置から特定車両の移動平面とカメラパラメータを算出して、特定車両の検出毎にキャリブレーションを行うようにしたものである。
【００２２】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるカメラのキャリブレーション方法を示すフローチャートである。図において、ＳＴ１は監視カメラのキャリブレーションの実施に用いる専用の車両（移動体）を用意する準備ステップ、ＳＴ２は車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する測定ステップ、ＳＴ３は監視カメラを用いて専用の車両を撮像する撮像ステップである。
【００２３】
ＳＴ４は監視カメラにより撮像された画像における複数の特徴点の座標値を検出する特徴点検出ステップ、ＳＴ５は複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する三次元位置算出ステップ、ＳＴ６は複数の特徴点の奥行きと道路平面からの高さに基づいて、監視カメラから見た道路平面パラメータを算出する道路平面算出ステップである。
【００２４】
次に動作について説明する。
この実施の形態１では、道路監視用のカメラのキャリブレーション方法について説明する。ただし、これに限るものではなく、施設などの監視カメラに応用できることは言うまでもない。
【００２５】
まず、監視カメラのキャリブレーションを実施するに際して、専用の車両を用意する（ステップＳＴ１）。ただし、特別な装備を実装している車両である必要はない。
【００２６】
次に、専用の車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する（ステップＳＴ２）。
例えば、車両上の特徴点として、左右の尾灯と左側面の車幅灯を選択し、互いの相対的な位置関係や道路平面からの高さを測定する。この作業は、監視カメラが設置されている現地で行う必要はない。なお、特徴点は上記例に限定するものではないが、現地で車両を走行させたとき、監視カメラにより映すことができる部位を選択する必要がある。
【００２７】
次に、監視カメラが設置されている道路上を走行する一般車両にまぎれて、専用の車両を走行させて、当該監視カメラにより専用の車両を撮像する（ステップＳＴ３）。
監視カメラが専用の車両を撮像すると、複数の特徴点に対応する画像上の座標値を検出する（ステップＳＴ４）。座標値の検出処理は、目視により手作業で行ってもよいし、画像処理で行ってもよい。
【００２８】
次に、複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する（ステップＳＴ５）。これらの具体的な算出方法は公知の技術であるため説明を省略する。
【００２９】
最後に、ステップＳＴ５で算出した複数の特徴点の奥行きと、ステップＳＴ２で測定した道路平面からの高さとに基づいて、監視カメラから見た道路平面パラメータを算出する（ステップＳＴ６）。これらの具体的な算出方法は公知の技術であるため説明を省略する。
【００３０】
以上で明らかなように、この実施の形態１によれば、専用の車両を撮像して、その撮像画像における複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果を奏する。
なお、作業員の行う作業は、撮像画像から特徴点の座標値を検出するだけであり、道路から離れた場所で行えるため、作業員の作業負荷は軽い。
【００３１】
この実施の形態１では、専用の車両の画像を１枚だけ撮像するものについて示したが、複数枚の画像を撮影して、ステップＳＴ４〜ＳＴ６の処理を繰り返し行うようにすれば、統計的に平滑化できるため、高精度な道路平面パラメータを得ることができる。
また、この実施の形態１では、３つの特徴点を選択するものについて示したが、これに限るものではなく、４つ以上の特徴点を選択するようにしてもよい。その場合、計算量が増加するが、ノイズ等に対して頑健になる効果が得られる。
【００３２】
さらに、この実施の形態１では、特徴点として車両上の部位を選択するものについて示したが、マーカを専用の車両に設置してもよい。この場合は、マーカの模様、形状、材質、種類を撮影環境に応じて決定することにより、撮像画像からの特徴点の検出を容易にすることができる。
特に、画像処理で特徴点を自動的に検出する場合には、誤検出が少なく、位置精度が高くなるため有効である。例えば、トンネル内では、発光体を用いてマーカを構成すれば、特徴点の検出が容易になる。模様ならば、その中心が特定できるような点対称の模様が適している。
また、計算誤差の観点から、特徴点は互いに離れた部位を選択する方が望ましい。したがって、車両はトラックなどのように大きい方がよい。
【００３３】
実施の形態２．
図２はこの発明の実施の形態２によるカメラのキャリブレーション方法を示すフローチャートである。図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＳＴ１１はキャリブレーションを実施する特定車両の種類を選択する特定車種選択ステップ、ＳＴ１２は不特定多数の車両を撮像する撮像ステップ、ＳＴ１３は不特定多数の車両の撮像画像から特定車両を検出する特定車両検出ステップ、ＳＴ１４は特定車両を検出したか否かを判定する検出判定ステップである。
【００３４】
次に動作について説明する。
まず、監視カメラのキャリブレーションを実施するに際して、キャリブレーションを実施する特定車両の種類を選択する（ステップＳＴ１１）。ただし、走行台数の多い一般的な車両の種類が望ましい。
【００３５】
次に、特定車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定する（ステップＳＴ２）。
例えば、車両上の特徴点として、左右の尾灯と左側面の車幅灯を選択し、互いの相対的な位置関係や道路平面からの高さを測定する。この作業は、監視カメラが設置されている現地で行う必要はない。なお、特徴点は上記例に限定するものではないが、現地で車両を走行させたとき、監視カメラにより映すことができる部位を選択する必要がある。
【００３６】
次に、監視カメラが設置されている道路上を走行する不特定多数の車両を撮像する（ステップＳＴ１２）。
そして、不特定多数の車両を撮像する毎に、その撮像画像に特定車両が撮像されているか否かを判定する（ステップＳＴ１３，ＳＴ１４）。
なお、特定車両が撮像されている撮像画像を検出するまで、ステップＳＴ１２〜ＳＴ１４の処理を繰り返し実施する。
【００３７】
次に、特定車両が撮像されている撮像画像を検出すると、上記実施の形態１と同様にして、複数の特徴点に対応する画像上の座標値を検出する（ステップＳＴ４）。
そして、上記実施の形態１と同様にして、複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出する（ステップＳＴ５）。
【００３８】
最後に、上記実施の形態１と同様に、ステップＳＴ５で算出した複数の特徴点の奥行きと、ステップＳＴ２で測定した道路平面からの高さとに基づいて、監視カメラから見た道路平面パラメータを算出する（ステップＳＴ６）。
【００３９】
以上で明らかなように、この実施の形態２によれば、不特定多数の車両を撮像して、その車両が予め設定した特定種類の車両であるか否かを判定し、その車両が特定種類の車両である場合、その撮像画像における複数の特徴点の座標値を検出するように構成したので、通行中の一般車両を利用してキャリブレーションを実施することができる。したがって、専用の車両をわざわざ走行させる手間を省くことができる効果を奏する。
また、特定種類の車両が通行する度に、キャリブレーションを実施することができるため、統計的にキャリブレーション精度を向上させることができる効果を奏する。また、経年変化等で、カメラの向き等が変化しても、その後のキャリブレーションで自動的に修正することができる効果を奏する。
【００４０】
実施の形態３．
図３はこの発明の実施の形態３によるカメラのキャリブレーション方法を示すフローチャートである。図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＳＴ２１は特殊のマーカ（複数の特徴点の相対的な位置関係を計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成されたマーカ）が搭載された専用の車両を用意する準備ステップ、ＳＴ２２は監視カメラを用いて専用の車両を撮像するとともに、マーカの無線機からセンサの計測結果を受信する撮像・情報受信ステップである。
【００４１】
次に動作について説明する。
まず、監視カメラのキャリブレーションを実施するに際して、専用の車両を例えば３台用意する（ステップＳＴ２１）。
即ち、他のマーカとの相対的な距離と道路平面からの高さをリアルタイムに計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成された特殊のマーカを３台の車両にそれぞれ設置する。
【００４２】
次に、監視カメラを用いて専用の車両を撮像するとともに、マーカの無線機からセンサの計測結果を受信する（ステップＳＴ２２）。
以下、専用車両の撮像画像とセンサの計測結果（他のマーカとの相対的な距離（複数の特徴点の相対的な位置関係）と道路平面からの高さ）に基づき、上記実施の形態１と同様にして、道路平面パラメータや監視カメラのパラメータ等を算出する（ステップＳＴ４〜ＳＴ６）。
【００４３】
以上で明らかなように、この実施の形態３によれば、専用の車両を撮像して、その撮像画像における複数の特徴点の座標値を検出するとともに、複数の特徴点の相対的な位置関係を計測し、その座標値と当該相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４４】
また、他のマーカとの相対的な距離と道路平面からの高さをリアルタイムに計測するセンサと、そのセンサの計測結果を無線送信する無線機とから構成された特殊のマーカを専用の車両に設置するように構成したので、予め複数の特徴点の相対位置関係などを測定する手間を省くことができる効果を奏する。
なお、複数の車両に跨ってマーカを設置するようにすれば、特徴点の間隔を大きく取ることができるため、計算誤差の影響を軽減させることができる効果を奏する。
【００４５】
なお、車両に対するマーカの位置を動的に変更（制御）できるようにすれば、監視カメラから見えやすい位置に配置することができるため、マーカの検出が容易になる。
この実施の形態３では、３台の専用車両を用意したが、これに限るものではなく、１台以上であればよい。
また、この実施の形態３では、マーカが無線機を備えるものについて示したが、車両に備わる通信機能を利用してもよい。
【００４６】
【発明の効果】
以上のように、この発明によれば、監視場所に設置されている監視カメラが移動体を撮像して、その移動体の撮像画像における複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と移動体上の複数の特徴点間の距離から移動体上の特徴点の監視場所における三次元座標位置を算出し、その三次元座標位置から移動体の移動平面を算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４７】
この発明によれば、三次元座標位置から移動体の移動平面を算出するとともに、カメラパラメータを算出するように構成したので、道路上へのマーカの設置や交通規制を実施することなく、監視カメラのキャリブレーションを実施することができる効果がある。
【００４９】
この発明によれば、移動体上の特徴点を示すマーカを当該移動体に設置するように構成したので、撮像画像から特徴点を容易に検出することができる効果がある。
【００５０】
この発明によれば、発光体を用いてマーカを構成するようにしたので、例えばトンネル内での特徴点の検出が容易になる効果がある。
【００５１】
この発明によれば、監視道路を走行する不特定多数の車両を撮像し、その撮像画像から特定車両を検出し、その撮像画像上の特定車両の複数の特徴点の座標値を検出し、複数の特徴点の座標値と予め計測されていた特定車両の複数の特徴点間の距離から、撮像された特定車両の特徴点の三次元座標位置を算出し、その算出された三次元座標位置から特定車両の移動平面とカメラパラメータを算出して、特定車両の検出毎にキャリブレーションを行うように構成したので、通行中の一般車両を利用してキャリブレーションを実施することができる。したがって、専用の車両をわざわざ走行させる手間を省くことができる効果がある。
また、特定種類の車両が通行する度に、キャリブレーションを実施することができるため、統計的にキャリブレーション精度を向上させることができる効果がある。また、経年変化等で、カメラの向き等が変化しても、その後のキャリブレーションで自動的に修正することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるカメラのキャリブレーション方法を示すフローチャートである。
【図２】 この発明の実施の形態２によるカメラのキャリブレーション方法を示すフローチャートである。
【図３】 この発明の実施の形態３によるカメラのキャリブレーション方法を示すフローチャートである。
【図４】 カメラと道路平面の関係を示す説明図である。
【符号の説明】
ＳＴ１ 準備ステップ、ＳＴ２ 測定ステップ、ＳＴ３ 撮像ステップ、ＳＴ４ 特徴点検出ステップ、ＳＴ５ 三次元位置算出ステップ、ＳＴ６ 道路平面算出ステップ、ＳＴ１１ 特定車種選択ステップ、ＳＴ１２ 撮像ステップ、ＳＴ１３ 特定車両検出ステップ、ＳＴ１４ 検出判定ステップ、ＳＴ２１ 準備ステップ、ＳＴ２２ 撮像・情報受信ステップ。
Claims (5)
- 予め移動体上の特徴点を複数選択して、上記複数の特徴点間の距離を計測しておき、監視場所に設置されている監視カメラが上記移動体を撮像して、上記移動体の撮像画像における複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と上記複数の特徴点間の距離から上記撮像された移動体上の特徴点の監視場所における三次元座標位置を算出し、上記三次元座標位置から上記移動体の移動平面を算出する監視カメラのキャリブレーション方法。
- 三次元座標位置から移動体の移動平面を算出するとともに、カメラパラメータを算出することを特徴とする請求項１記載の監視カメラのキャリブレーション方法。
- 移動体上の特徴点を示すマーカを当該移動体に設置することを特徴とする請求項１または請求項２記載の監視カメラのキャリブレーション方法。
- 発光体を用いてマーカを構成することを特徴とする請求項３記載の監視カメラのキャリブレーション方法。
- 監視道路を走行する不特定多数の車両を撮像し、上記撮像画像から特定車両を検出し、上記撮像画像上の上記特定車両の複数の特徴点の座標値を検出し、上記複数の特徴点の座標値と予め計測されていた上記特定車両の複数の特徴点間の距離から上記撮像された特定車両の特徴点の三次元座標位置を算出し、上記算出された三次元座標位置から上記特定車両の移動平面とカメラパラメータを算出して、上記特定車両の検出毎にキャリブレーションを行う道路監視用カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001027431A JP3897984B2 (ja) | 2001-02-02 | 2001-02-02 | 監視カメラのキャリブレーション方法及び道路監視用カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001027431A JP3897984B2 (ja) | 2001-02-02 | 2001-02-02 | 監視カメラのキャリブレーション方法及び道路監視用カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232869A JP2002232869A (ja) | 2002-08-16 |
| JP3897984B2 true JP3897984B2 (ja) | 2007-03-28 |
Family
ID=18892087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001027431A Expired - Lifetime JP3897984B2 (ja) | 2001-02-02 | 2001-02-02 | 監視カメラのキャリブレーション方法及び道路監視用カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3897984B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2395551B (en) * | 2002-11-19 | 2005-10-05 | Baxall Ltd | Surveillance system |
| JP4346950B2 (ja) * | 2003-05-02 | 2009-10-21 | キヤノン株式会社 | 情報処理方法および装置 |
| CN1323547C (zh) * | 2003-10-22 | 2007-06-27 | 西安交通大学 | 一种车载摄像机外部参数三线标定方法 |
| JP4624059B2 (ja) * | 2004-10-06 | 2011-02-02 | パナソニック株式会社 | 監視装置 |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| JP4851976B2 (ja) | 2007-03-28 | 2012-01-11 | 富士フイルム株式会社 | 動画圧縮装置およびその動作制御方法 |
| JP2009294109A (ja) * | 2008-06-05 | 2009-12-17 | Fujitsu Ltd | キャリブレーション装置 |
| JP5062091B2 (ja) * | 2008-08-04 | 2012-10-31 | 住友電気工業株式会社 | 移動体識別装置、コンピュータプログラム及び光軸方向特定方法 |
| DE102012102600B3 (de) * | 2012-03-26 | 2013-08-14 | Jenoptik Robot Gmbh | Verfahren zur Verifizierung der Ausrichtung eines Verkehrsüberwachungsgerätes |
| JP6316468B1 (ja) * | 2017-03-03 | 2018-04-25 | 三菱電機株式会社 | キャリブレーションシステム |
| JP7219561B2 (ja) * | 2018-07-18 | 2023-02-08 | 日立Astemo株式会社 | 車載環境認識装置 |
| CN114782549B (zh) * | 2022-04-22 | 2023-11-24 | 南京新远见智能科技有限公司 | 基于定点标识的相机标定方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH076897U (ja) * | 1993-06-28 | 1995-01-31 | 三菱プレシジョン株式会社 | 配車管理用車両認識装置 |
| JPH08240421A (ja) * | 1995-03-06 | 1996-09-17 | Meidensha Corp | カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法 |
| JPH11102209A (ja) * | 1997-09-26 | 1999-04-13 | Sekisui Chem Co Ltd | ワークの教示点位置データ収集方法及び収集装置 |
| JP4053217B2 (ja) * | 1999-07-02 | 2008-02-27 | ペンタックス株式会社 | 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 |
| JP3777067B2 (ja) * | 1999-07-07 | 2006-05-24 | ペンタックス株式会社 | 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 |
-
2001
- 2001-02-02 JP JP2001027431A patent/JP3897984B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002232869A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4003623B2 (ja) | 旋回可能な監視カメラを用いた画像処理システム | |
| US8872920B2 (en) | Camera calibration apparatus | |
| WO2012043045A1 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| JP3897984B2 (ja) | 監視カメラのキャリブレーション方法及び道路監視用カメラ | |
| US20100121540A1 (en) | Industrial machine | |
| JP5650942B2 (ja) | 点検システムおよび点検方法 | |
| JP6758160B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| JP2010072807A (ja) | 道路境界検出判断装置 | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP2008249666A (ja) | 車両位置特定装置および車両位置特定方法 | |
| JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
| JP2007010335A (ja) | 車両位置検出装置及びシステム | |
| CN107957258A (zh) | 道路标记识别装置 | |
| CN107851390B (zh) | 台阶检测装置及台阶检测方法 | |
| KR100564236B1 (ko) | 이동 로봇의 자기위치인식 장치 및 방법 | |
| JP6044084B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
| JP2003259357A (ja) | カメラのキャリブレーション方法及びカメラのアタッチメント | |
| JP3114544B2 (ja) | 走行路計測法 | |
| WO2019093316A1 (ja) | 移動体の測位装置及びその較正方法 | |
| JP2006017676A (ja) | 計測システムおよび計測方法 | |
| JP3530803B2 (ja) | 車両検出装置 | |
| JP3501653B2 (ja) | エプロン監視方法及びその装置 | |
| JP6789440B2 (ja) | 物体同定装置 | |
| JP2018036075A (ja) | 自車位置特定装置、自車位置特定方法 | |
| JP2003042760A (ja) | 計測装置、計測方法及び計測システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3897984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |