JP5079614B2 - カメラパラメータ特定装置および方法ならびにプログラム - Google Patents

カメラパラメータ特定装置および方法ならびにプログラム Download PDF

Info

Publication number
JP5079614B2
JP5079614B2 JP2008183589A JP2008183589A JP5079614B2 JP 5079614 B2 JP5079614 B2 JP 5079614B2 JP 2008183589 A JP2008183589 A JP 2008183589A JP 2008183589 A JP2008183589 A JP 2008183589A JP 5079614 B2 JP5079614 B2 JP 5079614B2
Authority
JP
Japan
Prior art keywords
camera
vanishing point
point
reference plane
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008183589A
Other languages
English (en)
Other versions
JP2010025569A (ja
Inventor
勝洋 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2008183589A priority Critical patent/JP5079614B2/ja
Publication of JP2010025569A publication Critical patent/JP2010025569A/ja
Application granted granted Critical
Publication of JP5079614B2 publication Critical patent/JP5079614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、カメラパラメータ特定装置および方法ならびにプログラムに関し、特に、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と当該基準平面に対するカメラの視線の角度とを含むカメラパラメータを求める、カメラパラメータ特定装置および方法ならびにコンピュータ用プログラムに関する。
この種の技術分野に関する従来技術として、例えば特許文献1に開示されたものがある。この従来技術によれば、まず、人の身長の統計的特性値が、予め登録される。そして、地面を含む領域がカメラで撮影され、このカメラによる撮影画像中の歩行者の着地部および頭部の座標データが複数収集される。さらに、これら複数の座標データが、歩行者の身長と、カメラの姿勢角と、カメラ(レンズ)の焦点距離と、カメラの位置と、を含む関係式に代入されることで、当該関係式が複数得られる。そして、これら複数の関係式に統計的処理が施されることで、歩行者の身長の統計的特性値を含む式が求められ、この式における歩行者の身長の統計的特性値に予め登録された人の身長の統計的特性値が代入されることで、カメラの姿勢角と、カメラの焦点距離と、カメラの位置と、の関係が得られる。この関係に基づいて、当該カメラの姿勢角と、カメラの焦点距離と、カメラの位置と、のいずれか1つ以上の値が算出される。
特開2005−233846号公報
しかし、上述の従来技術では、カメラの姿勢角と、カメラ焦点距離と、カメラの位置と、を含むカメラパラメータを求めるために、当該カメラによる撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要がある。このような処理(作業)を行うのは、当然に面倒であり、それ相応の労力や時間が掛かる。しかも、当該カメラパラメータを求めるための式には、歩行者の身長の統計的特性値が含まれており、この歩行者の身長の統計的特性値として、予め登録された人の身長の統計的特性値が代入され、言わば推定値が代入される。従って、このような推定値が代入された式によっては、当然ながら正確なカメラパラメータを求めることはできない。
そこで、本発明は、従来よりも簡単かつ正確にカメラパラメータを求めることができるカメラパラメータ特性装置および方法ならびにコンピュータ用プログラムを提供することを、目的とする。
この目的を達成するために、本発明のうちの第1発明は、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対する当該カメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定装置である。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得手段を、具備する。そして、この画像取得手段によって取得された撮影画像に基づいて、当該撮影画像を含む2次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定手段をも、具備する。さらに、この位置特定手段によって特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算手段をも、具備する。
即ち、本第1発明では、カメラが、基準平面に対して斜めに向くように設定されており、当該カメラの撮影範囲は、固定されている。そして、このカメラによる撮影範囲内に指標が存在するときの撮影画像が、画像取得手段によって、当該カメラから取得される。この画像取得手段によって取得された撮影画像上では、基準平面に対する垂直消失点および水平消失点の特定が可能である。このため、指標は、例えば基準平面に対して垂直な方向に延伸すると共に、互いに距離を置いて平行な複数の第1直線を形成する部分を有しており、これら複数の第1直線は、撮影画像上において、いわゆる3点透視歪によって、互いに非平行に見える。そして、この互いに非平行に見える各第1直線(の像)の延長線が収束する点が、垂直消失点とされる。併せて、指標は、基準平面に対して平行な方向に延伸すると共に、互いに距離を置いて平行な複数の第2直線を形成する部分を有しており、これら複数の第2直線もまた、撮影画像上において、互いに非平行に見える。そして、この互いに非平行に見える各第2直線の延長線が収束する点が、水平消失点とされる。このような撮影画像に基づいて、当該撮影画像を含む2次元領域における垂直消失点および水平消失点それぞれの位置が、位置特定手段によって、特定される。そして、これら垂直消失点および水平消失点それぞれの位置に基づいて、パラメータ演算手段が、カメラパラメータを求める。
なお、カメラは、撮影画像の水平方向が基準平面に平行を成すように設置されるのが、望ましい。この場合、撮影画像の中心を通りかつ当該撮影画像の垂直方向に沿って延伸する直線上に、垂直消失点が存在するようになる。これにより、少なくとも垂直消失点の位置の特定が容易になり、ひいてはカメラパラメータの特定が容易になる。
これに対して、撮影画像の水平方向が基準平面に非平行であるとき、具体的にはカメラが視線を中心として回転(言わばロール)しているときには、次のようにすればよい。即ち、撮影画像の水平方向の基準平面に対する偏角を求める偏角演算手段と、この偏角演算手段によって求められた偏角に基づいて当該偏角がゼロであると仮定したときの垂直消失点および水平消失点それぞれの位置を仮想する位置仮想手段と、をさらに具備する。そして、この位置仮想手段によって仮想された垂直消失点および水平消失点それぞれの位置に基づいて、パラメータ演算手段が、カメラパラメータを求めるようにすればよい。
また、本第1発明においては、撮影画像を含む2次元領域に2次元の画像座標系が設定されてもよい。この場合、位置特定手段は、当該2次元領域における垂直消失点および水平消失点それぞれの位置を、画像座標系の座標値で特定するものとする。
さらに、撮影範囲を含む3次元空間に3次元の世界座標系が設定されている場合には、この世界座標系の座標値を構成する3つの要素値のうち少なくとも1つが既知である3次元空間における任意の2点間の距離を基準距離として設定する基準距離設定手段と、この設定された基準距離に基づいて基準平面からカメラまでの距離を含む3次元空間における当該カメラの位置を求めるカメラ位置演算手段と、を備えてもよい。そして、このカメラの位置をもカメラパラメータに加えて、当該カメラパラメータに基づき、画像座標系および世界座標系の一方における任意の座標値に対応する他方における座標値を求める、つまり画像座標系および世界座標系の間で相互変換を行う、座標変換手段を、さらに備えてもよい。
この構成によれば、基準平面からカメラまでの距離を含む当該カメラの位置が、カメラパラメータに加えられる。そして、このカメラパラメータを用いることによって、画像座標系および世界座標系間での相互変換、いわゆる座標変換が、可能となる。
なお、カメラの位置、特に基準平面から当該カメラまでの距離、が不明であっても、これを1つの定数とみなすことによって、世界座標系については、スケールを持たない、言わば任意単位の座標系として、取り扱うことができる。このような任意単位の世界座標系においては、個々の座標値がどのようなスケール(単位)に基づくのかは不明であるものの、例えば或る2点間の距離と別の2点間の距離との比を求めることはできる。具体的には、撮影画像中の或る建物と別の建物との高さの比を求めたり、若しくは或る建物の高さに比べて或る人間の身長がどの程度であるのかを推定したり、さらには或る人間等の移動物体が移動した距離を任意の2点間の距離と比較して求めたりすることができる。
ここで、世界座標系は、これを構成する3つの座標軸のうちの1つが基準平面に対して垂直に延伸するように設定されるのが、望ましい。そして、この基準平面に対して垂直に延伸する座標軸上に、カメラが設置されるのが、望ましい。さらに、上述の基準距離を規定する任意の2点のうちの少なくとも一方は、その世界座標系における座標値を構成する3つの要素値のうち当該基準平面に対して垂直に延伸する座標軸の値が既知であるのが、望ましい。厳密には、この条件下で、基準平面からカメラまでの距離を含む当該カメラの位置が求められる。
続いて、本発明のうちの第2発明は、第1発明に対応する方法発明である。即ち、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対するカメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定方法である。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得過程を、具備する。そして、この画像取得過程で取得された撮影画像に基づいて、当該撮影画像を含む2次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定過程をも、具備する。さらに、この位置特定過程で特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算過程をも、具備する。
本発明のうちの第3発明は、第1の発明に対応するコンピュータ用プログラムに関する発明である。即ち、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対するカメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定プログラムである。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得手順を、コンピュータに実行させる。さらに、この画像取得手順で取得された撮影画像に基づいて、当該撮影画像を含む2次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定手順と、この位置特定手順で特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算手順と、をもコンピュータに実行させる。
上述したように、本発明によれば、カメラによる撮影範囲内に指標が存在するときの撮影画像に基づいて、当該撮影画像を含む2次元領域における垂直消失点および水平消失点それぞれの位置が特定され、これら垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータが求められる。つまり、カメラの撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要のある上述した従来技術とは異なり、そのような処理(作業)を必要としない。また、当該従来技術とは異なり、カメラパラメータを求めるための式に推定値が代入されることもない。ゆえに、従来よりも簡単かつ正確にカメラパラメータを求めることができる。
本発明の一実施形態について、図1に示すカメラキャリブレーションシステム10を例に挙げて説明する。
同図に示すように、本実施形態に係るカメラキャリブレーションシステム10は、パーソナルコンピュータ(以下、PCと言う。)12を備えており、このPC12には、撮影範囲(視野)が固定された固定カメラ(以下、単にカメラと言う。)14が接続されている。PC12は、自身にインストールされたカメラキャリブレーションプログラムを実行することによって、カメラ14のキャリブレーションを行うカメラキャリブレーション装置として機能する。なお、カメラキャリブレーションプログラムは、公知のCD−ROM(Compact Disk Read Only
Memory)やDVD(Digital
Versatile Disk)等の適当な記録媒体16を介して、供給される。また、PC12には、これに各種命令を入力するための命令入力装置18が付属されている。この命令入力装置18としては、例えばマウス20およびキーボード22があるが、これ以外のものであってもよい。さらに、PC12には、表示手段としての例えば液晶型のディスプレイ24も付属されており、このディスプレイ24には、後述するようにカメラ14による撮影画像を含む各種情報が表示される。
カメラ14は、図2に示すように、水平な地面30を基準平面とする実空間に設置される。具体的には、地面30から高さηの位置にレンズ主点Ocが置かれ、かつ、視線(光軸)32が地面30に対して斜めに向き、さらに、後述するように撮影画像の水平方向が実空間の水平方向と平行を成すように、設置される。そして、カメラキャリブレーションが行われる際には、地面30上であって、カメラ14による撮影範囲内に、2つの指標AおよびBが設置される。これらの指標AおよびBは、それぞれ地面30から上方に向かって垂直に延伸する物体であり、それぞれの長さ寸法DaおよびDbは、既知でありかつ互いに同じ(Da=Db)である。このような指標AおよびBとしては、例えば互いに同じ身長の人間が、適当である。そして、これらの指標AおよびBは、カメラ14のレンズ主点Ocから距離(厳密にはカメラ14の視線32を含む鉛直面(地面30に垂直な平面)に射影された場合のレンズ主点Ocからの距離)も方向も互いに異なる位置に設置され、つまり、後述する垂直消失点Pvおよび水平消失点Phが特定可能となるように設置される。
ここで、本実施形態におけるカメラキャリブレーションとは、カメラ14の焦点距離f,俯角ρおよび設置高さηを、カメラパラメータとして求めることを言う。なお、カメラ14の焦点距離fは、レンズ主点Ocからカメラ14内の撮像素子34の撮像面Csまでの距離であり、俯角ρは、水平面(地面30)に対する視線32の角度である。設置高さηは、上述したように地面30からレンズ主点Ocまでの距離である。また、本実施形態におけるカメラキャリブレーションでは、カメラ14の水平画角θhおよび垂直画角θvも、カメラパラメータとして併せて求められる。このようなカメラキャリブレーションは、次の要領で実現される。
即ち、今、図2の状態において、例えば図3に示すような撮影画像が得られる、つまり上述したディスプレイ24に表示される、と仮定する。なお、この図3における格子模様36は、各指標AおよびBが地面30上の互いに異なる位置に配置されていること、撮影画像の水平方向が実空間の水平方向と平行を成すようにカメラ14が設置されていること、を表す架空のものである。この図3から分かるように、撮影画像上の各指標AおよびB(の像)は、いわゆる3点透視歪によって、いずれも(撮影画像の水平方向において中心から外れた位置に存在する限り)斜めに傾いて表示されると共に、(撮影画像の垂直方向において互いに異なる位置に存在する限り)互いの大きさが異なって表示される。
このような撮影画像において、図4に示すように、2次元の画像座標系が、設定される。具体的には、撮影画像の中心Oiが、原点とされる。そして、この原点Oiを通りかつ撮影画像の水平方向に沿って延伸するように、Xi軸が設定され、当該原点OiにおいてXi軸と直交するように、Yi軸が設定される。なお、この画像座標系は、撮影画像上に限らず、当該撮影画像を外れた範囲にも、つまり当該撮影画像を含む広い2次元領域に、設定される。そして、この画像座標系において、一方の指標Aの頂点Puaと底点Pdaとを通る直線38と、他方の指標Bの頂点Pubと底点Pdbとを通る直線40と、の交点Pvが、特定される。この交点Pvは、いわゆる垂直消失点であり、画像座標系の垂直軸であるYi軸上に存在する。併せて、各指標AおよびBの頂点PuaおよびPubを通る直線42と、当該各指標AおよびBの底点PdaおよびPdbを通る直線44と、の交点Phが、特定される。この交点Phは、水平消失点であり、画像座標系の水平軸であるXi軸を挟んで、垂直消失点Pvとは反対側に存在する。そして、これらの消失点PvおよびPhそれぞれの画像座標値(Xi,Yi)に基づいて、詳しくは、それぞれの消失点PvおよびPhからXi軸までの距離βおよびγに基づいて、焦点距離fおよび俯角ρが求められ、さらには、設置高さη,水平画角θhおよび垂直画角θvが求められる。
このために、まず、図5に示すように、カメラ14のレンズ主点Ocと、このレンズ主点Ocに関して上述した撮像面Csと共役(点対称)を成す等価的な撮像面Cs’と、各指標AおよびBとの、相互の位置関係を考える。なお、上述したように、各指標AおよびBは、いずれも地面30から上方に向かって垂直に延伸しているので、これら指標Aの延伸方向(線分PuaPda)と指標Bの延伸方向(線分PubPdb)とは、互いに平行である。ここで、図6に示すように、一方の指標Aの頂点Puaおよび底点Pda,ならびにレンズ主点Ocを含む平面Saを、想定する。併せて、等価撮像面Cs’を拡張した平面Cを、想定し、この平面Cと平面Saとの交線である直線Laを、想定する。この直線Laは、レンズ主点Ocから見て等価撮像面Cs’に投影される指標A(の像)の頂点Puaおよび底点Pdaを通る直線を表し、つまり図4に示した直線38に対応する。
これと同様に、図7に示すように、他方の指標Bの頂点Pubおよび底点Pdb,ならびにレンズ主点Ocを含む平面Sbを、想定する。そして、この平面Sbと上述した平面Cとの交線である直線Lbを、想定する。この直線Lbは、レンズ主点Ocから見て等価撮像面Cs’に投影される指標B(の像)の頂点Pubおよび底点Pdbを通る直線を表し、つまり図4に示した直線40に対応する。
さらに、図8に示すように、図6における平面Saと図7における平面Sbとの交線である直線Vを、想定する。ここで、平面Saが、指標Aの頂点Puaおよび底点Pda,ならびにレンズ主点Ocを含むと共に、平面Sbが、指標Bの頂点Pubおよび底点Pdb,ならびにレンズ主点Ocを含み、併せて、各指標AおよびBの延伸方向が、互いに並行であることから、当該直線Vは、レンズ主点Ocを通り、かつそれぞれの指標AおよびBの延伸方向(線分PuaPdaおよび線分PubPdb)と平行になる。
そして、図9に示すように、直線Vと平面Cとの交点Qvを、想定する。ここで、直線Vと図6に示した直線Laとは、いずれも平面Sa上に存在し、かつ互いに平行でないことから、必ずどこかで交わる。併せて、直線Laは、平面C上に存在するので、当該直線Laと直線Vとは、平面C上で交わる。さらに、平面Cは、点Qvでのみ直線Vと交わる。これらを総合すると、図10に示すように、直線Laと直線Vとは、点Qvで互いに交わることになる。これと同様に、直線Lbと直線Vとについても、点Qvで互いに交わることになる。
つまり、直線Laと直線Lbとは、直線V上の点Qvで互いに交わる。そして、上述したように、直線Laは、図4に示した直線38に対応し、直線Lbは、図4に示した直線40に対応することから、点Qvは、図4に示した垂直消失点Pvに対応する。
続いて、図11に示すように、各指標AおよびBの頂点PuaおよびPub同士を結んだ線分Lu(PuaPub)と、底点PdaおよびPdb同士を結んだ線分Ld(PdaPdb)とを、想定する。なお、上述したように、各指標AおよびBの延伸方向は、互いに平行であり、当該各指標AおよびBの長さ寸法DaおよびDbは、互いに同じであることから、これらの線分LuおよびLdは、互いに同じ長さ寸法であり、かつ互いに平行である。
ここで、図12に示すように、一方の線分Luの両端PuaおよびPub,ならびにレンズ主点Ocを含む平面Taを、想定する。さらに、この平面Taと平面Cとの交線である直線Maを、想定する。この直線Maは、レンズ主点Ocから見て等価撮像面Cs’に投影される線分Lu(の像)の両端PuaおよびPubを通る直線を表し、つまり図4に示した直線42に対応する。
これと同様に、図13に示すように、他方の線分Ldの両端PdaおよびPdb,ならびにレンズ主点Ocを含む平面Tbを、想定する。さらに、この平面Tbと平面Cとの交線である直線Mbを、想定する。この直線Mbは、レンズ主点Ocから見て等価撮像面Cs’に投影される線分Ld(の像)の両端PdaおよびPdbを通る直線を表し、つまり図4に示した直線44に対応する。
そして、図12における平面Taと図13における平面Tbとの交線を、想定する。この平面Taは、線分Luの両端PuaおよびPub,ならびにレンズ主点Ocを含むと共に、平面Tbは、線分Ldの両端PdaおよびPdb,ならびにレンズ主点Ocを含み、併せて、各線分LuおよびLdが、互いに並行であることから、当該交線は、図14に符号Hで示すように、レンズ主点Ocを通り、かつそれぞれの線分LuおよびLdと平行を成す直線になる。
さらに、図14に示すように、直線Hと平面Cとの交点Qhを、想定する。ここで、直線Hと図12に示した直線Maとは、いずれも平面Ta上に存在し、かつ互いに平行でないことから、必ずどこかで交わる。併せて、直線Maは、平面C上に存在するので、当該直線Maと直線Hとは、平面C上で交わる。そして、平面Cは、点Qhでのみ直線Hと交わる。これらを総合すると、図14に示すように、直線Maと直線Hとは、点Qhで互いに交わることになる。これと同様に、直線Mbと直線Hとについても、点Qhで互いに交わることになる。
つまり、直線Maと直線Mbとは、直線H上の点Qhで互いに交わる。そして、上述したように、直線Maは、図4に示した直線42に対応し、直線Mbは、図4に示した直線44に対応することから、直線Qhは、図4に示した水平消失点Phに対応する。
これらのことを念頭において、図15に示すように、Xw軸,Yw軸およびZw軸という3つの直交軸から成る3次元の世界座標系が定義される。
即ち、同図に示すように、実空間における地面30上に、Xw軸およびYw軸が設定される。要するに、Xw軸およびYw軸から成る2次元平面(Xw−Yw平面)が、地面30に当たる。そして、これらXw軸およびYw軸の交点である原点Owにおいて、当該Xw軸およびYw軸のそれぞれと直交するように、Zw軸が設定される。つまり、Zw軸は、実空間における高さを規定する垂直軸となる。なお、同図には示さないが、各指標AおよびBは、地面30であるXw−Yw平面上に、Zw軸と平行を成して延伸するように配置される。
この世界座標系において、カメラ14は、そのレンズ主点OcがZ軸上に位置し、かつ視線32が地面30であるXw−Yw軸に対して斜めに向くように、詳しくは当該視線32の延長線がYw軸と斜めに交わるように、さらに等価撮像面Cs’の上端縁および下端縁がXw軸と平行を成すように、設置される。この条件によれば、上述した直線Vは、Zw軸と一致する。従って、レンズ主点Ocの世界座標値(Xw,Yw,Zw)は、(0,0,η)となる。さらに、Yw軸とZw軸とから成る2次元平面(Yw−Zw平面)と等価撮像面Cs’を含む平面Cとの交線である直線46を、想定すると、この直線46は、等価撮像面Cs’の中心Osを通り、かつ、Yw軸と非直角に交わり、Zw軸とも非直角に交わることになる。
一方、等価撮像面Cs’は撮像面Csと共役であるので、図4に示した画像座標系を当該等価撮像面Cs’上に転換することができる。即ち、図16に示すように、等価撮像面Cs’の中心Osが、画像座標系の原点Oiとされる。そして、この原点Oiを通りかつ等価撮像面Cs’の上端縁および下端縁と平行を成すように、画像座標系のXi軸が設定され、当該原点OiにおいてXi軸と直交するように、画像座標系のYi軸が設定される。なお、この図16においても、画像座標系は、等価撮像面Cs’上に限らず、当該等価撮像面Cs’を含む平面C上の広い範囲に、設定される。
このように等価撮像面Cs’を含む平面C上に設定された画像座標系が、図15に示した世界座標系に重ねられることによって、これら画像座標系と世界座標系との間で、上述した垂直消失点Pvが関連付けられる。即ち、図17に示すように、画像座標系のYi軸が、世界座標系における平面CとYw−Zw平面との交線である直線46と一致する。ここで、図10を参照して説明したように、平面Cは、垂直消失点Pvでのみ直線Vと交わり、併せて、直線Vは、上述の如く世界座標系のZw軸と一致することから、当該垂直消失点Pvは、画像座標軸のYi軸である直線46と世界座標系のZw軸との交点に当たる。従って、この垂直消失点Pvの世界座標値(Xw,Yw,Zw)は、例えばPvzという未知数を用いて、(0,0,Pvz)と表される。その一方で、画像座標系においては、垂直消失点Pvの座標値(Xi,Yi)は、図4に示した距離βを用いて、図18に示すように、(0,−β)となる。そうすると、世界座標系において、垂直消失点Pvから等価撮像面Cs’の中心Osまでの距離Pv−Osは、当該垂直消失点Pvの画像座標値(0,−β)により判明し、つまりβとなる。
これと同様に、水平消失点Phについて、考える。即ち、図19に示すように、レンズ主点Ocを通り、かつXw−Yw平面(地面30)と平行な平面Rを、想定する。すると、図14に示した直線Hは、この平面R上に存在することになる。そして、直線H上に水平消失点Phが存在することから、当該水平消失点Phもまた、平面R上に存在することになる。従って、水平消失点Phの世界座標値(Xw,Yw,Zw)は、例えばPhxおよびPhyという2つの未知数を用いて、(Phx,Phy,η)と表される。さらに、平面Rと平面Cとの交線である直線48を、想定する。ここで、平面C上には、画像座標系のYi軸が存在し、このYi軸は、Xw−Yw平面と平行でないことから、当該直線48は、Yi軸と交わる。併せて、水平消失点Phは、平面R上に存在すると同時に、平面C上にも存在することから、当該水平消失点Phは、直線48上に存在する。そうすると、直線48とYi軸との交点Ph’は、水平消失点Phが平面Rに沿ってXw=0の位置まで移動したものである、と考えることができる。そして、この交点Ph’の世界座標値(Xw,Yw,Zw)は、(0,Phy,η)と表される。その一方で、画像座標系においては、水平消失点Phの座標値(Xi,Yi)は、図4に示した距離γを用いて、例えば図20に示すように、(Phi,γ)となる。そして、交点Ph’の画像座標値(Xi,Yi)は、(0,γ)となる。ゆえに、世界座標系において、交点Ph’から等価撮像面Cs’の中心Osまでの距離Ph’−Osは、当該交点Ph’の画像座標値(0,γ)により判明し、つまりγとなる。
これら図17および図19に示される各要部の位置関係を整理すると、図21および図22に示すようになる。なお、図21の(a)は、当該各要部をZw軸の先端側から見た図であり、(b)は、当該各要部をXw軸の先端側から見た図である。そして、図22の(a)は、当該各要部を上述の交点Ph’側(Yi軸の先端側)から見た図であり、(b)は、図21(b)と同様である。また、これら図21および図22において、レンズ主点Ocから等価撮像面Cs’までの距離f’は、焦点距離fと等価である。そして、等価撮像面Cs’の有効水平寸法Dhは、実際の撮像面Csのそれと等価であり、単位は[画素(ピクセル)]である。等価撮像面Cs’の有効垂直寸法Dvもまた、実際の撮像面Csのそれと等価であり、単位は[画素]である。さらに、有効水平寸法Dhおよび有効垂直寸法Dvの少なくとも一方、例えば有効水平寸法Dhは、既知である。そして、両者DhおよびDvの比率であるアスペクト比Dh:Dvもまた、既知であり、例えば4:3である。
これら図21および図22に示される位置関係によれば、距離βおよびγは、それぞれ次の数1および数2によって表されることが分かる。
Figure 0005079614
Figure 0005079614
そして、これら数1および数2のそれぞれを、tanρについての式に変形すると、次の数3が導き出される。
Figure 0005079614
さらに、この数3を、焦点距離fについての式に変形すると、当該焦点距離fを求めるための次の数4が導き出される。なお、この数4によって表される焦点距離fの単位は、[画素]である。
Figure 0005079614
そして、上述の数1によって数2を除すると、次の数5が導き出され、この数5を、俯角ρについての式に変形すると、当該俯角ρを求めるための数6が導き出される。
Figure 0005079614
Figure 0005079614
また、特に図22(a)に示される位置関係から、水平画角θhは、次の数7によって表されることが分かる。
Figure 0005079614
そして、撮像面Cs(等価撮像面Cs’)のアスペクト比Dh:Dvを用いた次の数8によって、垂直画角θvが表される。
Figure 0005079614
つまり、本実施形態によれば、数4に基づいて、カメラ14の焦点距離fが求められ、数6に基づいて、俯角ρが求められる。このために、図4に示した撮影画像上において、各指標AおよびBの頂点PuaおよびPubと底点PdaおよびPdbとが、例えば図1に示したマウス20の操作によって、特定される。そして、この特定された各点Pua,Pub,PdaおよびPdbそれぞれの画像座標値(Xi,Yi)、例えば点Puaについては(xiua,yiua)、点Pdaについては(xida,yida)、点Pubについては(xiub,yiub)、および点Pdbについては(xidb,yidb)、に基づいて、各消失点PvおよびPhが特定され、要するに当該各消失点PvおよびPhの画像座標値(0,−β)および(Phi,γ)(または(0,γ))が求められる。さらに、これら各消失点PvおよびPhの画像座標値(0,−β)および(Phi,γ)に基づいて、各距離βおよびγが求められ、これら各距離βおよびγが上述の数4および数6に代入されることによって、焦点距離fおよび俯角ρが求められる。そして、数7に基づいて、カメラ14の水平画角θhが求められ、数8に基づいて、垂直画角θvが求められる。さらに、カメラ14の設置高さηについては、次のようにして求められる。
図23を参照して、世界座標系において、カメラ14のレンズ主点Ocから各指標AおよびBの一方、例えば指標A、の頂点Puaに向かうベクトルVua(xvua,yvua,zvua)が、求められる。具体的には、レンズ主点Ocから世界座標系における任意の点に向かうベクトルVe(xe,ye,ze)は、当該任意の点に対応する画像座標値(Xi,Yi)を用いた次の数9によって求められる。
Figure 0005079614
従って、この数9における画像座標値(Xi,Yi)に、指標Aの頂点Puaの画像座標値(xiua,yiua)が代入されることによって求められるベクトルVe(xe,ye,ze)が、レンズ主点Ocから当該指標Aの頂点Puaに向かうベクトルVua(xvua,yvua,zvua)になる。
これと同様に、レンズ主点Ocから指標Aの底点Pdaに向かうベクトルVda(xvda,yvda,zvda)が、求められる。即ち、数9における画像座標値(Xi,Yi)に、指標Aの底点Pdaの画像座標値(xida,yida)が代入されることによって求められるベクトルVe(xe,ye,ze)が、レンズ主点Ocから当該指標Aの底点Pdaに向かうベクトルVda(xvda,yvda,zvda)になる。
ここで、世界座標系の原点Owから指標AまでのYw軸方向における距離(要素値Yw)がδである、と仮定する。併せて、原点Owから指標AまでのXw軸方向における距離(要素値Xw)は無視する(Xw=0とする)。すると、距離δと設置高さηと指標Aの長さ寸法Daとレンズ主点Ocから当該指標Aの頂点Puaに向かうベクトルVua(xvua,yvua,zvua)とに基づいて、次の数10が導き出される。
Figure 0005079614
そして、この数10において、距離δに注目すると、次の数11が導き出される。
Figure 0005079614
これと同様に、距離δと設置高さηとレンズ主点Ocから指標Aの底点Pdaに向かうベクトルVda(xvda,yvda,zvda)とに基づいて、次の数12が導き出される。
Figure 0005079614
そして、この数12において、距離δに注目すると、次の数13が導き出される。
Figure 0005079614
さらに、数11と数13とは互いに等価であることから、次の数14で表される関係が成り立つ。
Figure 0005079614
そして、この数14を、設置高さηについての式に変形すると、当該設置高さηを求めるための次の数15が導き出される。
Figure 0005079614
つまり、この数15によれば、レンズ主点Ocから一方の指標Aの頂点Puaに向かうベクトルVua(xvua,yvua,zvua)と、当該指標Aの底点Pdaに向かうベクトルVda(xvda,yvda,zvda)と、当該指標Aの長さ寸法Daと、に基づいて、設置高さηが求められる。そして、頂点Puaに向かうベクトルVua(xvua,yvua,zvua)については、当該頂点Puaの画像座標値(xiua,yiua)から求められ、底点Pdaに向かうベクトルVda(xvda,yvda,zvda)については、当該底点Pdaの画像座標値(xida,yida)から求められることは、上述した通りである。
なお、一方の指標Aに代えて、他方の指標Bに注目して、設置高さηを求めてもよい。つまり、他方の指標Bの頂点Pubおよび底点Pdbの画像座標値(xiub,yiub)および(xidb,yidb)に基づいて、それぞれのベクトルVub(xvub,yvub,zvub)およびVdb(xvdb,yvdb,zvdb)を求め、これらのベクトルVub(xvub,yvub,zvub)およびVdb(xvdb,yvdb,zvdb)と、当該指標Bの長さ寸法Dbと、に基づいて、設置高さηを求めてもよい。
この一連のカメラキャリブレーションを実現するべく、図1に示したPC12(厳密にはPC12内の図示しないCPU)は、カメラキャリブレーションプログラムに従って、次のように動作する。
即ち、図24を参照して、PC12は、まず、ステップS1において、図3に示したようなキャリブレーション用の撮影画像、具体的には1フレーム分の静止画像、を取得する。なお、この画像の取得は、命令入力装置18から与えられる命令に従い、つまりマウス20およびキーボード22を用いた手動操作に従う。
そして、PC12は、ステップS3に進み、一方の指標Aの頂点Puaおよび底点Pdaを特定し、つまりそれぞれの画像座標値(xiua,yiua)および(xida,yida)を求める。なお、この特定もまた、命令入力装置18から与えられる命令に従い、例えばマウス20のクリック操作に従う。
さらに、PC12は、ステップS5に進み、当該一方の指標Aの長さ寸法Daを取得する。なお、この長さ寸法Daは、命令入力装置18から与えられ、例えばキーボード22から与えられる。
そして、PC12は、ステップS7に進み、上述のステップS3と同じ要領で、他方の指標Bの頂点Pubおよび底点Pdbを特定し、つまりそれぞれの画像座標値(xiub,yiub)および(xidb,yidb)を求める。そして、ステップS9に進み、上述のステップS5と同じ要領で、当該他方の指標Bの長さ寸法Dbを取得する。
ステップS9の実行後、PC12は、ステップS11に進み、各消失点PvおよびPhを特定し、つまりそれぞれの画像座標値(0,−β)および(Phi,γ)を求める。そして、ステップS13に進み、これらの画像座標値(0,−β)および(Phi,γ)に基づいて、各距離βおよびγを求める。
さらに、PC12は、ステップS15に進み、上述した数4に基づいて、カメラ14の焦点距離fを求めた後、ステップS17に進み、上述した数6に基づいて、俯角ρを求める。そして、ステップS19に進み、上述した数7に基づいて、水平画角θhを求めた後、ステップS21に進み、上述した数8に基づいて、垂直画角θvを求める。
ステップS21の実行後、PC12は、ステップS23に進む。そして、このステップS23において、上述した数9および数15を含む手順で、カメラ14の設置高さηを求める。このステップS23の実行をもって、PC12は、一連のカメラキャリブレーションを終了する。
この一連のカメラキャリブレーションによって求められたカメラパラメータを用いると、画像座標系の座標値(Xi,Yi)と世界座標系の座標値(Xw,Yw,Zw)との相互変換が可能となる。
具体的には、任意の画像座標値(Xi,Yi)に対応する世界座標値(Xw,Yw,Zw)は、上述の数9で表されるベクトルVe(xe,ye,ze)を用いた次の数16によって求められる。
Figure 0005079614
この数16において、εは、係数であり、この係数εは、世界座標値(Xw,Yw,Zw)を構成する3つの要素値Xw,YwおよびZwのいずれか1つが決まれば、一意に決まる。本実施形態では、Xw−Yw平面が地面30に設定されており、つまりZw=0であるので、地面30上の任意点の世界座標値(Xw,Yw,0)に関する係数εは、次の数17によって一意に決まる。
Figure 0005079614
従って、この数17を数16に代入することによって、Zw=0という条件下での画像座標値(Xi,Yi)と世界座標値(Xw,Yw,0)との相互変換が可能となる。
また、Zw=0という条件下での画像座標値(Xi,Yi)と世界座標値(Xw,Yw,0)との対応関係に基づいて、この世界座標値(Xw,Yw,0)を通りかつ地面30に対して垂直な方向に延伸する任意の点の世界座標値(Xw,Yw,Zw’)と、これに対応する画像座標値(Xi’,Yi’)と、の相互変換も可能である。
このようなカメラキャリブレーションは、監視用途に好適であり、例えば撮影画像に映し出された移動物体等の実空間における絶対位置や大きさ,移動距離等を当該撮影画像から認識するのに好適である。また、この認識結果に基づいて、例えば当該移動物体を旋回型カメラで追尾する等の制御も可能となる。
以上のように、本実施形態によれば、図15に示したように世界座標系が設定されると共に、図16(図4)に示したように画像座標系が設定される。そして、カメラ14による撮影範囲内に2つの指標AおよびBが設置され、撮影画像上に映し出されたこれら2つの指標AおよびBが3点透視歪を生じることによって特定される2つの消失点PvおよびPhの画像座標値(0,−β)および(Phi,γ)を利用して、カメラ14の焦点距離f,俯角ρおよび設置高さηを含むカメラパラメータが求められ、つまりカメラキャリブレーションが実現される。従って、カメラの撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要のある上述した従来技術とは異なり、そのような処理(作業)を必要としない。また、当該従来技術とは異なり、カメラパラメータを求めるための式に推定値が代入されることもない。ゆえに、従来よりも簡単かつ正確にカメラパラメータを求めることができる。このことは、キャリブレーションの対象となるカメラ14の台数が多いほど、顕著になる。
なお、本実施形態においては、各指標AおよびBの長さ寸法DaおよびDbが互いに同じであるとしたが、これに限らない。例えば、一方の指標Aの長さ寸法Daが、他方の指標Bの長さ寸法Dbよりも小さい(Da<Db)、とする。そして、撮影画像上で、各指標AおよびBが、図25に示すように、それぞれの長さ寸法DaおよびDbに応じた大きさDa’およびDb’で表示される、とする。この場合、各指標AおよびBの長さ寸法DaおよびDbが互いに同じであると仮定したときに撮影画像上に映し出されるであろう仮の指標、例えば大きい方の指標Bの長さ寸法Dbを小さい方の指標Aの長さ寸法Daに合わせた仮指標B’を、想定する。この仮指標B’の長さ寸法Db”は、次の数18によって求められる。
Figure 0005079614
そして、この数18によって言わば補正された長さ寸法Db”を持つ仮指標B’と、長さ寸法Daが不変である指標Aと、に基づいて、各消失点PvおよびPhが特定されるようにすればよい。このようにすれば、各指標AおよびBの長さ寸法DaおよびDbが互いに異なる(Da≠Db)条件下でも、正確なカメラキャリブレーションが実現される。なお、上述とは反対に、小さい方の指標Aの長さ寸法Daを大きい方の指標Bの長さ寸法Dbに合わせてもよいが、精度的には、大きい方の指標Bの長さ寸法Dbを小さい方の指標Aの長さ寸法Daに合わせるのが、望ましい。
また、本実施形態では、カメラ14の撮像面Cs(等価撮像面Cs’)の上端縁および下端縁が世界座標系のXw軸と平行を成すように、つまり撮影画像の水平方向が実空間の水平方向と平行を成すように、カメラ14が設置されることとしたが、これに限らない。即ち、撮影画像の水平方向が実空間の水平方向と平行でないとき、要するにカメラ14が視線32を中心として回転(言わばロール)しているときには、図26に示すように、垂直消失点Pvが画像座標系のYi軸から離れた位置に存在するようになる。そうなると、当然に、水平消失点Phもまた、不適当な位置に存在するようになり、この状態のままでは、正確なカメラキャリブレーションを実現することができない。ただし、カメラ14がロールしているときは、上述した等価撮像面Cs’が、本来ならば図27に点線50で示すような状態にあるべきところ、その中心Osを軸として、同図に1点鎖線52で示すように回転している状態にある。つまり、等価撮像面Cs’の中心Osとそれぞれの指標AおよびBとの位置関係は、カメラ14がロールしているか否かに関係なく、不変である。そこで、カメラ14がロールしているときには、次のように対処すればよい。
まず、図28に示すように、画像座標系の原点Oiと垂直消失点Pvとを通る直線54を、想定する。そして、この直線54と画像座標系のYi軸との成す角度αを、求める。この角度αは、実空間の水平方向に対する撮影画像の水平方向の偏角に相当する。そして、この偏角αを用いた次の数19で表される回転行列式によって、垂直消失点Pvを当該偏角α分だけ回転移動させる。つまり、偏角αがα=0であると仮定したときの垂直消失点Pv”の画像座標値(Xi”,Yi”)を仮想する。
Figure 0005079614
これと同様に、水平消失点Phについても、この数19によって、偏角α分だけ回転移動させる。つまり、偏角αがα=0であると仮定したときの水平消失点Ph”の画像座標値(Xi”,Yi”)を仮想する。そして、図29に示すように、これら仮想された各消失点Pv”およびPh”の画像座標値(Xi”,Yi”)に基づいて、各距離βおよびγを求め、ひいてはカメラキャリブレーションを実現すればよい。このようにすれば、カメラ14がロールしている状況下でも、正確なカメラキャリブレーションが実現される。
さらに、各指標AおよびBについては、それぞれ別々の物体(人間)を用いるのではなく、互いに共通の1つの物体を当該各指標AおよびBとして用いてもよい。具体的には、図30(a)に示すように、或る物体が或る場所に存在するとき(時刻ta)の撮影画像における当該物体(の像)を指標Aとし、同じ物体が移動して別の場所に存在するとき(時刻tb)の撮影画像における当該物体を指標Bとする。そして、これら互いに異なる時刻taおよびtbに撮影された同一物体に基づく2つの指標AおよびBを用いて、カメラキャリブレーションを行ってもよい。
また、各指標AおよびBとしては、上述の如く人間が好適であるが、これに限らない。例えば、互いに同じ長さ寸法DaおよびDbの2本の棒状体を、当該各指標AおよびBとして採用してもよい。勿論、互いの長さ寸法DaおよびDbが同じでなくても、図25を参照しながら説明した要領によれば、正確なカメラキャリブレーションを実現することができる。さらに、電柱やビル等のように直線部分を有する既存の構造物をも、各指標AおよびBとして採用してもよい。また、2つの指標AおよびBに代えて、図31に示すような矩形状の1つの枠体(または板状体)60を採用してもよい。具体的には、この枠体60の4辺のうち互いに対向する2辺が同図には示さない地面30に対して垂直を成し、他の2辺が地面30に平行を成す(または地面30に沿う)ように、当該枠体60が設置されればよい。要するに、上述した各消失点PvおよびPhが形成されればよく、そのための1つの手段として、本実施形態では、2つの指標AおよびBが採用されている。
さらに、本実施形態においては、図24を参照しながら説明したように、各消失点PvおよびPhを特定するべく、各指標AおよびBの頂点PuaおよびPub,ならびに底点PdaおよびPdbを手動操作で特定することとしたが、これに限らない。例えば、ハフ変換法等の直線部分を抽出するための適宜の特徴抽出法を用いて、当該各指標AおよびB等の直線部分を自動的に抽出し、ひいては各消失点PvおよびPhを自動的に特定するようにしてもよい。また、各指標AおよびBが人間等の移動体である場合には、背景差分法等の適宜の移動体検出法を用いて、当該各指標AおよびBとしての移動体を自動的に検出し、ひいては各消失点PvおよびPhを自動的に特定してもよい。
そして、カメラパラメータのうち、水平画角θhおよび垂直画角θvについては、特段な必要性がなければ、求めなくてもよい。また、極端には、カメラ14の設置高さηについても、これを正確に求めなくてもよい場合がある。
即ち、数16に示した変換式において、Zw=0であるとき、当該数16は、上述の数17を用いて、次の数20のように表される。
Figure 0005079614
この数20によれば、正確な設置高さηが不明であっても、これを1つの定数とみなすことで、スケールを持たない、言わば任意単位の世界座標値(Xw,Yw,Zw)が得られる。つまり、この世界座標値(Xw,Yw,Zw)そのものがどのようなスケール(単位)に基づくのかは不明であるものの、当該スケールを持たない世界座標系においても任意の2点間の距離(例えば線分の長さ)の比は分かる。従って、この距離の比が分かりさえすれば足りる、という用途においては、設置高さηの正確な値は不要である。例えば、撮影画像中の或る建物と別の建物との高さの比を求めたり、建物の高さに比べて人間の身長がどの程度であるのかを推定したり、さらには人間が移動した距離を任意の2点間の距離と比較して求めたりすることができる。
また、設置高さηとして、たとえ正確な値でなくとも、比較的に近似的な値が設定されれば、比較的に正確な世界座標値(Xw,Yw,Zw)が得られる。さらに、当該設置高さηを求めるための上述した数15において、指標Aの長さ寸法Daとして、正確な値ではなく、近似的な値が設定された場合でも、比較的に正確な設置高さηが求められ、ひいては比較的に正確な世界座標値(Xw,Yw,Zw)が得られる。このことは、指標Bの長さ寸法Dbに基づいて設置高さηが求められる場合にも、同様である。
さらに、数16においては、Zw=0であるときに限らず、世界座標値(Xw,Yw,Zw)の各要素値Xw,YwおよびZwのいずれか1つが既知であれば、当該世界座標値(Xw,Yw,Zw)と画像座標値(Xi,Yi)との間での相互変換が可能である。例えば、Xwが既知であるとき、当該数16は、次の数21のように表される。つまり、この数21によって、相互変換が可能となる。
Figure 0005079614
そして、Ywが既知であるときは、次の数22によって、相互変換が可能となり、Zwが既知であるときは、数23によって、相互変換が可能となる。
Figure 0005079614
Figure 0005079614
また、これら数21〜数23を利用すれば、世界座標値(Xw,Yw,Zw)を構成する3つの要素値Xw,YwおよびZwのうち少なくとも1つが既知である任意の2点PaおよびPb間の距離λを、求めることができる。
具体的には、一方の点Paの世界座標値(Xw,Yw,Zw)が(Xwa,Ywa,Zwa)であり、他方の点Pbの世界座標値(Xw,Yw,Zw)が(Xwb,Ywb,Zwb)である、とする。すると、これら2点PaおよびPb間の距離λは、次の数24によって表される。
Figure 0005079614
ここで、例えば、一方の点Paについては、Xw軸の要素値Xwaが既知であり、他方の点Pbについても、Xw軸の要素値Xwbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数21の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)もまた、当該数21の世界座標値(Xw,Yw,Zw)として代入され、さらにこれらが数24に代入されることによって、つまり次の数25によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
次に、一方の点Paについては、Xw軸の要素値Xwaが既知であり、他方の点Pbについては、Yw軸の要素値Ywbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数21の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)が、数22の世界座標値(Xw,Yw,Zw)として代入され、さらにこれらが数24に代入されることによって、つまり次の数26によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
さらに、一方の点Paについては、Xw軸の要素値Xwaが既知であり、他方の点Pbについては、Zw軸の要素値Zwbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数21の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)が、数23の世界座標値(Xw,Yw,Zw)として代入され、これらが数24に代入されることによって、つまり次の数27によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
続いて、一方の点Paについては、Yw軸の要素値Ywaが既知であり、他方の点Pbについても、Yw軸の要素値Ywbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数22の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)もまた、数22の世界座標値(Xw,Yw,Zw)として代入され、これらが数24に代入されることによって、つまり次の数28によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
そして、一方の点Paについて、Yw軸の要素値Ywaが既知であり、他方の点Pbについては、Zw軸の要素値Zwbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数22の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)が、数23の世界座標値(Xw,Yw,Zw)として代入され、これらが数24に代入されることによって、つまり次の数29によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
さらに、一方の点Paについて、Zw軸の要素値Zwaが既知であり、他方の点Pbについても、Zw軸の要素値Zwbが既知である、と仮定する。この場合、一方の点Paの世界座標値(Xwa,Ywa,Zwa)が、数23の世界座標値(Xw,Yw,Zw)として代入され、他方の点Pbの世界座標値(Xwb,Ywb,Zwb)もまた、数23の世界座標値(Xw,Yw,Zw)として代入され、これらが数24に代入されることによって、つまり次の数30によって、2点PaおよびPb間の距離λが求められる。
Figure 0005079614
なお、これら数25〜数30を参照して分かるように、数25,数26および数28については、設置高さηが含まれていない。つまり、これら数25,数26および数28によれば、当該設置高さηが不明であっても、2点PaおよびPb間の距離λが求められる。これに対して、数27,数29および数30については、設置高さηが含まれている。つまり、これら数27,数29および数30によれば、当該設置高さηが判明することで、2点PaおよびPb間の距離λが一意に求められる。
ここで、1つの応用例として、上述した地面30上に細長い物体が垂直方向に延伸するように配置されている、と仮定し、この物体の長さ寸法λを求める場合について、説明する。この場合、当該物体の一端が点Paとして取り扱われ、他端が点Pbとして取り扱われる。
例えば、今、物体の一端Paについて、Xw軸の要素値Xwaが既知である、とする。すると、当該物体が垂直方向に延伸していることから、当然に、他端Pbについても、Xw軸の要素値Xwbが既知となり、つまりXwa=Xwbとなる。この場合、上述の数25に基づいて、より詳しくは当該数25においてXwa=Xwbとされた次の数31に基づいて、物体の長さ寸法λが求められる。
Figure 0005079614
これとは異なり、例えば、物体の一端Paについて、Yw軸の要素値Ywaが既知である、とすると、当該物体が垂直方向に延伸していることから、当然に、他端Pbについても、Yw軸の要素値Ywbが既知となり、つまりYwa=Ywbとなる。この場合、上述の数28に基づいて、より詳しくは当該数28においてYwa=Ywbとされた次の数32に基づいて、物体の長さ寸法λが求められる。
Figure 0005079614
さらに、物体の一端Paについて、Zw軸の要素値Zwaが既知である、とする。この場合は、次の要領による。即ち、この物体の一端Paの世界座標値(Xwa,Ywa,Zwa)が、上述した数23の世界座標値(Xw,Yw,Zw)として代入されることで、次の数33が得られる。また、他端Pbの世界座標値(Xwa,Ywa,Zwa)が、上述した数16の世界座標値(Xw,Yw,Zw)として代入されることで、数34が得られる。
Figure 0005079614
Figure 0005079614
これら数33および数34に注目すると、Xwa=Xwbであることから、次の数35が成立する。同様に、Ywa=Ywbであることから、数36が成立する。
Figure 0005079614
Figure 0005079614
そして、これら数35および数36の一方、例えば数35が、上述の数24に代入されることで、次の数37が得られる。同様に、数36が、数24に代入されることで、数38が得られる。
Figure 0005079614
Figure 0005079614
つまり、これら数37および数38のいずれかに基づいて、物体の長さ寸法λが求められる。なお、これら数37および数38においては、上述の数31および数32とは異なり、カメラ14の設置高さηが必要となる。
さらにまた、上述の数30に注目すると、この数30において、例えばZwa=Zwb=0であるとき、当該数30は、次の数39のように表される。
Figure 0005079614
この数39において、平方根に含まれるベクトルVe(xe,ye,ze)の各要素値xe,yeおよびzeは、上述した数9によって求められることから、この平方根全体をNという係数として一括すると、当該数39は、次の数40のように表される。
Figure 0005079614
さらに、この数40において、λ=1とすると共に、当該数40を、高さ寸法ηについての式に変形し直すと、次の数41が導き出される。
Figure 0005079614
即ち、この数41は、2点PaおよびPb間の距離λを単位として、設置高さηを表したものである。従って、この数41で表される高さηを用いれば、世界座標系に対して、当該2点PaおよびPb間の距離λを単位とするスケールを与えることができる。例えば、当該距離λを単位として、他の任意の2点間の距離等を求めることができる。
なお、上述の数40は、Zwa=Zwb=0であることを条件とするが、Zwa=Zwb=Zw’≠0であるときは、次の数42が成立する。
Figure 0005079614
そして、この数42において、λ=1とすると共に、当該数42を、高さ寸法ηについての式に変形し直すと、次の数43が導き出される。
Figure 0005079614
つまり、Zwa=Zwb=Zw’≠0であるときにも、2点PaおよびPb間の距離λを単位とするスケールを世界座標系に与えることができる。
以上の実施形態で説明した内容は、飽くまでも本発明を実現するための一部の具体例であり、本発明を限定するものではない。例えば、上述の数30に注目するのに代えて、数27および数29に注目することで、2点PaおよびPb間の距離λを単位として設置高さηを表す式を求めてもよい。
そして、カメラキャリブレーションプログラムについては、適当な記録媒体16によって供給されることとしたが、インターネット等の電気通信回線を通じて供給されることとしてもよい。
また、このカメラキャリブレーションプログラムをいわゆる汎用のPC12に実行させることでカメラキャリブレーション装置を実現するのではなく、カメラキャリブレーションに特化した専用のカメラキャリブレーション装置を実現してもよい。
さらに、カメラキャリブレーションというものではなく、単にカメラ14の焦点距離f,俯角ρおよび設置高さηのいずれかを求めるのに、本発明を適用してもよい。これらの焦点距離f,俯角ρおよび設置高さηについては、カメラ14の設置時に或る程度の精度で定めることはできるが、その正確さは、作業者(人間)の力量による。従って、これら焦点距離f,俯角ρおよび設置高さηをより正確に求めるには、本発明が極めて有効である。
本発明の一実施形態に係るカメラキャリブレーションシステムの概略構成を示す図である。 同実施形態においてカメラと各指標との位置関係を示す図解図である。 同実施形態においてカメラによる撮影画像の一例を示す図解図である。 同実施形態においてカメラパラメータの算出手順を説明するための図解図である。 同実施形態においてカメラの各要部と各指標との相互の位置関係を示す図解図である。 同位置関係を順番に説明するための図解図である。 図6に続く図解図である。 図7に続く図解図である。 図8に続く図解図である。 図9に続く図解図である。 図10に続く図解図である。 図11に続く図解図である。 図12に続く図解図である。 図13に続く図解図である。 同実施形態において世界座標系の定義を説明するための図解図である。 同実施形態において画像座標系の定義を説明するための図解図である。 同実施形態において世界座標系と画像座標系との関係を示す図解図である。 図17における画像座標系に注目した図解図である。 同実施形態において世界座標系と画像座標系との関係を示す図17とは別の図解図である。 図19における画像座標系に注目した図解図である。 図17および図19に示す関係を整理した図解図である。 図17および図19に示す関係を整理した図21とは別の図解図である。 同実施形態におけるカメラパラメータのうちカメラの設置高さを算出する手順を説明するための図解図である。 同実施形態においてPCが実行するカメラキャリブレーションプログラムの概要を示すフローチャートである。 同実施形態において各指標の長さ寸法が互いに異なる場合の対処法を説明するための図解図である。 同実施形態においてカメラがロールしているときの撮影画像の一例を示す図解図である。 同ロールの概念を示す図解図である。 同ロールが生じている場合の対処法を説明するための図解図である。 図28に続く図解図である。 同実施形態において各指標を1つの物体で賄う一例を示す図解図である。 同実施形態において別の指標の一例を示す図解図である。
符号の説明
10 カメラキャリブレーションシステム
12 PC
14 カメラ
16 CPU
18 命令入力装置
24 ディスプレイ
30 地面
A,B 指標
Oc レンズ主点
f 焦点距離
ρ 俯角

Claims (7)

  1. 基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と該基準平面に対する該カメラの視線の角度とを含むカメラパラメータを求めるカメラパラメータ特定装置であって、
    上記カメラによる撮影画像を含む2次元領域において上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内の不特定な位置に存在する該撮影画像を該カメラから取得する画像取得手段と、
    上記画像取得手段によって取得された上記撮影画像に基づいて上記2次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定手段と、
    上記位置特定手段によって特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算手段と、
    を具備し、
    上記指標は、複数の第1直線を形成可能な第1部分と、複数の第2直線を形成可能な第2部分と、を有し、
    上記複数の第1直線は、上記撮影範囲を含む3次元空間においては上記基準平面に垂直な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記複数の第2直線は、上記3次元空間においては上記基準平面に平行な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記位置特定手段は、上記2次元領域における上記複数の第1直線の収束点を上記垂直消失点として該垂直消失点の位置を特定すると共に、該2次元領域における上記複数の第2直線の収束点を上記水平消失点として該水平消失点の位置を特定し、
    上記パラメータ演算手段は、上記位置特定手段によって特定された上記垂直消失点および上記水平消失点それぞれの位置から上記撮影画像の中心までの距離であって該撮影画像の中心と該垂直消失点とを通る直線に沿う方向における該距離に基づいて少なくとも上記焦点距離と上記角度とを求める、
    カメラパラメータ特定装置。
  2. 上記撮影画像の水平方向が上記基準平面に平行を成すように上記カメラが設置された、
    請求項1に記載のカメラパラメータ特定装置。
  3. 上記撮影画像の水平方向が上記基準平面に非平行となるように上記カメラが設置されており、この条件下で、
    上記撮影画像の水平方向の上記基準平面に対する偏角を求める偏角演算手段と、
    上記偏角に基づいて該偏角がゼロであると仮定したときの上記垂直消失点および上記水平消失点それぞれの上記2次元領域における位置を仮想する位置仮想手段と、
    をさらに具備し、
    上記パラメータ演算手段は上記位置仮想手段によって仮想された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求める、
    請求項1に記載のカメラパラメータ特定装置。
  4. 上記2次元領域に2次元の画像座標系が設定されており、
    上記位置特定手段は上記垂直消失点および上記水平消失点それぞれの位置を上記画像座標系における座標値で特定する、
    請求項1ないし3のいずれかに記載のカメラパラメータ特定装置。
  5. 基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と該基準平面に対する該カメラの視線の角度とを含むカメラパラメータを求めるカメラパラメータ特定装置であって、
    上記カメラによる撮影画像を含む2次元領域において上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内の不特定内位置に存在する該撮影画像を該カメラから取得する画像取得手段と、
    上記画像取得手段によって取得された上記撮影画像に基づいて上記2次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定手段と、
    上記位置特定手段によって特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算手段と、
    を具備し、
    上記指標は、複数の第1直線を形成可能な第1部分と、複数の第2直線を形成可能な第2部分と、を有し、
    上記複数の第1直線は、上記撮影範囲を含む3次元空間においては上記基準平面に垂直な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記複数の第2直線は、上記3次元空間においては上記基準平面に平行な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記位置特定手段は、上記2次元領域における上記複数の第1直線の収束点を上記垂直消失点として該垂直消失点の位置を特定すると共に、該2次元領域における上記複数の第2直線の収束点を上記水平消失点として該水平消失点の位置を特定し、
    その上で、上記2次元領域に2次元の画像座標系が設定されており、
    上記位置特定手段は上記垂直消失点および上記水平消失点それぞれの位置を上記画像座標系における座標値で特定し、
    併せて、上記3次元空間に3次元の世界座標系が設定されており、
    上記世界座標系における座標値を構成する3つの要素値のうち少なくとも1つが既知である上記3次元空間における任意の2点間の距離を基準距離として設定する基準距離設定手段と、
    上記基準距離に基づいて上記基準平面から上記カメラまでの距離を含む上記3次元空間における該カメラの位置を求めるカメラ位置演算手段と、
    上記カメラの位置を含む上記カメラパラメータに基づいて上記画像座標系および上記世界座標系の一方における任意の座標値に対応する他方における座標値を求める座標変換手段と、をさらに備える
    メラパラメータ特定装置。
  6. 基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と該基準平面に対する該カメラの視線の角度とを含むカメラパラメータを求めるカメラパラメータ特定方法であって、
    上記カメラによる撮影画像を含む2次元領域において上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内の不特定な位置に存在する該撮影画像を該カメラから取得する画像取得過程と、
    上記画像取得過程で取得された上記撮影画像に基づいて上記2次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定過程と、
    上記位置特定過程で特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算過程と、
    を具備し、
    上記指標は、複数の第1直線を形成可能な第1部分と、複数の第2直線を形成可能な第2部分と、を有し、
    上記複数の第1直線は、上記撮影範囲を含む3次元空間においては上記基準平面に垂直な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記複数の第2直線は、上記3次元空間においては上記基準平面に平行な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記位置特定過程では、上記2次元領域における上記複数の第1直線の収束点を上記垂直消失点として該垂直消失点の位置を特定すると共に、該2次元領域における上記複数の第2直線の収束点を上記水平消失点として該水平消失点の位置を特定し、
    上記パラメータ演算過程では、上記位置特定過程で特定された上記垂直消失点および上記水平消失点それぞれの位置から上記撮影画像の中心までの距離であって該撮影画像の中心と該垂直消失点とを通る直線に沿う方向における該距離に基づいて少なくとも上記焦点距離と上記角度とを求める、
    カメラパラメータ特定方法。
  7. 基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と該基準平面に対する該カメラの視線の角度とを含むカメラパラメータを求めるカメラパラメータ特定プログラムであって、
    上記カメラによる撮影画像を含む2次元領域において上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内の不特定な位置に存在する該撮影画像を該カメラから取得する画像取得手順と、
    上記画像取得手順で取得された上記撮影画像に基づいて上記2次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定手順と、
    上記位置特定手順で特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算手順と、
    をコンピュータに実行させ、
    上記指標は、複数の第1直線を形成可能な第1部分と、複数の第2直線を形成可能な第2部分と、を有し、
    上記複数の第1直線は、上記撮影範囲を含む3次元空間においては上記基準平面に垂直な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記複数の第2直線は、上記3次元空間においては上記基準平面に平行な方向に延伸すると共に互いに距離を置いて平行であり、上記2次元領域においては互いに非平行であると共に1点で収束し、
    上記位置特定手順では、上記2次元領域における上記複数の第1直線の収束点を上記垂直消失点として該垂直消失点の位置を特定すると共に、該2次元領域における上記複数の第2直線の収束点を上記水平消失点として該水平消失点の位置を特定し、
    上記パラメータ演算手順では、上記位置特定手順で特定された上記垂直消失点および上記水平消失点それぞれの位置から上記撮影画像の中心までの距離であって該撮影画像の中心と該垂直消失点とを通る直線に沿う方向における該距離に基づいて少なくとも上記焦点距離と上記角度とを求める、
    カメラパラメータ特定プログラム。
JP2008183589A 2008-07-15 2008-07-15 カメラパラメータ特定装置および方法ならびにプログラム Active JP5079614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008183589A JP5079614B2 (ja) 2008-07-15 2008-07-15 カメラパラメータ特定装置および方法ならびにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008183589A JP5079614B2 (ja) 2008-07-15 2008-07-15 カメラパラメータ特定装置および方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2010025569A JP2010025569A (ja) 2010-02-04
JP5079614B2 true JP5079614B2 (ja) 2012-11-21

Family

ID=41731561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008183589A Active JP5079614B2 (ja) 2008-07-15 2008-07-15 カメラパラメータ特定装置および方法ならびにプログラム

Country Status (1)

Country Link
JP (1) JP5079614B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181063A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 計算装置、計算方法及び計算プログラム
JP6213106B2 (ja) * 2013-09-27 2017-10-18 サクサ株式会社 画像処理装置
KR102225620B1 (ko) 2014-04-03 2021-03-12 한화테크윈 주식회사 카메라 모델링 시스템
CN109685855B (zh) * 2018-12-05 2022-10-14 长安大学 一种道路云监控平台下的摄像机标定优化方法
CN111508027B (zh) * 2019-01-31 2023-10-20 杭州海康威视数字技术股份有限公司 摄像机外参标定的方法和装置
JP7282578B2 (ja) * 2019-04-12 2023-05-29 俊雄 川口 角度測定装置、距離測定装置、速度測定装置、標高測定装置、座標測定装置、角度測定方法、およびプログラム
CN109916341B (zh) * 2019-04-22 2020-08-25 苏州华兴源创科技股份有限公司 一种产品表面水平倾斜角度的测量方法及系统
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技(北京)有限公司 一种相机外参数校正系统与方法
US20240135584A1 (en) * 2019-10-24 2024-04-25 Nec Corporation Camera calibration apparatus, camera calibration method, and non-transitory computer readable medium
CN113421307B (zh) * 2021-06-22 2022-11-22 恒睿(重庆)人工智能技术研究院有限公司 一种目标定位方法、装置、计算机设备和存储介质
CN113628238B (zh) * 2021-07-22 2023-09-22 中汽创智科技有限公司 一种目标对象的定位方法、装置及介质
CN114446088B (zh) * 2022-02-16 2022-12-16 成都宜泊信息科技有限公司 一种车位管理方法、管理系统、存储介质、电子设备
JP2024002479A (ja) * 2022-06-24 2024-01-11 日立Astemo株式会社 画像処理装置および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2903964B2 (ja) * 1993-09-29 1999-06-14 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP3104638B2 (ja) * 1996-03-25 2000-10-30 株式会社日立製作所 3次元画像作成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法
CN105987683B (zh) * 2015-04-16 2018-03-27 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法

Also Published As

Publication number Publication date
JP2010025569A (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
JP5079614B2 (ja) カメラパラメータ特定装置および方法ならびにプログラム
JP4886560B2 (ja) 情報処理装置、情報処理方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP2615580B1 (en) Automatic scene calibration
JP6011548B2 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP5746477B2 (ja) モデル生成装置、3次元計測装置、それらの制御方法及びプログラム
WO2022188094A1 (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
JP2015532077A (ja) 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
JP6479296B2 (ja) 位置姿勢推定装置および位置姿勢推定方法
EP3300025B1 (en) Image processing device and image processing method
JP5079547B2 (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
JP7419999B2 (ja) 情報処理装置および情報処理方法
George et al. Towards drone-sourced live video analytics for the construction industry
CN114536292A (zh) 基于复合标识的误差检测方法及机器人系统
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN114536399B (zh) 基于多个位姿标识的误差检测方法及机器人系统
JP4694624B2 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
Gleichauf et al. Sensor fusion of a 2D laser scanner and a thermal camera
KR100991570B1 (ko) 다양한 형태를 갖는 간판크기를 원격으로 측정하는 방법 및그 방법을 이용한 간판크기 원격 측정 장치
JP2005326283A (ja) 位置姿勢計測方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5079614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250