JP6192157B2 - 計測装置及びそのプログラム - Google Patents

計測装置及びそのプログラム Download PDF

Info

Publication number
JP6192157B2
JP6192157B2 JP2013086217A JP2013086217A JP6192157B2 JP 6192157 B2 JP6192157 B2 JP 6192157B2 JP 2013086217 A JP2013086217 A JP 2013086217A JP 2013086217 A JP2013086217 A JP 2013086217A JP 6192157 B2 JP6192157 B2 JP 6192157B2
Authority
JP
Japan
Prior art keywords
measurement
distance
camera
point
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013086217A
Other languages
English (en)
Other versions
JP2014211311A (ja
Inventor
長谷川 浩司
浩司 長谷川
浜田 正稔
正稔 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2013086217A priority Critical patent/JP6192157B2/ja
Publication of JP2014211311A publication Critical patent/JP2014211311A/ja
Application granted granted Critical
Publication of JP6192157B2 publication Critical patent/JP6192157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Description

本発明は、微分形式の動座標系を用いて、計測点と計測対象点との距離を計測する計測装置及びそのプログラムに関する。
従来から、計測技術として、三点からの距離を用いる三点法が知られている。この計測技術は、無線、赤外線、レーザ、カメラなどの計測手段を用いて実現されている。近年、IT産業の進展に伴い、例えば、ゲームソフト製作の人体構造生成技術や動画像処理技術の分野でも、このような計測技術が利用されている(非特許文献1,2)。
また、従来から、三点法以外の計測技術も知られている(非特許文献3)。この非特許文献3に記載の技術は、計測対象物の付近にある、サイズが既知のスケールを撮影することで、このスケールを基準として、計測対象物の位置及び寸法を求めるものである。
株式会社エル・エー・ビー、モーションキャプチャ&アニメーション統合ソフトウェア「PV STUDIO 3D」、http://www.privatestudio.co.jp/pvs3d.html 株式会社ライブラリー、動画像処理専用機「なのはなシリーズ」、http://www.library-inc.co.jp/products/nanohana/03.htm 株式会社アイティーティー、単眼ビデオカメラによるリアルタイム三次元計測「シングルビュー 3D」、http://www.ittc.co.jp/sproduct/photocalc/SingleView3D/SingleView3D.htm
しかし、前記した計測技術では、静止座標系を用いているため、バイアス誤差及びランダム誤差などの誤差に関する問題と、計測点数及び不定に関する問題とが生じる。計測点(基準点)又は計測対象点の一方が移動する場合、これら問題の影響を受け、特に、計測点と計測対象点の双方が移動する場合、これら問題が顕著となる。
まず、誤差に関する問題について説明する。
任意点Pの位置の真値を(x^,y^,z^)とし、計測誤差を(ε,ε,ε)とする。この場合、任意点Pの位置の計測値が(x^+ε,y^+ε,z^+ε)となり、静止座標系では個々の計測値の真値に誤差が加算されることになる。
次に、計測点数及び不定に関する問題について説明する。
非特許文献1,2に記載の技術では、三点法の原理により3点以上の計測が必要になり、誤差を軽減するためには多くの計測点(例えば、非特許文献2に記載の技術では8点)が必要となる。また、非特許文献3に記載の技術では、計測点が3点未満のため、寸法が既知のスケールが複数(例えば、5点)必要になる。そして、非特許文献1〜3に記載の技術では、それぞれの計測条件が整わない場合、計測値が不定になるという問題がある。
そこで、本願発明は、前記した問題を解決し、正確な計測を可能とした計測装置及びそのプログラムを提供することを課題とする。
前記した課題に鑑みて、本願第1発明に係る計測装置は、距離の計測基準となる計測基準物と、距離の計測対象である計測対象物との両方が移動しているときに、計測基準物が位置する計測点と計測対象物が位置する計測対象点との距離を計測する計測装置であって、角度算出手段と、距離算出手段と、を備えることを特徴とする。
かかる構成によれば、計測装置は、角度算出手段によって、時刻t,t+1の計測値として、計測基準物の位置 ,P t+1 及び計測対象物に対する計測基準物の方向D ,D t+1 を示す位置方向情報が入力され、計測基準物の位置P ,P t+1 について時刻t,t+1の差分ΔP t+1 、及び、計測基準物の方向D ,D t+1 について時刻t,t+1の差分Δφ t+1 ,Δθ t+1 (但し、φ t+1 がX軸及びY軸上での方向、θ t+1 がX軸、Y軸及びZ軸上での方向)を式(1)に示すように動座標基底ベクトルE1 t+1 ,E2 t+1 ,E3 t+1 に分解することで、微分形式の動座標系で前記方向の変化を示す角度Δφ t+1 ,Δθ t+1 を算出する。
この位置方向情報は、計測基準物の位置と、計測対象物に対する計測基準物の方向とを示す。
また、計測装置は、距離算出手段によって、式(2)及び式(3)で表される距離算出式により、動座標基底ベクトルE1 t+1 ,E2 t+1 ,E3 t+1 と、角度Δφ t+1 ,Δθ t+1 とに基づいて、微分形式の動座標系で計測点と計測対象点との距離 t+1 を算出する。
ここで、任意点Pの位置の真値を(x^,y^,z^)とし、(P+ΔP)点の位置の真値を(x^+Δx^,y^+Δy^,z^+Δz^)とし、P点とΔP点との位置の計測誤差を(ε,ε,ε)とする。この場合、(P+ΔP)点とP点との位置の差が(Δx^,Δy^,Δz^)となり、バイアス誤差が相殺される。このように、計測装置は、相対的な角度を算出することで、誤差を相殺することができる。
また、前記した課題に鑑みて、参考発明に係る計測装置は、距離の計測基準となる計測基準物と、距離の計測対象である計測対象物との少なくとも一方が静止しているときに、計測基準物が位置する計測点と計測対象物が位置する計測対象点との距離を計測する計測装置であって、角度算出手段と、距離算出手段と、を備えることを特徴とする。
かかる構成によれば、計測装置は、角度算出手段によって、位置方向情報と、スケール情報とが入力され、位置方向情報及びスケール情報を動座標基底ベクトルに分解することで、微分形式の動座標系で方向の変化を示す角度を算出する。
このスケール情報は、距離を計測するためのスケールの寸法を示す。
また、計測装置は、距離算出手段によって、角度算出手段で算出した角度から、動座標数理により、微分形式の動座標系で計測点と計測対象点との距離を算出する。
ここで、任意点Pの位置の真値を(x^,y^,z^)とし、(P+ΔP)点の位置の真値を(x^+Δx^,y^+Δy^,z^+Δz^)とし、P点とΔP点との位置の計測誤差を(ε,ε,ε)とする。この場合、(P+ΔP)点とP点との位置の差が(Δx^,Δy^,Δz^)となり、バイアス誤差が相殺される。このように、計測装置は、相対的な角度を算出することで、誤差を相殺することができる。
また、本願第発明に係る計測装置は、計測基準物としての撮影カメラで撮影された撮影画像に含まれる計測対象物をテンプレートマッチングにより抽出し、抽出した計測対象物を近似する図形に変換することで、撮影画像に含まれる計測対象物を認識する計測対象物認識手段と、角度算出手段で算出された角度と、距離算出手段で算出された距離と、計測対象物認識手段で認識された計測対象物の面積とを用いて、撮影カメラを制御するカメラ制御手段と、をさらに備えることを特徴とする。
かかる構成によれば、計測装置は、計測対象物を向くように撮影カメラを正確に制御することができる。
また、本願第発明に係る計測装置は、位置方向情報が示す計測点の位置及び方向と、距離算出手段で算出された距離とから、予め設定された位置算出式により、計測対象点の位置を算出する位置算出手段、をさらに備えることを特徴とする。
なお、本願第発明に係る計測装置は、コンピュータが備えるCPU(Central Processing Unit)、メモリ、HDD(Hard Disk Drive)などのハードウェア資源を、前記した各手段として協調動作させるための計測プログラムとして実現することもできる。この計測プログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい(本願第発明)。
本願発明によれば、以下のような優れた効果を奏する。
本願第1,発明によれば、相対的な角度を算出するため、誤差が相殺され、正確に計測を行うことができる。
本願第発明によれば、計測対象物を向くように撮影カメラを正確に制御することができる。
本願第発明によれば、正確な計測対象物の位置を提示することができる。
本願発明の第1,2実施形態に係る位置計測装置の構成を示すブロック図である。 本願発明の第1実施形態において、対象物の変換を説明する説明図であり、(a)はカメラ映像から抽出した対象物を示し、(b)は対象物に近似する形状の図形を示す。 本願発明の第1実施形態において、カメラ位置情報及び撮影方向情報を説明する説明図である。 本願発明の第1実施形態において、動座標基底ベクトルへの分解を説明する説明図である。 図1の位置計測装置の動作を示すフローチャートである。 本願発明の第2実施形態において、スケールを説明する説明図である。 本願発明の第2実施形態において、動座標基底ベクトルへの分解を説明する説明図である。 本願発明の第3実施形態に係るカメラ制御装置の構成を示すブロック図である。 本願発明の第3実施形態において、動座標基底ベクトルへの分解を説明する説明図である。 本願発明の第3実施形態において、角度及び距離の算出を説明する説明図であり、(a)は仮想的な2台の撮影カメラを示し、(b)は(a)の一点鎖線部分の拡大図であり、(c)は(b)の交点部分の拡大図である。 本願発明の第3実施形態において、距離の移動平均を説明する説明図である。 本願発明に係る計測装置の構成を示すブロック図である。 参考例1において、計測装置の動作原理を説明する説明図である。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
[位置計測装置の概略]
図1を参照し、位置計測装置1の概略について、説明する。
位置計測装置(計測装置)1は、計測基準物が位置する計測点と対象物が位置する計測対象点との距離を計測し、この距離に基づいて対象物の位置を計測するものである。
本実施形態では、距離の計測基準となる計測基準物が、1台の撮影カメラ92(図3)であることとする。この計測基準物は、撮影カメラ92に限定されず、無線器、赤外線照射装置又はレーザ照射装置であってもよい。
また、本実施形態では、距離の計測対象である対象物90(図3)が、撮影カメラ92で撮影される被写体であることとする。
なお、対象物90が、請求項に記載の計測対象物に相当する。
位置計測装置1は、撮影カメラ92及び対象物90の両方が移動する通常モード、又は、撮影カメラ92が静止する静止モードの何れかで処理を行うこととする。以下、第1実施形態で通常モードを説明した後、第2実施形態で静止モードを説明する。
(第1実施形態:通常モード)
[位置計測装置の構成]
位置計測装置1の構成について、説明する。
図1に示すように、位置計測装置1は、モード選択手段10と、対象物認識手段(計測対象物認識手段)11と、入力手段12と、動座標基底ベクトル分解手段(角度算出手段)13と、対象物位置検出手段14と、地図表示手段15とを備える。
モード選択手段10は、通常モード又は静止モードの何れか一方が、手動で選択されるものである。本実施形態では、モード選択手段10は、通常モードが予め選択されていることとする。つまり、位置計測装置1は、通常モードの場合、第1実施形態で説明する処理を行い、静止モードの場合、第2実施形態で説明する処理を行う。
また、モード選択手段10は、位置計測装置1が通常サンプリングを行う通常サンプリングモード、又は、高速サンプリングを行う高速サンプリングモードの何れか一方が、手動で選択されてもよい。例えば、モード選択手段10は、対象物が高速で移動する場合、高速サンプリングモードが選択される。そして、モード選択手段10は、通常サンプリングモード又は高速サンプリングモードを示す選択モード情報を、入力手段12に出力する。
対象物認識手段11は、撮影カメラ92で対象物が撮影されたカメラ映像(撮影画像)が入力され、このカメラ映像に含まれる対象物を認識するものである。そして、対象物認識手段11は、対象物の認識結果を入力手段12に出力する。
図2に示すように、対象物認識手段11は、カメラ映像に含まれる対象物90を抽出し、抽出した対象物90を近似する図形91に変換することが好ましい。例えば、対象物認識手段11は、対象物90を様々な角度から撮影した事前データ(テンプレート画像)を予め登録しておく。また、対象物認識手段11は、事前データを用いたテンプレートマッチングを行い、カメラ映像から対象物90を抽出する(図2(a))。そして、対象物認識手段11は、抽出した対象物90の輪郭に最も近い図形91を求める(図2(b))。すなわち、対象物認識手段11は、対象物90を、円形、矩形、三角形のように、この対象物90に近似した簡易な形状の図形91に変換する。これによって、対象物認識手段11は、対象物90の認識率を向上させることができる。
入力手段12は、外部から、カメラ情報と、カメラ位置情報と、撮影方向情報とが入力されるものである。また、入力手段12は、モード選択手段10から選択モード情報が入力され、対象物認識手段11から対象物90の認識結果が入力される。
カメラ情報は、撮影カメラ92のピントを示す情報である。
カメラ位置情報は、撮影カメラ92の位置を示す情報である。
撮影方向情報は、対象物90に対する撮影カメラ92の方向を示す情報である。
このカメラ位置情報及び撮影方向情報が、特許請求の範囲に記載の位置方向情報に相当する。
なお、入力手段12は、モード選択手段10から入力された選択モード情報が高速サンプリングモードを示す場合、高いサンプリング周波数で対象物90を認識することを対象物認識手段11に指示してもよい。
<カメラ位置情報及び撮影方向情報>
図3を参照し、カメラ位置情報及び撮影方向情報について、具体的に説明する(適宜図1参照)。
図3では、撮影カメラ92を黒丸で図示し、対象物90を黒三角で図示した(図4,図6,図7も同様)。また、図3では、時刻tにおける対象物の位置を符号90と図示し、時刻t+1における対象物の位置を符号90t+1と図示した(図4も同様)。
図3に示すように、入力手段12は、時刻tの計測値として、カメラ位置P=(x,y,z)を示すカメラ位置情報と、撮影方向D=(φt,θ)を示す撮影方向情報とが入力される。この撮影方向Dは、カメラ位置Pから対象物の位置90を指している。また、時刻tにおいて、φがX軸及びY軸上での撮影方向を示し、θがX軸、Y軸及びZ軸上での撮影方向を示している。
また、入力手段12は、時刻t+1の計測値として、カメラ位置Pt+1=(xt+1,yt+1,zt+1)を示すカメラ位置情報と、撮影方向Dt+1=(φt+1,θt+1)を示す撮影方向情報とが入力される。この撮影方向Dt+1は、カメラ位置Pt+1から対象物の位置90t+1を指している。また、時刻t+1において、φt+1がX軸及びY軸上での撮影方向を示し、θt+1がX軸、Y軸及びZ軸上での撮影方向を示している。
このように、入力手段12は、時刻t,t+1という2点分のカメラ位置情報及び撮影方向情報が入力される。そして、入力手段12は、入力された2点分のカメラ位置P,Pt+1と、撮影方向D,Dt+1と、対象物90の認識結果とを、動座標基底ベクトル分解手段13に出力する。
図1に戻り、位置計測装置1の構成について、説明を続ける。
動座標基底ベクトル分解手段13は、入力手段12から入力された2点分のカメラ位置情報及び撮影方向情報の差分を動座標基底ベクトルに分解することで、微分形式の動座標系で撮影方向の変化を示す角度を算出するものである。
この角度は、後記する差分(Δφt+1,Δθt+1)のことである。
<動座標基底ベクトルへの分解>
図4を参照し、動座標基底ベクトルへの分解について、具体的に説明する(適宜図1参照)。
図4に示すように、動座標基底ベクトル分解手段13は、カメラ位置P,Pt+1について、時刻tと時刻t+1との差分ΔPt+1=(xt+1−x,yt+1−y,zt+1−z)を算出する。また、動座標基底ベクトル分解手段13は、撮影方向D,Dt+1について、時刻tと時刻t+1との差分(Δφt+1,Δθt+1)=(φt+1−φ,θt+1−θ)を算出する。
そして、動座標基底ベクトル分解手段13は、下記の式(1)に示すように、カメラ位置の差分ΔPt+1と、撮影方向の差分Δφt+1,Δθt+1とを、動座標基底ベクトルE1t+1,E2t+1,E3t+1に分解する。
Figure 0006192157
微分形式(微分又は差分)の動座標系は、動座標数理を用いた座標系であり、例えば、下記の参考文献1,2に記載されている。
参考文献1:栗田稔、“微分形式とその応用”、2002年6月22日、現代数学社
参考文献2:H.フランダース、“微分形式の理論”、1967年6月30日、岩波書店
動座標基底ベクトルとは、微分形式の動座標系を表すための基底ベクトルのことである。ここで、微分形式の動座標系が3次元であるため、3つの動座標基底ベクトルE1t+1,E2t+1,E3t+1が用いられる。
その後、動座標基底ベクトル分解手段13は、撮影方向D,Dt+1の変化を示す角度Δφt+1,Δθt+1を対象物位置検出手段14に出力する。さらに、動座標基底ベクトル分解手段13は、動座標基底ベクトルE1t+1,E2t+1,E3t+1と、カメラ位置Pt+1と、撮影方向Dt+1とを、対象物位置検出手段14に出力する。
図1に戻り、位置計測装置1の構成について、説明を続ける。
対象物位置検出手段14は、動座標基底ベクトル分解手段13より入力された角度Δφt+1,Δθt+1から、動座標数理により、微分形式の動座標系で計測点と計測対象点との距離を算出するものである。さらに、対象物位置検出手段14は、算出した距離と、カメラ位置Pt+1と、撮影方向Dt+1とから、予め設定された位置算出式により、計測対象点の位置を算出する。
この対象物位置検出手段14が、特許請求の範囲に記載の距離算出手段及び位置算出手段に相当する。
具体的には、対象物位置検出手段14は、式(2)及び式(3)で表される距離算出式により、動座標基底ベクトルE1t+1,E2t+1,E3t+1と、角度Δφt+1,Δθt+1とに基づいて、計測点から計測対象点までの距離rt+1を算出する。
Figure 0006192157
Figure 0006192157
次に、対象物位置検出手段14は、式(4)で表される位置算出式により、カメラ位置Pt+1=(xt+1,yt+1,zt+1)と、撮影方向Dt+1=(φt+1,θt+1)と、距離rt+1とに基づいて、対象物の位置Pmt+1を算出する。
Figure 0006192157
その後、対象物位置検出手段14は、算出した対象物の位置Pmt+1を、地図表示手段15に出力する。
地図表示手段15は、対象物位置検出手段14から入力された対象物の位置Pmt+1を、地図上に表示するものである。例えば、地図表示手段15は、この対象物の位置Pmt+1を地図座標系に変換して、変換された対象物の位置Pmt+1を示すマーカを、ディスプレイに表示された地図に合成する。
[位置計測装置の動作]
図5を参照し、位置計測装置1の動作について、説明する(適宜図1参照)。
位置計測装置1は、対象物認識手段11によって、カメラ映像に含まれる対象物90を認識する(ステップS1)。
位置計測装置1は、入力手段12によって、カメラ情報、カメラ位置情報、撮影方向情報などの各種情報が入力される(ステップS2)。
位置計測装置1は、動座標基底ベクトル分解手段13によって、動座標基底ベクトルへの分解を行う(ステップS3)。
位置計測装置1は、対象物位置検出手段14によって、微分形式の動座標系で計測点と計測対象点との距離を算出する(ステップS4)。
位置計測装置1は、対象物位置検出手段14によって、計測対象点の位置を算出する(ステップS5)。
位置計測装置1は、地図表示手段15によって、対象物の位置Pmt+1を地図上に表示する(ステップS6)。
[作用・効果]
以上のように、位置計測装置1は、相対的な角度Δφt+1,Δθt+1を算出するため、バイアス誤差を相殺し、正確に距離rt+1を算出することができる。その結果、位置計測装置1は、対象物の正確な位置Pmt+1を地図上に表示することができる。
さらに、位置計測装置1は、時刻t,時刻t+1,…というように順次処理を繰り返すことで、対象物認識手段11における対象物の認識結果に基づいて、移動する対象物を補足(追跡)し、その位置を地図上にリアルタイムで表示することができる。
なお、位置計測装置1(対象物位置検出手段14)は、例えば、撮影カメラ92が自動でピントを合わせる場合、カメラ情報を用いて、撮影カメラから対象物までの距離を求めてもよい。
(第2実施形態:静止モード)
[位置計測装置の構成]
図1に戻り、位置計測装置1Bの構成について、第1実施形態と異なる点を説明する。
本実施形態では、第1実施形態と異なり、撮影カメラが静止し、対象物が移動していることとする。従って、モード選択手段10では、静止モードが予め選択されている。
また、本実施形態では、位置計測装置1を符号1Bと記載し、入力手段12を符号12Bと記載し、動座標基底ベクトル分解手段13を符号13Bと記載し、対象物位置検出手段14を符号14Bと記載し、第1実施形態と区別することとした。
なお、対象物認識手段11及び地図表示手段15は、第1実施形態と同様のため、説明を省略する。
入力手段12Bは、外部から、カメラ情報、カメラ位置情報及び撮影方向情報に加え、スケール情報がさらに入力されるものである。
図6に示すように、スケール93とは、対象物90の付近にあり、距離を計測するための物体(例えば、普通自動車)である。
スケール情報とは、スケール93の寸法を示す情報である。図6の例では、スケール情報は、普通自動車の高さが1.5メートルで幅が2メートルといった情報である。この他、スケール情報は、電柱の高さが14メートル、大人の身長が1.6メートル、又は、2階建て住居の高さが6メートルといった情報であってもよい。
そして、入力手段12Bは、カメラ位置P=(x,y,z)と、撮影方向D=(φt,θ)と、対象物90の認識結果と、スケールΔP=(Δx,Δy,Δz)とを、動座標基底ベクトル分解手段13Bに出力する。
動座標基底ベクトル分解手段13Bは、入力手段12Bから入力された撮影方向情報とスケール情報とを動座標基底ベクトルに分解することで、微分形式の動座標系で撮影方向の変化を示す角度を算出するものである。
<動座標基底ベクトルへの分解>
図7を参照し、動座標基底ベクトルへの分解について、具体的に説明する(適宜図1参照)。
図7に示すように、動座標基底ベクトル分解手段13Bは、下記の式(5)に示すように、撮影方向D=(φt,θ)と、対象物の認識結果と、スケール情報ΔP=(Δx,Δy,Δz)とを、動座標基底ベクトルE1,E2,E3に分解する。
Figure 0006192157
その後、動座標基底ベクトル分解手段13Bは、撮影方向Dの変化を示す角度Δφ,Δθを対象物位置検出手段14Bに出力する。さらに、動座標基底ベクトル分解手段13Bは、動座標基底ベクトルE1,E2,E3と、カメラ位置Pと、撮影方向Dとを、対象物位置検出手段14Bに出力する。
図1に戻り、位置計測装置1Bの構成について、説明を続ける。
対象物位置検出手段14Bは、動座標基底ベクトル分解手段13Bより入力された角度Δφ,Δθから、動座標数理により、微分形式の動座標系で計測点と計測対象点との距離を算出するものである。さらに、対象物位置検出手段14Bは、算出した距離と、カメラ位置Pと、撮影方向Dとから、予め設定された位置算出式により、計測対象点の位置を算出する。
具体的には、対象物位置検出手段14Bは、式(6)で表される距離算出式により、動座標基底ベクトルE2,E3と、角度Δφ,Δθと、撮影方向φとに基づいて、計測点から計測対象点までの距離rを算出する。
Figure 0006192157
次に、対象物位置検出手段14Bは、式(7)で表される位置算出式により、カメラ位置P=(x,y,z)と、撮影方向D=(φt,θ)と、距離rとに基づいて、対象物の位置Pmを算出する。
Figure 0006192157
その後、対象物位置検出手段14Bは、算出した対象物の位置Pmを、地図表示手段15に出力する。
[作用・効果]
以上のように、位置計測装置1Bは、撮影カメラが静止している場合でも、第1実施形態と同様の効果を奏する。
また、第1,2実施形態では、対象物が移動することとして説明したが、撮影カメラ(計測基準物)が移動し、対象物(計測対象物)が移動又は静止してもよい。
(第3実施形態)
[カメラ制御装置の構成]
図8を参照し、カメラ制御装置2の構成について、説明する。
カメラ制御装置(計測装置)2は、計測点と計測対象点との方向が変化した角度、及び、計測点と計測対象点との距離を算出し、これら角度及び距離に基づいて、撮影カメラ92を制御するものである。図8に示すように、カメラ制御装置2は、対象物認識手段20と、角度算出手段21,21と、距離算出手段22と、面積算出手段23と、ズーム制御手段24と、パン・チルト制御手段25とを備える。
本実施形態では、計測基準物が静止した被写体90(図3)であり、対象物が撮影カメラ92であることとする。
また、本実施形態では、1台の撮影カメラ92が移動することとし、移動前の撮影カメラ92と、移動後の撮影カメラ92とを仮想的に2台の撮影カメラ92として扱うこととする。
以後、1台目の撮影カメラに符号92を付し、2台目の撮影カメラに符号92を付して説明する。
撮影カメラ92は、カメラ本体92aと、雲台92bとを備える。
カメラ本体92aは、ズーム制御信号に基づいて、レンズのズームを駆動する。
雲台92bは、カメラ本体92aを搭載すると共に、パン・チルト制御信号に基づいて、カメラ本体92aをパン方向及びチルト方向に駆動する。
対象物認識手段20は、画像認識・追跡手段20,20を備える。
画像認識・追跡手段20は、撮影カメラ92のカメラ映像(撮影画像)が入力され、このカメラ映像に含まれる被写体90を認識するものである。そして、対象物認識手段20は、被写体90の認識結果(画面上の座標)を角度算出手段21及び面積算出手段23に出力する。
画像認識・追跡手段20は、撮影カメラ92のカメラ映像を対象とする以外、画像認識・追跡手段20と同様のため、説明を省略する。
角度算出手段21は、撮影カメラ92について、カメラ位置情報及び撮影方向情報の差分を動座標基底ベクトルに分解することで、微分形式の動座標系で方向の変化を示す角度を算出するものである。
なお、本実施形態では、被写体90の位置が既知(固定)であり、撮影カメラ92に対する姿勢制御の結果として、撮影方向が定まるため、カメラ位置情報及び撮影方向情報を外部から入力せずともよい。
具体的には、角度算出手段21は、図9に示すように、下記の式(8)〜式(10)を用いて、動座標基底ベクトルex1〜ez3への分解を行い、角度φθを算出する。
この図9では、撮影カメラ92が原点O=(0,0,0)に位置し、撮影カメラ92(図9では省略)が任意の場所に位置することとする。また、被写体90の位置Pは、デカルト座標で(x,y,z)で表される。また、点O−P間の距離がrである。すなわち、この図9は、デカルト座標(x,y,z)と、球座標系(r,θ,φ)との対応関係を表している。ここで、距離rも、距離の差分drも未知であることとする。
Figure 0006192157
Figure 0006192157
Figure 0006192157
その後、角度算出手段21は、算出した動座標基底ベクトルex1〜ez3と、角度φθとを、距離算出手段22に出力する。
角度算出手段21は、撮影カメラ92を対象とする以外、角度算出手段21と同様のため、説明を省略する。
距離算出手段22は、角度算出手段21,21より入力された角度から、動座標数理により、微分形式の動座標系で計測点と計測対象点との距離を算出するものである。
ここで、距離rを求める説明を簡易にするため、式(9)のdx及びdyが変化し、dzが一定の場合を考える。すなわち、dz=0、dθ=0、sinθ=1が成立する。この場合、下記の式(11)から式(12)を導き出すことができる。
Figure 0006192157
Figure 0006192157
そして、式(12)を下記の式(13)に代入して、式(14)を導き出すことができる。さらに、式(14)を距離rで解いて、式(15)を導き出すことができる。従って、距離算出手段22は、式(15)で表される距離算出式を用いて、距離rを算出する。
Figure 0006192157
Figure 0006192157
Figure 0006192157
ここで、dφを微小とし、dφがsindφに近似する場合、下記の式(16)が成立する。従って、距離算出手段22は、下記の式(17)及び式(18)を用いて、距離の差分drを算出する。ここで、dsは、任意の2点間の距離を表す。
Figure 0006192157
Figure 0006192157
Figure 0006192157
図10(a)に示すように、時刻tにおける撮影カメラ92を符号92で図示し、時刻t+1における撮影カメラ92を符号92t+1で図示した。この場合、図10(b)に示すように、距離算出手段22は、撮影カメラ92t,92t+1の光軸交点で、基底による動きの抽出を行って、時刻tにおける距離方向の基底ベクトルertと、角度方向の基底ベクトルeθt,eφtとを抽出する(時刻t+1も同様)。図10(c)に示すように、距離算出手段22は、動座標数理による動きの接続を行って、基底ベクトルertと基底ベクトルert+1との差分を、距離の差分drとして算出する。
その後、距離算出手段22は、距離r及び距離の差分drをズーム制御手段24に出力し、角度φθをパン・チルト制御手段25に出力する。
なお、距離算出手段22に入力された直交座標は、デカルト座標系で撮影カメラ92と被写体90との位置を表すために用いられる。
図8に戻り、カメラ制御装置2の構成について、説明を続ける。
面積算出手段23は、角度算出手段21,21から入力された被写体90の面積を算出するものである。例えば、面積算出手段23は、被写体90のエッジを抽出し、このエッジ領域の面積を求める。そして、面積算出手段23は、算出した被写体90の面積をズーム制御手段24に出力する。
ズーム制御手段24は、距離算出手段22から入力された距離r及び距離の差分drと、面積算出手段23から入力された被写体90の面積とに基づいて、撮影カメラ92(カメラ本体92a)のズームを制御するものである。
例えば、ズーム制御手段24は、距離rが遠くなる程、撮影カメラ92がズームインし、距離rが近くなる程、撮影カメラ92がズームアウトするようなズーム制御信号を生成し、カメラ本体92aに出力する。
このとき、ズーム制御手段24は、距離rの移動平均を用いて、ズーム制御を行うことが好ましい。図11に示すように、ズーム制御手段24は、距離rの計算値(黒丸で図示)から、距離rの移動平均94を算出する。そして、ズーム制御手段24は、この移動平均94で表される距離rに基づいて、ズーム制御信号を生成する。これによって、カメラ制御装置2は、ズーム制御の誤差を低減することができる。
また、例えば、ズーム制御手段24は、被写体90の面積が狭くなる程、撮影カメラ92がズームインし、被写体90の面積が広くなる程、撮影カメラ92がズームアウトするようなズーム制御信号を生成し、カメラ本体92aに出力する。
パン・チルト制御手段25は、距離算出手段22から入力された角度φθに基づいて、撮影カメラ92(雲台92b)のパン及びチルトを制御するものである。つまり、パン・チルト制御手段25は、この角度φθに基づいて、撮影カメラ92が被写体90を向くようなパン・チルト制御信号を生成し、雲台92bに出力する。
ズーム制御手段24及びパン・チルト制御手段25が、特許請求の範囲に記載のカメラ制御手段に相当する。
[作用・効果]
以上のように、カメラ制御装置2は、相対的な角度φ,θを算出するため、バイアス誤差が相殺され、正確に距離rを算出することができる。その結果、カメラ制御装置2は、被写体90を向くように撮影カメラ92を正確に制御することができる。
なお、前記した実施形態では、本願発明に係る計測装置の一例として、位置計測装置1,1B及びカメラ制御装置2を説明したが、本願発明はこれらに限定されない。すなわち、図12に示すように、本願発明に係る計測装置3は、角度算出手段21,21と、距離算出手段22とを備えることで、実現可能である。
また、第3実施形態では、被写体90の位置を計測しないこととして説明したが、図1の対象物位置検出手段14(14B)と同様の手法で、被写体90の位置を計測してもよい。この場合、カメラ制御装置2は、計測した被写体90の位置に基づいて、この撮影カメラ92のズーム比を制御することができる。
(参考例1:計測装置の動作原理)
図13を参照し、参考例1として、本願発明に係る計測装置の動作原理について、説明する。
図13に示すように、1台目の撮影カメラ92が原点(0,0,0)に配置され、2台目の撮影カメラ92が座標(x,y,z)に配置されていることとする。
また、対象物の位置がPからPに移動し、その移動量ΔP=(Δx,Δy,Δz)が不明であることとする。
また、撮影カメラ92から位置Pまでの距離がrであり、撮影カメラ92から位置Pまでの距離がr´である。
また、撮影カメラ92から位置Pまでの距離がrであり、撮影カメラ92から位置Pまでの距離がr´である。
また、Δr=r−rであり、Δr=r´−r´である。また、撮影カメラ92の角度がφ,θであり、撮影カメラ92の角度がφ,θである。
撮影カメラ92から見て、ΔPは、下記の式(19)で表すことができる。また、撮影カメラ92から見て、ΔPは、下記の式(20)で表すことができる。
Figure 0006192157
Figure 0006192157
式(19)及び式(20)より、距離r,rは、下記の式(21)で表すことができる。
Figure 0006192157
また、撮影カメラ92について、式(22)〜式(24)に示すように、角度φ1,θを動座標基底ベクトルe11,21,31に分解する。
Figure 0006192157
Figure 0006192157
Figure 0006192157
また、撮影カメラ92について、式(25)〜式(27)に示すように、角度φ2,θを動座標基底ベクトルe12,22,32に分解する。
Figure 0006192157
Figure 0006192157
Figure 0006192157
前記した式(21)〜式(27)を解くことで、距離r,rと、移動量ΔPとを求めることができる。
(参考例2:参考例1の別解法)
参考例2として、参考例1の別解法について、説明する。
ここで、動座標基底ベクトルe1,2,は、下記の式(28)で表される。また、移動量dP=P−Pは、下記の式(29)で表される。
Figure 0006192157
Figure 0006192157
式(28)及び式(29)を連立方程式で解くと、下記の式(30)が成立し、2台の撮影カメラ921,92から見て、移動量dPが等しくなる。この式(30)を、式(31)の微分方程式として解く。
Figure 0006192157
Figure 0006192157
なお、φA,θA,1A〜e3Aは、撮影カメラ92についての角度φθと、動座標基底ベクトルe〜eである。また、φB,θB,1B〜e3Bは、撮影カメラ92についての角度φθと、動座標基底ベクトルe〜eである。
ここで、式(32)が成立し、t=0のときにr=rであるから、式(33)が成立する。
Figure 0006192157
Figure 0006192157
式(33)の‘C’を式(32)に代入して式(34)が得られ、この式を2台の撮影カメラに対応した式(35)及び式(36)に変換する。
Figure 0006192157
Figure 0006192157
Figure 0006192157
ここで、式(37)のように位置Pを定義し、X軸方向で考えると、式(38)及び式(39)が成立する。
Figure 0006192157
Figure 0006192157
Figure 0006192157
また、X軸方向と同様、Y軸方向で考えると、式(40)及び式(41)が成立する。
Figure 0006192157
Figure 0006192157
また、X軸方向と同様、Z軸方向で考えると、式(42)及び式(43)が成立する。
Figure 0006192157
Figure 0006192157
前記した式(39)、式(41)及び式(43)により、距離rAx,rBx,rAy,rBy,rAz,rBzを求めることができる。以上のように、参考例1,2の何れでも、計算結果が一致する。
1,1B 位置計測装置
10 モード選択手段
11,20 対象物認識手段(計測対象物認識手段)
12,12B 入力手段
13,13B 動座標基底ベクトル分解手段(角度算出手段)
14,14B 対象物位置検出手段(距離算出手段及び位置算出手段)
15 地図表示手段
2 カメラ制御装置
20,20 画像認識・追跡手段
21,21 角度算出手段
22 距離算出手段
23 面積算出手段
24 ズーム制御手段(カメラ制御手段)
25 パン・チルト制御手段(カメラ制御手段)

Claims (4)

  1. 距離の計測基準となる計測基準物と、前記距離の計測対象である計測対象物との両方が移動しているときに、前記計測基準物が位置する計測点と前記計測対象物が位置する計測対象点との距離を計測する計測装置であって、
    時刻t,t+1の計測値として、前記計測基準物の位置 ,P t+1 及び前記計測対象物に対する計測基準物の方向D ,D t+1 を示す位置方向情報が入力され、前記計測基準物の位置P ,P t+1 について前記時刻t,t+1の差分ΔP t+1 、及び、前記計測基準物の方向D ,D t+1 について前記時刻t,t+1の差分Δφ t+1 ,Δθ t+1 (但し、φ t+1 がX軸及びY軸上での方向、θ t+1 がX軸、Y軸及びZ軸上での方向)を式(1)に示すように動座標基底ベクトルE1 t+1 ,E2 t+1 ,E3 t+1 に分解することで、微分形式の動座標系で前記方向の変化を示す角度Δφ t+1 ,Δθ t+1 を算出する角度算出手段と、
    Figure 0006192157
    式(2)及び式(3)で表される距離算出式により、前記動座標基底ベクトルE1 t+1 ,E2 t+1 ,E3 t+1 と、前記角度Δφ t+1 ,Δθ t+1 とに基づいて、前記微分形式の動座標系で前記計測点と前記計測対象点との距離 t+1 を算出する距離算出手段と、
    Figure 0006192157
    Figure 0006192157
    を備えることを特徴とする計測装置。
  2. 前記計測基準物としての撮影カメラで撮影された撮影画像に含まれる計測対象物をテンプレートマッチングにより抽出し、抽出した前記計測対象物を近似する図形に変換し、前記撮影画像に含まれる計測対象物を認識する計測対象物認識手段と、
    前記角度算出手段で算出された角度と、前記距離算出手段で算出された距離と、前記計測対象物認識手段で認識された計測対象物の面積とを用いて、前記撮影カメラを制御するカメラ制御手段と、
    をさらに備えることを特徴とする請求項1に記載の計測装置。
  3. 前記位置方向情報が示す計測点の位置及び方向と、前記距離算出手段で算出された距離とから、予め設定された位置算出式により、前記計測対象点の位置を算出する位置算出手段、
    をさらに備えることを特徴とする請求項1又は請求項2に記載の計測装置。
  4. コンピュータを、請求項1に記載の計測装置として機能させるための計測プログラム。
JP2013086217A 2013-04-17 2013-04-17 計測装置及びそのプログラム Active JP6192157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013086217A JP6192157B2 (ja) 2013-04-17 2013-04-17 計測装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013086217A JP6192157B2 (ja) 2013-04-17 2013-04-17 計測装置及びそのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017093525A Division JP6340113B2 (ja) 2017-05-10 2017-05-10 計測装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2014211311A JP2014211311A (ja) 2014-11-13
JP6192157B2 true JP6192157B2 (ja) 2017-09-06

Family

ID=51931185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013086217A Active JP6192157B2 (ja) 2013-04-17 2013-04-17 計測装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP6192157B2 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4502733B2 (ja) * 2004-07-15 2010-07-14 ダイハツ工業株式会社 障害物測定方法及び障害物測定装置

Also Published As

Publication number Publication date
JP2014211311A (ja) 2014-11-13

Similar Documents

Publication Publication Date Title
JP6011548B2 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP4708752B2 (ja) 情報処理方法および装置
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
US10277889B2 (en) Method and system for depth estimation based upon object magnification
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
JP6589636B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2011179908A (ja) 3次元計測装置、その処理方法及びプログラム
JP7173285B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
JP2017134617A (ja) 位置推定装置、プログラム、位置推定方法
JP2013171523A (ja) Ar画像処理装置及び方法
JPH07286837A (ja) 球体の回転量測定装置及び測定方法
JP2014002033A (ja) 画像処理装置、画像処理方法
JP2011242183A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011203108A (ja) 3次元距離計測装置及びその方法
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
Jansen et al. Automatic calibration of a six-degrees-of-freedom pose estimation system
JP6340113B2 (ja) 計測装置及びそのプログラム
JP6192157B2 (ja) 計測装置及びそのプログラム
JP2003006618A (ja) 3次元モデルの生成方法および装置並びにコンピュータプログラム
JP3512894B2 (ja) 相対的移動量算出装置及び相対的移動量算出方法
JPWO2020075213A1 (ja) 計測装置、計測方法および顕微鏡システム
WO2018134866A1 (ja) カメラ校正装置
WO2021111613A1 (ja) 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP5461377B2 (ja) 角度測定装置、角度の測定方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6192157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250