JP5351591B2 - 距離計測装置、合成画像生成装置及び距離計測プログラム - Google Patents
距離計測装置、合成画像生成装置及び距離計測プログラム Download PDFInfo
- Publication number
- JP5351591B2 JP5351591B2 JP2009093125A JP2009093125A JP5351591B2 JP 5351591 B2 JP5351591 B2 JP 5351591B2 JP 2009093125 A JP2009093125 A JP 2009093125A JP 2009093125 A JP2009093125 A JP 2009093125A JP 5351591 B2 JP5351591 B2 JP 5351591B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- subjects
- real space
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
例えば、三角測量法やトラバース測量法は、1以上の基準点と、この基準点間を結ぶ直線に対する測点の方位や距離を計算することで、基準点から測点までの距離や測点の座標を求める手法である。
また、ステレオ法は、カメラ間の距離が既知の複数台のカメラで撮影された画像間で、被写体上の特徴点の対応付けを行い、三角測量法の原理に基づいて、対象物までの距離を計測する手法である。
またさらに、レーザーレンジファインダ等を機械的に走査することにより、線的または面的な距離情報を得る手法がある。
つまり、三角測量法やトラバース測量法では、目視と手作業により測量を行うため、測定対象が移動する場合には、測量が困難であった。
また、ステレオ法では、複数のカメラの画像間での対応付けが困難であり、この対応付けを誤った場合には、正確な距離情報が得られなかった。
さらに、レーザーレンジファインダやレーダーでは、能動的に強力な電磁波を照射することで比較的遠距離にある被写体までの距離を計測できるものの、被写体上の一点への距離を求める手法であるため、走査機構を用いなければ、線的ないし面的な被写体の距離情報を得ることができない。また、走査機構を有するレーザーレンジファインダやレーザーによって線的ないし面的な複数の被写体間の距離を求めようとすると、時系列的に出力される測距データから各被写体に対応する距離値を取り出し、取り出した複数の距離値の間で演算を行う必要があるため、処理に時間を要していた。
そして、Axi−Visionカメラによれば、通常の画像を確認しつつ複数の被写体までの距離を測定することが可能となるが、変調された赤外光の瞬時の微弱な反射強度を測定することによって距離を測定する手法であるため、対象物が遠距離にある場合や、強い環境光にさらされている場合には、正確な測距を行えないおそれがある。
また、距離計測装置は、測距手段によって、前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する。
ここで、測距手段は、走査線方向に実空間上の距離を測定するものであって、各距離は、画像の水平座標に対応付けられるものである。
また、距離計測装置は、表示手段によって、前記画像を表示する。これにより、撮影画像を可視化することができる。
またさらに、距離計測装置は、測距対象指定手段によって、外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する。測距対象の指定は、例えば、オペレータが表示画面に表示された画像を確認しながら、この画像に含まれる複数の被写体のうち、測距対象として選択しようとする被写体の上でマウスやポインタをクリックすることによって、この被写体を測距対象として選択することができる。なお、この動作を繰り返すことにより、画像上の複数の被写体を測距対象として順次指定することができる。
そして、距離計測装置は、距離演算手段によって、前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。このとき、距離計測装置は、距離演算手段によって、前記測距対象指定手段による指定位置に最も近い被写体を探索して当該被写体を指定したものとみなす。これにより、オペレータが画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を得ることができる。
かかる構成によれば、距離計測装置は、撮影手段によって、前記複数の被写体を撮影する。これにより、測距対象である被写体が複数撮影された画像を取得することができる。
また、距離計測装置は、測距手段によって、前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する。
ここで、測距手段は、走査線方向に実空間上の距離を測定するものであって、各距離は、画像の水平座標に対応付けられるものである。
また、距離計測装置は、表示手段によって、前記画像を表示する。これにより、撮影画像を可視化することができる。
またさらに、距離計測装置は、測距対象指定手段によって、外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する。測距対象の指定は、例えば、オペレータが表示画面に表示された画像を確認しながら、この画像に含まれる複数の被写体のうち、測距対象として選択しようとする被写体の上でマウスやポインタをクリックすることによって、この被写体を測距対象として選択することができる。なお、この動作を繰り返すことにより、画像上の複数の被写体を測距対象として順次指定することができる。
そして、距離計測装置は、距離演算手段によって、前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。これにより、オペレータが画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を得ることができる。
ここで、距離演算手段は、前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段を備える構成とした。
これによれば、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
かかる構成によれば、距離計測装置は、撮影手段によって、前記複数の被写体を撮影する。これにより、測距対象である被写体が複数撮影された画像を取得することができる。
また、距離計測装置は、測距手段によって、前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する。
ここで、測距手段は、走査線方向に実空間上の距離を測定するものであって、各距離は、画像の水平座標に対応付けられるものである。
また、距離計測装置は、表示手段によって、前記画像を表示する。これにより、撮影画像を可視化することができる。
またさらに、距離計測装置は、測距対象指定手段によって、外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する。測距対象の指定は、例えば、オペレータが表示画面に表示された画像を確認しながら、この画像に含まれる複数の被写体のうち、測距対象として選択しようとする被写体の上でマウスやポインタをクリックすることによって、この被写体を測距対象として選択することができる。なお、この動作を繰り返すことにより、画像上の複数の被写体を測距対象として順次指定することができる。
そして、距離計測装置は、距離演算手段によって、前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。これにより、オペレータが画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を得ることができる。
ここで、距離演算手段は、前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とを備える構成とした。
これによれば、クラスタの各代表値を、複数の被写体の実空間上の各距離として被写体間距離を演算することができるので、測距手段によって得られる被写体の実空間上の距離に、ノイズや誤りが含まれている場合にも、このノイズや誤りの影響を低減し、より正確な被写体間距離を演算することができる。
また、クラスタの代表値の中から、指定位置の水平座標に最も近いクラスタの代表値を、指定位置の水平座標に対応付けられた実空間上の距離として選択することにより、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
これによれば、レンズの焦点距離を調整することが可能となるため、測距対象が移動し、撮影手段からの距離が変化する場合にも、測距対象が適切な大きさで撮影されるように画角を調整することができる。このため、オペレータが画像上で測距対象を指定しやすくなる。また、レンズの焦点距離を計測し、この焦点距離を画角情報に変換して距離演算手段に出力するズーム計測手段を備えるため、レンズの焦点距離を変化させた場合にも、距離演算手段によって、画角情報の範囲内で被写体間距離を演算することができるので、より広い距離範囲で被写体間距離を演算することができる。さらに、レンズの焦点距離が調整可能であるため、撮影手段により撮影された画像は、被写体の大きさや配置が演出上大きな重要性を有する用途にも利用可能となる。すなわち、演出上の意図を損なうことなく測距を行うことができる。
これによれば、オペレータが、表示手段に表示された画像上の被写体に触れることにより、当該被写体を指定することができるので操作性を向上させることができる。
これによれば、画像上の被写体を測距対象として複数指定することができるので、測距対象の指定を迅速に行うことができる。
これによれば、画像上において、被写体間の距離や位置関係を文字や図形で表すことが可能となるため、視覚的にわかりやすい情報提示が可能となる。例えば、被写体間の距離を数字で表示し、被写体間の位置関係、例えば、前後の位置関係を矢印の向きで表示することによって、被写体間の距離や被写体間の位置関係をわかりやすく表示することができる。
これによれば、被写体間の距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
これによれば、距離計測プログラムは、距離演算手段によって、外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。また、距離計測プログラムは、距離演算手段によって、前記測距対象指定手段による指定位置に最も近い被写体を探索して当該被写体を指定したものとみなす。
請求項1及び請求項9に記載の発明によれば、オペレータが、画像上で測距対象を複数指定するだけで、測距対象間の実空間上の距離値を取得することができる。このため、スポーツ中継などにおいて、リアルタイムで画像上の測距対象間の実空間上の距離値を取得し、これを利用することができる。
また、請求項2に記載の発明によれば、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
さらに、請求項3に記載の発明によれば、ノイズや誤りの影響を低減した正確な被写体間距離を演算することができる。また、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
またさらに、請求項4に記載の発明によれば、測距対象が捉えやすくなるので、オペレータによる測距対象の指定を行いやすくすることができる。
さらに加えて、請求項5に記載の発明によれば、測距対象を画像上の被写体に触れることで指定することができるため、オペレータによる測距対象の指定の作業効率を向上させることができる。
加えて、請求項6に記載の発明によれば、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率をさらに向上させることができる。
そして、請求項7に記載の発明によれば、画像上に測距対象間の距離や位置関係を表示することができるため、視覚的にわかりやすい情報提示が可能となる。
また、請求項8に記載の発明によれば、測距対象間の距離や位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
次に、本発明の距離計測装置について図面を参照しながら説明する。
図1に示すように、本発明の実施形態に係る距離計測装置1は、撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する装置であって、撮影手段10と、測距手段20と、表示手段30と、測距対象指定手段40と、距離演算手段50とを主に備える構成とした。
レンズ11は、被写体を結像させてカメラ本体12に出力するものである。レンズ11は、焦点距離が固定のものを用いても良いが、焦点距離が可変なレンズを用いると、被写体が移動する場合にも捉えやすくなるためより好ましい。本実施形態では、レンズ11として、焦点距離が可変なズームレンズを用いている。
レンズ11には、例えばズームリング等の図示しない環状の操作手段が装着され、オペレータが、この図示しない操作手段を回転させることにより、焦点距離が変化するようになっている。
ズーム計測手段13は、レンズ11の焦点距離を計測するものである。ズーム計測手段13は、レンズ11に装着された図示しないズームリング等の環状の操作手段に、例えば歯車などの運動伝達手段を介して結合されたロータリエンコーダやポテンショメータを(いずれも図示せず)を用いて環状の操作手段(いずれも図示せず)の回転角などを電気的に計測することによって、レンズ11の焦点距離を計測するものである。
ズーム計測手段13は、ロータリエンコーダ(図示せず)のカウント数やポテンショメータ(図示せず)の抵抗値を計数もしくは測定し、例えばルックアップテーブルを参照することで、計数値もしくは抵抗値を、画角あるいは焦点距離などの画角と1対1で対応する数値に変換して画角情報Θとする。ズーム計測手段13は、このようにして計測したレンズ11の画角情報Θを、距離演算手段50に順次出力する。
このような撮影手段10としては、テレビ映像の撮影等に用いられる一般的なカメラを用いることができる。
なお、撮影手段10の光軸と測距手段20の測定領域の距離を短縮するため、ハーフミラー等の光学系を利用して、撮影手段10と測距手段20とで光軸を共有する構成としても良い。
測距手段20は、このようにして取得した測定結果を、距離演算手段50に出力する。
なお、本実施形態では、多点認識機能を有するタッチパネルを用いている。測距対象指定手段40は、図3に示すように、オペレータによって、測距対象指定手段40上で複数の場所が同時に触れられたときに、この複数の指定位置の画像座標を取得し、距離演算手段50に出力する。
なお、測距対象指定手段40として、多点認識機能を有しないタッチパネルを用いても良いことはもちろんである。この場合、測距対象指定手段40は、オペレータによって測距対象指定手段40上で指定された指定位置の画像座標を順次取得し、距離演算手段50に順次出力する。
距離演算手段50は、ここでは、方位角変換手段51と、被写体間距離演算手段52とを備える構成とした。
ここで、画像座標の水平座標をx、垂直座標をyとおいたとき、画像座標の水平座標xに対する方位角θの関係を、関数fを用いて、例えば数式(1)で表すことができる。
方位角変換手段51は、ズーム計測手段13から、レンズ11の画角情報Θの入力を順次受け付けるとともに、測距対象指定手段40から画像座標として、例えば被写体Aの画像座標(x1,y1)と、被写体Bの画像座標(x2,y2)(ここで、xn(n=1,2,・・・,n)は、水平座標、ynは、垂直座標とする)の入力を受け付けると、数式(1)に基づき、水平座標x1を方位角θ2に、水平座標x2を方位角θ1にそれぞれ変換する。方位角変換手段51は、この方位角θ1、方位角θ2を被写体間距離演算手段52に出力する。
ここで、測距手段20から被写体間距離演算手段52に入力される実空間上の距離は、方位角θに対応する距離d(θ)(指定位置の水平座標に対応付けられている距離)として得られる。このため、被写体間距離演算手段52は、測距手段20から入力された距離d(θ)のうち、方位角変換手段51から入力を受け付けた方位角θ1と方位角θ2にそれぞれ対応する、距離d(θ1)と距離d(θ2)を用いて、被写体A,B間の実空間上の距離である被写体間距離bを求める。
ここで、図4に示す例では、測距手段20から被写体Bまでの実空間上の距離d(θ1)が25.3[m]となっており、測距手段20から被写体Aまでの実空間上の距離d(θ2)が20.0[m]となっている。また、方位角θ1が−3[deg]となっており、方位角θ2が−1[deg]となっている。
まず、ある指定位置Pの画像座標を(x,y)とし、実空間における三次元座標(実座標)を(ξ,η,ζ)とおいたとき、ξ軸とx軸、η軸とy軸をそれぞれ同方向にとり、ζ軸は、ξ−η−ζ座標系が右手系をなすようにξ軸及びη軸と直交するようにとる。例えば、画像座標のx軸及び実座標のξ軸は、画像の中心を0とし、右方向にとる。この場合、画像座標のy軸及び実座標のη軸は、画像の中心を0とし、下方向にとる。さらに、この場合、ζ軸は、画像の中心を0とし、光軸上に被写界方向にとる。
次に、指定位置Pの画像座標の水平座標xに対する方位角θを数式(1)により求める。測距手段20による測距結果である距離d(θ)より、測距手段20から指定位置Pまでの距離は、d(θ)となる。このとき、指定位置Pの実空間座標(ξ,η,ζ)は、数式(4)により求めることができる。
このようにして、距離演算手段50は、数式(2)、数式(3)、数式(4)のうちの一つを用いて被写体間距離bを求め、適宜出力する。
なお、距離演算手段50は、測距対象指定手段40から指定位置の画像座標の入力を受け付けるごとに、被写体間距離bを順次演算する。
次に、本発明の実施形態に係る距離計測装置1の動作について以下に説明する。
なお、ここでは、距離計測装置1は、撮影手段10のズーム計測手段13によって、レンズの画角情報Θを測定し、測定結果を距離演算手段50に順次出力しているものとする。
図6に示すように、距離計測装置1は、まず、撮影手段10によって、複数の被写体を撮影する(ステップS1)。距離計測装置1は、撮影手段10によって、撮影した画像を電気信号に変換して表示手段30に出力する。
さらに、距離計測装置1は、測距手段20によって、測距手段20から複数の被写体までの実空間上の距離d(θ)をそれぞれ計測する(ステップS3)。距離計測装置1は、測距手段20によって、計測結果である走査線1ライン上の各点の実空間上の距離d(θ)を、距離演算手段50に出力する。
距離計測装置1は、距離演算手段50の方位角変換手段51によって、測距対象指定手段40から、各指定位置の画像座標(x1,y1)と画像座標(x2,y2)の入力を受け付ける(ステップS11)。
また、距離計測装置1は、距離演算手段50の方位角変換手段51によって、ズーム計測手段13からレンズの画角情報Θの入力を受け付ける(ステップS12)。
さらに、距離計測装置1は、距離演算手段50の被写体間距離演算手段52によって、測距手段20から距離d(θ)の入力を受け付ける(ステップS13)。なお、ステップS11からステップS13は、順番が入れ替わっても良く、また、同時に行われても良い。
さらに、距離計測装置1は、距離演算手段50の方位角変換手段51によって、方位角θ1と方位角θ2とを、被写体間距離演算手段52に出力する。
距離計測装置1は、このようにして、複数の被写体間の実空間上の距離である被写体間距離bを求めることができる。
さらに、本実施形態に係る距離計測装置1によれば、測距対象指定手段40を多点認証機能を有するタッチパネルとしたため、測距対象を画像上の被写体に触れることで指定することができるとともに、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率を向上させることができる。
ここで、図8を参照して、変形例に係る距離計測装置1Bについて説明する。変形例に係る距離計測装置1Bは、本発明の実施形態に係る距離計測装置1(図1参照)の距離演算手段50(図1参照)の構成を変更したものであるため、その他の共通する構成については同一の符号を付し、重複する説明を省略する。
変形例に係る距離計測装置1Bは、撮影手段10と、測距手段20と、表示手段30と、測距対象指定手段40と、距離演算手段50Bとを主に備える構成とした。
クラスタリング手段53は、測距手段20によって計測した各被写体の各距離のそれぞれ空間的に近傍に存在する距離のサンプル点群をグループ化したクラスタを生成するものである。
クラスタリング手段53は、例えば、k平均アルゴリズムにより、距離−方位平面上(又は、これを実座標に変換した空間内)において、距離のサンプル点群をグループ化してクラスタを生成する。ここで、図9上図に示すように、撮影手段10によって、被写体A,Bを含む画像が撮影され、表示手段30に表示されている場合を例にとって説明する。この場合、クラスタリング手段53は、測距手段20から、距離d(θ)の入力を受け付け、この距離d(θ)をクラスタリングすることにより、図9下図に示すように、被写体Aに対応する距離のサンプル点群として、破線の楕円で示すクラスタC2を、被写体Bに対応する距離のサンプル点群として、破線の楕円で示すクラスタC1を生成する。
一方、クラスタ数kを予め設定する場合、被写体の数に対して不足することがないよう、撮影手段10で撮影されると推定される被写体の数に対し、十分多めとなるように予め設定しておくと好ましい。例えば、クラスタ数kを5と予め設定しておいた場合に、図9上図に示すように被写体が2つ(被写体A,B)の場合、クラスタリング手段53は、この被写体A,Bに5つのクラスタを自動的に割り当てるようになっている。クラスタリング手段53は、例えば、被写体Aにクラスタを2つ割り当て、被写体Bにクラスタを3つ割り当てる等して、それぞれについて距離のサンプル点群をグループ化する。
クラスタリング手段53は、このようにして生成したクラスタを、代表値演算手段54に出力する。
代表値演算手段54は、クラスタリング手段53から、クラスタC1,C2の入力を受け付けると、このクラスタC1,C2のそれぞれについて、例えば、クラスタC1,C2内の距離値の平均値を演算し、この各平均値をそれぞれの代表値とする。
また例えば、代表値演算手段54は、クラスタC1,C2内の、距離値の平均値から近い(例えば、それぞれの距離値の平均値から1m以内)に存在するサンプル点のみに着目し、この着目したサンプル点のみを用いて距離値の平均値をそれぞれ演算し、各平均値をそれぞれの代表値としても良い。このように、より厳密に代表値を決定することによって、域外値に対する頑健性を向上させることができる。代表値演算手段54は、演算結果である各クラスタCの代表値及び各クラスタCの番号を、代表値選択手段55に出力する。
なおここでは、クラスタCの距離値の平均値をクラスタCの代表値としたが、これに限られるものではない。例えば、測距対象指定手段40によって指定された指定位置が、クラスタCから離れた位置であった場合、この指定位置から最も近いクラスタCのサンプル点のうち、指定位置から最も距離が近いサンプル点をクラスタCの代表値としても良く、適宜変更することができる。
代表値選択手段55は、方位角変換手段51から複数の被写体のそれぞれの方位角θの入力を受け付けるとともに、代表値演算手段54から各クラスタCの各代表値及び各クラスタCの番号の入力を受け付ける。そして、複数の被写体の各方位角θのそれぞれについて、各クラスタCの中から最も近いクラスタCの番号を選択し、選択したクラスタCの代表値を、それぞれの距離d(θ)とする。
そして、代表値選択手段55は、被写体Aの方位角θ2について、最も近いクラスタCとしてクラスタC2の番号を選択し、クラスタC2の代表値を被写体Aの距離d(θ2)として被写体間距離演算手段52Bに出力する。また、代表値選択手段55は、被写体Bの方位角θ1について、最も近いクラスタCとしてクラスタC1の番号を選択し、クラスタC1の代表値を被写体Bの距離d(θ1)として被写体間距離演算手段52Bに出力する。
また例えば、図9上図に示す例で、測距対象指定手段40によって、被写体A,Bからずれた位置(左端の×印)が指定された場合には、代表値選択手段55は、方位角変換手段51から、この指定位置の画像座標を変換した方位角θ3(図示せず)の入力を受け付け、この方位角θ3に最も近いクラスタとして、クラスタC1の番号を選択し、クラスタC1の代表値を被写体間距離演算手段52Bに出力する。
次に、変形例に係る距離計測装置1Bの動作について、図10及び図6を参照して説明する。ここで、変形例に係る距離計測装置1Bの動作において、ステップS21からステップS25は、前記した実施形態に係る距離計測装置1の動作におけるステップS1からステップS5と共通するため説明を省略し、ここでは、距離計測装置1Bの距離演算手段50の動作(図6のステップS25の動作)について詳細に説明する。
また、距離計測装置1Bは、距離演算手段50Bの方位角変換手段51によって、ズーム計測手段13からレンズの画角情報Θの入力を受け付ける(ステップS32)。
さらに、距離計測装置1Bは、距離演算手段50Bのクラスタリング手段53によって、測距手段20から距離d(θ)の入力を受け付ける(ステップS33)。なお、ステップS31からステップS33は、順番が入れ替わっても良く、また、同時に行われても良い。
そして、距離計測装置1Bは、距離演算手段50Bのクラスタリング手段53によって、この被写体の実空間上の距離d(θ)をクラスタリングすることにより、複数の被写体にそれぞれ対応するクラスタを生成する(ステップS35)。距離計測装置1Bは、距離演算手段50Bのクラスタリング手段53によって、生成した各クラスタを、代表値演算手段54に出力する。
そして、距離計測装置1Bは、距離演算手段50Bの被写体間距離演算手段52によって、数式(2)から数式(4)のいずれか一つを用いて、被写体間距離bを演算する(ステップS38)。距離計測装置1Bは、距離演算手段50Bの被写体間距離演算手段52によって、演算結果である被写体間距離bを適宜出力する。
以上のようにして、距離計測装置1Bは、被写体間距離bを演算することができる。
例えば、第1実施形態に係る距離計測装置において、距離演算手段50に代えて、次のような距離演算手段50Cとしても良い。
被写体間距離演算手段52Cは、測距対象指定手段40によって取得した指定位置の水平座標に対応付けられた実空間上の距離に基づき、複数の被写体間の距離である被写体間距離を求めるものである。被写体間距離演算手段52Cは、方位角変換手段51から方位角θn(n=1,2,…,n)の入力を複数受け付けると、距離探索手段56に、方位角θnに対応する距離d(θn)を要求する信号を出力する。
被写体間距離演算手段52Cは、距離探索手段56から方位角θnに対応する距離d(θn)の入力を複数受け付け、これを用いて、被写体間距離bを演算する。
距離探索手段56は、被写体間距離演算手段52Cから、方位角θn(n=1,2,…,n)に対応する距離を要求する信号の入力を受け付けると、測距手段20から入力を受け付けた距離d(θ)を探索する。
次に、距離演算手段50Cは、距離探索手段56によって、被写体間距離演算手段52Cから、距離d(θ)から方位角θ1,θ2に対応する距離d(θ1),d(θ2)の探索を要求する信号の入力を受け付けると、探索を開始する(ステップS44)。
距離演算手段50Cは、距離探索手段56によって、方位角θ1,θ2に対応する距離d(θ1),d(θ2)を見つけた場合(ステップS45でYes)、この距離d(θ1),d(θ2)のそれぞれについて、予め設定された距離範囲内(例えば、3m乃至200mまでの距離範囲)にあるかどうかをさらに判定する(ステップS46)。
一方、距離演算手段50Cは、距離探索手段56によって、ステップS49で方位角φが閾値を超えると判定した場合(ステップS49でNo)、被写体間距離演算手段52Cに方位角θ2に対応する距離が得られなかった旨のエラー信号を出力して処理を終了する(ステップ53)。
例えば、撮影手段によって、3人の選手がマラソン競技をしている画像が得られた場合(仮に測距手段からの実空間上の距離が近い順に被写体A,B,Cとする)に、オペレータによって、この被写体A,B,Cが指定された場合、距離計測装置は、測距対象指定手段によって、この操作信号の入力を受け付け、指定位置の画像座標を取得し、距離演算手段に出力する。距離計測装置は、距離演算手段の方位角変換手段によって、指定位置の画像座標を方位角θ1,θ2,θ3に変換し、距離演算手段の被写体間距離演算手段によって、方位角θ1,θ2,θ3に対応する実空間上の距離d(θ1),d(θ2),d(θ3)に基づいて、被写体間距離を演算する。このとき、被写体間距離演算手段は、隣接する選手間(A−B間,B−C間)の距離を測定する。ここでいう「隣接」とは、例えば、画像上における水平座標が隣接するものと定義しても良いし、また、例えば、三次元実空間において、撮影手段から近い順に被写体を整順したときの隣同士の被写体を指すものと定義しても良い。
次に、前記した実施形態に係る距離計測装置又は変形例に係る距離計測装置を備えた合成画像生成装置の構成について説明する。
図13に示すように、合成画像生成装置2は、距離計測装置1と、この距離計測装置1に接続された画像合成手段60と、を主に備える構成とした。なお、距離計測装置1の構成は、前記した実施形態と同様であるため、ここでは説明を省略する。
画像合成手段60は、距離計測装置1の撮影手段10から画像情報の入力を受け付け、距離計測装置1の距離演算手段50から被写体間距離bの入力を受け付け、距離計測装置1の測距対象指定手段40から指定位置の画像座標の入力を受け付ける。
このとき、画像合成手段60は、撮影手段10で撮影された画像上に、当該画像の遠近感に整合するような投影変換を行いつつ文字や図形を描画するようにしても良い。
例えば、画像合成手段60は、距離計測装置1の距離演算手段50によって、数式(4)に基づいて演算された、指定位置P1の実座標(ξ1,η1,ζ1)及び指定位置P2の実座標(ξ2,η2,ζ2)の入力を受け付け、実座標系において、始点D1が(ξ1,η1,ζ1)となり、終点D2が(ξ2,η2,ζ2)となるように、例えば図16に示すような矢印型の図形D(矢印の厚みは0とする)を画像上に仮想的に配置する。この仮想的な図形を、現在のレンズ11の画角情報Θを考慮して透視投影することで、画像合成手段60は、自然な遠近感で、矢印型の図形Dを画像上に配置することができる。この場合、画像合成手段60は、ズーム計測手段13からレンズ11の画角情報Θの入力を受け付ける。なお、このようにして生成した図形又は文字を画像上に配置する場合、η軸の正又は負の方向に適宜ずらして、被写体に重ならないように配置すると、見やすく表示できるためより好ましい。
また、画像合成手段60は、生成した合成画像を、表示手段30に適宜出力する。
例えば、マラソン競技の中継番組において、画面内に映っている選手間の距離の差を視覚的かつ定量的に表現することができるので、競技の状況を視聴者に詳細に伝達することが可能となる。また、被写体間距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
2 合成画像生成装置
10 撮影手段
20 測距手段
30 表示手段
40 測距対象指定手段
50,50B,50C 距離演算手段
51 方位角変換手段
52 被写体間距離演算手段
53 クラスタリング手段
54 代表値演算手段
55 代表値選択手段
56 距離探索手段
60 画像合成手段
A,B 被写体
C クラスタ
D 矢印
E 図形
Claims (9)
- 撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、
前記複数の被写体を撮影する撮影手段と、
前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段と、
前記画像を表示する表示手段と、
外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段と、
前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段とを備え、
前記距離演算手段は、前記測距対象指定手段による指定位置に最も近い被写体を探索して当該被写体を指定したものとみなす
ことを特徴とする距離計測装置。 - 撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、
前記複数の被写体を撮影する撮影手段と、
前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段と、
前記画像を表示する表示手段と、
外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段と、
前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段とを備え、
前記距離演算手段は、
前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段を備えることを特徴とする距離計測装置。 - 撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、
前記複数の被写体を撮影する撮影手段と、
前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段と、
前記画像を表示する表示手段と、
外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段と、
前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段とを備え、
前記距離演算手段は、
前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、
前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、
前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とを備えることを特徴とする距離計測装置。 - 前記撮影手段は、
焦点距離が可変なレンズと、
当該レンズと接続され、前記レンズの前記焦点距離を計測し、この焦点距離を画角情報に変換するズーム計測手段とをさらに備えることを特徴とする請求項1から請求項3のいずれか一項に記載の距離計測装置。 - 前記測距対象指定手段は、
外部からのタッチ操作による前記画像上の前記被写体を指定する前記操作信号の入力を受け付け、前記操作信号により指定された前記指定位置の画像座標を取得するタッチパネルであることを特徴とする請求項1から請求項4のいずれか一項に記載の距離計測装置。 - 前記タッチパネルは、
前記操作信号の入力を複数受け付け、複数の前記操作信号により指定された複数の前記指定位置の画像座標をそれぞれ取得することを特徴とする請求項5に記載の距離計測装置。 - 請求項1から請求項6のいずれか一項の距離計測装置により得られた、前記被写体間距離に基づき、前記撮影手段により得られた前記画像上に、前記被写体間距離を表す文字または前記被写体間の位置関係を表す図形を合成する画像合成手段を備えることを特徴とする合成画像生成装置。
- 前記画像合成手段は、
請求項1から請求項6のいずれか一項に記載の距離計測装置の前記距離演算手段により得られた前記被写体間距離と、請求項1から請求項6のいずれか一項に記載の距離計測装置の前記測距対象指定手段により得られた前記指定位置の画像座標とに基づき、前記被写体の実空間上における三次元位置を算出し、当該三次元位置に応じて、前記画像上に前記文字または前記図形を拡大、縮小又は変形して合成することを特徴とする請求項7に記載の合成画像生成装置。 - 撮影手段によって撮影された複数の被写体間の実空間上の距離である被写体間距離を、距離計測装置からの実空間上の距離を、撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段によって計測された前記実空間上の距離に基づいて演算するために、コンピュータを、
外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段として機能させ、前記距離演算手段は、前記測距対象指定手段による指定位置に最も近い被写体を探索して当該被写体を指定したものとみなすことを特徴とする距離計測プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009093125A JP5351591B2 (ja) | 2009-04-07 | 2009-04-07 | 距離計測装置、合成画像生成装置及び距離計測プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009093125A JP5351591B2 (ja) | 2009-04-07 | 2009-04-07 | 距離計測装置、合成画像生成装置及び距離計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010243358A JP2010243358A (ja) | 2010-10-28 |
JP5351591B2 true JP5351591B2 (ja) | 2013-11-27 |
Family
ID=43096522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009093125A Expired - Fee Related JP5351591B2 (ja) | 2009-04-07 | 2009-04-07 | 距離計測装置、合成画像生成装置及び距離計測プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5351591B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253393A (ja) * | 1998-12-28 | 2000-09-14 | Eiji Kawamura | 画像認識表示システム |
JP2003296745A (ja) * | 2002-03-29 | 2003-10-17 | Casio Comput Co Ltd | 画像処理装置、撮影装置、画像処理システム、及びプログラム |
JP2004198237A (ja) * | 2002-12-18 | 2004-07-15 | Seiko Epson Corp | 人体検知システム |
JP3779280B2 (ja) * | 2003-03-28 | 2006-05-24 | 富士通株式会社 | 衝突予測装置 |
JP3857698B2 (ja) * | 2004-04-05 | 2006-12-13 | 株式会社日立製作所 | 走行環境認識装置 |
JP4881178B2 (ja) * | 2007-02-08 | 2012-02-22 | 日本放送協会 | 走行距離映像生成装置及び走行距離映像生成プログラム |
-
2009
- 2009-04-07 JP JP2009093125A patent/JP5351591B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010243358A (ja) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US10650573B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
EP3441788A1 (en) | Apparatus and method for generating a representation of a scene | |
US10545215B2 (en) | 4D camera tracking and optical stabilization | |
CN102724398B (zh) | 图像数据提供方法、组合方法及呈现方法 | |
JP2019113393A (ja) | オプティカルトラッキングシステム及びオプティカルトラッキング方法 | |
JP2019100995A (ja) | 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム | |
US9990739B1 (en) | Method and device for fisheye camera automatic calibration | |
WO2018154634A1 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
CN105717511A (zh) | 基于线束激光器和普通摄像头芯片的多点测距装置及方法 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP2016040520A (ja) | 物体検出装置 | |
JP2011174799A (ja) | 撮影経路計算装置 | |
TW201312080A (zh) | 非接觸式測量實物長度的方法 | |
US20210183092A1 (en) | Measuring apparatus, measuring method and microscope system | |
JP6425406B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5351591B2 (ja) | 距離計測装置、合成画像生成装置及び距離計測プログラム | |
JP2002318344A (ja) | 光学機器のオートフォーカシング方法および装置 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
KR101247316B1 (ko) | 감시시스템 | |
JP5001400B2 (ja) | 遮蔽物除去表示装置 | |
JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム | |
JP2010210490A (ja) | 移動計測装置及び方法、並びにプログラム | |
JPH1194527A (ja) | 画像処理を用いたステレオ計測方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130823 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |