JP5167881B2 - Distance measuring device and program thereof - Google Patents
Distance measuring device and program thereof Download PDFInfo
- Publication number
- JP5167881B2 JP5167881B2 JP2008065024A JP2008065024A JP5167881B2 JP 5167881 B2 JP5167881 B2 JP 5167881B2 JP 2008065024 A JP2008065024 A JP 2008065024A JP 2008065024 A JP2008065024 A JP 2008065024A JP 5167881 B2 JP5167881 B2 JP 5167881B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- feature
- display
- information indicating
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、距離測定装置及びそのプログラムに関する。 The present invention relates to a distance measuring device and a program thereof.
撮像装置、たとえば、ステレオカメラにおいて、撮影した画像から2点を選択し、その2点間距離を測定する技術がある。 There is a technique for selecting two points from a captured image and measuring the distance between the two points in an imaging apparatus, for example, a stereo camera.
しかしながら、選択した2点のコントラストが全く無かった場合、2点間距離は、周囲のコントラストからの推定になるため、誤差が大きくなり正確に測定することは難しい。また、コンシューマ用のデジタルカメラとして考えた場合、簡単な操作方法で2点を選択できる必要がある。 However, if there is no contrast between the two selected points, the distance between the two points is estimated from the surrounding contrast, so that an error increases and it is difficult to measure accurately. When considered as a consumer digital camera, it is necessary to be able to select two points with a simple operation method.
そこで本発明は、精度の高い測定を優先した距離測定を簡単な操作で行なうことができる距離測定装置及びそのプログラムを提供すること目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a distance measuring apparatus and a program for the distance measuring apparatus that can perform distance measurement with priority to highly accurate measurement with a simple operation.
上記目的達成のため、画像を取得する画像取得手段と、前記画像取得手段によって得られた画像から複数の特徴点を検出する検出手段と、前記検出手段によって検出された特徴点を示す情報を表示手段に表示させる表示制御手段と、前記表示手段に表示された情報から2つをユーザーに選択させる選択手段と、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段と前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段と、を備え、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限することを特徴とする。 To achieve the above object, image acquisition means for acquiring an image, detection means for detecting a plurality of feature points from the image obtained by the image acquisition means, and information indicating the feature points detected by the detection means are displayed. A display control means to be displayed on the means, a selection means for allowing the user to select two from the information displayed on the display means, and a feature point corresponding to the information indicating the feature point selected by the selection means A distance measuring means for obtaining a distance between the two points and a selection restricting means for restricting a feature point that can be selected when two points are selected by the selecting means. After the user selects the first feature point that is the starting point for measuring the point, the second feature point that is the end point is selected, and the selection restricting unit selects the second feature point by the selecting unit , And limits the range that can be selected to select the information indicating the feature points from the position of the first feature points previously selected by said selection means within a predetermined range.
また、例えば、請求項2に記載されているように、前記検出手段は、前記画像取得手段によって得られた画像内から特徴点らしさを示す特徴点評価値を検出し、該検出された特徴点評価値が第1の範囲内である点を特徴点として検出するようにしてもよい。
Further, for example, as described in
また、例えば、請求項3に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点の特徴点評価値に基づいて特徴点を示す情報を表示させるようにしてもよい。
For example, as described in
また、例えば、請求項4に記載されているように、前記表示制御手段は、前記特徴点評価値が第2の範囲内である点を特徴点として表示させるようにしてもよい。 Further, for example, as described in claim 4, the display control means may display a point where the feature point evaluation value is within a second range as a feature point.
また、例えば、請求項5に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に、所定の数の特徴点を表示させるよう表示手段を制御するようにしてもよい。
For example, as described in
また、例えば、請求項6に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に順位付けをして、特徴点を示す情報を特徴点評価値の順位に基づいて識別表示させるように前記表示手段を制御するようにしてもよい。 For example, as described in claim 6, the display control unit ranks the feature points in descending order of the feature point evaluation values among the feature points detected by the detection unit. The display means may be controlled so as to identify and display the information to be displayed based on the ranking of the feature point evaluation values.
また、例えば、請求項7に記載されているように、前記表示制御手段は、前記表示手段によって表示された特徴点のうち、前記特徴点評価値が第3の範囲内である特徴点を示す情報と第3の範囲外である特徴点を示す情報とを識別表示するように前記表示手段を制御するようにしてもよい。 Further, for example, as described in claim 7, the display control unit indicates a feature point whose feature point evaluation value is within a third range among the feature points displayed by the display unit. The display means may be controlled so as to identify and display information and information indicating feature points that are out of the third range.
また、例えば、請求項8に記載されているように、前記表示制御手段は、特徴点を示す情報の表示の色、大きさ、形状のうち、少なくとも1つを変化させることで特徴点を示す情報を識別表示させるようにしてもよい。 Further, for example, as described in claim 8, the display control means indicates the feature point by changing at least one of the display color, size, and shape of the information indicating the feature point. Information may be identified and displayed.
また、例えば、請求項9に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記画像取得手段によって得られた画像内の所定の範囲内の位置で検出された特徴点について特徴点を示す情報を前記表示手段に表示させるように制御するようにしてもよい。
Further, for example, as described in
また、例えば、請求項10に記載されているように、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点を選択した後、終点となる第2の特徴点を選択し、前記選択手段によって前記第1の特徴点を選択する時と、前記第2の特徴点を選択する時とで、前記検出手段によって検出する特徴点の特徴点評価値の所定の範囲、又は前記表示制御手段によって表示制御する特徴点を示す情報の特徴点評価値の所定の範囲を変更する特徴点評価値範囲変更手段を更に備えるようにしてもよい。
Further, for example, as described in
また、例えば、請求項11に記載されているように、前記表示制御手段は、前記測距手段によって測定された2点の特徴点間の距離を表示手段に表示させる距離表示手段を更に備えるようにしてもよい。
For example, as described in
また、例えば、請求項12に記載されているように、前記表示制御手段は、前記画像取得手段によって得られた画像を前記表示手段に表示し、前記検出手段によって特徴点が検出された位置と同じ位置に該特徴点を示す情報を表示させるようにしてもよい。 Further, for example, as described in claim 12 , the display control unit displays the image obtained by the image acquisition unit on the display unit, and the position where the feature point is detected by the detection unit. Information indicating the feature point may be displayed at the same position.
また、例えば、請求項13に記載されているように、前記測距手段は、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の実寸距離を測定するようにしてもよい。 Further, for example, as described in claim 13 , the distance measuring unit measures an actual distance between two feature points corresponding to information indicating the feature point selected by the selection unit. May be.
上記目的達成のため請求項14記載の発明によるプログラムは、表示部を備えたコンピュータを、画像から複数の特徴点を検出する検出手段、前記検出手段によって検出された特徴点を示す情報を前記表示部に表示させる表示制御手段、前記表示部に表示された情報から2つをユーザーに選択させる選択手段、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段、前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段、として機能させ、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限するように、機能させることを特徴とする距離測定プログラム。
To achieve the above object, a program according to a fourteenth aspect of the present invention is directed to a computer having a display unit, detecting means for detecting a plurality of feature points from an image, and displaying the information indicating the feature points detected by the detecting means. Display control means to be displayed on the part, selection means to allow the user to select two from the information displayed on the display part, distance between two feature points corresponding to information indicating the feature point selected by the selection means A distance measuring means for obtaining a point, and a selection restricting means for restricting selectable feature points when selecting two points by the selecting means. The selecting means measures a distance between the two points by the distance measuring means. After the user selects the first feature point that is the starting point for the selection, the second feature point that is the end point is selected, and the selection restricting unit selects the second feature point by the selecting unit. In this case, the selection unit is made to function so as to limit a selectable range so as to select information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit. A distance measurement program.
本発明によれば、精度の高い測定を優先した距離測定を簡単な操作で行なうことができる距離測定装置及びそのプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the distance measurement apparatus which can perform the distance measurement which gave priority to the measurement with high precision by simple operation, and its program can be provided.
以下、本第1の実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明にかかる撮像装置の一例としてのデジタルステレオカメラの一実施例の外観を示す図であり、図1(a)は正面図、図1(b)は背面図、図1(c)は上面図である、
図1で、ステレオデジタルカメラ1は、図1(a)に示すように正面側に2つの撮像レンズ2、3及びストロボ11を有している、また、ステレオデジタルカメラ1の背面には図1(b)に示すように、LCDモニタ4、カーソルキー5、SETキー6、距離測定キー7、メニューキー8等が設けられている、また、上面には図1(c)に示すように、シャッターボタン9、電源ボタン10が設けられている。図示されていないが側部にはパーソナルコンピュータ等とUSBケーブルを介して接続する場合に用いるUSB端子接続部が設けられている。
図2は図1に示したステレオデジタルカメラ1の電子回路構成の一実施例を示す図である。図2でステレオデジタルカメラ1は、2つのCMOSカメラモジュール210、220より、画像データとして取り込む。
Hereinafter, the first embodiment will be described in detail with reference to the drawings as an example in which the imaging apparatus of the present invention is applied to a digital camera.
[First embodiment]
A. 1 is a diagram showing the appearance of an embodiment of a digital stereo camera as an example of an image pickup apparatus according to the present invention. FIG. 1 (a) is a front view, and FIG. 1 (b) is a rear view. FIG. 1 (c) is a top view.
In FIG. 1, a stereo
FIG. 2 is a diagram showing an embodiment of the electronic circuit configuration of the stereo
CMOSカメラモジュール210内の動作について説明を行なう、撮影レンズ2より集められた光はCMOSセンサ212内にて光電変換、A/D変換され、デジタルデータとして出力される、CMOSセンサ212のデジタル出力は、CMOSセンサ212のカラーフィルタ配列(ベイヤー配列)に従った出力となる。CMOSセンサ212の出力は、ISP213に入力される、ISP213では、色の調整、ISP213からはY、Cb、Crとも8bitの解像度にて出力される。
CMOSカメラモジュール210とCMOSカメラモジュール220は同じものを用いる。CMOSカメラモジュール210、220からの出力(Y、Cr、Cbのデータ)は、DMA202によりワークメモリ204へ格納される。ワークメモリ204は、DRAM等で構成される。
The operation of the
The
CPU201は、このステレオデジタルカメラ1全体の制御動作を司るものである。フラッシュメモリ203には、CPU201の動作プログラムが格納されている。また、撮影した画像データもフラッシュメモリ203に保存される。
CPU201は、キー入力部209からの状態信号に対応してフラッシュメモリ203等に格納されている各モードに対応する撮像プログラムやメニューデータを取り出して、ステレオデジタルカメラ1の各機能の実効制御を行なう。例えば、シャッターボタン9を押したときの撮影動作、記録、記録した画像の再生、表示、距離測定キー7を押したときの操作、メニューキー8を押したときのカーソルキー5等による機能選択メニューの表示制御や設定画面の表示制御を行なう。
The
The
VRAM制御部205は、VRAM206より表示データを取り出し、表示部208へ表示する。VRAM206の表示データはCPU201により書き込まれる。
更にCPU201は、ワークメモリ204内に格納された2つのカメラモジュールから輝度信号Yにより、後述する方法にて2点間の距離を計算する。
USB制御部211を介してUSB接続端子部214に接続されたUSBケーブルにてパソコンと画像データの交換が可能になっている。
The
Further, the
It is possible to exchange image data with a personal computer using a USB cable connected to the USB
図3に示すカメラの透視射影モデルにより、ステレオデジタルカメラの距離測定原理について説明する。
X、Y、Zからなる3次元直交座標系をカメラ座標と呼ぶこととする。カメラ座標は、カメラ302の光学中心を原点とし、Z軸をカメラの光学方向に一致させ、X軸とY軸は画像の横方向と縦方向に平行にとっている。ステレオデジタルカメラ1に対応する前記光学中心は、CMOSカメラモジュール210がカメラ302に対応するので、撮像レンズ2の光学中心となる。
光軸と画像面の交点を原点とし、また画素間隔を換算してカメラ座標と長さの単位を合わせた画像座標を、カメラ302側を(u,v)座標、カメラ3030側を(u’,v’)座標とする。
The distance measurement principle of the stereo digital camera will be described with reference to the perspective projection model of the camera shown in FIG.
A three-dimensional orthogonal coordinate system composed of X, Y, and Z will be referred to as camera coordinates. The camera coordinates have the optical center of the
The coordinates of the camera axis and the length unit obtained by converting the pixel interval to the origin at the intersection of the optical axis and the image plane are the (u, v) coordinates on the
カメラ302はカメラ303と光軸が平行に、且つ302の画像座標u軸とカメラ303の画像座標u’軸が同一直線状で同じ向きになるように設置されている。また、両者の焦点距離fや画素感覚は同じで、両者とも光軸とそれぞれの画像座標面が垂直に交わっている。この様な構成を平行ステレオとよび、ステレオデジタルカメラ1の2つのカメラモジュールは平行ステレオの構成となっている。
The
基線長(2つのカメラ光軸の感覚)をbとすると、A1点のカメラ座標(X1,Y1,Z1)は以下の式で表される。(u1,v1)は、カメラ302の画像座標の射影点、(u’1,v’1)はカメラ303の画像座標への射影点を表す。
ステレオデジタルカメラ1の2つのカメラモジュール210,220からの撮像画像により、撮影画像内特定位置(たとえばu1,u2)に射影されたカメラ座標(たとえばA1)が求まる。カメラ座標上でのA2(不図示)も同様に(X2,Y2,Z2)と求まる。よって、A1とA2間の距離は以下により求めることができる。
図4に、ステレオデジタルカメラ1にて撮像した2枚の輝度画像を示す。以降説明を行なう、特徴点抽出、テンプレートマッチング等の処理は全てそれぞれの輝度画像にて行なわれる。図4(a)は撮影レンズ3(カメラモジュール220)で、図4(b)は撮影レンズ2(カメラモジュール210)での撮影画像となる。(a)の画像内の各々のピクセルは、(b)の画像内ピクセルを各々所望の量u’方向へ平行に移動したものとなっている。
FIG. 4 shows two luminance images captured by the stereo
ここで、図4(b)を基準画像、図4(a)を対象画像と呼ぶことにする。図5に図4(b)で示される基準画像より、画像内の特徴点501を抽出し画像上にプロットした状態を示す。特徴点501は、基準画像と対象画像2枚の視線(光線)が異なる撮影画像から前記視差を求めるために使用する。視差は、同じカメラ座標の点を考えたときに、2つの画像座標のu方向の差である。基準画像内の任意の位置を、対応する対象画像の中から見つけ出すのは困難である。基準画像から特徴のある位置を見つけ、その特徴のある位置と同じものを対応する対象画像の中から見つけ出す。
Here, FIG. 4B is referred to as a reference image, and FIG. 4A is referred to as a target image. FIG. 5 shows a state in which feature
先ず、特徴点はハリスのコーナー検出関数R_Hを用いる。基準画像の位置(u,v)における画素値をI(u,v)とするとき、共分散方向テンソル行列Gを考える。
図5で示される基準画像上の特徴点501に対応する、対象画像内の位置をSSD(Sum of Squared Difference)によるテンプレートマッチングにより探す。テンプレートマッチングとは、2つの画像間の相違度を調べるために、画像を重ね合わせて違いを調べていく処理のことである。SSDによる相違度は次式で示される。
図7のフローチャートを用いて、2点間の距離測定方法について詳細に説明をする。
シャッターボタン9が押されると、現在の状態が通常撮影モードであるか、距離測定モードであるか判定をする(701)。距離測定モードと通常撮影モードの切替えは、シャッターボタン9を押す前に距離測定キー7のトグル動作により決定されている。現在どちらのモードであるかは、LCDモニタ4上にアイコン等にてユーザーに通知を行なう。通常撮影モードであれば、2つのCMOSカメラモジュールで撮像した2つの画像をフラッシュメモリに保存する(702)。そして一方の画像をLCDモニタ4に表示する(703)。
The method for measuring the distance between two points will be described in detail using the flowchart of FIG.
When the
距離測定モードであった場合、710にて特徴点の閾値等の変数の初期化を行なう。特徴点を検出する際の特徴点評価値の最大値をH1_MAXとし、H1_MAXに特徴点を求めるときの評価関数の閾値の上限を代入する。例えば20とする。特徴点を検出する際の特徴点評価値の最小値をH1_MINとし、H1_MINに下限を代入する。例えば2とする。H1に特徴点評価関数の判定閾値の初期値を代入する。ここではH1_MAXとする。H1_MINの値が大きいほうが検出される特徴点の数が少なくなり、それぞれの特徴点は周囲に比べてより特徴的な点となっている。今回はハリスのコーナー検出関数を使用しているため、閾値H1が大きいほうが、明確なコーナーを検出する。Nは、2つの特徴点を距離測定ポイントとして選択するときに用いる変数で0に初期化をする。Nが0の時には距離測定用に特徴点を選択していない状態を表し、N=1では1つの距離測定用特徴点を選択していることとなる。S_Cは、左右カーソルで変更するときに使用する変数で1に初期化する。H1_Kは、前記閾値を上下カーソルで変更するときのステップ単位値であり、ここでは2に設定する。H1_Bは、一つ操作前のH1を格納する変数であり、H1と同じに初期化する。 If the mode is the distance measurement mode, variables such as threshold values of feature points are initialized at 710. The maximum value of the feature point evaluation value when detecting the feature point is set to H1_MAX, and the upper limit of the threshold value of the evaluation function for obtaining the feature point is substituted for H1_MAX. For example, 20 is set. The minimum value of the feature point evaluation value when detecting the feature point is set as H1_MIN, and the lower limit is substituted into H1_MIN. For example, assume 2. The initial value of the determination threshold value of the feature point evaluation function is substituted for H1. Here, it is assumed that H1_MAX. The larger the value of H1_MIN, the smaller the number of feature points detected, and each feature point is a more characteristic point than the surroundings. Since the Harris corner detection function is used this time, a clear corner is detected when the threshold value H1 is larger. N is a variable used when two feature points are selected as distance measurement points, and is initialized to zero. When N is 0, a feature point is not selected for distance measurement. When N = 1, one distance measurement feature point is selected. S_C is a variable used when changing with the left and right cursors, and is initialized to 1. H1_K is a step unit value when changing the threshold value with the up and down cursors, and is set to 2 here. H1_B is a variable for storing H1 before one operation, and is initialized to be the same as H1.
基準画像の輝度値に対し、ハリスのコーナー検出関数値R_Hにより特徴点検出を行なう。このとき、R_H>H1の点を特徴点とし、配列変数FP()に特徴点の画像座標を代入していく。得られた特徴点の数はpnとする(711)。
得られた特徴点FPを、LCDモニタ4上に基準画像とともに表示する(712)。基準画像は基準画像レイヤーに、それ以外は特徴点レイヤーに書き込まれる。基準画像レイヤーの上に特徴点レイヤーが重なるように各レイヤーから画像データが読み出されLCDモニタ4に表示される。基準画像レイヤーと特徴点レイヤーを重ねて上からみると、特徴点レイヤーの書き込まれていない座標かは、透けて下の基準画像レイヤーが見えるようになっている。つまり特徴点レイヤーを全て消去すると、基準画像レイヤーの画像そのものが表示される。特徴点レイヤーには、FPで示される特徴点601を●マークにて、左右カーソルにて選択している特徴点610を■マークにて書き込まれる。特徴点610は、FP(S_C)で示される座標である。図6(a)がこの状態を表示したLCDモニタ4上の画像となる。
Feature point detection is performed on the luminance value of the reference image using the Harris corner detection function value R_H. At this time, the point of R_H> H1 is used as a feature point, and the image coordinates of the feature point are substituted into the array variable FP (). The number of obtained feature points is pn (711).
The obtained feature point FP is displayed together with the reference image on the LCD monitor 4 (712). The reference image is written in the reference image layer, and the others are written in the feature point layer. Image data is read from each layer and displayed on the LCD monitor 4 such that the feature point layer overlaps the reference image layer. When the reference image layer and the feature point layer are overlapped and viewed from above, the reference image layer below can be seen through the coordinates where the feature point layer is not written. That is, when all the feature point layers are deleted, the image of the reference image layer itself is displayed. In the feature point layer, the
キー操作を待つ(713)。ここで距離測定をキャンセルするのであれば、下カーソルキーの長押しをし、距離測定モードから抜ける(719)。図6(a)で示されるLCDモニタ4上画像の特徴点610を移動するのであれば、左右カーソルキーを用いる。左カーソルキー操作を検出するとS_Cは減算され(715)、右カーソルであればS_Cが増加される(716)。S_Cの最小値を下回ればpnを(731、733)、S_Cの最大値であるpnを上回れば1を代入する(732、734)。ここでS_Cの値は、特徴点が格納されている配列変数FPの配列番号である1〜pnまでの値をとる。S_Cが更新されると、747にてLCDモニタ4の表示画像も更新する。ここでは、特徴点レイヤーのみ書き換える。一旦全ての特徴点レイヤーを消去し、FPで示される特徴点を●に、左右カーソルで選択している点を示す特徴点を■に、N=1であれば、つまり距離測定の為の特徴点を選択済みであればSEL(0)の座標に大きな●を、それぞれ書き込む。
Wait for key operation (713). If the distance measurement is to be cancelled, the long cursor key is pressed and the distance measurement mode is exited (719). If the
セットキー6が押されると(714)、FP(S_C)で選択されている特徴点が距離測定用の選択点となる。距離測定用選択点となると、747のLCD再表示処理にて、図6(b)で示されているように選択点620として表示される。選択点620は選択点配列変数SEL()にその基準画像の画像座標が格納される。2点の選択点を選択済みか判定し(730)、未だ1点のみであればNに1を代入する(736)。図6(b)では、選択点620は一つであり、このときの選択点620は第1選択点と呼ぶ。
When the set key 6 is pressed (714), the feature point selected by FP (S_C) becomes the selection point for distance measurement. When it becomes the selection point for distance measurement, it is displayed as the
上下カーソルが操作されると、H1_B変数に現在の閾値H1を退避する(717、718)。下カーソルキーが押されていれば、閾値H1_Kだけ増分する(741)。但し、上限であるH1_MAX以上であれば(743)、退避していた閾値H1_BをH1に戻し(745)、再びキー操作を待つ。上カーソルキーが押された時には、閾値H1をH1_Kだけ減算する(742)。ここでH1が最低閾値H1_MINより小さければ退避していた閾値H1_BをH1に戻し再びキー操作を待つ。
新たな閾値H1が決まると、その閾値H1を使って基準画像より新たな特徴点を検出する(746)。
上述した様に747にて、特徴点レイヤーの画像を更新する、図6(c)は、この時のLCDモニタ4を示している。図6(a)(b)では見られなかった新たな特徴点(例えば602)が表示されている。
When the up / down cursor is operated, the current threshold value H1 is saved in the H1_B variable (717, 718). If the down cursor key is pressed, the threshold value H1_K is incremented (741). However, if it is equal to or higher than the upper limit H1_MAX (743), the saved threshold value H1_B is returned to H1 (745), and the key operation is again waited. When the up cursor key is pressed, the threshold value H1 is subtracted by H1_K (742). Here, if H1 is smaller than the minimum threshold value H1_MIN, the saved threshold value H1_B is returned to H1 to wait for a key operation again.
When the new threshold value H1 is determined, a new feature point is detected from the reference image using the threshold value H1 (746).
As described above, the feature point layer image is updated at 747. FIG. 6C shows the LCD monitor 4 at this time. A new feature point (for example, 602) that is not seen in FIGS. 6A and 6B is displayed.
左右カーソルの移動及びセットキー6により第1選択点と同様に第2選択点630も選択する。このときのLCDモニタ4画像を図6(d)に示す。2つの選択点を選択したので、第1選択点、及び第2選択点の、各々カメラ座標を求める(750)。数5に示されるSSDテンプレートマッチング方式にて、基準画像と対象画像間で距離測定用選択点の視差を求め、数1によりカメラ座標を求める。
2つのカメラ座標により、2点間の距離を数2にて求める(751)。LCDモニタ上に、求めた2点間の距離を示す直線604、及び計算した距離603を表示する。このときのLCDモニタ画像を図6(e)に示す。
The
Using two camera coordinates, the distance between the two points is obtained by Equation 2 (751). A
[変形例]
上記実施の形態には、以下のような変形例も考えられる。
[Modification]
The following modifications are also conceivable for the above embodiment.
(1)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出し、検出した特徴点を表示させるようにしたが、予め設定した最も低い閾値、又は検出可能な最も低い閾値によって得られる特徴点を全て表示させ、その上から更に、特徴点評価値が設定した閾値の範囲内である特徴点を識別表示させるようにしてもよい。
例えば、図8を用いて説明すると、基準画像の上に検出された全特徴点を×マーク(801)によって表示させ、その特徴点の中から上記実施の形態と同様に特徴点評価値が予め設定した閾値の範囲内にある特徴点に●マークを、左右カーソルで選択している点を示す特徴点に■を表示させる。そして、第1選択点が既に決まっていれば第1選択点の座標に大きな●マーク(810)を書き込み、同様に、第2の選択点が決まっていれば第2選択点にも大きな●マークを書き込む。
また、特徴点の特徴点評価値を高い順に順位付けし、順位が高い順に特徴点を示す情報の表示を識別表示させるようにしてもよい。また、特徴点を示す情報の識別表示の方法は、識別表示させる特徴点を示す情報の表示の色を変更してもよいし、大きさを変更してもよいし、形状を変更してもよい。順位付けの場合は、順位を示す数字を表示させてもよい。
これにより、ユーザーは精度の高い測定が可能な特徴点を簡単に視認することができ、その特徴点を選択することで簡単に精度の高い測定をすることができる。
(1) In the above embodiment, the feature point within the range of the threshold value set by the feature point evaluation value is detected, and the detected feature point is displayed. It is also possible to display all the feature points obtained by the lowest possible threshold value, and further to identify and display the feature points within the threshold range set by the feature point evaluation value.
For example, referring to FIG. 8, all feature points detected on the reference image are displayed by x marks (801), and feature point evaluation values are previously selected from the feature points in the same manner as in the above embodiment. The mark ● is displayed at the feature point within the set threshold range, and the mark ■ is displayed at the feature point indicating the point selected by the left and right cursors. If the first selection point has already been determined, a large mark (810) is written in the coordinates of the first selection point. Similarly, if the second selection point has been determined, a large mark is also displayed at the second selection point. Write.
Alternatively, the feature point evaluation values of the feature points may be ranked in descending order, and information indicating the feature points may be identified and displayed in descending order. In addition, the method for identifying and displaying information indicating the feature points may change the display color of the information indicating the feature points to be identified and displayed, change the size, or change the shape. Good. In the case of ranking, a number indicating the ranking may be displayed.
As a result, the user can easily visually recognize the feature points that can be measured with high accuracy, and can easily perform the measurement with high accuracy by selecting the feature points.
(2)上記実施の形態においては、特徴点評価値が設定した閾値内にある特徴点を検出し、検出した特徴点を示す情報を表示させるようにしたが、画面に表示させる特徴点を示す情報の数は、予め決められた数に制限してもよい。
例えば、検出した特徴点のうち、特徴点評価値が高い順にN個の特徴点を画面に表示させる。
これにより、特徴点評価値が高い特徴点のみ選択可能となり、2点間の距離を測定するのは、特徴点評価値精度の高い特徴点の2点間の距離となり、精度の高い測定が可能となる。
(2) In the above embodiment, the feature point within the threshold set by the feature point evaluation value is detected and the information indicating the detected feature point is displayed, but the feature point to be displayed on the screen is indicated. The number of information may be limited to a predetermined number.
For example, among the detected feature points, N feature points are displayed on the screen in descending order of the feature point evaluation value.
As a result, only feature points with high feature point evaluation values can be selected, and the distance between the two points is measured between the two feature points with high feature point evaluation value accuracy, enabling high-precision measurement. It becomes.
(3)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出し、検出した特徴点を示す情報を表示させることで、表示させる特徴点を示す情報の数を制御するようにしたが、特徴点を示す情報を表示する範囲を制限することで、選択できる特徴点を制限してもよい。
例えば、検出された特徴点のうち、表示画面内の所定の範囲内に検出された特徴点を示す情報を表示させてもよいし、第1選択点から所定の範囲内にある特徴点を示す情報を、第2選択点として表示させるようにしてもよい。
また同様に、表示されている特徴点を示す情報のうち、表示画面内の所定の範囲内に表示されている特徴点を示す情報のみ選択可能にしてもよいし、第2の選択点は、撮影画像内において先に選択された第1の選択点の位置から所定の範囲内で検出された特徴点を示す情報を選択できるようにしてもよい。
また、変形例(1)と同様に、選択できる特徴点を示す情報の表示の色を変更してもよいし、大きさを変更してもよいし、形状を変更してもよい。
これにより、特徴点を選択できる範囲を狭くすることで、少ないキー操作で特徴点を選択できるようになる、
(3) In the above-described embodiment, the feature point evaluation value is detected within the set threshold value range, and the information indicating the feature point to be displayed is displayed by displaying the information indicating the detected feature point. Although the number is controlled, the selectable feature points may be limited by limiting the range in which the information indicating the feature points is displayed.
For example, information indicating a detected feature point within a predetermined range in the display screen among the detected feature points may be displayed, or a feature point within a predetermined range from the first selection point may be displayed. Information may be displayed as the second selection point.
Similarly, only the information indicating the feature points displayed within the predetermined range in the display screen among the information indicating the feature points being displayed may be selectable. Information indicating feature points detected within a predetermined range from the position of the first selected point previously selected in the captured image may be selected.
Similarly to the modification (1), the display color of information indicating selectable feature points may be changed, the size may be changed, or the shape may be changed.
This makes it possible to select feature points with fewer key operations by narrowing the range in which feature points can be selected.
(4)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出させるようにしたが、特徴点評価値の上限に制限を設けず、特徴点評価値が設定した閾値以上の特徴点を検出させるようにしてもよい。
また、検出、又は表示させる特徴点評価値の閾値の範囲は、ユーザーが変更できるようにしてもよいし、予め決められた所定の範囲であってもよい。
(4) In the above embodiment, the feature points within the threshold range set by the feature point evaluation value are detected. However, the upper limit of the feature point evaluation value is not limited, and the feature point evaluation value is You may make it detect the feature point more than the set threshold value.
Further, the threshold range of the feature point evaluation value to be detected or displayed may be changed by the user, or may be a predetermined range determined in advance.
(5)上記実施の形態においては、撮影画像から検出された特徴点と同じ位置に印を付けて特徴点を示す情報を表示させるようにしたが、特徴点を示す情報の表示位置は、特徴点を検出した位置と同じ位置でなくてもよく、検出した特徴点の位置を示すことができればよい。また、特徴点の座標を表示させるようにしてもよい。
要は、ユーザーが特徴点を検出した位置を知ることができればよく、特徴点を示す情報の表示は、位置、色、大きさ、形状に制限はない。
(5) In the above embodiment, the information indicating the feature point is displayed by marking the same position as the feature point detected from the captured image, but the display position of the information indicating the feature point is the feature It does not have to be the same position as the position where the point is detected, as long as it can indicate the position of the detected feature point. Further, the coordinates of feature points may be displayed.
In short, it is sufficient that the user can know the position where the feature point is detected, and the display of the information indicating the feature point is not limited in position, color, size, or shape.
(6)上記実施の形態においては、特徴点の2点間距離の測定について3次元における測距を行なうようにしたが、3次元である必要はなく、2次元における測距を行なうようにしてもよい。
また、実寸距離ではなく、LCDモニタ上における2点間距離であってもよい。
(6) In the above embodiment, the distance between the two feature points is measured in three dimensions. However, the distance is not necessarily in three dimensions, and the distance in two dimensions is measured. Also good.
Further, the distance between two points on the LCD monitor may be used instead of the actual distance.
(7)上記実施の形態においては、距離測定モードと通常撮影モードを設け、距離測定モードが選択されている場合に、特徴点を検出し、特徴点を示す情報を表示させるようにしたが、このようなモードを設けず、撮影毎に特徴点の情報を画像データと共に記録しておき、ユーザーによって距離を測定する指示があった場合、特徴点を表示させるようにしてもよい。 (7) In the above embodiment, the distance measurement mode and the normal shooting mode are provided, and when the distance measurement mode is selected, the feature point is detected and the information indicating the feature point is displayed. Such a mode may not be provided, and feature point information may be recorded together with image data for each photographing, and the feature point may be displayed when the user instructs to measure the distance.
(8)上記実施の形態においては、キー操作によって表示されている特徴点を示す情報を選択するようにしたが、表示画面にタッチパネルを設け表示されている特徴点を示す情報の位置をユーザーが指等で触れることにより選択するようにしてもよい。 (8) In the above embodiment, the information indicating the feature point displayed by the key operation is selected. However, the user provides the position of the information indicating the feature point displayed by providing the touch panel on the display screen. Selection may be made by touching with a finger or the like.
(9)上記実施の形態は、上記変形例(1)〜(8)を任意に組み合わせた態様であってもよい。 (9) The embodiment described above may be an embodiment in which the above modifications (1) to (8) are arbitrarily combined.
(10)また、本発明の上記各実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし、修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。 (10) Each of the above embodiments of the present invention is only an example as the best embodiment, and is described in order to better understand the principle and structure of the present invention. And is not intended to limit the scope of the appended claims. Accordingly, it should be understood that all the various variations and modifications that can be made to the above-described embodiments of the present invention are included in the scope of the present invention and protected by the appended claims. .
最後に、上記各実施の形態においては、本発明の距離測定装置をステレオデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像の中から被写体の特徴点を検出し、検出された特徴点間の距離を測定できる機器であれば適用可能である。
Lastly, in each of the above embodiments, the case where the distance measuring device of the present invention is applied to the stereo
1 ステレオデジタルカメラ
2,3 撮像レンズ
4 LCDモニタ
5 カーソルキー
6 SETキー
7 距離測定キー
8 メニューキー
9 シャッターボタン
10 電源ボタン
11 ストロボ
201 CPU
202 DMA
203 フラッシュメモリ
204 ワークメモリ
205 VRAM制御部
206 VRAM
207 デジタルビデオエンコーダ
208 表示部
209 キー入力部
211 USB制御部
214 USB接続端子部
210,220 CMOSカメラモジュール
212,222 CMOSセンサ
213,223 ISP
DESCRIPTION OF
202 DMA
203
207
Claims (14)
前記画像取得手段によって得られた画像から複数の特徴点を検出する検出手段と、Detection means for detecting a plurality of feature points from the image obtained by the image acquisition means;
前記検出手段によって検出された特徴点を示す情報を表示手段に表示させる表示制御手段と、Display control means for displaying information indicating the characteristic points detected by the detection means on the display means;
前記表示手段に表示された情報から2つをユーザーに選択させる選択手段と、Selection means for allowing the user to select two from the information displayed on the display means;
前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段と、Distance measuring means for obtaining a distance between two feature points corresponding to information indicating the feature points selected by the selection means;
前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段と、Selection restriction means for restricting selectable feature points when two points are selected by the selection means;
を備え、With
前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、The selection means, after the user has selected a first feature point as a starting point when measuring the distance between two points by the distance measuring means, to select a second feature point as an end point,
前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限することを特徴とする距離測定装置。The selection limiting unit selects information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit when the second feature point is selected by the selection unit. A distance measuring device that limits a range that can be selected.
前記選択手段によって前記第1の特徴点を選択する時と、前記第2の特徴点を選択する時とで、前記検出手段によって検出する特徴点の特徴点評価値の所定の範囲、又は前記表示制御手段によって表示制御する特徴点を示す情報の特徴点評価値の所定の範囲を変更する特徴点評価値範囲変更手段を更に備えたことを特徴とする請求項2〜9の何れかに記載の距離測定装置。A predetermined range of feature point evaluation values of the feature points detected by the detection means when the first feature points are selected by the selection means and when the second feature points are selected; or the display The feature point evaluation value range changing means for changing a predetermined range of the feature point evaluation value of the information indicating the feature point to be displayed and controlled by the control means is further provided. Distance measuring device.
画像から複数の特徴点を検出する検出手段、Detecting means for detecting a plurality of feature points from the image;
前記検出手段によって検出された特徴点を示す情報を前記表示部に表示させる表示制御手段、Display control means for displaying information indicating the feature points detected by the detection means on the display unit;
前記表示部に表示された情報から2つをユーザーに選択させる選択手段、Selection means for allowing the user to select two of the information displayed on the display unit;
前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段、Distance measuring means for obtaining a distance between two feature points corresponding to information indicating the feature points selected by the selection means;
前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段、Selection restriction means for restricting selectable feature points when selecting two points by the selection means;
として機能させ、Function as
前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、The selection means, after the user has selected a first feature point as a starting point when measuring the distance between two points by the distance measuring means, to select a second feature point as an end point,
前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限するように、機能させることを特徴とする距離測定プログラム。The selection limiting unit selects information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit when the second feature point is selected by the selection unit. A distance measurement program that functions so as to limit a selectable range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008065024A JP5167881B2 (en) | 2008-03-14 | 2008-03-14 | Distance measuring device and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008065024A JP5167881B2 (en) | 2008-03-14 | 2008-03-14 | Distance measuring device and program thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009222446A JP2009222446A (en) | 2009-10-01 |
JP2009222446A5 JP2009222446A5 (en) | 2011-04-21 |
JP5167881B2 true JP5167881B2 (en) | 2013-03-21 |
Family
ID=41239403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008065024A Expired - Fee Related JP5167881B2 (en) | 2008-03-14 | 2008-03-14 | Distance measuring device and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5167881B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102538665B (en) * | 2010-12-25 | 2016-03-09 | 赛恩倍吉科技顾问(深圳)有限公司 | Measurement result graphical output system and method |
WO2016183723A1 (en) | 2015-05-15 | 2016-11-24 | 华为技术有限公司 | Measurement method and terminal |
WO2019087253A1 (en) * | 2017-10-30 | 2019-05-09 | オリンパス株式会社 | Stereo camera calibration method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0518748A (en) * | 1991-07-09 | 1993-01-26 | Kyocera Corp | Digital electronic still camera capable of displaying distance information and the like |
JP2004295813A (en) * | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | 3-dimensional figure verification unit |
JP2006329684A (en) * | 2005-05-23 | 2006-12-07 | Olympus Corp | Image measuring instrument and method |
JP2007214891A (en) * | 2006-02-09 | 2007-08-23 | Nissan Motor Co Ltd | Imaging apparatus for vehicle |
-
2008
- 2008-03-14 JP JP2008065024A patent/JP5167881B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009222446A (en) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8358872B2 (en) | Information-inputting device inputting contact point of object on recording surface as information | |
US10375377B2 (en) | Information processing to generate depth information of an image | |
US10277889B2 (en) | Method and system for depth estimation based upon object magnification | |
US7856172B2 (en) | Jiggle measuring system and jiggle measuring method | |
US10578426B2 (en) | Object measurement apparatus and object measurement method | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
US10310675B2 (en) | User interface apparatus and control method | |
KR101674011B1 (en) | Method and apparatus for operating camera function in portable terminal | |
US9207779B2 (en) | Method of recognizing contactless user interface motion and system there-of | |
JP4775474B2 (en) | Imaging apparatus, imaging control method, and program | |
JP5951043B2 (en) | Image measuring device | |
KR20070037773A (en) | Apparatus and method for inputting user command in display device | |
JP2016217944A (en) | Measurement device and measurement method | |
KR100844129B1 (en) | A paratus for interfacing a mouse using a camera image, system and method using the paratus, computer readable record medium on which a program therefore is recorded | |
JP5167881B2 (en) | Distance measuring device and program thereof | |
JP2018009927A (en) | Image processing device, image processing method and program | |
CN107314761A (en) | Measuring method and electronic equipment | |
JP5805013B2 (en) | Captured image display device, captured image display method, and program | |
JP5996233B2 (en) | Imaging device | |
JP5888986B2 (en) | Image processing apparatus and control method thereof | |
JP6342832B2 (en) | Input device | |
US11463619B2 (en) | Image processing apparatus that retouches and displays picked-up image, image processing method, and storage medium | |
KR20180105215A (en) | Camera shooting control method and apparatus | |
JP2016021673A (en) | Imaging apparatus | |
JP2011227759A (en) | Image display device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5167881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |