JP6176598B2 - Dimension measurement program, dimension measurement apparatus, and dimension measurement method - Google Patents

Dimension measurement program, dimension measurement apparatus, and dimension measurement method Download PDF

Info

Publication number
JP6176598B2
JP6176598B2 JP2012164640A JP2012164640A JP6176598B2 JP 6176598 B2 JP6176598 B2 JP 6176598B2 JP 2012164640 A JP2012164640 A JP 2012164640A JP 2012164640 A JP2012164640 A JP 2012164640A JP 6176598 B2 JP6176598 B2 JP 6176598B2
Authority
JP
Japan
Prior art keywords
marker
image
dimension
point
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012164640A
Other languages
Japanese (ja)
Other versions
JP2014025748A (en
Inventor
佐藤 賢二
賢二 佐藤
翔太郎 川口
翔太郎 川口
卓也 西野
卓也 西野
久保 守
守 久保
Original Assignee
国立大学法人金沢大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人金沢大学 filed Critical 国立大学法人金沢大学
Priority to JP2012164640A priority Critical patent/JP6176598B2/en
Publication of JP2014025748A publication Critical patent/JP2014025748A/en
Application granted granted Critical
Publication of JP6176598B2 publication Critical patent/JP6176598B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、測定対象の寸法の測定に使用される寸法測定プログラム、寸法測定装置、及び、寸法測定方法に関する。   The present invention relates to a dimension measuring program, a dimension measuring apparatus, and a dimension measuring method used for measuring a dimension of a measurement target.
日常生活において、物体の実サイズが必要となる機会は多々ある。そこで、近年は、スマートフォンやタブレット型端末といった携帯端末の普及に伴い、物体の寸法を測定できるアプリケーションが数多く開発されている。   There are many occasions where the actual size of an object is necessary in daily life. Therefore, in recent years, with the widespread use of mobile terminals such as smartphones and tablet terminals, many applications that can measure the dimensions of objects have been developed.
たとえば、大きさが既知のマーカを、測定対象物と同一平面(以下、配置面と言う。)に並べ、マーカと測定対象物のほぼ真上から配置面に対してほぼ垂直に撮影し、撮影画像上での寸法を比較することで測定対象物の寸法を測定する技術が開発されている。   For example, markers with known sizes are arranged on the same plane as the measurement object (hereinafter referred to as the arrangement surface), and are photographed almost perpendicularly to the arrangement surface from directly above the marker and the measurement object. A technique for measuring the size of an object to be measured by comparing the dimensions on an image has been developed.
また、下記特許文献1には、直方体形状の測定対象物の面上に基準尺を配置した状態として撮影し、撮影画像から測定対象物の姿勢に関するパラメータとスケールを求め、パラメータとスケールに基づいて測定対象物の寸法を測定する技術が開示されている。   Further, in Patent Document 1 below, an image is taken in a state where a reference scale is arranged on the surface of a rectangular parallelepiped measurement object, and a parameter and a scale related to the posture of the measurement object are obtained from the captured image, and based on the parameter and the scale. A technique for measuring a dimension of a measurement object is disclosed.
特開2000−78452号公報JP 2000-78452 A
しかしながら、上記撮影画像上で寸法を比較する技術では、マーカと測定対象物のほぼ真上から、配置面に対してほぼ垂直に撮影した画像でなければ、マーカと測定対象物の長さの比較が正確に行えず、斜めから撮影すると測定精度が低下するという問題が生じていた。   However, in the above-described technique for comparing dimensions on the captured image, the lengths of the marker and the measurement object are compared unless the image is captured almost directly above the marker and the measurement object and substantially perpendicular to the arrangement surface. Cannot be accurately performed, and there is a problem that the measurement accuracy is lowered when photographing from an oblique direction.
また、上記特許文献1の技術は、直方体形状の測定対象物の姿勢に関するパラメータを利用するため、測定対象物が直方体形状に限定され、汎用性が低いという問題が生じていた。   Moreover, since the technique of the said patent document 1 utilizes the parameter regarding the attitude | position of a rectangular parallelepiped-shaped measuring object, the measuring object was limited to the rectangular parallelepiped shape, and the problem that versatility was low has arisen.
そこで、本発明の目的は、斜めから撮影した場合であっても寸法の測定精度が低下することがなく、測定対象が直方体形状に限定されずに汎用性の高い寸法測定プログラム、寸法測定装置、及び、寸法測定方法を提供することにある。   Therefore, the object of the present invention is that the measurement accuracy of the dimension does not decrease even when the image is taken from an oblique direction, and the measurement object is not limited to a rectangular parallelepiped shape, but a highly versatile dimension measurement program, a dimension measurement apparatus, And it is providing the dimension measuring method.
発明者等は、上記目的を達成すべく検討を重ねた結果、斜めからの撮影画像を座標変換により正面画像に近似させることで、正面画像を用いたときとほぼ同等の測定精度が得られるとの見解を得た。そこで、発明者等は更に鋭意研究を重ね、撮影画像を透視投影変換することにより正面画像に近似させることができ、そのためには撮影画像と正面画像との間で少なくとも四つの点を対応付けることが必要であり、この対応付けは正面像と寸法が既知のマーカを用いて実現可能であるとの技術的思想を得るに至った。本発明は、この技術的思想に基づいて完成させたものである。   As a result of repeated investigations to achieve the above object, the inventors have approximated a captured image from an oblique angle to a front image by coordinate conversion, and can obtain approximately the same measurement accuracy as when using the front image. Got the view. Therefore, the inventors have conducted further earnest research and can approximate the front image by performing perspective projection conversion of the captured image, and for that purpose, at least four points can be associated between the captured image and the front image. It is necessary, and the technical idea that this association can be realized using a marker whose front image and dimensions are known has been obtained. The present invention has been completed based on this technical idea.
本発明の寸法測定プログラムは、測定対象の寸法の測定に使用される寸法測定プログラムにおいて、ユーザによりマーカの実空間における寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶ステップと、前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得ステップと、前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得ステップにて取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定ステップと、前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得ステップにて取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定ステップにて特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換ステップと、前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出ステップと、を含む処理をコンピュータに実行させることを特徴とする。
また、本発明の寸法測定装置は、測定対象の寸法の測定に使用される寸法測定装置において、ユーザにより実空間におけるマーカの寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶手段と、前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得手段と、前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得手段により取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定手段と、前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得手段により取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定手段により特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換手段と、前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出手段と、を備えることを特徴とする。
また、本発明の寸法測定方法は、測定対象の寸法の測定のためにコンピュータにより実行される寸法測定方法において、ユーザにより実空間におけるマーカの寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶ステップと、前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得ステップと、前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得ステップにて取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定ステップと、前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得ステップにて取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定ステップにて特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換ステップと、前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出ステップと、を備えることを特徴とする。
In the dimension measuring program of the present invention, in the dimension measuring program used for measuring the dimension of the measurement object, when the dimension in the real space of the marker is input by the user, the dimension storing step of storing the dimension of the marker in the storage means when a photographed image acquisition step of acquiring a captured image including said marker with a measurement target, at least four points when the reference point included in the image upon shooting front image of the marker, the captured image From the captured image acquired in the acquisition step, the corresponding point specifying step for specifying the corresponding point corresponding to the reference point, the posture of the marker stored in the storage means, and the captured image acquisition step are acquired. The correspondence between the reference point and the corresponding point can be designated by the user so that the postures of the markers in the captured image are aligned, and the designated correspondence At engagement, corresponding points identified by the corresponding point specific step calculates conversion parameters for perspective projection conversion so as to be located on the reference point corresponding, the captured image based on the conversion parameter A perspective projection conversion step for converting the projection of the marker in real space from the storage means, the coordinates of the marker in the image after the perspective projection conversion, and the size of the marker in the real space, And a scale calculating step of calculating a scale of the image after the perspective projection conversion.
In the dimension measuring apparatus of the present invention, in the dimension measuring apparatus used for measuring the dimension of the measurement object, when the dimension of the marker in the real space is input by the user, the dimension of the marker is stored in the storage unit. When the storage means, the captured image acquisition means for acquiring the captured image including the marker and the measurement target, and at least four points included in the image when the front image of the marker is captured as the reference point, From the captured image acquired by the captured image acquisition means, the corresponding point specifying means for specifying the corresponding point corresponding to the reference point, the orientation of the marker stored in the storage means, and the captured image acquisition means and as orientation of the marker in the captured image are aligned, and can be designated by a user to the corresponding points corresponding relationship between the reference point at the designated relationship, the corresponding point Laid Perspective projection conversion means for calculating a transformation parameter for perspective projection transformation so that each corresponding point specified by the means is located at the corresponding reference point, and perspective projection transformation of the captured image based on the transformation parameter And the dimension of the marker in the real space is obtained from the storage means, and the scale of the image after the perspective projection conversion is obtained from the coordinate of the marker in the image after the perspective projection conversion and the dimension of the marker in the real space. And a scale calculating means for calculating.
Further, the dimension measuring method of the present invention is a dimension measuring method executed by a computer for measuring a dimension of a measurement object. When a dimension of a marker in a real space is input by a user, the dimension of the marker is stored. A dimension storing step for storing the image, a captured image acquiring step for acquiring a captured image including the marker and the measurement target, and at least four points included in the image when the front image of the marker is captured as reference points Sometimes, from the captured image acquired in the captured image acquisition step, a corresponding point specifying step for specifying a corresponding point corresponding to the reference point, the orientation of the marker stored in the storage means, and the captured image as orientation of the marker in the obtained captured image in acquiring step are aligned, and can be designated by a user to the corresponding points corresponding relationship between the reference point, A conversion parameter for perspective projection conversion is calculated so that each corresponding point specified in the corresponding point specifying step is positioned at the corresponding reference point with the specified correspondence relationship, and the conversion parameter is A perspective projection conversion step of performing a perspective projection conversion on the captured image based on the obtained image, acquiring the dimension of the marker in the real space from the storage unit, the coordinates of the marker in the image after the perspective projection conversion, and the marker in the real space And a scale calculating step for calculating a scale of the image after the perspective projection conversion from the dimensions.
この発明によれば、マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、撮影画像から基準点に対応する対応点を特定し、対応点と基準点に基づいて算出した変換パラメータを用いて撮影画像を透視投影変換することで、斜めから撮影した撮影画像を正面画像に近似させることができる。そして、この正面画像に近似させた透視投影変換後の画像を用いてスケールを算出するため、寸法の測定において正面画像と同等の精度を得ることができる。したがって、斜めから撮影した場合であっても、測定精度の低下を防止することができる。   According to this invention, when at least four points included in the image when the front image of the marker is captured are used as reference points, the corresponding points corresponding to the reference points are identified from the captured image, and the corresponding points and the reference points are identified. By performing perspective projection conversion of the captured image using the conversion parameter calculated based on the above, it is possible to approximate the captured image captured obliquely to the front image. Since the scale is calculated using the image after the perspective projection conversion approximated to the front image, the same accuracy as the front image can be obtained in the dimension measurement. Accordingly, it is possible to prevent a decrease in measurement accuracy even when the image is taken from an oblique direction.
本発明によれば、斜めから撮影した撮影画像であっても、透視投影変換により撮影画像を正面から撮影した画像に近似させてから、その透視投影変換後の画像においてスケールを算出するため、正面画像と同等の測定精度が得られる。透視投影変換は、マーカに基づいて行うため、測定対象が直方体形状に限定されることはない。これにより、斜めから撮影した場合であっても測定精度が低下することがなく、且つ、汎用性の高い寸法測定プログラム、寸法測定装置、及び、寸法測定方法を提供することができる。   According to the present invention, even if a captured image is taken obliquely, the perspective image is approximated to the image captured from the front by perspective projection conversion, and the scale is calculated in the image after the perspective projection conversion. Measurement accuracy equivalent to images can be obtained. Since the perspective projection conversion is performed based on the marker, the measurement target is not limited to the rectangular parallelepiped shape. Thereby, even if it is a case where it image | photographs from diagonal, a measurement precision does not fall, and a highly versatile dimension measuring program, a dimension measuring apparatus, and a dimension measuring method can be provided.
本発明の第一の実施の形態の概要を説明する説明図であり、図1(a)は斜めから撮影した撮影画像を示す図、図1(b)はマーカの正面像を示す図、図1(c)は透視投影変換後の画像を示す図である。It is explanatory drawing explaining the outline | summary of 1st embodiment of this invention, FIG. 1 (a) is a figure which shows the picked-up image image | photographed from the diagonal, FIG.1 (b) is a figure which shows the front image of a marker, FIG. 1 (c) is a diagram illustrating an image after perspective projection conversion. 上記実施の形態における寸法測定装置を説明する説明図である。It is explanatory drawing explaining the dimension measuring apparatus in the said embodiment. 上記実施の形態におけるマーカの例を説明する説明図であり、図3(a)は矩形のマーカ、図3(b)(c)は矩形の各辺の一部を含むマーカ、図3(d)は矩形の各辺を一部に含むマーカ、図3(e)は、矩形の各頂点に相当する点を含むマーカを説明する説明図である。FIG. 3A is an explanatory diagram for explaining an example of a marker in the embodiment, FIG. 3A is a rectangular marker, FIGS. 3B and 3C are markers including a part of each side of the rectangle, FIG. ) Is a marker partially including each side of the rectangle, and FIG. 3E is an explanatory diagram for explaining the marker including a point corresponding to each vertex of the rectangle. 上記実施の形態における寸法測定装置を説明する機能ブロック図である。It is a functional block diagram explaining the dimension measuring apparatus in the said embodiment. 上記実施の形態における寸法測定装置による処理のフローチャートを示す図である。It is a figure which shows the flowchart of the process by the dimension measuring apparatus in the said embodiment. 上記実施の形態におけるマーカの輪郭抽出を説明する説明図であり、図6(a)はマーカを斜め方向から撮影した撮影画像を示す図、図6(b)はその撮影画像からマーカの輪郭を抽出した状態を説明する説明図である。FIGS. 6A and 6B are explanatory diagrams for explaining marker contour extraction in the above embodiment, FIG. 6A is a diagram showing a photographed image obtained by photographing the marker from an oblique direction, and FIG. 6B is a diagram illustrating the marker contour from the photographed image. It is explanatory drawing explaining the extracted state. 上記実施の形態における対応点特定手段による処理のフローチャートを示す図である。It is a figure which shows the flowchart of the process by the corresponding point specific | specification means in the said embodiment. 上記実施の形態における対応点の特定を説明する説明図であり、図8(a)は直線検出により輪郭線から直線が検出された状態を示す図、図8(b)はその直線を延長した状態を示す図である。FIG. 8A is an explanatory diagram for explaining identification of corresponding points in the embodiment, FIG. 8A is a diagram showing a state in which a straight line is detected from a contour line by straight line detection, and FIG. 8B is an extension of the straight line. It is a figure which shows a state. 上記実施の形態における直線修正処理を説明する説明図であり、図9(a)はマーカの輪郭線のうち直線検出により検出した直線に対応する領域を説明する説明図であり、図9(b)はその領域における回帰直線を説明する説明図であり、図9(c)は回帰直線により直線が修正された状態を示す図である。FIG. 9A is an explanatory diagram for explaining a straight line correction process in the above embodiment, and FIG. 9A is an explanatory diagram for explaining a region corresponding to a straight line detected by straight line detection in the contour line of the marker. ) Is an explanatory diagram for explaining a regression line in the region, and FIG. 9C is a diagram showing a state in which the straight line is corrected by the regression line. 上記実施の形態における直線修正処理のフローチャートを示す図である。It is a figure which shows the flowchart of the straight line correction process in the said embodiment. 上記実施の形態における透視投影変換手段による変換処理を説明する説明図である。It is explanatory drawing explaining the conversion process by the perspective projection conversion means in the said embodiment. 上記実施の形態における使用態様の説明に用いた撮影画像を示す図である。It is a figure which shows the picked-up image used for description of the usage condition in the said embodiment. 上記実施の形態の使用態様における、領域分割を説明する説明図である。It is explanatory drawing explaining the area division | segmentation in the usage condition of the said embodiment. 上記実施の形態の使用態様における、四角形と対応点を説明する説明図である。It is explanatory drawing explaining the quadrangle | tetragon and a corresponding point in the usage condition of the said embodiment. 上記実施の形態の使用態様における、透視投影変換後の画像を示す図である。It is a figure which shows the image after perspective projection conversion in the usage condition of the said embodiment. 本発明の第二の実施の形態における寸法測定装置を説明する機能ブロック図である。It is a functional block diagram explaining the dimension measuring device in a second embodiment of the present invention. 上記実施の形態における寸法測定装置による処理のフローチャートを示す図である。It is a figure which shows the flowchart of the process by the dimension measuring apparatus in the said embodiment. 上記実施の形態におけるスケールバーが出力された表示画像の一例である。It is an example of the display image from which the scale bar in the said embodiment was output. コンピュータのハードウエア資源を説明するブロック図である。It is a block diagram explaining the hardware resource of a computer.
[第一の実施の形態]
本実施の形態の寸法測定装置1は、測定対象の寸法を測定するときに用いられるものである。図1は、本実施の形態の概略説明図であり、図1(a)は斜めから撮影した撮影画像Pc1を示す図、図1(b)はマーカMkの正面像を示す図、図1(c)は透視投影変換後の変換画像Pc2を示す図である。マーカMkは正面像の形状的特徴と寸法が既知であり、その情報は寸法測定装置1に記憶されている。
[First embodiment]
The dimension measuring apparatus 1 according to the present embodiment is used when measuring the dimension of a measurement target. FIG. 1 is a schematic explanatory diagram of the present embodiment, in which FIG. 1 (a) is a view showing a captured image Pc1 taken from an oblique direction, FIG. 1 (b) is a view showing a front image of the marker Mk, and FIG. c) is a diagram showing a converted image Pc2 after perspective projection conversion. The marker Mk has a known shape feature and size of the front image, and the information is stored in the size measuring device 1.
寸法測定装置1は、撮影画像Pc1(図1(a))のマーカMkが正面像(図1(b))となるように、撮影画像Pc1の全体を透視投影変換する。その結果として得られる変換画像Pc2(図1(c))は、正面画像に近似したものとなる。そして、変換画像Pc2を用い、マーカMkを基準として測定対象Obの寸法を測定する。これにより、撮影画像Pc1が斜めから撮影した画像であっても、正面から撮影したときと同等の測定精度を得ることができる。また、透視投影変換はマーカMkに基づいて行われるため、測定対象Obが直方体形状に限定されることがなく、汎用性が高まる。以下、詳細に説明する。   The dimension measuring apparatus 1 performs perspective projection conversion of the entire photographed image Pc1 so that the marker Mk of the photographed image Pc1 (FIG. 1A) becomes a front image (FIG. 1B). The resulting converted image Pc2 (FIG. 1 (c)) approximates the front image. Then, using the converted image Pc2, the dimension of the measurement object Ob is measured with the marker Mk as a reference. Thereby, even if the photographed image Pc1 is an image photographed from an oblique direction, measurement accuracy equivalent to that obtained when photographed from the front can be obtained. Moreover, since perspective projection conversion is performed based on the marker Mk, the measuring object Ob is not limited to a rectangular parallelepiped shape, and versatility is enhanced. Details will be described below.
図2は、寸法測定装置1を説明する説明図である。寸法測定装置1は、携帯端末、パーソナルコンピュータ、その他のコンピュータであり、ROMなどの不揮発性の記憶手段(図示せず)に記憶されている寸法測定プログラムが読み込まれることにより、CPUやメモリ等のハードウエア資源とソフトウエアとが協働して、以下に説明する各手段を実現し、寸法測定装置1として機能するものである。   FIG. 2 is an explanatory diagram for explaining the dimension measuring apparatus 1. The dimension measuring apparatus 1 is a portable terminal, personal computer, or other computer, and by reading a dimension measuring program stored in a non-volatile storage means (not shown) such as a ROM, a CPU, a memory, etc. Hardware resources and software cooperate to realize each means described below and function as the dimension measuring apparatus 1.
寸法測定装置1は、撮影手段Cで撮影した撮影画像を入力可能であり、処理結果を出力手段Dpに出力可能となっている。撮影手段Cは、CCD(Charge Coupled Device:電荷結合素子)画素が配列されたディジタルカメラやディジタルビデオカメラ等であり、出力手段Dpは液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等である。また、寸法測定装置1は、ユーザからの入力を受け付ける入力手段Inを備える。入力手段Inは、例えばキーボード、マウス、タッチパッド等である。入力手段Inと出力手段Dpは両手段が一体となったタッチパネルでも良い。撮影手段Cや出力手段Dpや入力手段Inは、寸法測定装置1と一体であってもよいし、別体であってもよい。   The dimension measuring apparatus 1 can input a photographed image photographed by the photographing means C, and can output a processing result to the output means Dp. The photographing means C is a digital camera or a digital video camera in which CCD (Charge Coupled Device) pixels are arranged, and the output means Dp is a liquid crystal display, a CRT (Cathode Ray Tube) display, or the like. Moreover, the dimension measuring apparatus 1 is provided with the input means In which receives the input from a user. The input means In is, for example, a keyboard, a mouse, a touch pad, or the like. The input means In and the output means Dp may be a touch panel in which both means are integrated. The photographing means C, output means Dp, and input means In may be integrated with the dimension measuring apparatus 1 or may be separate.
撮影画像Pc1は、図1(a)に示すように、マーカMkと測定対象Obとを含む画像である。本実施の形態では、マーカMkと測定対象Obとが、ほぼ同一の平面Aに位置する。ここで、平面Aは、テーブルや床等の有体物の表面であっても良いし、仮想的な平面であっても良い。例えば、マーカMkが、箱体の一側面である場合のように、立体物の一部であるときは、その一部が平面Aに位置するように立体物を配置することが好ましい。同様に、測定対象Obが立体物の一部であるときは、測定対象Obが平面に位置するように立体物を配置することが好ましい。なお、マーカMkや測定対象Obが、無視できる程度の厚みの立体物の一部である場合は、その立体物を同一平面に配置しても良い。   The captured image Pc1 is an image including a marker Mk and a measurement object Ob as shown in FIG. In the present embodiment, the marker Mk and the measurement object Ob are located on substantially the same plane A. Here, the plane A may be a surface of a tangible object such as a table or a floor, or may be a virtual plane. For example, when the marker Mk is a part of a three-dimensional object as in the case of one side of the box, the three-dimensional object is preferably arranged so that a part thereof is positioned on the plane A. Similarly, when the measurement object Ob is a part of a three-dimensional object, it is preferable to arrange the three-dimensional object so that the measurement object Ob is positioned on a plane. In addition, when the marker Mk and the measurement object Ob are part of a solid object with a negligible thickness, the solid object may be arranged on the same plane.
マーカMkは、その正面像を撮影して得られる正面画像において、その正面像の構成要素から少なくとも四つの点(以下、基準点と言う。)を特定可能なものであれば良い。なお、ここで、正面画像とは、マーカMkに対してほぼ真上(真正面)且つ垂直方向から撮影した画像を意味する。   The marker Mk only needs to be able to identify at least four points (hereinafter referred to as reference points) from the components of the front image in the front image obtained by photographing the front image. Here, the front image means an image taken from a position substantially directly above (directly in front) and perpendicular to the marker Mk.
以下の説明では、矩形の頂点に対応する点を基準点として特定可能なマーカMkを例に説明する。透視投影変換では、変換前の画像と変換後の画像との間において、少なくとも四つの対応する点が必要である。そこで、その最小限の四点を頂点とする矩形の概念を用いることで、基準点の特定や、変換前の画像と変換後の画像との対応付けが容易となる。また、マーカMkの幅と高さの寸法から各頂点の座標を得ることもできる。   In the following description, a marker Mk that can be identified with a point corresponding to a rectangular vertex as a reference point will be described as an example. In perspective projection conversion, at least four corresponding points are required between an image before conversion and an image after conversion. Therefore, by using the concept of a rectangle having the minimum four points as vertices, it becomes easy to identify a reference point and associate an image before conversion with an image after conversion. Further, the coordinates of each vertex can be obtained from the width and height dimensions of the marker Mk.
図3は、マーカMkの例を説明する説明図である。いずれもマーカMkの正面画像を用いて説明する。図3(a)は矩形のマーカMkの正面像であり、基準点p1は矩形の各頂点である。例えば、矩形の模様、名刺の一面、ノートの一面、テーブルの上面、ディスプレイの表示面、タバコの箱の一面、ダンボール箱の一面、窓枠、壁面、建築物の一側面などが挙げられる。図3(b)(c)は、矩形の各辺の一部を含むマーカMkの正面像であり、基準点p1はその直線を延長して得られる交点である。例えば、図3(b)に示すように、矩形の頂点に対応する部分が曲線を呈する模様、クレジットカードやポイントカード等のカード類の一面、トランプの一面、携帯電話の一面などや、図3(c)に示すように、矩形の頂点に対応する各部分に切り欠きを有する十字模様などが挙げられる。図3(d)は、矩形の各辺を一部に含むマーカMkの正面像であり、基準点p1は各直線の交点である。例えば、格子模様や、格子状の柵などが挙げられる。図3(e)は、矩形の各頂点に相当する点を含むマーカMkの正面像であり、基準点p1は各点になる。例えば、マトリックス状に配されたドットの配列などが挙げられる。以下の説明では、図3(b)に示すマーカMkを使用した場合を例に説明する。   FIG. 3 is an explanatory diagram illustrating an example of the marker Mk. Both will be described using a front image of the marker Mk. FIG. 3A is a front image of the rectangular marker Mk, and the reference point p1 is each vertex of the rectangle. Examples include a rectangular pattern, one side of a business card, one side of a notebook, the upper surface of a table, the display surface of a display, one side of a cigarette box, one side of a cardboard box, a window frame, a wall surface, and one side of a building. 3B and 3C are front images of the marker Mk including a part of each side of the rectangle, and the reference point p1 is an intersection obtained by extending the straight line. For example, as shown in FIG. 3 (b), a pattern corresponding to a vertex of a rectangle is curved, one surface of a card such as a credit card or a point card, one surface of a playing card, one surface of a mobile phone, etc. As shown in (c), a cross pattern or the like having a notch in each part corresponding to the vertex of a rectangle can be mentioned. FIG. 3D is a front image of the marker Mk partially including each side of the rectangle, and the reference point p1 is an intersection of the straight lines. For example, a lattice pattern, a lattice-shaped fence, etc. are mentioned. FIG. 3E is a front image of the marker Mk including points corresponding to the vertices of the rectangle, and the reference point p1 is each point. For example, an array of dots arranged in a matrix can be used. In the following description, a case where the marker Mk shown in FIG. 3B is used will be described as an example.
図4は、上記実施の形態の寸法測定装置1を説明する機能ブロック図である。寸法測定装置1は、撮影画像取得手段10、マーカ認識手段20、対応点特定手段30、透視投影変換手段40、スケール算出手段50、寸法算出手段60、画像記憶手段70、寸法記憶手段80を備える。   FIG. 4 is a functional block diagram illustrating the dimension measuring apparatus 1 according to the above embodiment. The dimension measurement apparatus 1 includes a captured image acquisition unit 10, a marker recognition unit 20, a corresponding point identification unit 30, a perspective projection conversion unit 40, a scale calculation unit 50, a dimension calculation unit 60, an image storage unit 70, and a dimension storage unit 80. .
撮影画像取得手段10は、撮影画像Pc1を取得する機能を備える。マーカ認識手段20は、撮影画像取得手段10により取得された撮影画像Pc1からマーカMkを認識する機能を備える。対応点特定手段30は、マーカ認識手段により認識されたマーカMkに基づいて、基準点p1,,,p1に対応する対応点p2,,,p2を特定する機能を備える。透視投影変換手段40は、対応点特定手段30により特定された各対応点p2,,,p2が、対応する各基準点p1,,,p1に位置するように透視投影変換するための変換パラメータを算出し、その変換パラメータに基づいて撮影画像Pc1を透視投影変換する機能を備える。スケール算出手段50は、透視投影変換手段40による透視投影変換後の変換画像Pc2のマーカMkの座標と、寸法記憶部80から取得したマーカMkの実空間における寸法に基づいて、変換画像Pc2のスケールを算出する機能を備える。寸法算出手段60は、スケール算出手段50により算出されたスケールに基づいて測定対象Obの寸法を算出する機能を備える。画像記憶手段70は、撮影画像取得手段10により取得された撮影画像Pc1を記憶する機能を備え、寸法記憶手段80は実空間におけるマーカMkの寸法を記憶する機能を備えるものであり、例えば、ハードディスクやキャッシュメモリやメインメモリ等により構成される。   The captured image acquisition unit 10 has a function of acquiring the captured image Pc1. The marker recognition unit 20 has a function of recognizing the marker Mk from the captured image Pc1 acquired by the captured image acquisition unit 10. The corresponding point specifying unit 30 has a function of specifying the corresponding points p2,, and p2 corresponding to the reference points p1,, and p1 based on the marker Mk recognized by the marker recognizing unit. The perspective projection conversion means 40 sets conversion parameters for perspective projection conversion so that the corresponding points p2,..., P2 specified by the corresponding point specifying means 30 are positioned at the corresponding reference points p1,. A function of calculating and perspective-projecting the captured image Pc1 based on the conversion parameter is provided. The scale calculating unit 50 calculates the scale of the converted image Pc2 based on the coordinates of the marker Mk of the converted image Pc2 after the perspective projection conversion by the perspective projection converting unit 40 and the dimension of the marker Mk acquired from the dimension storage unit 80 in the real space. The function to calculate is provided. The dimension calculating unit 60 has a function of calculating the dimension of the measurement object Ob based on the scale calculated by the scale calculating unit 50. The image storage unit 70 has a function of storing the captured image Pc1 acquired by the captured image acquisition unit 10, and the dimension storage unit 80 has a function of storing the dimension of the marker Mk in the real space. And a cache memory and a main memory.
以下、寸法測定装置1による寸法測定方法について図5に示すフローチャートを用いて説明する。   Hereinafter, the dimension measuring method by the dimension measuring apparatus 1 will be described with reference to the flowchart shown in FIG.
ステップS1において、撮影画像取得手段10は、撮影画像Pc1を取得する。撮影画像Pc1は、例えば、寸法測定装置1と一体の撮影手段Cから内部配線を介して入力されたり、別体の撮影手段Cから外部配線を介して入力されたりする。なお、ネットワークや記憶媒体から入力されても良い。取得した撮影画像Pc1は、画像記憶手段70に記憶される。   In step S1, the captured image acquisition unit 10 acquires a captured image Pc1. The photographed image Pc1 is input, for example, from the photographing unit C integrated with the dimension measuring apparatus 1 via an internal wiring, or is input from a separate photographing unit C via an external wiring. It may be input from a network or a storage medium. The acquired captured image Pc1 is stored in the image storage means 70.
ステップS2において、マーカ認識手段20は、画像記憶手段70に記憶されている撮影画像Pc1を取得して、撮影画像Pc1からマーカMkを認識する。マーカ認識には、画像処理による物体認識(Object Recognition)技術を用いれば良い。本実施の形態のマーカ認識手段20は、輪郭抽出により行う。輪郭抽出は、特徴検出や特徴抽出により行うことができる。本実施の形態では、撮影画像Pc1をマーカMkの領域とそれ以外の領域とに分割する領域分割を用い、二つの領域の境界を輪郭として抽出する。   In step S2, the marker recognizing unit 20 acquires the captured image Pc1 stored in the image storage unit 70, and recognizes the marker Mk from the captured image Pc1. For marker recognition, an object recognition technique based on image processing may be used. The marker recognizing means 20 of this embodiment is performed by contour extraction. The contour extraction can be performed by feature detection or feature extraction. In the present embodiment, a region division that divides the captured image Pc1 into the region of the marker Mk and the other region is used, and the boundary between the two regions is extracted as a contour.
以下、図6を参照しながら詳細に説明する。図6(a)は撮影画像Pc1におけるマーカMkの例を示す図であり、図6(b)は撮影画像Pc1からマーカMkの輪郭を抽出した状態を説明する説明図である。マーカ認識手段20は、表示手段Dpに撮影画像Pc1を表示し、ユーザに対してマーカMkの領域内の任意の一点r1とマーカMkの領域外の任意の一点r2とを指定させる。指定する点は各領域において複数であっても良い。マーカ認識手段20は、ユーザの入力を入力手段Inから受け付けると、撮影画像Pc1を点r1が属する領域と点r2が属する領域とに領域分割し、二つの領域の境界線(すなわち、マーカMkの輪郭線)L0を抽出する。処理後の画像は、撮影画像Pc1から輪郭線L0が抽出された二値画像(図6(b))となる。なお、領域分割による輪郭抽出処理にはオープンソースが利用可能であり、例えば画像処理ライブラリOpenCVに公開されているWatershedアルゴリズムを用いたcvWatershed関数などを利用しても良い。ただし、これに限られるものではなく、閾値処理やクラスタリング等を用いた画素に基づく分割、局所探索型アルゴリズム等を用いた領域に基づく分割、エッジ検出による分割などを用いても良い。なお、マーカ認識手段20による処理はこれに限定されることがなく、例えば、局所特徴量を利用したSURF(Speeded Up Robust Feature)やSIFT(Scale-invariant feature transform)等により局所領域を認識する手法や、標準パターンとの比較など、その他の物体認識技術を用いても良い。   Hereinafter, it will be described in detail with reference to FIG. FIG. 6A is a diagram illustrating an example of the marker Mk in the captured image Pc1, and FIG. 6B is an explanatory diagram illustrating a state in which the contour of the marker Mk is extracted from the captured image Pc1. The marker recognizing unit 20 displays the captured image Pc1 on the display unit Dp, and allows the user to designate an arbitrary point r1 within the marker Mk region and an arbitrary point r2 outside the marker Mk region. A plurality of points may be designated in each region. When the marker recognizing unit 20 receives a user input from the input unit In, the marker recognizing unit 20 divides the captured image Pc1 into a region to which the point r1 belongs and a region to which the point r2 belongs, and a boundary line between the two regions (that is, the marker Mk (Outline) L0 is extracted. The processed image is a binary image (FIG. 6B) obtained by extracting the contour line L0 from the captured image Pc1. Note that open source can be used for the contour extraction processing by area division, and for example, a cvWatershed function using the Watershed algorithm published in the image processing library OpenCV may be used. However, the present invention is not limited to this, and division based on pixels using threshold processing, clustering, or the like, division based on an area using a local search type algorithm, division by edge detection, or the like may be used. Note that the processing by the marker recognizing means 20 is not limited to this, and for example, a method of recognizing a local region by SURF (Speeded Up Robust Feature) using a local feature amount, SIFT (Scale-invariant feature transform), or the like. Alternatively, other object recognition techniques such as comparison with a standard pattern may be used.
図5に戻り、ステップS3において、対応点特定手段30は、マーカ認識手段20により認識されたマーカMkに基づいて、四つの基準点p1,,,p1に対応する対応点p2,,,p2を特定する。ここで、基準点p2,,,p2は、マーカMkの正面画像(図1(b)参照)においては矩形の頂点に対応する点であるが、斜めから撮影した撮影画像Pc1においては台形や菱形などの四角形の頂点に対応する点となる。このため、対応点特定手段30は、四角形の各頂点に対応する四つの点を対応点p2,,,p2として求める。図7は、ステップS3における対応点特定処理のフローチャートを示す図である。   Returning to FIG. 5, in step S <b> 3, based on the marker Mk recognized by the marker recognizing unit 20, the corresponding point specifying unit 30 sets the corresponding points p <b> 2,. Identify. Here, the reference points p2,..., P2 are points corresponding to the vertices of the rectangle in the front image (see FIG. 1B) of the marker Mk, but in the captured image Pc1 photographed obliquely, trapezoids and rhombuses. It becomes a point corresponding to the vertex of a rectangle such as. For this reason, the corresponding point specifying means 30 obtains four points corresponding to each vertex of the quadrangle as corresponding points p2,. FIG. 7 is a flowchart of the corresponding point specifying process in step S3.
ステップS31において、対応点特定手段30は、抽出された輪郭線L0から直線を検出する。直線の検出には、画像処理における特徴検出や特徴抽出を用いれば良く、例えばハフ変換を利用することができる。なお、直線検出には、例えば、画像ライブラリOpenCVに公開されているcvHoughLines2関数などを利用しても良い。処理の結果、図8(a)に示すように、輪郭線L0から直線L1〜L4が検出される。   In step S31, the corresponding point specifying unit 30 detects a straight line from the extracted outline L0. For detection of a straight line, feature detection or feature extraction in image processing may be used. For example, Hough transform can be used. For line detection, for example, a cvHoughLines2 function disclosed in the image library OpenCV may be used. As a result of the processing, as shown in FIG. 8A, straight lines L1 to L4 are detected from the contour line L0.
ステップS32において、対応点特定手段30は、検出された各直線L1〜L4を延長する処理を行う。図8(b)に示すように、直線L1〜L4は延長処理されることで互いに交差し、四角形Sq1を構成する。これにより、角部が丸味を帯びているマーカMkを用いた場合であっても、四角形Sq1の各頂点を特定可能となる。   In step S32, the corresponding point specifying unit 30 performs a process of extending the detected straight lines L1 to L4. As shown in FIG. 8B, the straight lines L1 to L4 are extended to cross each other to form a quadrangle Sq1. Thereby, even if it is a case where the marker Mk whose corner is rounded is used, each vertex of the quadrangle Sq1 can be specified.
ここで、直線L1〜L4が輪郭線L0からわずかにずれていることがある。そこで、ステップS33において、対応点特定手段30は直線L1〜L4のずれを修正する。具体的には、対応点特定手段30は、マーカ認識手段20により抽出された輪郭線L0(図6(b)参照)を構成する複数の画素のうち、各直線L1〜L4(図8(b)参照)に対応する画素の分布から回帰直線RL1〜RL4を算出し、各回帰直線RL1〜RL4により形成される四角形Sq2の各頂点を対応点p2,,,p2として抽出する。図9は、直線修正処理を説明する説明図であり、図9(a)はマーカMkの輪郭線L0のうち直線L1に対応する領域aを説明する説明図、図9(b)は領域aにおける回帰直線RL1を説明する説明図であり、図9(c)は回帰直線RL1〜RL4により直線L1〜L4が修正された状態を示す図である。図8(b)に示す直線L1の修正を例に説明すると、直線L1に対応する画素の分布(図9(a)の領域aに分布する画素px,,,px)から、回帰直線RL1を算出する。   Here, the straight lines L1 to L4 may be slightly shifted from the contour line L0. Therefore, in step S33, the corresponding point specifying unit 30 corrects the deviation of the straight lines L1 to L4. Specifically, the corresponding point specifying unit 30 includes straight lines L <b> 1 to L <b> 4 (FIG. 8B) among a plurality of pixels constituting the contour line L <b> 0 (see FIG. 6B) extracted by the marker recognizing unit 20. The regression lines RL1 to RL4 are calculated from the pixel distribution corresponding to ()), and the vertices of the quadrangle Sq2 formed by the regression lines RL1 to RL4 are extracted as corresponding points p2,. FIG. 9 is an explanatory diagram for explaining the straight line correction processing. FIG. 9A is an explanatory diagram for explaining a region a corresponding to the straight line L1 in the contour line L0 of the marker Mk, and FIG. FIG. 9C is a diagram illustrating a state in which the straight lines L1 to L4 are corrected by the regression lines RL1 to RL4. The correction of the straight line L1 shown in FIG. 8B will be described as an example. From the distribution of pixels corresponding to the straight line L1 (pixels px,..., Px distributed in the region a in FIG. 9A), the regression line RL1 is obtained. calculate.
以下、詳細に説明する。図10は、ステップS33における直線修正処理のフローチャートを示す図である。対応点特定手段30は、ステップS331において直線L1〜L4から直線Lxを選択し、ステップS332において輪郭線L0を構成する画素のうち、直線Lxに対応する画素を特定する。画素の特定は、例えば、輪郭線L0を構成する画素のうち、直線Lxからの距離が所定の閾値以内にある画素は、直線Lxに対応する画素とする。次に、ステップS333において、対応点特定手段30は、特定した画素の分布から回帰直線RLxを算出する。回帰直線RLxの算出は最小二乗法などにより可能である。ステップS334において、対応点特定手段30は、直線L1〜L4のうち未選択の直線があるかを判断し、有る場合はステップS331に戻って未選択の直線の中から次の直線Lxを選択し、同じ処理を繰り返す。直線L1〜L4に未選択の直線が無い場合は、処理を終了する。これにより、図9(c)に示すように、各直線L1〜L4を修正した回帰直線RL1〜RL4が得られる。   Details will be described below. FIG. 10 is a diagram showing a flowchart of straight line correction processing in step S33. The corresponding point specifying unit 30 selects the straight line Lx from the straight lines L1 to L4 in step S331, and specifies the pixel corresponding to the straight line Lx among the pixels constituting the contour line L0 in step S332. For example, among the pixels constituting the contour line L0, the pixels whose distance from the straight line Lx is within a predetermined threshold are pixels corresponding to the straight line Lx. Next, in step S333, the corresponding point specifying unit 30 calculates a regression line RLx from the specified pixel distribution. The regression line RLx can be calculated by the least square method or the like. In step S334, the corresponding point specifying unit 30 determines whether there is an unselected straight line among the straight lines L1 to L4. If there is, the process returns to step S331 to select the next straight line Lx from the unselected straight lines. Repeat the same process. If there are no unselected straight lines in the straight lines L1 to L4, the process is terminated. Thereby, as shown in FIG.9 (c), the regression lines RL1-RL4 which corrected each straight line L1-L4 are obtained.
図7に戻り、対応点特定手段30は、ステップS34において回帰直線RL1〜RL4の構造から、四角形を構成する線分構造を抽出することで、四角形Sq2を抽出し、抽出した四角形Sq2の各頂点を対応点p2,,,p2として特定する。なお、四角形Sq2の抽出には、例えば、画像ライブラリOpenCVに公開されているcvApproxPoly関数やcvSeq構造体などを利用しても良い。   Returning to FIG. 7, the corresponding point specifying means 30 extracts the quadrangle Sq2 by extracting the line segment structure constituting the quadrilateral from the structure of the regression lines RL1 to RL4 in step S34, and each vertex of the extracted quadrilateral Sq2 Are identified as corresponding points p2,. For example, a cvApproxPoly function or a cvSeq structure disclosed in the image library OpenCV may be used for extracting the quadrangle Sq2.
なお、直線延長処理(ステップS32)と直線修正処理(ステップS33)は任意であり、必要に応じて設ければ良い。例えば、図3(a)に示す矩形のマーカや図3(d)に示す格子状のマーカであれば、直線延長処理(ステップS32)は不用である。また、直線修正処理(ステップS33)を行わない場合は、直線L1〜L4の構造から四角形Sq1を抽出し、その頂点を対応点p2,,,p2とすれば良い。   The straight line extension process (step S32) and the straight line correction process (step S33) are arbitrary and may be provided as necessary. For example, in the case of the rectangular marker shown in FIG. 3A or the grid-like marker shown in FIG. 3D, the straight line extension process (step S32) is unnecessary. Further, when the straight line correction process (step S33) is not performed, the quadrangle Sq1 is extracted from the structure of the straight lines L1 to L4, and the apexes thereof may be the corresponding points p2,.
図5に戻り、ステップS4において、透視投影変換手段40は、対応点特定手段30により特定された各対応点p2,,,p2が、対応する各基準点p1,,,p1に位置するように透視投影変換するための変換パラメータを算出し、その変換パラメータに基づいて撮影画像Pc1を透視投影変換する。図11は透視投影変換手段40による変換処理を説明する図である。透視投影変換手段40は、変換画像Pc2の画像座標系における四つの対応点p2,,,p2の座標(x1、y1)(x2、y2)(x3、y3)(x4、y4)と、正面画像の画像座標系における基準点p1,,,p1の座標(X1,Y1)(X2,Y2)(X3,Y3)(X4,Y4)との対応関係から、透視投影変換における変換パラメータを算出し、その変換パラメータを用いて撮影画像Pc1の全体を透視投影変換する。   Returning to FIG. 5, in step S <b> 4, the perspective projection conversion unit 40 causes the corresponding points p <b> 2,... P <b> 2 specified by the corresponding point specifying unit 30 to be positioned at the corresponding reference points p <b> 1,. Conversion parameters for perspective projection conversion are calculated, and the captured image Pc1 is perspective projection converted based on the conversion parameters. FIG. 11 is a diagram for explaining the conversion process by the perspective projection conversion means 40. The perspective projection conversion means 40 includes the coordinates (x1, y1) (x2, y2) (x3, y3) (x4, y4) of the four corresponding points p2,, p2 in the image coordinate system of the converted image Pc2, and the front image. Conversion parameters in perspective projection conversion are calculated from the correspondence with the coordinates (X1, Y1) (X2, Y2) (X3, Y3) (X4, Y4) of the reference points p1,, p1 in the image coordinate system of The entire captured image Pc1 is subjected to perspective projection conversion using the conversion parameter.
なお、基準点p1,,,p1の座標(X1,Y1)〜(X4,Y4)は、導出するためのデータやルールが予め記憶手段に記憶されており、このデータやルールに基づいて得られる。たとえば、マーカMkの形状的特徴として基準点p1,,,p1の座標(X1,Y1)〜(X4,Y4)が記憶手段に記憶されており、それを読み出して用いても良い。また、対応点p2,,,p2のうち任意の一点の座標(x1,y1)を基準点の座標(X1,Y1)とし、寸法記憶手段80に記憶されている寸法の比率を有する矩形となるように、他の基準点の座標(X2,Y2)〜(X4,Y4)を算出しても良い。また、マーカMkの形状的特徴として、任意の矩形の頂点座標を予め記憶手段に記憶しておき、各頂点座標により形成される各辺が寸法記憶手段80に記憶されている寸法の比率となるように基準点p1,,,p1の座標(X1,Y1)〜(X4,Y4)を算出しても良い。   Data and rules for deriving the coordinates (X1, Y1) to (X4, Y4) of the reference points p1,..., P1 are stored in advance in the storage means, and are obtained based on these data and rules. . For example, the coordinates (X1, Y1) to (X4, Y4) of the reference points p1,..., P1 are stored in the storage means as the shape features of the marker Mk, and these may be read and used. Further, the coordinates (x1, y1) of any one of the corresponding points p2,..., P2 are set as the coordinates (X1, Y1) of the reference point, and the rectangle has a ratio of dimensions stored in the dimension storage means 80. As described above, the coordinates (X2, Y2) to (X4, Y4) of other reference points may be calculated. Further, as a shape feature of the marker Mk, arbitrary rectangular vertex coordinates are stored in the storage means in advance, and each side formed by each vertex coordinate is a ratio of the dimensions stored in the dimension storage means 80. As described above, the coordinates (X1, Y1) to (X4, Y4) of the reference points p1,, p1 may be calculated.
なお、基準点p1,,,p1の座標(X1,Y1)〜(X4,Y4)と対応点p2,,,p2の座標(x1,y1)〜(x4,y4)の対応関係は、ユーザにより指定可能としても良いし、予め定められたルールに基づいて自動的に決定されても良い。たとえば、基準点と対応点との対応付けは、マーカMkが正方形の場合は4通り、長方形の場合は2通りが可能である。そこで、透視投影変換手段40は、これらの複数の対応付けの候補をユーザに提示してユーザにより指定可能としても良いし、何らかのルールに基づいて自動的に候補を選択可能としても良い。たとえば、本実施の形態では、透視投影変換手段40は、変換画像Pc2においてマーカMkの各辺が垂直および水平になるよう基準点p1,,,p1の座標を定め、対応点p2,,,p2を基準点p1,,,p1に位置させたときにマーカMkの回転角度が最も小さくなる候補を選んでいる。   The correspondence between the coordinates (X1, Y1) to (X4, Y4) of the reference points p1,, p1 and the coordinates (x1, y1) to (x4, y4) of the corresponding points p2,, p2 is determined by the user. It may be possible to specify, or may be automatically determined based on a predetermined rule. For example, the reference point and the corresponding point can be associated in four ways when the marker Mk is a square and two ways when the marker Mk is a rectangle. Therefore, the perspective projection conversion means 40 may present these plural candidates for association to the user so that they can be designated by the user, or may automatically select the candidates based on some rule. For example, in the present embodiment, the perspective projection conversion means 40 determines the coordinates of the reference points p1,, p1 so that the sides of the marker Mk are vertical and horizontal in the converted image Pc2, and the corresponding points p2,, p2 Is selected at the reference points p1,..., P1, and the candidate having the smallest rotation angle of the marker Mk is selected.
また、透視投影変換は、具体的には以下の方法を用いる。任意の座標(x、y)を透視投影変換によって(X,Y)に射影するとき、透視投影変換は下記の数1により表され、また逆変換は数2により表される。
The perspective projection conversion specifically uses the following method. When an arbitrary coordinate (x, y) is projected to (X, Y) by perspective projection transformation, the perspective projection transformation is represented by the following equation 1, and the inverse transformation is represented by equation 2.
透視投影変換手段40は、四つの対応点p2,,,p2の座標(x1、y1)〜(x4、y4)と基準点p1,,,p1の座標(X1,Y1)〜(X4,Y4)から上記の数1又は数2の変換パラメータa〜h又はA〜Hを算出し、算出された変換パラメータを用いて撮影画像Pc1の全体を透視投影変換する。たとえば、図1(a)に示す撮影画像Pc1を、透視投影変換手段40により変換すると、図1(c)に示すように、正面画像に近似した変換画像Pc2となる。なお、変換画像Pc2は表示手段Dpに表示しなくとも良いし、表示しても良い。   The perspective projection conversion means 40 includes coordinates (x1, y1) to (x4, y4) of the four corresponding points p2,, and p2 and coordinates (X1, Y1) to (X4, Y4) of the reference points p1,, and p1. Then, the conversion parameters a to h or A to H in the above formula 1 or 2 are calculated, and the entire captured image Pc1 is subjected to perspective projection conversion using the calculated conversion parameters. For example, when the photographed image Pc1 shown in FIG. 1 (a) is converted by the perspective projection conversion means 40, a converted image Pc2 approximated to the front image is obtained as shown in FIG. 1 (c). Note that the converted image Pc2 may or may not be displayed on the display unit Dp.
ここで、変換パラメータは上記数1又は数2から算出されることから、撮影画像Pc1と変換画像Pc2との間には、少なくとも四つの対応点があれば、透視投影変換可能である。すなわち、マーカMkは矩形に限定されることがなく、少なくとも四つの基準点p1,,,p1が特定可能であり、且つ、基準となる寸法が既知なものであれば良い。   Here, since the conversion parameter is calculated from Equation 1 or Equation 2, perspective projection conversion is possible if there are at least four corresponding points between the captured image Pc1 and the converted image Pc2. That is, the marker Mk is not limited to a rectangle, and it is sufficient that at least four reference points p1,..., P1 can be specified and a reference dimension is known.
図5に戻り、ステップS5において、スケール算出手段50は、マーカMkの実空間における寸法Dを寸法記憶部80から取得し、変換画像Pc2の画像座標系における対応点p2,,,p2の各座標と、実空間におけるマーカの寸法Dとの対応関係から、変換画像Pc2の画像座標系のスケールを算出する。なお、本実施の形態では、マーカMkの寸法として、マーカMkの幅と高さの二つの寸法(図3(b)の符号wと符号hで示される寸法)が記憶されており、変換画像Pc2におけるマーカMkの幅を特定する二つの座標及び高さを特定する二つの座標との対応関係からスケールを算出する。これらの座標として、四つの対応点p2,,,p2の座標を用いても良い。算出されたスケールは、記憶手段(図示せず)に記憶される。   Returning to FIG. 5, in step S5, the scale calculating means 50 acquires the dimension D of the marker Mk in the real space from the dimension storage unit 80, and coordinates of the corresponding points p2,..., P2 in the image coordinate system of the converted image Pc2. Then, the scale of the image coordinate system of the converted image Pc2 is calculated from the correspondence relationship with the dimension D of the marker in the real space. In the present embodiment, two dimensions of the marker Mk are stored as dimensions of the marker Mk (dimensions indicated by reference sign w and reference sign h in FIG. 3B), and the converted image is stored. A scale is calculated from the correspondence between two coordinates that specify the width of the marker Mk in Pc2 and two coordinates that specify the height. As these coordinates, the coordinates of the four corresponding points p2,..., P2 may be used. The calculated scale is stored in a storage means (not shown).
なお、マーカMkの実空間における寸法Dは、ユーザにより逐次入力された数値が寸法記憶部80に記憶されても良い。この場合は、マーカの選択の自由度が高くなる。また、予め複数のマーカの寸法のデータがデータベース化されて寸法記憶部80に記憶されており、ユーザによりデータベースからマーカを選択可能としても良い。この場合は、ユーザが寸法データを数値入力する手間が省ける。なお、データベースは日本工業規格や国際規格等の工業規格に基づく寸法を用いて作成すれば、作業が容易であり、汎用性も高い。また、専用のマーカを用いる場合は、その寸法データが記憶されていれば良い。   As the dimension D in the real space of the marker Mk, a numerical value sequentially input by the user may be stored in the dimension storage unit 80. In this case, the degree of freedom in selecting a marker is increased. In addition, the dimension data of a plurality of markers may be stored in the dimension storage unit 80 in advance and the marker may be selected from the database by the user. In this case, it is possible to save the user from inputting numerical values of the dimension data. If the database is created using dimensions based on industrial standards such as Japanese Industrial Standards and International Standards, the work is easy and versatility is high. Moreover, when using a dedicated marker, the dimension data should just be memorize | stored.
図5に戻り、ステップS6において、寸法算出手段60は、スケール算出手段50により算出されたスケールに基づいて、変換画像Pc2における測定対象Obの寸法を算出する。本実施の形態では、撮影画像Pc1若しくは変換画像Pc2を表示手段Dpに表示し、その表示画像上にてユーザが測定対象Obの測定箇所を指定可能となっている。寸法算出手段60は、その測定箇所の変換画像Pc2における座標を取得し、スケールに基づいて寸法を算出する。算出した寸法は、表示手段Dpに出力される。   Returning to FIG. 5, in step S <b> 6, the dimension calculating unit 60 calculates the dimension of the measurement object Ob in the converted image Pc <b> 2 based on the scale calculated by the scale calculating unit 50. In the present embodiment, the captured image Pc1 or the converted image Pc2 is displayed on the display means Dp, and the user can specify the measurement location of the measurement object Ob on the display image. The dimension calculation means 60 acquires the coordinates of the measurement location in the converted image Pc2, and calculates the dimensions based on the scale. The calculated dimensions are output to the display means Dp.
以下、本実施の形態における寸法測定装置1の使用態様の一例を説明する。図12は、使用態様の説明に用いる撮影画像Pc1を示す図であり、配置面に対して水平方向に約45度斜めから撮影した撮影画像である。マーカMkはISO216に規定されるA4サイズの下敷きとし、測定対象Obは部屋の壁として設置されたパーティションの一つのパネルとし、パネルの高さHを測定する場合を説明する。なお、寸法測定装置1の各処理については、上記で説明しているため詳細は省略する。   Hereinafter, an example of a usage mode of the dimension measuring apparatus 1 in the present embodiment will be described. FIG. 12 is a diagram showing a photographed image Pc1 used for describing the usage mode, and is a photographed image photographed at an angle of about 45 degrees in the horizontal direction with respect to the arrangement surface. The case where the marker Mk is an A4 size underlay defined by ISO 216, the measurement object Ob is one panel of a partition installed as a wall of the room, and the height H of the panel is measured will be described. In addition, about each process of the dimension measuring apparatus 1, since it demonstrated above, the detail is abbreviate | omitted.
まず、ユーザは、測定対象Obとほぼ同一平面上にマーカMkが位置するように下敷きを縦長の姿勢で配置し、マーカMkと測定対象Obの両方が撮影画像Pc1に含まれるように撮影手段Cで撮影する。このとき、ユーザは、自由な角度から撮影すれば良く、撮影画像Pc1が正面画像となるように撮影する必要はない。また、ユーザの立ち位置も自由であり、例えば、三角測量を利用した技術のように測定対象と同一平面上に立つ必要もない。また、測定対象Obの形状が制限されることもない。なお、下敷きの厚みによる若干の誤差は生じるが、極端に近づいて撮影しない限り、無視できる程度の誤差である。   First, the user places the underlay in a vertically long posture so that the marker Mk is positioned substantially on the same plane as the measurement object Ob, and the imaging unit C includes both the marker Mk and the measurement object Ob in the captured image Pc1. Shoot with. At this time, the user may shoot from a free angle, and does not need to shoot so that the photographic image Pc1 becomes a front image. Further, the user can freely stand, for example, and does not need to stand on the same plane as the measurement object as in the technique using triangulation. Further, the shape of the measurement object Ob is not limited. Although a slight error occurs due to the thickness of the underlay, the error is negligible unless the image is taken extremely close.
以下、図5に示すフローチャートを参照しながら説明する。ステップS1において、撮影画像取得手段10が撮影画像Pc1を取得する。撮影画像Pc1は、画像記憶手段70に一時的に記憶されるとともに、表示装置Dpに表示される。   Hereinafter, a description will be given with reference to the flowchart shown in FIG. In step S1, the captured image acquisition unit 10 acquires the captured image Pc1. The captured image Pc1 is temporarily stored in the image storage means 70 and displayed on the display device Dp.
ユーザは、図13に示すように、表示手段Dpに表示された撮影画像Pc1に対して、マウス等によりマーカMkの領域内の任意の一点r1とマーカMkの領域外の任意の一点r2を指定する。寸法測定装置1は、画像座標系におけるこれらの二点r1,r2の座標を領域分割用のデータとして記憶手段(図示せず)に記憶する。また、ユーザは、マーカMkの寸法Dを入力する。ここでは、A4サイズの各辺の寸法、すなわち、幅wの寸法が210mm、高さhの寸法が297mmとして入力する。なお、データベースから選択可能な場合は、複数の寸法データの中から「A4サイズ縦長」を選択する。寸法測定装置1は、入力された寸法D又はデータベースから選択された寸法を寸法記憶手段80に記憶する。   As shown in FIG. 13, the user designates an arbitrary point r1 in the area of the marker Mk and an arbitrary point r2 outside the area of the marker Mk with the mouse or the like for the photographed image Pc1 displayed on the display means Dp. To do. The dimension measuring apparatus 1 stores the coordinates of these two points r1 and r2 in the image coordinate system in a storage means (not shown) as area division data. Further, the user inputs the dimension D of the marker Mk. Here, the dimensions are input assuming that the dimension of each side of the A4 size, that is, the dimension of the width w is 210 mm and the dimension of the height h is 297 mm. If it is possible to select from the database, “A4 size portrait” is selected from a plurality of dimension data. The dimension measuring apparatus 1 stores the input dimension D or the dimension selected from the database in the dimension storage unit 80.
つぎに、ユーザが開始ボタンのクリック等、入力手段Inにより処理の開始を指示すると、寸法測定装置1は以下の処理を開始する。ステップS2においてマーカ認識手段20は、撮影画像Pc1からマーカMkを認識する。具体的には、二点r1,r2を用いて、領域分割を行い、マーカMkの輪郭線を抽出する。   Next, when the user instructs the start of processing by the input means In, such as clicking the start button, the dimension measuring apparatus 1 starts the following processing. In step S2, the marker recognizing means 20 recognizes the marker Mk from the captured image Pc1. Specifically, the region is divided using the two points r1 and r2, and the contour line of the marker Mk is extracted.
ステップS3において、対応点特定手段30は、マーカMkの輪郭線に基づいて四角形Sq2を抽出し、四つの対応点p2,,,p2を特定する。図14は、四角形Sq2と対応点p2を説明する説明図である。なお、四角形Sq2や対応点p2は表示手段Dpに表示しても良いし、しなくても良い。その後、ステップS4において、透視投影変換手段40は、四つの対応点p2,,,p2が基準点p1,,,p1に位置するように撮影画像Pc1を透視投影変換する。図15は、変換画像Pc2を示す説明図である。変換画像Pc2は、マーカMkや測定対象Obの真上から配置面に対して垂直に撮影した画像、すなわち正面画像に近似した画像となる。この例では、マーカMkは矩形に近い形状となり、撮影対象Obも矩形に近い形状となる。   In step S3, the corresponding point specifying unit 30 extracts a quadrangle Sq2 based on the contour line of the marker Mk, and specifies four corresponding points p2,. FIG. 14 is an explanatory diagram illustrating the quadrangle Sq2 and the corresponding point p2. Note that the square Sq2 and the corresponding point p2 may or may not be displayed on the display means Dp. Thereafter, in step S4, the perspective projection conversion means 40 performs perspective projection conversion of the captured image Pc1 so that the four corresponding points p2,..., P2 are positioned at the reference points p1,. FIG. 15 is an explanatory diagram showing the converted image Pc2. The converted image Pc2 is an image photographed perpendicularly to the arrangement surface from directly above the marker Mk and the measurement object Ob, that is, an image approximated to a front image. In this example, the marker Mk has a shape close to a rectangle, and the photographing object Ob also has a shape close to a rectangle.
つぎに、ステップS5において、スケール算出手段50が、マーカMkの実空間における寸法Dを寸法記憶手段80から取得し、変換画像Pc2の画像座標系におけるマーカMkの座標と実空間における寸法とから、変換画像Pc2の画像座標系のスケールを算出する。   Next, in step S5, the scale calculation means 50 acquires the dimension D in the real space of the marker Mk from the dimension storage means 80, and from the coordinates of the marker Mk in the image coordinate system of the converted image Pc2 and the dimensions in the real space, The scale of the image coordinate system of the converted image Pc2 is calculated.
つぎに、ユーザは、表示手段Dpに表示された変換画像Pc2にて、測定箇所の両端のポイントr3,r4をマウスでクリック等することにより、測定箇所を指定する。寸法測定装置1は、測定箇所の情報としてポイントr3,r4の座標を記憶部に記憶する。なお、ここでは、変換画像Pc2で測定箇所を指定した場合を例に説明したが、変換前の撮影画像Pc1にて指定するようにしても良い。   Next, the user designates the measurement location by clicking the points r3 and r4 at both ends of the measurement location with the mouse in the converted image Pc2 displayed on the display means Dp. The dimension measuring apparatus 1 stores the coordinates of the points r3 and r4 in the storage unit as information on the measurement location. Here, the case where the measurement location is specified in the converted image Pc2 has been described as an example, but it may be specified in the captured image Pc1 before conversion.
つぎに、ステップS6において、寸法算出手段60が、変換画像Pc2の画像座標系におけるポイントr3とポイントr4との間の寸法をスケールに基づいて算出する。算出結果は、表示手段Dpに表示して、ユーザに提供する。変換画像Pc2は正面画像に近似するため、斜めから撮影した場合であっても、正面から撮影した場合と同等の測定精度が得られる。   Next, in step S6, the dimension calculation means 60 calculates the dimension between the point r3 and the point r4 in the image coordinate system of the converted image Pc2 based on the scale. The calculation result is displayed on the display means Dp and provided to the user. Since the converted image Pc2 approximates to the front image, even when the image is taken from an oblique direction, measurement accuracy equivalent to that obtained from the front can be obtained.
[第二の実施の形態]
本実施の形態の寸法測定装置2は、上記実施の形態の寸法測定装置1に他の複数の機能を付加したものである。図16は寸法測定装置2を説明する機能ブロック図である。なお、上記実施の形態と同一の要素については同一の符号を用いて説明を省略する。寸法測定装置2は、対応点特定手段30により特定された対応点p1,,,p1の座標(x1、y1)〜(x4、y4)と、透視投影変換手段40により算出された変換パラメータを、撮影画像Pc1にメタ情報として付加するメタ情報付加手段41と、ユーザからの指示を受け付ける指示受付手段101と、測定対象Obが実寸大となるように変換画像Pc2を調整して出力する実寸調整手段102と、スケール算出手段50により算出されたスケールを表すスケールバーを変換画像Pc2に重ねて出力するスケールバー出力手段103を備える。
[Second Embodiment]
The dimension measuring apparatus 2 of the present embodiment is obtained by adding a plurality of other functions to the dimension measuring apparatus 1 of the above embodiment. FIG. 16 is a functional block diagram for explaining the dimension measuring apparatus 2. Note that the same elements as those in the above-described embodiment are denoted by the same reference numerals and description thereof is omitted. The dimension measuring apparatus 2 uses the coordinates (x1, y1) to (x4, y4) of the corresponding points p1,, p1 specified by the corresponding point specifying unit 30 and the conversion parameters calculated by the perspective projection converting unit 40. Meta information adding means 41 for adding as meta information to the photographed image Pc1, an instruction receiving means 101 for receiving an instruction from the user, and an actual size adjusting means for adjusting and outputting the converted image Pc2 so that the measurement object Ob becomes the actual size. 102, and a scale bar output unit 103 that outputs a scale bar representing the scale calculated by the scale calculation unit 50 on the converted image Pc2.
図17は寸法測定装置2による処理のフローチャートを示す図である。ステップS11〜ステップS14までは上記実施の形態のステップS1〜ステップS4と同様であり、ステップS15は上記実施の形態のステップS5と同様であるため、説明を省略する。   FIG. 17 is a diagram showing a flowchart of processing by the dimension measuring apparatus 2. Steps S11 to S14 are the same as steps S1 to S4 in the above embodiment, and step S15 is the same as step S5 in the above embodiment, and thus description thereof is omitted.
まず、ステップS14−1について説明する。ステップS14−1において、メタ情報付加手段41は、対応点特定手段30により特定された対応点p2,,,p2の座標(x1、y1)〜(x4、y4)と、透視投影変換手段40により算出された変換パラメータをメタ情報として撮影画像Pc1に付加する。これにより、その後の撮影画像Pc1の利用においては、メタ情報として付加されている変換パラメータを利用して撮影画像Pc1の全体を透視投影変換する処理から実行すればよく、対応点特定ステップ(ステップS3又はステップS13)における点r1,r2の入力が不用となり、操作が簡便となる。たとえば、撮影画像Pc1をメール等で受け取ったときや、撮影画像Pc1を再度利用するときなどにおいて、ユーザは撮影画像Pc1から直ちに変換画像Pc2を得ることができる。また、対応点p2,,,p2の座標(x1、y1)〜(x4、y4)は、マーカMkの寸法に対応する座標として使用することができる。   First, step S14-1 will be described. In step S14-1, the meta information adding unit 41 uses the coordinates (x1, y1) to (x4, y4) of the corresponding points p2,..., P2 specified by the corresponding point specifying unit 30, and the perspective projection converting unit 40. The calculated conversion parameter is added to the captured image Pc1 as meta information. Thus, in subsequent use of the captured image Pc1, the entire captured image Pc1 may be executed from the perspective projection conversion using the conversion parameter added as the meta information, and the corresponding point specifying step (step S3). Alternatively, the input of the points r1 and r2 in step S13) becomes unnecessary, and the operation becomes simple. For example, when the photographed image Pc1 is received by e-mail or the like, or when the photographed image Pc1 is used again, the user can immediately obtain the converted image Pc2 from the photographed image Pc1. Further, the coordinates (x1, y1) to (x4, y4) of the corresponding points p2,..., P2 can be used as coordinates corresponding to the dimension of the marker Mk.
なお、本実施の形態では、メタ情報として対応点の座標と変換パラメータを付加する例を説明したが、メタ情報付加手段41は、対応点特定手段30により特定された対応点p2,,,p2の座標、透視投影変換手段40により算出された変換パラメータ、寸法記憶手段80に記憶されている寸法、又は、スケール算出手段50により算出されたスケールのうち、少なくとも一つを撮影画像Pc1にメタ情報として付加するものであれば良い。これにより、ユーザの操作を簡便とすることができる。すなわち、対応点p2,,,p2の座標や変換パラメータをメタ情報として付加した場合は、対応点特定ステップ(ステップS3又はステップS13)における点r1,r2の入力が不用となり、また、寸法やスケールをメタ情報として付加した場合は、寸法の入力や選択が不用となる。また、不用となる処理を省略することができるため、処理の高速化を図ることができるという効果も得られる。   In this embodiment, the example of adding the coordinates of the corresponding point and the conversion parameter as meta information has been described. However, the meta information adding unit 41 corresponds to the corresponding points p2,..., P2 specified by the corresponding point specifying unit 30. At least one of the coordinates, the conversion parameter calculated by the perspective projection conversion means 40, the dimension stored in the dimension storage means 80, or the scale calculated by the scale calculation means 50 is recorded in the captured image Pc1 as meta information. Anything can be added. Thereby, a user's operation can be simplified. That is, when the coordinates of the corresponding points p2,..., P2 and the conversion parameters are added as meta information, the input of the points r1 and r2 in the corresponding point specifying step (step S3 or step S13) becomes unnecessary, and the dimension or scale Is added as meta information, it becomes unnecessary to input and select dimensions. In addition, since unnecessary processing can be omitted, an effect of speeding up the processing can be obtained.
また、メタ情報付加ステップ(ステップS14−1)は、本実施の形態では透視投影変換手段14の後続処理としたが、メタ情報として付加する要素により適宜変更しても良い。たとえば、メタ情報付加ステップ(ステップS14−1)は、付加する要素ごとに実行したり、すべての要素が揃ってから一括して実行することも可能である。   In addition, the meta information addition step (step S14-1) is a subsequent process of the perspective projection conversion unit 14 in the present embodiment, but may be appropriately changed depending on an element to be added as meta information. For example, the meta information adding step (step S14-1) can be executed for each element to be added, or can be executed in a lump after all the elements have been prepared.
また、メタ情報の付加は、ユーザにより入力手段Inから指示が入力されたときにのみ行うようにしても良いし、すべての撮影画像Pc1に自動的に付加するようにしても良い。また、撮影画像Pc1は画像データにメタ情報を付加して保存可能な例えばExif(Exchangeable image file format)形式として保存することが好ましい。   The meta information may be added only when an instruction is input from the input means In by the user, or may be automatically added to all the captured images Pc1. The captured image Pc1 is preferably stored in, for example, an Exif (Exchangeable image file format) format that can be stored by adding meta information to the image data.
つぎに、図17に戻り、ステップS16以降の処理について説明する。ステップS16において、指示受付手段101は、寸法算出、実寸大表示、スケールバー表示のいずれかを指示する入力を入力手段Inから受け付けると、ステップS17において、入力された指示が寸法算出か、実寸大表示か、スケールバー表示かを判断する。寸法算出の場合は、ステップS18に進み、寸法算出手段60による寸法算出処理を起動する。ステップS18は、上記実施の形態のステップS6とほぼ同様であるため、説明を省略する。   Next, returning to FIG. 17, the processing after step S16 will be described. In step S16, when the instruction receiving unit 101 receives an input for instructing any one of the dimension calculation, the actual size display, and the scale bar display from the input unit In, in step S17, the input instruction is the size calculation or the actual size. Judge whether the display or scale bar display. In the case of the dimension calculation, the process proceeds to step S18, and the dimension calculation process by the dimension calculation means 60 is activated. Step S18 is substantially the same as step S6 in the above embodiment, and a description thereof will be omitted.
ステップS17において、入力された指示が実寸大表示である場合は、ステップS19に進み実寸大調整手段102による処理を起動する。   In step S17, if the input instruction is an actual size display, the process proceeds to step S19 to start processing by the actual size adjusting means 102.
以下、ステップS19における実寸大調整処理を説明する。実寸大調整手段102は、スケール算出手段50により算出されたスケールに基づいて、透視投影変換後の変換画像Pc2を実寸大に調整し、実寸大にて表示手段Dpに出力する。詳細には、寸法測定装置2は、表示手段Dpのドットピッチ(隣接するドット間の寸法)のデータが記憶手段(図示せず)に記憶されている。実寸大調整手段102は、ドットピッチのデータを参照し、スケールとドットピッチとの関係から、変換画像Pc2の画像座標系のスケールが実空間におけるスケールと同一となるように、換言すると、変換画像Pc2におけるマーカMkの寸法dが、実空間におけるマーカの寸法Dと同一となるように、変換画像Pc2を拡大又は縮小し、表示手段Dpに出力する。なお、表示画像が表示手段Dpの画面に収まりきらない場合を想定して、スクロール可能としても良い。また、複数の表示手段Dpのドットピッチのデータをデータベース化し、記憶手段に記憶しておくことで、ドットピッチの異なる複数の表示手段Dpに対応可能としても良い。なお、ドットピッチは出力手段Dpの製品情報から取得しても良いし、オペレーティング・システム経由で取得することも可能である。   Hereinafter, the actual size adjustment process in step S19 will be described. Based on the scale calculated by the scale calculating unit 50, the actual size adjusting unit 102 adjusts the converted image Pc2 after the perspective projection conversion to the actual size, and outputs the actual size to the display unit Dp. Specifically, in the dimension measuring device 2, the data of the dot pitch (dimension between adjacent dots) of the display unit Dp is stored in the storage unit (not shown). The actual size adjusting means 102 refers to the dot pitch data, so that the scale of the image coordinate system of the converted image Pc2 is the same as the scale in the real space based on the relationship between the scale and the dot pitch. The converted image Pc2 is enlarged or reduced so that the dimension d of the marker Mk in Pc2 is the same as the dimension D of the marker in real space, and is output to the display means Dp. Note that the display image may be scrollable assuming that the display image does not fit on the screen of the display means Dp. Further, the data of the dot pitches of the plurality of display means Dp may be made into a database and stored in the storage means so as to be compatible with a plurality of display means Dp having different dot pitches. The dot pitch may be acquired from the product information of the output unit Dp, or may be acquired via an operating system.
これにより、表示手段Dpに実寸大の測定対象Obが表示され、感覚的な測定が可能となる。ユーザは、その大きさを実感したり、目視により大きさを比較したりすることができる。   As a result, the actual measurement object Ob is displayed on the display means Dp, and sensory measurement is possible. The user can feel the size or compare the size visually.
図17に戻り、ステップS17において、ユーザからの指示がスケールバー表示である場合は、ステップS20に進み、スケールバー出力手段103による処理を起動する。   Returning to FIG. 17, in step S <b> 17, when the instruction from the user is scale bar display, the process proceeds to step S <b> 20 and the process by the scale bar output unit 103 is activated.
以下、ステップS20における処理を説明する。スケールバー出力手段103は、スケール算出手段50により算出されたスケールを示すスケールバーを透視投影変換後の変換画像Pc2に重ねて出力手段Dpに出力する。図18は、出力手段Dpに出力される表示画像の一例である。測定対象Obと共にスケールバーBrが表示される。スケールバーBrは、ユーザの操作に従い、変換画像Pc2の画像座標系において移動や回転が自在となっている。ユーザは、スケールバーBrを測定対象Obの測定箇所に沿わせるように移動させることで寸法を測定する。これにより、あたかも定規で寸法を測定するかのような感覚で、測定対象Obの寸法が自由に測定可能となる。なお、スケールバーBrの操作性の観点から、表示手段Dpはマルチタッチデバイスが好適である。   Hereinafter, the process in step S20 will be described. The scale bar output means 103 superimposes the scale bar indicating the scale calculated by the scale calculation means 50 on the converted image Pc2 after the perspective projection conversion, and outputs it to the output means Dp. FIG. 18 is an example of a display image output to the output unit Dp. A scale bar Br is displayed together with the measurement object Ob. The scale bar Br can be freely moved and rotated in the image coordinate system of the converted image Pc2 in accordance with a user operation. The user measures the dimension by moving the scale bar Br so as to follow the measurement location of the measurement object Ob. Thereby, the dimension of the measuring object Ob can be freely measured as if measuring the dimension with a ruler. From the viewpoint of the operability of the scale bar Br, the display means Dp is preferably a multi-touch device.
図17に戻り、ステップS18又はステップS19又はステップS20の処理が終了すると、ステップS21に進み、測定処理を終了するか判定する。ユーザから処理の終了指示を受け付けると、一連の処理を終了し、終了指示がない場合は、ステップS16に戻る。   Returning to FIG. 17, when the process of step S18, step S19, or step S20 is completed, the process proceeds to step S21 to determine whether to end the measurement process. When a process end instruction is received from the user, the series of processes is ended. If there is no end instruction, the process returns to step S16.
以上、本実施の形態によれば、寸法算出による測定、実寸大表示による感覚的な測定、仮想的な定規による測定が選択的に可能となる。   As described above, according to the present embodiment, measurement by size calculation, sensory measurement by actual size display, and measurement by a virtual ruler can be selectively performed.
なお、上記実施の形態では、マーカMkとして主に図3(b)に示す矩形の各頂点が曲線を呈するマーカを例に説明したが、その他、例えば図3(a)(c)〜(e)に示すようなマーカでも良い。この場合、対応点特定手段3が各対応点を特定可能なように、マーカの形状に好適な設計変更を施せば良い。たとえば、マーカが図3(a)に示す形状であれば、対応点として四角形の各頂点を検出すれば良い。また、図3(c)に示す形状であれば、輪郭線から検出した直線を延長させて交点を抽出し、抽出した交点の中から互いに最も離れた位置にある四つの交点を対応点として特定すれば良い。また、図3(d)の形状であれば、格子の交点を対応点として特定すれば良い。また、図3(e)に示す形状であれば各点を対応点として特定すれば良い。   In the above embodiment, the marker Mk is described mainly using the marker in which each vertex of the rectangle shown in FIG. 3B exhibits a curve. However, for example, FIGS. 3A, 3C to 3E are used. The marker shown in FIG. In this case, a design change suitable for the shape of the marker may be performed so that the corresponding point specifying unit 3 can specify each corresponding point. For example, if the marker has the shape shown in FIG. 3A, each vertex of a square may be detected as a corresponding point. In the case of the shape shown in FIG. 3 (c), the straight line detected from the contour line is extended to extract the intersection, and the four intersections farthest from each other among the extracted intersections are specified as corresponding points. Just do it. In the case of the shape shown in FIG. 3D, the intersection of the grids may be specified as the corresponding point. Moreover, what is necessary is just to identify each point as a corresponding point if it is the shape shown in FIG.3 (e).
さらに、マーカMkは上記に限定されることがなく、少なくとも四つの基準点が特定可能であり、且つ、寸法が既知であれば良い。たとえば、マーカの形状は三角形や五角形等の多角形や円形、その他の任意の形状であっても良いし、マーカはコインやライターや鉛筆や建築物や自動車などの人工物、人や樹木などの自然物、模様などの無体物、その他の任意のものであっても良い。この場合においても、マーカの形状に合わせて対応点が特定可能なように対応点特定手段30を適宜設計変更すれば良い。また、上記実施の形態において、対応点特定手段30はマーカの形状から対応点を特定したが、マーカの色彩的な特徴から特定しても良い。たとえば、マーカを4つの黒色の点としたときは、画像認識により黒色の点を認識し、対応点として特定すれば良い。また、表示画面Dpに表示された撮影画像Pc1に対してユーザがマウス等にて指定した点を対応点として特定可能としても良い。   Further, the marker Mk is not limited to the above, and it is sufficient that at least four reference points can be specified and the dimensions are known. For example, the shape of the marker may be a polygon such as a triangle or a pentagon, a circle, or any other shape. The marker may be a coin, a lighter, a pencil, an artifact such as a building or a car, a person or a tree. Natural objects, intangible objects such as patterns, and other arbitrary objects may be used. Even in this case, the corresponding point specifying unit 30 may be appropriately changed in design so that the corresponding point can be specified in accordance with the shape of the marker. Moreover, in the said embodiment, although the corresponding point specific | specification means 30 specified the corresponding point from the shape of the marker, you may specify from the color feature of a marker. For example, when the marker is four black points, the black point may be recognized by image recognition and specified as a corresponding point. Further, a point designated by the user with a mouse or the like for the captured image Pc1 displayed on the display screen Dp may be specified as a corresponding point.
また、上記各実施の形態において、ユーザの操作に基づいて表示手段Dpに表示された画像を拡大又は縮小することを可能とし、それに伴い表示するスケールバーを変更する機能を付加することは必要に応じて任意である。   Further, in each of the above-described embodiments, it is possible to enlarge or reduce the image displayed on the display unit Dp based on the user's operation, and it is necessary to add a function for changing the scale bar to be displayed accordingly. It is optional.
なお、寸法測定装置1,2は、斜めから撮影した撮影画像を用いたときに特に効果を発揮するが、正面から撮影した撮影画像の使用を規制するものではない。   Note that the dimension measuring devices 1 and 2 are particularly effective when using a photographed image photographed from an oblique direction, but do not restrict the use of the photographed image photographed from the front.
また、上記実施の形態では、説明の簡単化のために、マーカや測定対象を平面として説明したが、例えば、鉛筆、ライター、ボール、人などの立体物としても良い。立体物を用いることで、マーカや立体物の厚みによる誤差が生じる場合があったとしても、撮影画像での寸法測定と比較すると、測定精度は高くなる。   In the above-described embodiment, the marker and the measurement target are described as planes for the sake of simplification. However, for example, a solid object such as a pencil, a lighter, a ball, or a person may be used. By using the three-dimensional object, even if an error due to the thickness of the marker or the three-dimensional object may occur, the measurement accuracy becomes higher compared to the dimension measurement in the captured image.
また、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、CD−ROM、光磁気ディスク、半導体メモリ(例えばROM)、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。   In addition, a program for causing a computer to perform the processing described above can be created. For example, the program is a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory (for example, ROM), a hard disk, or the like. Stored in a computer-readable storage medium or storage device. Note that data being processed is temporarily stored in a storage device such as a RAM.
また、本技術はこれに限定されるものではない。例えば、各処理フローは一例であって、処理結果が変わらない限り、ステップの順番を入れ替えたり、並列実施するようにしても良い。   Further, the present technology is not limited to this. For example, each processing flow is an example, and as long as the processing result does not change, the order of the steps may be changed or may be performed in parallel.
また、上記実施の形態の各寸法測定装置を実現するコンピュータは、汎用的な携帯端末でもよいし、専用の携帯端末でも良いし、パーソナルコンピュータでも良いし、サーバでも良い。汎用的な携帯端末やパーソナルコンピュータである場合は、本実施の形態における処理を実施するためのアプリケーションをダウンロード等により取得しても良い。また、専用の携帯端末である場合は、ハードディスク・ドライブ等に上記アプリケーションが予め格納されていても良い。これらは、内蔵のディジタルカメラから撮影画像を取得し、内蔵のディスプレイに結果を出力しても良い。また、サーバである場合は、ユーザ端末からネットワーク経由で撮影画像を取得し、処理結果をネットワーク経由でユーザ端末に出力するようにしても良い。   Moreover, the computer which implement | achieves each dimension measuring apparatus of the said embodiment may be a general purpose portable terminal, a dedicated portable terminal, a personal computer, or a server. In the case of a general-purpose portable terminal or personal computer, an application for performing the processing in this embodiment may be acquired by downloading or the like. In the case of a dedicated mobile terminal, the application may be stored in advance in a hard disk drive or the like. These may acquire a photographed image from a built-in digital camera and output the result to a built-in display. In the case of a server, a captured image may be acquired from the user terminal via the network, and the processing result may be output to the user terminal via the network.
また、上で述べた各寸法測定装置は、コンピュータ装置であって、図19に示すように、メモリ2501とCPU2503とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。   Each dimension measuring device described above is a computer device, and as shown in FIG. 19, a memory 2501, a CPU 2503, a hard disk drive (HDD) 2505, and a display control unit 2507 connected to the display device 2509. A drive device 2513 for the removable disk 2511, an input device 2515, and a communication control unit 2517 for connecting to a network are connected by a bus 2519. An operating system (OS) and an application program for executing the processing in this embodiment are stored in the HDD 2505, and are read from the HDD 2505 to the memory 2501 when executed by the CPU 2503. The CPU 2503 controls the display control unit 2507, the communication control unit 2517, and the drive device 2513 according to the processing content of the application program, and performs a predetermined operation. Further, data in the middle of processing is mainly stored in the memory 2501, but may be stored in the HDD 2505. In an embodiment of the present technology, an application program for performing the above-described processing is stored in a computer-readable removable disk 2511 and distributed, and installed from the drive device 2513 to the HDD 2505. In some cases, the HDD 2505 may be installed via a network such as the Internet and the communication control unit 2517. Such a computer apparatus realizes various functions as described above by organically cooperating hardware such as the CPU 2503 and the memory 2501 described above and programs such as the OS and application programs. .
また、本発明は上記実施の形態に限定されるものではなく、発明の範囲内において適宜変更可能である。   Further, the present invention is not limited to the above embodiment, and can be appropriately changed within the scope of the invention.
1,2 寸法測定装置、10 撮影画像取得手段、20 マーカ認識手段、30 対応点特定手段、40 透視投影変換手段、50 スケール算出手段、60 寸法算出手段、70 画像記憶手段、80 寸法記憶手段、101 指示受付手段、102 実寸大調整手段、103 スケールバー出力手段、C 撮影手段、Dp 表示手段、Mk マーカ、Ob 測定対象、Pc1 斜めから撮影した撮影画像、Pc2 正面画像、A 平面、p1 基準点、p2 対応点、Sq1,Sq2 四角形、Rc 矩形、L0 輪郭線、L1〜L4 直線、RL1〜RL4 回帰直線、Br スケールバー DESCRIPTION OF SYMBOLS 1, 2 Dimension measurement apparatus, 10 Captured image acquisition means, 20 Marker recognition means, 30 Corresponding point specification means, 40 Perspective projection conversion means, 50 Scale calculation means, 60 Dimension calculation means, 70 Image storage means, 80 Dimension storage means, 101 instruction accepting means, 102 actual size adjusting means, 103 scale bar output means, C photographing means, Dp display means, Mk marker, Ob measurement object, Pc1 photographed image taken obliquely, Pc2 front image, A plane, p1 reference point , P2 corresponding point, Sq1, Sq2 rectangle, Rc rectangle, L0 outline, L1-L4 line, RL1-RL4 regression line, Br scale bar

Claims (6)

  1. 測定対象の寸法の測定に使用される寸法測定プログラムにおいて、
    ユーザによりマーカの実空間における寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶ステップと、
    前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得ステップと、
    前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得ステップにて取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定ステップと、
    前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得ステップにて取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定ステップにて特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換ステップと、
    前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出ステップと、
    を含む処理をコンピュータに実行させることを特徴とする寸法測定プログラム。
    In a dimension measurement program used to measure the dimensions of a measurement object,
    When the dimension of the marker in the real space is input by the user, a dimension storing step for storing the dimension of the marker in the storage unit;
    A photographed image acquisition step of acquiring a captured image including a measurement target and the marker,
    When at least four points included in the image when the front image of the marker is captured are used as reference points, the corresponding points corresponding to the reference points are identified from the captured images acquired in the captured image acquisition step. Corresponding point identification step to
    The correspondence between the reference point and the corresponding point can be specified by the user so that the posture of the marker stored in the storage unit and the posture of the marker in the captured image acquired in the captured image acquisition step are aligned. And calculating a conversion parameter for perspective projection conversion so that each corresponding point specified in the corresponding point specifying step is located at the corresponding reference point in the specified correspondence relationship, A perspective projection conversion step for perspective projection conversion of the captured image based on parameters;
    The size of the marker in the real space is acquired from the storage unit, and the scale of the image after the perspective projection conversion is calculated from the coordinate of the marker in the image after the perspective projection conversion and the size of the marker in the real space. A scale calculation step;
    A dimension measurement program for causing a computer to execute a process including:
  2. 前記スケール算出ステップにより算出されたスケールに基づいて前記測定対象の寸法を算出する寸法算出ステップ
    を備えることを特徴とする請求項1記載の寸法測定プログラム。
    The dimension measurement program according to claim 1, further comprising a dimension calculation step of calculating a dimension of the measurement object based on the scale calculated in the scale calculation step.
  3. 前記スケール算出ステップにより算出されたスケールに基づいて前記透視投影変換後の画像を実寸大に調整する実寸大調整ステップ
    を備えることを特徴とする請求項1記載の寸法測定プログラム。
    The dimension measurement program according to claim 1, further comprising: an actual size adjustment step for adjusting the image after the perspective projection conversion to an actual size based on the scale calculated by the scale calculation step.
  4. 前記スケール算出ステップにおいて算出されたスケールを表すスケールバーを前記透視投影変換後の画像に重ねて出力するスケールバー出力ステップを備え、
    前記スケールバーは、ユーザによる操作に従って移動可能であること
    を特徴とする請求項1記載の寸法測定プログラム。
    A scale bar output step of outputting a scale bar representing the scale calculated in the scale calculation step in an overlapping manner with the image after the perspective projection conversion;
    The dimension measurement program according to claim 1, wherein the scale bar is movable in accordance with an operation by a user.
  5. 測定対象の寸法の測定に使用される寸法測定装置において、
    ユーザにより実空間におけるマーカの寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶手段と、
    前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得手段と、
    前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得手段により取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定手段と、
    前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得手段により取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定手段により特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換手段と、
    前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出手段と、
    を備えることを特徴とする寸法測定装置。
    In the dimension measuring device used for measuring the dimension of the measuring object,
    When the dimension of the marker in the real space is input by the user, the dimension storage means for storing the dimension of the marker in the storage means;
    A captured image acquiring means for acquiring a captured image including a measurement target and the marker,
    The corresponding point corresponding to the reference point is identified from the captured image acquired by the captured image acquisition means when at least four points included in the image when the front image of the marker is captured is used as the reference point. Corresponding point identification means;
    The correspondence between the reference point and the corresponding point can be designated by the user so that the posture of the marker stored in the storage unit and the posture of the marker in the captured image acquired by the captured image acquisition unit are aligned. Then, a conversion parameter for perspective projection conversion is calculated so that each corresponding point specified by the corresponding point specifying unit is positioned at the corresponding reference point in the specified correspondence relationship, and the conversion parameter is set as the conversion parameter. Perspective projection conversion means for perspective projection conversion of the captured image based on;
    The size of the marker in the real space is acquired from the storage unit, and the scale of the image after the perspective projection conversion is calculated from the coordinate of the marker in the image after the perspective projection conversion and the size of the marker in the real space. A scale calculating means;
    A dimension measuring apparatus comprising:
  6. 測定対象の寸法の測定のためにコンピュータにより実行される寸法測定方法において、
    ユーザにより実空間におけるマーカの寸法が入力されると、当該マーカの寸法を記憶手段に記憶する寸法記憶ステップと、
    前記マーカと測定対象とを含む撮影画像を取得する撮影画像取得ステップと、
    前記マーカの正面像を撮影したときの画像に含まれる少なくとも四つの点を基準点としたときに、前記撮影画像取得ステップにて取得された撮影画像から、前記基準点に対応する対応点を特定する対応点特定ステップと、
    前記記憶手段に記憶されているマーカの姿勢と、前記撮影画像取得ステップにて取得された撮影画像中のマーカの姿勢が揃うように、前記基準点と前記対応点の対応関係をユーザにより指定可能とし、前記指定された対応関係にて、前記対応点特定ステップにて特定された各対応点が、対応する前記基準点に位置するように透視投影変換するための変換パラメータを算出し、当該変換パラメータに基づいて前記撮影画像を透視投影変換する透視投影変換ステップと、
    前記マーカの実空間における寸法を前記記憶手段から取得し、前記透視投影変換後の画像におけるマーカの座標と、前記実空間におけるマーカの寸法とから、前記透視投影変換後の画像のスケールを算出するスケール算出ステップと、
    を備えることを特徴とする寸法測定方法。
    In a dimension measuring method executed by a computer for measuring a dimension of a measuring object,
    When the dimension of the marker in the real space is input by the user, a dimension storing step for storing the dimension of the marker in the storage means;
    A photographed image acquisition step of acquiring a captured image including a measurement target and the marker,
    When at least four points included in the image when the front image of the marker is captured are used as reference points, the corresponding points corresponding to the reference points are identified from the captured images acquired in the captured image acquisition step. Corresponding point identification step to
    The correspondence between the reference point and the corresponding point can be specified by the user so that the posture of the marker stored in the storage unit and the posture of the marker in the captured image acquired in the captured image acquisition step are aligned. And calculating a conversion parameter for perspective projection conversion so that each corresponding point specified in the corresponding point specifying step is located at the corresponding reference point in the specified correspondence relationship, A perspective projection conversion step for perspective projection conversion of the captured image based on parameters;
    The size of the marker in the real space is acquired from the storage unit, and the scale of the image after the perspective projection conversion is calculated from the coordinate of the marker in the image after the perspective projection conversion and the size of the marker in the real space. A scale calculation step;
    A dimension measuring method comprising:
JP2012164640A 2012-07-25 2012-07-25 Dimension measurement program, dimension measurement apparatus, and dimension measurement method Active JP6176598B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012164640A JP6176598B2 (en) 2012-07-25 2012-07-25 Dimension measurement program, dimension measurement apparatus, and dimension measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012164640A JP6176598B2 (en) 2012-07-25 2012-07-25 Dimension measurement program, dimension measurement apparatus, and dimension measurement method

Publications (2)

Publication Number Publication Date
JP2014025748A JP2014025748A (en) 2014-02-06
JP6176598B2 true JP6176598B2 (en) 2017-08-09

Family

ID=50199537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012164640A Active JP6176598B2 (en) 2012-07-25 2012-07-25 Dimension measurement program, dimension measurement apparatus, and dimension measurement method

Country Status (1)

Country Link
JP (1) JP6176598B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019215638A1 (en) * 2018-05-09 2019-11-14 3M Innovative Properties Company Determining dimensions for providing a precut window film

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6337242B2 (en) * 2014-03-28 2018-06-06 株式会社Cubic Image measuring apparatus and method of structure having quadrangular or truncated cone shape
WO2017013873A1 (en) 2015-07-23 2017-01-26 日本電気株式会社 Dimension measurement device, dimension measurement system, and dimension measurement method
JP6597259B2 (en) * 2015-12-10 2019-10-30 株式会社リコー Program, information processing apparatus, image display method, and image processing system
JP2017116400A (en) * 2015-12-24 2017-06-29 株式会社sizebook Portable information device, dimension measuring method, and dimension measuring program
JP6175583B1 (en) * 2017-05-09 2017-08-02 浄真 清水 Image processing apparatus, actual dimension display method, and actual dimension display processing program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229633A (en) * 1996-02-22 1997-09-05 Jisendou:Kk Curtain size measuring method
JP2000163579A (en) * 1998-11-26 2000-06-16 Toshiba Corp Appearance inspection method and device
JP2001209827A (en) * 1999-11-19 2001-08-03 Matsushita Electric Ind Co Ltd Image processor, image processing service providing method and order receiving processing method
JP4374778B2 (en) * 2000-12-27 2009-12-02 沖電気工業株式会社 Image distortion correction processing device
JP2007015814A (en) * 2005-07-07 2007-01-25 Mitsubishi Electric Corp Equipment carrying-in-and-out system
JP5254545B2 (en) * 2006-12-20 2013-08-07 三井住友建設株式会社 Image processing apparatus and image processing method
JP2010020738A (en) * 2008-07-14 2010-01-28 Cubic:Kk Method and system for converting photographic image distorted due to distance to orthographically projected image
KR101158323B1 (en) * 2010-10-14 2012-06-26 주식회사 고영테크놀러지 Method for inspecting substrate

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019215638A1 (en) * 2018-05-09 2019-11-14 3M Innovative Properties Company Determining dimensions for providing a precut window film

Also Published As

Publication number Publication date
JP2014025748A (en) 2014-02-06

Similar Documents

Publication Publication Date Title
JP6176598B2 (en) Dimension measurement program, dimension measurement apparatus, and dimension measurement method
JP2015510112A (en) Virtual ruler
CN104735293B (en) Image correcting apparatus image correcting method and recording medium
JP6089722B2 (en) Image processing apparatus, image processing method, and image processing program
JP6220486B1 (en) 3D model generation system, 3D model generation method, and program
US20100135595A1 (en) Image processing apparatus and image processing method
JP2017182302A (en) Image processing program, image processing apparatus, and image processing method
JP6467612B2 (en) In-place image processing system and structure maintenance management business system
US9269004B2 (en) Information processing terminal, information processing method, and program
JP2019012361A (en) Information processor, program, and method for information processing
JP6096634B2 (en) 3D map display system using virtual reality
JP6196416B1 (en) 3D model generation system, 3D model generation method, and program
TW201301874A (en) Method and device of document scanning and portable electronic device
JP6344050B2 (en) Image processing system, image processing apparatus, and program
US10861138B2 (en) Image processing device, image processing method, and program
JP2013257643A (en) Image processing system, and program
JP6781996B1 (en) Image correction processing system
JP2020201998A (en) Image correction processing system
JP6815712B1 (en) Image processing system, image processing method, image processing program, image processing server, and learning model
JP5636966B2 (en) Error detection apparatus and error detection program
US20210174599A1 (en) Mixed reality system, program, mobile terminal device, and method
JP2020057430A (en) Mixed reality system, program, mobile terminal device, and method
JP2021055266A (en) Stone wall arrangement assistance program, stone wall arrangement assistance method, and stone wall arrangement assistance device
JP2020096254A (en) Image processing apparatus, image processing method, and program
Yun An Implementation of Smart E-Calipers for Mobile Phones

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170703

R150 Certificate of patent or registration of utility model

Ref document number: 6176598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250