JP3891181B2 - Method and apparatus for automatically calculating camera parameters - Google Patents
Method and apparatus for automatically calculating camera parameters Download PDFInfo
- Publication number
- JP3891181B2 JP3891181B2 JP2004045263A JP2004045263A JP3891181B2 JP 3891181 B2 JP3891181 B2 JP 3891181B2 JP 2004045263 A JP2004045263 A JP 2004045263A JP 2004045263 A JP2004045263 A JP 2004045263A JP 3891181 B2 JP3891181 B2 JP 3891181B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- height
- pedestrian
- walking
- swing width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、カメラの位置と姿勢のパラメータを自動的に算出する方法及び装置に関するものである。 The present invention relates to a method and apparatus for automatically calculating camera position and orientation parameters.
空中に設置したカメラで道路などの地面を撮像し、その画面を処理することにより、走行車両の速度や交通量、歩行者の大きさ・形状、挙動、密度などを算出し、交通制御、交通情報提供、交通計画に役立つ情報を得ることが行われている。
また住宅の屋外、駐車場、店の内部、学校や駅の構内、地下道等に監視カメラを設置して、挙動不審の歩行者や顧客を検知し、犯罪の未然防止や、犯人逮捕の証拠等に利用されたり、家の戸口にカメラを設置して、訪問客の顔の認識を行い、訪問客を同定することに利用されたりしている。
By imaging the ground such as roads with a camera installed in the air and processing the screen, the speed and traffic volume of the traveling vehicle, the size / shape, behavior, density, etc. of the pedestrians are calculated, traffic control, traffic Information that is useful for information provision and transportation planning is being obtained.
In addition, surveillance cameras are installed outside houses, parking lots, shops, schools and stations, underpasses, etc. to detect pedestrians and customers with suspicious behavior, to prevent crimes, and to prove criminal arrests, etc. It is also used to identify the visitor by installing a camera at the door of the house, recognizing the visitor's face.
これらの走行車両の速度や交通量、歩行者の大きさ・形状、挙動、密度などを精度よく算出するには、カメラの姿勢や位置などの経年変化するパラメータを、常に正確に算出しておく必要がある。
従来、撮像の対象物の中に位置が正確に判明している基準点が存在する場合に、その基準点の撮像画面を基にして、カメラのパラメータを推定する方法が開示されている。
Conventionally, when a reference point whose position is accurately known exists in an object to be imaged, a method for estimating camera parameters based on an imaging screen of the reference point has been disclosed.
ところが、前記のカメラパラメータの推定方法では、基準の位置をあらかじめ測量しておく必要がある。この測量のために現場での調査、調整が必要であり、人手と時間がかかる。また、交通を一時止めるなどの対応も必要になることがある。また防犯などの目的では、設置カメラのパラメータを、利用者に計測・設定してもらうことは現実的ではない。
そこで、本発明は、事前の測量を必要とせず、学習により、カメラパラメータを正確に算出してカメラの校正ができるカメラパラメータの自動算出方法及び装置を提供することを目的とする。
However, in the camera parameter estimation method described above, it is necessary to survey the reference position in advance. This survey requires on-site surveys and adjustments, and requires labor and time. In addition, it may be necessary to temporarily stop traffic. For security purposes, it is not realistic for the user to measure and set the parameters of the installed camera.
Therefore, an object of the present invention is to provide a camera parameter automatic calculation method and apparatus that can calibrate a camera by accurately calculating a camera parameter by learning without requiring prior surveying.
本発明のカメラパラメータの自動算出方法は、人の身長の統計的特性値を登録しておき、カメラで地面を含む領域を撮影し、撮影したカメラの画面に写った１又は複数の歩行者を特定し、画面中の、歩行者の着地部及び頭部の座標データを複数収集し、前記座標データを、歩行者の身長Ｗと、カメラの姿勢角と、カメラのレンズの焦点距離若しくは倍率と、カメラの位置とを含む関係式に代入して統計的処理を行うことにより歩行者の身長Ｗの統計的特性値を含む式を求め、このようにして求められた式の歩行者の身長Ｗの統計的特性値を、前記登録された人の身長の統計的特性値に置き換えることにより、カメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係を得、この関係に基づいて、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ以上の値を算出する方法である（請求項１）。 The camera parameter automatic calculation method of the present invention registers a statistical characteristic value of a person's height, photographs an area including the ground with the camera, and selects one or more pedestrians on the photographed camera screen. Identify and collect a plurality of coordinate data of the landing part and head of the pedestrian in the screen, and the coordinate data includes the height W of the pedestrian, the attitude angle of the camera, and the focal length or magnification of the camera lens. obtains an expression containing a statistical characteristic values of height W of the pedestrian by performing statistical processing is substituted into the relational expression and a position of the camera, the height W of the pedestrian Thus obtained by the formula By replacing the statistical characteristic value of the above with the statistical characteristic value of the height of the registered person, the relationship between the focal length or magnification of the camera lens, the posture angle of the camera, and the position of the camera is obtained. Based on the relationship, the camera attitude angle, A method for calculating any one or more values selected focal length or magnification of the camera lens, or from the position of the camera (claim 1).
前記の方法によれば、撮影したカメラの画面に写った１又は複数の歩行者の着地部及び頭部の座標データを収集し、歩行者の身長Ｗを、着地部及び頭部の座標データと、カメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係式で表す。歩行者の着地部及び頭部の座標データは複数収集されるので、この関係式は複数得られる。 According to the above method, the coordinate data of the landing part and the head of one or more pedestrians reflected on the screen of the photographed camera are collected, and the height W of the pedestrian is determined as the coordinate data of the landing part and the head. This is expressed by a relational expression between the focal length or magnification of the camera lens, the camera attitude angle, and the camera position. Since a plurality of coordinate data of the landing part and the head of the pedestrian are collected, a plurality of relational expressions are obtained.
そして、統計的処理をすることにより、歩行者の身長Ｗの統計的特性値を含む式を１つ求めることができる。この歩行者の身長Ｗの統計的特性値に、登録された人の身長の統計的特性値を代入する。この処理は、多数の歩行者の身長の統計的特性値をとれば、所定値に収束するという前提に基づく。
これによりカメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係が得られるので、その方程式を解くことによって、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ又はそれ以上の値を算出することができる。
Then, by performing statistical processing, one equation including the statistical characteristic value of the pedestrian's height W can be obtained. The statistical characteristic value of the registered person's height is substituted into the statistical characteristic value of the pedestrian's height W. This process is based on the premise that if a statistical characteristic value of the height of many pedestrians is taken, it will converge to a predetermined value.
As a result, the relationship between the focal length or magnification of the camera lens, the posture angle of the camera, and the position of the camera is obtained, so by solving the equation, the posture angle of the camera, the focal length or magnification of the camera lens, Alternatively, any one or more values selected from the camera positions can be calculated.
時間が経過するほど撮影される歩行者の数が増えるので、身長データの収集数が増える。したがって、時間が経過するほどパラメータの推定精度が向上するという学習効果が期待できる。
この方法によれば、基準位置をあらかじめ測量しておく必要はなく、カメラの運用中に、位置や姿勢のパラメータを自動的に算出し、カメラの位置や姿勢を自動的に校正することができる。
Since the number of pedestrians to be photographed increases as time passes, the number of height data collected increases. Therefore, a learning effect that the parameter estimation accuracy improves as time passes can be expected.
According to this method, it is not necessary to measure the reference position in advance, and the position and orientation parameters can be automatically calculated and the camera position and orientation can be automatically calibrated during the operation of the camera. .
前記統計的特性値は、限定されないが、例えば平均値や中央値である（請求項２）。
前記カメラの姿勢角は例えばピッチ角θであり、カメラの位置は例えばカメラの地面からの高さ”−Ｚ”である（請求項３）。
また、本発明のカメラパラメータの自動算出方法は、人の歩行時の振り幅の統計的特性値を登録しておき、画面中の歩行者の着地部の座標データを複数収集して、統計的処理を行って、歩行者の振り幅の統計的特性値を含む式を求める。この式における歩行者の振り幅の統計的特性値に、登録された人の振り幅の統計的特性値を代入する。これによりカメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係が得られるので、その方程式を解くことによって、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ又はそれ以上の値を算出することができる（請求項５）。
The statistical characteristic value is not limited, and is, for example, an average value or a median value (Claim 2).
The posture angle of the camera is, for example, a pitch angle θ, and the position of the camera is, for example, a height “−Z” of the camera from the ground.
Further, the camera parameter automatic calculation method of the present invention registers a statistical characteristic value of a swing width when a person walks, collects a plurality of coordinate data of a landing area of a pedestrian in a screen, Processing is performed to obtain an expression including a statistical characteristic value of the pedestrian swing width. The statistical characteristic value of the registered person's swing width is substituted into the statistical characteristic value of the swing width of the pedestrian in this formula . As a result, the relationship between the focal length or magnification of the camera lens, the posture angle of the camera, and the position of the camera is obtained, so by solving the equation, the posture angle of the camera, the focal length or magnification of the camera lens, Alternatively, any one or more values selected from the camera positions can be calculated.
この処理は、歩行者の身長という垂直方向の情報に代えて、歩行者の振り幅という水平方向に情報を採用したものであり、基本的な考え方は、前述した方法と同じである。
前記歩行者の振り幅は、具体的には、歩行者の歩幅や、手の振り幅をあげることができる（請求項７，請求項１０）。
また、本発明のカメラパラメータの自動算出方法は、歩行者の身長及び歩行時の振り幅という２つの変数を同時に採用してもよい（請求項１１）。すなわち、歩行者の身長及び歩行時の振り幅を変数とする関数を作り、その関数値の統計的特性値を登録しておき、カメラの複数画面から計測されたその関数値の計測値を、前記登録された関数値の統計的特性値に置き換えることにより、カメラレンズの焦点距離若しくは倍率と、カメラの位置と姿勢のパラメータを算出することができる。
This process employs information in the horizontal direction of the pedestrian swing width instead of the vertical information of the pedestrian height, and the basic concept is the same as the method described above.
Specifically, the swing width of the pedestrian can increase the step width of the pedestrian or the swing width of the hand (claims 7 and 10).
Further, the camera parameter automatic calculation method of the present invention may simultaneously employ two variables, that is, a pedestrian's height and a swing width during walking. That is, create a function with the pedestrian's height and swing width as variables, register the statistical characteristic value of the function value, and measure the function value measured from multiple screens of the camera, By replacing the registered characteristic value with the statistical characteristic value, the focal length or magnification of the camera lens and the camera position and orientation parameters can be calculated.
前記人の身長と歩行時の振り幅を変数とする関数は、例えば人の身長に対する歩幅の比又はその逆比である（請求項１３）。
また、本発明のカメラパラメータの自動算出装置は、カメラと、前述したカメラパラメータの自動算出方法を実施するためのコンピュータとを備えるものである。
The function having the height of the person and the swing width at the time of walking as a variable is, for example, the ratio of the stride to the height of the person or the inverse ratio thereof (claim 13).
The automatic calculation device of the camera parameters of the present invention, the camera and is intended and a computer for carrying out the automatic method for calculating the camera parameters described above.
このように、人の身長や歩幅などの統計的性質は普遍的であるため、これを登録し、カメラ画面上の計測値がこの登録値に近付くように、学習する。これにより、カメラの位置と姿勢のパラメータを精度よく推定できる。しかも、身長や歩幅などの計測データが増えるほど、推定の精度が向上する。 As described above, since the statistical properties such as the height and the stride of the person are universal, they are registered, and learning is performed so that the measured value on the camera screen approaches the registered value. This makes it possible to accurately estimate the camera position and orientation parameters. In addition, the accuracy of estimation increases as the measurement data such as height and stride increases.
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
以下に説明するカメラパラメータの自動算出方法は、地面の上方に道路を向くように設置されたカメラと、カメラの画面に写った画像データを解析するコンピュータとによって実施される。このコンピュータの記憶装置の中には、以下詳説するカメラパラメータの自動算出方法を実行するためのプログラムがインストールされているとともに、人の身長、歩幅、手の振れ幅などの全国平均値や全国中央値がデータとして登録されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
The camera parameter automatic calculation method described below is implemented by a camera installed so as to face a road above the ground and a computer that analyzes image data captured on the camera screen. A program for executing the camera parameter automatic calculation method described in detail below is installed in the storage device of this computer, as well as national average values such as human height, stride length, hand shake width, and national center The value is registered as data.
図１は、カメラパラメータの自動算出方法の説明に用いる座表系の定義図である。道路（背景）の座表系を（Ｘ，Ｙ，Ｚ）で表し、カメラの座表系を（Ｘ′，Ｙ′，Ｚ′）で表し、カメラの画面を（ｘ，ｙ）で表している。カメラ座表系の原点はカメラのレンズ中心とする。道路座標系は、原点をカメラのレンズ中心とし、道路面上の方向をＹ軸（カメラの前方向を正）、これと垂直な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ軸（上方を正）にとる。また、カメラ座標系は、カメラの中心線をＹ′軸、これに垂直な平面上のカメラの右方向をＸ′軸、カメラの上方向をＺ′軸とする。さらにカメラ座標軸の道路座標軸に対する回転角を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正，ψ：左回りが正）とする。このときカメラ座標系の変換式は、次の行列式で表現できる。 FIG. 1 is a definition diagram of a seating system used for explaining an automatic calculation method of camera parameters. The road (background) seating system is represented by (X, Y, Z), the camera seating system is represented by (X ', Y', Z '), and the camera screen is represented by (x, y). Yes. The origin of the camera seating system is the center of the camera lens. In the road coordinate system, the origin is the camera lens center, the direction on the road surface is the Y axis (the front direction of the camera is positive), the direction on the road surface perpendicular to this is the X axis (the right direction is positive), and the road surface The direction perpendicular to the Z axis (upward is positive). In the camera coordinate system, the center line of the camera is the Y ′ axis, the right direction of the camera on a plane perpendicular to the Y ′ axis is the X ′ axis, and the upward direction of the camera is the Z ′ axis. Further, the rotation angles of the camera coordinate axis with respect to the road coordinate axis are θ (pitch angle), φ (roll angle), and ψ (yaw angle), respectively, and the direction in which the right screw advances is positive (θ: positive upward from the horizontal plane, φ: The clockwise direction is positive and ψ: counterclockwise is positive). At this time, the conversion formula of the camera coordinate system can be expressed by the following determinant.
このとき、背景の道路座標系の点は、カメラの画面上の点（ｘ，ｙ）に、次のように変換される。ｆはレンズの焦点距離である。
ｘ＝ｆＸ′／Ｙ′
y＝ｆＺ′／Ｙ′
次に、上の(1),(2)式で、撮像背景には、道路、平地など平坦な平面があるものとする。この背景には、必ずしも道路の白線のような汎用的な方位基準があるとは限らないため、カメラの中心線を基準として、ψ（ヨー角）を０としても一般性を失わない。
At this time, the point in the background road coordinate system is converted to a point (x, y) on the camera screen as follows. f is the focal length of the lens.
x = fX ′ / Y ′
y = fZ ′ / Y ′
Next, in the above equations (1) and (2), it is assumed that the imaging background has a flat plane such as a road or a flat ground. This background does not necessarily have a general-purpose azimuth reference such as a white line on the road, so that generality is not lost even if ψ (yaw angle) is set to 0 with respect to the center line of the camera.
φ（ロール角）については、φ＝０の場合について論じる。φ＝０でない場合は、複数の歩行者が地面に対して垂直に歩行するとすれば、カメラ画面上の頭部と着地部を結ぶ直線は、画面の歩行者について平均すれば画面に対して垂直になるはずであり、これを利用して、事前にロール角を推定しておくことができる。
ψ＝０，φ＝０とおくと、座標変換式は、次のようになる。
Regarding φ (roll angle), the case of φ = 0 will be discussed. When φ = 0 is not true, if multiple pedestrians walk perpendicular to the ground, the straight line connecting the head and landing on the camera screen is perpendicular to the screen if averaged for the pedestrians on the screen. The roll angle can be estimated in advance using this.
When ψ = 0 and φ = 0, the coordinate conversion formula is as follows.
画像センサで歩行者を算出したとき、その足の着地部と頭部に注目する。
ここで、着地部とは、図２（ａ）に示す頭部又は股部を通る垂直線と道路との交点、図２（ｂ）に示す身体の中心線と道路との交点、又は図２（ｃ）に示す左右の足の着地部の平均位置のいずれかと定義をする。しかし、これらの定義がすべてではなく、これ以外の定義をしてもよい。
When a pedestrian is calculated by the image sensor, attention is paid to the landing portion and the head of the foot.
Here, the landing portion refers to the intersection of the vertical line passing through the head or crotch shown in FIG. 2A and the road, the intersection of the body centerline and the road shown in FIG. 2B, or FIG. It is defined as one of the average positions of the left and right foot landing portions shown in (c). However, these definitions are not all and other definitions may be used.
着地部のカメラ画面上の座標を（ｘ0，ｙ0）とする。着地部の画像変換式は、 The coordinates of the landing portion on the camera screen are (x0, y0). The image conversion formula of the landing part is
のようになる。
頭部のカメラ画面上の座標を（ｘ1，ｙ1）とする。歩行者の身長をＷとする。歩行者は道路平面に対して垂直に歩行すると考えられるので、道路の座標系において、ＺをＺ＋Ｗとおくことができる。ＸやＹはそのままである。頭部の画像変換式は、
become that way.
The coordinates of the head on the camera screen are (x1, y1). Let pedestrian's height be W. Since it is considered that the pedestrian walks perpendicularly to the road plane, Z can be set to Z + W in the road coordinate system. X and Y remain as they are. The image conversion formula of the head is
のようになる。
前記(5)式からＸ，ＹをＺで表すと、次の(7)式が得られる。
become that way.
When X and Y are represented by Z from the above equation (5), the following equation (7) is obtained.
この(7)式を(6)式に代入すると、身長Ｗについての次の(8)式が得られる。 Substituting this equation (7) into equation (6) yields the following equation (8) for height W:
一方、前記(5)(6)式は、次のように変形できる。 On the other hand, the equations (5) and (6) can be modified as follows.
(9)式で、（Ｘ，Ｙ，Ｚ，Ｗ）＝０以外の解があることは自明であるため、(9)式の左辺の行列式は０である必要がある。この条件から、次の(10)式が得られる。 Since it is obvious that there is a solution other than (X, Y, Z, W) = 0 in equation (9), the determinant on the left side of equation (9) needs to be zero. From this condition, the following equation (10) is obtained.
以下、カメラの焦点距離ｆは分かっているものとする（焦点距離ｆが不明な場合は後述する）。歩行者の複数のデータを収集して、ピッチ角θを得る方法を説明する。
歩行者の複数の画面上のデータ（ｘ0，ｙ0），（ｘ1，ｙ1）を(10)式に代入して、平均をとると(11)式が得られる。ここでＥ｛・｝は、平均操作を表す。
Hereinafter, it is assumed that the focal length f of the camera is known (if the focal length f is unknown, it will be described later). A method of obtaining a pitch angle θ by collecting a plurality of pedestrian data will be described.
Substituting data (x0, y0) and (x1, y1) on a plurality of pedestrian screens into equation (10) and taking the average, equation (11) is obtained. Here, E {•} represents an average operation.
カメラの焦点距離は分かっているので、(11)式からピッチ角θを求めることができる。
道路面を基準としたカメラの高さ"−Ｚ"（Ｚに負符号をつけたもの）は、人の身長の統計的特性値を利用して求める方法と、人の歩行パターンの統計的特性値を利用して求める方法と、その両方を利用する方法がある。
Ａ．人の身長の統計的特性値を利用する方法
人の身長Ｗの統計的特性値、例えば平均値が分かっている場合は、歩行者の複数の画面上のデータ（ｘ0，ｙ0），（ｘ1，ｙ1）を(8)式に代入して平均をとると、次の(12)式が得られる。
Since the focal length of the camera is known, the pitch angle θ can be obtained from equation (11).
The camera height "-Z" (with a minus sign added to Z) relative to the road surface is obtained using a statistical characteristic value of the person's height, and a statistical characteristic of the person's walking pattern. There is a method of using a value and a method of using both.
A. Method of using the statistical characteristic value of the person's height If the statistical characteristic value of the person's height W, for example, the average value is known, the data (x0, y0), (x1, Substituting y1) into equation (8) and taking the average yields the following equation (12).
この(12)式で、左辺はデータを収集するにつれて、コンピュータの記憶装置の中に登録された平均値に限りなく近づく。(12)式の右辺のＥ｛・｝は画面上のデータ（ｘ0，ｙ0），（ｘ1，ｙ1）を用いて計算により求められるから、これで道路から見たカメラの高さ"−Ｚ"が算出できる。
人の身長の平均値でなく、中央値が分かっている場合は、(12)式の平均操作に代えて、中央値操作Ｍ｛・｝を行って、次の(13)式が得られる。
In equation (12), the left side approaches the average value registered in the storage device of the computer as much as data is collected. Since E {•} on the right side of equation (12) is obtained by calculation using data (x0, y0), (x1, y1) on the screen, the camera height “−Z” viewed from the road is now calculated. Can be calculated.
When the median value is known instead of the average value of the person's height, the median operation M {•} is performed instead of the average operation of the equation (12) to obtain the following equation (13).
この(13)式で、右辺はデータを収集するにつれて、コンピュータの記憶装置の中に登録された中央値に限りなく近づくので、これでカメラの高さ"−Ｚ"が算出できる。
なお、前述の計算例では、歩行者の複数の画面上のデータ（ｘ0，ｙ0），（ｘ1，ｙ1）を(10)式に代入して平均操作をしてピッチ角θを求め、それからカメラの高さ"−Ｚ"を算出していたが、(10)式からsin θ，cos θを(14)式のように表し、
In this equation (13), as the data is collected, the right side approaches the median value registered in the storage device of the computer as much as possible, so that the camera height “−Z” can be calculated.
In the calculation example described above, the pitch angle θ is obtained by substituting the data (x0, y0) and (x1, y1) on a plurality of screens of the pedestrian into the equation (10) to obtain the pitch angle θ, and then the camera. The height “−Z” was calculated, but from the equation (10), sin θ and cos θ are expressed as in the equation (14),
これを(12)式に代入して、Ｗをｆ，ｘ，ｙとＺの式で表してから平均操作して、ピッチ角θを求める前にカメラの高さ"−Ｚ"を算出してもよい。
以上に説明した手順をフローチャートで流れを追って説明すれば、図３のようになる。まず、人の身長の平均値、中央値等を登録する（ステップＳ１）。一定時間ごとの画像処理のタイミングになればカメラの画像データを入力し（ステップＳ２，Ｓ３）、複数の前後の画像データから背景差分法、時間差分法等を用いて可動部分を探索する（ステップＳ４）。
By substituting this into equation (12), W is represented by the equations f, x, y and Z and then averaged to calculate the camera height “−Z” before obtaining the pitch angle θ. Also good.
The procedure described above will be described with reference to the flowchart in FIG. First, an average value, a median value, and the like of a person's height are registered (step S1). When the image processing timing is reached every predetermined time, the image data of the camera is input (steps S2 and S3), and the movable part is searched from the plurality of previous and subsequent image data using the background difference method, the time difference method, or the like (steps). S4).
ここで、歩行者の判断方法を簡単に説明する。まず画面上に写った物体のパターンの特徴を抽出する。例えば横幅が細くて縦長である、手足の定期的な振りがある、などの特徴があれば歩行者らしいと判断する。連続する複数の画面で、その歩行者らしいものを追跡し、移動速度を求める。移動速度が歩行程度の速度であれば、歩行者と判断する。
可動部分があり、それが歩行者であると判断できれば（ステップＳ５，Ｓ６）、歩行者の着地部（ｘ0，ｙ0）と頭部（ｘ1，ｙ1）の撮像位置の座標を算出し、記録する（ステップＳ７）。記録データが一定数以上集まるまで、前記処理を繰り返す（ステップＳ８）。
Here, a pedestrian determination method will be briefly described. First, the feature of the pattern of the object shown on the screen is extracted. For example, if there is a feature such as a narrow width and a vertically long shape, and a regular swing of limbs, it is determined that the pedestrian seems to be a pedestrian. Tracks what seems to be a pedestrian on multiple screens in succession and determines the speed of movement. If the moving speed is a walking speed, it is determined that the person is a pedestrian.
If there is a movable part and it can be determined that it is a pedestrian (steps S5 and S6), the coordinates of the imaging positions of the landing part (x0, y0) and head (x1, y1) of the pedestrian are calculated and recorded. (Step S7). The above process is repeated until a predetermined number or more of recording data is collected (step S8).
カメラの位置と姿勢のパラメータの算出処理周期に入れば（ステップＳ９）、前記(11)式を使って記録データに基づいてピッチ角θを算出する（ステップＳ１０）。
さらに、前記(12)(13)式を使って、記録データと人の身長の平均値Ｅ（Ｗ）又は中央値Ｍ（Ｗ）とを使ってカメラの高さ"−Ｚ"を算出する。
以上は、カメラの焦点距離ｆが分かっている場合に、カメラの高さ"−Ｚ"とピッチ角θを算出した例であるが、カメラの焦点距離ｆが分からず、カメラの高さ"−Ｚ"のみ分かっている場合、あるいはピッチ角θのみ分かっている場合も、前述と同様にして、(8)式と(10)式とから、他のパラメータを求めることができる。これは、(8)式と(10)式がｆ，θ，Ｚを未知数とする連立方程式であり、そのうち１つが分かれば他の２つは式を解くことによって求まるからである。
If the camera position and orientation parameter calculation processing cycle is entered (step S9), the pitch angle θ is calculated based on the recording data using the equation (11) (step S10).
Further, using the above equations (12) and (13), the camera height “−Z” is calculated using the recording data and the average value E (W) or median value M (W) of the person's height.
The above is an example in which the camera height “−Z” and the pitch angle θ are calculated when the camera focal length f is known, but the camera focal length f is unknown and the camera height “−”. When only Z ″ is known or only the pitch angle θ is known, other parameters can be obtained from the equations (8) and (10) in the same manner as described above. This is because the equations (8) and (10) are simultaneous equations with f, θ, and Z as unknowns, and if one of them is known, the other two can be obtained by solving the equations.
具体的に言えば、カメラの高さ"−Ｚ"のみ分かっている場合、には、人の身長の統計的特性値を用いて、カメラの焦点距離ｆとピッチ角θを求めることができる。ピッチ角θのみ分かっている場合には、人の身長の統計的特性値を用いて、カメラの焦点距離ｆとカメラの高さ"−Ｚ"を求めることができる。
Ｂ．人の歩行パターンの統計的特性値を利用する方法
人の歩行パターンとして歩幅を利用する方法を説明する。同一の歩行者がまっすぐにｎ歩（片足の歩幅で一歩とする）歩行した時の着地部の最初の位置（Ｘ，Ｙ）と最後の位置（Ｘ″，Ｙ″）を考える。ここで、同一歩行者の歩数ｎを数える方法は、手足の振りを自動的に計測し、手を何回振ったか、足を何回地に付けたかを自動的に計測する。また、歩行開始時の画面から歩行終了時の画面までを見て人間が数える方法もある。
Specifically, if only the camera height “−Z” is known, the camera focal length f and pitch angle θ can be obtained using the statistical characteristic value of the height of the person. When only the pitch angle θ is known, the focal length f of the camera and the camera height “−Z” can be obtained using the statistical characteristic value of the height of the person.
B. Method of Using Statistical Characteristic Values of Human Walking Pattern A method of using stride as a human walking pattern will be described. Consider the first position (X, Y) and the last position (X ″, Y ″) of the landing portion when the same pedestrian walks straight n steps (one step with one leg step). Here, the method of counting the number of steps n of the same pedestrian automatically measures the swing of the limbs, and automatically measures how many times the hand is shaken and how many times the foot is put on the ground. There is also a method in which a human counts by looking from the screen at the start of walking to the screen at the end of walking.
カメラ画面上のそれぞれの座標を（ｘ，ｙ），（ｘ″，ｙ″）とすると、(7)式から次の(15)式が得られる。 If the respective coordinates on the camera screen are (x, y) and (x ″, y ″), the following equation (15) is obtained from equation (7).
走行距離Ｌは次式のようになる。
Ｌ＝√｛（Ｘ−Ｙ）2＋（Ｘ″−Ｙ″）2｝ (16)
その人の歩幅をＤとすると、
Ｄ＝Ｌ／ｎ＝√｛（Ｘ−Ｙ）2＋（Ｘ″−Ｙ″）2｝／ｎ
＝Ｚ・√｛（Ｘ／Ｚ−Ｙ／Ｚ）2＋（Ｘ″／Ｚ−Ｙ″／Ｚ）2｝／ｎ
この式のＸ／Ｚ，Ｙ／Ｚ， Ｘ″／Ｚ， Ｙ″／Ｚに、前記(15)式を代入すると、Ｄを、ｘ，ｙ，ｘ″，ｙ″と、ｆと、θと、Ｚとの関数で表すことができる。
The travel distance L is as follows.
L = √ {(X−Y) 2 + (X ″ −Y ″) 2 } (16)
If the person's stride is D,
D = L / n = √ {(X−Y) 2 + (X ″ −Y ″) 2 } / n
= Z · √ {(X / Z−Y / Z) 2 + (X ″ / Z−Y ″ / Z) 2 } / n
Substituting the above equation (15) into X / Z, Y / Z, X ″ / Z, Y ″ / Z of this equation, D is replaced by x, y, x ″, y ″, f, θ, , Z and a function.
Ｄ＝Ｌ／ｎ＝√｛（Ｘ−Ｙ）2＋（Ｘ″−Ｙ″）2｝／ｎ
＝Ｚ・√｛（ｘ／（ｙcosθ＋ｆsinθ）＋（ｙsinθ-ｆcosθ）
／（ｙcosθ＋ｆsinθ））2＋（ｘ″／（ｙ″cosθ＋ｆsinθ）＋（ｙ″sinθ-ｆcosθ）／（ｙ″cosθ＋ｆsinθ））2｝／ｎ (17)
このようなデータを多く集めて平均操作すると、次式が得られる。
D = L / n = √ {(X−Y) 2 + (X ″ −Y ″) 2 } / n
= Z · √ {(x / (ycosθ + fsinθ) + (ysinθ−fcosθ)
/ (Ycosθ + fsinθ)) 2 + (x ″ / (y ″ cosθ + fsinθ) + (y ″ sinθ−fcosθ) / (y ″ cosθ + fsinθ)) 2 } / n (17)
When a large amount of such data is collected and averaged, the following equation is obtained.
Ｅ（Ｄ）＝Ｚ・Ｅ［√｛（ｘ／（ｙcosθ＋ｆsinθ）＋（ｙsinθ-ｆcosθ）／（ｙcosθ＋ｆsinθ））2＋（ｘ″／（ｙ″cosθ＋ｆsinθ）＋（ｙ″sinθ-ｆcosθ）／（ｙ″cosθ＋ｆsinθ））2｝／ｎ］ (18)
人の歩幅の統計的特性値、例えば平均値が分かっていると、(18)式の右辺は、データを収集するにつれてこの値に限りなく近づく。右辺の未知数はＺだけなので、(18)式によりカメラの高さ"−Ｚ"が算出できる。人の歩幅の平均値でなく中央値を用いても同様である。
E (D) = Z · E [√ {(x / (ycosθ + fsinθ) + (ysinθ−fcosθ) / (ycosθ + fsinθ)) 2 + (x ″ / (y ″ cosθ + fsinθ) + (y ″ sinθ−fcosθ) / (y ″ Cosθ + fsinθ)) 2 } / n] (18)
If a statistical characteristic value of a person's stride, for example, an average value is known, the right side of equation (18) approaches this value as much as data is collected. Since Z is the only unknown on the right side, the camera height “−Z” can be calculated from equation (18). The same applies if the median value is used instead of the average value of the human stride.
以上に説明した手順をフローチャートで流れを追って説明すれば、図４のようになる。まず人の歩幅の平均値、中央値等を登録する（ステップＴ１）。ステップＴ２からステップＴ６までは、図３のフローチャートのＳ２からＳ６と同じである。ステップＴ７において、歩行者の着地部（ｘ0，ｙ0）と頭部（ｘ1，ｙ1）の撮像位置の座標と、同一歩行者の歩数を算出し、記録する。記録データが一定数以上集まり（ステップＴ８）、かつカメラパラメータ算出周期に入れば（ステップＴ９）、前記(11)式を使って記録データからピッチ角θを算出する（ステップＴ１０）。 The procedure described above will be described with reference to the flowchart in FIG. First, an average value, a median value, etc. of a person's stride are registered (step T1). Steps T2 to T6 are the same as steps S2 to S6 in the flowchart of FIG. In step T7, the coordinates of the imaging positions of the landing part (x0, y0) and head (x1, y1) of the pedestrian and the number of steps of the same pedestrian are calculated and recorded. When a certain number or more of the recording data is collected (step T8) and the camera parameter calculation period is entered (step T9), the pitch angle θ is calculated from the recording data using the equation (11) (step T10).
さらに、記録データから、直進歩行している同一歩行者のデータを抽出する（ステップＴ１１）。最初と最後の着地部の、カメラ画面上の撮像位置座標（ｘ，ｙ),(ｘ″，ｙ″）と、歩数ｎを参照する。そして、(18)式を用いて、カメラの高さ"−Ｚ"を算出する。
Ｃ．人の身長と歩行パターンの統計的特性値を利用する方法
歩行者の最初の位置（Ｘ，Ｙ）における頭部のカメラ画面上の座標を（ｘ1，ｙ1）とし、(17)式を(8)式で割ると、次の(19)式が得られる（ただしｙ0をｙとおいている）。
Furthermore, the data of the same pedestrian who goes straight ahead is extracted from the recorded data (step T11). The imaging position coordinates (x, y), (x ″, y ″) on the camera screen and the number of steps n of the first and last landing portions are referred to. Then, the camera height “−Z” is calculated using equation (18).
C. Method of using statistical characteristics of human height and walking pattern The coordinates on the camera screen of the head at the first position (X, Y) of the pedestrian is (x 1 , y 1 ), Dividing by Eq. (8) gives the following Eq. (19) (where y0 is set to y).
この(19)式の左辺Ｄ／Ｗは、人の身長に対する歩幅であり、その統計的特性値として平均値を使用している。(11)式からsin θ,cos θをｆで表し、(19)式に代入すると、未知数は焦点距離ｆだけになる。したがって、焦点距離ｆを求めることができる。さらに、(11)式からピッチ角θを算出でき、(12),(13),(18)式などからカメラの高さ"−Ｚ"が算出できる。 The left side D / W of the equation (19) is a stride with respect to the height of the person, and an average value is used as a statistical characteristic value thereof. When sin θ and cos θ are expressed by f from the equation (11) and substituted into the equation (19), the unknown is only the focal length f. Therefore, the focal length f can be obtained. Further, the pitch angle θ can be calculated from the equation (11), and the camera height “−Z” can be calculated from the equations (12), (13), (18) and the like.
以上に説明した手順をフローチャートでまとめて説明すれば、図５のようになる。ステップＵ１からステップＵ９までは、図３のフローチャートのＴ１からＴ９と同じである。ステップＵ１０において、直進歩行している同一歩行者のデータを抽出する。最初と最後の着地部と頭部の、カメラ画面上の撮像位置座標と、歩数ｎを参照する（ステップＵ１１）。そして、(19)式を用いて、カメラの焦点距離ｆを算出し（ステップＵ１２）、(11)式を用いてピッチ角θを算出し（ステップＵ１３）、(12),(13)又は(18)式からカメラの高さ"−Ｚ"を算出する（ステップＵ１４）。 The procedure described above can be described in a flowchart as shown in FIG. Steps U1 to U9 are the same as T1 to T9 in the flowchart of FIG. In step U10, data of the same pedestrian who is traveling straight ahead is extracted. The imaging position coordinates on the camera screen and the number of steps n of the first and last landing portions and the head are referred to (step U11). Then, the focal length f of the camera is calculated using equation (19) (step U12), and the pitch angle θ is calculated using equation (11) (step U13), and (12), (13) or ( The camera height “−Z” is calculated from the equation (18) (step U14).
なお、カメラの焦点距離ｆが分かっていない場合の他の方法として、(11)式のｆ，θの関係、(12)式若しくは(13)式のｆ，θ，Ｚの関係、又は(18)式のｆ，θ，Ｚの関係から、カメラの高さ"−Ｚ"が算出できる。すなわち、(11)式からｆ又はθを(12)式若しくは(13)式に代入し、(12)式若しくは(13)式をｆとＺとの関係式とし、数値計算でｆとＺを算出することができる。 As another method when the focal length f of the camera is not known, the relationship between f and θ in equation (11), the relationship between f, θ, and Z in equation (12) or (13), or (18 The height “−Z” of the camera can be calculated from the relationship between f, θ, and Z in the equation (1). That is, substituting f or θ into the expression (12) or (13) from the expression (11), the expression (12) or (13) as a relational expression between f and Z, and f and Z by numerical calculation. Can be calculated.
以上の処理で採用した統計的特性値は、交差点など、一般的な場所では、歩行者の特性として全平均的な特性でよいが、学校の構内、会社内など、カメラに写る人が世の中全体の集団と比べて偏っている場合がある。これに対応するため、例えば、年齢別の統計特性を調査しておき、利用される場所の集団により、これらの年齢別の統計特性を統計加算して用いる方法がある。例えば、高校の構内であれば、１５歳から１７歳の年齢の統計特性を統計加算したものを利用すればよい。もちろん、構内には父兄や子供なども入る可能性はあるが、確率は低いので統計分布に歪みを与えるほどの影響を及ぼさないので問題ない。 The statistical characteristic values adopted in the above processing may be average characteristics as characteristics of pedestrians at general places such as intersections, but people in the world such as school premises and offices are reflected in the whole world. May be biased compared to other groups. In order to deal with this, for example, there is a method in which statistical characteristics by age are investigated, and these statistical characteristics by age are statistically added and used according to a group of places to be used. For example, if it is a high school campus, a statistical addition of statistical characteristics of ages 15 to 17 may be used. Of course, parents and children may enter the campus, but there is no problem because the probability is low and the statistical distribution is not affected.
以上のフローチャートでは、カメラのパラメータを一度だけ算出するようになっているが、定期的に繰り返し算出してもよいことはもちろんである。また過去に算出した値を指数平滑して利用してもよい。さらに何回も算出しなおすことにより、カメラが何らかの理由で少し動いてカメラのパラメータが変化した場合にも対応できる。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、歩幅に代えて、歩行者の歩行時の手の振り幅を複数計測し、その統計的特性値に置き換えることにより、カメラの位置と姿勢のパラメータを算出することもできる。また、レンズの焦点距離と倍率の関係は既知であるから、焦点距離に代えて、倍率を用いてもよい。その他、本発明の範囲内で種々の変更を施すことが可能である。
In the above flow chart, the camera parameters are calculated only once, but of course, they may be calculated periodically. Also, values calculated in the past may be exponentially smoothed and used. Further, by recalculating the number of times, it is possible to cope with a case where the camera parameter is changed due to some movement of the camera for some reason.
Although the embodiments of the present invention have been described above, the embodiments of the present invention are not limited to the above-described embodiments. For example, the camera position and orientation parameters can be calculated by measuring a plurality of hand swing widths when walking by a pedestrian instead of the stride, and replacing it with the statistical characteristic values. Further, since the relationship between the focal length of the lens and the magnification is known, the magnification may be used instead of the focal length. In addition, various modifications can be made within the scope of the present invention.
Ｘ，Ｙ，Ｚ 道路の座標系
Ｘ′，Ｙ′，Ｚ′ カメラの座標系
ｘ，ｙ 画面の座標系
X, Y, Z Road coordinate system X ', Y', Z 'Camera coordinate system x, y Screen coordinate system
Claims (16)
人の身長の統計的特性値を登録しておき、
カメラで地面を含む領域を撮影し、
撮影したカメラの画面に写った１又は複数の歩行者を特定し、
画面中の、歩行者の着地部及び頭部の座標データを複数収集し、
前記座標データを、歩行者の身長Ｗと、カメラの姿勢角と、カメラのレンズの焦点距離若しくは倍率と、カメラの位置とを含む関係式に代入して統計的処理を行うことにより歩行者の身長Ｗの統計的特性値を含む式を求め、
このようにして求められた式の歩行者の身長Ｗの統計的特性値を、前記登録された人の身長の統計的特性値に置き換えることにより、カメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係を得、
この関係に基づいて、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ以上の値を算出することを特徴とするカメラパラメータの自動算出方法。 A method for automatically calculating the position and orientation parameters of a camera installed above the ground,
Register the statistical characteristic value of the height of the person,
Shoot the area including the ground with the camera,
Identify one or more pedestrians on the camera screen
Collect multiple pedestrian landing and head coordinate data on the screen,
By performing statistical processing by substituting the coordinate data into a relational expression including the pedestrian's height W, the camera's posture angle, the focal length or magnification of the camera lens, and the camera position, Find the formula containing the statistical characteristic value of height W,
By replacing the statistical characteristic value of the height of the pedestrian in the equation thus obtained with the statistical characteristic value of the height of the registered person, the focal length or magnification of the camera lens, Obtain the relationship between the posture angle and the camera position,
Based on this relationship, one or more values selected from the camera attitude angle, the focal length or magnification of the camera lens, or the camera position are calculated. .
tan θ＝ｆ（ｘ1−ｘ0）／（ｘ1ｙ0−ｘ0ｙ1）
Ｗ＝ｆ（ｘ0−ｘ1）Ｚ ／｛ｘ1sin θ（ｙ0cos θ＋ｆsin θ）｝
（ｘ0，ｙ0は着地部の座標、ｘ1，ｙ1は頭部の座標である） The relational expression including the height W of the pedestrian, the pitch angle θ, the focal length f of the camera lens, and the height “−Z” of the camera from the ground is the following two relational expressions: 3 automatically calculated how the camera parameters set forth.
tan θ = f (x 1 −x 0 ) / (x 1 y 0 −x 0 y 1 )
W = f (x 0 −x 1 ) Z / {x 1 sin θ (y 0 cos θ + f sin θ)}
(X 0 and y 0 are the coordinates of the landing part, and x 1 and y 1 are the coordinates of the head)
人の歩行時の振り幅の統計的特性値を登録しておき、
カメラで地面を含む領域を撮影し、
撮影したカメラの画面に写った１又は複数の歩行者を特定し、
画面中の、歩行者の着地部の座標データを複数収集し、
前記座標データを、歩行者の歩行時の振り幅と、カメラの姿勢角と、カメラのレンズの焦点距離若しくは倍率と、カメラの位置とを含む関係式に代入して統計的処理を行うことにより歩行者の歩行時の振り幅の統計的特性値を含む式を求め、
このようにして求められた式の歩行者の歩行時の振り幅の統計的特性値を、前記登録された人の歩行時の振り幅の統計的特性値に置き換えることにより、カメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係を得、
この関係に基づいて、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ以上の値を算出することを特徴とするカメラパラメータの自動算出方法。 A method for automatically calculating the position and orientation parameters of a camera installed above the ground,
Register the statistical characteristic value of the swing width when walking
Shoot the area including the ground with the camera,
Identify one or more pedestrians on the camera screen
Collect multiple coordinate data of the landing part of the pedestrian in the screen,
By performing the statistical processing by substituting the coordinate data into a relational expression including the swing width of the pedestrian during walking, the posture angle of the camera, the focal length or magnification of the camera lens, and the position of the camera. Find the formula that includes the statistical characteristic value of the swing width of the pedestrian when walking,
By replacing the statistical characteristic value of the swing width of the pedestrian walking in the formula thus obtained with the statistical characteristic value of the swing width of the registered person walking, the focus of the camera lens Obtain the relationship between distance or magnification, camera posture angle, and camera position,
Based on this relationship, one or more values selected from the camera attitude angle, the focal length or magnification of the camera lens, or the camera position are calculated. .
tan θ＝ｆ（ｘ1−ｘ0）／（ｘ1ｙ0−ｘ0ｙ1）
Ｄ＝Ｌ／ｎ
＝√｛（Ｘ−Ｙ）2＋（Ｘ″−Ｙ″）2｝／ｎ
＝Ｚ・√｛（ｘ／（ｙcosθ＋ｆsinθ）
＋（ｙsinθ-ｆcosθ）／（ｙcosθ＋ｆsinθ））2
＋（ｘ″／（ｙ″cosθ＋ｆsinθ）＋（ｙ″sinθ-ｆcosθ）／（ｙ″cosθ＋ｆsinθ））2｝／ｎ
（ｘ0，ｙ0は着地部の座標、ｘ1，ｙ1は頭部の座標、ｘ，ｙは歩行の最初の着地部の座標、ｘ″，ｙ″は距離Ｌだけ歩行した後の着地部の座標、ｎは距離Ｌだけ歩行した歩数である） The relational expression including the pedestrian's stride length D, the pitch angle θ, the focal length f of the camera lens, and the height “−Z” of the camera from the ground is the following two relational expressions: automatic calculation how of camera parameters described 8.
tan θ = f (x 1 −x 0 ) / (x 1 y 0 −x 0 y 1 )
D = L / n
= √ {(X−Y) 2 + (X ″ −Y ″) 2 } / n
= Z · √ {(x / (ycosθ + fsinθ)
+ (Ysinθ-fcosθ) / (ycosθ + fsinθ)) 2
+ (X ″ / (y ″ cosθ + fsinθ) + (y ″ sinθ−fcosθ) / (y ″ cosθ + fsinθ)) 2 } / n
(X 0 , y 0 are the coordinates of the landing part, x 1, y 1 are the coordinates of the head, x, y are the coordinates of the first landing part of walking, and x ″, y ″ are the landings after walking by the distance L. Part coordinates, n is the number of steps taken by distance L)
人の身長及び歩行時の振り幅を変数とする関数の統計的特性値を登録しておき、
カメラで地面を含む領域を撮影し、
撮影したカメラの画面に写った１又は複数の歩行者を特定し、
画面中の、歩行者の着地部及び頭部の座標データを複数収集し、
前記座標データを、歩行者の身長及び歩行時の振り幅を変数とする関数と、カメラの姿勢角と、カメラのレンズの焦点距離若しくは倍率と、カメラの位置とを含む関係式に代入して統計的処理を行うことにより歩行者の身長と歩行時の振り幅を変数とする関数値の統計的特性値を含む式を求め、
このようにして求められた式の歩行者の身長と歩行時の振り幅を変数とする関数の統計的特性値を、前記登録された人の身長と歩行時の振り幅を変数とする関数の統計的特性値に置き換えることにより、カメラのレンズの焦点距離若しくは倍率と、カメラの姿勢角と、カメラの位置との関係を得、
この関係に基づいて、カメラの姿勢角、カメラのレンズの焦点距離若しくは倍率、又はカメラの位置の中から選ばれるいずれか１つ以上の値を算出することを特徴とするカメラパラメータの自動算出方法。 A method for automatically calculating the position and orientation parameters of a camera installed above the ground,
Register the statistical characteristic value of the function with the height of the person and the swing width when walking as variables,
Shoot the area including the ground with the camera,
Identify one or more pedestrians on the camera screen
Collect multiple pedestrian landing and head coordinate data on the screen,
Substituting the coordinate data into a relational expression including a function with the height of the pedestrian and the swing width during walking as a variable, the posture angle of the camera, the focal length or magnification of the camera lens, and the position of the camera. By performing statistical processing, find a formula that includes the statistical characteristic value of the function value with the height of the pedestrian and the swing width during walking as variables,
The statistical characteristic value of the function using the height of the pedestrian and the swing width at the time of walking in the formula obtained as described above as variables, and the function of the function using the height of the registered person and the swing width at the time of walking as variables. By replacing with statistical characteristic values, the relationship between the focal length or magnification of the camera lens, the camera attitude angle, and the camera position is obtained.
Based on this relationship, one or more values selected from the camera attitude angle, the focal length or magnification of the camera lens, or the camera position are calculated. .
前記カメラと、
撮影したカメラの画面に写った画像データを解析するコンピュータとを備え、
前記コンピュータは、請求項１から請求項１３までのいずれかのカメラパラメータの自動算出方法を実施することを特徴とするカメラパラメータの自動算出装置。 An apparatus for automatically calculating parameters of the position and orientation of a camera installed above the ground,
The camera;
A computer for analyzing the image data captured on the screen of the camera
The computer is automatically calculated device camera parameters which comprises carrying out the automatic calculation method of any camera parameters of claims 1 to 13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004045263A JP3891181B2 (en) | 2004-02-20 | 2004-02-20 | Method and apparatus for automatically calculating camera parameters |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004045263A JP3891181B2 (en) | 2004-02-20 | 2004-02-20 | Method and apparatus for automatically calculating camera parameters |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005233846A JP2005233846A (en) | 2005-09-02 |
| JP3891181B2 true JP3891181B2 (en) | 2007-03-14 |
Family
ID=35016949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004045263A Expired - Fee Related JP3891181B2 (en) | 2004-02-20 | 2004-02-20 | Method and apparatus for automatically calculating camera parameters |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3891181B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9322647B2 (en) | 2013-03-28 | 2016-04-26 | International Business Machines Corporation | Determining camera height using distributions of object heights and object image heights |
| US11496674B2 (en) | 2020-09-18 | 2022-11-08 | Microsoft Technology Licensing, Llc | Camera placement guidance |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4692344B2 (en) * | 2006-03-17 | 2011-06-01 | トヨタ自動車株式会社 | Image recognition device |
| JP5331047B2 (en) * | 2010-04-01 | 2013-10-30 | 日本電信電話株式会社 | Imaging parameter determination method, imaging parameter determination device, imaging parameter determination program |
| JP5613147B2 (en) * | 2011-12-27 | 2014-10-22 | 住友電気工業株式会社 | Camera parameter measuring device, camera parameter measuring method, and program |
| WO2013111229A1 (en) * | 2012-01-23 | 2013-08-01 | 日本電気株式会社 | Camera calibration device, camera calibration method, and camera calibration program |
| KR102225620B1 (en) | 2014-04-03 | 2021-03-12 | 한화테크윈 주식회사 | Camera modeling system |
| US10582095B2 (en) | 2016-10-14 | 2020-03-03 | MP High Tech Solutions Pty Ltd | Imaging apparatuses and enclosures |
| US11765323B2 (en) * | 2017-05-26 | 2023-09-19 | Calumino Pty Ltd. | Apparatus and method of location determination in a thermal imaging system |
| CN111327830B (en) * | 2020-03-27 | 2021-08-20 | 苏州科达科技股份有限公司 | Erection parameter acquisition system, method and device of image acquisition assembly and storage medium |
-
2004
- 2004-02-20 JP JP2004045263A patent/JP3891181B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9322647B2 (en) | 2013-03-28 | 2016-04-26 | International Business Machines Corporation | Determining camera height using distributions of object heights and object image heights |
| US9885568B2 (en) | 2013-03-28 | 2018-02-06 | International Business Machines Corporation | Determining camera height using distributions of object heights and object image heights |
| US11496674B2 (en) | 2020-09-18 | 2022-11-08 | Microsoft Technology Licensing, Llc | Camera placement guidance |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005233846A (en) | 2005-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI448977B (en) | Method and apparatus for video analytics based object counting | |
| CN110285793A (en) | A kind of Vehicular intelligent survey track approach based on Binocular Stereo Vision System | |
| US9286678B2 (en) | Camera calibration using feature identification | |
| Kumar et al. | A semi-automatic 2D solution for vehicle speed estimation from monocular videos | |
| Zhang et al. | A traffic surveillance system for obtaining comprehensive information of the passing vehicles based on instance segmentation | |
| CN109084724A (en) | A kind of deep learning barrier distance measuring method based on binocular vision | |
| US10909395B2 (en) | Object detection apparatus | |
| Zhu et al. | Reliable detection of overtaking vehicles using robust information fusion | |
| Sun et al. | Vehicle reidentification using multidetector fusion | |
| CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
| CN107924461A (en) | For multifactor characteristics of image registration and method, circuit, equipment, system and the correlation computer executable code of tracking | |
| US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
| JP3891181B2 (en) | Method and apparatus for automatically calculating camera parameters | |
| Loktev et al. | Diagnostics of external defects of railway infrastructure by analysis of its images | |
| JP2009110185A (en) | Passerby behavior analyzer, passerby behavior analysis method, and its program | |
| JP2008021102A (en) | Division line detection unit and vehicle lane detection unit | |
| CN108957024A (en) | A kind of method, apparatus and electronic equipment of tachometric survey | |
| CN108520528A (en) | Based on the mobile vehicle tracking for improving differential threshold and displacement field match model | |
| US11935249B2 (en) | System and method for egomotion estimation | |
| JP5981284B2 (en) | Object detection device and object detection method | |
| CN112446915B (en) | Picture construction method and device based on image group | |
| US11557089B1 (en) | System and method for determining a viewpoint of a traffic camera | |
| CN105894505A (en) | Quick pedestrian positioning method based on multi-camera geometrical constraint | |
| Khosravi et al. | Vehicle speed and dimensions estimation using on-road cameras by identifying popular vehicles | |
| JP2013148354A (en) | Vehicle position calculation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |