JP6847420B2 - Velocity estimator, velocity estimation method, and velocity estimation program - Google Patents
Velocity estimator, velocity estimation method, and velocity estimation program Download PDFInfo
- Publication number
- JP6847420B2 JP6847420B2 JP2017234563A JP2017234563A JP6847420B2 JP 6847420 B2 JP6847420 B2 JP 6847420B2 JP 2017234563 A JP2017234563 A JP 2017234563A JP 2017234563 A JP2017234563 A JP 2017234563A JP 6847420 B2 JP6847420 B2 JP 6847420B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- information
- image
- area
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 239000013598 vector Substances 0.000 claims description 131
- 230000033001 locomotion Effects 0.000 claims description 112
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、速度推定装置、速度推定方法、及び速度推定プログラムに関する。 The present invention relates to a speed estimation device, a speed estimation method, and a speed estimation program.
近年、定点カメラ又は監視カメラ等の広域撮影装置によって撮像された画像に基づいて、車両の動き等を解析する画像処理装置が知られている。 In recent years, an image processing device that analyzes the movement of a vehicle or the like based on an image captured by a wide area photographing device such as a fixed point camera or a surveillance camera has been known.
例えば、特許文献1には、ステレオカメラを搭載した定点カメラからの時系列の撮像画像に基づいて、撮像画像内の動体の動きに関する情報(速度、速度ベクトル等)を算出する画像処理装置について記載されている。特許文献1に開示された画像処理装置は、撮像された時系列の撮像画像を、動きに関する情報と併せて表示装置に表示する。この画像処理装置は、一定方向に動く車両が撮像された時系列の撮像画像に基づいて、当該時系列の撮像画像と撮像画像内において一定方向に進行する車両の速度ベクトルとを含む表示画像を作成し、作成された表示画像を表示装置に表示する。 For example, Patent Document 1 describes an image processing device that calculates information (speed, speed vector, etc.) regarding the movement of a moving object in a captured image based on a time-series captured image from a fixed-point camera equipped with a stereo camera. Has been done. The image processing device disclosed in Patent Document 1 displays the captured time-series captured images on the display device together with information on motion. This image processing device obtains a display image including a time-series captured image of a vehicle moving in a fixed direction and a speed vector of the vehicle traveling in a fixed direction in the captured image. Create and display the created display image on the display device.
しかしながら、従来技術では、広域を撮影する広域撮影装置としてステレオカメラが設けられていなければ、車両等の動きに関する情報を提供することができなかった。また、撮影装置によって撮影された画像情報に、互いに異なる走行方向の複数の道路が含まれる場合では、走行方向ごとに車両の動きを解析することが難しかった。 However, in the prior art, it is not possible to provide information on the movement of a vehicle or the like unless a stereo camera is provided as a wide area photographing device for photographing a wide area. Further, when the image information captured by the photographing device includes a plurality of roads in different traveling directions, it is difficult to analyze the movement of the vehicle for each traveling direction.
本発明は、このような課題を解決すべくなされたものであり、道路が含まれる画像情報に基づいて、当該道路の走行方向に移動する車両等の速度を推定することが可能な速度推定装置、速度推定方法、および速度推定プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and is a speed estimation device capable of estimating the speed of a vehicle or the like moving in the traveling direction of the road based on image information including the road. , Speed estimation methods, and speed estimation programs.
本発明に係る速度推定装置は、撮影部によって所定の時間間隔で撮像された第1の画像情報及び第2の画像情報、第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を記憶する記憶部と、第1の画像情報から複数の第1特徴点を抽出するとともに、第2の画像情報から複数の第2特徴点を抽出する特徴点抽出部と、複数の第1特徴点のそれぞれを始点とし、複数の第1特徴点のそれぞれに対応した複数の第2特徴点を終点とする複数の移動ベクトルを算出するベクトル算出部と、複数の移動ベクトルの内、始点又は終点が領域情報に含まれ且つ向きが角度範囲情報に含まれる特定移動ベクトルを抽出し、特定移動ベクトルに基づいて、道路領域を走行する車両の速度を算出する速度算出部と、算出された速度を出力する出力部と、を備える。 The speed estimation device according to the present invention is a region indicating a range of a road region included in the first image information, the second image information, and the first and second image information captured by the photographing unit at predetermined time intervals. A storage unit that stores information and angle range information, and a feature point extraction unit that extracts a plurality of first feature points from the first image information and extracts a plurality of second feature points from the second image information. A vector calculation unit that calculates a plurality of movement vectors starting from each of the plurality of first feature points and ending at a plurality of second feature points corresponding to each of the plurality of first feature points, and a plurality of movements. A speed calculation unit that extracts a specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information, and calculates the speed of a vehicle traveling in the road area based on the specific movement vector. And an output unit that outputs the calculated speed.
また、本発明に係る速度推定装置において、撮影部は、第1及び第2の画像情報の撮影前に、所定数の画像情報を撮像し、所定数の画像情報に基づいて、所定数の画像情報に含まれる移動物体画像を除いた背景画像を生成する背景画像生成部と、所定数の画像情報のそれぞれと背景画像との差分情報に基づいて、領域情報を生成する道路領域生成部と、を備えることが好ましい。 Further, in the speed estimation device according to the present invention, the photographing unit captures a predetermined number of image information before photographing the first and second image information, and based on the predetermined number of image information, a predetermined number of images. A background image generation unit that generates a background image excluding a moving object image included in the information, a road area generation unit that generates area information based on the difference information between each of a predetermined number of image information and the background image, and a road area generation unit. It is preferable to provide.
また、本発明に係る速度推定装置において、速度算出部は、第1の画像情報と背景画像との第1差分情報、及び、第2の画像情報と背景画像との第2差分情報が、類似するか否かを判定し、第1差分情報及び第2差分情報が類似すると判定された場合、第1の画像情報が撮像されてから第2の画像情報が撮影されるまでの期間において、所定の道路領域内の車両が動いていないと判定することが好ましい。 Further, in the speed estimation device according to the present invention, in the speed calculation unit, the first difference information between the first image information and the background image and the second difference information between the second image information and the background image are similar. When it is determined whether or not the first difference information and the second difference information are similar, it is determined in the period from the acquisition of the first image information to the acquisition of the second image information. It is preferable to determine that the vehicle in the road area is not moving.
本発明に係る速度推定方法は、撮影部と接続し、且つ、記憶部を有するコンピュータによる速度推定方法であって、撮影部によって所定の時間間隔で撮像された第1の画像情報及び第2の画像情報、第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を記憶部に記憶し、第1の画像情報から複数の第1特徴点を抽出するとともに、第2の画像情報から複数の第2特徴点を抽出し、複数の第1特徴点のそれぞれを始点とし、複数の第1特徴点のそれぞれに対応した複数の第2特徴点を終点とする複数の移動ベクトルを算出し、複数の移動ベクトルの内、始点又は終点が領域情報に含まれ且つ向きが角度範囲情報に含まれる特定移動ベクトルを抽出し、特定移動ベクトルに基づいて、道路領域を走行する車両の速度を算出し、算出された速度を出力する、ことを含む。 The speed estimation method according to the present invention is a speed estimation method by a computer connected to a photographing unit and having a storage unit, and the first image information and the second image information captured by the photographing unit at predetermined time intervals. The image information, the area information indicating the range of the road area included in the first and second image information, and the angle range information are stored in the storage unit, and a plurality of first feature points are extracted from the first image information. At the same time, a plurality of second feature points are extracted from the second image information, each of the plurality of first feature points is set as a start point, and a plurality of second feature points corresponding to each of the plurality of first feature points are set as end points. A plurality of movement vectors to be calculated are calculated, and a specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information is extracted from the plurality of movement vectors, and the road area is based on the specific movement vector. Includes calculating the speed of the vehicle traveling in and outputting the calculated speed.
本発明に係る速度推定プログラムは、撮影部と接続し、且つ、記憶部を有するコンピュータに、撮影部によって所定の時間間隔で撮像された第1の画像情報及び第2の画像情報、第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を記憶部に記憶し、第1の画像情報から複数の第1特徴点を抽出するとともに、第2の画像情報から複数の第2特徴点を抽出し、複数の第1特徴点のそれぞれを始点とし、複数の第1特徴点のそれぞれに対応した複数の第2特徴点を終点とする複数の移動ベクトルを算出し、複数の移動ベクトルの内、始点又は終点が領域情報に含まれ且つ向きが角度範囲情報に含まれる特定移動ベクトルを抽出し、特定移動ベクトルに基づいて、道路領域を走行する車両の速度を算出し、算出された速度を出力することを実行させる。 The speed estimation program according to the present invention has a first image information and a second image information, a first image, and a second image information captured by the photographing unit at predetermined time intervals on a computer connected to the photographing unit and having a storage unit. The area information indicating the range of the road area included in the second image information and the angle range information are stored in the storage unit, a plurality of first feature points are extracted from the first image information, and the second image is displayed. A plurality of second feature points are extracted from the information, and a plurality of movement vectors having each of the plurality of first feature points as a start point and a plurality of second feature points corresponding to each of the plurality of first feature points as end points are obtained. From the plurality of movement vectors, the specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information is extracted, and the speed of the vehicle traveling in the road area is extracted based on the specific movement vector. Is calculated, and the calculated speed is output.
本発明に係る速度推定装置、速度推定方法、及び速度推定プログラムによって、道路が含まれる画像情報に基づいて、当該道路の走行方向に移動する車両等の速度を推定することが可能となる。 The speed estimation device, the speed estimation method, and the speed estimation program according to the present invention make it possible to estimate the speed of a vehicle or the like moving in the traveling direction of the road based on the image information including the road.
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to those embodiments, but extends to the inventions described in the claims and their equivalents.
(本実施形態の概要)
図1及び図2は、画像送信システムの概略を説明するための模式図である。画像送信システムは、広域撮影装置及び速度推定装置を少なくとも有する。
(Outline of this embodiment)
1 and 2 are schematic views for explaining an outline of an image transmission system. The image transmission system has at least a wide area photographing device and a speed estimation device.
図1に示すように、広域撮影装置は、特定の建物等に設置され、所定の撮影方向の撮影対象空間を所定の時間間隔で撮影する。所定の時間間隔は1/30秒であり、広域撮影装置は、1/30秒ごとに所定の撮影方向の撮影対象空間を撮影した画像情報を出力する。なお、所定の時間間隔は、1秒、1/5秒、又は1/50秒等でもよい。 As shown in FIG. 1, the wide area photographing apparatus is installed in a specific building or the like, and photographs the imaging target space in a predetermined imaging direction at predetermined time intervals. The predetermined time interval is 1/30 second, and the wide area photographing apparatus outputs image information obtained by photographing the imaging target space in the predetermined imaging direction every 1/30 second. The predetermined time interval may be 1 second, 1/5 second, 1/50 second, or the like.
速度推定装置は、広域撮影装置から出力された複数の画像情報を取得すると、取得した複数の画像情報を、撮影された時系列に従って記憶する。 When the speed estimation device acquires a plurality of image information output from the wide area photographing device, the speed estimation device stores the acquired plurality of image information according to the time series in which the images are photographed.
以下、図2を参照して、記憶された複数の画像情報に基づく速度推定処理の概要の一例について説明する。 Hereinafter, an example of an outline of the speed estimation process based on a plurality of stored image information will be described with reference to FIG.
まず、速度推定装置は、記憶された複数の画像情報のうちの第1の画像情報、及び、第1の画像情報の次に撮影された第2の画像情報のそれぞれから特徴点を抽出する。なお、複数の画像情報のうちの最初に撮影された1番目の画像情報が第1の画像情報である場合、複数の画像情報のうちの2番目の画像情報が第2の画像情報である。以降、第1の画像情報から抽出された特徴点を第1特徴点と称し、第2の画像情報から抽出された特徴点を第2特徴点と称する。 First, the speed estimation device extracts feature points from each of the first image information among the plurality of stored image information and the second image information captured after the first image information. When the first image information taken first among the plurality of image information is the first image information, the second image information among the plurality of image information is the second image information. Hereinafter, the feature points extracted from the first image information will be referred to as a first feature point, and the feature points extracted from the second image information will be referred to as a second feature point.
図2の(1−1)は、第1特徴点を含む第1の画像情報の一例であり、図2の(1−2)は、第2特徴点を含む第2の画像情報の一例である。図2の(1−1)に示すように、複数の第1特徴点が第1の画像情報から抽出され、図2の(1−2)に示すように、複数の第2特徴点が第2の画像情報から抽出される。 FIG. 2 (1-1) is an example of the first image information including the first feature point, and FIG. 2 (1-2) is an example of the second image information including the second feature point. is there. As shown in (1-1) of FIG. 2, a plurality of first feature points are extracted from the first image information, and as shown in (1-2) of FIG. 2, a plurality of second feature points are second. It is extracted from the image information of 2.
速度推定装置は、複数の第2特徴点の中から、複数の第1特徴点のそれぞれに対応する第2特徴点を特定する。速度推定装置は、複数の第1特徴点のそれぞれについて、各第1特徴点を始点とし、各第1特徴点に対応する各第2特徴点を終点とする移動ベクトルを算出する。 The speed estimation device identifies the second feature point corresponding to each of the plurality of first feature points from the plurality of second feature points. The speed estimation device calculates a movement vector for each of the plurality of first feature points, with each first feature point as a start point and each second feature point corresponding to each first feature point as an end point.
移動ベクトルは、例えば、オプティカルフロー(Optical Flow)である。オプティカルフローは、Lucas−Kanade法、又は、Horn−Schunk法等によって算出される。 The movement vector is, for example, Optical Flow. The optical flow is calculated by the Lucas-Kanade method, the Horn-Schunk method, or the like.
図2の(2)は、移動ベクトルを含む第1の画像情報の一例である。 FIG. 2 (2) is an example of the first image information including the movement vector.
図2の(2)に示すように、第1特徴点と、第1特徴点に対応する第2特徴点とが離れている場合、第1特徴点が移動していると推定される。第1の画像情報及び第2の画像情報には、道路を走行する車両のほか、鳥や航空機等の飛来物、稼働中の機械等の動きを有する物体が含まれる場合がある。また、第1の画像情報及び第2の画像情報が撮影されたときの撮影条件やレンズの状態等に応じて、それぞれの画像情報の各画素の色情報や輝度等が異なる場合、移動する物体を示さない移動ベクトルが推定されることもある。 As shown in (2) of FIG. 2, when the first feature point and the second feature point corresponding to the first feature point are separated, it is estimated that the first feature point is moving. The first image information and the second image information may include a vehicle traveling on a road, a flying object such as a bird or an aircraft, and a moving object such as a moving machine. In addition, when the color information, brightness, etc. of each pixel of each image information are different depending on the shooting conditions when the first image information and the second image information are taken, the state of the lens, etc., a moving object. A movement vector that does not indicate is sometimes estimated.
このため、本実施形態の画像送信システムは、第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を使用することにより、道路上の車両に関する移動ベクトルのみを抽出することで、精度の高い車両の速度を算出する(図1の(3))。 Therefore, the image transmission system of the present embodiment uses the area information indicating the range of the road area included in the first and second image information and the angle range information to move a movement vector related to the vehicle on the road. By extracting only, the speed of the vehicle with high accuracy is calculated ((3) in FIG. 1).
道路領域は、画像情報に含まれる道路に該当する画像領域である。領域情報は、道路領域の多角形形状を規定する情報であり、多角形形状を規定する2次元座標群を示す情報等である。なお、図2の(3)に示す例における領域情報は、第1の画像領域に含まれる道路に該当する画像領域の形状を規定する情報である。 The road area is an image area corresponding to a road included in the image information. The area information is information that defines the polygonal shape of the road area, and is information that indicates a two-dimensional coordinate group that defines the polygonal shape. The area information in the example shown in FIG. 2 (3) is information that defines the shape of the image area corresponding to the road included in the first image area.
角度範囲情報は、道路領域ごとに設定された所定の角度を規定する情報である。角度範囲情報は、道路領域に該当する道路の進行方向及び所定の角度である。進行方向は、所定の軸(画像情報におけるピクセルの縦方向及び横方向のいずれか一方に平行な軸等)と進行方向とによって構成される角度である。例えば、角度範囲情報は、進行方向(16度)及び角度(60度)等である。 The angle range information is information that defines a predetermined angle set for each road area. The angle range information is the traveling direction of the road corresponding to the road area and a predetermined angle. The traveling direction is an angle composed of a predetermined axis (an axis parallel to either the vertical direction or the horizontal direction of the pixel in the image information) and the traveling direction. For example, the angle range information is a traveling direction (16 degrees), an angle (60 degrees), and the like.
角度範囲情報は、所定の角度を構成する第1の線分及び第2の線分に関する情報等でもよい。例えば、第1の線分に関する情報は、所定の軸と第1の線分とによって構成される角度を示す情報であり、第2の線分に関する情報は、所定の軸と第2の線分とによって構成される角度を示す情報である。例えば、角度範囲情報は、第1の線分に関する情報(−14度)及び第2の線分に関する情報(+46度)等である。また、第1の線分に関する情報は、第1の線分と平行である第1のベクトル(例えば、単位ベクトル)でもよく、第2の線分に関する情報は、第2の線分と平行である第2のベクトル(例えば、単位ベクトル)でもよい。 The angle range information may be information about a first line segment and a second line segment constituting a predetermined angle. For example, the information about the first line segment is the information indicating the angle composed of the predetermined axis and the first line segment, and the information about the second line segment is the information about the predetermined axis and the second line segment. It is information indicating an angle composed of and. For example, the angle range information includes information on the first line segment (-14 degrees), information on the second line segment (+46 degrees), and the like. Further, the information about the first line segment may be a first vector (for example, a unit vector) parallel to the first line segment, and the information about the second line segment is parallel to the second line segment. It may be a second vector (eg, a unit vector).
速度の算出処理では、算出された移動ベクトルのうち、第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報に含まれ且つ向きが角度範囲情報に含まれる移動ベクトルが、特定移動ベクトルとして抽出される。 In the speed calculation process, among the calculated movement vectors, the movement vector included in the area information indicating the range of the road area included in the first and second image information and whose direction is included in the angle range information is specified. Extracted as a moving vector.
図2の(3)に示す例では、まず、図2の(2)に示す移動ベクトルのうち、少なくとも一部が領域情報に含まれる移動ベクトルが抽出される。次に、領域情報に含まれる移動ベクトルのうち、向きが角度範囲情報によって示される角度の範囲内である移動ベクトルが特定移動ベクトルとして抽出される。 In the example shown in FIG. 2 (3), first, among the movement vectors shown in FIG. 2 (2), a movement vector whose at least a part is included in the area information is extracted. Next, among the movement vectors included in the area information, the movement vector whose direction is within the range of the angle indicated by the angle range information is extracted as a specific movement vector.
そして、速度推定装置は、抽出された特定移動ベクトルに基づいて、道路領域における車両の平均速度を算出する。例えば、速度推定装置は、抽出された特定移動ベクトルの長さ、画像情報の1ピクセル当たりの実際の距離、及び、第1の画像情報が撮影された時間と第2の画像情報が撮影された時間との差分時間に基づいて、各特定移動ベクトルに対応する速度を算出する。次に、速度推定装置は、算出された速度の平均値を平均速度として算出する。 Then, the speed estimation device calculates the average speed of the vehicle in the road area based on the extracted specific movement vector. For example, the speed estimator has taken the length of the extracted specific movement vector, the actual distance per pixel of the image information, and the time when the first image information was taken and the second image information. The speed corresponding to each specific movement vector is calculated based on the difference time from the time. Next, the speed estimation device calculates the average value of the calculated speeds as the average speed.
速度推定装置は、道路領域ごとに算出された平均速度を出力する。平均速度の出力は、例えば、速度を示す文字列、速度を示すオブジェクト画像(ゲージ画像等)を表示装置に表示すること、速度を示す音声データ等をスピーカ等で音声出力すること等である。 The speed estimation device outputs the average speed calculated for each road area. The output of the average speed is, for example, displaying a character string indicating the speed, an object image (gauge image or the like) indicating the speed on a display device, or outputting audio data or the like indicating the speed by a speaker or the like.
上述のとおり、速度推定装置は、撮影された画像情報に含まれる道路領域に該当する領域情報に対応する移動ベクトルに基づいて速度を推定することができる。これにより、走行方向ごとに車両等の速度を推定することが可能になる。 As described above, the speed estimation device can estimate the speed based on the movement vector corresponding to the area information corresponding to the road area included in the captured image information. This makes it possible to estimate the speed of the vehicle or the like for each traveling direction.
なお、上述した図1及び2の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明及び本明細書の開示範囲に含まれる。 The above-mentioned explanations of FIGS. 1 and 2 are merely explanations for deepening the understanding of the contents of the present invention. Specifically, the present invention may be carried out in each of the embodiments described below, and may be carried out by various modifications without substantially exceeding the principles of the present invention. All such variations are included within the scope of the present invention and the present specification.
(画像送信システム1)
図3は、画像送信システム1の概略構成の一例を示す図である。画像送信システム1は、広域撮影装置2と、速度推定装置3と、送信装置4と、受信装置5とを備える。広域撮影装置2及び速度推定装置3は、所定の通信ケーブルによって接続され、広域撮影装置2は、画像情報を所定の通信ケーブルを介して速度推定装置3に送信する。広域撮影装置2は、所定の無線通信を用いて画像情報を速度推定装置3に送信してもよい。所定の無線通信は、例えば、Bluetooth(登録商標)等の装置間の近距離無線通信であり、所定の無線通信によって、広域撮影装置2及び速度推定装置3は、無線通信を確立させ、直接無線通信を行うことができる。
(Image transmission system 1)
FIG. 3 is a diagram showing an example of a schematic configuration of the image transmission system 1. The image transmission system 1 includes a wide
広域撮影装置2は、特定の建物等に設置された定点カメラである。広域撮影装置2は、特定の建物等に設置された監視カメラ等でもよい。なお、広域撮影装置2は、撮影部の一例である。
The wide
広域撮影装置2は、所定の画角を有する光学系と撮像素子と画像処理部とを有する。光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。なお、光学系は複数設けられてもよく、例えば、広域撮影装置2は、二系統の光学系を設けたステレオカメラでも、三系統の光学系を設けた三眼カメラでもよい。
The wide
撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定の時間間隔ごとに所定のファイル形式の画像情報を作成して出力する。 The image pickup device is a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and outputs an image of a subject image formed on the image pickup surface. The image processing unit continuously creates and outputs image information in a predetermined file format at predetermined time intervals from images generated by the image sensor.
広域撮影装置2は、所定の送信時間間隔ごとに、出力した複数の画像情報を速度推定装置3に送信する。所定の送信時間間隔は10秒である。なお、所定の送信時間間隔は、5秒、15秒、30秒、1分でもよい。また、広域撮影装置2は、画像情報が出力されるたびに、出力された画像情報を速度推定装置3に送信してもよい。
The wide
速度推定装置3は、パーソナルコンピュータ(personal computer,PC)、サーバ等のコンピュータである。速度推定装置3は、広域撮影装置2から画像情報を取得し、速度推定処理を実行する機能を有するものであれば、どのような情報処理装置であってもよい。
The
送信装置4は、放送事業者等が所有し且つ放送データを送信するための送信機等である。送信装置4は、放送事業者等の操作に従って放送データを生成し、生成した放送データを、中継局等を介して受信装置5に送信する。なお、送信装置4は、生成した放送データを、ケーブルテレビ(Cable Television,CATV)網を介して受信装置5に送信してもよい。
The transmitter 4 is a transmitter or the like owned by a broadcaster or the like and for transmitting broadcast data. The transmitting device 4 generates broadcast data according to an operation of a broadcasting company or the like, and transmits the generated broadcasting data to the receiving
放送データは、画像データ、音声データ、及び放送情報データ等を含む。画像データは、例えば、放送番組の映像データ、静止画像データ等である。放送情報データは、BML(Broadcast Markup Language)等の記述言語によって記述された図形画像データ、文字データ及び/又は制御データである。図形画像データ及び文字データは、受信装置5によって実行されるBMLブラウザ等によって表示される。制御データは、表示制御等の制御情報を特定するためのデータであり、例えば、図形画像データを移動表示させたり、視聴者の操作入力情報に基づいて選局処理を実行させたりする制御情報を特定するためのデータである。本実施形態の送信装置4によって送信される放送データには、広域撮影装置2によって出力された画像情報に係るデータが含まれる。
Broadcast data includes image data, audio data, broadcast information data, and the like. The image data is, for example, video data of a broadcast program, still image data, or the like. Broadcast information data is graphic image data, character data, and / or control data described by a description language such as BML (Broadcast Markup Language). The graphic image data and the character data are displayed by a BML browser or the like executed by the receiving
受信装置5は、各家庭等に設置されたテレビ受像機等であり、アンテナ部6と接続される。受信装置5は、送信装置4から送信された放送データを、アンテナ部6を介して受信し、放送データに含まれる画像データを表示するとともに、放送データに含まれる音声データを音声出力する。
The receiving
(速度推定装置3の構成)
図4は、速度推定装置3の概略構成の一例を示す図である。
(Configuration of speed estimation device 3)
FIG. 4 is a diagram showing an example of a schematic configuration of the
速度推定装置3は、広域撮影装置2から画像情報を取得し、速度推定処理を実行する機能を有する。そのために、速度推定装置3は、通信部31と、記憶部32と、入力部33と、表示部34と、処理部35とを備える。
The
通信部31は、速度推定装置3を広域撮影装置2に接続するための通信インターフェース回路を備え、広域撮影装置2との間で通信を行う。通信部31は、広域撮影装置2から出力された画像情報を処理部35に供給する。
The
記憶部32は、磁気テープ装置、磁気ディスク装置、又は光ディスク装置等を備える。また、記憶部32は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ装置を備えてもよい。記憶部32は、処理部35での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、コンピュータプログラム及びデータ等を記憶する。記憶部32に記憶されるコンピュータプログラムは、例えば、処理部35に速度推定処理を実行させるための速度推定プログラムである。コンピュータプログラムは、例えば、CD−ROM(Compact Disc−Read Only Memory)、DVD−ROM(Digital Versatile Disc−Read Only Memory)等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部32にインストールされてもよい。
The
記憶部32に記憶されるデータは、広域撮影装置2から出力された複数の画像情報、後述する各種テーブル等を含む。記憶部32は、速度推定処理等の各種処理に係る一時的なデータを一時的に記憶してもよい。この場合、記憶部32は、揮発性のRAMメモリを備え、各種処理の実行に応じて一時的に出力されたデータを記憶してもよい。
The data stored in the
入力部33は、キーボード及びマウスである。なお、入力部33は、タッチパネル等でもよい。ユーザは、入力部33を用いて、文字や数字、記号等を入力することができる。入力部33は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、処理部35に供給される。
The
表示部34は、液晶ディスプレイである。なお、表示部34は、有機EL(Electro−Luminescence)ディスプレイ等でもよい。表示部34は、処理部35から供給された映像データに応じた映像、及び、画像データに応じた画像等を表示する。
The
処理部35は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部35は、速度推定装置3の全体的な動作を統括的に制御するCPU(Central Processing Unit)である。処理部35は、速度推定装置3の各種処理が記憶部32に記憶されているプログラムや入力部33の操作に基づいて適切な手順で実行されるように、通信部31や表示部34等の動作を制御する。処理部35は、記憶部32に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、処理部35は、複数のプログラム(コンピュータプログラムプログラム等)を並列に実行することができる。
The
処理部35は、取得部351、生成部352、画像情報抽出部353、特徴点抽出部354、ベクトル算出部355、ベクトル抽出部356、速度算出部357、及び表示処理部358を有する。処理部35が有するこれらの各部は、処理部35が備えるプロセッサによって実行されるプログラムにより実現される機能モジュールである。処理部35が有するこれらの各部は、ファームウェアとして速度推定装置3に実装されてもよい。なお、取得部351、生成部352、画像情報抽出部353、特徴点抽出部354、ベクトル算出部355、ベクトル抽出部356、速度算出部357、及び表示処理部358の詳細は後述する。
The
図5(a)は、画像情報の一例を示す図である。図5(a)に示す画像情報は、広域撮影装置2から出力された複数の画像情報のうちの1つの画像情報である。
FIG. 5A is a diagram showing an example of image information. The image information shown in FIG. 5A is one of a plurality of image information output from the wide
(特徴点)
図5(b)は、画像情報から抽出される特徴点の一例を示す図である。
(Feature point)
FIG. 5B is a diagram showing an example of feature points extracted from image information.
特徴点は、所定の特徴点抽出法を用いて画像情報から抽出される。所定の特徴点抽出法は、SIFT(Scale−Invariant Feature Transform)法、又は、SURF(Speeded Up Robust Features)法等である。また、特徴点抽出法として、コーナー検出法が用いられてもよい。コーナー検出法では、画素を移動した際の画素値の変化量に基づいて、コーナーや孤立点が特徴点として検出される。 The feature points are extracted from the image information using a predetermined feature point extraction method. The predetermined feature point extraction method is a SIFT (Scale-Invariant Feature Transfer) method, a SURF (Speeded Up Robot Features) method, or the like. Further, a corner detection method may be used as the feature point extraction method. In the corner detection method, corners and isolated points are detected as feature points based on the amount of change in the pixel value when the pixel is moved.
以下、SIFT法による特徴点抽出法について説明する。まず、画像情報に対してDoG(Difference−of−Gaussian)処理が実行されることにより、画像情報内の特徴点の候補が検出される。DoG処理では、画像情報に基づいて複数のDoG画像が生成され、生成された複数のDoG画像から極値が検出された画素が特徴点の候補として特定される。 Hereinafter, the feature point extraction method by the SIFT method will be described. First, by executing DoG (Difference-of-Gaussian) processing on the image information, candidates for feature points in the image information are detected. In the DoG process, a plurality of DoG images are generated based on the image information, and pixels in which extreme values are detected from the generated plurality of DoG images are specified as feature point candidates.
次に、特徴点の候補の中から所定の削除条件を満たす候補が削除されることで、特徴点が抽出される。所定の削除条件は、特徴点の候補が、コーナー検出法等によって検出された点と同一であるという条件である。また、所定の削除条件は、特徴点の候補極値が所定の数値以下であるという条件であってもよい。このようにして削除された残りの特徴点の候補が、特徴点として抽出される。なお、SIFT法による特徴点抽出法については、例えば、特開2015−213615号公報を参照されたい。 Next, the feature points are extracted by deleting the candidates satisfying the predetermined deletion conditions from the feature point candidates. The predetermined deletion condition is that the candidate feature points are the same as the points detected by the corner detection method or the like. Further, the predetermined deletion condition may be a condition that the candidate pole value of the feature point is equal to or less than a predetermined numerical value. Candidates for the remaining feature points deleted in this way are extracted as feature points. For the feature point extraction method by the SIFT method, refer to, for example, Japanese Patent Application Laid-Open No. 2015-213615.
なお、特徴点の抽出処理は、記憶部32に記憶された複数の画像情報のそれぞれに対して実行される。
The feature point extraction process is executed for each of the plurality of image information stored in the
(移動ベクトル)
図6(a)は、画像情報に基づいて算出された移動ベクトルの一例を示す図である。移動ベクトルは、複数の画像情報のうちの第1の画像情報において抽出された特徴点を始点とし、複数の画像情報のうち、第1の画像情報の次に撮影された第2の画像情報において抽出された特徴点を終点とする。
(Movement vector)
FIG. 6A is a diagram showing an example of a movement vector calculated based on image information. The movement vector starts from the feature point extracted in the first image information of the plurality of image information, and in the second image information taken after the first image information of the plurality of image information. The extracted feature point is the end point.
なお、複数の画像情報のうちの最初に撮影された1番目の画像情報が第1の画像情報である場合、複数の画像情報のうちの2番目に撮影された画像情報が第2の画像情報である。同様に、複数の画像情報のうちの20番目に撮影された画像情報が第1の画像情報である場合、複数の画像情報のうちの21番目に撮影された画像情報が第2の画像情報である。 When the first image information taken first among the plurality of image information is the first image information, the second image information taken out of the plurality of image information is the second image information. Is. Similarly, when the 20th captured image information of the plurality of image information is the first image information, the 21st captured image information of the plurality of image information is the second image information. is there.
第2の画像情報は、第1の画像情報の次に撮影された画像情報に限らず、第1の画像情報が撮影された時刻から所定時間(例えば1秒)以内に撮影された画像情報でもよい。例えば、複数の画像情報のうちの最初に撮影された1番目の画像情報が第1の画像情報である場合、複数の画像情報のうちの6番目(例えば、第1の画像情報の1/6秒後)に撮影された画像情報が第2の画像情報であってもよい。 The second image information is not limited to the image information taken after the first image information, but also the image information taken within a predetermined time (for example, 1 second) from the time when the first image information was taken. Good. For example, when the first image information taken first among the plurality of image information is the first image information, the sixth of the plurality of image information (for example, 1/6 of the first image information). The image information taken after a second) may be the second image information.
移動ベクトルの算出処理は、例えば、オプティカルフローの算出処理である。オプティカルフローの算出処理では、例えば、Lucas−Kanade法、Horn-Schunck法、Gunnar Farneback法等が用いられる。 The movement vector calculation process is, for example, an optical flow calculation process. In the optical flow calculation process, for example, the Lucas-Kanade method, the Horn-Schunk method, the Gunnar Farneback method, and the like are used.
Lucas−Kanade法では、第1の画像情報における第1特徴点(又は第1の画素)を始点とし、当該特定の点と同一であるとみなすことができる第2の画像情報における第2特徴点(又は第2の画素)を終点としたオプティカルフロー(動きベクトル)が算出される。第1特徴点及び第2特徴点が同じ輝度である場合、第1特徴点及び第2特徴点が同一であるとみなされる。この場合、第1特徴点とオプティカルフローは式(1)のように表すことができる。
なお、Iは、第1の画像情報における第1特徴点の輝度、x及びyは、第1の画像情報における第1特徴点の2次元座標、vx及びvyは、オプティカルフロー(動きベクトル)である。 Incidentally, I is the first characteristic point luminance in the first image information, x and y are two-dimensional coordinates of the first feature point in the first image information, v x and v y are optical flow (motion vector ).
式(1)がテーラー展開されると式(2)が得られる。
式(2)に基づいて次のオプティカルフローの拘束式(3)が得られる。 The following optical flow constraint equation (3) is obtained based on the equation (2).
式(3)からは、オプティカルフロー(動きベクトル)が算出されないため、第1特徴点の周辺に仮想のウィンドウが設定されたと仮定して、当該ウィンドウ内ではオプティカルフローは同一であるとして、オプティカルフローを算出する。例えば、次の式(4)によってオプティカルフローが算出される。 Since the optical flow (motion vector) is not calculated from the equation (3), it is assumed that a virtual window is set around the first feature point, and the optical flow is the same in the window. Is calculated. For example, the optical flow is calculated by the following equation (4).
なお、Lucas−Kanade法によるオプティカルフローの算出処理については、例えば、B.D.Lucas and T.Kanade,「An iterative image registration technique with an application to stereo vision」,in Proc Imaging Understanding Workshop,pp.121−130,1981年を参照されたい。 Regarding the calculation process of the optical flow by the Lucas-Kanade method, for example, B.I. D. Lucas and T. Kanade, "An iterative image registration technology with application to station vision", in Proc Imaging Understancing Workshop, pp. See 121-130, 1981.
(領域情報)
図6(b)は、画像情報に含まれる領域情報の一例を示す図である。
(Area information)
FIG. 6B is a diagram showing an example of area information included in the image information.
図6(b)に示す例では、画像情報には2つの道路領域が含まれる。領域情報は、道路領域の外形の形状である多角形形状を規定する2次元座標群を示す情報である。以下、2つの道路領域のうちの一方を、第1の道路領域と称するとともに、第1の道路領域に対応する領域情報を第1の領域情報と称する。また、2つの道路領域のうちの他方を、第2の道路領域と称するとともに、第2の道路領域に対応する領域情報を第2の領域情報と称する。 In the example shown in FIG. 6B, the image information includes two road areas. The area information is information indicating a two-dimensional coordinate group that defines a polygonal shape that is the outer shape of the road area. Hereinafter, one of the two road areas will be referred to as a first road area, and the area information corresponding to the first road area will be referred to as a first area information. Further, the other of the two road areas is referred to as a second road area, and the area information corresponding to the second road area is referred to as a second area information.
なお、画像情報には、1つの道路領域のみが含まれてもよく、また、3つ以上の道路領域が含まれてもよい。 The image information may include only one road area, or may include three or more road areas.
(特定移動ベクトル)
図7(a)は、第1の領域情報に対応する特定移動ベクトルを示す図である。第1の領域情報に対応する特定移動ベクトルは、第1の領域情報に含まれる移動ベクトルである。なお、移動ベクトルの始点及び終点の少なくとも一方が第1の領域情報に含まれる場合、当該移動ベクトルが特定移動ベクトルとして抽出される。図7(a)に示す例では、始点が第1の領域情報に含まれる移動ベクトルが、特定移動ベクトルとして抽出される。また、第1の領域情報に対応する特定移動ベクトルの向きは、第1の領域情報に対応する角度範囲情報に含まれる。
(Specific movement vector)
FIG. 7A is a diagram showing a specific movement vector corresponding to the first region information. The specific movement vector corresponding to the first area information is a movement vector included in the first area information. When at least one of the start point and the end point of the movement vector is included in the first area information, the movement vector is extracted as a specific movement vector. In the example shown in FIG. 7A, the movement vector whose start point is included in the first region information is extracted as a specific movement vector. Further, the direction of the specific movement vector corresponding to the first area information is included in the angle range information corresponding to the first area information.
図7(b)は、第2の道路領域に対応する特定移動ベクトルを示す図である。第1の領域情報に対応する特定移動ベクトルと同様に、第2の領域情報に対応する特定移動ベクトルは、第2の領域情報に含まれる移動ベクトルであり、当該特定移動ベクトルの向きは、第1の領域情報に対応する角度範囲情報に含まれる。 FIG. 7B is a diagram showing a specific movement vector corresponding to the second road area. Similar to the specific movement vector corresponding to the first area information, the specific movement vector corresponding to the second area information is a movement vector included in the second area information, and the direction of the specific movement vector is the first. It is included in the angle range information corresponding to the area information of 1.
(画像情報テーブルT1)
図8(a)は、画像情報テーブルT1のデータ構造の一例を示す図である。画像情報テーブルT1には、画像情報ごとに、画像情報ID(identification)、日時、画像情報のファイル名称等が、互いに関連付けて記憶される。
(Image information table T1)
FIG. 8A is a diagram showing an example of the data structure of the image information table T1. In the image information table T1, the image information ID (identification), the date and time, the file name of the image information, and the like are stored in association with each other for each image information.
画像情報IDは、各画像情報を一意に識別するための識別情報の一例である。 The image information ID is an example of identification information for uniquely identifying each image information.
日時は、画像情報が撮影された日にち及び時刻を示す情報である。広域撮影装置2は、画像情報を撮影したときに、撮影した日時を画像情報に関連付け、画像情報と当該画像に関連付けられた日時を出力する。
The date and time is information indicating the date and time when the image information was taken. When the wide
画像情報のファイル名称は、記憶部32に記憶された画像情報のデータの格納フォルダのパスとファイルの名称等を示す情報である。
The file name of the image information is information indicating the path of the storage folder of the image information data stored in the
(道路領域テーブルT2)
図8(b)は、道路領域テーブルT2のデータ構造の一例を示す図である。道路領域テーブルT2には、道路領域ごとに、領域ID、領域情報、進行方向、角度等が、互いに関連付けて記憶される。
(Road area table T2)
FIG. 8B is a diagram showing an example of the data structure of the road area table T2. In the road area table T2, the area ID, the area information, the traveling direction, the angle, and the like are stored in association with each other for each road area.
領域IDは、各道路領域を一意に識別するための識別情報の一例である。領域情報は、道路領域の多角形形状を規定する情報であり、多角形形状を規定する2次元座標群を示す情報である。 The area ID is an example of identification information for uniquely identifying each road area. The area information is information that defines the polygonal shape of the road area, and is information that indicates a two-dimensional coordinate group that defines the polygonal shape.
進行方向は、道路領域に該当する道路の進行方向を示す情報である。進行方向は、例えば、所定の軸と進行方向とによって構成される角度を示す情報である。なお、所定の軸は、画像情報におけるピクセルの縦方向及び横方向のいずれか一方に平行な軸等である。角度は、道路の進行方向における誤差角度を示す情報である。 The traveling direction is information indicating the traveling direction of the road corresponding to the road area. The traveling direction is, for example, information indicating an angle formed by a predetermined axis and the traveling direction. The predetermined axis is an axis parallel to either the vertical direction or the horizontal direction of the pixel in the image information. The angle is information indicating an error angle in the traveling direction of the road.
(第1の速度推定テーブルT3)
図9(a)は、第1の速度推定テーブルT3のデータ構造の一例を示す図である。第1の速度推定テーブルT3では、複数の画像情報のうち、連続する2つの画像情報を組とした場合における、各組の第1の領域情報に含まれる特定移動ベクトル等が管理される。
(First speed estimation table T3)
FIG. 9A is a diagram showing an example of the data structure of the first speed estimation table T3. In the first speed estimation table T3, the specific movement vector and the like included in the first area information of each set when two consecutive image informations out of the plurality of image information are set are managed.
第1の速度推定テーブルT3には、2つの画像情報の組ごとに、組ID、画像情報ID、特定移動ベクトル、平均速度等が、互いに関連付けて記憶される。 In the first speed estimation table T3, a set ID, an image information ID, a specific movement vector, an average speed, and the like are stored in association with each other for each set of two image information.
組IDは、各組を一意に識別するための識別情報の一例である。 The set ID is an example of identification information for uniquely identifying each set.
画像情報IDは、各組を構成する2つの画像情報の画像情報IDである。図9(a)に示す例では、組ID「0235」に関連付けられた画像情報IDは、「0125656258」及び「0125656259」である。なお、前者は、第1の画像情報の画像情報IDの一例であり、後者は、第2の画像情報の画像情報IDの一例である。 The image information ID is an image information ID of two image information constituting each set. In the example shown in FIG. 9A, the image information IDs associated with the set ID “0235” are “0125656258” and “0125656259”. The former is an example of the image information ID of the first image information, and the latter is an example of the image information ID of the second image information.
特定移動ベクトルは、各組を構成する2つの画像情報に基づいて算出された移動ベクトルのうち、第1の領域情報に対応する特定移動ベクトルを示す情報である。図9(a)に示す例では、特定移動ベクトルを示す情報は、各特定移動ベクトルの始点の2次元座標及び終点の2次元座標を示す情報である。 The specific movement vector is information indicating a specific movement vector corresponding to the first region information among the movement vectors calculated based on the two image information constituting each set. In the example shown in FIG. 9A, the information indicating the specific movement vector is the information indicating the two-dimensional coordinates of the start point and the two-dimensional coordinates of the end point of each specific movement vector.
平均速度は、特定移動ベクトルごとに算出された、各特定移動ベクトルに対応する速度である。例えば、特定移動ベクトルの長さ、画像情報の1ピクセル当たりの実際の距離、各組を構成する2つの画像情報の撮影時刻の差分時刻に基づいて速度が算出される。 The average speed is the speed corresponding to each specific movement vector calculated for each specific movement vector. For example, the speed is calculated based on the length of the specific movement vector, the actual distance per pixel of the image information, and the difference time of the shooting times of the two image information constituting each set.
(第2の速度推定テーブルT4)
図9(b)は、第2の速度推定テーブルT4のデータ構造の一例を示す図である。第2の速度推定テーブルT4では、複数の画像情報のうち、連続する2つの画像情報を組とした場合における、各組の第2の領域情報に含まれる特定移動ベクトル等が管理される。
(Second speed estimation table T4)
FIG. 9B is a diagram showing an example of the data structure of the second speed estimation table T4. In the second speed estimation table T4, the specific movement vector and the like included in the second area information of each set when two consecutive image information among the plurality of image information are set are managed.
第2の速度推定テーブルT4には、第1の速度推定テーブルT3と同様に、2つの画像情報の組ごとに、組ID、画像情報ID、特定移動ベクトル、平均速度等が、互いに関連付けて記憶される。 Similar to the first speed estimation table T3, the second speed estimation table T4 stores the set ID, the image information ID, the specific movement vector, the average speed, etc. in association with each other for each set of the two image information. Will be done.
(速度推定処理)
図10は、速度推定処理の動作フローの一例を示す図である。
(Speed estimation process)
FIG. 10 is a diagram showing an example of the operation flow of the speed estimation process.
まず、取得部351は、広域撮影装置2から出力された一又は複数の画像情報を日時とともに取得して、取得した画像情報を記憶部32に記憶する(ステップS101)。また、取得部351は、記憶した画像情報に対応する画像情報IDを新たに付与し、付与した画像情報の画像情報ID、画像情報とともに取得した日時、及び画像情報のファイル名称を、画像情報テーブルT1に記憶する。
First, the
次に、画像情報抽出部353は、ステップS101おいて記憶部32に記憶された複数の画像情報の中から、背景算出期間(例えば、直近に撮影された時刻から180秒間)の間に撮影された所定数の画像情報を、初期画像情報として抽出する。次に、生成部352は、抽出された所定数の初期画像情報に基づいて、各初期画像情報に含まれる移動物体画像を判別し、初期画像情報から移動物体画像を除いた背景画像情報を生成する(ステップS102)。なお、背景画像情報の生成処理については、「森田真司,山澤一誠,寺沢征彦,横矢直和,“全方位画像センサを用いたネットワーク対応型遠隔監視システム”,電子情報通信学会論文誌,vol.88,no.5,pp.864−875,2005」を参照されたい。なお、生成部352は、背景画像生成部の一例である。
Next, the image
次に、画像情報抽出部353は、背景画像算出期間の後に撮影された複数の画像情報の中から、一組の画像情報を抽出する(ステップS103)。画像情報抽出部353は、抽出された一組の画像情報に、新たに組IDを付与し、組ID及び一組の画像情報のそれぞれの画像情報IDを、第1の速度推定テーブルT3及び第2の速度推定テーブルT4に記憶する。なお、ステップS103において抽出される一組の画像情報は、記憶された複数の画像情報の内の全ての画像情報のそれぞれと、その次に撮影された画像情報との組である。また、ステップS103において抽出される一組の画像情報は、記憶された複数の画像情報の内の一部の画像情報のそれぞれと、その次に撮影された画像情報との組であってもよい。
Next, the image
次に、特徴点抽出部354は、ステップS103において抽出された一組の画像情報から複数の特徴点を抽出する(ステップS104)。特徴点抽出部354は、前述の所定の特徴点抽出法を用いて、一組の画像情報のうちの第1の画像情報から複数の第1特徴点を抽出するとともに、一組の画像情報のうちの第2の画像情報から複数の第2特徴点を抽出する。
Next, the feature
次に、ベクトル算出部355は、一組の画像情報のそれぞれの特徴点に基づいて移動ベクトルを算出する(ステップS105)。ベクトル算出部355は、上述のLucas−Kanade法等を用いて、複数の第1特徴点及び複数の第2特徴点に基づいて移動ベクトル(オプティカルフロー)を算出する。
Next, the
次に、ベクトル抽出部356は、算出された移動ベクトルの中から、道路領域ごとに特定移動ベクトルを抽出する(ステップS106)。まず、ベクトル抽出部356は、道路領域情報テーブルT2から、各道路領域の領域情報、進行方向及び角度を抽出する。次に、ベクトル抽出部356は、領域情報ごとに、ステップS105によって算出された移動ベクトルのうち、第1特徴点が各領域情報に含まれる移動ベクトルを抽出する。次に、ベクトル抽出部356は、抽出された移動ベクトルごとに、抽出された角度を有し且つ第1特徴点を頂点とする判定角であって、抽出された進行方向によって略二等分される判定角に、抽出された各移動ベクトルが含まれるか否かを判定する。次に、ベクトル抽出部356は、判定角に含まれると判定された移動ベクトルを特定移動ベクトルとして抽出する。そして、ベクトル抽出部356は、第1の領域情報について抽出された特定移動ベクトルを、第1の速度推定テーブルT3に記憶し、第2の領域情報について抽出された特定移動ベクトルを、第2の速度推定テーブルT3に記憶する。
Next, the
次に、速度算出部357は、算出処理を実行し(ステップS107)、速度推定処理の一連のステップを終了する。なお、算出処理の詳細は後述する。
Next, the
そして、表示処理部358は、算出処理によって算出された車両の速度に関する情報を表示部34に表示し(ステップS108)、一連のステップを終了する。例えば、表示処理部358は、記憶部32に記憶された複数の画像情報を、時系列に従って記憶部32から抽出する。次に、表示処理部358は、抽出された画像情報の画像情報IDに関連付けられた平均速度の情報を、第1の速度推定テーブルT3及び第2の速度推定テーブルT4から抽出する。そして、表示処理部358は、抽出された画像情報及び平均速度の情報を、時系列に従って表示部34に表示する。
Then, the
なお、速度推定装置3は、算出された車両の速度を送信装置4に出力する外部出力部を備えてもよい。この場合、送信装置4は、速度推定装置3から出力された車両の速度を含む放送データを送信する。
The
(算出処理)
図11は、算出処理の動作フローの一例を示す図である。第1の領域情報及び第2の領域情報のそれぞれについて、算出処理が実行される。以下、第1の領域情報における算出処理を例にして説明する。
(Calculation processing)
FIG. 11 is a diagram showing an example of the operation flow of the calculation process. Calculation processing is executed for each of the first area information and the second area information. Hereinafter, the calculation process in the first area information will be described as an example.
まず、速度算出部357は、第1の速度推定テーブルT3に、組IDごとに、特定移動ベクトルが記憶されているか否かを判定する(ステップS201)。
First, the
速度算出部357は、特定移動ベクトルが記憶されていると判定した場合(ステップS201−Yes)、記憶されている特定移動ベクトルに基づく平均速度算出する(ステップS202)、一連の処理を終了する。例えば、速度算出部357は、記憶されている特定移動ベクトルごとに、特定移動ベクトルの長さ、画像情報の1ピクセル当たりの実際の距離、及び、第1の画像情報が撮影された時間と第2の画像情報が撮影された時間との差分時間に基づいて、速度を算出する。そして、速度推定装置は、算出された速度の平均値を算出し、算出された平均値を、記憶されている特定移動ベクトルの組IDに関連付けられた平均速度として第1の速度推定テーブルT3に記憶する。
When the
速度算出部357は、特定移動ベクトルが記憶されていないと判定した場合(ステップS201−No)、特定移動ベクトルが記憶されていないと判定された組を構成する画像情報と背景画像との差分情報を生成する(ステップS203)。すなわち、速度算出部357は、特定移動ベクトルが記憶されていないと判定された組を構成する第1の画像情報と背景画像との第1差分情報を生成し、特定移動ベクトルが記憶されていないと判定された組を構成する第2の画像情報と背景画像との第2差分情報生成する。
When the
次に、速度算出部357は、第1の領域情報内に車両が存在するか否かを判定する(ステップS204)。すなわち、速度算出部357は、第1差分情報及び第2差分情報が第1の領域情報に含まれ、且つ、第1差分情報及び第2差分情報が類似しているか否かを判定する。速度算出部357は、第1の領域情報に含まれる第1差分情報及び第2差分情報が類似していると判定した場合、第1の画像情報が撮像されてから第2の画像情報が撮影されるまでの期間において、第1の道路領域内の車両が動いていないと判定する。
Next, the
速度算出部357は、第1の領域情報内に車両が存在すると判定した場合(ステップS204−Yes)、車両が道路領域内で止まっていると推定し、特定移動ベクトルが記憶されていないと判定された組の組IDに関連付けて、平均速度「0(ゼロ)」を第1の速度推定テーブルT3に記憶し(ステップS205)、一連の処理を終了する。
When the
速度算出部357は、第1の領域情報内に車両が存在しないと判定した場合(ステップS204−No)、車両が道路用域内を1台も走行していないと推定し、特定移動ベクトルが記憶されていないと判定された組の組IDに関連付けて、平均速度として車両が存在しないことを示す情報を第1の速度推定テーブルT3に記憶し(ステップS206)、一連の処理を終了する。
When the
上述のとおり、画像送信システム1は、道路が含まれる画像情報に基づいて、当該道路の走行方向に移動する車両等の速度を推定することが可能となる。 As described above, the image transmission system 1 can estimate the speed of a vehicle or the like moving in the traveling direction of the road based on the image information including the road.
(変形例1)
なお、生成部352は、所定数の初期画像情報と、生成された背景画像情報とに基づいて、領域情報、並びに、進行方向及び角度を生成してもよい。例えば、まず、生成部352は、所定数の初期画像情報のそれぞれと背景画像情報との背景差分情報を生成する。次に、生成部352は、生成された複数の背景差分情報を合成して、合成背景画像を生成する。そして、生成部352は、生成された合成背景画像のうち、所定の領域面積を有する画像領域の外形の形成する多角形形状の2次元座標群を領域情報として生成し、道路領域テーブルT2に記憶する。このように、自動的に領域情報が生成されることにより、広域撮影装置2の撮影方向や画角等が変更された場合に、速度推定装置3のオペレータの操作負担を軽減させることが可能となる。なお、生成部352は、道路領域生成部の一例である。
(Modification example 1)
The
(変形例2)
また、ベクトル抽出部356は、進行方向及び角度を用いずに、各道路領域の領域情報だけを用いて特定移動ベクトルを抽出してもよい。これにより、特定移動ベクトルの抽出処理速度を向上させることが可能となる。
(Modification 2)
Further, the
(変形例3)
また、生成部352によって実行される背景画像情報の生成処理は、予め定められたタイミングにおいて実行されてもよい。例えば、広域撮影装置2が照度センサを設けている場合、照度センサによって計測された照度が所定の照度となったタイミングにおいて、背景画像情報の生成処理が実行されてもよい。また、広域撮影装置2の撮影方向が手動又は自動で変更可能である場合、広域撮影装置2の撮影方向が変更されたタイミングにおいて、背景画像情報の生成処理が実行されてもよい。このように、予め定められたタイミングにおいて背景画像情報の生成処理が実行されることによって、速度推定処理速度を向上させることが可能となる。
(Modification example 3)
Further, the background image information generation process executed by the
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。 It will be appreciated by those skilled in the art that various changes, substitutions and modifications can be made to this without departing from the spirit and scope of the invention.
1 画像送信システム
2 広域撮影装置
3 速度推定装置
31 通信部
32 記憶部
33 入力部
34 表示部
35 処理部
351 取得部
352 生成部
353 画像情報抽出部
354 特徴点抽出部
355 ベクトル算出部
356 ベクトル抽出部
357 速度算出部
358 表示処理部
4 送信装置
5 受信装置
6 アンテナ部
1
Claims (3)
前記第1及び第2の画像情報の撮像前に撮像された所定数の画像情報に基づいて、前記所定数の画像情報に含まれる移動物体画像を除いた背景画像を生成する背景画像生成部と、
前記所定数の画像情報のそれぞれと前記背景画像との差分情報に基づいて、前記第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を生成する道路領域生成部と、
前記第1の画像情報から複数の第1特徴点を抽出するとともに、前記第2の画像情報から複数の第2特徴点を抽出する特徴点抽出部と、
前記複数の第1特徴点のそれぞれを始点とし、前記複数の第1特徴点のそれぞれに対応した前記複数の第2特徴点を終点とする複数の移動ベクトルを算出するベクトル算出部と、
前記複数の移動ベクトルの内、始点又は終点が前記領域情報に含まれ且つ向きが前記角度範囲情報に含まれる特定移動ベクトルを抽出するベクトル抽出部と、
前記特定移動ベクトルが抽出された場合に、前記特定移動ベクトルに基づいて、前記道路領域を走行する車両の速度を算出し、前記特定移動ベクトルが抽出されない場合に、前記第1の画像情報及び前記第2の画像情報と前記背景画像との差分情報に基づいて、前記道路領域内に動いていない車両が存在するか否かを判定する速度算出部と、
算出された前記速度、又は前記判定の結果を出力する出力部と、
を備えることを特徴とする速度推定装置。 A storage unit for storing first image information and second image information captured at a predetermined time interval by the imaging unit,
A background image generation unit that generates a background image excluding moving object images included in the predetermined number of image information based on a predetermined number of image information captured before the first and second image information is captured. ,
A road that generates area information indicating the range of the road area included in the first and second image information and angle range information based on the difference information between each of the predetermined number of image information and the background image. Area generator and
A feature point extraction unit that extracts a plurality of first feature points from the first image information and extracts a plurality of second feature points from the second image information.
A vector calculation unit that calculates a plurality of movement vectors starting from each of the plurality of first feature points and ending at the plurality of second feature points corresponding to each of the plurality of first feature points.
A vector extraction unit that extracts a specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information among the plurality of movement vectors.
When the specific movement vector is extracted, the speed of the vehicle traveling in the road area is calculated based on the specific movement vector, and when the specific movement vector is not extracted, the first image information and the said A speed calculation unit that determines whether or not there is a vehicle that is not moving in the road area based on the difference information between the second image information and the background image.
An output unit that outputs the calculated speed or the result of the determination,
A speed estimation device comprising.
前記撮影部によって所定の時間間隔で撮像された第1の画像情報及び第2の画像情報を前記記憶部に記憶し、
前記第1及び第2の画像情報の撮像前に撮像された所定数の画像情報に基づいて、前記所定数の画像情報に含まれる移動物体画像を除いた背景画像を生成し、
前記所定数の画像情報のそれぞれと前記背景画像との差分情報に基づいて、前記第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を生成し、
前記第1の画像情報から複数の第1特徴点を抽出するとともに、前記第2の画像情報から複数の第2特徴点を抽出し、
前記複数の第1特徴点のそれぞれを始点とし、前記複数の第1特徴点のそれぞれに対応した前記複数の第2特徴点を終点とする複数の移動ベクトルを算出し、
前記複数の移動ベクトルの内、始点又は終点が前記領域情報に含まれ且つ向きが前記角度範囲情報に含まれる特定移動ベクトルを抽出し、
前記特定移動ベクトルが抽出された場合に、前記特定移動ベクトルに基づいて、前記道路領域を走行する車両の速度を算出し、前記特定移動ベクトルが抽出されない場合に、前記第1の画像情報及び前記第2の画像情報と前記背景画像との差分情報に基づいて、前記道路領域内に動いていない車両が存在するか否かを判定し、
算出された前記速度、又は前記判定の結果を出力する、
ことを含むことを特徴とする速度推定方法。 It is a speed estimation method by a computer that is connected to the photographing unit and has a storage unit.
Storing the first image information and second image information captured at a predetermined time interval by the imaging unit in the storage unit,
Based on a predetermined number of image information captured before the first and second image information is captured, a background image excluding the moving object image included in the predetermined number of image information is generated.
Based on the difference information between each of the predetermined number of image information and the background image, the area information indicating the range of the road area included in the first and second image information and the angle range information are generated.
A plurality of first feature points are extracted from the first image information, and a plurality of second feature points are extracted from the second image information.
A plurality of movement vectors having each of the plurality of first feature points as a start point and the plurality of second feature points corresponding to each of the plurality of first feature points as end points are calculated.
From the plurality of movement vectors, a specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information is extracted.
When the specific movement vector is extracted, the speed of the vehicle traveling in the road area is calculated based on the specific movement vector, and when the specific movement vector is not extracted, the first image information and the said Based on the difference information between the second image information and the background image, it is determined whether or not there is a vehicle that is not moving in the road area .
Output the calculated speed or the result of the determination.
A speed estimation method characterized by including the fact that.
前記撮影部によって所定の時間間隔で撮像された第1の画像情報及び第2の画像情報、前記第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を前記記憶部に記憶し、
前記第1及び第2の画像情報の撮像前に撮像された所定数の画像情報に基づいて、前記所定数の画像情報に含まれる移動物体画像を除いた背景画像を生成し、
前記所定数の画像情報のそれぞれと前記背景画像との差分情報に基づいて、前記第1及び第2の画像情報に含まれる道路領域の範囲を示す領域情報、及び、角度範囲情報を生成し、
前記第1の画像情報から複数の第1特徴点を抽出するとともに、前記第2の画像情報から複数の第2特徴点を抽出し、
前記複数の第1特徴点のそれぞれを始点とし、前記複数の第1特徴点のそれぞれに対応した前記複数の第2特徴点を終点とする複数の移動ベクトルを算出し、
前記複数の移動ベクトルの内、始点又は終点が前記領域情報に含まれ且つ向きが前記角度範囲情報に含まれる特定移動ベクトルを抽出し、
前記特定移動ベクトルが抽出された場合に、前記特定移動ベクトルに基づいて、前記道路領域を走行する車両の速度を算出し、前記特定移動ベクトルが抽出されない場合に、前記第1の画像情報及び前記第2の画像情報と前記背景画像との差分情報に基づいて、前記道路領域内に動いていない車両が存在するか否かを判定し、
算出された前記速度、又は前記判定の結果を出力する
ことを実行させるための速度推定プログラム。 To a computer that is connected to the photographing unit and has a storage unit
The first image information and the second image information captured by the photographing unit at predetermined time intervals, the area information indicating the range of the road area included in the first and second image information, and the angle range information. Is stored in the storage unit,
Based on a predetermined number of image information captured before the first and second image information is captured, a background image excluding the moving object image included in the predetermined number of image information is generated.
Based on the difference information between each of the predetermined number of image information and the background image, the area information indicating the range of the road area included in the first and second image information and the angle range information are generated.
A plurality of first feature points are extracted from the first image information, and a plurality of second feature points are extracted from the second image information.
A plurality of movement vectors having each of the plurality of first feature points as a start point and the plurality of second feature points corresponding to each of the plurality of first feature points as end points are calculated.
From the plurality of movement vectors, a specific movement vector whose start point or end point is included in the area information and whose direction is included in the angle range information is extracted.
When the specific movement vector is extracted, the speed of the vehicle traveling in the road area is calculated based on the specific movement vector, and when the specific movement vector is not extracted, the first image information and the said Based on the difference information between the second image information and the background image, it is determined whether or not there is a vehicle that is not moving in the road area .
A speed estimation program for executing the output of the calculated speed or the result of the determination.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234563A JP6847420B2 (en) | 2017-12-06 | 2017-12-06 | Velocity estimator, velocity estimation method, and velocity estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234563A JP6847420B2 (en) | 2017-12-06 | 2017-12-06 | Velocity estimator, velocity estimation method, and velocity estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019101934A JP2019101934A (en) | 2019-06-24 |
JP6847420B2 true JP6847420B2 (en) | 2021-03-24 |
Family
ID=66977057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017234563A Active JP6847420B2 (en) | 2017-12-06 | 2017-12-06 | Velocity estimator, velocity estimation method, and velocity estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6847420B2 (en) |
-
2017
- 2017-12-06 JP JP2017234563A patent/JP6847420B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019101934A (en) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830894B (en) | Remote guidance method, device, terminal and storage medium based on augmented reality | |
CN112567201B (en) | Distance measuring method and device | |
CN108932051B (en) | Augmented reality image processing method, apparatus and storage medium | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
CN104978390B (en) | Context aware target detection using travel path metadata | |
CN110111388B (en) | Three-dimensional object pose parameter estimation method and visual equipment | |
GB2593335A (en) | Method and apparatus for 3-D auto tagging | |
CN110706258B (en) | Object tracking method and device | |
CN110361005B (en) | Positioning method, positioning device, readable storage medium and electronic equipment | |
JP2012185540A (en) | Image processing device, image processing method, and image processing program | |
CN111767853A (en) | Lane line detection method and device | |
JP7164589B2 (en) | Indoor positioning method, device, equipment and storage medium | |
CN112556685A (en) | Navigation route display method and device, storage medium and electronic equipment | |
CN112815923A (en) | Visual positioning method and device | |
JP5183152B2 (en) | Image processing device | |
JP7107596B2 (en) | Station monitoring system and station monitoring method | |
CN109981989B (en) | Method and device for rendering image, electronic equipment and computer readable storage medium | |
US9875549B2 (en) | Change detection in video data | |
JP6847420B2 (en) | Velocity estimator, velocity estimation method, and velocity estimation program | |
KR20180133052A (en) | Method for authoring augmented reality contents based on 360 degree image and video | |
CN111581322B (en) | Method, device and equipment for displaying region of interest in video in map window | |
JP2016218626A (en) | Image management apparatus, image management method, and program | |
JP7107597B2 (en) | STATION MONITORING DEVICE, STATION MONITORING METHOD AND PROGRAM | |
JP2021103410A (en) | Mobile body and imaging system | |
JP6242009B2 (en) | Video transfer system, terminal, program, and method for displaying a shooting area frame superimposed on a wide area image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6847420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |