JP7393270B2 - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP7393270B2 JP7393270B2 JP2020054674A JP2020054674A JP7393270B2 JP 7393270 B2 JP7393270 B2 JP 7393270B2 JP 2020054674 A JP2020054674 A JP 2020054674A JP 2020054674 A JP2020054674 A JP 2020054674A JP 7393270 B2 JP7393270 B2 JP 7393270B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- recognition
- frame
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 89
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000003384 imaging method Methods 0.000 claims description 166
- 230000005484 gravity Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000010248 power generation Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来から、カメラで撮像した画像に記録される被写体を追跡する技術が存在する。特許文献1に記載された技術は、複数のカメラそれぞれで同一時刻に撮像されたフレームから被写体を検出し、フレーム内の物体の位置に基づいて実空間における物体の位置を算出する。特許文献1に記載された技術は、算出された被写体の位置に基づいて、次のフレームでの被写体の位置を予測する。
2. Description of the Related Art Conventionally, there has been a technique for tracking a subject recorded in an image captured by a camera. The technology described in
特許文献1に記載された技術は、フレームに記録される被写体を追跡するものであり、被写体の追跡を以外のその他の情報を取得できてはない。また、特許文献1に記載された技術は、複数のカメラが必要になるため、複数のカメラを設置するコスト及び手間が必要になる。さらに、設置場所の状況によっては、複数のカメラを設置できない場合もある。
The technique described in
本発明は、画像に記録される被写体に関する情報を取得することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。 An object of the present invention is to provide an information processing device, an information processing method, and an information processing program that can acquire information regarding a subject recorded in an image.
一態様の情報処理装置は、時間的に連続して被写体を撮像して画像データを生成する定点撮像部と、定点撮像部によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識部と、複数の第1認識枠と、当該複数の第1認識枠の中心位置と、定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測部と、予測部によって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成部と、定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、を備える。 An information processing device according to one embodiment includes a fixed-point imaging unit that temporally continuously images a subject to generate image data, and at least two temporally different images recorded in the image data captured by the fixed-point imaging unit. a recognition unit that recognizes each subject based on the subject and generates a first recognition frame surrounding the subject at each time, a plurality of first recognition frames, a center position of the plurality of first recognition frames, and a fixed-point imaging unit. and a reference line of the image based on the image data captured by the recognition unit, the second recognition encloses the subject at a predetermined time that is temporally earlier than the recording time of the image when the first recognition frame is generated by the recognition unit. a prediction unit that predicts the frame and the center position of the second recognition frame; a front frame that corresponds to the outer shape of the front of the subject, and a front frame that partially touches the second recognition frame generated by the prediction unit; A generation unit that generates a back frame according to the outer shape of the back surface, a distance from a fixed-point imaging unit to a subject, an image size based on image data, and at least one of the front frame and the back frame generated by the generation unit. and a size acquisition unit that acquires the size of the subject based on the size.
一態様の情報処理装置は、生成部によって生成された正面枠及び背面枠に基づいて、被写体の重心位置を取得する重心取得部と、重心取得部によって取得された重心位置を所定の座標系に変換することにより、被写体の位置を取得する位置取得部と、を備えることとしてもよい。 An information processing device according to one aspect includes a center of gravity acquisition unit that acquires a center of gravity position of a subject based on a front frame and a back frame generated by a generation unit, and a center of gravity position acquired by the center of gravity acquisition unit in a predetermined coordinate system. The camera may also include a position acquisition unit that acquires the position of the subject by converting the image.
一態様の情報処理装置は、重心取得部によって取得された時間毎の被写体の複数の重心位置の変化に基づいて被写体の速度を取得する速度取得部を備えることとしてもよい。 The information processing device in one embodiment may include a speed acquisition unit that acquires the speed of the subject based on changes in a plurality of positions of the center of gravity of the subject over time acquired by the center of gravity acquisition unit.
一態様の情報処理装置は、サイズ取得部によって取得された被写体のサイズ、位置取得部によって取得された被写体の位置、及び、速度取得部によって取得された被写体の速度のうち、少なくとも1つを出力する出力部を備えることとしてもよい。 In one embodiment, the information processing device outputs at least one of the size of the subject acquired by the size acquisition unit, the position of the subject acquired by the position acquisition unit, and the speed of the subject acquired by the speed acquisition unit. It is also possible to include an output section that does this.
一態様の情報処理装置では、認識部は、画像上において被写体を囲う矩形の枠を第1認識枠として生成することとしてもよい。 In one embodiment of the information processing device, the recognition unit may generate a rectangular frame surrounding the subject on the image as the first recognition frame.
一態様の情報処理装置では、予測部は、画像上において被写体を囲う矩形の枠を第2認識枠として生成することとしてもよい。 In one embodiment of the information processing device, the prediction unit may generate a rectangular frame surrounding the subject on the image as the second recognition frame.
一態様の情報処理装置では、予測部は、基準線として、画像データに基づく画像の水平方向に延びる線を設定し、基準線の所定位置を端点として設定し、当該端点から複数の第1認識枠の各中心位置を通る中心線上を中心位置として第2認識枠を生成することとしてもよい。 In one aspect of the information processing device, the prediction unit sets a line extending in the horizontal direction of an image based on image data as a reference line, sets a predetermined position of the reference line as an end point, and performs a plurality of first recognition processes from the end point. The second recognition frame may be generated with the center position being on the center line passing through each center position of the frame.
一態様の情報処理装置では、生成部は、所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体が位置する場合、画像に対して第2認識枠の左下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第2認識枠の右上にある頂点に接するように矩形の背面枠を生成することとしてもよい。 In one embodiment of the information processing device, when the subject is located on the left side in the vertical direction of the image based on the image data with respect to the predetermined position as a reference, the generation unit generates a vertex at the lower left of the second recognition frame with respect to the image. A rectangular front frame may be generated so as to be in contact with the second recognition frame, and a rectangular back frame may be generated so as to be in contact with the top right vertex of the second recognition frame with respect to the image.
一態様の情報処理装置では、生成部は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体が位置する場合、画像に対して第2認識枠の右下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第2認識枠の左上にある頂点に接するように矩形の背面枠を生成することとしてもよい。 In one embodiment of the information processing device, when the subject is located on the right side in the vertical direction of the image based on the image data with respect to the predetermined position as a reference, the generation unit may be configured to A rectangular front frame may be generated so as to be in contact with the vertex, and a rectangular back frame may be generated so as to be in contact with the apex at the upper left of the second recognition frame with respect to the image.
一態様の情報処理装置では、サイズ取得部は、定点撮像部において生成される画像データに基づく画像内の位置と、当該位置における定点撮像部からの距離とを予め対応付けた結果に基づいて、定点撮像部から被写体までの距離を取得することとしてもよい。 In one embodiment of the information processing device, the size acquisition unit may perform the following steps based on a result of associating in advance a position in the image based on image data generated by the fixed-point imaging unit and a distance from the fixed-point imaging unit at the position. The distance from the fixed-point imaging unit to the subject may also be acquired.
一態様の情報処理方法では、コンピュータが、時間的に連続して被写体を撮像して画像データを生成する定点撮像ステップと、定点撮像ステップによって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識ステップと、複数の第1認識枠と、当該複数の第1認識枠の中心位置と、定点撮像ステップによって撮像される画像データに基づく画像の基準線とに基づいて、認識ステップによって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測ステップと、予測ステップによって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成ステップと、定点撮像ステップから被写体までの距離と、画像データに基づく画像のサイズと、生成ステップによって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得ステップと、を実行する。 In one aspect of the information processing method, a computer sequentially images a subject to generate image data; and at least two temporal a recognition step of recognizing each subject based on different images and generating a first recognition frame surrounding the subject at each time; a plurality of first recognition frames; and a center position of the plurality of first recognition frames; enclosing the subject at a predetermined time that is temporally earlier than the recording time of the image when generating the first recognition frame in the recognition step, based on the reference line of the image based on the image data taken in the fixed-point imaging step; a prediction step of predicting a second recognition frame and a center position of the second recognition frame; and a prediction step of predicting a second recognition frame and a center position of the second recognition frame; , a generation step that generates a back frame according to the outer shape of the back of the subject, a distance from the fixed point imaging step to the subject, an image size based on image data, and a front frame and a back frame generated in the generation step. and a size obtaining step of obtaining the size of the subject based on at least one of the sizes.
一態様の情報処理プログラムは、コンピュータに、時間的に連続して被写体を撮像して画像データを生成する定点撮像機能と、定点撮像機能によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識機能と、複数の第1認識枠と、当該複数の第1認識枠の中心位置と、定点撮像機能によって撮像される画像データに基づく画像の基準線とに基づいて、認識機能によって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測機能と、予測機能によって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成機能と、定点撮像機能から被写体までの距離と、画像データに基づく画像のサイズと、生成機能によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得機能と、を実現させる。 An information processing program in one embodiment provides a computer with a fixed point imaging function that temporally continuously images a subject to generate image data, and at least two temporal a recognition function that recognizes each subject based on different images and generates a first recognition frame surrounding the subject at each time; a plurality of first recognition frames; and a center position of the plurality of first recognition frames; enclosing the subject at a predetermined time that is temporally earlier than the recording time of the image when the first recognition frame is generated by the recognition function, based on the reference line of the image based on the image data captured by the fixed-point imaging function; A prediction function that predicts a second recognition frame and the center position of the second recognition frame, and a front frame that corresponds to the front outline of the subject so that a part of the frame is in contact with the second recognition frame generated by the prediction function. , a generation function that generates a back frame according to the external shape of the back of the subject, the distance from the fixed point imaging function to the subject, the size of the image based on image data, and the front frame and back frame generated by the generation function. and a size acquisition function for acquiring the size of a subject based on at least one of the sizes.
一態様の情報処理装置は、少なくとも2つの時間的に異なるそれぞれの画像に基づいて被写体を囲う第1認識枠を生成する認識部と、複数の第1認識枠と、その複数の第1認識枠の中心位置と、定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測部と、第2認識枠に応じて被写体の正面の外形に応じた正面枠と背面枠とを生成する生成部と、定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、を備えるので、画像に記録される被写体に関する情報を取得することができる。
また、一態様の情報処理方法及び情報処理プログラムは、一態様の情報処理装置と同様の効果を奏することができる。
An information processing device according to one aspect includes a recognition unit that generates a first recognition frame surrounding a subject based on at least two temporally different images, a plurality of first recognition frames, and a plurality of first recognition frames. , and the reference line of the image based on the image data captured by the fixed-point imaging unit, at a predetermined time that is temporally earlier than the recording time of the image when the recognition unit generates the first recognition frame. a prediction unit that predicts a second recognition frame surrounding the subject at a time and a center position of the second recognition frame, and generates a front frame and a back frame according to the front outline of the subject according to the second recognition frame. Obtaining the size of the subject based on the generation unit, the distance from the fixed-point imaging unit to the subject, the size of the image based on the image data, and the size of at least one of the front frame and the back frame generated by the generation unit. Since the size acquisition unit is provided, information regarding the subject recorded in the image can be acquired.
Further, the information processing method and the information processing program of one embodiment can achieve the same effects as the information processing apparatus of one embodiment.
以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
An embodiment of the present invention will be described below.
Although the wording "information" is used in this specification, the wording "information" can be rephrased as "data" and the wording "data" can be rephrased as "information."
図1は、一実施形態に係る情報処理装置1について説明するためのブロック図である。
情報処理装置1は、定点撮像部21によって動画又は時間的に連続した静止画を撮像することにより生成された画像データに基づいて被写体201(図8,10参照)を撮像する。被写体201は、例えば、一定の動きをする物体である。一定の動きをする物体には、略一定の動きをする物体も含まれ、例えば、直線的(略直線的)に移動する車両、人物及び動物等である。具体的な一例として、被写体201は、直線道路等を移動する物体であってよい。なお、被写体201は、移動する物体に限られず、静止する物体(例えば、車両、人物及び動物等)であってもよい。
FIG. 1 is a block diagram for explaining an
The
情報処理装置1は、例えば、定点撮像部21によって撮像された時間的に異なる同一の被写体201について物体認識を行い、その被写体201を囲う認識枠(第1認識枠210(図8参照))(ROI:Reagion of Interest)を時間毎に複数生成する。情報処理装置1は、複数の第1認識枠210を利用して、それらの第1認識枠210を生成する際の基となる画像(フレーム又は静止画)を撮像した時間(例えば、過去の時間)よりも先となる時間(例えば、現在時間又は将来の時間)における被写体201の位置を予測して、その予測の位置に認識枠(第2認識枠220(図8参照))を生成する。情報処理装置1は、第1認識枠210及び第2認識枠220を利用して、被写体201のサイズ(例えば、垂直方向、横方向及び奥行方向の長さ)、被写体201の位置(例えば、現在の位置及び過去の位置等)、定点撮像部21から被写体201までの距離及び被写体201の速度を取得する。
For example, the
以下、情報処理装置1について詳細に説明する。
情報処理装置1は、定点撮像部21、記憶部22、設定部12、認識部13、予測部14、生成部15、サイズ取得部16、重心取得部17、位置取得部18、速度取得部19及び出力制御部20を備える。設定部12、認識部13、予測部14、生成部15、サイズ取得部16、重心取得部17、位置取得部18、速度取得部19及び出力制御部20は、情報処理装置1の制御部11(一例として、演算処理装置)の一機能として実現されてもよい。上述した記憶部22の他に、後述する通信部23及び表示部24は、本発明の「出力部」の一実施形態を構成してもよい。
The
The
定点撮像部21は、時間的に連続して被写体を撮像して画像データを生成する。定点撮像部21は、動画、又は、所定時間ごとに連続して静止画を撮像して動画データを生成する。定点撮像部21は、所定の場所に配置されて、所定の方向を撮像する。
定点撮像部21は、地面に固定されたポール等に設置され、又は、移動可能な三脚等に設置される。定点撮像部21は、移動可能な三脚等に設置された場合、その三脚と共に移動させることが可能である。これにより、定点撮像部21は、ユーザの所望の場所に容易に配置され、またユーザが必要とする期間のみ所望の場所に配置されることができる。
The fixed-
The fixed-
定点撮像部21は、例えば、発電パネル(図示せず)又は電源(図示せず)の少なくとも一方から給電される。
発電パネルは、光を受けて発電を行う。発電パネルは、エネルギハーベスティング技術を利用したデバイス、すなわち、周囲の環境のエネルギを収穫して電力に変換するデバイスであってもよい。具体的な一例として、発電パネルは、太陽電池パネルであってよい。発電パネルで発電された電力は、例えば、バッテリなどに蓄電して、そのバッテリから定点撮像部21に給電してもよい。
電源は、例えば、一次電池、二次電池又は商用電源等である。電源として一次電池又は二次電池が用いられる場合、その一次電池又は二次電池が交換可能なように定点撮像部21に配される。また、電源として二次電池が用いられる場合、その二次電池が充電可能なように定点撮像部21に配されてもよい。
なお、発電パネル又は電源は、定点撮像部21の他に、制御部等に給電してもよい。
The fixed-
Power generation panels generate electricity by receiving light. The power generation panel may be a device that utilizes energy harvesting technology, ie, a device that harvests energy from the surrounding environment and converts it into electricity. As a specific example, the power generation panel may be a solar panel. The power generated by the power generation panel may be stored in, for example, a battery, and the power may be supplied to the fixed-
The power source is, for example, a primary battery, a secondary battery, a commercial power source, or the like. When a primary battery or a secondary battery is used as a power source, the primary battery or secondary battery is arranged in the fixed-
Note that the power generation panel or the power source may supply power to the control unit and the like in addition to the fixed-
記憶部22は、種々の情報及びプログラム等を記憶する装置である。記憶部22は、被写体と、その被写体の特徴とを対応付けた対応関係(学習モデル)を記憶する。対応関係は、認識部13において被写体を認識するときに用いられる。対応関係は、一例として、深層学習等が行われることにより生成される。すなわち、対応関係は、深層学習等が行われることに基づいて被写体の特徴が学習され、被写体と、被写体の特徴との関係を対応付けることにより生成される。学習モデルは、定点撮像部21によって生成された画像データに基づいて制御部11が生成してもよく、後述する通信部23を介して外部装置(例えば、サーバ等)(図示せず)から取得してもよい。
また、記憶部22は、定点撮像部21において生成される画像データに基づく画像(フレーム又は静止画)内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた関係(画像位置情報)を記憶する。画像位置情報の生成方法については、後述する。
The
The
通信部23は、外部装置(例えば、サーバ等)(図示せず)との間で情報の送受信が可能な装置である。 The communication unit 23 is a device capable of transmitting and receiving information to and from an external device (for example, a server, etc.) (not shown).
設定部12は、後述する各部(機能)において、被写体201のサイズ、被写体201の位置、定点撮像部21から被写体201までの距離及び被写体201の速度を取得するために、前段階となる設定を行う。すなわち、定点撮像部21において生成される画像データに基づく画像(フレーム又は静止画)内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた関係を設定する。
The setting
まず、画像位置情報を取得する構成について説明する。情報処理装置1は、画像位置情報を予め取得しておくことにより、後述するように被写体201に関する被写体情報、すなわち、被写体201のサイズ、被写体201の位置、定点撮像部21から被写体201までの距離及び被写体201の速度を取得することが可能になる。
First, a configuration for acquiring image position information will be described. By acquiring image position information in advance, the
まず、定点撮像部21の撮像範囲内において物体(一例として、人物等)を移動させる。以下では、設定部12によって設定が行われる際の物体の一例として「人物」を例示して説明する。この際、設定部12は、定点撮像部21によって生成された画像データに記録される人物の高さと、定点撮像部21の画角とに基づいて、画像データ内の画像位置情報を設定する。すなわち、設定部12は、定点撮像部21によって撮像される画像に基づいて、画像内の位置に関する情報(画像位置情報)を取得する。詳しくは、設定部12は、定点撮像部21によって撮像された画像データに基づいて、後述する認識部13が人物を認識した場合、人物の高さと、定点撮像部21の画角とに基づいて、定点撮像部21で撮像される画像内の位置情報(画像位置情報(定点撮像部21から人物までの距離に関る情報))を取得する。
First, an object (for example, a person, etc.) is moved within the imaging range of the fixed-
図2は、画像位置情報を取得する場合の説明に用いるための図である。
図3は、定点撮像部21で撮像される画像の一例について説明するための図である。
図4は、Y座標とピクセル数との関係を示すグラフである。図4の横軸はY座標を示し、縦軸は1m当たりのピクセル数を示す。ここで、定点撮像部21で撮像される画像内における奥行方向がY座標であり、その画像の幅方向がX座標である。
図5は、画像位置情報の一例について説明するためのグラフである。図5の横軸はY座標を示し、縦軸は、定点撮像部21が配される地面の位置から任意のY座標の位置までの距離を示す。
図6は、Y座標と画像の幅の比率との関係を示すグラフである。図6の横軸はY座標を示し、縦軸は画像の幅の比率を示す。
図7は、第1~9設定部121~129について説明するためのブロック図である。
FIG. 2 is a diagram for use in explaining the case of acquiring image position information.
FIG. 3 is a diagram for explaining an example of an image captured by the fixed-
FIG. 4 is a graph showing the relationship between the Y coordinate and the number of pixels. The horizontal axis in FIG. 4 indicates the Y coordinate, and the vertical axis indicates the number of pixels per 1 m. Here, the depth direction in the image captured by the fixed-
FIG. 5 is a graph for explaining an example of image position information. The horizontal axis in FIG. 5 indicates the Y coordinate, and the vertical axis indicates the distance from the ground position where the fixed-
FIG. 6 is a graph showing the relationship between the Y coordinate and the width ratio of the image. The horizontal axis in FIG. 6 shows the Y coordinate, and the vertical axis shows the ratio of the width of the image.
FIG. 7 is a block diagram for explaining the first to
ここで、図2では、Y軸方向(Y座標方向)が奥行方向になる。また、図2において、Y軸方向(Y座標方向)の所定位置にいる人物110を定点撮像部21で撮像した場合、その所定位置における画像を符号100aで示す。画像100aの幅(X軸方向のサイズ)を符号wで示す。その画像100aの中心位置を符号Pcとすると、定点撮像部21から中心位置Pcまでの距離を第1距離L1とし、中心位置Pcから地面までの距離を第2距離L2とする。また、Y軸方向に沿った、定点撮像部21から画像100aの地面に対応する位置までの直線と、地面とのなす角を符号θとする。さらに、地面からの定点撮像部21の高さをHとし、定点撮像部21が配される位置の地面位置をP0とし、Y軸方向に沿った地面位置P0から画像100aまでの距離を第3距離L3とする。
設定部12は、第3距離L3を取得して、定点撮像部21で撮像される画像内の位置と第3距離L3とを対応付けることにより、画像位置情報を取得する。
Here, in FIG. 2, the Y-axis direction (Y-coordinate direction) is the depth direction. Further, in FIG. 2, when a
The
具体的には、図7に示すように、設定部12は、第1設定部121、第2設定部122、第3設定部123、第4設定部124、第5設定部125、第6設定部126、第7設定部127、第8設定部128及び第9設定部129を備える。
Specifically, as shown in FIG. 7, the
第1設定部121は、被写体の高さ、定点撮像部21の画角及び定点撮像部21で撮像される画像幅を予め取得する。
画像位置情報を取得するために、まず、定点撮像部21の撮像範囲内で人物110を移動させる。この場合、例えば、不図示の入力装置を用いて、人物の身長(高さ)が入力される。第1設定部121は、入力された人物の身長を取得する。
また、第1設定部121は、定点撮像部21が撮影する画角θ2を取得する。画角θ2は、例えば、不図示の入力装置を用いて入力される。第1設定部121は、入力された画角θ2を取得する。画角θ2は、定点撮像部21の撮像素子(図示せず)の平面サイズ、及び、定点撮像部21の撮像レンズ(図示せず)の焦点距離等によって定まる。
また、第1設定部121は、定点撮像部21で得られる画像の幅(一例として、ピクセル数)を取得する。画像の幅(画像幅)は、例えば、不図示の入力装置を用いて入力される。
The
In order to obtain image position information, first, the
The
The
第2設定部122は、第1設定部121で取得された人物110の高さに基づいて、1m当たりの、画像データを構成するピクセル数を取得する。
第2設定部122は、撮像範囲内で人物110を歩かせることにより、画像内の任意に位置において、定点撮像部21で撮像される画像内での1m当たりのピクセル数を取得する。すなわち、第2設定部122は、第1設定部121で取得された人の身長に基づいて画像100a内における1mの大きさ(長さ)を取得し、さらに取得した1mの大きさ当たりの画像のピクセル数を取得する。
図3に例示する場合、定点撮像部21に用いられる撮像素子(定点撮像部21で得られる画像)のサイズは、1280ピクセル×960ピクセルである。第2設定部122は、図3に例示する画像に人物110(図3には図示せず)が記録される場合、人物110の高さと、撮像素子(画像)のピクセル数とに基づいて、1mの大きさ当たりのピクセル数を取得する。
なお、人物110が定点撮像部21から遠ざかる方向に移動する場合、画像内の所定の位置において人物がその位置よりも遠ざからない無限点P1(図3参照)が存在する。画像内における無限点P1を含む水平線が基準線LSとなる。
The
The
In the case illustrated in FIG. 3, the size of the image sensor used in the fixed-point imaging section 21 (the image obtained by the fixed-point imaging section 21) is 1280 pixels x 960 pixels. When the person 110 (not shown in FIG. 3) is recorded in the image illustrated in FIG. 3, the
Note that when the
第3設定部123は、画像データに基づく画像の奥行方向の座標となるY座標と、第2設定部122で取得される被写体の1m当たりのピクセル数との関係を取得する。
図3に例示する場合、画像の縦方向が実空間の奥行方向に対応し、その画像の縦方向の座標がY座標になる。また、図3に例示する場合、画像の横方向が実空間の幅方向に対応し、その画像の横方向の座標がX座標になる。そして、図3の左上のピクセルを原点の座標(0,0)とすると、右上のピクセルの座標が(1280,0)になる。図3の中心位置のピクセルの座標が(640,480)になる。図3の左下のピクセルの座標が(0,960)になり、右下のピクセルの座標が(1280,960)になる。
The
In the example shown in FIG. 3, the vertical direction of the image corresponds to the depth direction of the real space, and the vertical coordinate of the image is the Y coordinate. Further, in the example shown in FIG. 3, the horizontal direction of the image corresponds to the width direction of the real space, and the horizontal coordinate of the image is the X coordinate. If the upper left pixel in FIG. 3 is the coordinate (0,0) of the origin, then the coordinates of the upper right pixel are (1280,0). The coordinates of the pixel at the center position in FIG. 3 are (640, 480). The coordinates of the lower left pixel in FIG. 3 are (0,960), and the coordinates of the lower right pixel are (1280,960).
定点撮像部21の撮像範囲内(座標(0,0)、座標(1280,0)、座標(1280,960)及び座標(0,960)で囲まれる範囲内)を、例えば、被写体(人物110)を縦横に歩かせることにより、第3設定部123は、複数のY座標の位置において1m当たりのピクセル数を取得する。
Within the imaging range of the fixed-point imaging unit 21 (within the range surrounded by coordinates (0,0), coordinates (1280,0), coordinates (1280,960), and coordinates (0,960)), for example, a subject (person 110) ), the
図4に一例を示すように、第3設定部123によって取得されるY座標と1m当たりのピクセル数との関係は線形になる。ここで、図2に示すように、Y座標の数値は、定点撮像部21に近づくに従って大きくなる。すなわち、Y座標が大きくなるに従って(被写体が定点撮像部21に近づくに従って)、1m当たりのピクセル数は多くなる。換言すると、Y座標が小さくなるに従って(被写体が定点撮像部21から遠ざかるに従って)、1m当たりのピクセル数は少なくなる。
As an example is shown in FIG. 4, the relationship between the Y coordinate acquired by the
第4設定部124は、第1設定部121によって取得された画像の幅と、第2設定部122で取得された1m当たりのピクセル数とに基づいて所定位置における人物110を検出した画像100aの実際の幅wを取得する。
図2に例示するように、人物110がいるY座標の位置(Y座標の方向の所定位置)における画像100aを考える。第4設定部124は、定点撮像部21で撮像される画像の幅方向のピクセル数(図3に例示する場合では1280ピクセル)は第1設定部121によって取得されるため、1m当たりのピクセル数に基づいて、そのY座標の所定位置における画像100aの幅wの実際の長さを取得する。
The
As illustrated in FIG. 2, consider an
第5設定部125は、第4設定部124で取得された実際の画像の幅wと、第1設定部121で取得された画角θ2とに基づいて、定点撮像部21から画像100a内の中心位置Pcまでの距離である第1距離を取得すると共に、地面から中心位置Pcまでの距離である第2距離L2を取得する。
第5設定部125は、上述したY座標の所定位置における画像100aの幅wの実際の長さ、及び、定点撮像部21の画角θ2に基づいて、定点撮像部21から画像100aの中心位置Pcまでの実際の距離(第1距離L1)を取得する。また、第5設定部125は、画像のピクセル数、1m当たりのピクセル数、Y座標の所定位置における画像100aの幅wの実際の長さ、及び、定点撮像部21の画角に基づいて、画像100aの中心位置Pcから地面までの実際の距離(第2距離L2)を取得する。
The
The
第6設定部126は、第5設定部125で取得された第1距離L1及び第2距離L2に基づいて、定点撮像部21の撮像方向における中心線と地面とのなす角θを求める。すなわち、第6設定部126は、三角関数を利用することにより、第5設定部125で取得された第1距離L1及び第2距離L2に基づいて、地面と定点撮像部21とのなす角θを求める。
The
第7設定部127は、第5設定部125で取得された第1距離L1及び第2距離L2と、第6設定部126で取得されたなす角θとに基づいて、地面から定点撮像部21までの高さHを取得する。すなわち、第7設定部127は、三角関数を利用することにより、第1距離L1、第2距離L2及びなす角θに基づいて、地面から定点撮像部21までの高さHを取得する。
The
第8設定部128は、第7設定部127で取得された地面から定点撮像部21までの高さHと、第6設定部126で取得されたなす角θとに基づいて、定点撮像部21が配される撮像位置から被写体までの位置を取得し、さらに被写体のその位置を複数取得することに基づいて画像位置情報を取得する。
すなわち、第8設定部128は、地面から定点撮像部21までの高さHと、定点撮像部21と地面とのなす角θとに基づいて、定点撮像部21が配される地面位置P0からY座標の所定位置(画像100a)までの距離L3を取得する。第8設定部128は、その距離L3と、画像内の所定位置におけるY座標とを対応付けることにより、画像内の位置に関する情報(画像位置情報)を取得する。また、第8設定部128は、人物110を定点撮像部21の撮像範囲内を移動させて、撮像範囲内の任意の位置における定点撮像部21が配される地面位置P0から被写体(人)110までの距離を取得することに基づいて、画像位置情報を取得する。第8設定部128は、画像位置情報を記憶部22に記憶する。
The
That is, the
画像位置情報は、定点撮像部21で撮像される画像内の任意のピクセルの位置(座標)が、定点撮像部21から何mの距離であるかを示す情報である。画像位置情報は、具体的な一例として、図3に示すピクセルの座標(640,480)は定点撮像部21から10mの距離がある、ピクセルの座標(640,720)は定点撮像部21から15mの距離がある、ピクセルの座標(640,840)は定点撮像部21から20mの距離があるという情報である。
The image position information is information indicating how many meters away from the fixed-
図5に示すように、画像位置情報は、Y座標が大きくなるに従って、定点撮像部21が配される地面位置P0からの距離が近くなることを示す情報である。換言すると、画像位置情報は、Y座標が小さくなるに従って、定点撮像部21が配される地面位置P0からの距離が遠くなることを示す情報である。
As shown in FIG. 5, the image position information is information indicating that as the Y coordinate increases, the distance from the ground position P0 where the fixed-
ここで、第9設定部129は、第4設定部124で取得された複数の画像それぞれの実際の幅wのうち、Y座標の方向における基準位置の幅と、Y座標の方向の所定位置における幅とに基づいて、Y座標に対する幅比率を取得する。
すなわち、第4設定部124では、実際の画像の幅wを取得する。人物110がいない位置(人が歩いていない位置に対応するY座標)においては、第4設定部124は、実際の画像の幅wを取得することができない。このため、第9設定部129は、第4設定部124でY座標の複数の位置で画像の幅wを取得した場合、その複数の位置での画像の幅wに基づいて、Y座標の任意の位置における画像の幅を算出する。例えば、第9設定部129は、第4設定部124で取得された複数の画像の幅のうち1つをY座標の基準位置の画像の幅(基準幅)と設定し、複数の画像の幅のうち基準幅を除く他の画像の幅と、基準幅との比率(幅比率)を求める。第9設定部129は、第4設定部124で取得された複数の画像それぞれに基づいて、基準幅との比率(幅比率)を求める。この幅比率をグラフに示すと、図6のようになる。
Here, the
That is, the
図6に例示すように、Y座標が大きくなるに従って(定点撮像部21からの距離が近くなるに従って)、画像の幅比率は小さくなる。換言すると、Y座標が小さくなるに従って(定点撮像部21からの距離が遠くなるに従って)画像の幅比率は大きくなる。
As illustrated in FIG. 6, as the Y coordinate increases (as the distance from the fixed-
上述した第5設定部125は、第4設定部124で画像の幅wが取得されていない位置でも、第9設定部129で取得される画像の幅比率を利用して、任意のY座標における画像の幅を取得できるので、第1距離L1及び第2距離L2を取得することができる。
これにより、画像位置情報の取得を終了する。
The
This completes the acquisition of image position information.
次に、上述した画像位置情報を利用して、被写体201に関する被写体情報を取得する構成について説明する。
図8は、第1認識枠210及び第2認識枠220の一例について説明するための図である。
図9は、第1認識枠210及び第2認識枠220それぞれの中心位置210a,220aについて説明するための図である。
図10は、正面枠220b及び背面枠220cの一例について説明するための図である。
図11は、重心位置PGについて説明するための図である。
図12は、被写体201の速度を取得する際の重心位置PGの変化について説明するための図である。
Next, a configuration for acquiring subject information regarding the subject 201 using the above-mentioned image position information will be described.
FIG. 8 is a diagram for explaining an example of the
FIG. 9 is a diagram for explaining the
FIG. 10 is a diagram for explaining an example of the
FIG. 11 is a diagram for explaining the center of gravity position PG.
FIG. 12 is a diagram for explaining changes in the center of gravity position PG when acquiring the speed of the subject 201.
認識部13は、定点撮像部21で生成された画像データに被写体201が記録される場合、記憶部22に記憶される対応関係(学習モデル)に基づいて被写体201を認識する。すなわち、認識部13は、対応関係(学習モデル)に基づいて、定点撮像部21で生成された画像データに基づく画像から被写体201の特徴を抽出し、抽出した特徴から被写体201を認識する。また、認識部13は、学習モデルを利用して被写体201を認識するばかりでなく、例えば、パターンマッチング等を行うことにより、被写体201を認識することとしてもよい。
When the subject 201 is recorded in the image data generated by the fixed-
認識部13は、定点撮像部21によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体201(図8,10で示す場合には車両)をそれぞれ認識し、それぞれの時刻において被写体201を囲う複数の第1認識枠210(図8参照)を生成する。この場合、認識部13は、画像上において被写体201を囲う矩形の枠を第1認識枠210として生成することとしてもよい。認識部13は、定点撮像部21によって動画が撮像される場合、時間的に異なる画像として、例えば、時間的に連続するフレーム、又は、所定時間毎のフレームに基づいて被写体201を認識する。認識部13は、定点撮像部21によって静止画が撮像される場合、時間的に異なる画像として、時間的に連続して撮像された静止画、又は、所定時間毎に撮像された静止画に基づいて被写体201を認識する。
The
第1認識枠210は、例えば、被写体201の周囲を囲う矩形の枠であってよく、また被写体201の外形に接する矩形の枠であってよい。認識部13は、時間的に異なる画像(フレーム又は静止画)毎に第1認識枠210を生成する。認識部13は、画像に複数の被写体201が記録される場合には、被写体201毎に第1認識枠210を生成する。
The
予測部14は、複数の第1認識枠210と、その複数の第1認識枠210の中心位置210aと、定点撮像部21によって撮像される画像データに基づく画像の基準線LSとに基づいて、認識部13によって第1認識枠210を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体201を囲う第2認識枠220(図8参照)とその第2認識枠220の中心位置220a(図9参照)とを予測する。すなわち、図9に示すように、予測部14は、上述した基準線LSとして、画像データに基づく画像の水平方向に延びる線を設定し、基準線LSの所定位置を端点(交点PS)として設定し、その端点(交点PS)から複数の第1認識枠210の各中心位置210aを通る中心線上を中心位置220aとして第2認識枠220を生成することとしてもよい。この場合、予測部14は、画像上において被写体201を囲う矩形の枠を第2認識枠220として生成することとしてもよい。
The
予測部14は、複数の第1認識枠210それぞれの中心位置210aを通る線(第1延長線230)を生成して基準線LSの方へ延長する。予測部14は、第1延長線230と基準線LSとの画像上の交点PSを取得することとしてもよい。また、予測部14は、基準線LS側とは反対方向に第1延長線230を伸ばし、その第1延長線230上に第2認識枠220の中心位置220aが来るように、その第2認識枠220を生成する。一例として、予測部14は、所定時間毎の4つの第1認識枠210に基づいて、時間的に所定時間分だけ先の第2認識枠220を生成する。なお、第2認識枠220は、現在時刻における被写体201の予想位置であってよい。これにより、被写体201が他の物体によって一時的に全部又は一部が隠れた場合でも、その被写体201を認識する(被写体201の位置を予測する)ことが可能になる。
The
なお、予測部14は、第1延長線230と基準線LSとの交点PSを基準に、複数の第1認識枠210それぞれの四隅のうち少なくとも1つの角部を通る第2延長線240上に、第2認識枠220の対応する角部を配置することとしてもよい。一例として、予測部14は、第1延長線230と基準線LSとの交点PSに対して、画像上において左下に被写体201が移動する場合、複数の第1認識枠210の左上と右下それぞれの角部を通る2つの第2延長線240を生成し、一方の第2延長線240上に第2認識枠220の左上の角部を配置し、他方の第2延長線240上に第2認識枠220の右下の角部を配置することとしてもよい。
Note that the
同様に、交点PSから右下に被写体201が移動する場合には、一例として、複数の第1認識枠210の右上と左下の角部を通る2つの第2延長線240を生成し、一方の第2延長線240上に第2認識枠220の右上の角部を配置し、他方の第2延長線240上に第2認識枠220の左下の角部を配置することとしてもよい。
Similarly, when the subject 201 moves to the lower right from the intersection PS, as an example, two
同様に、交点PSから下側に被写体201が移動する場合には、一例として、複数の第1認識枠210に右上と左上の角部を通る2つの第2延長線240を生成し、一方の第2延長線240上に第2認識枠220の左上の角部を配置し、他方の第2延長線240上に第2認識枠220の右上の角部を配置することとしてもよい。
Similarly, when the subject 201 moves downward from the intersection PS, for example, two
生成部15は、図10に示すように、予測部14によって生成される第2認識枠220に一部が接するように、被写体201の正面の外形に応じた正面枠220bと、被写体201の背面の外形に応じた背面枠220cとを生成する。上述した認識部13は、被写体201の認識によって被写体201の形状も認識できる。生成部15は、認識部13による被写体201の形状の認識を利用して、被写体201の幅方向及び高さ方向の外形を取得することができる。生成部15は、被写体201の幅方向及び高さ方向の外形に応じた矩形の正面枠220bを生成する。また、生成部15は、第1,2延長線230,240と基準線LSとの交点PSと、正面枠220bの4つの角部とを接続する接続線250上に、第2認識枠220とが交差する点に背面枠220cの角部が一致するようにその背面枠220cを設定する。
As shown in FIG. 10, the
生成部15は、所定位置としての交点(第1,2延長線230,240と基準線LSとの交点PS)を基準に、画像データに基づく画像の垂直方向に対して左側に被写体201が位置する場合、画像に対して第2認識枠220の左下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の右上にある頂点に接するように矩形の背面枠220cを生成する。すなわち、生成部15は、第2認識枠220の左下の角部と正面枠220bの左下の角部とを一致させ、第2認識枠220の左下の角部に接続する2つの辺と、正面枠220bの左下の角部に接続する2つの辺とを重ねる。この場合、生成部15は、第2認識枠220の右上の角部と、背面枠220の右上の角部を一致させ、第2認識枠220の右上の角部に接続する2つの辺と、背面枠220cの右上の角に接続する2つの辺とを重ねる。
The
生成部15は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体201が位置する場合、画像に対して第2認識枠220の右下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の左上にある頂点に接するように矩形の背面枠220cを生成する。すなわち、生成部15は、第2認識枠220の右下の角部と正面枠220bの右下の角部とを一致させ、第2認識枠220の右下の角部に接続する2つの辺と、正面枠220bの左下の角部に接続する2つの辺とを重ねる。この場合、生成部15は、第2認識枠220の左上の角部と、背面枠220cの左上の角部とを一致させ、第2認識枠220に接続する2つの辺と背面枠220cの左上に接続する2つの辺とを重ねる。
When the subject 201 is located on the right side in the vertical direction of the image based on the image data with respect to the predetermined position as a reference, the
サイズ取得部16は、定点撮像部21から被写体201までの距離と、画像データに基づく画像のサイズと、生成部15によって生成された正面枠220b及び背面枠220cの少なくとも一方のサイズとに基づいて、被写体201のサイズを取得する。サイズ取得部16は、第1,2延長線230,240と基準線LSとの交点PSの位置によって被写体201の幅方向と高さ方向のサイズが変わるため、適宜計算を行うことにより、被写体201のサイズを取得する。計算方法は如何なるものでもよいが、サイズ取得部16は、例えば、以下のようにして被写体201のサイズを取得することとしてもよい。
The
サイズ取得部16は、被写体201の画像上での幅方向のサイズを求める場合、第1,2延長線230,240と基準線LSとの交点PSの画像上での座標(X座標)と、第2認識枠220の中心位置220aの画像上での座標(X座標)と、画像サイズ(例えば、画像の水平方向のピクセル数)とに基づいて、第1の値を取得する。サイズ取得部16は、第1の値に対して所定の第1係数を加算すると共に、その値に対して第2係数を加算することにより、第2の値を取得する。サイズ取得部16は、第2の値に対して第2認識枠220の画像上での幅方向のサイズを乗算することにより、被写体201の画像上での幅方向のサイズ(正面枠220bの幅方向のサイズ)を取得する。
サイズ取得部16は、被写体201の画像上での高さを求める場合にも、上述した被写体201の画像上での幅方向のサイズを求める場合と同様にして取得することができる。
When determining the size of the subject 201 in the width direction on the image, the
The
ここで、サイズ取得部16は、定点撮像部21において生成される画像データに基づく画像内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた結果(設定部12によって得られた結果)に基づいて、定点撮像部21から被写体201までの距離を取得する。サイズ取得部16は、取得した距離と、上述した画像上での被写体201のサイズとに基づいて、被写体201の幅方向及び高さ方向のサイズを取得する。また、サイズ取得部16は、被写体201の奥行方向のサイズを、設定部12によって得られた結果に基づいて取得する。
Here, the
重心取得部17は、生成部15によって生成された正面枠220b及び背面枠220cに基づいて、被写体201の重心位置PG(図11参照)を取得する。重心取得部17は、一例として、正面枠220bの4つの角部のうち地表面側の2つの角部(例えば、角部の画像上の座標等)と、背面枠220cの4つの角部のうち地表面側の2つの角部(例えば、角部の画像上の座標)とを利用して、被写体201の重心位置PG(画像上の座標)を取得する。この場合、重心取得部17は、一例として、定点撮像部21において生成される画像データに基づく画像内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた結果(設定部12によって得られた結果(画像位置情報))に基づいて、定点撮像部21から重心位置PGまでの距離(一例として、画像上における水平方向(X方向)と垂直方法(Y方向)の距離を取得することとしてもよい。なお、X方向の距離は、画像上の水平方向の中心線からの距離であってもよい。
The center of
位置取得部18は、重心取得部17によって取得された重心位置PGを所定の座標系に変換することにより、被写体201の位置を取得する。位置取得部18は、重心取得部17によって取得された重心位置PG(画像上の重心位置)を、例えば、グローバル座標系に変換することにより、被写体201の位置を取得する。位置取得部18は、例えば、定点撮像部21の撮像方向(方位、及び、地表面を向く角度(垂線と定点撮像部21の光軸のなす角))、及び、定点撮像部21のグローバル座標系等を利用して、三角関数を用いることにより、グローバル座標系における被写体201の位置を取得する。
The
速度取得部19は、重心取得部17によって取得された時間毎の被写体201の複数の重心位置PG(PG1,PG2)の変化に基づいて被写体201の速度を取得する。速度取得部19は、図12に例示するように、時間的に異なる少なくとも2つの重心位置PG1,PG2に基づき、所定時間dtの間に重心位置PG(PG1,PG2)がどれくらい移動したのかを算出することにより、被写体201の速度を取得することが可能である。この場合、速度取得部19は、所定時間dtにおけるX方向の変位dxとy方向の変位dyとに基づいて、x方向の速度VxとY方向の速度Vyとを取得することとしてもよい。また、速度取得部19は、時間的に異なる3つ以上の被写体201の重心位置PGに基づいて、被写体201の平均速度を取得することとしてもよい。
The
出力制御部20は、出力部を制御する。上述した出力部は、出力制御部20の制御に基づいて、サイズ取得部16によって取得された被写体201のサイズ、位置取得部18によって取得された被写体201の位置、及び、速度取得部19によって取得された被写体201の速度のうち、少なくとも1つを出力する。出力部は、例えば、上述した記憶部22の他に、通信部23及び表示部24であってもよい。出力制御部20は、サイズ取得部16によって取得された被写体201のサイズ、重心取得部17によって取得された被写体201の重心位置PG、位置取得部18によって取得された被写体201の位置、及び、速度取得部19によって取得された被写体201の速度に関する被写体情報を記憶部22に記憶する。また、出力制御部20は、例えば、外部にある装置(例えば、サーバ等)に被写体情報を送信するよう通信部23を制御することとしてもよい。出力制御部20は、例えば、被写体情報を表示部24に表示することとしてもよい。
The
次に、一実施形態に係る情報処理方法について説明する。
まず、画像位置情報を取得する方法について説明する。
図13は、一実施形態に係る情報処理方法であって、画像位置情報を取得する方法ついて説明するためのフローチャートである。
Next, an information processing method according to an embodiment will be described.
First, a method for acquiring image position information will be explained.
FIG. 13 is an information processing method according to an embodiment, and is a flowchart for explaining a method of acquiring image position information.
ステップST11において、定点撮像部21は、被写体を撮像する。
In step ST11, the fixed-
ステップST12において、認識部13は、予め学習した結果に基づいてステップST11で撮像された被写体の特徴を抽出し、その抽出の結果に基づいて被写体を認識する。
In step ST12, the
ステップST13において、設定部12は、ステップST11で撮像された被写体、すなわち、ステップST12で認識された被写体の高さと、定点撮像部21の画角とに基づいて、画像位置情報を取得する。
すなわち、設定部12は、第1~9設定部121~129により、以下の処理を行う。
第1設定部121は、被写体の高さと、定点撮像部21の画角と、定点撮像部21で撮像される画像の幅を予め取得する。
第2設定部122は、被写体が移動する場合、第1設定部121で取得された被写体の高さに基づいて、1m当たりのピクセル数を取得する。
第3設定部123は、画像の奥行方向の座標となるY座標と、第2設定部122で取得される被写体の1m当たりのピクセル数との関係を取得する。
第4設定部124は、第1設定部121で取得される画像の幅と、第2設定部122で取得された1m当たりのピクセル数とに基づいて所定位置における実際の画像の幅wを取得する。
第5設定部125は、第4設定部124で取得された実際の画像の幅wと、第1設定部121で取得された画角θ2とに基づいて、定点撮像部21から画像内の中心位置Pcまでの距離である第1距離L1と、地面から中心位置Pcまでの距離である第2距離L2とを取得する。
第6設定部126は、第5設定部125で取得された第1距離L1及び第2距離L2に基づいて、地面と定点撮像部21の撮像方向における中心線(Y軸方向に沿う線)とのなす角θを求める。
第7設定部127は、第5設定部125で取得された第1距離L1及び第2距離L2と、第6設定部126で取得されたなす角θとに基づいて、地面から定点撮像部21までの高さHを取得する。
第8設定部128は、第7設定部127で取得された地面から定点撮像部21までの高さHと、第6設定部126で取得されたなす角θとに基づいて、定点撮像部21が配される撮像位置から被写体までの位置を取得し、画像位置情報を取得する。
ここで、第9設定部129は、第4設定部124で取得された画像の幅のうち、Y座標の方向における基準位置の幅と、Y座標の方向の所定位置における幅とに基づいて、Y座標に対する幅比率を取得することとしてもよい。
In step ST13, the setting
That is, the
The
When the subject moves, the
The
The
The
Based on the first distance L1 and the second distance L2 acquired by the
The
The
Here, the
ステップST14において、設定部12は、ステップST13で取得された画像位置情報を記憶部22に記憶する。
In step ST14, the setting
次に、被写体201に関する情報を取得する方法について説明する。
図14は、一実施形態に係る情報処理方法であって、被写体201に関する情報を取得する方法について説明するためのフローチャートである。
Next, a method for acquiring information regarding the subject 201 will be described.
FIG. 14 is an information processing method according to an embodiment, and is a flowchart for explaining a method of acquiring information regarding the subject 201.
ステップST21において、定点撮像部21は、時間的に連続して被写体201を撮像して画像データを生成する。定点撮像部21は、動画、又は、所定時間ごとに連続して静止画を撮像して動画データを生成する。被写体201は、例えば、一定(略一定)の動きをする物体である。一定の動きをする物体の一は、直線的(略直線的)に移動する物体である。なお、物体は静止していてもよい。物体の具体的な一例は、車両、人物及び動物等であってもよい。
In step ST21, the fixed-
ステップST22において、認識部13は、ステップST21で生成された画像データに基づく少なくとも2つの時間的に異なる画像(フレーム又は静止画)から被写体201を認識し、それぞれの時刻において被写体201を囲う複数の第1認識枠210を生成する。この場合、認識部13は、画像上において被写体201を囲う(例えば、被写体201の外形に接する)矩形の枠を第1認識枠210として生成することとしてもよい。
In step ST22, the
ステップST23において、予測部14は、ステップST22で生成された複数の第1認識枠210に基づいて、第1認識枠210を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体201を囲う第2認識枠220を予測する。具体的には、予測部14は、複数の第1認識枠210と、複数の第1認識枠210それぞれの中心位置210aと、ステップST21で生成される画像データに基づく画像の基準線LSとに基づいて、第2認識枠220と、その第2認識枠220の中心位置220aとを予測する。この場合、予測部14は、画像上において被写体201を囲う矩形の枠を第2認識枠220として生成することとしてもよい。
上述した所定時刻は、現在時刻であってもよい。すなわち、第2認識枠220は、現在時刻における被写体201の予想位置であってよい。これにより、被写体201が他の物体によって一時的に全部又は一部が隠れた場合でも、その被写体201を認識する(被写体201の位置を予測する)ことが可能になる。
In step ST23, the
The predetermined time mentioned above may be the current time. That is, the
ステップST24において、生成部15は、ステップST23によって生成される第2認識枠220に一部が接するように、被写体201の正面の外形に応じた正面枠220bと、被写体201の背面の外形に応じた背面枠220cとを生成する。
生成部15は、第1,2延長線230,240と基準線LSとの交点PSを基準にした画像の垂直方向に対して左側に被写体201が位置する場合、画像に対して第2認識枠220の左下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の右上にある頂点に接するように矩形の背面枠220cを生成する。
又は、生成部15は、第1,2延長線230,240と基準線LSとの交点PSを基準にした画像の垂直方向に対して右側に被写体201が位置する場合、画像に対して第2認識枠220の右下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の左上にある頂点に接するように矩形の背面枠220cを生成する。
In step ST24, the
When the subject 201 is located on the left side in the vertical direction of the image based on the intersection point PS of the first and
Alternatively, when the subject 201 is located on the right side with respect to the vertical direction of the image based on the intersection point PS of the first and
ステップST25において、サイズ取得部16は、定点撮像部21から被写体201までの距離と、画像データに基づく画像のサイズ(例えば、ピクセル数)と、生成部15によって生成された正面枠220b及び背面枠220cの少なくとも一方のサイズとに基づいて、被写体201のサイズを取得する。
In step ST25, the
ステップST26において、重心取得部17は、ステップST24で生成された正面枠220b及び背面枠220cに基づいて、被写体201の重心位置PGを取得する。
この場合、重心取得部17は、一例として、定点撮像部21において生成される画像データに基づく画像内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた結果(設定部12によって得られた結果(画像位置情報))に基づいて、定点撮像部21から重心位置PGまでの距離(一例として、画像上における水平方向(X方向)と垂直方法(Y方向)の距離)を取得することとしてもよい。なお、X方向の距離は、画像上の水平方向の中心線からの距離であってもよい。
In step ST26, the center of
In this case, the center of
ステップST27において、位置取得部18は、ステップST26で取得された重心位置PGを所定の座標系に変換することにより、被写体201の位置を取得する。所定の座標系は、例えば、グローバル座標系である。
In step ST27, the
ステップST28において、速度取得部19は、ステップST26又はステップST27で取得された被写体201の複数の重心位置PGの変化に基づいて被写体201の速度を取得する。
In step ST28, the
なお、上述した実施形態では、第1認識枠210及び第2認識枠220に基づいて被写体201に関する情報を取得する例について説明した。しかし、本発明は、現在時刻における被写体201を認識できた場合には、第2認識枠220を第1認識枠210として被写体201に関する情報を取得することとしてもよい。
Note that in the embodiment described above, an example was described in which information regarding the subject 201 is acquired based on the
次に、本実施形態の効果について説明する。
情報処理装置1は、時間的に連続して被写体201を撮像して画像データを生成する定点撮像部21と、定点撮像部21によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体201をそれぞれ認識し、それぞれの時刻において被写体201を囲う複数の第1認識枠210を生成する認識部13と、複数の第1認識枠210と、その複数の第1認識枠210の中心位置210aと、定点撮像部21によって撮像される画像データに基づく画像の基準線LSとに基づいて、認識部13によって第1認識枠210を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体201を囲う第2認識枠220とその第2認識枠220の中心位置220aとを予測する予測部14と、予測部14によって生成される第2認識枠220に一部が接するように、被写体201の正面の外形に応じた正面枠220bと、被写体201の背面の外形に応じた背面枠220cとを生成する生成部15と、定点撮像部21から被写体201までの距離と、画像データに基づく画像のサイズと、生成部15によって生成された正面枠220b及び背面枠220cの少なくとも一方のサイズとに基づいて、被写体201のサイズを取得するサイズ取得部16と、を備える。
これにより、情報処理装置1は、画像に記録される被写体201に関する情報を取得することができる。
Next, the effects of this embodiment will be explained.
The
Thereby, the
情報処理装置1は、生成部15によって生成された正面枠220b及び背面枠220cに基づいて、被写体201の重心位置PGを取得する重心取得部17と、重心取得部17によって取得された重心位置PGを所定の座標系に変換することにより、被写体201の位置を取得する位置取得部18と、を備えることとしてもよい。
所定の座標系は、一例として、グローバル座標系であってもよい。これにより、情報処理装置1は、被写体201の位置(座標)を取得することができる。
The
The predetermined coordinate system may be, for example, a global coordinate system. Thereby, the
情報処理装置1は、重心取得部17によって取得された時間毎の被写体201の複数の重心位置PGの変化に基づいて被写体201の速度を取得する速度取得部19を備えることとしてもよい。
これにより、情報処理装置1は、被写体201が移動する際に、その被写体201の重心位置PGに基づいて速度を取得することができる。
The
Thereby, the
情報処理装置1は、サイズ取得部16によって取得された被写体201のサイズ、位置取得部18によって取得された被写体201の位置、及び、速度取得部19によって取得された被写体201の速度のうち、少なくとも1つを出力する出力部を備えることとしてもよい。
これにより、情報処理装置1は、取得した被写体201に関する情報を、通信部23によって外部に送信し、表示部24に表示し、及び、記憶部22に記憶することができる。
The
Thereby, the
情報処理装置1では、認識部13は、画像上において被写体201を囲う矩形の枠を第1認識枠210として生成することとしてもよい。
これよりに、情報処理装置1は、例えば、学習モデル又はパターンマッチング等に基づいて被写体201を認識することができ、認識した被写体201に基づいた第1認識枠210(ROI)を生成することができる。
In the
Thereby, the
情報処理装置1では、予測部14は、画像上において被写体201を囲う矩形の枠を第2認識枠220として生成することとしてもよい。
これにより、情報処理装置1は、複数の第1認識枠210に基づいて、被写体201の第2認識枠220(ROI)を生成することができる。
In the
Thereby, the
情報処理装置1では、予測部14は、基準線LSとして、画像データに基づく画像の水平方向に延びる線を設定し、基準線LSの所定位置を端点として設定し、その端点から複数の第1認識枠210の各中心位置210aを通る中心線上を中心位置220aとして第2認識枠220を生成することとしてもよい。
これにより、情報処理装置1は、複数の第1認識枠210に基づいて、被写体201の移動方向に応じた第2認識枠220を生成することができる。
In the
Thereby, the
情報処理装置1では、生成部15は、所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体201が位置する場合、画像に対して第2認識枠220の左下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の右上にある頂点に接するように矩形の背面枠220cを生成することとしてもよい。
これにより、情報処理装置1は、被写体201の移動方向に、画像に対して左方向の成分がある場合に、正面枠220b及び背面枠220cを生成することができる。
In the
Thereby, the
情報処理装置1では、生成部15は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体201が位置する場合、画像に対して第2認識枠220の右下にある頂点に接するように矩形の正面枠220bを生成すると共に、画像に対して第2認識枠220の左上にある頂点に接するように矩形の背面枠220cを生成することとしてもよい。
これにより、情報処理装置1は、被写体201の移動方向に、画像に対して右方向の成分がある場合に、正面枠220b及び背面枠220cを生成することができる。
In the
Thereby, the
情報処理装置1では、サイズ取得部16は、定点撮像部21において生成される画像データに基づく画像内の位置と、その位置における定点撮像部21からの距離とを予め対応付けた結果に基づいて、定点撮像部21から被写体201までの距離を取得することとしてもよい。
これにより、情報処理装置1は、その距離を、被写体201に関する情報を取得する際の基礎にすることができる。
In the
Thereby, the
情報処理方法では、コンピュータが、時間的に連続して被写体201を撮像して画像データを生成する定点撮像ステップと、定点撮像ステップによって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体201をそれぞれ認識し、それぞれの時刻において被写体201を囲う複数の第1認識枠210を生成する認識ステップと、複数の第1認識枠210と、その複数の第1認識枠210の中心位置210aと、定点撮像ステップによって撮像される画像データに基づく画像の基準線LSとに基づいて、認識ステップによって第1認識枠210を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体201を囲う第2認識枠220とその第2認識枠220の中心位置220aとを予測する予測ステップと、予測ステップによって生成される第2認識枠220に一部が接するように、被写体201の正面の外形に応じた正面枠220bと、被写体201の背面の外形に応じた背面枠220cとを生成する生成ステップと、定点撮像ステップから被写体201までの距離と、画像データに基づく画像のサイズと、生成ステップによって生成された正面枠220b及び背面枠220cの少なくとも一方のサイズとに基づいて、被写体201のサイズを取得するサイズ取得ステップと、を実行する。
これにより、情報処理方法は、画像に記録される被写体201に関する情報を取得することができる。
In the information processing method, a fixed point imaging step in which a computer sequentially images the subject 201 to generate image data, and at least two temporally different images recorded in the image data captured in the fixed point imaging step. a recognition step of respectively recognizing the subject 201 based on the image and generating a plurality of first recognition frames 210 surrounding the subject 201 at each time; a plurality of first recognition frames 210; Based on the
Thereby, the information processing method can acquire information regarding the subject 201 recorded in the image.
情報処理プログラムは、コンピュータに、時間的に連続して被写体201を撮像して画像データを生成する定点撮像機能と、定点撮像機能によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体201をそれぞれ認識し、それぞれの時刻において被写体201を囲う複数の第1認識枠210を生成する認識機能と、複数の第1認識枠210と、その複数の第1認識枠210の中心位置210aと、定点撮像機能によって撮像される画像データに基づく画像の基準線LSとに基づいて、認識機能によって第1認識枠210を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体201を囲う第2認識枠220とその第2認識枠220の中心位置220aとを予測する予測機能と、予測機能によって生成される第2認識枠220に一部が接するように、被写体201の正面の外形に応じた正面枠220bと、被写体201の背面の外形に応じた背面枠220cとを生成する生成機能と、定点撮像機能から被写体201までの距離と、画像データに基づく画像のサイズと、生成機能によって生成された正面枠220b及び背面枠220cの少なくとも一方のサイズとに基づいて、被写体201のサイズを取得するサイズ取得機能と、を実現させる。
これにより、情報処理プログラムは、画像に記録される被写体201に関する情報を取得することができる。
The information processing program provides the computer with at least two temporally different functions: a fixed-point imaging function that sequentially images the subject 201 to generate image data, and a fixed-point imaging function that generates image data by sequentially imaging the subject 201; A recognition function that recognizes each subject 201 based on an image and generates a plurality of first recognition frames 210 surrounding the subject 201 at each time, a plurality of first recognition frames 210, and the plurality of first recognition frames 210. based on the
Thereby, the information processing program can acquire information regarding the subject 201 recorded in the image.
上述した情報処理装置1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置1の設定部12、認識部13、予測部14、生成部15、サイズ取得部16、重心取得部17、位置取得部18、速度取得部19及び出力制御部20は、コンピュータの演算処理装置等による設定機能、認識機能、予測機能、生成機能、サイズ取得機能、重心取得機能、位置取得機能、速度取得機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置1の設定部12、認識部13、予測部14、生成部15、サイズ取得部16、重心取得部17、位置取得部18、速度取得部19及び出力制御部20は、コンピュータの演算処理装置等を構成する設定回路、認識回路、予測回路、生成回路、サイズ取得回路、重心取得回路、位置取得回路、速度取得回路及び出力制御回路として実現されてもよい。
また、情報処理装置1の定点撮像部21及び出力部(記憶部22、通信部23及び表示部24)は、例えば、演算処理装置等の機能を含む定点撮像機能及び出力機能(記憶機能、通信機能及び表示機能)として実現されもよい。また、情報処理装置1の定点撮像部21及び出力部(記憶部22、通信部23及び表示部24)は、例えば、集積回路等によって構成されることにより定点撮像回路及び出力回路(記憶回路、通信回路及び表示回路)として実現されてもよい。また、情報処理装置1の定点撮像部21及び出力部(記憶部22、通信部23及び表示部24)は、例えば、複数のデバイスによって構成されることにより定点撮像装置及び出力装置(記憶装置、通信装置及び表示装置)として構成されてもよい。
Each part of the
The information processing program can cause a computer to realize each of the functions described above. The information processing program may be recorded on a computer-readable non-transitory recording medium such as an external memory or an optical disc.
Further, as described above, each part of the
Further, the fixed-
1 情報処理装置
11 制御部
12 設定部
13 認識部
14 予測部
15 生成部
16 サイズ取得部
17 重心取得部
18 位置取得部
19 速度取得部
20 出力制御部
21 定点撮像部
22 記憶部
23 通信部
24 表示部
1 Information processing device 11
Claims (12)
前記定点撮像部によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識部と、
複数の第1認識枠と、当該複数の第1認識枠の中心位置と、前記定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測部と、
前記予測部によって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成部と、
前記定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、前記生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、
を備える情報処理装置。 a fixed-point imaging unit that sequentially images a subject and generates image data;
a recognition unit that recognizes the subject based on at least two temporally different images recorded in image data captured by the fixed-point imaging unit, and generates a first recognition frame surrounding the subject at each time;
A recognition unit generates a first recognition frame based on a plurality of first recognition frames, a center position of the plurality of first recognition frames, and a reference line of an image based on image data captured by the fixed-point imaging unit. a prediction unit that predicts a second recognition frame surrounding the subject and a center position of the second recognition frame at a predetermined time that is temporally earlier than the recording time of the image when the image is recorded;
a generation unit that generates a front frame according to the front outline of the subject and a back frame according to the rear outline of the subject so that a part thereof touches the second recognition frame generated by the prediction unit;
Size acquisition for obtaining the size of the subject based on the distance from the fixed point imaging unit to the subject, the size of the image based on image data, and the size of at least one of the front frame and the back frame generated by the generation unit. Department and
An information processing device comprising:
前記重心取得部によって取得された重心位置を所定の座標系に変換することにより、被写体の位置を取得する位置取得部と、
を備える請求項1に記載の情報処理装置。 a center of gravity acquisition unit that acquires the position of the center of gravity of the subject based on the front frame and the back frame generated by the generation unit;
a position acquisition unit that acquires the position of the subject by converting the gravity center position acquired by the gravity center acquisition unit into a predetermined coordinate system;
The information processing device according to claim 1, comprising:
請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, further comprising a speed acquisition section that acquires the speed of the subject based on changes in a plurality of positions of the center of gravity of the subject over time acquired by the center of gravity acquisition section.
請求項3に記載の情報処理装置。 an output unit that outputs at least one of the size of the subject acquired by the size acquisition unit, the position of the subject acquired by the position acquisition unit, and the speed of the subject acquired by the speed acquisition unit. The information processing device according to claim 3.
請求項1~4のいずれか1項に記載の情報処理装置。 The information processing device according to claim 1, wherein the recognition unit generates a rectangular frame surrounding the subject on the image as the first recognition frame.
請求項1~5のいずれか1項に記載の情報処理装置。 The information processing device according to claim 1, wherein the prediction unit generates a rectangular frame surrounding the subject on the image as the second recognition frame.
基準線として、画像データに基づく画像の水平方向に延びる線を設定し、
基準線の所定位置を端点として設定し、当該端点から複数の第1認識枠の各中心位置を通る中心線上を中心位置として第2認識枠を生成する
請求項1~6のいずれか1項に記載の情報処理装置。 The prediction unit is
Set a line extending in the horizontal direction of the image based on the image data as the reference line,
According to any one of claims 1 to 6, wherein a predetermined position of the reference line is set as an end point, and the second recognition frame is generated with the center position being on a center line passing from the end point to the center position of each of the plurality of first recognition frames. The information processing device described.
所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体が位置する場合、画像に対して第2認識枠の左下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第2認識枠の右上にある頂点に接するように矩形の背面枠を生成する
請求項7に記載の情報処理装置。 The generation unit is
When the subject is located on the left side in the vertical direction of the image based on the image data based on the predetermined position, a rectangular front frame is generated so as to be in contact with the lower left vertex of the second recognition frame with respect to the image. 8. The information processing apparatus according to claim 7, wherein a rectangular back frame is generated with respect to the image so as to be in contact with a top right corner of the second recognition frame.
所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体が位置する場合、画像に対して第2認識枠の右下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第2認識枠の左上にある頂点に接するように矩形の背面枠を生成する
請求項7に記載の情報処理装置。 The generation unit is
When the subject is located on the right side in the vertical direction of the image based on the image data based on the predetermined position, a rectangular front frame is generated for the image so as to be in contact with the lower right vertex of the second recognition frame. The information processing apparatus according to claim 7, wherein the information processing apparatus also generates a rectangular back frame so as to be in contact with the top left vertex of the second recognition frame with respect to the image.
請求項1~9のいずれか1項に記載の情報処理装置。 The size acquisition unit selects a subject from the fixed-point imaging unit based on a result of associating in advance a position in the image based on image data generated in the fixed-point imaging unit and a distance from the fixed-point imaging unit at the position. The information processing device according to any one of claims 1 to 9, wherein the information processing device acquires a distance to.
時間的に連続して被写体を撮像して画像データを生成する定点撮像ステップと、
前記定点撮像ステップによって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識ステップと、
複数の第1認識枠と、当該複数の第1認識枠の中心位置と、前記定点撮像ステップによって撮像される画像データに基づく画像の基準線とに基づいて、認識ステップによって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測ステップと、
前記予測ステップによって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成ステップと、
前記定点撮像ステップから被写体までの距離と、画像データに基づく画像のサイズと、前記生成ステップによって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得ステップと、
を実行する情報処理方法。 The computer is
a fixed point imaging step of generating image data by imaging a subject continuously over time;
a recognition step of respectively recognizing the subject based on at least two temporally different images recorded in the image data captured in the fixed-point imaging step, and generating a first recognition frame surrounding the subject at each time;
A first recognition frame is generated by a recognition step based on a plurality of first recognition frames, a center position of the plurality of first recognition frames, and a reference line of an image based on image data imaged by the fixed-point imaging step. a prediction step of predicting a second recognition frame surrounding the subject and the center position of the second recognition frame at a predetermined time that is temporally earlier than the recording time of the image when the image is recorded;
a generation step of generating a front frame according to the front outline of the subject and a back frame according to the rear outline of the subject so that a part thereof touches the second recognition frame generated in the prediction step;
Size acquisition for obtaining the size of the subject based on the distance from the fixed point imaging step to the subject, the size of the image based on image data, and the size of at least one of the front frame and the back frame generated in the generation step. step and
An information processing method that performs.
時間的に連続して被写体を撮像して画像データを生成する定点撮像機能と、
前記定点撮像機能によって撮像された画像データに記録される少なくとも2つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第1認識枠を生成する認識機能と、
複数の第1認識枠と、当該複数の第1認識枠の中心位置と、前記定点撮像機能によって撮像される画像データに基づく画像の基準線とに基づいて、認識機能によって第1認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第2認識枠と当該第2認識枠の中心位置とを予測する予測機能と、
前記予測機能によって生成される第2認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成機能と、
前記定点撮像機能から被写体までの距離と、画像データに基づく画像のサイズと、前記生成機能によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得機能と、
を実現させる情報処理プログラム。 to the computer,
A fixed-point imaging function that captures images of a subject continuously over time and generates image data;
a recognition function that recognizes a subject based on at least two temporally different images recorded in image data captured by the fixed-point imaging function, and generates a first recognition frame surrounding the subject at each time;
A first recognition frame is generated by a recognition function based on a plurality of first recognition frames, a center position of the plurality of first recognition frames, and a reference line of an image based on image data captured by the fixed point imaging function. a prediction function that predicts a second recognition frame surrounding the subject and the center position of the second recognition frame at a predetermined time that is temporally earlier than the recording time of the image when the image is recorded;
a generation function that generates a front frame according to the front outline of the subject and a back frame according to the rear outline of the subject so that a part thereof touches the second recognition frame generated by the prediction function;
Size acquisition for obtaining the size of the subject based on the distance from the fixed point imaging function to the subject, the size of the image based on image data, and the size of at least one of the front frame and the back frame generated by the generation function. function and
An information processing program that realizes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054674A JP7393270B2 (en) | 2020-03-25 | 2020-03-25 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054674A JP7393270B2 (en) | 2020-03-25 | 2020-03-25 | Information processing device, information processing method, and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021157299A JP2021157299A (en) | 2021-10-07 |
JP7393270B2 true JP7393270B2 (en) | 2023-12-06 |
Family
ID=77918400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020054674A Active JP7393270B2 (en) | 2020-03-25 | 2020-03-25 | Information processing device, information processing method, and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7393270B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019206270A1 (en) | 2018-04-27 | 2019-10-31 | 深圳市商汤科技有限公司 | Distance measurement method, intelligent control method and apparatus, electronic device and storage medium |
WO2020029758A1 (en) | 2018-08-07 | 2020-02-13 | 北京市商汤科技开发有限公司 | Object three-dimensional detection method and apparatus, intelligent driving control method and apparatus, medium, and device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424648B (en) * | 2013-08-20 | 2018-07-24 | 株式会社理光 | Method for tracing object and equipment |
-
2020
- 2020-03-25 JP JP2020054674A patent/JP7393270B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019206270A1 (en) | 2018-04-27 | 2019-10-31 | 深圳市商汤科技有限公司 | Distance measurement method, intelligent control method and apparatus, electronic device and storage medium |
WO2020029758A1 (en) | 2018-08-07 | 2020-02-13 | 北京市商汤科技开发有限公司 | Object three-dimensional detection method and apparatus, intelligent driving control method and apparatus, medium, and device |
Also Published As
Publication number | Publication date |
---|---|
JP2021157299A (en) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8917906B2 (en) | Method and apparatus for motion recognition | |
KR100790860B1 (en) | Human tracking apparatus and method thereof, and recording media and removing electronic system therefor | |
US20140225826A1 (en) | Method for detecting motion of input body and input device using same | |
US8698092B2 (en) | Method and apparatus for motion recognition | |
US9703371B1 (en) | Obtaining input from a virtual user interface | |
CN101730876A (en) | Pointing device using camera and outputting mark | |
JP2014204375A (en) | Image processing system, image processing apparatus, control method therefor, and program | |
JP6065985B2 (en) | Robot, control method, and program | |
Tajdari et al. | Optimal position of cameras design in a 4d foot scanner | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
CN103033145A (en) | Method and system for identifying shapes of plurality of objects | |
KR20120026956A (en) | Method and apparatus for motion recognition | |
JP7393270B2 (en) | Information processing device, information processing method, and information processing program | |
JP5418427B2 (en) | Collision time calculation device, collision time calculation method and program | |
JP3629935B2 (en) | Speed measurement method for moving body and speed measurement device using the method | |
Srinivasan et al. | Object localization and navigation assistant for the visually challenged | |
CN113557492B (en) | Method, system and non-transitory computer readable recording medium for assisting object control using two-dimensional camera | |
Amat et al. | Stereoscopic system for human body tracking in natural scenes | |
Bae et al. | SiT dataset: socially interactive pedestrian trajectory dataset for social navigation robots | |
KR20180034387A (en) | Method and apparatus for interacting with virtual objects | |
JP2017182564A (en) | Positioning device, positioning method, and positioning computer program | |
Munoz-Salinas et al. | People detection and tracking through stereo vision for human-robot interaction | |
KR20180051235A (en) | Apparatus and method for estimating of user pointing gesture | |
KR101209598B1 (en) | Monitoring system | |
JP7274297B2 (en) | IMAGING DEVICE, IMAGING METHOD AND IMAGING PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7393270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |