JP7224832B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP7224832B2 JP7224832B2 JP2018186446A JP2018186446A JP7224832B2 JP 7224832 B2 JP7224832 B2 JP 7224832B2 JP 2018186446 A JP2018186446 A JP 2018186446A JP 2018186446 A JP2018186446 A JP 2018186446A JP 7224832 B2 JP7224832 B2 JP 7224832B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- person
- geometry data
- size
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、監視カメラ等により撮影された画像情報を処理する技術に関する。 The present invention relates to technology for processing image information captured by a surveillance camera or the like.
近年、ネットワークカメラ（以下、ＮＷカメラとする。）の用途は、店舗内の監視・防犯はもちろんのこと、画像解析を活用したアプリケーションにまで広がりを見せている。またＮＷカメラにて撮影された画像は、ソフトウェアを用いた自動的な人体検出を行うことで、禁止区域への侵入検知や人数のカウント、人物の認識などにも利用されている。更に最近は、ＮＷカメラにて撮影された画像から人物の位置を検出し、例えば店舗内における人物の動線を取得してマーケティングに生かすなど、ビジネス分野における応用も盛んになっている。 In recent years, network cameras (hereinafter referred to as NW cameras) are being used not only for in-store monitoring and crime prevention, but also for applications utilizing image analysis. Images captured by NW cameras are also used to detect intrusions into prohibited areas, count people, recognize people, etc. by automatically detecting human bodies using software. Furthermore, recently, applications in the business field have become popular, such as detecting the position of a person from an image taken by a NW camera, and obtaining, for example, the line of flow of a person in a store for marketing purposes.
ここで、カメラにて撮影された画像を解析して人物に関する情報を取得する手法として、特許文献１に開示されている手法がある。特許文献１には、カメラにて撮影された画像に写っている人物の下端（例えば足元）の位置を基に、カメラから人物までの距離や人物の身長等を算出する手法が開示されている。特許文献１の手法では、基準となる座標等のパラメータを予め用意しておき、撮影された画像に写っている人物の下端の位置（座標）と基準のパラメータとに基づいて、距離や身長等が算出される。 Here, there is a method disclosed in Japanese Unexamined Patent Application Publication No. 2002-100003 as a method of analyzing an image captured by a camera and acquiring information about a person. Patent Literature 1 discloses a method of calculating the distance from a camera to a person, the height of the person, etc., based on the position of the lower end (for example, feet) of the person in the image captured by the camera. . In the method of Patent Literature 1, parameters such as reference coordinates are prepared in advance, and distance, height, etc. are calculated based on the position (coordinates) of the lower end of the person in the photographed image and the reference parameters. is calculated.
前述した特許文献１の手法において、基準の座標等のパラメータは、例えば一様に平坦な面上に置かれた基準物体の位置を示す基準座標や、カメラを無限遠に遠ざけた場合の基準物体の位置等を基に予め算出されている。一方で、ＮＷカメラにて撮影される実際の環境は、階段やステップなどのように詳細な形状が定義し難い複数の面で構成されている場合や、屋外の坂道、丘陵地などのように平坦な平面ではない様々な面によって構成されている場合も多い。このような環境の場合、前述した特許文献１における一様に平坦な面に基づく座標等のパラメータでは対応することができず、対象物体の位置等を誤って取得してしまう虞がある。 In the method of Patent Document 1 described above, the parameters such as the reference coordinates are, for example, the reference coordinates indicating the position of the reference object placed on a uniformly flat surface, and the reference object when the camera is moved to infinity. is calculated in advance based on the position of On the other hand, the actual environment captured by the NW camera is composed of multiple surfaces whose detailed shape is difficult to define, such as stairs and steps, and outdoor slopes and hills. It is often composed of various surfaces that are not flat planes. In such an environment, parameters such as coordinates based on a uniformly flat surface in Patent Document 1 described above cannot be used, and there is a risk of erroneously acquiring the position of the target object.
そこで、本発明は、撮影された画像から人物等の対象物体について誤りのない位置を取得可能にすることを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to enable acquisition of an error-free position of a target object such as a person from a photographed image.
本発明の情報処理装置は、カメラにより撮影されるエリア内の床面上における三次元位置を特定可能なジオメトリデータを保持する保持手段と、前記カメラにて撮影された画像から前記対象物体の画像内における位置を取得する検出手段と、前記画像内における前記対象物体の位置に対応した前記ジオメトリデータを取得し、当該ジオメトリデータを用いて、前記対象物体の大きさを算出する大きさ算出手段と、前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記ジオメトリデータにおける床面の位置を補正する補正手段と、前記画像内における前記対象物体の位置と前記ジオメトリデータとを基に前記対象物体の三次元位置を算出する位置算出手段と、を有することを特徴とする。 The information processing apparatus of the present invention comprises: holding means for holding geometry data capable of specifying a three-dimensional position on a floor within an area photographed by a camera; detection means for obtaining a position within an image; and size calculation means for obtaining the geometry data corresponding to the position of the target object within the image and using the geometry data to calculate the size of the target object. and when the calculated size of the target object is different from the known size of the target object, the above-described Correction means for correcting the position of the floor surface in the geometry data , and position calculation means for calculating the three-dimensional position of the target object based on the position of the target object in the image and the geometry data. Characterized by
本発明によれば、撮影された画像から人物等の対象物体について誤りのない位置を取得可能となる。 According to the present invention, it is possible to obtain an error-free position of a target object such as a person from a photographed image.
以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図１は本実施形態の情報処理装置が適用される一例としての監視システムの概略構成を示した図である。カメラ１０１は、例えばネットワークカメラ（ＮＷカメラ）であり、屋内や屋外等の所望の場所に設置され、所望の監視エリアを撮影する監視カメラであるとする。監視エリアには例えば床１１０があり、また監視エリア内では人などの対象物体１０３の出入りや移動等があるものとする。なお監視エリアの環境には、一様に平坦な床１１０だけでなく、例えば階段やエスカレータ、スロープ、坂道、丘陵地、凹凸面、曲面などの様々な環境が含まれる場合もある。そして、カメラ１０１は、例えば動画のように所定の時間間隔（フレーム周期）ごとの時間順に連続的に撮影した画像を取得し、それら取得した各画像のデータを、解析用のパーソナルコンピュータ（ＰＣ１０２とする。）に送信する。
Embodiments of the present invention will be described below with reference to the accompanying drawings. Note that the configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
FIG. 1 is a diagram showing a schematic configuration of a monitoring system as an example to which an information processing apparatus of this embodiment is applied. The
ＰＣ１０２は、カメラ１０１から送信されてきた画像を取得し、解析プログラムを実行することにより画像解析を行う。なお、ＰＣ１０２とプログラムの代わりに、例えばＡＳＩＣやＦＰＧＡなどのプログラマブルな集積回路に本実施形態に係るアルゴリズムを記録させておき、これらにより画像の解析等が行われてもよい。
The PC 102 acquires the image transmitted from the
図２は、図１の監視システムにおけるアーキテクチャを概略的に表した機能ブロック図である。本実施形態の場合、図２の各機能ブロックは、ＰＣ１０２において解析プログラムの実行により実現されるものとするが、カメラ１０１に含まれていてもよいし、一部がカメラ１０１に含まれ、残りがＰＣ１０２に含まれていてもよい。 FIG. 2 is a functional block diagram schematically representing the architecture of the monitoring system of FIG. 1; In the case of this embodiment, each functional block of FIG. may be included in the PC 102.
図２において、検出追跡部２１０は、カメラ１０１にて撮影された画像の解析を行い、対象物体１０３を検出し、その検出した対象物体１０３を追跡するような、物体検出と物体追跡処理とを実行する。本実施形態の場合、対象物体１０３には人を想定しているため、検出追跡部２１０は人物の検出およびその検出した人物を追跡する処理を実行する。また検出追跡部２１０は、人物を個別に識別する公知の人物認識システムを含んでいてもよい。検出追跡部２１０にて検出された人物の情報は、後述する身長計算部２２１および位置計算部２２２に送られる。
In FIG. 2, a detection and
データベース２５０は、カメラの監視エリアを含む実際（実世界）の三次元空間内の位置を特定可能なデータを保持している。本実施形態では三次元空間内の位置を特定可能な所定のデータとしてジオメトリデータを保持する例を挙げており、ジオメトリデータを用いた演算等により三次元空間内における座標位置を特定可能となる。なお、三次元空間内の位置を特定可能なデータは、ジオメトリデータに限定されるものではない。データベース２５０に保持されているジオメトリデータは、事前の測定あるいは計算により生成されていてもよいし、デフォルトとして用意されている複数のデータの中から選択されたデータであってもよい。なお、以下の説明において、実際（実世界）の三次元空間内の位置を、三次元位置と呼ぶことにする。
The
ここで、カメラの監視エリアの環境としては、前述したように、一様に平坦な床面だけでなく、階段やエスカレータ、ステップ、スロープ、坂道、丘陵地、凹凸面、曲面などの様々な環境が含まれる場合がある。これら階段やエスカレータ、ステップなどのように詳細な形状が定義し難い複数の面で構成された環境、スロープ、坂道、丘陵地、凹凸面、曲面などのように一様な平面ではない面で構成された環境に対しては、ジオメトリデータの定義が難しい。 Here, as mentioned above, the environment of the surveillance area of the camera is not limited to a uniformly flat floor, but various environments such as stairs, escalators, steps, slopes, slopes, hills, uneven surfaces, curved surfaces, etc. may be included. Environments composed of multiple surfaces, such as stairs, escalators, and steps, whose detailed shapes are difficult to define, and surfaces that are not uniform, such as slopes, slopes, hills, uneven surfaces, and curved surfaces. Geometry data is difficult to define for a defined environment.
このため、本実施形態の場合、データベース２５０には、監視エリア内の平坦な床面に対応したジオメトリデータのみが保持されており、階段や坂道等の定義が難しい領域のジオメトリデータは未定になされているとする。すなわち、監視エリア内の床面のジオメトリデータは、一様に平坦な平面の床面（床面は地面等も含むものとする）を前提としたデータとなされており、事前に測定あるいは計算等されてデータベース２５０に格納されているとする。なお、平面の床面のジオメトリデータは、一例として、予め基準となる指標を用いたキャリブレーションを実施することで計測および算出することができる。例えば一定の長さの棒やキャリブレーション用チャート、予め身長が分かっている人物などを、基準となる指標とし、それらを平坦な床面に配置した上でキャリブレーションを行って計測することで、床面のジオメトリデータを取得することができる。もちろんジオメトリデータの計測と算出方法はこの例には限定されず、他の手法が用いられてもよい。
さらに本実施形態の場合、データベース２５０に格納されたジオメトリデータは、後述するように、更新部２４０による変更および更新が可能となされている。
For this reason, in the case of this embodiment, the
Furthermore, in the case of this embodiment, the geometry data stored in the
また本実施形態の場合、データベース２５０には、対象物体に関する情報として、例えば人物の特徴量を表す情報や、人物における特徴点間の距離の情報、人物認識に用いる情報などを格納しておくことも可能となされている。本実施形態の場合、人物の特徴量を表す情報としては、その人物の身長を示す情報を挙げることができる。人物の特徴点としては、例えば人物の頭頂部、腰部、肩部、側頭部、足元部など各部位の特徴点を挙げることができ、また、特徴点間の距離は少なくとも二つ以上の各特徴点間の距離とする。これらの人物（対象物体）に関する情報は、予め計測等されてデータベース２５０に格納されてもよいし、画像解析により取得されてデータベース２５０に格納されてもよい。また、人物に関する情報は、データベース２５０ではなく、検出追跡部２１０や身長計算部２２１が保持していてもよい。
In the case of this embodiment, the
身長計算部２２１は、検出追跡部２１０が検出および追跡している対象物体１０３の画像内における位置と、データベース２５０から取得したジオメトリデータとを基に、画像内における対象物体１０３の大きさ算出処理を実行する。本実施形態の場合、対象物体１０３は人物であり、身長計算部２２１は、画像内における人物の頭頂部位置と、足元の位置に応じてデータベース２５０から取得したジオメトリデータとを基に、画像内の人物の身長を算出する。身長計算部２２１における処理の詳細については後述する。
The
位置計算部２２２は、同様に画像内で検出および追跡されている対象物体１０３の画像内における位置と、データベース２５０から取得したジオメトリデータとを基に、実際の三次元空間内における対象物体１０３の位置を算出する位置算出処理を実行する。本実施形態の場合、対象物体１０３は人物であり、位置計算部２２２は、画像内における人物の足元の位置と、その足元位置に応じてデータベース２５０から取得したジオメトリデータとを基に、実際の人物の三次元空間内における位置を算出する。位置計算部２２２における処理の詳細については後述する。
The
このように、位置計算部２２２は、画像内における人物の足元位置にあたるジオメトリデータを用いて人物の三次元位置を算出するが、この際に用いられるジオメトリデータは、前述したように平坦な床面を前提としたデータとなされている。一方で、監視エリアの環境は、前述したように階段やエスカレータ、ステップ、スロープ、坂道、丘陵地、凹凸面、曲面などの様々な環境が含まれる場合がある。すなわち、三次元空間内における実際の人物の位置は、ジオメトリデータが定義されている平坦な床面上だけでなく、ジオメトリデータが未定義となっている階段上等であることも有り得る。このため、実際の人物の位置が階段上等のジオメトリデータ未定義の位置であった場合、平坦な床面を前提としたジオメトリデータを用いて算出した人物の三次元位置は、実際の人物の三次元位置とは異なった位置になってしまう。
In this way, the
そこで本実施形態では、判定部２３０において、データベース２５０から取得されたジオメトリデータが、対象物体１０３の三次元位置の算出に用いるのに適切なデータであるかどうかを判定する信頼性判定を行う。信頼性判定において、判定部２３０は、画像内の対象物体１０３についてジオメトリデータを基に算出した大きさと、予め登録された既知の大きさ、もしくは現在の画像より以前の画像内の該当する対象物体１０３から算出された既知の大きさとを、比較する。そして、判定部２３０は、既知の大きさに対して、ジオメトリデータを基に算出した対象物体１０３の大きさが異なる場合、すなわち例えば対象物体の大きさの不一致度が所定の閾値を超える場合、そのジオメトリデータは信頼性が低いと判定する。逆に、それら大きさの不一致度が所定の閾値以下である場合、判定部２３０は、そのジオメトリデータは信頼性が高いと判定する。本実施形態では対象物体１０３が人物であるため、信頼性判定において、判定部２３０は、既知の身長と、画像内の人物についてジオメトリデータから算出した身長とが異なる場合に、そのジオメトリデータの信頼性が低いと判定する。そして、判定部２３０は、ジオメトリデータの信頼性が低いと判定した場合にはその旨を更新部２４０に通知する。
Therefore, in this embodiment, the
更新部２４０は、信頼性が低いと判定されたジオメトリデータに対して補正処理（修正処理）を行い、ジオメトリデータを更新する。例えば、更新部２４０は、信頼性が低いと判定されたジオメトリデータを、画像内の対象物体１０３の大きさが既知の大きさと合うように、つまり画像内の人物の身長が既知の身長と一致するようにジオメトリデータを補正して更新する。すなわち本実施形態において、算出された身長が既知の身長よりも大きい場合、更新部２４０は、ジオメトリデータにおける床面の位置を、基準面の床面の位置よりも、カメラの光軸方向の近い位置に移動させるように調整する。逆に例えば、算出された身長が既知の身長よりも小さい場合、更新部２４０は、ジオメトリデータにおける床面の位置を、基準面の床面の位置よりも、カメラの光軸方向の遠い位置に移動させるように調整する。このようなジオメトリデータにおける床面の位置を移動させる調整は、算出される身長が既知の身長と一致するようになるまで行われる。
The
これにより、本実施形態において、身長計算部２２１では、画像から検出および追跡されている人物の身長を計算する際、信頼性が高いジオメトリデータを用いた身長算出の処理が行われることになる。
同様に、位置計算部２２２では、画像から検出および追跡されている人物の三次元位置を計算する際に、信頼性が高いジオメトリデータを用いた人物の三次元位置の算出の処理が行われることになる。
As a result, in the present embodiment, when calculating the height of a person detected and tracked from an image, the
Similarly, when the
データ処理部２６０は、前述のようにして位置計算部２２２にて算出された人物の三次元位置のデータを基に、例えば監視エリア内における人物の位置をＰＣ１０２のモニタ装置等の画面上に表示するための表示画像を生成する処理を行う。
またデータ処理部２６０は、位置計算部２２２にて複数の人物の三次元位置が取得された場合、各人物の三次元位置を基に、それら複数の人物をグループ分けして、人物ごとにグループ属性情報を付加する処理を行うこともできる。データ処理部２６０は、複数の人物をグループ分けした場合、そのグループ分けの結果を表す表示画像を生成して、ＰＣ１０２のモニタ装置等の画面上に表示させることもできる。
また、データ処理部２６０は、位置計算部２２２にて複数の人物の三次元位置が取得され、それら複数の人物の三次元位置から複数の人物の移動時に交差が生じたかどうかを判断する処理も行うことができる。そして、データ処理部２６０は、複数の人物の交差が生じた際の各人物の三次元位置を基に、検出追跡部２１０における人物追跡が継続されるようにする処理を行うこともできる。
The
In addition, when the
The
図３は、本実施形態の図２に示した機能ブロックにおける処理の流れを示したフローチャートである。以下の説明では、図３のフローチャートにおける各ステップＳ３１０～ステップＳ３５２をＳ３１０～Ｓ３５２と略記する。Ｓ３１０からＳ３５１またはＳ３５２までの処理は、カメラ１０１が所定の時間間隔（フレーム周期）ごとに連続的に撮影した画像ごとに行われる処理である。
FIG. 3 is a flow chart showing the flow of processing in the functional blocks shown in FIG. 2 of this embodiment. In the following description, steps S310 to S352 in the flowchart of FIG. 3 are abbreviated as S310 to S352. The processing from S310 to S351 or S352 is performed for each image continuously captured by the
先ずＳ３１０において、検出追跡部２１０は、撮影された画像を用いて人物の検出および追跡（追尾）を行う。検出追跡部２１０では、前述したようにカメラ１０１が所定の時間間隔（フレーム周期）ごとに連続的に撮影した画像が入力されるため、例えば人物の頭頂部と足元の位置はフレーム周期ごとに逐次更新されることになる。
First, in S310, the detection and
次にＳ３２０において、身長計算部２２１は、検出追跡部２１０にて検出および追跡されている人物の足元の位置にあたる、床面のジオメトリデータをデータベース２５０から取得する。
さらにＳ３３０において、身長計算部２２１は、検出追跡部２１０にて検出および追跡されている人物の頭頂部から、Ｓ３２０で取得したジオメトリデータにおける足元位置までの距離を、人物の身長として算出する。
Next, in S<b>320 , the
Further, in S330, the
ここで、検出追跡部２１０にて検出および追跡されている人物の身長は、その人物の追跡が行われている期間内において急に変化することはないと仮定できる。そして仮に、この人物の身長が、現在の画像より前の画像で算出された既知の身長から大きく変化している場合、それは人物の身長が変化したのではなく、身長算出に用いたジオメトリデータの信頼性が低いためであると考えられる。また例えば、人物認識に関する情報として人物の身長が予め登録されている場合において、人物認識で特定した人物についてジオメトリデータを基に算出した身長が、登録済みの既知の身長と異なる場合にも、そのジオメトリデータの信頼性は低いと考えられる。
Here, it can be assumed that the height of the person detected and tracked by the detection and
このため、次のＳ３４０において、判定部２３０は、検出追跡部２１０にて検出および追跡されている人物が直立姿勢であるにもかかわらず、その人物の身長に変化があるか否か、つまり既知の身長と異なっているか否かを判定する。
そして、Ｓ３４０において身長に変化がない（既知の身長と略々一致している）と判定された場合、Ｓ３０５において、位置計算部２２２は、Ｓ３２０で取得された足元位置を人物の三次元位置として確定する。
Therefore, in the next step S340, the
Then, if it is determined in S340 that there is no change in the height (the height substantially matches the known height), in S305 the
一方、Ｓ３４０において身長に変化がある（既知の身長とは異なっている）と判定された場合、Ｓ３５１において、更新部２４０は、データベース２５０の床面のジオメトリデータを、人物の実際の身長に合うように補正して更新する。
そして、位置計算部２２２は、補正後（更新後）のジオメトリデータを用いて、画像内の人物の三次元位置を再計算する。
これらＳ３５２またはＳ３５１の処理の後、図３のフローチャートの処理は終了し、次のフレーム周期の画像について同様の処理が行われる。
On the other hand, if it is determined in S340 that there is a change in height (is different from the known height), in S351 the updating
Then, the
After the processing of S352 or S351, the processing of the flowchart in FIG. 3 ends, and the same processing is performed for the image of the next frame period.
なお、本実施形態では、判定部２３０においてジオメトリデータに関する信頼性をフレーム周期ごとに判定しており、その判定結果である信頼性情報はジオメトリデータに関連付けてデータベース２５０に格納されてもよい。また、フレーム周期ごとに判定されたジオメトリデータの信頼性情報は、ジオメトリデータとは別に保持されてもよく、例えば統計的な処理に用いられてもよい。
In this embodiment, the
また例えば、監視エリア内の一定の領域におけるジオメトリデータの信頼性が保証されているような場合、判定部２３０は、その一定の領域についてジオメトリデータの信頼性判定処理を行わないようにしてもよい。また、ジオメトリデータの信頼性が保証されている領域については、更新部２４０における更新処理の対象外（更新処理の対象としない）にしてもよい。ジオメトリデータの信頼性が保証されている領域は、例えば事前に床面のジオメトリが正確に計測されてジオメトリデータが確定している領域や、複数のカメラにて撮影される重複領域であって三角測量方式等により正確な位置計測が可能な領域などである。複数のカメラにて撮影される重複領域がある場合、それら各カメラの位置、カメラの撮影方向、画角が既知であれば、それら各カメラの視野において共有される領域内での位置関係は、エピポーラ幾何を利用して計算可能である。その他にも、カメラ以外に測距用センサ（デプスセンサ）を設け、その測距用センサを用いて測定した距離情報と、カメラにて撮影された画像の情報とを合わせて用いることで、ジオメトリの信頼性が保証されている領域を決定してもよい。
Further, for example, when the reliability of the geometry data in a certain area within the monitoring area is guaranteed, the
以下、本実施形態における前述した人物の身長計算および三次元位置計算について、さらに具体的な例を挙げて説明する。
図４は、撮影された画像内の人物の身長および位置の関係説明に用いる図であり、本実施形態の監視システムにおけるカメラ４００と、対象物体である人物４２１，４２２と、床面４１１および床面４１２の配置例が示されている。
Hereinafter, the height calculation and the three-dimensional position calculation of the person described above in this embodiment will be described with more specific examples.
FIG. 4 is a diagram used to explain the relationship between the height and position of a person in a photographed image. An example arrangement of
図４（Ａ）はそれらカメラ、人物、床面等を横方向（床面４１１に対して水平な方向）から見た様子を示しており、図４（Ｂ）はカメラ４００の視野内（つまり撮影されている範囲）を表している。図４（Ａ）と図４（Ｂ）に示されているように、カメラ４００により撮影される範囲内には、例えば水平な平面の床面４１１と、その床面４１１とは高さが異なる床面４１２とが存在しているとする。床面４１１と床面４１２とを有する環境は例えば屋外や屋内の両方において存在する可能性があり、床面４１１に対して高さが異なる床面４１２の実際の例としては、階段やエスカレータ、スロープ、坂道、丘陵地、凹凸面、曲面などが想定される。また、図４の例の場合、床面４１１上には人物４２１が立っており、床面４１２上には人物４２２が立っているとする。
FIG. 4A shows the camera, the person, the floor, etc. viewed from the lateral direction (horizontal to the floor 411), and FIG. The range being photographed) is displayed. As shown in FIGS. 4A and 4B, the range photographed by the
図４（Ｃ）は、図４（Ｂ）に示したようにカメラ４００の画像から検出される人物の位置を、例えば水平平面の床面４１１に対して真上側の方向から投影した解析結果を表した図である。図４（Ｃ）に示す真上方向から投影する解析では、実際の三次元空間内の縦、横、高さ方向の三次元座標の情報が取得される。なお、三次元座標のうち高さ方向の座標は図の奥行き方向にあたるが、図４（Ｃ）では簡略化のために高さ方向についての図示を省略しており、真上から見た人物４２１，４２２の縦、横方向の三次元位置の関係のみを表している。
FIG. 4C shows an analysis result obtained by projecting the position of a person detected from the image of the
ここで、人物の身長および三次元位置の計算を行う場合には、まず基準面が設定される。図４の例の場合は、例えば水平平面である床面４１１を基準面として選択する。そして、事前の測定等により、カメラ４００の中心位置と基準面である床面４１１との間の位置および方向の関係が既知であるとする。また、カメラ４００における撮像素子の解像度、カメラ４００の画角、カメラ４００の向き（つまり光軸の方向）についても既知であるとする。この場合、カメラ４００により撮影された画像内の各画素の位置と、カメラ４００の画角内の実際の三次元位置（三次元座標）とは、一意的に対応している。このため、カメラ４００により撮影された画像内に写っている床面４１１上の各位置（画素位置）が、実際の三次元空間内の床面４１１上のどの三次元位置（三次元座標）に対応しているのかは、一意的に決定することができる。なお、床面４１１上の三次元位置は都度計算して求めてもよいし、カメラ４００の各画素の位置と三次元位置との関係を表す対応テーブルをデータベース２５０に用意しておき、その対応テーブルを用いて床面の三次元位置を取得するようにしてもよい。図４の例の場合、対応テーブルを用いることで、例えば図４（Ｂ）における画像内の床面４１１上の人物４２１の画素位置から、図４（Ｃ）における床面４１１上の人物４２１の三次元位置を取得することができる。
Here, when calculating the height and three-dimensional position of a person, first, a reference plane is set. In the example of FIG. 4, for example, the
一方、図４の例において、基準面（床面４１１）とは高さが異なる床面４１２とカメラ４００との位置および方向の関係、さらに床面４１１と床面４１２との境界部分４１３およびその境界部分４１３とカメラ４００との位置および方向の関係は未知であるとする。なおこのような場合、基準面とは高さが異なる床面４１２の領域については、仮に、基準面の床面４１１から延長された床面として登録しておくことは可能である。この場合、床面４１２のジオメトリデータは、基準面である床面４１２のジオメトリを延長したデータとして、データベース２５０に格納しておくことも可能である。
On the other hand, in the example of FIG. 4, the relationship between the position and direction of the
本実施形態の監視システムでは、以上のような条件の下、カメラ１０１によりフレーム周期ごとの時間順で連続的に撮影された画像を用いて人物検出および追跡処理を実行する。
図４の例では、検出追跡部２１０により、人物４２１と人物４２２が画像から検知されて追跡されているとする。すなわち、検出追跡部２１０は、図３のフローチャートのＳ３１０において、それら人物のそれぞれ頭頂部の位置と足元の位置に相当する画素位置を特定する。なおこの時、それら人物の姿勢を検出し、人物の姿勢が直立姿勢であることを確認すれば、後述する身長算出の正確性が増すことができるためなおよい。
In the monitoring system of this embodiment, under the conditions described above, human detection and tracking processing is performed using images continuously captured by the
In the example of FIG. 4, it is assumed that the detection and
次に、前述したＳ３２０において、身長計算部２２１は、その検出された各人物の足元の位置に対応したジオメトリデータを取得し、さらに前述したＳ３３０において、それら人物の身長を算出する処理を行う。
Next, in S320 described above, the
図５は、カメラにより実際の人物５０５が撮影されている際の、カメラの中心位置５０２と実際の人物５０５との間の位置および方向の関係、および、カメラで撮影された画像５０３内に写っている人物５０１の一例を示した図である。
図５（Ａ）は、カメラによりフレーム周期ごとに撮影された画像のなかの一枚の画像５０３の一例を示している。また図５（Ｂ）は、カメラの中心位置５０２と実際の人物５０５との間の位置および方向の関係、および、カメラの仮想的な画像面（５０３）に対して人物５０５が投影された人物５０１を示している。また図５（Ｃ）は、カメラの中心位置５０２と実際の人物５０１との間の位置および方向と、人物の身長計算の際に用いられるジオメトリとの関係を表した図である。
FIG. 5 illustrates the position and orientation relationship between the
FIG. 5A shows an example of one
前述の身長計算部２２１は、図５（Ｂ）に示したカメラの中心位置５０２と実際の人物５０５との間の位置および方向の関係、および図５（Ａ）に示した画像５０３内における人物５０１の各画素の位置等を基に、実際の人物５０５の身長を計算する。
The
一般的に、監視システム等で用いられるカメラは、上から見下ろす方向で人物等を撮影するように設置されることが多い。このため、図５（Ａ）および図５（Ｂ）に示すように、撮影された画像５０３内に写っている人物５０１の形は、カメラの仮想的な画像面（５０３）に対して実際の人物５０５が斜めに投影されたような形になる。したがって、画像５０３内における人物５０１の縦横比は、実際の人物５０５の縦横比とは異なっている。また画像５０３内における人物５０１の縦横比は、その人物がカメラの画角内のどの位置、つまりカメラの仮想的な画像面（５０３）上で光軸５０４からどの程度はなれた位置に存在しているかによって異なる。
2. Description of the Related Art In general, cameras used in monitoring systems and the like are often installed so as to photograph people and the like in a downward direction. Therefore, as shown in FIGS. 5(A) and 5(B), the shape of the
これらのことから実際の人物５０５の身長を計算する際には、カメラの画角と、カメラの中心位置５０２から実際の人物５０５の足元位置までの距離と、カメラの光軸５０４の方向と、実世界の垂直方向（重力方向）とを考慮する必要がある。身長計算部２２１は、それらを考慮した上で、カメラの縦横解像度（撮像素子の縦と横の有効画素数）と、画像５０３内の人物５０１の足元位置から頭頂部までの長さ（画素数）とから、実際の人物５０５の身長を算出する。
From these, when calculating the height of the
ここで、図５（Ｂ）に示すようにカメラの縦横解像度は縦×横＝Ｈ×Ｗ（画素）であり、画像５０３内における人物５０１の足元位置から頭頂部までの長さはｋ（画素数）であるとする。また、図５（Ｃ）に示すように、カメラの仮想的な画像面（５０３）は光軸５０４に対して直交する面であり、カメラの中心位置５０２から実際の人物５０５の足元位置までの距離はＬであるとする。さらに、カメラの中心位置５０２から仮想的な画像面（５０３）上における人物５０１の足元位置までを結ぶ線分とカメラの光軸５０４との間の角度をδとし、また光軸５０４と実世界の垂直方向（重力方向）との間の角度をθとする。この場合、実際の人物５０５の身長ｌは、ヘロンの公式を用いて下記の式（１）により表される。
Here, as shown in FIG. 5B, the vertical and horizontal resolution of the camera is vertical×horizontal=H×W (pixels), and the length from the foot position of the
ｌ＝ｋ・ｃｏｓδ／ｃｏｓ（δ＋θ） 式（１） l = k cos δ/cos (δ + θ) Equation (1)
なお、カメラのレンズは歪曲（Ｄｉｓｔｏｒｔｉｏｎ）等の収差を有することが多いため、画像に対しては予め収差を補正する処理を施しておくことが望ましい。また、実際の床面のジオメトリデータとしては様々な形態が考えられるが、本実施形態の場合、ジオメトリデータは、ある角度δにおいてカメラの中心位置５０２から実際の人物５０５の足元位置までの距離Ｌを演算等により特定可能なデータとなされている。したがって、角度δが判明すれば、ジオメトリデータにより距離Ｌを知ることができ、これにより実際の人物５０５の三次元位置を取得することができる。
Note that since camera lenses often have aberrations such as distortion, it is desirable to subject an image to processing for correcting aberrations in advance. Further, various forms are conceivable as the geometry data of the actual floor surface, but in the case of this embodiment, the geometry data is the distance L are data that can be specified by calculation or the like. Therefore, if the angle δ is known, the distance L can be known from the geometry data, and the three-dimensional position of the
以下、図６を用いて、カメラの画角内に基準面の床面とは高さが異なった床面が存在している場合において実際の人物の身長および三次元位置を計算する場合の問題点と、その問題点に対処するために本実施形態において行われる処理を詳細に説明する。 In the following, using FIG. 6, the problem of calculating the actual height and three-dimensional position of a person when there is a floor surface whose height is different from that of the floor surface of the reference plane exists within the angle of view of the camera. The points and the actions taken in this embodiment to address them are described in detail.
図６（Ａ）において、床面６０４は基準面を示し、床面６２４は基準面よりも高い面を示しているとする。したがって、図６（Ａ）の例の場合、ジオメトリデータは基準面である床面６０４に対応したデータになされている。また、実際の人物６２１は、床面６２４上に存在しており、図６の例では、実際の人物６２１の身長および三次元位置を計算するものとする。なお、図６（Ａ）に示した床面６２４は、図６（Ｂ）に示すように基準面の床面６０４に対して傾斜した床面であるとする。このため図６（Ｂ）に示すように、床面６２４上における人物６２１の位置が異なれば、その人物６２１の基準面（６０４）からの高さは異なる。
In FIG. 6A,
図６の例の場合、人物６２１が例えば基準面である床面６０４上に立っているのであれば、前述の図５（Ｃ）で説明したようにして人物６２１の正しい身長ｔを算出することが可能となる。
しかしながら、床面６２４は基準面（６０４）に対して傾斜しており、床面６２４上の人物６２１の足元位置は基準面（６０４）とは高さが異なる位置になっている。このため、基準面に対応したジオメトリデータを用いて人物６２１の身長を算出した場合、基準面の床面６０４上の人物６０１の身長ｔ'として算出されることになり、実際の人物６２１の身長ｔとは異なった値が取得されることになる。そして、三次元位置も同様に、基準面の床面６０４上の人物６０１の位置が算出されることになり、実際の人物６２１の床面２４１上の三次元位置に対し、カメラの光軸方向で奥側にずれた位置が算出される。なお前述した図４の例の場合、床面４１１上の人物４２１では実際の身長ｈが算出されるが、床面４１２上の人物４２２では実際より高い身長（人物４２３の身長）が算出され、三次元位置も実際の人物４２２の位置とは異なる三次元位置が算出される。
In the example of FIG. 6, if the
However, the
この時、実際の人物６２１の実際の身長ｔが事前に判明していれば、ジオメトリデータを用いて算出した身長ｔ'が実際の身長ｔとは異なっているかどうかを判断することができる。図６の例のように、身長ｔ'が身長ｔと異なっている場合、判定部２３０は、ジオメトリデータの信頼性が低いと判定することになる。また、判定部２３０は、ジオメトリデータを基に算出した身長ｔ'が実際の身長ｔより大きい場合、当該ジオメトリデータを用いて算出される三次元位置が、実際の人物の三次元位置よりもカメラの光軸方向の奥行き側（遠い方）にずれていると判断する。逆に、ジオメトリデータを基に算出した身長が実際の身長より小さい場合、判定部２３０は、ジオメトリデータを用いて算出される三次元位置が、実際の人物の三次元位置よりもカメラの光軸方向の手前側（近い方）にずれていると判断する。
At this time, if the actual height t of the
そして、判定部２３０にてジオメトリデータの信頼性が低いと判定された場合、更新部２４０は、ジオメトリデータを基に算出される身長が事前に求めた既知の身長と一致するように、床面のジオメトリデータにおける床面の位置を補正する。例えば、判定部２３０にてジオメトリデータを基に算出した身長が実際の身長より大きいと判断された場合、更新部２４０は、ジオメトリデータにおける床面の位置を、基準面の床面の位置よりも、カメラの光軸方向で近い位置に移動させるように調整する。また例えば、判定部２３０にてジオメトリデータを基に算出した身長が実際の身長より小さいと判断された場合、更新部２４０は、ジオメトリデータにおける床面の位置を、基準面の床面の位置よりも、カメラの光軸方向で遠い位置に移動させるように調整する。このようなジオメトリデータにおける床面の位置を移動させる調整は、算出される身長が既知の身長と一致するようになるまで行われる。
If the determining
その後、位置計算部２２２では、算出される身長が事前に求めた身長と一致するように調整した後のジオメトリデータを用いて、人物の三次元位置を再計算する。
このように、本実施形態では、算出される身長が既知の身長と一致するようにジオメトリデータの床面の位置を調整することにより、蓋然性の高いジオメトリデータの床面位置と人物の三次元位置を取得することができる。
After that, the
As described above, in this embodiment, by adjusting the floor position of the geometry data so that the calculated height matches the known height, the floor position of the geometry data and the three-dimensional position of the person with high probability are calculated. can be obtained.
また本実施形態の場合、図６（Ｂ）に示すように、人物６２１が移動している場合には、前述のようなジオメトリデータの調整を逐次行うことが可能である。これにより、もしも実際の床面が、図６（Ｂ）に示すように傾斜した床面６２４で構成されていても、その傾斜面の形状をトレースしたようなジオメトリデータの調整が可能となる。
更に、このように逐次調整することによって取得された複数のジオメトリデータの床面の位置を統計的に処理することで、より正確なジオメトリデータを取得することが可能となる。これにより、ジオメトリデータにおける床面の位置と人物の三次元位置の蓋然性をより高めることが可能となる。
In the case of this embodiment, as shown in FIG. 6B, when the
Furthermore, by statistically processing the positions of the floor surface of a plurality of pieces of geometry data obtained by such sequential adjustment, more accurate geometry data can be obtained. This makes it possible to increase the probability of the position of the floor surface and the three-dimensional position of the person in the geometry data.
前述した実施形態の手法は、人物の身長が既知であることが前提であるため、予め正しい身長を取得しておく必要がある。この場合、身長を含む人物の特徴量に関する情報を予めデータベース２５０に格納しておき、検出追跡部２１０が検出した人物に対して人物認識処理を行い、その人物の身長の情報をデータベース２５０から取得して利用するような手法が考えられる。
Since the method of the embodiment described above assumes that the height of the person is known, it is necessary to acquire the correct height in advance. In this case, information relating to the feature amount of a person, including height, is stored in the
ただし、前述のような人物の特徴量に関するデータベースと人物認識システムとを備えていない監視システムも多い。このような場合には、以下に説明するように、人物の検出および追跡を行っている間に、身長の測定と三次元位置の補正を実施するような手法も考えられる。 However, there are many monitoring systems that do not have a database of person feature values and a person recognition system as described above. In such a case, as will be described below, a method of performing height measurement and three-dimensional position correction while detecting and tracking a person is also conceivable.
この手法の場合、例えばカメラにより撮影される監視エリアの領域を、床面に対応したジオメトリデータが定義されている確定領域と、床面に対応したジオメトリデータが定義されていない未確定領域とに分けるようにする。確定領域は、例えば前述したような基準となる指標を用いたキャリブレーションを実施することでジオメトリデータが定義された領域とする。確定領域は、ジオメトリデータの信頼性が高い領域を表しており、ジオメトリデータに確定領域の情報を含めておくようにする。 In the case of this method, for example, the area of the surveillance area captured by the camera is divided into a fixed area where the geometry data corresponding to the floor is defined and an undefined area where the geometry data corresponding to the floor is not defined. separate them. The definite area is an area in which geometry data is defined by performing calibration using a reference index as described above, for example. The definite area represents an area in which the geometry data has high reliability, and information on the definite area should be included in the geometry data.
例えば図４の場合、床面４１１の領域が確定領域となされて登録される。そして、例えば追跡している人物４２２がこの確定領域を通過した場合、当該確定領域に対応したジオメトリデータを用いて算出した身長は正確な身長の情報であるとして、当該人物４２２の追跡情報とともに保存しておくようにする。その後、この人物４２２が確定領域以外の領域（床面４１２の領域）を通過した場合、当該人物４２２の正確な身長の情報を用いてジオメトリデータの補正を行う。これにより、この補正されたジオメトリデータを用いることで、人物４２２の正しい三次元位置を算出することが可能となる。なお、ジオメトリデータの補正が行われた場合、人物の追跡情報を基に、その人物の追跡結果の動線を補正してもよい。また、前述の説明では、確定領域が一つの領域となっている例を挙げたが、確定領域は複数存在していてもよい。
For example, in the case of FIG. 4, the area of the
また、通常、監視カメラは、より広い範囲を監視するために、複数台設定されることがある。このような場合、死角をなくすために、二つ以上の監視カメラ間において重複して撮影される領域が設定されることが多い。例えば図７（Ａ）に示すようにカメラ７０１とカメラ７０２が設置されており、カメラ７０１の撮影領域とカメラ７０２の撮影領域には重複領域７０３が設定されているとする。図７（Ｂ）は、カメラ７０１による画像７１１と、カメラ７０２による画像７１２とを示しており、それら画像７１１と画像７１２との間には重複領域７１３があるとする。ここで、カメラ７０１の座標とカメラ７０２の座標が事前に判明しているのであれば、重複領域７０３（７１３）においては三角測量方式による位置推定が可能となる。すなわち、重複領域７０３では、人物の位置を推定し、その位置を基に人物の身長を算出することが可能となる。したがって、図７の例の場合、重複領域（三角測量が可能な領域）において算出した人物の身長は正確な身長の情報であるとして、当該人物の追跡情報とともに保存しておくようにする。そして、この人物が重複領域以外の領域（未確定床面領域）を通過した場合、当該人物の正確な身長の情報を用いてジオメトリデータの補正を行う。これにより人物の正しい三次元位置を算出することが可能となる。
Also, usually, a plurality of surveillance cameras may be set in order to monitor a wider range. In such a case, in order to eliminate blind spots, areas that are overlapped and photographed by two or more surveillance cameras are often set. For example, assume that
以上説明した実施形態では、画像内の人物の頭頂部から足元までの長さを基に身長を算出する例を挙げが、画像内の人物について、常に頭頂部と足元を検出できるとは限らない。例えば、図８（Ａ）に示すように、植木やパーティションなどの遮蔽物体８００により、カメラ８１０から人物８０１の足元および床面が見えないためそれらの位置が不明になる場合もあり得る。
In the above-described embodiment, the height is calculated based on the length from the top of the head to the feet of the person in the image. However, it is not always possible to detect the top of the head and the feet of the person in the image. . For example, as shown in FIG. 8A, there may be a case where the feet and the floor surface of a
このような場合、身長計算部２２１は、例えば人物の頭頂部や足元以外の特徴点を用いて、画像内における人物の身長や足元の位置を推定する。図８（Ａ）の人物８０１のように、カメラ８１０からは足元と床面が見えない場合、例えば人物８０１の腰部の位置などを基に人物８０１の身長と足元の位置を推定する。この場合、例えば人物８０１の全身が写っている際に、頭頂部位置から腰部位置までの長さと、頭頂部位置から足元位置までの長さ（身長）との比を、人物の特徴量として算出して、その人物と紐付けしてデータベース２５０等に格納しておくようにする。これにより、図８（Ａ）の人物８０１の場合、画像内に写っている頭頂部から腰部までの長さと、データベース２５０に格納された特徴量の情報とから、人物８０１の身長を算出することができる。例えば頭頂部から腰部までの長さが人物８０１の身長の略々半分であった場合、画像内の人物８０１の頭頂部位置から腰部位置までの長さを下方向に二倍に延長した位置に足元位置があると推定することができる。これにより、その推定した足元位置を基に身長を算出し、ジオメトリデータの補正や三次元位置の算出が可能となる。
In such a case, the
また腰部の位置の他にも、例えば肩幅や、頭部の大きさ（頭部の縦の長さあるいは横の幅）など、人物における特徴的な人体箇所に基づいて身長を算出することも可能である。例えば、人物８０１の全身が写っている際に、肩幅あるいは頭部の大きさと、頭頂部位置から足元位置までの長さ（身長）との比を、人物の特徴量として算出して、その人物と紐付けしてデータベース２５０等に格納しておくようにする。これにより、図８（Ａ）の人物８０１について、画像内に写っている肩幅もしくは頭部の大きさと、データベース２５０に格納された特徴量の情報とから、人物８０１の足元位置を推定して身長を算出することができる。
In addition to the position of the waist, it is also possible to calculate the height based on the characteristic parts of the human body, such as the width of the shoulders and the size of the head (length or width of the head). is. For example, when the whole body of a
前述した人物の身長以外の特徴量の情報を用いた身長の推定、三次元位置の算出手法を用いれば、人物の足元が見えていない場合でも、人物の身長と三次元位置を取得することが可能である。また、前述した人物の身長以外の特徴量についても、人物の身長と同様に、人物の検出および追跡中に大きく変化することはないと考えられる。したがって身長以外の特徴量を基に算出される身長、あるいは、頭頂部から腰部までの長さ、肩幅、頭部の大きさなどが例えば追跡中に大きく変化した場合には、ジオメトリの信頼性が低いと判定でき、この場合、前述同様にしてジオメトリデータを補正できる。 By using the above-described height estimation and 3D position calculation methods using feature information other than the height of a person, it is possible to obtain the height and 3D position of the person even if the person's feet are not visible. It is possible. In addition, it is considered that the feature values other than the height of the person described above do not change significantly during the detection and tracking of the person, similarly to the height of the person. Therefore, if the height calculated based on features other than height, or the length from the top of the head to the waist, the shoulder width, or the size of the head changes significantly during tracking, the reliability of the geometry becomes unreliable. It can be determined that it is low, and in this case, the geometry data can be corrected in the same manner as described above.
ただし、前述したような身長以外の特徴量を用いて推定された身長に基づいて調整したジオメトリの精度と信頼性は必ずしも高くないため、例えば、多人数を対象とした統計的処理を行うなど、精度と信頼性を高める処理を行うことが望ましい。例えば、多人数について推定した身長に基づいてジオメトリデータを調整した際の平均値を用いて、より正確なジオメトリを算出するような手法が考えられる。 However, the accuracy and reliability of geometry adjusted based on height estimated using features other than height as described above is not necessarily high. It is desirable to perform processing that increases accuracy and reliability. For example, a method of calculating more accurate geometry using an average value when geometry data is adjusted based on heights estimated for a large number of people is conceivable.
本実施形態においては、以上説明したようにして正確な三次元位置を取得することで、例えば以下のようなアプリケーションを実現することも可能となる。
人物の追跡は三次元空間内で正確に行われるため、例えば店内における顧客の動きを記録したマーケティングなどに用いることが可能となる。また、複数の人物が存在する場合は、それら各人物の位置関係を取得することができ、それぞれ検出された各人物間の相対的な位置関係を正確に知ることができるので、複数の人物のグルーピングなどに用いることができる。また、一定領域の正確な面積と人の数を取得できるようになるため、人物の密度を測定することも可能となる。
In this embodiment, by obtaining an accurate three-dimensional position as described above, it is possible to realize the following applications, for example.
Since people can be tracked accurately in a three-dimensional space, it can be used, for example, for marketing that records the movements of customers in a store. In addition, when a plurality of persons exist, the positional relationship of each person can be obtained, and the relative positional relationship between the detected persons can be accurately known. It can be used for grouping and the like. In addition, since it becomes possible to acquire the exact area of a given area and the number of people, it is also possible to measure the density of people.
また、本実施形態において取得される情報は、人物追跡時の問題として知られている交差判定の補助情報として利用できる。交差判定における問題とは、二人以上の人物の追跡時に人物が重なる場合があり、その後追跡情報が入れ替わってしまうという問題である。このような場合、二人の人物は一人としか検出されず、奥側の人物の追跡が途絶え、さらにその後の追跡で追跡対象が入れ替わる可能性もある。本実施形態によれば、人物を三次元空間上で追跡できるため、重なった二人の人物が奥にいるのか手前にいるのかを記録でき、追跡が途切れても追跡が途絶えた位置関係から人物の入れ替わりを容易に検知できる。 Also, the information acquired in this embodiment can be used as auxiliary information for intersection determination, which is known to be a problem when tracking people. A problem with intersection detection is that when tracking two or more people, the people may overlap, and then the tracking information will be swapped. In such a case, two persons are detected as only one person, and tracking of the person on the far side is interrupted. According to this embodiment, since a person can be tracked in a three-dimensional space, it is possible to record whether two overlapping people are in the back or in the foreground. can be easily detected.
以上の例では、人物の追跡に関して説明したが、本実施形態の基本的な考えを利用すれば、人物以外の様々な対象物体の追跡等にも応用可能である。例えば、自動車、自転車、オートバイ、ショッピングカートなどの追跡例が考えられる。これらの対象物体は、人物よりも特徴量や特徴点の距離関係が明確であるため、例えば車であれば足元位置としてタイヤの位置を利用し、車長やタイヤ間の距離を用いることで、床面の情報の補正、つまり道路面に関するジオメトリデータの補正が可能となる。例えば対象物体が自動車である場合、画像内から自動車を検出して、その検出した自動車のタイヤ位置を算出し、その算出したタイヤ位置から当該自動車の車長やタイヤ間の距離を算出する。さらに、それら画像から算出した車長やタイヤ間距離と、既知の車長やタイヤ間の距離とを比較して、道路面に関するジオメトリデータの信頼性を判定する。そして、信頼性が低いと判定された場合には、当該道路面に関するジオメトリデータを、画像から算出した車長やタイヤ間距離と、既知の車長やタイヤ間の距離とが略々一致するように補正する。このように、本実施形態の基本的な考えを持ってすれば、様々な応用例が可能であり、したがって、実施形態は前述した例には限定はされない。 In the above example, tracking of a person has been described, but the basic concept of this embodiment can be applied to tracking of various target objects other than a person. Examples include tracking cars, bicycles, motorcycles, shopping carts, and the like. For these target objects, the distance relationship between the feature values and feature points is clearer than that of a person. Correction of floor surface information, that is, correction of geometry data related to the road surface is possible. For example, if the target object is an automobile, the automobile is detected from within the image, the tire positions of the detected automobile are calculated, and the length of the automobile and the distance between the tires are calculated from the calculated tire positions. Furthermore, the vehicle length and the distance between tires calculated from these images are compared with the known vehicle length and distance between tires to determine the reliability of the geometry data regarding the road surface. If the reliability is determined to be low, the geometry data on the road surface is adjusted so that the vehicle length and the distance between the tires calculated from the image approximately match the known vehicle length and the distance between the tires. corrected to Thus, various applications are possible with the basic idea of this embodiment, and therefore the embodiment is not limited to the examples described above.
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 All of the above-described embodiments merely show specific examples for carrying out the present invention, and the technical scope of the present invention should not be construed to be limited by these. That is, the present invention can be embodied in various forms without departing from its technical spirit or main features.
１０１：カメラ、１０１：解析用のＰＣ、１０３：対象物体、１１０：床、２１０：検出追跡部、２２１：身長計算部、２２２：位置計算部、２３０：判定部、２４０：更新部、２５０：データベース 101: camera, 101: PC for analysis, 103: target object, 110: floor, 210: detection and tracking unit, 221: height calculation unit, 222: position calculation unit, 230: determination unit, 240: update unit, 250: database
Claims (18)
前記カメラにて撮影された画像から前記対象物体の画像内における位置を取得する検出手段と、
前記画像内における前記対象物体の位置に対応した前記ジオメトリデータを取得し、当該ジオメトリデータを用いて、前記対象物体の大きさを算出する大きさ算出手段と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、
前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記ジオメトリデータにおける床面の位置を補正する補正手段と、
前記画像内における前記対象物体の位置と前記ジオメトリデータとを基に前記対象物体の三次元位置を算出する位置算出手段と、
を有することを特徴とする情報処理装置。 holding means for holding geometry data capable of specifying a three-dimensional position on the floor within an area photographed by the camera;
a detection means for acquiring the position of the target object in the image from the image captured by the camera;
a size calculation means for acquiring the geometry data corresponding to the position of the target object in the image and using the geometry data to calculate the size of the target object;
When the calculated size of the target object and the known size of the target object are different,
correction means for correcting the position of the floor surface in the geometry data so that the size of the target object calculated by the calculation means matches the known size;
position calculation means for calculating a three-dimensional position of the target object based on the position of the target object in the image and the geometry data;
An information processing device comprising:
前記対象物体の前記所定の特徴点の位置に対応した前記ジオメトリデータを取得し、
前記ジオメトリデータにより特定される位置と、前記画像内の前記対象物体の他の特徴点の位置とを基に、前記対象物体の大きさを算出することを特徴とする請求項２に記載の情報処理装置。 The size calculation means is
obtaining the geometry data corresponding to the positions of the predetermined feature points of the target object;
3. The information according to claim 2, wherein the size of the target object is calculated based on the position specified by the geometry data and the positions of other feature points of the target object in the image. processing equipment.
前記大きさ算出手段は、前記人物の足元部の位置に対応した前記ジオメトリデータにより特定される位置と、前記人物の頭頂部の位置との間の距離で表される人物の身長を、前記対象物体の大きさとして算出することを特徴とする請求項３に記載の情報処理装置。 when the target object is a person, the position of the predetermined feature point is the position of the feet of the person, and the position of the other feature point is the top of the head of the person;
The size calculation means calculates the height of the person represented by the distance between the position specified by the geometry data corresponding to the position of the feet of the person and the position of the top of the head of the person. 4. The information processing apparatus according to claim 3, wherein the calculation is performed as the size of an object.
腰部、肩部、側頭部の、少なくとも二つの位置を基に、前記人物の足元の位置を算出することを特徴とする請求項４に記載の情報処理装置。 When the position of the feet of the person is unknown, the size calculation means calculates the top of the head of the person,
5. The information processing apparatus according to claim 4, wherein the position of the person's feet is calculated based on at least two positions of the waist, shoulders, and temporal region.
前記認識された対象物体に関する情報には、前記対象物体の前記既知の大きさを示す情報が含まれていることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。 The detection means has means for recognizing the target object and means for acquiring information about the recognized target object,
7. The information processing apparatus according to any one of claims 1 to 6, wherein the information about the recognized target object includes information indicating the known size of the target object.
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合に、前記ジオメトリデータの信頼性が低いと判定する判定手段と、
前記判定手段により信頼性が低いと判定された前記ジオメトリデータに対して、前記補正を行って更新する更新手段と、を有することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。 The correcting means is
determining means for determining that the reliability of the geometry data is low when the calculated size of the target object differs from the known size of the target object;
8. The apparatus according to any one of claims 1 to 7, further comprising update means for performing the correction and updating the geometry data determined by the determination means to be unreliable. Information processing equipment.
前記補正手段は、前記信頼性の高い領域で前記検出された前記対象物体について前記算出手段が算出した前記大きさを基に、前記信頼性が高くない領域に対応した前記ジオメトリデータについて前記補正を行うことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。 The geometry data includes information representing regions within the area where the geometry data is highly reliable,
The correction means corrects the geometry data corresponding to the low-reliability area based on the size calculated by the calculation means for the target object detected in the high-reliability area. 9. The information processing apparatus according to any one of claims 1 to 8, wherein:
前記算出された対象物体の大きさが前記対象物体の既知の大きさより大きい場合には、前記ジオメトリデータにおける床面の位置を、前記カメラの光軸方向の近い位置に補正し、if the calculated size of the target object is larger than the known size of the target object, correcting the position of the floor surface in the geometry data to a position closer to the optical axis direction of the camera;
前記算出された対象物体の大きさが前記対象物体の既知の大きさより小さい場合には、前記ジオメトリデータにおける床面の位置を、前記カメラの光軸方向の遠い位置に補正し、if the calculated size of the target object is smaller than the known size of the target object, correcting the position of the floor surface in the geometry data to a far position in the optical axis direction of the camera;
前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うようにすることを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。16. The information processing apparatus according to any one of claims 1 to 15, wherein the size of the target object calculated by the calculating means is matched with the known size.
カメラにより撮影されるエリア内の床面上における三次元位置を特定可能なジオメトリデータを保持する保持工程と、
カメラにて撮影された画像から前記対象物体の画像内における位置を取得する検出工程と、
前記画像内における前記対象物体の位置に対応した前記ジオメトリデータを取得し、当該ジオメトリデータを用いて、前記対象物体の大きさを算出する大きさ算出工程と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、
前記算出工程にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記ジオメトリデータにおける床面の位置を補正する補正工程と、
前記画像内における前記対象物体の位置と前記ジオメトリデータとを基に前記対象物体の三次元位置を算出する位置算出工程と、
を有することを特徴とする情報処理方法。 An information processing method executed by an information processing device,
a holding step of holding geometry data capable of specifying a three-dimensional position on the floor within the area photographed by the camera;
a detection step of acquiring the position of the target object in the image from the image captured by the camera;
a size calculation step of obtaining the geometry data corresponding to the position of the target object in the image and using the geometry data to calculate the size of the target object;
When the calculated size of the target object and the known size of the target object are different,
a correction step of correcting the position of the floor surface in the geometry data so that the size of the target object calculated in the calculation step matches the known size;
a position calculation step of calculating a three-dimensional position of the target object based on the position of the target object in the image and the geometry data;
An information processing method characterized by having
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186446A JP7224832B2 (en) | 2018-10-01 | 2018-10-01 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186446A JP7224832B2 (en) | 2018-10-01 | 2018-10-01 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020056644A JP2020056644A (en) | 2020-04-09 |
| JP7224832B2 true JP7224832B2 (en) | 2023-02-20 |
Family
ID=70107001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018186446A Active JP7224832B2 (en) | 2018-10-01 | 2018-10-01 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7224832B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115516509A (en) | 2020-06-03 | 2022-12-23 | 谷歌有限责任公司 | Depth estimation based on object bottom position |
| KR102473165B1 (en) * | 2020-07-30 | 2022-12-01 | 한국과학기술연구원 | Cctv control system for being enable to measure real size of subject using 3d environment model |
| JP6924455B1 (en) * | 2020-09-17 | 2021-08-25 | 株式会社Ｑｏｎｃｅｐｔ | Trajectory calculation device, trajectory calculation method, trajectory calculation program |
| WO2024023893A1 (en) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | Human detection device, human detection system, program, and human detection method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008286638A (en) | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | Height estimation device and method |
| JP2009017026A (en) | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | Coordinate conversion method, parameter-adjusting method and monitoring system |
| JP2011215082A (en) | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for determination of imaging parameter |
| JP2013257349A (en) | 2008-03-03 | 2013-12-26 | Toa Corp | Camera calibration result verification device and method |
| JP2016225953A (en) | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | Camera calibration device, camera system, and camera calibration method |
| JP2017103602A (en) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | Position detection device, and position detection method and program |
| JP2017126072A (en) | 2012-06-08 | 2017-07-20 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for concealing frame error and method and apparatus for audio decoding |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017126072A1 (en) * | 2016-01-21 | 2017-07-27 | 株式会社日立製作所 | Image recognition system, camera state estimation device and storage medium |
-
2018
- 2018-10-01 JP JP2018186446A patent/JP7224832B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008286638A (en) | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | Height estimation device and method |
| JP2009017026A (en) | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | Coordinate conversion method, parameter-adjusting method and monitoring system |
| JP2013257349A (en) | 2008-03-03 | 2013-12-26 | Toa Corp | Camera calibration result verification device and method |
| JP2011215082A (en) | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for determination of imaging parameter |
| JP2017126072A (en) | 2012-06-08 | 2017-07-20 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for concealing frame error and method and apparatus for audio decoding |
| JP2016225953A (en) | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | Camera calibration device, camera system, and camera calibration method |
| JP2017103602A (en) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | Position detection device, and position detection method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020056644A (en) | 2020-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7224832B2 (en) | Information processing device, information processing method, and program | |
| US11243072B2 (en) | Method for the three dimensional measurement of moving objects during a known movement | |
| JP5618569B2 (en) | Position and orientation estimation apparatus and method | |
| JP6195915B2 (en) | Image measuring device | |
| KR102085228B1 (en) | Imaging processing method and apparatus for calibrating depth of depth sensor | |
| CN107273846B (en) | Human body shape parameter determination method and device | |
| US20150287206A1 (en) | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method | |
| KR101126626B1 (en) | System and Method for large-scale 3D reconstruction | |
| JP2004340840A (en) | Distance measuring device, distance measuring method and distance measuring program | |
| JP2012042396A (en) | Position attitude measurement device, position attitude measurement method, and program | |
| JP2018518750A (en) | Enhancement of depth map representation by reflection map representation | |
| CN107924461A (en) | For multifactor characteristics of image registration and method, circuit, equipment, system and the correlation computer executable code of tracking | |
| JPWO2014002725A1 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
| US9235895B2 (en) | Method for estimating direction of person standing still | |
| CN116188558B (en) | Stereo photogrammetry method based on binocular vision | |
| KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| KR20050061115A (en) | Apparatus and method for separating object motion from camera motion | |
| WO2020261404A1 (en) | Person state detecting device, person state detecting method, and non-transient computer-readable medium containing program | |
| JP4101478B2 (en) | Human body end point detection method and apparatus | |
| JP2004046464A (en) | Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof | |
| JP2012160063A (en) | Sphere detection method | |
| JP7396364B2 (en) | Image processing device, image processing method, and image processing program | |
| US11263780B2 (en) | Apparatus, method, and program with verification of detected position information using additional physical characteristic points | |
| JP2012181063A (en) | Calculation device, calculation method and calculation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7224832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |