JP7453125B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP7453125B2 JP7453125B2 JP2020191365A JP2020191365A JP7453125B2 JP 7453125 B2 JP7453125 B2 JP 7453125B2 JP 2020191365 A JP2020191365 A JP 2020191365A JP 2020191365 A JP2020191365 A JP 2020191365A JP 7453125 B2 JP7453125 B2 JP 7453125B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- helmet
- worker
- foot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000013507 mapping Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 description 18
- 238000010276 construction Methods 0.000 description 14
- 238000009434 installation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
作業員の位置情報を取得する技術には、例えば、GPS(Global Positioning System)やビーコンといった電波を用いる技術がある。しかし、GPSには、屋外作業にしか適用できないというデメリットがある。また、ビーコンには、測位精度が概して小さいというデメリットがある。
また、作業員の位置情報を取得する技術には、カメラで作業員を撮影し、取得した画像に画像処理を施すことにより位置を特定する技術がある。画像処理で作業員の位置を特定する場合、(1)対象の画像認識、(2)対象の追跡、(3)対象の座標変換、といった技術が組み合わされる。なお、(1)の場合、画像認識が容易となる対象の特徴点が選ばれることがあり、(2)では特徴点が追跡される。また、(3)において、2次元の画像の縦横ピクセルが、作業員の位置を規定するための2次元座標値に変換される。この変換は周知であり、詳細な説明は省略する。
建設現場の真上にカメラを設置できる場合、撮影画像が平面的になり好適であるが、真上に設置できるとは限らない。この場合、建設現場を斜め上から撮影できる位置にカメラを設置し、斜め上から撮影した画像で作業員の位置特定をすることになる。斜め上から撮影した画像については、上記の座標変換の際に画像のゆがみを是正する必要がある。
また、本発明は、画像処理装置が、作業領域を斜め上から撮影した画像において、作業員の足元高さに第1平面を設定するとともに、前記第1平面よりも高い位置に前記第1平面に対応する形状の第2平面を設定するステップと、前記画像において前記第1平面上の位置と前記第2平面上の位置との対応関係を記録するステップと、前記第2平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第1平面上での前記作業員の足元位置を特定するステップとを実行する画像処理方法である。
かかる画像処理装置および画像処理方法では、建設現場等における作業領域の複数個所に例えば作業員を立たせた様子を撮影した画像をキャリブレーション用の画像として使用する。当該画像において、各立ち位置の作業員の足元を結ぶことで第1平面を設定できる。また、各立ち位置において作業員の特徴点(例えば作業員が被るヘルメットなど)を結ぶことで第2平面を設定できる。第1平面および第2平面はそれぞれ、斜め上から撮影した画像上では異なる平面形状を呈しているが、実際は、高さ位置が異なるのみであり、平面形状は作業領域の平面形状と同じである。よって、画像上で第1平面上の位置と第2平面上の位置との対応関係を規定しておけば、第1平面の各点と第2平面の各点が1対1に対応付けられる。したがって、第2平面上で特徴点を検出した場合、特徴点を検出した第2平面上の位置に対応する第1平面上の位置に、作業員の足元位置が存在すると判定することができる。
かかる構成によれば、建設現場でカメラが容易に認識できるヘルメットを特徴点として採用することで、第2平面の設定を容易にできる。
[構成]
図1に示す画像処理装置100は、入力部、出力部、制御部、および、記憶部といったハードウェアを含むコンピュータである。例えば、制御部がCPU(Central Processing Unit)から構成される場合、その制御部を含むコンピュータによる情報処理は、CPUによるプログラム実行処理で実現される。また、そのコンピュータが含む記憶部は、CPUの指令により、そのコンピュータの機能を実現するためのさまざまなプログラムを記憶する。これによりソフトウェアとハードウェアの協働が実現される。前記プログラムは、記録媒体に記録したり、ネットワークを経由したりすることで提供することができる。
設定部11は、カメラ200から受信した画像に任意形状の平面を設定する。具体的には、設定部11は、カメラ200が作業領域を斜め上から撮影した画像において、作業員の足元高さに足元平面を設定する。また、設定部11は、当該画像において、足元平面よりも高い位置に足元平面に対応する形状のヘルメット平面を設定する。なお、足元平面は、第1平面の一例であり、ヘルメット平面は、第2平面の一例である。
マッピング部12は、カメラ200からの画像において、足元平面上の位置とヘルメット平面上の位置との対応関係を記録する(マッピング処理)。
追跡部13は、ヘルメット平面上で検出した作業員の特徴点を追跡し、マッピング部12が記録する対応関係に従い、足元平面上での作業員の足元位置を特定する。
マッピング情報21は、足元平面上の位置とヘルメット平面上の位置との対応関係を示す情報である。
特徴点情報22は、特徴点の画像を示す情報である。追跡部13は、特徴点情報22を用いて、カメラ200の画像中の特徴点をパターンマッチングにより検出できる。本実施形態では、検出の容易性に鑑みて、作業員が被るヘルメットを特徴点とする。よって、追跡部13は、カメラ200の画像中のヘルメットを検出できるように構成されている。
図2に示すように、作業員Mを追跡するための事前準備として、設定部11がカメラ200からの画像において足元平面30およびヘルメット平面40を設定する。具体的には、まず、作業領域の4隅に作業員Mを立たせた作業領域をカメラ200が撮影する。説明の便宜上、作業領域は各辺が5mの正方形の平面とする。また、カメラ200の撮影中心または焦点は、足元平面30の略中心またはヘルメット平面40の略中心にあるとする。作業員Mの撮影に関しては、例えば、略同じ背丈の4人の作業員Mを作業領域の4隅に立たせて撮影してもよい。また、同じ作業員Mを作業領域の1隅に立たせて撮影する手順を作業領域の各隅で繰り返し行うようにしてもよい。また、作業員Mの代わりにヘルメットHを被せたマネキンなどを用いてもよい。
次に、設定部11は、カメラ200から受信した画像中の各作業員Mの足元位置およびヘルメット位置を記録する。例えば、画像処理装置100を操作する施工管理者が画像に対して4カ所の足元位置をマウス(入力部の具体的手段)で指定することで足元位置を記録できる。また、施工管理者が画像に対して4カ所のヘルメット位置をマウス(入力部の具体的手段)で指定することでヘルメット位置を記録できる。
次に、設定部11は、記録した4カ所の足元位置を4隅とする足元平面30を画像中に描画する。例えば、画像に対して4カ所の足元位置を結ぶ線(枠線)を描くことにより、足元平面30を描画できる。なお、足元平面30の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
次に、設定部11は、記録した4カ所のヘルメット位置を4隅とするヘルメット平面40を画像中に描画する。例えば、画像に対して4カ所のヘルメット位置を結ぶ線(枠線)を描くことにより、ヘルメット平面40を描画できる。なお、ヘルメット平面40の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
以上の手順で、足元平面30およびヘルメット平面40の設定が実現される。
説明の便宜上、図2に示すように、足元平面30の4隅をそれぞれ点a,b,c,dとし、ヘルメット平面40の4隅をそれぞれ点A,B,C,Dとする。図2に示すように、点Aに位置するヘルメットHは、カメラ200の型式やカメラ200の設置位置の影響が無ければ、画像において、点aの上方に存在したはずのヘルメット位置から左方かつ下方にずれている。同様にして、点Bに位置するヘルメットHは、画像において、点bの上方に存在したはずのヘルメット位置から右方かつ下方にずれている。点Cに位置するヘルメットHは、画像において、点cの上方に存在したはずのヘルメット位置から左方かつ上方にずれている。点Dに位置するヘルメットHは、画像において、点dの上方に存在したはずのヘルメット位置から右方かつ上方にずれている。
図3に示すように、作業員Mを追跡するための事前準備として、マッピング部12が足元平面30およびヘルメット平面40に対するマッピング処理を行う。具体的には、まず、マッピング部12は、足元平面30について、線分ab,ac,bd,cdの各々を描くのに要する画素数をカウントする。マッピング部12は、ヘルメット平面40について、線分AB,AC,BD,CDの各々を描くのに要する画素数をカウントする。画素数のカウントは画像処理に関する周知の技術で実現できる。
次に、マッピング部12は、点aに作業員Mを仮に立たせた場合に、足元位置に対するヘルメット位置のズレ量を計算する。このズレ量は、画像において、作業員MのヘルメットHが位置する点Aから下方に足元平面30を含む地面に到達する点eと、点aとを結ぶ線分aeの寸法である。
マッピング部12は、点a,b,c,dで示す足元位置に対するヘルメット位置のズレ量を用いることで、足元平面30上の任意の足元位置に対する、ヘルメット平面40上の任意のヘルメット位置のズレ量を計算できる。例えば、線分abについて、点aで示す足元位置に対するヘルメット位置のズレ量の横成分から、点bで示す足元位置に対するヘルメット位置のズレ量の横成分までの変化は線形的な変化になる。このため、マッピング部12は、線分ab上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。線分cdについても、マッピング部12は、線分cd上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。また、線分acについて、点aで示す足元位置に対するヘルメット位置のズレ量の縦成分から、点cで示す足元位置に対するヘルメット位置のズレ量の縦成分までの変化は線形的な変化になる。このため、マッピング部12は、線分ac上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。線分bdについても、マッピング部12は、線分bd上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。上記に倣うと、足元平面30の任意の点で示す足元位置に対するヘルメット位置のズレ量は、横成分であっても縦成分であっても、足元平面30の他の点に対して線形的に変化する。このため、マッピング部12は、足元平面30上の任意の足元位置に対する、ヘルメット平面40上の任意のヘルメット位置のズレ量を計算できる。その結果、マッピング部12は、足元平面30上の各点におけるヘルメット位置のズレ量を用いることで、足元平面30上の位置とヘルメット平面40上の位置との対応関係を求めることができる。原理的には、足元平面30上の特定位置に作業員Mが立った場合には、当該特定位置に対して計算されるズレ量で示されるヘルメット平面40上の位置に作業員MのヘルメットHが存在することになるからである。マッピング部12は、上記対応関係をマッピング情報21として記録する。マッピング情報21は、足元平面30の各点とヘルメット平面40の各点を1対1に対応付ける役割を果たす。
以上の手順で、足元平面30およびヘルメット平面40に対するマッピング処理が実現する。
図4に示すように、カメラ200が撮影した作業員Mを追跡する場合、追跡部13は、特徴点情報22を用いて、ヘルメット平面40で作業員MのヘルメットHを特読点として検出する。追跡部13は、ヘルメットHを検出した場合、画像において、ヘルメット画像部分を囲む囲み線41を表示できる。作業員Mが作業領域内を移動した場合、追跡部13は、ヘルメットHの検出を継続でき、作業員Mを追跡できる。
追跡部13は、マッピング情報21が示す対応関係に従い、ヘルメット平面40上で検出したヘルメットHに対して、足元平面30上での作業員Mの足元位置を特定できる。作業員Mが作業領域内を移動した場合、追跡部13は、マッピング情報21が示す対応関係に従い、足元平面30上での作業員Mの足元位置を追跡できる。
図5に示すように、画像処理装置100は、カメラ200が撮影した画像に対し、以下の処理を実行する。すなわち、まず、設定部11が平面設定処理を行い、足元平面30おおびヘルメット平面40を設定する(ステップS1)。次に、マッピング部12がマッピング処理を行い、足元平面30上の位置とヘルメット平面40上の位置との対応関係を求める(ステップS2)。作業領域内で作業員Mによる作業が開始した後、追跡部13が追跡処理を行い、作業員Mの足元位置を特定しつつ作業員Mを追跡する(ステップS3)。
第2実施形態の説明の際、第1実施形態と重複する説明は概ね省略し、相違点について説明する。図6に示すように、設定部11は、足元平面30およびヘルメット平面40を設定する。
図6に示すように、作業員Mを追跡するための事前準備として、マッピング部12が足元平面30およびヘルメット平面40に対するマッピング処理を行う。具体的には、まず、マッピング部12は、足元平面30について、線分ab,ac,bd,cdの各々を、例えば、10等分し、100(=10×10)個のメッシュを作成する。マッピング部12は、足元平面30の各メッシュに番号を割り当てる。例えば、図6に示すように、足元平面30の左下隅のメッシュに番号「1」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「100」を割り当てる。
次に、マッピング部12は、ヘルメット平面40について、線分AB,AC,BD,CDの各々を、例えば、10等分し、100(=10×10)個のメッシュを作成する。マッピング部12は、ヘルメット平面40の各メッシュに番号を割り当てる。例えば、図6に示すように、ヘルメット平面40の左下隅のメッシュに番号「1」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「100」を割り当てる。
次に、マッピング部12は、足元平面30の各メッシュに対して、番号が同じとなる、ヘルメット平面40の各メッシュを対応付ける。つまり、例えば、マッピング部12は、足元平面30の「53」番目のメッシュと、ヘルメット平面40の「53」番目のメッシュとを対応付ける。
以上の手順で、足元平面30およびヘルメット平面40に対するマッピング処理が実現する。
カメラ200が撮影した作業員Mを追跡する場合、追跡部13は、特徴点情報22を用いて、ヘルメット平面40で作業員MのヘルメットHを特読点として検出する。追跡部13は、マッピング情報21が示す対応関係に従い、ヘルメット平面40の特定番号のメッシュ(1つでもよいし複数でもよい)で検出したヘルメットHに対して、同じ番号の足元平面30のメッシュを求める。追跡部13は、足元平面30の当該メッシュの位置を、足元平面30上での作業員Mの足元位置として特定できる。作業員Mが作業領域内を移動した場合、追跡部13は、マッピング情報21が示す対応関係に従い、足元平面30上での作業員Mの足元位置を追跡できる。
なお、足元平面30およびヘルメット平面40の双方に対して、メッシュの数を多くすることで、ヘルメット平面40上でのヘルメット位置の検出の精度を向上でき、足元平面30上での足元位置の検出精度を向上できる。第2実施形態では、足元平面30およびヘルメット平面40の対応関係は、メッシュによる面単位となるが、メッシュの数を多くして各メッシュの寸法を十分小さくすれば、実質的に点単位の対応関係を構成できる。
(a):足元平面30およびヘルメット平面40は、四角形に限らず、多角形でもよいし、円、楕円などでもよく、任意形状の平面でもよい。
(b):特徴点は、ヘルメットに限らず、例えば、反射チョッキ、自然界に無い色で塗られた安全帯でもよいし、作業員が身に着ける衣類にカラーバーコードを付したものでもよい。
(c):本実施形態による作業員の追跡を、コンクリート打設管理やプロット管理に応用できる。
(d):設定部11が足元平面30およびヘルメット平面40を設定する際、撮影対象の作業員の姿勢は、直立でなくてもよい。例えば、コンクリート打設作業時に構える少しかがんだ姿勢でもよい。設定部11は、作業員の姿勢に合わせて、足元平面30およびヘルメット平面40を設定できる。
(e):設定部11は、撮影対象の作業領域に障害物があっても、その障害物を包含するように足元平面30およびヘルメット平面40を設定できる。設定部11は、作業領域が凹凸していても、足元平面30およびヘルメット平面40を設定できる。
(g):本実施形態で説明したソフトウェアをハードウェアとして実現することもでき、ハードウェアをソフトウェアとして実現することもできる。
(h):その他、ハードウェア、ソフトウェア、フローチャートなどについて、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
200 カメラ
11 設定部
12 マッピング部
13 追跡部
21 マッピング情報
22 特徴点情報
30 足元平面
40 ヘルメット平面
M 作業員
H ヘルメット
Claims (3)
- 作業領域を斜め上から撮影した画像において、作業員の足元高さに第1平面を設定するとともに、前記第1平面よりも高い位置に前記第1平面に対応する形状の第2平面を設定する設定部と、
前記画像において前記第1平面上の位置と前記第2平面上の位置との対応関係を記録するマッピング部と、
前記第2平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第1平面上での前記作業員の足元位置を特定する追跡部とを備える画像処理装置。 - 前記第2平面を前記作業員のヘルメット高さに設定する請求項1に記載の画像処理装置。
- 画像処理装置が、
作業領域を斜め上から撮影した画像において、作業員の足元高さに第1平面を設定するとともに、前記第1平面よりも高い位置に前記第1平面に対応する形状の第2平面を設定するステップと、
前記画像において前記第1平面上の位置と前記第2平面上の位置との対応関係を記録するステップと、
前記第2平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第1平面上での前記作業員の足元位置を特定するステップとを実行する画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191365A JP7453125B2 (ja) | 2020-11-18 | 2020-11-18 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191365A JP7453125B2 (ja) | 2020-11-18 | 2020-11-18 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022080361A JP2022080361A (ja) | 2022-05-30 |
JP7453125B2 true JP7453125B2 (ja) | 2024-03-19 |
Family
ID=81757125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191365A Active JP7453125B2 (ja) | 2020-11-18 | 2020-11-18 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7453125B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020098590A (ja) | 2018-12-13 | 2020-06-25 | 田中 成典 | 移動物追跡装置 |
JP2020127225A (ja) | 2020-04-21 | 2020-08-20 | 住友重機械工業株式会社 | 作業機械用周辺監視システム及びショベル |
WO2020188746A1 (ja) | 2019-03-19 | 2020-09-24 | 日本電気株式会社 | 情報処理装置、推定方法、及び非一時的なコンピュータ可読媒体 |
-
2020
- 2020-11-18 JP JP2020191365A patent/JP7453125B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020098590A (ja) | 2018-12-13 | 2020-06-25 | 田中 成典 | 移動物追跡装置 |
WO2020188746A1 (ja) | 2019-03-19 | 2020-09-24 | 日本電気株式会社 | 情報処理装置、推定方法、及び非一時的なコンピュータ可読媒体 |
JP2020127225A (ja) | 2020-04-21 | 2020-08-20 | 住友重機械工業株式会社 | 作業機械用周辺監視システム及びショベル |
Also Published As
Publication number | Publication date |
---|---|
JP2022080361A (ja) | 2022-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105096382B (zh) | 一种在视频监控图像中关联真实物体信息的方法及装置 | |
US5073819A (en) | Computer assisted video surveying and method thereof | |
US8081815B2 (en) | Marker arrangement information measuring apparatus and method | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
JP5097765B2 (ja) | 計測方法および計測プログラムならびに計測装置 | |
JP5566281B2 (ja) | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム | |
US8721567B2 (en) | Mobile postural screening method and system | |
US20130201210A1 (en) | Virtual ruler | |
CN102484724A (zh) | 投影图像区域检测装置 | |
JP5079547B2 (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
JP6174968B2 (ja) | 撮像シミュレーション装置 | |
JP4242529B2 (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
JP2010025569A (ja) | カメラパラメータ特定装置および方法ならびにプログラム | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
CN103795935B (zh) | 一种基于图像校正的摄像式多目标定位方法及装置 | |
CN112949375B (zh) | 计算系统、计算方法及存储介质 | |
WO2012081319A1 (ja) | 映像監視装置 | |
CN102970514A (zh) | 映像监视装置、映像监视方法以及程序 | |
JP2015138333A (ja) | 表示制御プログラム、表示制御装置及び表示制御システム | |
KR20140114594A (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
JP5714960B2 (ja) | 監視範囲検知装置 | |
JP7453125B2 (ja) | 画像処理装置および画像処理方法 | |
CN114755696A (zh) | 测绘方法、装置、设备及存储介质 | |
JPWO2020153264A1 (ja) | 校正方法および校正装置 | |
JP2974316B1 (ja) | 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230322 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453125 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |