JP7174389B1 - 物体位置推定表示装置、方法及びプログラム - Google Patents

物体位置推定表示装置、方法及びプログラム Download PDF

Info

Publication number
JP7174389B1
JP7174389B1 JP2022023790A JP2022023790A JP7174389B1 JP 7174389 B1 JP7174389 B1 JP 7174389B1 JP 2022023790 A JP2022023790 A JP 2022023790A JP 2022023790 A JP2022023790 A JP 2022023790A JP 7174389 B1 JP7174389 B1 JP 7174389B1
Authority
JP
Japan
Prior art keywords
camera
marker
image
coordinate system
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022023790A
Other languages
English (en)
Other versions
JP2023120758A (ja
Inventor
浩二 小野
毅 平間
八雲 藤掛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUMAN SUPPORT TECHNOLOGY CO., LTD.
IBARAKI PREFECTURAL GOVERNMENT
Original Assignee
HUMAN SUPPORT TECHNOLOGY CO., LTD.
IBARAKI PREFECTURAL GOVERNMENT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUMAN SUPPORT TECHNOLOGY CO., LTD., IBARAKI PREFECTURAL GOVERNMENT filed Critical HUMAN SUPPORT TECHNOLOGY CO., LTD.
Priority to JP2022023790A priority Critical patent/JP7174389B1/ja
Application granted granted Critical
Publication of JP7174389B1 publication Critical patent/JP7174389B1/ja
Publication of JP2023120758A publication Critical patent/JP2023120758A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体の位置を容易にかつ正確に推定できるとともに、推定した物体の位置を分かりやすく表示することができる物体位置推定表示装置を提供すること。【解決手段】本発明の物体位置推定表示装置は、対象点設定手段、対象点位置推定手段及び表示手段１２を備える。対象点設定手段は、撮像した画像２１に映る物体Ａ１，Ａ２の所定の点を対象点２６ａ，２６ｂとして設定する。対象点位置推定手段は、カメラと平面３１との位置関係を示す位置関係情報と、カメラの内部パラメータ情報とに基づいて、カメラを基準とした俯瞰座標系上における対象点２６ａ，２６ｂの位置を推定する。なお、表示手段１２は、俯瞰平面の画像２２を表示するとともにその画像２２上に対象点２６ａ，２６ｂを示すアイコン２７ａ，２７ｂを表示する。【選択図】図２

Description

本発明は、物体の位置を推定して表示する物体位置推定表示装置、方法及びプログラムに関するものである。
従来、人間などの物体を撮像して得た画像に基づいて、物体の位置を推定する装置が用いられている（例えば、特許文献１参照）。
特開２０２０－１３６７００号公報（請求項１，４、図２等）
ところが、引用文献１に記載の従来技術では、人間の位置を推定するにあたり、人間を歩かせて画像位置情報を予め取得する必要があるため、推定作業が大変である。しかも、位置の推定に、人ごとに異なる身長のデータを用いているため、人間の位置を正確に推定することは困難である。また、引用文献１に記載の従来技術には、画像を表示手段に表示する旨が何ら開示されていないため、装置の使用者は、物体の正確な位置を知ることができない。ゆえに、画像を表示して物体の位置を分かりやすく表示することが求められている。
本発明は上記の課題に鑑みてなされたものであり、その目的は、物体の位置を容易にかつ正確に推定できるとともに、推定した物体の位置を分かりやすく表示することができる物体位置推定表示装置、物体位置推定表示方法及び物体位置推定表示プログラムを提供することにある。
上記課題を解決するために、請求項１に記載の発明は、物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備え、前記物体の位置を推定して表示する装置であって、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像する前記カメラと、撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握手段と、撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定手段と、前記位置関係把握手段が把握した位置関係情報としての前記鉛直ベクトルと、前記カメラの内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定手段とを備え、前記表示手段は、俯瞰平面の画像を表示するとともにその画像上に前記対象点を示すアイコンを表示することを特徴とする物体位置推定表示装置をその要旨とする。
請求項１に記載の発明では、平面上にマーカーを設置し、設置されたマーカーをカメラで撮像するだけで、位置関係把握手段は、撮像したマーカーに基づいて、カメラと平面との位置関係を自動的に把握する。さらに、対象点位置推定手段は、位置関係把握手段が把握した位置関係情報に基づいて、カメラを基準とした俯瞰座標系上における対象点の位置を自動的に推定する。つまり、マーカーを設置するだけで、対象点の位置が推定可能な状態となるため、推定した対象点の位置に基づいて、物体の位置を容易に推定することができる。また、位置関係把握手段は、平面からカメラまでの高さ、及び、平面からカメラに延びる垂線とカメラからマーカーに延びる線分とがなす角度を算出することにより、カメラと平面との位置関係を把握するため、物体の位置を正確に推定することができる。しかも、表示手段は、俯瞰平面の画像を表示するとともにその画像上に対象点を示すアイコンを表示する。これにより、推定した物体の位置を分かりやすく表示することができる。
なお、物体は、撮像対象空間内において平面上を移動する物体のことを指し、例えば、二足歩行の人間（請求項２）や四足歩行の動物等の生物、自動車等の無生物などを挙げることができる。さらに、四足歩行の動物としては、ウシ、ウマ、ブタ、ヒツジ、ヤギ等の家畜などを挙げることができる。また、対象点設定手段は、対象点を自動的に設定するものであってもよいし、対象点を手動で設定するものであってもよい。なお、対象点設定手段が対象点を自動的に設定するものであれば、使用者が対象点を設定しなくても済むため、使用者の作業負担を軽減することができる。
請求項２に記載の発明は、請求項１において、前記物体は人間または動物であり、前記対象点は前記人間または前記動物の足元に設定されることをその要旨とする。
請求項２に記載の発明では、対象点設定手段によって設定される対象点が人間または動物の足元に設定されるため、例えば、撮像した画像に映る複数の人間または複数の動物の高さ（身長）が互いに異なる場合であっても、対象点を平面に接地している箇所に設定することができる。これにより、カメラを基準とした俯瞰座標系上における対象点の位置を、正確に推定することができる。
請求項３に記載の発明は、請求項１または２において、前記俯瞰平面の画像上に、前記対象点を示すアイコンに加えて前記カメラを示すアイコンが表示されることをその要旨とする。
請求項３に記載の発明では、対象点を示すアイコンに加えてカメラを示すアイコンが表示されるため、使用者は、物体の正確な位置だけではなく、物体がどのカメラにより撮像されたものであるか（言い換えると、どの方向から撮像されたものであるか）を知ることができる。また、カメラの正確な位置も知ることができる。
請求項４に記載の発明は、請求項３において、前記表示手段は、前記俯瞰平面の画像と、前記カメラによって撮像された実際の画像とを並べて表示することをその要旨とする。
請求項４に記載の発明では、表示手段に俯瞰平面の画像と実際の画像とが表示されるため、両方の画像を見比べることにより、実際の画像に映る物体の全てが認識されているか否かを確認することができる。
請求項５に記載の発明は、請求項１乃至４のいずれか１項において、前記対象点を示すアイコンには、前記物体の種類を特定するための識別子が付与されていることをその要旨とする。
請求項５に記載の発明では、複数の物体が複雑に移動したとしても、それぞれの物体に付与された識別子を確認することにより、物体の種類を特定することができる。ここで、識別子としては、文字、数字、記号、絵等を用いることができる。
請求項６に記載の発明は、請求項１乃至５のいずれか１項において、前記カメラは複数台設けられ、前記対象点位置推定手段は、隣接する前記カメラの前記俯瞰座標系同士を前記マーカーを介して接続する演算処理を行うことにより、それぞれの前記カメラで撮像された画像同士を繋げる処理を行うことをその要旨とする。
請求項６に記載の発明では、隣接するカメラの俯瞰座標系同士を、これらのカメラに共通して映っているマーカーを介して接続する。具体的に言うと、例えば、一方のカメラの俯瞰座標系の点を、もう一方のカメラの俯瞰座標系の点に変換し、俯瞰座標系を共通化する。これにより、物体の位置を把握可能な範囲が拡張される。その結果、例えば撮像対象空間が広くて１台のカメラだけでは空間全体をカバーできない場合であっても、他のカメラと併せて撮像することで、死角がなくなり、空間全体において物体の位置を確実に把握することができる。また、物体の位置の推定精度も向上する。しかも、俯瞰座標系が、基準となる１つのカメラに合わせて統一されるため、把握した物体の位置は、使用者にとっても分かりやすいものとなる。
なお、本発明の場合、マーカーが特定の幾何学的特徴を有する二次元的なマーカーであるため、マーカーが例えば三次元的なものである場合よりも形状情報が単純なものとなる。その結果、マーカーの形状情報に基づいた、カメラと平面との位置関係を把握する制御が容易になるため、位置関係把握手段にかかる負担を低減することができる。
請求項７に記載の発明は、物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物体位置推定表示装置を用いて、前記物体の位置を推定して表示する方法であって、前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像するマーカー撮像ステップと、撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップとを含むことを特徴とする物体位置推定表示方法をその要旨とする。なお、請求項７に記載の発明では、上記請求項１と同様の作用を奏することができる。
請求項８に記載の発明は、物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物体位置推定表示装置を制御するプロセッサに、前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像するマーカー撮像ステップと、撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップとを実行させるための物体位置推定表示プログラムをその要旨とする。なお、請求項８に記載の発明では、上記請求項１と同様の作用を奏することができる。
以上詳述したように、請求項１～８に記載の発明によると、物体の位置を容易にかつ正確に推定できるとともに、推定した物体の位置を分かりやすく表示することができる。
第１実施形態における物体位置推定表示装置を示す概略構成図。 ディスプレイの表示を示す概略図。 （ａ）は、第１実施形態のマーカーを示す説明図、（ｂ），（ｃ）は、他の実施形態のマーカーを示す説明図。 人間の位置を推定して表示する処理を示すフローチャート。 外部パラメータによる座標変換を示す説明図。 床面ベクトルの推定の様子を示す説明図。 カメラを基準とした俯瞰座標系を示す説明図。 位置推定の様子を示す説明図。 方向ベクトルの導出の様子を示す説明図。 第２実施形態において、異なるカメラ同士から同じマーカーを撮像する様子を示す説明図。 マーカーを撮像する様子を示す俯瞰図。 第３の実施形態において、５台のカメラと２つのマーカーとを示す概略構成図。 カメラ同士の接続状態（即ち、カメラの俯瞰座標系同士が共通化された状態）を示す有向グラフ。 他の実施形態におけるマーカーの設置態様を示す説明図。
［第１実施形態］
以下、本発明を具体化した第１実施形態を図面に基づき詳細に説明する。
図１，図２に示されるように、本実施形態の物体位置推定表示装置１は、人間Ａ１，Ａ２（物体）の位置を推定して表示する装置である。また、物体位置推定表示装置１は、カメラ１１及びディスプレイ１２（表示手段）を備えている。本実施形態のカメラ１１は、固定式の単眼カメラであり、室内にいる人間Ａ１，Ａ２を撮像して画像２１（図２参照）を取得する。そして、カメラ１１は、取得した画像２１の画像データを出力する。
また、室内の床面３１（平面）上には、マーカー３２（図３（ａ）参照）が設置されている。マーカー３２は、特定の幾何学的特徴を有する二次元的な正方形状のマーカー（本実施形態ではArUcoマーカー ）であり、床面３１に貼付されている。なお、マーカー３２は、床面３１上に置くだけでよく、移動させなくてもよい。また、マーカー３２は、実際の位置推定を行うときには取り除いてもよい。
図２に示されるように、ディスプレイ１２の左側には、カメラ１１によって撮像された実際の画像２１が表示されている。本実施形態では、画像２１の中央部付近に人間Ａ１が映っており、画像２１の左側に別の人間Ａ２が映っている。また、画像２１上において、人間Ａ２は、人間Ａ１よりもやや手前に位置している。さらに、画像２１上には、人間Ａ１を認識する矩形状の枠２６ｃが人間Ａ１を囲むように表示され、人間Ａ２を認識する矩形状の枠２６ｄが人間Ａ２を囲むように表示されている。また、画像２１に映る人間Ａ１，Ａ２の足元には、対象点２６ａ，２６ｂが表示されている。対象点２６ａ，２６ｂは、人間Ａ１，Ａ２の所定の点、具体的には、人間Ａ１，Ａ２と床面３１との境界線上に設定され、かつ人間Ａ１，Ａ２の左足と右足との間に設定される点である。なお、本実施形態では、人間Ａ１の足元であって、枠２６ｃを構成する下辺の中央部分に、緑色の対象点２６ａが設定されており、人間Ａ２の足元であって、枠２６ｄを構成する下辺の中央部分に、赤色の対象点２６ｂが設定されている。
一方、ディスプレイ１２の右側には、俯瞰平面の画像２２が表示されている。俯瞰平面の画像２２は、床面３１を直上から見たときのイメージを示す画像である。また、俯瞰平面の画像２２には、複数の横線２３と複数の縦線２４とによって構成された格子線２５が表示されている。各横線２３は、横方向に沿ってそれぞれ直線的に延びており、縦方向において一定間隔を空けて設けられている。また、各縦線２４は、縦方向に沿ってそれぞれ直線状に延びており、横方向において一定間隔を空けて設けられている。そして、隣接する２本の横線２３と隣接する２本の縦線２４とによって構成されたマスは、縦１ｍ×横１ｍの正方形状の格子を示している。
さらに、俯瞰平面の画像２２上には、実際の画像２１に表示された対象点２６ａ，２６ｂを示す円形状のアイコン２７ａ，２７ｂが表示されている。本実施形態では、画像２２の中央部のやや上側に、緑色の対象点２６ａに対応する緑色のアイコン２７ａが表示され、画像２２の中央部のやや左側に、赤色の対象点２６ｂに対応する赤色のアイコン２７ｂが表示されている。さらに、アイコン２７ａ，２７ｂには、人間Ａ１，Ａ２の種類（つまり、どの人か）を特定するための識別子２８ａ，２８ｂが付与されている。本実施形態では、緑色のアイコン２７ａに、識別子２８ａである緑色の数字「１」が付与され、赤色のアイコン２７ｂに、識別子２８ｂである緑色の数字「０」が付与されている。また、俯瞰平面の画像２２上には、対象点２６ａ，２６ｂを示すアイコン２７ａ，２７ｂに加えて、カメラ１１を示すアイコン２９が表示されている。本実施形態のアイコン２９は、三角形状をなす青色のアイコンであり、画像２２の下側中央に表示されている。
次に、物体位置推定表示装置１の電気的構成について説明する。
図１に示されるように、物体位置推定表示装置１はパソコン（図示略）を備えており、パソコンは、装置全体を統括的に制御する制御装置４０（プロセッサ）を備えている。制御装置４０は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３等からなる周知のコンピュータにより構成されている。ＣＰＵ４１には、パソコンのディスプレイ１２及びパソコンのキーボード１３が電気的に接続されている。また、本実施形態では、制御装置４０にカメラ１１をＵＳＢ（Universal Serial Bus）ケーブルを介して接続することにより、ＣＰＵ４１にカメラ１１が電気的に接続される。そして、ＲＡＭ４３には、カメラ１１が取得した画像２１が記憶されるようになっている。また、ＲＯＭ４２には、物体位置推定表示装置１を制御するためのプログラム（物体位置推定表示プログラム）が記憶されている。
次に、物体位置推定表示装置１を用いて、人間Ａ１，Ａ２の位置を推定して表示する方法（物体位置推定表示方法）を説明する。
次に、カメラ１１と室内の床面３１との位置関係を把握する方法について説明する。まず、制御装置４０のＣＰＵ４１は、図４に示すステップＳ１０（マーカー撮像ステップ）において、カメラ１１を用いて、床面３１上に設置されたマーカー３２（図３（ａ）参照）を撮像する。
ところで、図５に示されるように、マーカー３２とカメラ１１との位置関係は、回転行列Ｒと並進ベクトルｔとからなる外部パラメータで表されている。また、マーカー３２は、自身を中心とした座標系（マーカー座標系）を有している。一方、カメラ１１も、自身を中心とした座標系（カメラ座標系）を有している。
そこで、ＣＰＵ４１は、図４に示すステップＳ２０（位置関係把握ステップ）において、撮像したマーカー３２を基準としたマーカー座標系上の点（Ｘ，Ｙ，Ｚ）を、カメラ１１を基準としたカメラ座標系上の点（ｘ，ｙ，ｚ）に変換する（図５参照）。なお、カメラ座標系上の点（ｘ，ｙ，ｚ）は、次式（１）にて算出することができる。
Figure 0007174389000002
次に、ＣＰＵ４１は、床面３１からカメラ１１までの高さｈを算出するとともに、床面３１からカメラ１１に延びる垂線とカメラ１１からマーカー３２に延びる線分とがなす角度θｔを算出することにより、カメラ１１と床面３１との位置関係を把握する（図６参照）。即ち、ＣＰＵ４１は、『位置関係把握手段』としての機能を有している。なお、カメラ１１と床面３１との位置関係は、カメラ座標系上の床面ベクトルＦとして表される。床面ベクトルＦの長さは、カメラ１１から床面３１までの距離と等しくなっている。また、床面ベクトルＦの向きは、マーカー座標系のＺ軸の向きとは逆向き（つまり、床面３１に対して垂直）になっている。
なお、床面ベクトルＦは、ベクトル同士の幾何学的性質を利用して以下のように求められる。まず、カメラ座標系において、Ｚ軸とは逆向きのベクトルｆを算出する。なお、ｅｍｚをマーカー座標系におけるＺ軸方向の単位ベクトルとすると、ベクトルｆは、回転行列Ｒに基づき、次式（２）にて算出することができる。
Figure 0007174389000003
次に、並進ベクトルｔが床面３１からカメラ１１に延びる垂線となす角度θtと、床面３１からカメラ１１までの高さｈとを算出する。まず、並進ベクトルｔとベクトルｆとの内積により、角度θtは、次式（３）にて算出することができる。
Figure 0007174389000004
また、高さｈは、次式（４）にて算出することができる。
Figure 0007174389000005
次に、ベクトルｆをスケーリングして、床面ベクトルＦを算出する。なお、床面ベクトルＦは、次式（５）にて算出することができる。
Figure 0007174389000006
次に、カメラ１１を基準とした人間Ａ１，Ａ２の位置を推定して表示する方法を以下に説明する。なお、本実施形態では、撮像した画像２１の中央部付近に映る人間Ａ１の位置を推定して表示する方法について説明する。具体的には、算出した床面ベクトルＦに基づいて、カメラ１１を基準とした俯瞰座標系上における対象点２６ａの位置を求める（図７参照）。俯瞰座標系は、カメラ１１や床面３１を垂直に俯瞰した座標系であり、カメラ１１と同じ方向にｙ軸、ｙ軸と直交する向きをｘ軸としたｘｙ座標系として表される。３次元的には、床面ベクトルＦをｚ軸とした左手座標系に相当する。
なお、位置推定を行うためには、カメラ１１の内部パラメータが必要である。内部パラメータとは、カメラ１１の焦点距離ｆｘ，ｆｙや光学中心ｃｘ，ｃｙからなる行列である。次式（６）により、カメラ座標系上の点（ｘ，ｙ，ｚ）を画像平面上の点（ａ，ｂ）へと変換することができる。
Figure 0007174389000007
また、内部パラメータは、OpenCV（Open Source Computer Vision Library ）で用意されているCalibrateCamera関数 や、カメラ１１のデータシートからの計算等により算出することができる。そして、ＣＰＵ４１は、図４に示すステップＳ３０（内部パラメータ入力ステップ）において、カメラ１１の内部パラメータの情報（内部パラメータ情報）をＲＡＭ４３に記憶する。即ち、ＲＡＭ４３は、カメラ１１の内部パラメータ情報を記憶する『記憶手段』としての機能を有している。
続くステップＳ４０（対象点設定ステップ）において、ＣＰＵ４１は、撮像した画像２１に映る人間Ａ１の足元に設定される所定の点を、対象点２６ａとして設定する。即ち、ＣＰＵ４１は、『対象点設定手段』としての機能を有している。詳述すると、本実施形態のＣＰＵ４１は、学習部としての機能を有している。学習部は、カメラ１１が取得した画像２１の画像データに基づいて、対象点２６ａの設定箇所（人間Ａ１の足元）をどのようにして認識するかを予め学習し、学習結果を得る。そして、学習部は、得られた学習結果を示すデータをＲＡＭ４３に記憶する。さらに、ＣＰＵ４１は、ＲＡＭ４３に記憶されている学習結果に基づいて、対象点２６ａの設定方法を決定し、その決定した内容に沿ってＣＰＵ４１による対象点２６ａの設定を行わせる。このようにすれば、学習部による学習結果に基づいて、対象点２６ａの設定方法が最適化されるため、最適化した内容に沿って対象点２６ａを設定することにより、対象点２６ａを正確に設定することができる。しかも、学習部による学習機会を多くすれば、対象点２６ａの設定方法がより最適化されるため、対象点２６ａをより正確に設定することが可能となる。
続くステップＳ５０（対象点位置推定ステップ）において、ＣＰＵ４１は、位置関係把握ステップにおいて把握した位置関係の情報（位置関係情報）と、ＲＡＭ４３に記憶されている内部パラメータ情報とに基づいて、カメラ１１を基準とした俯瞰座標系上における対象点２６ａの位置を推定する。即ち、ＣＰＵ４１は、『対象点位置推定手段』としての機能を有している。具体的に言うと、図８，図９に示されるように、カメラ１１を基準とした座標系上における対象点２６ａの位置（ｘ，ｙ）を、以下のように算出する。まず、人間Ａ１を撮像するなどして、図９に示す対象点（ｕ，ｖ）を決定する。この対象点（ｕ，ｖ）は、俯瞰平面上に存在するものと仮定される。
そして、次式（７）により、対象点（ｕ，ｖ）に対する３次元的な方向ベクトルｄを算出する。
Figure 0007174389000008
なお、図９では、画像平面に映った人間Ａ１の足元を対象点（ｕ，ｖ）としたうえで、対象点（ｕ，ｖ）に対する方向ベクトルｄを求めている。次に、次式（８）により、床面ベクトルＦと方向ベクトルｄとのなす角度θｄを算出する。
Figure 0007174389000009
さらに、次式（９）により、人間Ａ１までの直線距離ｄを算出した後、次式（１０）により、床面３１上における距離ｌｄを算出する。
Figure 0007174389000010
Figure 0007174389000011
そして、次式（１１）により、方向ベクトルｄをスケーリングしてＤを算出した後、次式（１２）により、ベクトルｇを算出する。
Figure 0007174389000012
Figure 0007174389000013
なお、ベクトルｇは、カメラ座標系における、俯瞰平面上での原点から対象点２６ａまでの位置を示している。
その後、式（８）～式（１２）と同様の式を用いて、カメラ座標系上のｚ軸方向の単位ベクトルｅｃｚに対して、ベクトルｇｙを求める（具体的には、式（８）～式（１２）の方向ベクトルｄを単位ベクトルｅｚ、ベクトルｇをベクトルｇｙに読み替える）。なお、図８に示されるように、ベクトルｇｙは、カメラ座標系において、俯瞰座標系のｙ軸と平行になっている。
次に、次式（１３）を用いて、ベクトルｇｙを床面ベクトルＦの周りで９０°回転させたベクトルｇｘを求める。
Figure 0007174389000014
ここで、ＲＦは回転行列であり、床面ベクトルＦを（Ｆｘ，Ｆｙ，Ｆｚ）で示したとき、回転行列ＲＦは次式（１４）にて算出することができる。
Figure 0007174389000015
また、ベクトルｇｘは、カメラ座標系において、俯瞰座標系のｘ軸と平行になっている。
次に、内積により、ベクトルｇとベクトルｇｙとがなす角度θを、次式（１５），（１６）を用いて算出する。
Figure 0007174389000016
Figure 0007174389000017
その結果、距離ｌｄ及び角度θから、対象点２６ａの位置（ｘ，ｙ）が極座標表示として得られたので、（ｘ，ｙ）は、ｘ＝ｌｄsinθ，ｙ＝ｌｄcosθとなる。これにより、カメラ１１を基準とした人間Ａ１の位置が推定される。
その後、ＣＰＵ４１は、図４に示すステップＳ６０（表示ステップ）において、ディスプレイ１２に俯瞰平面の画像２２を表示させるとともに、その画像２２上に対象点２６ａを示すアイコン２７ａを表示させる処理を行う。これにより、推定された人間Ａ１の位置が表示される。
従って、本実施形態によれば以下の効果を得ることができる。
（１）本実施形態の物体位置推定表示装置１では、床面３１上にマーカー３２を設置し、設置されたマーカー３２をカメラ１１で撮像するだけで、ＣＰＵ４１は、撮像したマーカー３２とカメラ１１との位置関係を外部パラメータを用いて自動的に把握し、カメラ１１と床面３１との位置関係を自動的に把握する。さらに、ＣＰＵ４１は、把握した位置関係情報に基づいて、カメラ１１を基準とした俯瞰座標系上における対象点２６ａ，２６ｂの位置を自動的に推定する。つまり、マーカー３２を設置するだけで、対象点２６ａ，２６ｂの位置が推定可能な状態となる。このため、推定した対象点２６ａ，２６ｂの位置に基づいて、人間Ａ１，Ａ２の位置を容易に推定することができる。しかも、ＣＰＵ４１は、外部パラメータである位置関係情報に加えて、カメラ１１の内部パラメータに基づいて対象点２６ａ，２６ｂの位置を推定するため、人間Ａ１，Ａ２の位置を正確に推定することができる。さらに、ＣＰＵ４１は、床面３１からカメラ１１までの高さｈ（図６参照）、及び、床面３１からカメラ１１に延びる垂線とカメラ１１からマーカー３２に延びる線分とがなす角度θｔ（図６参照）を算出することにより、カメラ１１と床面３１との位置関係を把握する。このため、人間Ａ１，Ａ２の位置をより正確に推定することができる。また、ディスプレイ１２は、俯瞰平面の画像２２を表示するとともにその画像２２上に対象点２６ａ，２６ｂを示すアイコン２７ａ，２７ｂを表示する。これにより、推定した人間Ａ１，Ａ２の位置を分かりやすく表示することができる。
（２）引用文献１には、カメラによって撮像された画像データ内の被写体（人間）の高さ等に基づいて、被写体の位置を推定する技術が開示されている（引用文献１の請求項４、図５等を参照）。しかしながら、被写体の高さ（身長）はバラバラである。また、被写体が近くにあれば画像データ内の被写体が高くなり、被写体が遠くにあれば画像データ内の被写体が低くなってしまう。よって、被写体の高さに基づいて被写体の位置を正確に推定することは困難である。
一方、本実施形態では、ＣＰＵ４１によって設定される対象点２６ａ，２６ｂが人間Ａ１，Ａ２の足元に設定されるため、例えば、撮像した画像２１に映る人間Ａ１，Ａ２の高さ（身長）が互いに異なる場合であっても、対象点２６ａ，２６ｂを床面３１に設置している箇所に設定することができる。これにより、カメラ１１を基準とした俯瞰座標系上における対象点２６ａ，２６ｂの位置を、正確に推定することができる。
（３）本実施形態のディスプレイ１２には、俯瞰平面の画像２２が表示され、その画像２２上には、縦１ｍ×横１ｍの格子を示すマスを構成する格子線２５が表示されている。このため、格子線２５に対象点２６ａ，２６ｂを示すアイコン２７ａ，２７ｂを表示することにより、人間Ａ１，Ａ２の位置を正確に知ることができる。
（４）本実施形態では、ＣＰＵ４１が、床面３１からカメラ１１までの高さｈ（図６参照）、及び、床面３１からカメラ１１に延びる垂線とカメラ１１からマーカー３２に延びる線分とがなす角度θｔ（図６参照）を算出することにより、カメラ１１と床面３１との位置関係を把握している。このため、専用の特殊なカメラを用いなくても、人間Ａ１，Ａ２の位置を簡単に精度良く推定することができる。なお、本実施形態では、人間Ａ１，Ａ２を撮像するカメラ１１として、比較的安価な単眼カメラを用いている。よって、人間Ａ１，Ａ２の撮像に高価なデプスカメラ等を用いる場合と比較して、装置のコストを低減することができる。
［第２実施形態］
以下、本発明を具体化した第２実施形態を図１０，図１１に基づいて説明する。ここでは、前記第１実施形態と相違する部分を中心に説明する。本実施形態では、物体位置推定表示装置１が２台のカメラ５１，５２（第１のカメラ５１、第２のカメラ５２）を有している点が、前記第１実施形態とは異なっている。
まず、２台のカメラ５１，５２を接続する方法を説明する。なお、前提として、使用するカメラ５１，５２は、床面３１との位置関係が床面ベクトルＦ１，Ｆ２の形で分かっている必要がある。また、マーカー６１は、床面３１上に設置されており、識別子（本実施形態ではＩＤ）によって、マーカー６１の種類（形状）を識別できる必要がある。
まず、それぞれのカメラ５１，５２によってマーカー６１を撮像し、マーカー６１と第１のカメラ５１との位置関係（Ｒ１，ｔ１）と、マーカー６１と第２のカメラ５２との位置関係（Ｒ２，ｔ２）とを推定する。その際、両カメラ５１，５２が同じマーカー６１を撮像しているか否かを、マーカー６１のＩＤによって確認する。
このようにしてマーカー６１を撮像した場合、カメラ５１，５２同士の直接的な位置関係は分からないが、世界座標系（マーカー座標系）は共有されている。このため、それぞれのカメラ５１，５２から見た点を、マーカー６１から見た点に変換して比較したり、さらに他方のカメラから見た点に変換したりすることが可能である。
そこで、ＣＰＵ４１は、隣接するカメラ５１，５２の俯瞰座標系同士をマーカー６１を介して接続する演算処理を行うことにより、それぞれのカメラ５１，５２で撮像された画像２１同士を繋げる処理を行う。ここで、「カメラ５１，５２で撮像された画像２１同士を繋げる処理」とは、カメラ５１，５２同士の位置関係を把握し、一方のカメラ（本実施形態では第２のカメラ５２）の俯瞰座標系の点（ｘ２，ｙ２）を、もう一方のカメラ（本実施形態では第１のカメラ５１）の俯瞰座標系の点（ｘ１，ｙ１）に変換する処理をいう。なお、第１のカメラ５１の俯瞰座標系の点（ｘ１，ｙ１）を、第２のカメラ５２の俯瞰座標系の点（ｘ２，ｙ２）に変換する処理を行ってもよいし、第１のカメラ５１の俯瞰座標系の点（ｘ１，ｙ１）及び第２のカメラ５２の俯瞰座標系の点（ｘ２，ｙ２）の両方を、他の俯瞰座標系の点に変換する処理を行ってもよい。
図１１に示されるように、各カメラ５１，５２の俯瞰座標系は同じ床面３１上に属しているため、俯瞰座標系同士の変換は、アフィン変換による回転行列Ｒ及び並進行列Ｔによって行うことができる。具体的には、上記したマーカー座標系の性質を利用して、以下の手順によって、アフィン変換行列Ａを求める。
まず、それぞれのカメラ５１，５２の床面ベクトルＦ１，Ｆ２を、次式（１７）によって逆変換し、マーカー座標系から見た床面ベクトルＦＭ１，ＦＭ２に変換する。
Figure 0007174389000018
次に、それぞれのカメラ５１，５２の単位ベクトルｅｚ１，ｅｚ２を、次式（１８）を用いて、マーカー座標系から見た俯瞰座標系におけるカメラ５１，５２の方向ベクトルｄＭ１，ｄＭ２に変換する。
Figure 0007174389000019
ここで、squeeze（Ａ） は、次式（１９）によって算出される。
Figure 0007174389000020
さらに、以下のようにして、並進行列Ｔを算出する。まず、マーカー座標系上の単位ベクトルをｅＭｙとし、方向ベクトルｄＭ１と単位ベクトルｅＭｙとがなす角度をθＴとすると、角度θＴは、次式（２０）によって算出される。
Figure 0007174389000021
ここで、sign（ａ，ｂ）は、次式（２１）によって算出される。
Figure 0007174389000022
さらに、原点がマーカー座標系と共通で、第１のカメラ５１に対する俯瞰座標系と平行な座標軸を持つ座標系にマーカー座標系を変換する際のアフィン変換行列Ａ１は、次式（２２）によって算出される。
Figure 0007174389000023
また、上記の座標系上において、第２のカメラ５２から第１のカメラ５１への並進ベクトルｔ＝（ｔ１，ｔ２，ｔ３）は、次式（２３）によって算出される。
Figure 0007174389000024
そして、並進行列Ｔは、次式（２４）によって算出される。
Figure 0007174389000025
さらに、以下のようにして、回転行列Ｒを算出する。まず、方向ベクトルｄＭ１と方向ベクトルｄＭ２とがなす角度をθＲとすると、角度θＲは、次式（２５）によって算出される。
Figure 0007174389000026
そして、回転行列Ｒは、次式（２６）によって算出される。
Figure 0007174389000027
次に、次式（２７）により、回転行列Ｒと並進行列Ｔとが合成されたアフィン変換行列Ａを得る。
Figure 0007174389000028
なお、第２のカメラ５２の俯瞰座標系上の点（ｘ２，ｙ２）から第１のカメラ５１の俯瞰座標系上の点（ｘ１，ｙ１）への変換は、次式（２８）によって算出される。
Figure 0007174389000029
従って、本実施形態によれば、隣接するカメラ５１，５２の俯瞰座標系同士を、両カメラ５１，５２に共通して映っているマーカー６１を介して接続する。具体的に言うと、例えば、一方のカメラ（第２のカメラ５２）の俯瞰座標系の点を、もう一方のカメラ（第１のカメラ５１）の俯瞰座標系の点に変換し、俯瞰座標系を共通化する。これにより、人間の位置を把握可能な範囲が拡張される。その結果、例えば撮像対象空間が広くて１台のカメラだけでは空間全体をカバーできない場合（例えば、画像２１の隅等の領域をカバーできない場合）であっても、他のカメラと併せて撮像することで、死角がなくなり、空間全体において人間の位置を確実に把握することができる。また、人間の位置の推定精度も向上する。しかも、俯瞰座標系が、基準となる１つのカメラに合わせて統一されるため、把握した人間の位置は、使用者にとっても分かりやすいものとなる。
［第３実施形態］
以下、本発明を具体化した第３実施形態を図１２，図１３に基づいて説明する。ここでは、前記第２実施形態と相違する部分を中心に説明する。本実施形態では、物体位置推定装置１が３台以上（ここでは５台）のカメラ７１～７５（第１のカメラ７１、第２のカメラ７２、第３のカメラ７３、第４のカメラ７４、第５のカメラ７５）を有している点が、前記第２実施形態とは異なっている。
例えば、３台以上のカメラを接続する場合、即ち、カメラの俯瞰座標系を共通化する場合、全てのカメラから同じマーカーが見えていれば、上記第２実施形態の手法を適用できるため、接続が可能である。しかし、そのようなケースは珍しく、カメラの位置や画角の制限等によって、接続は不可能なことが多い。従って、この問題を解決するためには、複数のマーカーを利用してカメラの俯瞰座標系同士を共通化する必要がある。
例えば、図１２に示される物体位置推定表示装置７０では、５台のカメラ７１～７５に対して２つのマーカー８１Ａ，８１Ｂが設けられている。第１のカメラ７１～第３のカメラ７３にはマーカー８１Ａが見えていて、第３のカメラ７３～第５のカメラ７５にはマーカー８１Ｂが見えている。
この場合、マーカー８１Ａ，８１Ｂのそれぞれについて、同じマーカーが見えているカメラ同士の接続状態を調べた後、接続が判明している組み合わせに対して接続を繰り返す。例えば、図１２において、第３のカメラ７３－第１のカメラ７１間の接続と、第５のカメラ７５－第３のカメラ７３間の接続とが既に判明している場合に、第５のカメラ７５と第１のカメラ７１とを接続する方法について説明する。まず、ＣＰＵ４１は、第５のカメラ７５の俯瞰座標系と第３のカメラ７３の俯瞰座標系とをマーカー８１Ｂを介して接続することにより、第５のカメラ７５の俯瞰座標系の点を、第３のカメラ７３の俯瞰座標系の点に変換する。次に、ＣＰＵ４１は、第３のカメラ７３の俯瞰座標系と第１のカメラ７１の俯瞰座標系とをマーカー８１Ａを介して接続することにより、変換した第３のカメラ７３の俯瞰座標系の点を、第１のカメラ７１の俯瞰座標系の点に変換する。その結果、第５のカメラ７５の俯瞰座標系と第１のカメラ７１の俯瞰座標系とが、マーカー８１Ａ，８１Ｂを介して接続され、人間の位置を把握可能な範囲が段階的に拡張される。
なお、このようなカメラ７１～７５同士の接続状態（即ち、カメラ７１～７５の俯瞰座標系同士が共通化された状態）は、図１３に示される有向グラフを用いて簡単に示すことができる。各ノードは、カメラ７１～７５ごとに振り分けられた番号であり、各ノードを繋ぐ経路（図１３では矢印）は、カメラ同士の接続が判明していることを意味している。また、それぞれの経路には、接続に対応する変換行列Ａが重みとして加えられている。図１３では、第１のカメラ７１～第３のカメラ７３が共通のマーカー８１Ａを介して接続され、第３のカメラ７３～第５のカメラ７５が共通のマーカー８１Ｂを介して接続されている。なお、図１３では、各ノードを繋ぐ経路の幾つかが省略されている。
また、有向グラフを用いた場合、特定のカメラＳから対象のカメラＴへの接続は、カメラＳからカメラＴまでの経路を調べた後、経路上の重みを順番にかけていくことによって求められる。このような有向グラフをコンピュータ上で表現したり探索したりする方法は周知であり、実装も容易である。
また、マーカー８１Ａ，８１Ｂ及びカメラ７１～７５の設置方法によっては、特定のカメラ同士の接続が存在しない場合（有向グラフが分断されている場合）があるが、このような場合の検出も容易に行うことができる。
なお、上記各実施形態を以下のように変更してもよい。
・上記各実施形態のカメラ１１，５１，５２，７１～７５は、動画を撮像するビデオカメラであったが、静止画を撮像するカメラであってもよい。また、上記各実施形態のカメラ１１，５１，５２，７１～７５は、単眼カメラであったが、複眼カメラ等の他のカメラであってもよい。さらに、映像の奥行きを測定できるデプスカメラやステレオカメラを用いてもよい。さらには、元々そこに設置されている既存のカメラを利用して、物体位置推定を行ってもよい。
・上記各実施形態では、人間Ａ１，Ａ２に設定される対象点２６ａ，２６ｂが、人間Ａ１，Ａ２の足元に設定されていたが、人間Ａ１，Ａ２の胸や頭等の他の箇所に設定されていてもよい。なお、人間Ａ１，Ａ２の高さ（身長）や姿勢が既知であれば、対象点２６ａ，２６ｂが人間Ａ１，Ａ２の足元に設定されていなくても、人間Ａ１，Ａ２の位置推定が可能となる。
・上記各実施形態の物体位置推定表示装置１，７０は、人間Ａ１，Ａ２の位置を推定するものであったが、ウシなどの家畜（物体）の位置を推定するものであってもよい。この場合、対象点設定手段であるＣＰＵ４１は、画像２１に映るウシの足元に対象点を設定する。例えば、画像２１に映るウシの脚が３本である場合、ＣＰＵ４１は、最も左に映るウシの脚と最も右に映るウシの脚との中間位置等に対象点を設定する。そして、ＣＰＵ４１は、カメラを基準とした俯瞰座標系上における対象点の位置を推定する。また、物体位置推定表示装置１，７０を利用して、家畜の健康状態等を推定するシステムを構成してもよい。具体的には、画像２１に映るウシの速度等に基づいて、ウシが病気であるか否かを判定してもよい。また、画像２１の画像データに基づいて、ウシが他のウシに接触しているか否か等を判定し、ウシが発情しているか否かを判定してもよい。なお、ウシ以外の家畜に応用してもよい。
・上記各実施形態のマーカー３２，６１，８１Ａ，８１Ｂは、床面３１に対して平行に設置されていた。しかしながら、家畜がいる床面に凹凸がある場合や、床面が家畜の糞尿で汚れている場合には、マーカーを床面３１に平行に設置することが困難である。そこで、例えば図１４に示されるように、マーカー９１を、床面３１に対して所定角度（ここでは９０°）だけ傾斜させた状態で、床面３１上に設置してもよい。なお、所定角度のデータは、物体位置推定表示装置１，７０側（ＲＯＭ４２）に予め設定される必要がある。
・図３（ｂ），（ｃ）に示されるように、上記第１実施形態のマーカー３２とは異なる幾何学的特徴（パターン）を有するマーカー３３，３４を用いてもよい。また、上記第１実施形態のマーカー３２は、二次元的なArUcoマーカー であったが、ＱＲコード（株式会社デンソーウェーブの登録商標）やAprilTag等の他の二次元的なマーカーであってもよい。さらに、絵、文字、記号等の他の二次元的なものをマーカーとして用いてもよい。また、床面３１上に存在する突起等の三次元的なものを、マーカーとして用いてもよい。
次に、特許請求の範囲に記載された技術的思想のほかに、前述した実施形態によって把握される技術的思想を以下に列挙する。
（１）請求項１乃至７のいずれか１項において、前記位置関係把握手段は、回転行列と並進ベクトルとからなる外部パラメータを用いて、撮像した前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換することを特徴とする物体位置推定表示装置。
（２）請求項１乃至７のいずれか１項において、前記内部パラメータ情報を記憶する記憶手段を備え、前記対象点位置推定手段は、前記位置関係把握手段が把握した位置関係情報と、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記対象点の位置を推定することを特徴とする物体位置推定表示装置。
（３）技術的思想（２）において、前記対象点位置推定手段は、前記内部パラメータ情報を算出して前記記憶手段に記憶させることを特徴とする物体位置推定表示装置。
１，７０…物体位置推定表示装置
１１，５１，５２，７１，７２，７３，７４，７５…カメラ
１２…表示手段としてのディスプレイ
２１…実際の画像
２２…俯瞰平面の画像
２６ａ，２６ｂ…対象点
２７ａ，２７ｂ…対象点を示すアイコン
２８ａ，２８ｂ…識別子
２９…カメラを示すアイコン
３１…平面としての床面
３２，３３，３４，６１，８１Ａ，８１Ｂ，９１…マーカー
４０…プロセッサとしての制御装置
４１…位置関係把握手段、対象点設定手段及び対象点位置推定手段としてのＣＰＵ
４３…記憶手段としてのＲＡＭ
Ａ１，Ａ２…物体としての人間
ｈ…平面からカメラまでの高さ
θｔ…平面からカメラに延びる垂線とカメラからマーカーに延びる線分とがなす角度

Claims (8)

  1. 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備え、前記物体の位置を推定して表示する装置であって、
    平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像する前記カメラと、
    撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握手段と、
    撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定手段と、
    前記位置関係把握手段が把握した位置関係情報としての前記鉛直ベクトルと、前記カメラの内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定手段と
    を備え、
    前記表示手段は、俯瞰平面の画像を表示するとともにその画像上に前記対象点を示すアイコンを表示する
    ことを特徴とする物体位置推定表示装置。
  2. 前記物体は人間または動物であり、前記対象点は前記人間または前記動物の足元に設定されることを特徴とする請求項１に記載の物体位置推定表示装置。
  3. 前記俯瞰平面の画像上に、前記対象点を示すアイコンに加えて前記カメラを示すアイコンが表示されることを特徴とする請求項１または２に記載の物体位置推定表示装置。
  4. 前記表示手段は、前記俯瞰平面の画像と、前記カメラによって撮像された実際の画像とを並べて表示することを特徴とする請求項３に記載の物体位置推定表示装置。
  5. 前記対象点を示すアイコンには、前記物体の種類を特定するための識別子が付与されていることを特徴とする請求項１乃至４のいずれか１項に記載の物体位置推定表示装置。
  6. 前記カメラは複数台設けられ、
    前記対象点位置推定手段は、隣接する前記カメラの前記俯瞰座標系同士を前記マーカーを介して接続する演算処理を行うことにより、それぞれの前記カメラで撮像された画像同士を繋げる処理を行う
    ことを特徴とする請求項１乃至５のいずれか１項に記載の物体位置推定表示装置。
  7. 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物体位置推定表示装置を用いて、前記物体の位置を推定して表示する方法であって、
    前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像するマーカー撮像ステップと、
    撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、
    前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、
    撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、
    前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、
    前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップと
    を含むことを特徴とする物体位置推定表示方法。
  8. 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物体位置推定表示装置を制御するプロセッサに、
    前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるＡＲマーカーを撮像するマーカー撮像ステップと、
    撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのＺ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、
    前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、
    撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、
    前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、
    前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップと
    を実行させるための物体位置推定表示プログラム。
JP2022023790A 2022-02-18 2022-02-18 物体位置推定表示装置、方法及びプログラム Active JP7174389B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022023790A JP7174389B1 (ja) 2022-02-18 2022-02-18 物体位置推定表示装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022023790A JP7174389B1 (ja) 2022-02-18 2022-02-18 物体位置推定表示装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7174389B1 true JP7174389B1 (ja) 2022-11-17
JP2023120758A JP2023120758A (ja) 2023-08-30

Family

ID=84100536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022023790A Active JP7174389B1 (ja) 2022-02-18 2022-02-18 物体位置推定表示装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7174389B1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115006A (ja) 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム
JP2010258897A (ja) 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置
WO2015087730A1 (ja) 2013-12-10 2015-06-18 株式会社日立国際電気 監視システム
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP2017074870A (ja) 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP2018074286A (ja) 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
JP2020043400A (ja) 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置
JP2020045687A (ja) 2018-09-19 2020-03-26 日立建機株式会社 作業機械
JP2021019253A (ja) 2019-07-18 2021-02-15 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115006A (ja) 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム
JP2010258897A (ja) 2009-04-27 2010-11-11 Fujitsu Ltd 判定プログラムおよびキャリブレーション装置
WO2015087730A1 (ja) 2013-12-10 2015-06-18 株式会社日立国際電気 監視システム
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP2017074870A (ja) 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP2018074286A (ja) 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置
JP2020043400A (ja) 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置
JP2020045687A (ja) 2018-09-19 2020-03-26 日立建機株式会社 作業機械
JP2021019253A (ja) 2019-07-18 2021-02-15 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法

Also Published As

Publication number Publication date
JP2023120758A (ja) 2023-08-30

Similar Documents

Publication Publication Date Title
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
JP5812599B2 (ja) 情報処理方法及びその装置
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
US11398049B2 (en) Object tracking device, object tracking method, and object tracking program
WO2015037178A1 (ja) 姿勢推定方法及びロボット
US20130187919A1 (en) 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion
JP7111114B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP2017103602A (ja) 位置検出装置、位置検出方法及びプログラム
WO2020063987A1 (zh) 三维扫描方法、装置、存储介质和处理器
KR101239532B1 (ko) 로봇의 위치 인식 장치 및 방법
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP4938748B2 (ja) 画像認識装置及びプログラム
JP2009121824A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP4227037B2 (ja) 撮像システム及び校正方法
JP7174389B1 (ja) 物体位置推定表示装置、方法及びプログラム
JP2010184300A (ja) 姿勢変更システムおよび姿勢変更方法
CN108234932B (zh) 视频监控图像中的人员形态提取方法及装置
JP2002259984A (ja) 動作解析装置及び動作解析方法
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP2002008043A (ja) 動作解析装置及び動作解析方法
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
JP2021093151A (ja) オブジェクト認識システム、装置、方法及びプログラム
JP2021047516A (ja) 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221027

R150 Certificate of patent or registration of utility model

Ref document number: 7174389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150