JP2024070133A

JP2024070133A - 目標認識方法、プログラム及び装置

Info

Publication number: JP2024070133A
Application number: JP2022180545A
Authority: JP
Inventors: 将希田中
Original assignee: Obayashi Corp
Current assignee: Obayashi Corp
Priority date: 2022-11-10
Filing date: 2022-11-10
Publication date: 2024-05-22

Abstract

【課題】目標を簡便に認識できる目標認識方法、プログラム及び装置を提供する。【解決手段】目標認識方法は、現実空間内でカメラ１ａによって目標の画像を取得する目標撮影ステップＳ２と、画像に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態に基づいて、画像内での目標の位置を含む目標状態に対応する現実空間内での目標状態を特定する目標状態特定ステップＳ４とを有する。【選択図】図１

Description

本発明は目標認識方法、プログラム及び装置に関する。

所定領域内の様々な場所に設置した位置測位センサによって滞在者の位置を特定する滞在者認識方法が知られている（例えば特許文献１参照）。

国際公開第２０１５／１２９０５５号

所望の目標を認識するために、所定領域内の様々な場所にセンサを設置することは煩雑である。

そこで本発明の目的は、目標を簡便に認識できる目標認識方法、プログラム及び装置を提供することにある。

本発明の一態様は以下のとおりである。

［１］
現実空間内でカメラによって目標の画像を取得する目標撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する目標状態特定ステップとを有する、目標認識方法。

［２］
前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、［１］に記載の目標認識方法。

［３］
前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、［２］に記載の目標認識方法。

［４］
前記カメラ状態は前記カメラの前記位置と向きを含み、
前記目標状態は前記目標の前記位置と向きを含む、［１］～［３］の何れか１項に記載の目標認識方法。

［５］
前記現実空間内での前記目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップを有する、［１］～［４］の何れか１項に記載の目標認識方法。

［６］
前記現実空間は、GPS測定ができない空間である、［１］～［５］の何れか１項に記載の作業認識方法。

［７］
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する目標状態特定ステップとをコンピュータに実行させる、目標認識プログラム。

［８］
カメラと、
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する処理装置とを有する、目標認識装置。

本発明によれば、目標を簡便に認識できる目標認識方法、プログラム及び装置を提供することができる。

本発明の一実施形態の目標認識方法を示すフロー図である。図１に示す目標認識方法を行うための目標認識装置の一例を示すブロック図である。

以下、図面を参照しつつ本発明の実施形態を例示説明する。

図１に示すように、本発明の一実施形態において、目標認識方法は、現実空間内でカメラ１ａ（図２参照）によって目標の画像を取得する目標撮影ステップＳ２と、画像に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態と、画像内での目標の位置を含む目標状態である画像内目標状態とに基づいて、現実空間内での目標状態を特定する目標状態特定ステップＳ４とを有する。

このような構成によれば、まずカメラ状態特定ステップＳ３により、現実空間内での画像を取得した時のカメラ１ａの位置の推定結果を、マップ内でのカメラ１ａの位置として認識し、次に目標状態特定ステップＳ４により、当該カメラ１ａの位置と当該画像内での目標の位置の推定結果とに基づいて、現実空間内での目標の位置認識できる。このように、上記構成によれば、カメラ１ａによって取得された画像に基づいて目標を認識できるので、様々な場所にセンサを設置する煩雑な作業等の必要性を低減できる。また上記構成によれば、GPS（Global Positioning System）測定ができない空間においても、目標の位置を認識できる。

画像は単眼画像でよいが、例えば、ステレオ画像などであってもよい。画像は、目標を連続して撮影して得られた動画を構成する１コマであってもよいし、目標を断続して撮影して得られた複数の静止画像の１つであってもよい。

カメラ状態特定ステップＳ３は、画像に含まれる現実空間内の特徴点群（周囲の構造物の稜線など、位置を知るための目印となる特徴点の集合）と、当該特徴点群に対応するマップ内での特徴点群とを比較することで、マップ内でのカメラ状態を特定する。このような構成によれば、カメラ状態特定ステップＳ３において、カメラ１ａの急な移動等による現実空間内でのカメラ１ａの位置の推定誤差（すなわち、現実空間内でのカメラ１ａの位置とマップ内でのカメラ１ａの位置との間のずれ）の発生とその蓄積を抑制でき、その結果、現実空間内での目標の位置の推定精度を高めることができる。しかし、カメラ状態特定ステップＳ３の構成はこれに限らない。

目標認識方法は、マップ内での特徴点群を構築するために、現実空間内でカメラ１ａを移動させながら現実空間内の特徴点群を撮影する特徴点群撮影ステップＳ１を有する。このような構成によれば、マップ内での特徴点群をカメラ１ａによって簡単に構築できる。しかし、マップ内での特徴点群の構築方法はこれに限らない。

特徴点群撮影ステップＳ１、目標撮影ステップＳ２及びカメラ状態特定ステップＳ３は、例えば、Visual SLAM（Visual Simultaneous Localization and Mapping）技術を用いて実行することができる。

カメラ状態はカメラ１ａの位置と向きを含み、目標状態は目標の位置と向きを含む。このような構成によれば、カメラ１ａによって取得された画像に基づいて、目標の位置に加えて目標の向きも認識できる。しかし、カメラ状態の構成はこれに限らない。

目標状態特定ステップＳ４は、目標に付され画像に含まれる大きさが既知のマーカーによって画像内での目標状態を特定する。このような構成によれば、画像内での目標手段の目標状態の推定精度を高めることができる。しかし、目標状態特定ステップＳ４はこれに限らず、例えば、視差（単眼画像の時間視差、ステレオ画像視差など）や遠近法などによって画像内での目標状態を特定する構成としてもよい。

目標は特に限定されず、例えば、案内地図である。この場合、カメラ１ａによって取得された画像に基づいて経路案内を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、ウェアラブルカメラや、スマートグラスなどのウェアラブル端末に内蔵されたカメラなどを用いることが好ましい。

目標は、例えば、銃器、戦車などの兵器であってもよい。この場合、カメラ１ａによって取得された画像に基づいて索敵を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、ウェアラブルカメラや、スマートグラスなどのウェアラブル端末に内蔵されたカメラや、兵器に搭載されたカメラなどを用いることが好ましい。

目標は、例えば、橋梁工事、宅地造成、ゴルフコース造成工事等における地形などの測量対象であってもよい。この場合、カメラ１ａによって取得された画像に基づいて測量を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、航空機やドローンなどの測量手段に搭載されたカメラなどを用いることが好ましい。

目標認識方法は、図１に示すように、現実空間内での目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップＳ５を有する。このような構成によれば、カメラ１ａによって取得された画像に基づいて推定した目標状態又は当該目標状態に基づいて推定した情報を関係者などに報知し、適切な対応を促すことができる。しかし、報知ステップＳ５を設けない構成としてもよい。報知の方式は特に限定されないが、現実世界に仮想世界を重ね合わせて表示する拡張現実方式が好ましい。

目標認識方法は、カメラ状態特定ステップＳ３、目標状態特定ステップＳ４及び報知ステップＳ５をコンピュータに実行させる目標認識プログラムを用いて実行される。しかし、目標認識方法の構成はこれに限らない。

目標認識方法は、図２に示すような、カメラ１ａ、処理装置１ｂ及び報知装置１ｃを有する目標認識装置１を用いて実行される。処理装置１ｂはコンピュータによって構成され、目標認識プログラムによってカメラ状態特定ステップＳ３及び目標状態特定ステップＳ４を実行する。また処理装置１ｂは目標認識プログラムと報知装置１ｃによって報知ステップＳ５を実行する。しかし、目標認識方法の構成はこれに限らない。

報知装置１ｃは特に限定されないが、ディスプレイによって構成することが好ましい。ディスプレイは特に限定されず例えば、スマートグラスなどのウェアラブル端末や、スマートフォン、タブレット、ノートパソコンなどの携帯端末や、デスクトップパソコンなどの固定端末などの、任意の端末に設けられる。

本発明は前述した実施形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１目標認識装置
１ａカメラ
１ｂ処理装置
１ｃ報知装置
Ｓ１特徴点群撮影ステップ
Ｓ２目標撮影ステップ
Ｓ３カメラ状態特定ステップ
Ｓ４目標状態特定ステップ
Ｓ５報知ステップ

Claims

現実空間内でカメラによって目標の画像を取得する目標撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する目標状態特定ステップとを有する、目標認識方法。
前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、請求項１に記載の目標認識方法。
前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、請求項２に記載の目標認識方法。
前記カメラ状態は前記カメラの前記位置と向きを含み、
前記目標状態は前記目標の前記位置と向きを含む、請求項１に記載の目標認識方法。
前記現実空間内での前記目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップを有する、請求項１に記載の目標認識方法。
前記現実空間は、GPS測定ができない空間である、請求項１に記載の目標認識方法。
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する目標状態特定ステップとをコンピュータに実行させる、目標認識プログラム。
カメラと、
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する処理装置とを有する、目標認識装置。