JPWO2019064457A1 - コンピュータシステム、位置推測方法及びプログラム - Google Patents

Abstract

【課題】カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することを目的とする。【解決手段】コンピュータシステムは、対象物を撮影した画像を取得し、前記対象物を撮影したカメラの３次元の位置データを取得し、前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測する。また、コンピュータシステムは、カメラが対象物の方向に所定角度傾けることが可能であり、カメラの３次元の位置データ及び傾けた所定角度に基づいて対象物の絶対的な位置を推測する。また、コンピュータシステムは、対象物の位置と、この位置における高度とを対応付けて記憶し、推測した対象物の位置に対応付けられた高度を推測する。【選択図】図１

Description

本発明は、対象物を撮影することにより、この対象物の位置を推測するコンピュータシステム、位置推測方法及びプログラムに関する。

近年、ドローン等により、上空から様々な画像を撮影することが行われている。このような撮影において、この画像に写っている対象物の位置データ（緯度及び経度）を推測するために、ドローンを対象物の上空まで移動させることが行われている。このような位置の推測において、ドローン自体の位置データは、把握しているため、このドローンの位置データを、対象物の位置データとして推測することにより行われる。

しかしながら、ドローンを対象物まで移動させる手間がかかることから、このような方法とは異なる方法により、対象物の位置データを推測することが求められている。対象物の位置データの推測方法として、例えば、ステレオカメラを用いて対象物を撮影し、撮影画像と、ジャイロセンサにより検出したステレオカメラの傾きとにより、対象物の位置データを推測する構成が知られている（特許文献１参照）。

特開２０１７−３２２７６

しかしながら、特許文献１の構成では、対象物をステレオカメラで撮影する必要があることから、ドローン等に取り付ける場合、コストの増大や装置の大型化及び消費電力の増加に伴う飛行時間の減少等の問題があることから利便性が低くなってしまうおそれがあった。

本発明は、カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、対象物を撮影した画像を取得する画像取得手段と、
前記対象物を撮影したカメラの３次元の位置データを取得する位置データ取得手段と、
前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測する位置推測手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、コンピュータシステムは、対象物を撮影した画像を取得し、前記対象物を撮影したカメラの３次元の位置データを取得し、前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測する。

本発明は、コンピュータシステムのカテゴリであるが、位置推測法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することが可能となる。

図１は、位置推測システム１の概要を示す図である。 図２は、位置推測システム１の全体構成図である。 図３は、ドローン１０の機能ブロック図である。 図４は、ドローン１０が実行する位置推測処理を示すフローチャートである。 図５は、ドローン１０が実行する対象物の位置推測を模式的に示した図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［位置推測システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である位置推測システム１の概要を説明するための図である。位置推測システム１は、ドローン１０から構成され、所定の飛行高度で飛行し、様々な動画や静止画等の画像を撮影するコンピュータシステムである。

ドローン１０は、動画や静止画等の画像を撮影するカメラ等の撮影装置、撮影装置の傾きを検出するジャイロセンサ、加速度センサ、高度計、風向センサ等の各種センサ、飛行に必要なプロペラや動力等を備える。ドローン１０は、予め設定された飛行経路や図示していない情報端末が指定する飛行経路に基づいて飛行する。

ドローン１０は、位置を推測したい対象物に関するデータ（特徴点や特徴量等）を取得し、記憶する。これは、図示していない情報端末から取得してもよいし、ドローン１０に、この対象物に関するデータを入力していてもよい。

なお、ドローン１０は、無線接続又は有線接続により、図示していない情報端末と接続されていてもよい。このとき、ドローン１０は、情報端末に撮影した画像や、各種センサが検出したデータを送信してもよい。

はじめに、ドローン１０は、予め設定された飛行経路に基づいて飛行するとともに、撮影装置により、自身の直下を撮影する（ステップＳ０１）。この飛行経路には、自身が飛行する飛行高度、経由地及び緯度・経度等が含まれる。

ドローン１０は、撮影装置が撮影した画像を、撮影画像として取得し、取得した撮影画像を画像解析する（ステップＳ０２）。ドローン１０は、撮影画像の特徴点又は特徴量の何れか又は双方を解析することにより、撮影画像に含まれる物体等を特定する。特徴点とは、撮影画像に写っている何かであり、具体的には、形状、色、輝度、輪郭等である。また、特徴量とは、撮影画像データから算出した各種数値（画素値の平均、分散、ヒストグラム等）等の統計的な数値である。

ドローン１０は、予め取得した対象物のデータと、画像解析の結果得られた撮影画像における特徴点や特徴量とを比較し、撮影画像における対象物の有無を画像解析により解析する。

ドローン１０は、画像解析の結果、撮影画像に対象物が含まれているか否かを判断する。ドローン１０は、対象物が含まれていないと判断した場合、設定された飛行を継続する。一方、ドローン１０は、対象物が含まれていると判断した場合、撮影画像における対象物の位置を特定する（ステップＳ０３）。ドローン１０は、これらの処理により、対象物を撮影した撮影画像を取得するとともに、その位置を特定する。このとき、ドローン１０は、撮影装置の位置データを、自身の位置データ（緯度、経度、飛行高度等）と同一のものとして取得する。上述した処理により、ドローン１０は、対象物を撮影した撮影装置の３次元の位置データを取得する。

ドローン１０は、特定した撮影画像内の対象物の位置に基づいて、撮影装置を回転させ、自身の緯度を示す直線に対して、平行に位置させる。ドローン１０は、この位置における対象物に対する角度Ａを取得する（ステップＳ０４）。角度Ａは、撮影装置が直下を撮影する際の角度を基準とし、対象物に対して撮影装置を傾けた角度である。

ドローン１０は、自身の飛行高度と角度Ａの正接とに基づいて、対象物の位置を推測する（ステップＳ０５）。ドローン１０は、自身と対象物との間の距離を自身の飛行高度と角度Ａの正接とに基づいて算出する。加えて、ドローン１０は、算出した距離と、自身の位置とに基づいて、対象物の位置を推測する。この処理により、撮影装置の３次元の位置データに基づいて、対象物の絶対的な位置を推測する。

以上が、位置推測システム１の概要である。

［位置推測システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である位置推測システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である位置推測システム１のシステム構成を示す図である。位置推測システム１は、ドローン１０から構成されるコンピュータシステムである。

ドローン１０は、後述の機能を備えた上述した無人飛行機である。

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である位置推測システム１の機能について説明する。図３は、ドローン１０の機能ブロック図を示す図である。

ドローン１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、ドローン１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、ドローン１０は、処理部１４として、画像処理、各種計算、自身の位置データの処理、自身が有する撮影装置の制御処理等の各種処理を実行するためのデバイス等を備える。

ドローン１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、対象物データ取得モジュール２０、位置データ取得モジュール２１、出力モジュール２２を実現する。また、ドローン１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、ドローン１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して飛行モジュール４０、撮影モジュール４１、解析モジュール４２、算出モジュール４３、推測モジュール４４を実現する。

［位置推測処理］
図４に基づいて、位置推測システム１が実行する学習処理について説明する。図４は、ドローン１０が実行する位置推測処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

はじめに、対象物データ取得モジュール２０は、対象物に関するデータである対象物データを取得する（ステップＳ１０）。ステップＳ１０において、対象物データ取得モジュール２０は、後述するその位置を推測する対象物の対象物データを取得する。対象物データとは、例えば、対象物を一意に特定可能なデータであり、対象物の名称、種類等に加え、対象物の特徴点や特徴量である。特徴点は、例えば、対象物の形状、色、輝度、輪郭等である。また、特徴量は、例えば、画素値の平均、分散、ヒストグラム等の統計的な数値である。このような特徴点や特徴量は、図示してない情報端末と無線通信又は有線通信等によりデータ通信を行うことにより取得する。

記憶モジュール３０は、対象物データを記憶する（ステップＳ１１）。

飛行モジュール４０は、予め設定された飛行経路に基づいて飛行を開始する（ステップＳ１２）。ステップＳ１２において、飛行モジュール４０は、記憶モジュール３０が記憶する飛行経路や図示していない情報端末からの指示等に基づいて飛行する。このとき、飛行経路には、自身が飛行する際の飛行高度、緯度及び経度に関するデータが含まれる。

撮影モジュール４１は、撮影画像を撮影する（ステップＳ１３）。ステップＳ１３において、撮影モジュール４１は、ドローン１０に対して、垂直な方向に向いた撮影装置により、撮影画像を撮影する。すなわち、撮影モジュール４１は、ドローン１０の直下を撮影する。

解析モジュール４２は、撮影画像を画像解析する（ステップＳ１４）。ステップＳ１４において、撮影画像の特徴点又は特徴量の何れか又は双方を解析することにより、撮影画像に写っている物体等を解析する。

解析モジュール４２は、ステップＳ１１において記憶した対象物データと、画像解析の結果として得られた撮影画像の特徴点や特徴量とを比較し、撮影画像内に対象物が存在するか否かを判断する（ステップＳ１５）。ステップＳ１５において、解析モジュール４２は、撮影画像の特徴点や特徴量と一致する対象物データが存在するか否かを判断する。

ステップＳ１５において、解析モジュール４２は、画像解析の結果、撮影画像の特徴点や特徴量と、対象物の特徴点や特徴量とが一致していないと判断した場合（ステップＳ１５ ＮＯ）、対象物は存在していないと判断し、飛行モジュール４０は、上述したステップＳ１２の処理を再度実行し、飛行を継続する。

一方、ステップＳ１５において、解析モジュール４２は、画像解析の結果、撮影画像の特徴点や特徴量と、対象物の特徴点や特徴量とが一致していると判断した場合（ステップＳ１５ ＹＥＳ）、対象物が存在すると判断し、位置データ取得モジュール２１は、自身の現在における３次元の位置データを取得する（ステップＳ１６）。ステップＳ１６において、位置データ取得モジュール２１は、自身の位置データを、ＧＰＳ等から取得する。また、位置データ取得モジュール２１は、自身の飛行高度データを、上述したステップＳ１２において設定された飛行経路から取得する。位置データ取得モジュール２１が、ドローン１０の位置データ及び飛行高度データを取得することにより、ドローン１０の３次元の位置データを取得することになる。これにより、対象物を撮影した撮影装置の３次元の位置データを取得することが可能となる。これは、ドローン１０の位置データと撮影装置の位置データとが略同一であるからである。すなわち、位置データ取得モジュール２１は、ドローン１０の３次元の位置データを取得することにより、撮影装置の３次元の位置データを取得する。

なお、位置データ取得モジュール２１は、自身の位置データを、自身に現在設定された飛行経路から取得してもよい。なお、ステップＳ１６の処理は、後述する対象物の絶対的な位置を推測するまでの間の任意のタイミングで行われてもよい。

解析モジュール４２は、撮影画像内における対象物の位置を特定する（ステップＳ１７）。ステップＳ１７において、解析モジュール４２は、撮影画像の中心を基準として、撮影画像における対象物の座標を把握することにより特定する。なお、解析モジュール４２が実行する撮影画像内における対象物の位置の特定は、他の方法により行われてもよい。

撮影モジュール４１は、特定した撮影画像内における対象物の位置に基づいて、この対象物の位置に向けて、撮影装置を回転させ、撮影装置を対象物の方向に所定角度傾ける（ステップＳ１８）。ステップＳ１８において、撮影モジュール４１は、撮影装置を、自身の緯度を示す直線に対して、平行な位置に回転させることにより、撮影装置を所定角度傾ける。

撮影モジュール４１は、この位置における撮影装置と対象物との間の角度Ａを取得する（ステップＳ１９）。ステップＳ１９において、撮影モジュール４１は、撮影装置が直下を撮影する際の状態を基準とし、この基準と、今回撮影装置が対象物に向いた状態との間の角度とを角度Ａとして取得する。この角度Ａが、撮影装置を傾けた角度に該当する。

算出モジュール４３は、この角度Ａにおける正接と、位置データ取得モジュール２１が取得した飛行高度データとに基づいて、ドローンと対象物との間の距離を算出する（ステップＳ２０）。

推測モジュール４４は、算出したドローンと対象物との間の距離と、自身の位置データとに基づいて、対象物の絶対的な位置を推測する（ステップＳ２１）。ステップＳ２１において、推測モジュール４４は、位置データ取得モジュール２１が取得した自身の位置データの緯度と、算出した距離とに基づいてこの位置を推測する。すなわち、推測モジュール４４は、ドローンと対象物とが同一経度上に存在することから、自身の位置データにおける緯度から算出した距離を加算又は減算（対象物の撮影画像における座標に基づいて、加算するか減算するのかは判断する）することにより、対象物の緯度を算出する。推測モジュール４４は、算出した対象物の緯度と、ドローンの経度とに基づいて、対象物の絶対的な位置を推測する。

図５に基づいて、推測モジュール４４が実行する対象物の絶対的な位置の推測方法について説明する。図５は、推測モジュール４４が対象物１００の絶対的な位置を推測する方法を模式的に示した図である。図５において、ドローン１０は、地面２００に存在する対象物１００の絶対的な位置を推測するものとして説明する。

撮影装置から地面２００に向けた垂線２１０、撮影装置から対象物１００に向けて伸ばした直線（斜線２２０）及び垂線２１０と地面２００とが直行する地点２４０と対象物１００とを結ぶ直線（隣辺２３０）からなる直角三角形を仮想的に形成する。撮影モジュール４１が撮影装置を傾けた角度Ａとは、垂線２１０と斜辺２２０との間の角度を意味する。今回推測モジュール４４が推測する対象物の絶対的な位置に必要な値は、隣辺２３０の長さである距離Ｄ、ドローン１０の位置及び垂線２１０の長さである高度Ｈである。

まず、ドローン１０の位置は、飛行経路における現在地やＧＰＳ等から取得した位置データから取得可能である。次に、高度Ｈも、ドローン１０の位置と同様に取得可能である。距離Ｄは、地点２４０における座標（例えば、ＸＹ座標系）から、角度Ａの正接（ｔａｎＡの値）と高度Ｈとから推測可能である。すなわち、推測した距離Ｄを、地点２４０における座標におけるＸ座標の値に加算又は減算することにより、対象物１００の絶対的な位置を推測する。

推測モジュール４４は、対象物の標高を推測する（ステップＳ２２）。ステップＳ２２において、推測モジュール４４は、記憶モジュール３０が予め記憶した各位置とこの位置における標高とを対応付けたデータベースに基づいて、対象物の標高を推測する。このデータベースには、各位置における緯度・経度と、この緯度・経度における標高とが対応付けられている。推測モジュール４４は、上述したステップＳ２１の処理により推測した対象物の絶対的な位置（緯度・経度）に対応付けられた標高を、このデータベースを参照することにより推測する。

出力モジュール２２は、推測された対象物の位置（緯度・経度及び標高）及びこの対象物を一意に特定可能な識別子（名称、番号、種類等）を推測結果データとして出力する（ステップＳ２３）。ステップＳ２３において、出力モジュール２２は、図示していない情報端末に対して、推測結果データを出力してもよいし、記憶モジュール３０に対して出力し、記憶させてもよい。

なお、上述した実施形態において、対象物は、静物である場合を前提として説明しているが、動物等の動きがあるものであってもよい。この場合、算出モジュール４３は、対象物の位置に加え、この対象物の速度を算出する構成であってもよい。すなわち、対象物がドローン１０に対して直角に動いているものとして、撮影モジュール４１が移動前と移動後との其々の撮影画像を撮影し、推測モジュール４４は、各時点における対象物の位置を推測し、算出モジュール４３は、これらの２点間の距離と、移動前と移動後との間の時間とに基づいて、対象物の速度を算出すればよい。

以上の処理において、画像解析処理、各種計算処理及び各種推測処理をドローン１０が実行しているが、これらの処理の何れか又は双方は、必ずしもドローン１０が実行する必要はない。例えば、ドローン１０は、これらの処理に必要なデータを情報端末等に送信し、情報端末等がこれらの処理を実行する構成であってもよい。

また、上述した実施形態において、一の対象物のみが存在する場合を前提として説明しているが、対象物が複数存在する場合であっても、本発明は、問題なく適用可能である。この場合、対象物毎に、上述した位置の推測を行えばよい。具体的には、撮影画像に複数の対象物を特定した場合、所定の条件（撮影画像の中心から近い座標順、撮影画像の中心から遠い座標順、予め対象物毎に設定された優先順位の高い順等）に沿って、撮影画像に存在する対象物の位置の推測を行っていけばよい。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 位置推測システム、１０ ドローン

Claims (5)

1. 対象物を撮影した画像を取得する画像取得手段と、
   前記対象物を撮影したカメラの３次元の位置データを取得する位置データ取得手段と、
   前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測する位置推測手段と、
   を備えることを特徴とするコンピュータシステム。
2. 前記カメラは、前記対象物の方向に自身を所定角度傾けることが可能なカメラであって、
   前記位置推測手段は、前記カメラの３次元の位置データ及び傾けた所定角度に基づいて、前記対象物の絶対的な位置を推測する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
3. 前記位置と、当該位置における高度とを対応付けて記憶する記憶手段と、
   を備え、
   前記位置推測手段は、推測した前記位置に対応付けられた高度を推測する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
4. コンピュータシステムが実行する位置推測方法であって、
   対象物を撮影した画像を取得するステップと、
   前記対象物を撮影したカメラの３次元の位置データを取得するステップと、
   前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測するステップと、
   を備えることを特徴とする位置推測方法。
5. コンピュータシステムに、
   対象物を撮影した画像を取得するステップ、
   前記対象物を撮影したカメラの３次元の位置データを取得するステップ、
   前記カメラの３次元の位置データに基づいて、前記対象物の絶対的な位置を推測するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images