JP7447234B1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】情報処理装置、情報処理方法および情報処理プログラムを提供する。【解決手段】情報処理装置３０は、視点を変化させながら撮影された一連の画像を取得するように構成された画像取得部と、一連の画像から複数の特徴点を抽出するように構成された特徴点抽出部と、複数の特徴点の中から検出対象を示す対象特徴点を検出するように構成された対象検出部と、複数の特徴点から複数のキーポイントを設定するように構成されたキーポイント設定部と、複数のキーポイントと対象特徴点との相対位置に基づいて、検出対象の位置情報を作成するように構成された位置情報作成部と、を備え、各キーポイントは、複数セットの一連の画像の各々のセットから抽出された特徴点のうち、同一の特徴を示す特徴点である。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。

一般に、ゴルフ場のホールカップ位置は、グリーンの芝生が局所的に痛むことがないように、日々変更される。特許文献１は、ホールカップ位置にセンサを配置して、変化するホールカップ位置を記録する方法を開示している。

特開２０１８－１９１９８５号公報

ホールカップ位置の検出にセンサを用いる場合、センサから発信される信号を受信するための受信装置などの設備が必要になる。こうした設備は、設置及び維持管理にコスト及び手間がかかる。また、変位を記録する対象によっては、センサを取り付けられない場合もある。そのため、センサなどの設備を付加することなく、対象の変位を記録できることが望ましい。

本開示は、対象の変位を記録することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

本開示の一態様に係る情報処理装置は、視点を変化させながら撮影された一連の画像を取得するように構成された画像取得部と、前記一連の画像から複数の特徴点を抽出するように構成された特徴点抽出部と、前記複数の特徴点の中から検出対象を示す対象特徴点を検出するように構成された対象検出部と、前記複数の特徴点から複数のキーポイントを設定するように構成されたキーポイント設定部と、前記複数のキーポイントと前記対象特徴点との相対位置に基づいて、前記検出対象の位置情報を作成するように構成された位置情報作成部と、を備え、前記各キーポイントは、複数セットの前記一連の画像の各々のセットから抽出された前記特徴点のうち、同一の特徴を示す特徴点である。

本開示の一態様に係る情報処理方法は、１以上のコンピュータに、視点を変化させながら撮影された一連の第１次画像を取得することと、前記一連の第１次画像から複数の第１次特徴点を抽出することと、視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、前記一連の第２次画像から複数の第２次特徴点を抽出することと、前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、を実行させることを含む。

本開示の一態様に係る情報処理プログラムは、１以上のコンピュータに、視点を変化させながら撮影された一連の第１次画像を取得することと、前記一連の第１次画像から複数の第１次特徴点を抽出することと、視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、前記一連の第２次画像から複数の第２次特徴点を抽出することと、前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、を実行させるためのプログラムである。

本開示によれば、対象の変位を記録することが可能になる。

図１は実施形態に係る情報処理装置の構成を例示する模式図である。 図２は図１の情報処理装置の機能ブロック図である。 図３は検出対象の変位と動画の撮影方法とを説明する模式図である。 図４は動画撮影時の様子を示す模式図である。 図５は第１次動画から抽出した複数の第１次特徴点を例示する模式図である。 図６は第２次動画から抽出した複数の第２次特徴点と、設定された複数のキーポイントとを例示する模式図である。 図７は生成された３次元データを例示する模式図である。 図８は３次元データから生成された平面図である。 図９は実施形態に係る情報処理方法を例示するフロー図である。

本開示の情報処理装置、情報処理方法および情報処理プログラムの例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

［情報処理システム］
図１に例示するゴルフ場１１のグリーン１２内において、日々変更されるホールカップ１３の位置を検出するための情報処理装置３０について説明する。ホールカップ１３の位置は、撮影者２０により操作される撮影装置２１により撮影される一連の画像１５（図４参照）から検出される。「一連の画像」とは、視点を変化させながら撮影した、複数の静止画又は動画である。撮影装置２１は、例えば、携帯可能なデジタルカメラ、ビデオカメラ、スマートフォン、又はタブレットであってもよいが、これらに限られない。撮影装置２１は、動画を撮影できることが好ましい。以下、「一連の画像１５」を単に画像１５又は動画１５と言うことがある。

撮影者２０によって撮影された動画１５は、ユーザ端末２２に保存されてもよい。ユーザ端末２２は、例えば、ゴルフ場１１に並設される管理施設１４内に置かれていてもよい。ユーザ端末２２は、例えば、パーソナルコンピュータである。ユーザ端末２２は、ネットワーク２３を通じて情報処理装置３０と通信するように構成されてもよい。この場合、ユーザ端末２２に保存された動画１５は、ネットワーク２３を通じて情報処理装置３０に送信されてもよい。

ネットワーク２３は、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線等を含む。撮影装置２１が通信機能を有する端末、例えばスマートフォン又はタブレットである場合、ユーザ端末２２を介さず、撮影した画像を情報処理装置３０に直接送信するようにしてもよい。

情報処理装置３０は、例えば、プロセッサ３１、メモリ３２、及び通信ＩＦ（interface）３３を備えるサーバ又はコンピュータである。情報処理装置３０は、さらに、入力装置３４、出力装置３５、及びストレージ３６を有してもよい。プロセッサ３１、メモリ３２、通信ＩＦ３３、入力装置３４、出力装置３５、及びストレージ３６は、通信バス３７により互いに接続される。

プロセッサ３１は、例えば、各種ソフトウェア処理を実行するように構成される処理回路である。処理回路は、ソフトウェア処理の少なくとも一部を処理する専用のハードウェア回路（たとえばＡＳＩＣ等）を備えてもよい。すなわち、ソフトウェア処理は、１又は複数のソフトウェア処理回路及び１又は複数の専用のハードウェア回路の少なくとも一方を備えた処理回路（processing circuitry）によって実行されればよい。

プロセッサ３１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はその他の演算装置である。プロセッサ３１は、与えられる信号に応じて、又は、予め定められた条件が成立したことに応じて、メモリ３２又はストレージ３６に格納されているプログラムに含まれる一連の命令を実行する。

メモリ３２は、例えば、ＲＡＭ（Random Access Memory）、又はその他の揮発性メモリである。メモリ３２は、プログラム、及びデータを一時的に保存するように構成される。プログラムは、例えばストレージ３６から読み出される。メモリ３２が保存するデータは、情報処理装置３０が受信したデータと、プロセッサ３１によって生成されたデータとを含んでもよい。

通信ＩＦ３３は、ネットワーク２３に接続するように構成される。通信ＩＦ３３は、ネットワーク２３に接続されている他の装置と通信するように構成される。通信ＩＦ３３は、例えば、ＬＡＮ、又はその他の有線通信ＩＦとして実現される。通信ＩＦ３３は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はその他の無線通信ＩＦとしても実現され得るが、これらに限定されない。

入力装置３４は、例えば、キーボード及びマウスであり、ボタン、キー、スイッチ、タッチパッド、又はマイクを含んでもよい。出力装置３５は、例えば、液晶モニタ又は有機ＥＬ（Electro Luminescence）モニタであってもよいし、入力装置３４を兼ねたタッチパネルを有するタッチスクリーンであってもよい。出力装置３５は、スピーカ又は音声出力のための端子であってもよい。

ストレージ３６は、メモリの一種であり、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、又はその他の不揮発性記憶装置であってもよい。ストレージ３６は、メモリカードのように、着脱可能な記憶装置であってもよい。ストレージ３６は、プログラム及びデータを永続的に格納するように構成される。ストレージ３６には、各種の機能を実現するための１以上のアプリケーション３８及び後述するデータ４１～４６が格納されていてもよい。位置情報データ４６は、ゴルフ場１１の地図データを含んでもよい。

図２に示すように、情報処理装置３０は、画像取得部５１、特徴点抽出部５２、対象検出部５３、キーポイント設定部５４、３次元データ生成部５５、及び位置情報作成部５６を備えてもよい。画像取得部５１、特徴点抽出部５２、対象検出部５３、キーポイント設定部５４、３次元データ生成部５５、及び位置情報作成部５６は、プロセッサ３１により実行されるアプリケーション３８の機能として実現されてもよいし、複数の装置（例えば、コンピュータ）５１～５６として実現されてもよい。

例えば、動画１５を取得するためのコンピュータ５１、特徴点６２を抽出するためのコンピュータ５２、キーポイント６４を設定するためのコンピュータ５４、３次元データ４５を生成するためのコンピュータ５５、及び位置情報を作成するためのコンピュータ５６が互いにネットワーク２３を通じて通信するようにしてもよい。あるいは、情報処理装置３０は、画像取得部５１、特徴点抽出部５２、対象検出部５３、キーポイント設定部５４、３次元データ生成部５５、及び位置情報作成部５６のうちのいくつかが１つの装置（コンピュータ）として実現されてもよい。この場合、コンピュータ５１～５５を備える情報処理システムが全体として情報処理装置３０となる。

画像取得部５１は、ユーザ端末２２又は情報処理装置３０から送信された動画１５を取得して、画像データ４１としてストレージ３６に保存するように構成される。
特徴点抽出部５２は、動画１５から複数の特徴点６２（図５及び図６で白丸で示す）を抽出するように構成される。画像から特徴点を抽出する方法は、例えば、特許第４６８９７５８号公報に開示されているが、これに限らない。特徴点６２は、画像の中の特徴的な部分であり、物体の角又はエッジなどが代表例である。特徴点抽出部５２は、抽出した特徴点６２に係る情報を、特徴点データ４２としてストレージ３６に保存する。

対象検出部５３は、予め登録された対象データ４３を参照して、複数の特徴点６２の中から、検出対象を示す１以上の対象特徴点６２ｔ（図６参照）を検出する。対象データ４３は、検出対象の特徴を示す情報を含む。本例の検出対象はホールカップ１３であるが、これに加えて、あるいはこれに代えて、ホールカップ１３の位置を示すピン２４（図６参照）を検出対象にしてもよい。対象特徴点６２ｔも他の特徴点６２と共に特徴点データ４２としてストレージ３６に保存されてもよい。

キーポイント設定部５４は、抽出された複数の特徴点６２の中から、複数のキーポイント６４（図６に白丸の中の黒丸で示す）を設定するように構成される。キーポイント６４とは、複数の動画１５（複数セットの一連の画像１５）の各々から抽出された特徴点６２のうち、同一の特徴を示す特徴点６２である。例えば、前日に撮影した動画１５から抽出した第１次特徴点６２ｆと今日撮影した動画１５から抽出した第２次特徴点６２ｓとをマッチングして、同一の特徴を示す特徴点６２がキーポイント６４となる。

具体的には、ある物（例えば、樹木）のある部分（例えば、１つの果実）を異なる日にそれぞれ撮影した場合、その部分は複数の動画において同一の特徴を示す。逆に、異なる物を撮影した複数の動画からそれぞれ抽出された特徴点は、同一の特徴を示さない。つまり、キーポイント６４が設定されるということは、同じ物（部分）が複数の動画に亘って撮影されていることを意味する。

抽出した特徴点６２のうち、対象特徴点６２ｔはキーポイント６４の候補から除外される。すなわち、複数の特徴点６２から対象特徴点６２ｔを除外した残りがキーポイント６４の候補となる。キーポイント設定部５４は、設定したキーポイント６４に係る情報を、キーポイントデータ４４としてストレージ３６に保存する。

キーポイント６４は、最新の特徴点６２を前回の特徴点６２とマッチングするのに限らず、規定回数前の回の特徴点６２とマッチングしたり、規定回数（例えば、３回）分の特徴点６２とマッチングしたりしてもよい。この場合、ストレージ３６には、少なくとも、規定回数分の特徴点６２に係る特徴点データ４２と、キーポイント６４に係るキーポイントデータ４４とを格納しておけばよい。キーポイント設定部５４は、異なる動画１５からそれぞれ抽出された特徴点６２とマッチングし、規定回数（例えば、１又は複数回）のマッチングで一致しなかったキーポイント６４を削除するように構成されてもよい。

特徴点６２のマッチングを前回の特徴点６２とのみ行う場合、ストレージ３６には、前回の特徴点６２に係る特徴点データ４２と、前回の特徴点６２からキーポイント設定部５４が設定した複数のキーポイント６４に係るキーポイントデータ４４とを格納しておけばよい。そして、画像取得部５１が新たに一連の画像１５を取得した場合に、特徴点抽出部５２が新たな一連の画像１５から新たな複数の特徴点６２を抽出し、対象検出部５３が新たな複数の特徴点６２の中から検出対象を示す新たな対象特徴点６２ｔを検出し、キーポイント設定部５４が新たな特徴点６２と前回の特徴点６２とをマッチングして、同一の特徴を示す特徴点６２を新たなキーポイント６４として、キーポイントデータ４４を更新すればよい。

３次元データ生成部５５は、動画１５、すなわち一連の２次元画像から、３次元データ４５（図７参照）を生成するように構成される。これは、いわゆるＳｆＭ（Structure From Motion）と呼ばれる処理であり、撮影対象の３次元構造を再現する。３次元データ生成部５５は、生成した３次元データ４５をストレージ３６に保存する。３次元データ４５は、再現した３次元構造内に、対象特徴点６２ｔ及び複数のキーポイント６４を含む。

位置情報作成部５６は、複数のキーポイント６４と対象特徴点６２ｔとの相対位置に基づいて、検出対象の位置Ｔｄ（図８参照）を検出するように構成される。位置情報作成部５６は、３次元データ４５から検出対象の位置情報を作成するように構成されてもよい。例えば、位置情報作成部５６は、３次元データ４５から検出対象の位置Ｔｄを含む平面図４６（図８参照）を生成するように構成されてもよい。

図８に示すように、平面図４６には、グリーン１２内におけるホールカップ１３の検出位置Ｔｄが示されている。平面図４６には、グリーン１２の境界線Ｇｄも示されていることが好ましい。画像１５にグリーン１２の境界線全体が撮影されていると、３次元データ４５において境界線Ｇｄを再現しやすい。さらに、位置情報作成部５６は、検出対象が存在するエリア（ゴルフ場１１）の地図データと平面図４６とを重ねることにより、地図データ上に検出位置Ｔｄをプロットするように構成されてもよい。

［検出対象の撮影］
図３に示すように、ゴルフ場１１では、主にグリーン１２の芝生が局所的に痛むことがないように、ホールカップ１３の位置がグリーン１２内において、度々（例えば、毎日）変更される。本例では、撮影者２０が撮影装置２１を用いて撮影する動画１５を用いて、検出対象であるホールカップ１３の位置を検出する。

図３及び図４に示すように、撮影者２０は、視点を変化させながら検出対象（ホールカップ１３）を含む環境を撮影することにより、動画１５を取得する。撮影者２０は、ホールカップ１３の位置が変更される都度、撮影を行ってもよい。撮影者２０は、動画１５内に、ホールカップ１３と、グリーン１２の境界線と、ホールカップ１３及びグリーン１２の周辺に存在する１以上の参照用オブジェクト１６～１８と、が含まれるように撮影するとよい。

オブジェクト１６～１８は、検出対象の周辺環境中に固定されている物体であって、位置、形状及び大きさが変化しにくい物体が好ましい。オブジェクト１６～１８は、例えば、樹木、建物、又は構造物を含んでもよい。本例のオブジェクト１６～１８は、グリーン１２の周辺にある樹木である。オブジェクト１６は、例えば落葉樹であり、オブジェクト１７，１８は例えば常緑樹である。オブジェクト１６～１８の形状及び大きさに応じて、撮影者２０は、縦長の画角で撮影を行ってもよいし、横長の画角で撮影を行ってもよい。

動画１５には、グリーン１２の境界線全体が含まれることが好ましい。そのため、撮影者２０は、グリーン１２の周囲を一周しながら撮影を行ってもよい。あるいは、撮影者２０は、グリーン１２内に立って、３６０度撮影方向を変えながら撮影を行ってもよい。撮影を終えると、撮影者２０は、動画１５をユーザ端末２２に保存するか、あるいは、ユーザ端末２２又は情報処理装置３０に送信する。

画像取得部５１は、送信された動画１５を受信して、ストレージ３６に保存する。ここで、初回（第１回目）に撮影された動画１５を第１次動画（一連の第１次画像）１５ｆといい、その次（第２回目、又は設定回）に撮影された動画１５を第２次動画（一連の第２次画像）１５ｓという。また、第１次動画１５ｆから抽出される特徴点６２を第１次特徴点６２ｆといい、第２次動画１５ｓから抽出される特徴点６２を第２次特徴点６２ｓという。さらに、第１次特徴点６２ｆの中から検出される対象特徴点６２ｔを第１次対象特徴点６２ｔｆといい、第２次特徴点６２ｓの中から検出される対象特徴点６２ｔを第２次対象特徴点６２ｔｓという。

［検出対象の検出方法］
図９にホールカップ１３の位置検出方法を例示する。
始めに、ステップＳ１１で、画像取得部５１が第１次動画１５ｆを取得する。ステップＳ１２で、特徴点抽出部５２が第１次動画１５ｆから複数の第１次特徴点６２ｆを抽出する（図５参照）。

ステップＳ１３で、対象検出部５３が複数の第１次特徴点６２ｆの中から、ホールカップ１３を示す対象特徴点６２ｔｆを検出する（図５参照）。図５では、検出した対象特徴点６２ｔｆを破線の四角で囲んでマークしている。初回のホールカップ１３の位置を検出する必要が無い場合には、ステップＳ１３の検出は省略してもよい。すなわち、ステップＳ１３で対象特徴点６２ｔｆが検出されなくてもよい。

続いて、ステップＳ１４で、画像取得部５１が第２次動画１５ｓを取得する。ステップＳ１５で、特徴点抽出部５２が第２次動画１５ｓから複数の第２次特徴点６２ｓを抽出する（図６参照）。ステップＳ１６で、対象検出部５３が複数の第２次特徴点６２ｓの中から、ホールカップ１３を示す第２次対象特徴点６２ｔｓを検出する（図６参照）。図６では、検出した対象特徴点６２ｔｓを破線の四角で囲んでマークしている。

ステップＳ１７で、キーポイント設定部５４が、複数の第２次特徴点６２ｓの中から、複数のキーポイント６４を設定する（図６参照）。各キーポイント６４は、複数の第１次特徴点６２ｆのうちの１つと同一の特徴を示す、複数の第２次特徴点６２ｓのうちの１つである。そのため、例えば初回にのみ写っていた特徴点６２ｓは除外され、ホールカップ１３の周辺に、少なくとも一定期間、恒常的に存在する特徴点６２ｓがキーポイント６４となる。

ステップＳ１８で、３次元データ生成部５５が第２次動画１５ｓから３次元データ４５を生成する（図７参照）。さらに、ステップＳ１９で、位置情報作成部５６が位置情報を生成して、処理を終了する。より詳細には、位置情報作成部５６が、キーポイント６４と第２次対象特徴点６２ｔｓとの相対位置に基づいて、第２次動画１５ｓ取得時のホールカップ１３の位置Ｔｄを検出する。そして、位置情報作成部５６は、３次元データ４５から平面図４６（図８参照）を生成する。この平面図４６には、ホールカップ１３の位置Ｔｄとともにグリーン１２の境界線Ｇｄも示されている。そのため、２回目撮影時のグリーン１２内におけるホールカップ１３の位置Ｔｄが把握される。

第２回目の後の第３回目（更新回）に撮影された第３次動画（一連の第３次画像）１５ｔについても、ステップＳ１４と同様に画像取得部５１が取得し、ステップＳ１５と同様に特徴点抽出部５２が複数の第３次特徴点６２を抽出する。また、ステップＳ１６と同様に対象検出部５３が複数の第３次特徴点６２の中から第３次対象特徴点６２ｔを検出する。

そして、ステップＳ１７と同様にキーポイント設定部５４がキーポイント６４を設定することにより、キーポイント６４を更新する。このようにして、キーポイント６４は、新たな動画１５を取得する都度、更新される。本開示においてキーポイント６４を「設定」することには、キーポイント６４を「更新」することを含むが、２回目以降の設定であることを強調するために、「更新」の用語を使うことがある。

最後に、位置情報作成部５６は、ステップＳ１９と同様に、更新された複数のキーポイント６４と第３次対象特徴点６２ｔとの相対位置に基づいて、位置情報作成部５６が３回目撮影時のホールカップ１３の位置情報を生成する。第３回目の後の第４回目（２回目の更新回）以降に撮影した画像１５についても、同様に、キーポイント６４の更新と位置情報の生成とが行われる。

第１次動画１５ｆは、例えば、グリーン１２の全周に沿って、グリーン１２内の全体が含まれるように、丁寧に撮影することが好ましい。これにより、グリーン１２の周辺の特徴点６２ｆをもれなく把握され、かつ、３次元データ４５がより精密に生成されるためである。

これに対して、２回目以降に撮影される動画１５の撮影時間は、初回に撮影される第１次動画１５ｆの撮影時間よりも短くてもよい。例えば、オブジェクト１６～１８のうちいくつかと、グリーン１２の境界の一部と、ホールカップ１３とが含まれる画像１５が得られればよく、必ずしもグリーン１２の全周を撮影したり、グリーン１２の全体を撮影したりしなくてもよい。

［本開示の作用］
本開示の方法によれば、グリーン１２の周囲を徒歩で撮影すれば画像１５が得られるので、例えばドローンなどによってホールカップ１３を空撮する必要がない。そのため、撮影のコストが低い。また、２回目以降は短い動画１５でもキーポイント６４を設定することができるので、撮影に手間がかからない。

ホールカップ１３は、グリーン１２に対して小さいので、グリーン１２内での位置を把握するために、グリーン１２の境界とともに撮影するのが難しいことがある。これに対して、ホールカップ１３及びグリーン１２の周囲にあるオブジェクト１６～１８は、画像１５にとらえやすい。例えば木、建物、構造物など、グリーン１２の周囲に恒常的に存在するオブジェクト１６～１８は、位置が固定されている。そのため、異なる動画１５から抽出された特徴点６２同士のマッチングを行い、恒常的に存在する特徴点６２をキーポイント６４とすることで、キーポイント６４との相対位置に基づいてホールカップ１３の位置Ｔｄを検出することが可能になる。

例えばキーポイント６４が設定されていない初回では、第１次動画１５から作成した３次元データ４５に写っているホールカップ１３自体の位置を地図データにプロットしてもよい。２回目以降は、オブジェクト１６～１８に基づいてキーポイント６４を設定することにより、位置Ｔｄをより精度良く検出することが可能になる。

オブジェクト１６～１８が自然物、例えば樹木の場合、季節によってその様相が変化することがある。そのため、オブジェクト１６～１８から抽出される特徴点６２の数及び位置が変化することがある。例えば、落葉樹であれば落葉により幹が露出することで特徴点６２が増えることがある。また、果樹であれば実がなることで特徴点６２が増えたり、実が落ちることで特徴点６２が減ったりすることがある。自然物以外でも、例えば建物の装飾が変わったり、物の配置が変わったり、構造物が老朽化したりすれば、特徴点６２に変化が生じることがある。

その点、複数回の撮影に亘って継続的に存在する特徴点６２をキーポイント６４にすることにより、キーポイント６４が順次に更新されていく。キーポイント６４が樹木から抽出される複数の特徴点６２から設定される場合であれば、樹木の季節変化に応じて、キーポイント６４が更新される。その結果、経時的にオブジェクト１６～１８の特徴点６２が変化しても、更新されたキーポイント６４を基準点として、ホールカップ１３の位置Ｔｄを検出することが可能になる。

一定期間同じ位置に存在するオブジェクト１６～１８であっても、画像１５の撮影状況によっては、うまく写らないことがある。そのため、いったん設定したキーポイント６４は、一回のマッチングで一致しない場合に削除するのではなく、規定回数（例えば、３～５回）のマッチングで一致しなかった場合に削除するようにしてもよい。この場合、規定回数分の画像１５に対応する特徴点６２を特徴点データ４２として残しておくとよい。

［本開示の効果］
本開示によれば、以下の効果を奏することができる。
（１）複数のキーポイント６４と対象特徴点６２ｔとの相対位置に基づいて、検出対象であるホールカップ１３の位置を検出することができる。こうした検出を順次に行うことにより、ホールカップ１３の変位を記録することができる。

（２）複数のキーポイント６４と対象特徴点６２ｔとを含む３次元データ４５を生成することにより、複数のキーポイント６４と対象特徴点６２ｔとの相対位置を視覚的に把握することができる。

（３）３次元データ４５から生成した平面図４６により、ホールカップ１３の平面配置をよりわかりやすく図示することができる。
（４）地図データと平面図４６とを重ねて地図データ上にホールカップ１３の位置をプロットすることにより、ホールカップ１３の地理情報、すなわち絶対的な位置情報を得ることができる。

（５）キーポイント設定部５４が新たなキーポイント６４を設定する都度、キーポイントデータ４４を更新するので、周辺環境の変化に対応したキーポイント６４を基準として、ホールカップ１３の位置を検出することができる。

（６）キーポイント設定部５４は、規定回数のマッチングで一致しなかったキーポイント６４を削除するので、一時的に撮影に失敗したキーポイント６４が削除されることを抑制しつつ、周辺環境に対応するようにキーポイント６４を更新することができる。

（７）ストレージ３６には、キーポイント６４の設定に使用される規定回数分の特徴点６２に係る特徴点データ４２が格納される。キーポイント６４の設定に使用しない特徴点６２は削除することができるので、ストレージ３６の必要容量が増大することを抑制することができる。

（８）特徴点６２は、１以上のオブジェクト１６～１８から抽出されるので、検出対象の周辺に存在するオブジェクト１６～１８を基準として、検出対象の位置を検出することができる。

（９）オブジェクト１６～１８の変化に起因して特徴点６２が消えたり増えたりした場合、キーポイント６４が更新される。そのため、オブジェクト１６～１８が樹木であって、この樹木の葉、実、花、枝、又は幹の状態が季節に応じて変化しても、変化に応じてキーポイント６４を更新ことができる。

（１０）ゴルフ場１１のホールカップ１３を検出対象とする場合、グリーン１２の境界線を含むように動画１５を撮影して、平面図４６にグリーン１２の境界線Ｇｄを示すと、ホールカップ１３の検出位置Ｔｄを把握しやすい。

（１１）動画は、一連の画像を１つのファイルとして扱うことができるため、データの転送及び保存などの取り扱いが容易である。
（１２）最初に撮影した動画１５ｆ（一連の第１次画像）から、検出対象を含む環境を再現する３次元データ４５を作成しておけば、２回目以降の動画１５ｓは、いくつかの特徴点６２を抽出できるように撮影すればよい。よって、２回目以降の動画１５の撮影時間が、最初の動画１５ｆの撮影時間よりも短くてすむので、撮影の手間を低減できる。

［変更例］
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

・検出対象はホールカップ１３に限らない。例えば、設備、道具、生物、人間、顔認証された特定の人物、又は車両の変位を検出するために本開示の技術を用いてもよい。この場合、同じ対象を継続的に撮影することで移動の履歴を記録するようにしてもよいし、異なる対象であっても予め登録した対象であれば（すなわち、同種の対象であれば）全て検出するようにしてもよい。あるいは、検出対象の有無、又は、出現位置の変化を検出することも可能である。こうした使用方法は、例えば、物品又は施設の維持管理、野生生物の生態調査、又は人の出入りの確認などに有用である。

・検出対象は、全ての画像１５（例えば、一連の第１次画像）に現れていなくてもよい。例えば、建物又は構造物のクラック又は損傷箇所を検出対象として、定期的な点検として建物、構造物、又は施設を撮影してもよい。この場合、クラック又は損傷箇所といった異常が生じた場合に、その異常を検出対象として検出することができる。こうした使用方法は、建物、構造物、又は施設の維持管理に有用である。例えばトンネル又は道路の様な構造物を検査する場合には、車両に取り付けたカメラにより動画１５を撮影するとよい。その他、道路の落下物を検出対象とすれば、落下物の除去に有用である。

・一連の画像１５は、必ずしも手動で撮影しなくてもよく、例えばドローン、自動走行車又は動物に取り付けたカメラ又は監視カメラによって撮影してもよい。あるいは、撮影方向を変更可能なカメラによって自動的に、又は定期的に、あるいは移動又は音声を検知した場合に、撮影を行ってもよい。

・検出対象にマーク又は光源を付して、検出対象が一連の画像１５に写りやすくしてもよい。ピン２４は、検出対象であるホールカップ１３の位置を示すためのマークの一例である。

・第１次画像１５ｆ、第２次動画１５ｓ、第３次動画１５ｔは、この順（時系列）に撮影されなくてもよく、変位を把握したい順に検出に供すればよい。すなわち、「第１次」とは、最も早い時期に撮影したことを意味するのではなく、検出対象を含む環境の３次元構造を復元するための基礎データであることを意味する。この「第１次」に対して、最初にキーポイント６４を設定するためのデータであることを意味するのが「第２次」であり、最初にキーポイント６４を更新するためのデータであることを意味するのが「第３次」である。また、「第４次」以降は、第３次と同様に、キーポイント６４を更新するためのデータであることを意味する。

・一連の画像（又は動画）１５を３Ｄカメラで撮影してもよい。この場合、情報処理装置３０は３次元データ生成部５５を備えなくてもよい。
・３次元データ４５を３Ｄ地図データと重ねてもよい。この場合、平面図４６の作成を省略してもよい。あるいは、検出対象の平面位置ではなく、高さ位置を検出したい場合は、位置情報作成部５６が平面図４６に代えて立面図を作成してもよい。その他、位置情報作成部５６は、検出対象の位置を示すための種々の図面を作成してもよい。

上記実施形態及び変更例に基づいて把握される態様を以下に列記する。
［１］視点を変化させながら撮影された一連の画像を取得するように構成された画像取得部と、
前記一連の画像から複数の特徴点を抽出するように構成された特徴点抽出部と、
前記複数の特徴点の中から検出対象を示す対象特徴点を検出するように構成された対象検出部と、
前記複数の特徴点から複数のキーポイントを設定するように構成されたキーポイント設定部と、
前記複数のキーポイントと前記対象特徴点との相対位置に基づいて、前記検出対象の位置情報を作成するように構成された位置情報作成部と、を備え、
前記各キーポイントは、複数セットの前記一連の画像の各々のセットから抽出された前記特徴点のうち、同一の特徴を示す特徴点である、
情報処理装置
［２］前記画像が２次元画像であり、前記一連の画像から３次元データを生成するように構成された３次元データ生成部をさらに備え、
前記３次元データは前記複数のキーポイントと前記対象特徴点とを含み、
前記位置情報作成部は、前記３次元データから前記検出対象の位置情報を作成するように構成される、
上記［１］に記載の情報処理装置。

［３］前記位置情報作成部が、前記３次元データから前記検出対象の位置を含む平面図を生成するように構成される、
上記［２］に記載の情報処理装置。

［４］１以上のメモリを備え、
前記メモリには、前記検出対象が存在するエリアの地図データが格納されており、
前記位置情報作成部が、前記地図データと前記平面図とを重ねることにより、前記地図データ上に前記検出対象の位置をプロットするように構成される、
上記［３］に記載の情報処理装置。

［５］１以上のメモリを備え、
前記メモリには、
前回の前記複数の特徴点に係る特徴点データと、
前記複数のキーポイントに係るキーポイントデータと、が格納されており、
前記画像取得部が新たな前記一連の画像を取得した場合に、
前記特徴点抽出部が前記新たな一連の画像から新たな複数の特徴点を抽出し、
前記対象検出部が前記新たな複数の特徴点の中から前記検出対象を示す新たな対象特徴点を検出し、
前記キーポイント設定部が前記新たな複数の特徴点と前記前回の複数の特徴点とをマッチングして、同一の特徴を示す特徴点を新たなキーポイントとして、前記キーポイントデータを更新するように構成される、
上記［１］～［４］のうち何れかに記載の情報処理装置。

［６］前記キーポイント設定部は、規定回分の前記一連の画像からそれぞれ抽出された前記特徴点のマッチングを行い、前記規定回分のマッチングで一致しなかった前記キーポイントを削除するように構成される、
上記［１］～［５］のうち何れかに記載の情報処理装置。

［７］１以上のメモリを備え、
前記メモリには、前記規定回分の前記特徴点に係る特徴点データと、前記キーポイントに係るキーポイントデータとが格納されている、
上記［６］に記載の情報処理装置。

［８］前記一連の画像は前記検出対象の周辺に存在する１以上のオブジェクトを含むように撮影され、
前記特徴点抽出部は、前記１以上のオブジェクトから前記複数の特徴点を抽出するように構成される、
上記［１］～［７］のうち何れかに記載の情報処理装置。

［９］前記１以上のオブジェクトは１以上の樹木を含み、
前記キーポイントは、前記樹木から抽出される前記複数の特徴点から設定され、
前記樹木の季節変化に応じて、前記キーポイントが更新される、
上記［８］に記載の情報処理装置。

［１０］前記検出対象はゴルフ場のホールカップ又は前記ホールカップに立てられたピンのうち少なくとも一方であり、
前記一連の画像は、前記ホールカップが設けられるグリーンの境界線を含むように撮影される、
上記［１］～［９］のうち何れかに記載の情報処理装置。

［１１］前記一連の画像は動画である、
上記［１］～［１０］のうち何れかに記載の情報処理装置。
［１２］１以上のコンピュータに、
視点を変化させながら撮影された一連の第１次画像を取得することと、
前記一連の第１次画像から複数の第１次特徴点を抽出することと、
視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、
前記一連の第２次画像から複数の第２次特徴点を抽出することと、
前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、
複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、
前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、
を実行させることを含む、情報処理方法。

［１３］１以上のコンピュータに、
視点を変化させながら前記検出対象を含むように撮影された一連の第３次画像を取得することと、
前記一連の第３次画像から複数の第３次特徴点を抽出することと、
前記複数の第３次特徴点の中から前記検出対象を示す第３次対象特徴点を検出することと、
前記複数のキーポイントを更新することであって、更新された前記各キーポイントは、前記複数の第２次特徴点のうちの１つと同一の特徴を示す、前記複数の第３次特徴点のうちの１つである、ことと、
前記複数のキーポイントと前記第３次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、
をさらに実行させることを含む、
を実行させることを含む、上記［１２］に記載の情報処理方法。

［１４］前記一連の第１次画像は第１次動画であり、
前記一連の第２次画像は第２次動画であり、
前記第２次動画の撮影時間が、前記第１次動画の撮影時間よりも短い、
上記［１２］又は［１３］に記載の情報処理方法。

［１５］１以上のコンピュータに、
視点を変化させながら撮影された一連の第１次画像を取得することと、
前記一連の第１次画像から複数の第１次特徴点を抽出することと、
視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、
前記一連の第２次画像から複数の第２次特徴点を抽出することと、
前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、
複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、
前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、
を実行させるための、情報処理プログラム。

１１…ゴルフ場、１２…グリーン、１３…ホールカップ、１４…管理施設、１５…一連の画像（動画）、１５ｆ…一連の第１次画像、１５ｓ…一連の第２次画像、１５ｔ…一連の第３次画像、１６～１８…参照用オブジェクト、２０…撮影者、２１…撮影装置、２２…ユーザ端末、２３…ネットワーク、２４…ピン、３０…情報処理装置、３１…プロセッサ、３２…メモリ、３３…通信ＩＦ、３４…入力装置、３５…出力装置、３６…ストレージ、３７…通信バス、３８…アプリケーション、４１…画像データ、４２…特徴点データ、４３…対象データ、４４…キーポイントデータ、４５…３次元データ、４６…位置情報データ、５１…画像取得部、５２…特徴点抽出部、５３…対象検出部、５４…キーポイント設定部、５５…３次元データ生成部、５６…位置情報作成部、６２…特徴点、６２ｆ…第１次特徴点、６２ｓ…第２次特徴点、６２ｔ…対象特徴点、６２ｔｆ…第１次対象特徴点、６２ｔｆ…対象特徴点、６２ｔｓ…第２次対象特徴点、６４…キーポイント、Ｇｄ…境界線、Ｔｄ…検出位置。

Claims (15)

1. 視点を変化させながら撮影された一連の画像を取得するように構成された画像取得部と、
   前記一連の画像から複数の特徴点を抽出するように構成された特徴点抽出部と、
   前記複数の特徴点の中から検出対象を示す対象特徴点を検出するように構成された対象検出部と、
   前記複数の特徴点から複数のキーポイントを設定するように構成されたキーポイント設定部と、
   前記複数のキーポイントと前記対象特徴点との相対位置に基づいて、前記検出対象の位置情報を作成するように構成された位置情報作成部と、
   前記一連の画像から３次元データを生成するように構成された３次元データ生成部と、を備え、
   前記各キーポイントは、複数セットの前記一連の画像の各々のセットから抽出された前記特徴点のうち、同一の特徴を示す特徴点であり、
   前記３次元データは前記複数のキーポイントと前記対象特徴点とを含み、
   前記位置情報作成部は、前記３次元データから前記検出対象の位置情報を作成するように構成される、
   情報処理装置。
2. 前記画像が２次元画像である、
   請求項１に記載の情報処理装置。
3. 前記位置情報作成部が、前記３次元データから前記検出対象の位置を含む平面図を生成するように構成される、
   請求項１に記載の情報処理装置。
4. １以上のメモリを備え、
   前記メモリには、前記検出対象が存在するエリアの地図データが格納されており、
   前記位置情報作成部が、前記地図データと前記平面図とを重ねることにより、前記地図データ上に前記検出対象の位置をプロットするように構成される、
   請求項３に記載の情報処理装置。
5. １以上のメモリを備え、
   前記メモリには、
   前回の前記複数の特徴点に係る特徴点データと、
   前記複数のキーポイントに係るキーポイントデータと、が格納されており、
   前記画像取得部が新たな前記一連の画像を取得した場合に、
   前記特徴点抽出部が前記新たな一連の画像から新たな複数の特徴点を抽出し、
   前記対象検出部が前記新たな複数の特徴点の中から前記検出対象を示す新たな対象特徴点を検出し、
   前記キーポイント設定部が前記新たな複数の特徴点と前記前回の複数の特徴点とをマッチングして、同一の特徴を示す特徴点を新たなキーポイントとして、前記キーポイントデータを更新するように構成される、
   請求項１に記載の情報処理装置。
6. 前記キーポイント設定部は、規定回分の前記一連の画像からそれぞれ抽出された前記特徴点のマッチングを行い、前記規定回分のマッチングで一致しなかった前記キーポイントを削除するように構成される、
   請求項１に記載の情報処理装置。
7. １以上のメモリを備え、
   前記メモリには、前記規定回分の前記特徴点に係る特徴点データと、前記キーポイントに係るキーポイントデータとが格納されている、
   請求項６に記載の情報処理装置。
8. 前記一連の画像は前記検出対象の周辺に存在する１以上のオブジェクトを含むように撮影され、
   前記特徴点抽出部は、前記１以上のオブジェクトから前記複数の特徴点を抽出するように構成される、
   請求項１～７のうち何れか一項に記載の情報処理装置。
9. 前記１以上のオブジェクトは１以上の樹木を含み、
   前記キーポイントは、前記樹木から抽出される前記複数の特徴点から設定され、
   前記樹木の季節変化に応じて、前記キーポイントが更新される、
   請求項８に記載の情報処理装置。
10. 前記検出対象はゴルフ場のホールカップ又は前記ホールカップに立てられたピンのうち少なくとも一方であり、
    前記一連の画像は、前記ホールカップが設けられるグリーンの境界線を含むように撮影される、
    請求項１に記載の情報処理装置。
11. 前記一連の画像は動画である、
    請求項１に記載の情報処理装置。
12. １以上のコンピュータに、
    視点を変化させながら撮影された一連の第１次画像を取得することと、
    前記一連の第１次画像から複数の第１次特徴点を抽出することと、
    視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、
    前記一連の第２次画像から複数の第２次特徴点を抽出することと、
    前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、
    複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、
    前記一連の画像から３次元データを生成することであって、前記３次元データは前記複数のキーポイントと前記対象特徴点とを含む、ことと、
    前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記３次元データから前記検出対象の位置情報を生成することと、
    を実行させることを含む、情報処理方法。
13. 前記１以上のコンピュータに、
    視点を変化させながら前記検出対象を含むように撮影された一連の第３次画像を取得することと、
    前記一連の第３次画像から複数の第３次特徴点を抽出することと、
    前記複数の第３次特徴点の中から前記検出対象を示す第３次対象特徴点を検出することと、
    前記複数のキーポイントを更新することであって、更新された前記各キーポイントは、前記複数の第２次特徴点のうちの１つと同一の特徴を示す、前記複数の第３次特徴点のうちの１つである、ことと、
    前記複数のキーポイントと前記第３次対象特徴点との相対位置に基づいて、前記検出対象の位置情報を生成することと、
    をさらに実行させることを含む、
    請求項１２に記載の情報処理方法。
14. 前記一連の第１次画像は第１次動画であり、
    前記一連の第２次画像は第２次動画であり、
    前記第２次動画の撮影時間が、前記第１次動画の撮影時間よりも短い、
    請求項１２に記載の情報処理方法。
15. １以上のコンピュータに、
    視点を変化させながら撮影された一連の第１次画像を取得することと、
    前記一連の第１次画像から複数の第１次特徴点を抽出することと、
    視点を変化させながら検出対象を含むように撮影された、一連の第２次画像を取得することと、
    前記一連の第２次画像から複数の第２次特徴点を抽出することと、
    前記複数の第２次特徴点の中から前記検出対象を示す第２次対象特徴点を検出することと、
    複数のキーポイントを設定することであって、前記各キーポイントは、前記複数の第１次特徴点のうちの１つと同一の特徴を示す、前記複数の第２次特徴点のうちの１つである、ことと、
    前記一連の画像から３次元データを生成することであって、前記３次元データは前記複数のキーポイントと前記対象特徴点とを含む、ことと、
    前記複数のキーポイントと前記第２次対象特徴点との相対位置に基づいて、前記３次元データから前記検出対象の位置情報を生成することと、
    を実行させるための、情報処理プログラム。

Images