JPWO2019186982A1 - 動物生息調査方法、動物生息調査システム、および動物生息調査装置 - Google Patents

動物生息調査方法、動物生息調査システム、および動物生息調査装置 Download PDF

Info

Publication number
JPWO2019186982A1
JPWO2019186982A1 JP2020508778A JP2020508778A JPWO2019186982A1 JP WO2019186982 A1 JPWO2019186982 A1 JP WO2019186982A1 JP 2020508778 A JP2020508778 A JP 2020508778A JP 2020508778 A JP2020508778 A JP 2020508778A JP WO2019186982 A1 JPWO2019186982 A1 JP WO2019186982A1
Authority
JP
Japan
Prior art keywords
image
animal
correction
detection target
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020508778A
Other languages
English (en)
Other versions
JP7161522B2 (ja
Inventor
政聡 佐々木
政聡 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SkySeeker Co.,Ltd.
Original Assignee
SkySeeker Co.,Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SkySeeker Co.,Ltd. filed Critical SkySeeker Co.,Ltd.
Publication of JPWO2019186982A1 publication Critical patent/JPWO2019186982A1/ja
Application granted granted Critical
Publication of JP7161522B2 publication Critical patent/JP7161522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】動物の個体数をより正確に計数することが可能な動物生息調査方法を提供する。【解決手段】動物生息調査方法は、飛行体を設定飛行ルートに沿って飛行させて撮影対象エリアを撮影する撮影工程と、撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出工程と、検出対象動物情報を記憶手段に登録する登録工程と、登録された検出対象動物情報に基づいて、静止画像から検出対象動物画像を検出する検出工程と、検出対象動物画像として検出されるべきではない画像が検出された場合、当該画像を検出対象動物画像から除外する旨の補正を受け付ける補正工程と、検出工程の結果と補正工程の結果に基づいて、検出対象の動物画像の数を計数する計数工程と、計数の結果を出力する出力工程と、を有し、登録工程では、補正工程の結果に基づいて検出対象動物情報を更新することが可能である。【選択図】図4

Description

本発明は、動物生息調査方法、動物生息調査システム、および動物生息調査装置に関する。
特許文献1には、赤外線サーモグラフィカメラを用いた動物生息調査方法が開示されている。
特開2017−194760号公報
しかしながら、従来の動物生息調査方法では、調査対象である動物を認識できなかったり、また、調査対象ではない動物を誤認識してしまったりするという課題があった。
本発明の目的は、動物の個体数をより正確に計数することが可能な動物生息調査方法を提供することである。
本発明の動物生息調査方法は、撮像手段を備える飛行体を予め設定した飛行ルートに沿って飛行させ、撮影対象エリアを前記撮像手段で撮影する撮影工程と、前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出工程と、検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録工程と、前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出工程と、前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正工程と、前記検出工程の結果と前記補正工程の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数工程と、前記計数の結果を出力する出力工程と、を有し、前記登録工程では、前記補正工程の結果に基づいて前記検出対象動物情報を更新することが可能である、ことを特徴とする。
これにより、動物の個体数をより正確に計数することが可能である。
本発明の動物生息調査方法は、撮像手段を備える飛行体を予め設定した飛行ルートに沿って飛行させ、撮影対象エリアを前記撮像手段で撮影する撮影工程と、前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出工程と、検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録工程と、前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出工程と、前記検出対象動物画像として前記検出されるべき画像が前記検出されなかった場合、当該画像を前記検出対象動物画像に含める旨の補正を受け付ける補正工程と、前記検出工程の結果と前記補正工程の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数工程と、前記計数の結果を出力する出力工程と、を有し、前記登録工程では、前記補正工程の結果に基づいて前記検出対象動物情報を更新することが可能である、ことを特徴とする。
これにより、動物の個体数をより正確に計数することが可能である。
好適には、前記撮影工程では、前記飛行ルートは、前記撮影対象エリアを前記撮像手段で撮影する画角および倍率が一定となるように、前記飛行体の飛行するルート、高度が設定可能である、ことを特徴とする。
これにより、撮影倍率や角度が一定となるため、被写体である動物の大きさの基準がぶれないようにすることが可能である。
好適には、前記所定のタイミングは、所定の時間間隔、または、所定のフレーム間隔により設定可能である、ことを特徴とする。
これにより、静止画像の確認がし易くなる。
好適には、前記補正工程が所定期間行われない場合、補正を促す画面を表示する、ことを特徴とする。
これにより、操作者に補正を促すことが可能である。
本発明の動物生息調査システムは、撮影対象エリアを撮像する撮像手段を備え、予め設定した飛行ルートに沿って飛行する飛行体と、前記撮像手段により撮像された撮像画像に基づき調査対象である動物の生息調査結果を出力する動物生息調査装置と、からなる動物生息調査システムであって、前記動物生息調査装置は、前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出手段と、検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録手段と、前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出手段と、前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正手段と、前記検出手段の結果と前記補正手段の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数手段と、前記計数の結果を出力する出力手段と、を有し、前記登録手段では、前記補正手段の結果に基づいて前記検出対象動物情報を登録することが可能である、ことを特徴とする。
これにより、動物の個体数をより正確に計数することが可能である。
本発明の動物生息調査装置は、撮影対象エリアを撮像する撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出手段と、検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録手段と、前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出手段と、前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正手段と、前記検出手段の結果と前記補正手段の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数手段と、前記計数の結果を出力する出力手段と、を有し、前記登録手段では、前記補正手段の結果に基づいて前記検出対象動物情報を登録することが可能である、ことを特徴とする。
これにより、動物の個体数をより正確に計数することが可能である。
本発明によって、動物の個体数をより正確に計数することが可能である。
動物生息調査システムの構成図である。 カメラで撮影した動画像データのデータ構成を示す図である。 飛行体の飛行ルートの概要図である。 飛行体の動画撮影方法の概略図である。 飛行体のカメラの画角を示す説明図である。 飛行体の飛行制御フローを示すフローチャートである。 カメラの撮影制御フローを示すフローチャートである。 動物生息調査結果処理フローを示すフローチャートである。
以下、本発明の実施形態を、図1〜図8を用いて詳細に説明する。
<動物生息調査システムの構成>
図1は、本発明の本実施形態に係る動物生息調査システムの構成図である。
本実施形態に係る動物生息調査システム1は、飛行体2とサーバ3とが広域通信網4(代表的にはインターネット)を通じて通信可能に接続され、データのやり取りが行われる。
[飛行体の構成]
まず飛行体2の構成について説明する。飛行体2は、例えばドローン等の無人飛行体である。飛行体2には、飛行体2を制御する制御部(飛行制御手段21、撮影制御手段23)、プロペラを駆動するための駆動部、位置情報を取得するGPS、センサ、カメラ22、RAMやROM等の記憶媒体からなる記憶手段24、バッテリー等を備える。制御部は、カメラ22やセンサ、GPSを制御して、動画像データや静止画像データ、温度や湿度等の気象データ、位置データを取得し、取得した各種データを通信部によりサーバ3に送信する。
カメラ22は、飛行体2に設けられた撮像手段であって、動物生息調査を実施する前段階における飛行範囲設定や確認を行うための確認撮影や、設定された飛行範囲における動物生息調査のための調査撮影等に用いられ、撮影制御手段23により動画撮影や静止画撮影の制御が行われる。
飛行制御手段21は、サーバ3で設定された動物生息調査飛行ルートデータに基づく飛行ルートにしたがって、飛行体2の飛行を制御する。具体的には、サーバ3内で予め設定された動物生息調査用飛行ルートデータ(飛行ルートや高さ、速度、カメラの角度、倍率、撮影開始地点、撮影終了地点等)にしたがって飛行体2の飛行を制御する。センサは、温度や湿度等の気象データを取得するためのセンサである。GPSは、GPS受信機であり、サーバ3から送信された飛行制御信号にしたがって飛行ルート通りに飛行を行うために使用される。飛行制御手段21がGPSにより飛行体2の飛行位置情報を取得する。例えば、飛行体2の現在位置情報や、サーバ3から送信された飛行ルートにしたがって飛行した位置の情報等を取得する。駆動部は、サーバ3から送信された制御信号にしたがってプロペラの駆動を制御する。記憶手段24には、飛行ルートに沿ってカメラ22で撮影された動画像データ等が日時データや緯度・経度・高度データや気象データ等と対応付けて保存される。
なお、動物生息調査を行う際の飛行体2の飛行ルートは、地図データに動物生息調査調査対象エリアにおける飛行体2の飛行ルートの飛行開始地点と飛行終了地点(本実施形態では飛行終了地点と飛行開始地点は同じである)、始点から終点までの各経由地点をオーバーレイしていくことで数値化(緯度、経度で示す)し、飛行高度を設定することにより飛行ルートデータを作成する。また、飛行開始地点から飛行終了地点までの各経由地点のおける撮影開始地点と撮影終了地点とを設定する。そして、飛行体2の飛行速度とカメラ22の角度や倍率を設定したうえで、設定された飛行ルートデータに基づき飛行体2を飛行させてカメラ22による撮影画像を確認する。そして撮影画像(撮影動画)を確認したうえで、飛行ルートの修正や飛行高度、飛行速度、カメラ22の画角や倍率等を修正していく作業を繰り返すことにより、今回の動物生息調査用の飛行ルートデータ、飛行速度、カメラ22の画角や倍率を決めていく。なお、カメラ22の画角は調査対象動物の特徴が認識し易い角度(例えば、45度)に設定すること好ましく、カメラ22の倍率は調査対象動物の大きさに合わせた一定倍率に設定することが好ましい。決まった飛行ルートデータ、飛行速度、カメラ22の画角や倍率等は動物生息調査IDと対応付けてDB32に「動物生息調査No.1…」というように動物生息調査飛行ルートデータとして登録される。
そして、登録された動物生息調査飛行ルートデータと対応付けて、静止画像データの抽出(キャプチャ)タイミング、例えば2秒間隔で抽出や、60フレーム/秒であれば120フレーム間隔等を設定する。ここでの静止画像データの抽出タイミングは、抽出した静止画像データを連続して繋げてモニタ等に出力ときに、1枚の航空写真の様に出力される状態となるのが好ましい。なお、静止画像データの抽出タイミングについては、一括設定する方法や静止画像データごとに設定する方法、また、一括設定後に各静止画像データを確認しながら抽出タイミングを微調整していく方法、撮影動画を確認しながら任意のタイミングで抽出していく方法等が考えられる。
[サーバの構成]
次にサーバ3の構成について説明する。サーバ3は動物生息調査装置であって、ハードドウェアの構成として、CPUを備える制御部(登録手段32、抽出手段35、画像解析手段36と、補正手段37、計数手段38)を備える。そして制御部には、外部の有線または無線の広域通信網(代表的にはインターネット)と通信するための通信部、液晶等のディスプレイを含む表示部、ROM、RAM、HDD等の記憶媒体からなる記憶部が接続される。記憶部には、画像データや画像解析などの処理結果を保持するDB(データベース)31や動物生息調査のアプリケーションプログラムや飛行体2の飛行ルートや気象データ等が記憶される。またサーバ3には、キーボードやマウス等からなる入力手段33や、ディスプレイやプリンタ等からなる出力手段34が接続される。
入力手段33は、例えば、操作者により操作されるキーボードやマウス、タッチパネル等であり、操作者によってサーバ3の各種操作、飛行ルートの登録操作、カメラ22のパン・チルト等の登録操作、静止画像データからの個体画像情報の登録操作、検出された個体画像データの成否操作等の各種操作が行われる。
出力手段34は、例えば、モニタ等の動画や静止画等が表示可能な装置であればよい。なお、タッチパネル等の入力手段33と出力手段34が一体となった構成を有する装置(タッチパネルディスプレイモニタ)であってもよい。
DB31には、カメラ22で撮影された空撮映像の動画像データがIDと対応付けて記憶され、抽出手段35で抽出した静止画像データ、予め登録された調査対象(計数対象ともいう)の個体画像情報、登録手段32により追加された計数対象の個体画像情報、設定した飛行ルートや気象データ等を含む動物生息調査に必要なデータを記憶する。なお、本実施形態では、動画像データとしては、カメラ22で撮影されたカラー動画像データ等が日時データや緯度・経度・高度データや気象データ等と対応付けて記憶される。なお、計数対象の個体画像情報には、個体の全体像を複数の角度から撮影した画像情報、個体を広角や望遠で撮影した画像情報、個体の特徴箇所(例えば、目、鼻、口、耳、角の形状等)を複数の角度から撮影した画像情報等や、雄の個体、雌の個体、子の個体等の各種画像情報が含まれる。また、計数対象の個体画像情報は、今回の動物生息調査対象の動物が複数種類である場合、例えば鹿・猪・猿であるとした場合、鹿の個体画像情報、猪の個体画像情報、猿の個体画像情報がDB31に記憶されることとなる。また、DB31には後述する補正手段37による第1補正処理が所定期間実行されない場合に、第1補正処理の実行を促すための第1補正処理促進表示をモニタに表示するタイミング(例えば、30日間)、および、補正手段37による第2補正処理が所定期間実行されない場合に、第2補正処理の実行を促すための第2補正処理促進表示をモニタに表示するタイミング(例えば、30日間)が登録される。
登録手段32は、予め計数対象の個体画像情報(ベースとなる個体画像情報)を複数、DB31に登録させたり、後述する補正手段37により補正処理が行われた場合、DB31に記憶された計数対象の個体画像情報を削除したり、新たに計数対象の個体画像情報として追加登録したりする処理を行う。
抽出手段35は、カメラ22で撮影されたカラー動画像データを白黒動画像データに変換した後、予め設定された所定のタイミング(所定の時間(数秒)またはフレームごと)で白黒静止画像データを抽出(キャプチャ)し、抽出した白黒静止画像データを静止画像データIDや日時データ、気象データ等と対応付けてDB31に保存させる。
画像解析手段36は、DB31に保存された計数対象の個体画像情報を参照して、抽出手段35で抽出した各静止画像データ(空撮された景色画像)とのパターンマッチングを行い、この静止画像データ内に計数対象の個体画像情報とマッチング度(類似度)が高い(例えば、マッチング度が85%以上)画像データが複数ある場合、この画像データは計数対象の個体画像データであると特定し、特定個体画像データとしてDB31に特定個体画像データIDや静止画像データID、座標情報等と対応付けて記憶させていく画像解析処理を行う。したがって、1つの静止画像データ内に計数対象の個体画像データが1つ特定された場合は、DB31に特定個体画像データが1つ記憶され、複数特定された場合は特定個体画像データが複数記憶されることとなる。また、DB31に保存された計数対象の個体画像情報の各々に対応付けてマッチング度をDB31に記憶させる。
補正手段37は、画像解析手段36に特定された特定個体画像データの誤りを修正したり、画像解析手段36により計数対象の個体画像データであると特定できなかった画像データを追加したりする場合に使用される。補正手段37は操作者により入力手段33を用いて操作される。操作者が特定個体画像データの誤りを修正したいときは、入力手段33を操作して特定個体画像データを一つ一つモニタに表示させて確認を行い、確認を行っているなかで今回の調査対象である動物の画像データとは異なる画像データが含まれていた場合には、入力手段33を操作することにより特定個体画像データから除外することができる(以下、第1補正処理という)。また、操作者が画像解析手段36により計数対象の個体画像データであると特定できなかった画像データがあるか否かを確認したいときは、入力手段33を操作して静止画像データを一つ一つモニタに表示(このとき表示される静止画像には、特定個体画像データが存在する位置を示すマークと、マークとともに動物の種類等が表示されている)させて確認を行い、確認を行っているなかで本来は特定個体画像データであると特定されるべき画像データがあった場合には、入力手段33を操作してこの画像データを指定することにより特定個体画像データに含めることができる(以下、第2補正処理という)。
また、補正手段37により上述した第1補正処理が行われた場合、登録手段32は特定個体画像データから外された画像データに対して高いマッチング度(例えば85%以上)を示した個体画像情報を計数対象の個体画像情報から削除する処理を行う。なお、削除に際しては、操作者が削除対象の個体画像情報を確認したうえで操作者による操作に応じて削除する方法や、操作者による確認を行わずに削除する方法が考えられる。
また、補正手段37により上述した第2補正処理が行われた場合、登録手段32は新たに特定個体画像データに含められた画像データを計数対象の個体画像情報として追加登録する処理を行う。なお、追加登録に際しては、操作者が追加対象の画像データを確認したうえで操作者による操作に応じて追加登録する方法や、操作者による確認を行わずに追加登録する方法が考えられる。
計数手段38は、上述した画像解析手段36による画像解析処理結果と補正手段37による補正処理結果に基づいて、検出された特定個体画像データの数を各動物の種類に対応した特定個体画像データ毎に計数する。
計数手段38による計数結果は、出力手段34によりモニタ等に出力される。ここでの出力形態としては、例えば、動物生息調査日時とともに、各調査対象動物の名称と計数された頭数等が表示される。
ここで、本実施形態に係る動物生息調査方法について簡単に纏めておく。本実施形態に係る動物生息調査方法は、飛行体2で撮影した動画像データから所定のタイミングで静止画像データを抽出手段35により抽出し、抽出した静止画像データから画像解析手段36により画像解析処理を行い、計数対象の個体画像情報とのマッチング度が高い画像データを特定個体画像データとしてDB31に記憶させる。DB31に記憶された特定個体画像データに誤りがあるときは補正手段37による第1補正処理によって特定個体画像データから除外することができる。また、DB31に記憶された静止画像データを確認し、特定個体画像データとして検出されなかった画像データがあるときは補正手段37による第2補正処理によって特定個体画像データに追加登録することができる。計数手段38は、画像解析手段36による画像解析処理結果と補正手段37による補正処理結果に基づいて、検出された特定個体画像データの数を計数し、出力手段34により計数結果が出力される。本実施形態では、補正手段37により第1補正処理(特定個体画像データの誤り補正)や第2補正処理(特定個体画像データの見落とし補正)を行うことができるため、特定個体画像データの特定精度を向上させることが可能である。
<動画像データのデータ構成>
図2は、カメラ22で撮影した動画像データのデータ構成を示す図である。
本実施形態に係る動画像データのデータ構造は、調査ID222と、撮影動画223と、位置情報224と、日時情報225と、撮影条件226とを有する。調査ID222は、データを識別するIDである。撮影動画223は、カメラ22で撮影した動画像データである。位置情報224は、例えば、GPS等を利用して動画を撮影した位置や飛行ルート等の位置情報である。日時情報225は、撮影した日時の情報である。撮影条件226は、撮影時の気温・湿度等の気象データや撮影時の画角や倍率、飛行体2の飛行速度等を含む。
<飛行ルートの概略>
図3は、飛行体2の飛行ルートの概要図である。
本実施形態に係る飛行ルート51は、計数対象のエリアの地図5上のポイント(経由点)52を撮影および飛行開始地点として飛行体2は離陸し、ポイント52からポイント(経由点)53へ向かい、ポイント53に到着したら方向を変えてポイント(経由点)54へ向かるルートである。そして、ポイント54から順次、矢印の方向に向かって飛行体2を飛行させるルートであり、撮影終了地点であるポイント(経由点)55に到着すると飛行体2は飛行終了地点であるポイント52に戻って着陸する。そして、ポイント52にはワイヤレス充電器が設けられた基地が設置されており、飛行体2はこのワイヤレス充電器上に着陸する。飛行体2が着陸したことを検知すると飛行体2のバッテリーの充電を開始する。なお、本実施形態ではポイント52を飛行開始および撮影開始地点であり、かつ、飛行終了地点であり、ポイント55を撮影終了地点としているがこれに限らず、ポイント52を飛行開始および撮影開始地点として、ポイント55を飛行終了および撮影終了地点としてもよい。また、ポイント52は撮影開始地点であり、ポイント55は撮影終了地点として、飛行体2の飛行開始地点や飛行終了地点を他の位置に設定するようにしてもよい。
<撮影方法の概略>
図4は、飛行体2の撮影方法の概略図である。
飛行体2は、山6や木8よりも高い高度で飛行を行う。この図4に示すように、飛行体2に設けられたカメラ22は、飛行体2の真下を撮影するのではなく。所定の角度(例えば、45度)傾いた状態で地上を撮影する。これは、地上を真上から撮影する場合に比べて1フレーム当たりの撮影範囲が広くなるとともに、地上を真上から撮影すると調査対象である動物(ここでは、鹿7)が木8に隠れて撮影できない場合が考えられるためである。また、調査対象である動物の特徴を多く撮影するためには、真上から撮影するよりも角度をつけて撮影したほうがよいためである。なお、本実施形態では、飛行体2の飛行高度や飛行速度は一定である。
<飛行体2のカメラ22の画角>
図5は、飛行体2のカメラ22の画角を詳細に示す説明図である。図に示すように、飛行体2のカメラ22のレンズ221の向く方向は、飛行体2から地上へ向かう方向を0度として、角度θだけ傾いている。角度θは、例えば、30度や45度等で固定してもよく、対象エリアの地形や飛行体2の飛行高度やルートに応じて適宜変更可能である。
<飛行体2の飛行制御>
図6は、飛行体2の飛行制御フローを示すフローチャートである。
飛行制御手段21は、サーバ3から送信される今回の動物生息調査用飛行ルートデータをロードして、ロードした動物生息調査用飛行ルートにしたがって飛行体2の飛行を制御する。
まず、ステップS601で飛行制御手段21は、不図示のGPSから飛行体2の現在の位置情報(緯度、経度等)を取得する。本実施形態では、ステップS601で取得する地位情報は、GPS等の位置のみならず、飛行高度を含めて判定をする。
ステップS602で飛行制御手段21は、取得した位置情報と、ロードした動物生息調査用飛行ルートを比較し、動物生息調査用飛行ルートで設定された撮影開始地点であるか否かを判定する。撮影開始地点ではない場合、動物生息調査用飛行ルートで設定された飛行ルートにしたがって撮影開始地点まで飛行していく。なお、本実施形態では上述したように飛行開始地点と撮影開始地点は同じポイント52であるため、ここでは飛行体2は動物生息調査用飛行ルートで設定された高度まで上昇する。
撮影開始地点であると判定された場合(YES)、ステップS603に進み、飛行制御手段21は撮影制御手段23によりカメラ22を起動し、動画の撮影を開始する。
次に、ステップS604で飛行制御手段21は、動物生息調査用飛行ルートに設定された飛行ルート、飛行高度、飛行速度にしたがって飛行を制御する。
次に、ステップS605で飛行制御手段21は、動物生息調査用飛行ルートで設定された撮影終了地点に到着したか否かを判定する。撮影終了地点(ポイント55)に到着した場合(YES)、ステップS606に進み、撮影終了地点に到着していない場合(NO)、ステップS604に戻り撮影を継続する。
ステップS606で飛行制御手段21は、撮影制御手段23によりカメラ22の起動を終了させて、動画の撮影を終了する。
そして、ステップS607で飛行制御手段21は、動物生息調査用飛行ルートで設定された飛行終了地点に到着したか否かを判定する。飛行終了地点に到着した場合(YES)、ステップS608に進み、飛行体2の待機位置(ポイント52)まで飛行し待機位置に着陸した後、処理を終了する。なお、本実施形態では、撮影終了後は、飛行体2の待機位置まで戻る処理とするが、これに限らず、飛行ルートの終了地点に着陸するようにしてもよい。
<カメラ22の撮影制御>
図7は、カメラ22の撮影制御フローを示すフローチャートである。
まず、ステップS701で撮影制御手段23は、撮影開始の条件を満たすか否かを判定する。つまり、撮影制御手段23は、飛行制御手段21により、ステップS602で飛行開始位置に到着したと判定されたか否かを判定する。
次に、ステップS701で、撮影準備が完了しているか否かを判定する。具体的には、ステップS603でカメラ22の起動をした際に画角や倍率等が予め設定している条件を満たすか否かを判定する。撮影準備が完了している場合(YES)、ステップS704に進む。一方、撮影準備が完了していない場合(NO)、ステップS703に進み、カメラ22を調整して、予め設定された条件を満たすように画角や倍率等を調整した後、ステップS704に進む。
そして、ステップS704で撮影制御手段23は、カメラ22により動画の撮影を開始するとともに、撮影したカラー動画像データを記憶手段24に順次記憶していくとともにサーバ3に記憶手段24に順次記憶されたカラー動画像データを順次送信する。
次に、ステップS705で、撮影制御手段23は、撮影を終了する否かを判定する。つまり、ステップS605で飛行体2が飛行ルートにおける撮影終了地点に到着したと判定された場合に、撮影を終了すると判定する。
次に、ステップS706で、撮影制御手段23は、撮影した動画(動画像データ)をサーバ3に送信して、処理を終了する。サーバ3は、送信されたカラー動画像データをDB31に調査ID222と対応付けて図2を用いて上述したように記憶する。
<動物生息調査結果処理>
図8は、サーバ3で行われる動物生息調査結果処理フローを示すフローチャートである。
まず、ステップS801で抽出手段35は、DB31に保存したカラー動画像データを白黒画像データに変換し、白黒画像データから予め設定されたタイミング(所定の時間または所定のフレーム)で静止画像データを順次抽出する。
次に、ステップS802で画像解析手段36は、DB31に保存された今回の計数対象の個体画像情報を参照して、抽出した静止画像データとのパターンマッチングを行い、この静止画像データ内に計数対象の個体画像情報とマッチング度(類似度)が高い画像データを特定個体画像データであると特定し、特定個体画像データとしてDB31に特定個体画像データIDや座標情報等と対応付けて順次記憶させる。
次に、ステップS803で補正手段37は、第1補正処理(特定個体画像データの誤り補正)を実行するか否かを判定し、第1補正処理を実行しない場合(NO)、ステップS806に進み、第1補正処理を実行する場合(YES)、ステップS804に進む。なお、このステップS803では、所定期間(例えば30日間)の間、第1補正処理が実行されていない場合、第1補正処理を実行するように促す第1補正処理促進表示をモニタに表示する。この第1補正処理促進画面を確認した操作者は、第1補正処理の実行/不実行を選択する。ここで、第1補正処理の実行が選択されるとステップS804に進む一方、第1補正処理の不実行が選択されるとステップS806に進む。
次に、ステップS804で補正手段37は、第1補正処理(特定個体画像データの誤り補正)を実行する。なお、第1補正処理が実行された場合、第1補正処理促進表示を次回表示するタイミングは、翌日から所定期間後(例えば30日後)のタイミングに更新登録される。
次に、ステップS805で登録手段32は、第1補正処理により特定個体画像データから外された画像データに対して高いマッチング度を示した個体画像情報を計数対象の個体画像情報から削除する処理を行う。
次に、ステップS806で補正手段37は、第2補正処理(特定個体画像データの見落とし補正)を実行するか否かを判定し、第2補正処理を実行しない場合(NO)、ステップS809に進み、第2補正処理を実行する場合(YES)、ステップS807に進む。なお、このステップS806では、所定期間(例えば30日間)の間、第2補正処理が実行されていない場合、第2補正処理を実行するように促す第2補正処理促進表示をモニタに表示する。この第2補正処理促進画面を確認した操作者は、第2補正処理の実行/不実行を選択する。ここで、第2補正処理の実行が選択されるとステップS807に進む一方、第1補正処理の不実行が選択されるとステップS809に進む。
次に、ステップS807で補正手段37は、第2補正処理(特定個体画像データの見落とし補正)を実行する。なお、第2補正処理が実行された場合、第2補正処理促進表示を次回表示するタイミングは、翌日から所定期間後(例えば30日後)のタイミングに更新登録される。
次に、ステップS808で登録手段32は、第2補正処理により新たに特定個体画像データに含められた画像データを計数対象の個体画像情報として追加登録する処理を行う。
次に、ステップS806で計数手段38は、画像解析手段36による画像解析処理結果と補正手段37による補正処理結果に基づいて、検出された特定個体画像データの数を各動物の種類に対応した特定個体画像データ毎に計数する。
そして、ステップS807で出力手段34は、計数手段38による計数結果を動物生息調査日時とともに、各調査対象動物の名称と計数された頭数等をモニタ等に表示した後、この処理を終了する。
<本実施形態の変形例等>
飛行ルートは、日中に飛行体2をテスト飛行させることで、飛行ルートや飛行高度、飛行速度等を設定することが望ましい。そして、計数対象の個体が動物(本実施形態では、鹿等)であるため、夜間での飛行を行うことでより精度よく個体数の計数ができる。さらには、落葉シーズンに飛行ルートを設定することで、木に邪魔されることなく、個体の計数がし易い。
また、本実施形態では、鹿等を計数対象の個体としているが、これに限らず、例えば、猪、きょん、熊、ウサギ等の動物ごとに個体画像情報をDB31に記憶させ、上述した静止画像データからの画像解析手段36による解析処理や補正手段37による補正処理や登録手段32による登録処理を行うようにしてもよい。さらに、動物別だけでなく、雄や雌、子どもなどの区分で個体画像情報をDB31に記憶させ、上述した静止画像データからの画像解析手段36による解析処理や補正手段37による補正処理や登録手段32による登録処理を行うようにしてもよい。
また、本実施形態では、カラー撮影した動画像データを白黒動画像データに変換した後に白黒静止画像データを抽出するようにしていたが、これに限らず、カラー撮影した動画像データからカラー静止画像データを抽出した後に白黒静止画像データに変換するようにしてもよい。また、カラー静止画像データを用いて画像解析手段36による解析処理や補正手段37による補正処理や登録手段32による登録処理が行うようにしてもよい。
また、カメラ22は、赤外線カメラや高感度カメラであってもよい。また、赤外線カメラや高感度カメラを用いて撮影した場合、白黒静止画像データに変換しないようにしてもよい。
また、本実施形態では、補正手段37により第1補正処理が行われた場合、登録手段32は特定個体画像データから外された画像データに対して高いマッチング度(例えば85%以上)を示した個体画像情報を計数対象の個体画像情報から削除する処理を行うようにしていたが、これに限らず、この個体画像情報を削除せずに残して、誤りがあった旨を示す誤認情報を付与して更新登録するようにしてもよい。
また、本実施形態では、静止画像データ内に計数対象の個体画像情報とマッチング度が高い画像データが複数ある場合、この画像データは計数対象の個体画像データであると特定するようにしていたが、これに限らず、静止画像データ内に計数対象の個体画像情報とマッチング度が高い画像データが1つでもある場合、この画像データは計数対象の個体画像データであると特定するようにしてもよい。
また、第2補正処理が行われた場合の他の追加登録の方法として以下に示す方法が考えられる。第1の方法として、モニタに静止画像が表示されている状態で、マウス等により追加登録したい画像データを示す(画像をマウス等で囲む、または、クリックする)ことにより追加登録する方法。第2の方法として、モニタがタッチパネルディスプレイである場合には静止画像が表示されている状態で、追加登録したい画像データをタッチパネルで示す(画像をタッチパネルで囲む、または、タッチする)ことにより追加登録する方法。
また、本実施形態では、補正手段37は第1補正処理と第2補正処理とを実行するようにしていたが、これに限らず、第1補正処理または第2補正処理の何れか一方の処理のみを実行するようにしてもよい。
<付記事項>
好適には、前記登録工程では、前記登録された前記検出対象動物情報を、前記非検出対象画像に基づき補正することが可能であり、これにより、検出対象動物情報の精度を向上することが可能である。
好適には、前記補正工程では、前記静止画像を表示し、当該表示された前記静止画像から前記検出対象動物情報として登録したい画像を受け付け、当該受け付けた画像を前記検出対象動物情報として前記記憶手段に登録させることが可能であり、これにより、検出対象動物情報の精度を向上することが可能である。
1 動物生息調査システム
2 飛行体
3 サーバ
4 広域通信網
21 飛行制御手段
22 カメラ
23 撮影制御手段
24 記憶手段
31 DB
32 登録手段
33 入力手段
34 出力手段
35 抽出手段
36 画像解析手段
37 補正手段
38 計数手段

Claims (7)

  1. 撮像手段を備える飛行体を予め設定した飛行ルートに沿って飛行させ、撮影対象エリアを前記撮像手段で撮影する撮影工程と、
    前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出工程と、
    検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録工程と、
    前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出工程と、
    前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正工程と、
    前記検出工程の結果と前記補正工程の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数工程と、
    前記計数の結果を出力する出力工程と、を有し、
    前記登録工程では、
    前記補正工程の結果に基づいて前記検出対象動物情報を更新することが可能である、ことを特徴とする動物生息調査方法。
  2. 撮像手段を備える飛行体を予め設定した飛行ルートに沿って飛行させ、撮影対象エリアを前記撮像手段で撮影する撮影工程と、
    前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出工程と、
    検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録工程と、
    前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出工程と、
    前記検出対象動物画像として前記検出されるべき画像が前記検出されなかった場合、当該画像を前記検出対象動物画像に含める旨の補正を受け付ける補正工程と、
    前記検出工程の結果と前記補正工程の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数工程と、
    前記計数の結果を出力する出力工程と、を有し、
    前記登録工程では、
    前記補正工程の結果に基づいて前記検出対象動物情報を更新することが可能である、ことを特徴とする動物生息調査方法。
  3. 前記撮影工程では、前記飛行ルートは、前記撮影対象エリアを前記撮像手段で撮影する画角および倍率が一定となるように、前記飛行体の飛行するルート、高度が設定可能である、ことを特徴とする請求項1に記載の動物生息調査方法。
  4. 前記所定のタイミングは、所定の時間間隔、または、所定のフレーム間隔により設定可能である、ことを特徴とする請求項1〜3のいずれか1項に記載の動物生息調査方法。
  5. 前記補正工程が所定期間行われない場合、補正を促す画面を表示する、ことを特徴とする請求項1〜4のいずれか1項に記載の動物生息調査方法。
  6. 撮影対象エリアを撮像する撮像手段を備え、予め設定した飛行ルートに沿って飛行する飛行体と、前記撮像手段により撮像された撮像画像に基づき調査対象である動物の生息調査結果を出力する動物生息調査装置と、からなる動物生息調査システムであって、
    前記動物生息調査装置は、
    前記撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出手段と、
    検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録手段と、
    前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出手段と、
    前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正手段と、
    前記検出手段の結果と前記補正手段の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数手段と、
    前記計数の結果を出力する出力手段と、を有し、
    前記登録手段では、
    前記補正手段の結果に基づいて前記検出対象動物情報を登録することが可能である、ことを特徴とする動物生息調査システム。
  7. 撮影対象エリアを撮像する撮像手段により撮像された撮像画像から所定のタイミングで静止画像を抽出する抽出手段と、
    検出対象とする動物画像を特定可能な検出対象動物情報を記憶手段に登録する登録手段と、
    前記登録された前記検出対象動物情報に基づいて、前記静止画像から検出対象動物画像を検出する検出手段と、
    前記検出対象動物画像として前記検出されるべきではない画像が前記検出された場合、当該画像を前記検出対象動物画像から除外する旨の補正を受け付ける補正手段と、
    前記検出手段の結果と前記補正手段の結果に基づいて、前記撮像対象エリアにおける前記検出対象の動物画像の数を計数する計数手段と、
    前記計数の結果を出力する出力手段と、を有し、
    前記登録手段では、
    前記補正手段の結果に基づいて前記検出対象動物情報を登録することが可能である、ことを特徴とする動物生息調査装置。
JP2020508778A 2018-03-29 2018-03-29 動物生息調査方法、動物生息調査システム、および動物生息調査装置 Active JP7161522B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013495 WO2019186982A1 (ja) 2018-03-29 2018-03-29 動物生息調査方法、動物生息調査システム、および動物生息調査装置

Publications (2)

Publication Number Publication Date
JPWO2019186982A1 true JPWO2019186982A1 (ja) 2021-02-12
JP7161522B2 JP7161522B2 (ja) 2022-10-26

Family

ID=68058630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508778A Active JP7161522B2 (ja) 2018-03-29 2018-03-29 動物生息調査方法、動物生息調査システム、および動物生息調査装置

Country Status (2)

Country Link
JP (1) JP7161522B2 (ja)
WO (1) WO2019186982A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016786A (ja) * 2012-07-09 2014-01-30 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2014044481A (ja) * 2012-08-24 2014-03-13 Fujifilm Corp 物品照合装置および方法並びにプログラム
JP2017194760A (ja) * 2016-04-18 2017-10-26 株式会社スカイシーカー 動物生息状況調査方法および動物生息状況調査システム
JP2017201261A (ja) * 2016-05-06 2017-11-09 砂防エンジニアリング株式会社 形状情報生成システム
JP2018022395A (ja) * 2016-08-04 2018-02-08 株式会社Sayコンピュータ 計数方法および計数装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016786A (ja) * 2012-07-09 2014-01-30 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2014044481A (ja) * 2012-08-24 2014-03-13 Fujifilm Corp 物品照合装置および方法並びにプログラム
JP2017194760A (ja) * 2016-04-18 2017-10-26 株式会社スカイシーカー 動物生息状況調査方法および動物生息状況調査システム
JP2017201261A (ja) * 2016-05-06 2017-11-09 砂防エンジニアリング株式会社 形状情報生成システム
JP2018022395A (ja) * 2016-08-04 2018-02-08 株式会社Sayコンピュータ 計数方法および計数装置

Also Published As

Publication number Publication date
WO2019186982A1 (ja) 2019-10-03
JP7161522B2 (ja) 2022-10-26

Similar Documents

Publication Publication Date Title
WO2015005573A1 (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법
US11543836B2 (en) Unmanned aerial vehicle action plan creation system, method and program
WO2018209898A1 (zh) 信息处理装置、航拍路径生成方法、航拍路径生成系统、程序以及记录介质
JP6802599B1 (ja) 検査システム
US9846921B2 (en) Dynamic image masking system and method
CN110716586A (zh) 无人机的拍照控制方法、装置、无人机和存储介质
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
US20210110723A1 (en) Management apparatus, management method and management system
CN110537365A (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
Wich et al. Conservation drones
WO2019230604A1 (ja) 検査システム
CN108647252A (zh) 一种基于无人机的地图中选定特征更新方法及系统
JP2017194760A (ja) 動物生息状況調査方法および動物生息状況調査システム
US20220139078A1 (en) Unmanned aerial vehicle, communication method, and program
JP2023100642A (ja) 検査システム
JP7161522B2 (ja) 動物生息調査方法、動物生息調査システム、および動物生息調査装置
KR102402949B1 (ko) 정밀도가 향상된 영상 정보의 획득 방법
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
KR102364615B1 (ko) 무인 비행체의 비행을 위한 경로를 결정하고 무인 비행체를 제어하는 방법 및 장치
Fujita et al. Evaluation method of military aircraft noise using ai analysis of aircraft images
JP2021014241A (ja) 無人航空機、画像撮像システム、及びプログラム
KR20150006752A (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
KR102340527B1 (ko) 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법
Persson et al. Real-time image processing on handheld devices and UAV
KR101861251B1 (ko) 실시간 지상 보상물건 정보취득 시스템 및 이를 이용한 보상물건정보 취득 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220315

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220802

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220913

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221011

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221014

R150 Certificate of patent or registration of utility model

Ref document number: 7161522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150