JP7015376B2 - 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム - Google Patents

撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム Download PDF

Info

Publication number
JP7015376B2
JP7015376B2 JP2020504847A JP2020504847A JP7015376B2 JP 7015376 B2 JP7015376 B2 JP 7015376B2 JP 2020504847 A JP2020504847 A JP 2020504847A JP 2020504847 A JP2020504847 A JP 2020504847A JP 7015376 B2 JP7015376 B2 JP 7015376B2
Authority
JP
Japan
Prior art keywords
shooting
evaluation
subject
conditions
evaluation map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020504847A
Other languages
English (en)
Other versions
JPWO2019171823A1 (ja
Inventor
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019171823A1 publication Critical patent/JPWO2019171823A1/ja
Application granted granted Critical
Publication of JP7015376B2 publication Critical patent/JP7015376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01DCONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04GSCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
    • E04G23/00Working measures on existing buildings
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Bridges Or Land Bridges (AREA)
  • Working Measures On Existing Buildindgs (AREA)

Description

本発明は、撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラムに関する。
橋梁、トンネル、ダムなどの構造物の表面を撮影装置で撮影し、得られた画像を解析することによって、構造物を検査、点検等する技術が知られている。
特許文献1には、撮影条件等の情報が記録された二次元バーコードを構造物に配置し、その二次元バーコードを読み取って、点検用の撮影を実施する技術が提案されている。
特開2017-31740号公報
ところで、点検等を目的として構造物を撮影する際、どのような機材を用いて、どのような位置から、どのような条件で撮影すればよいかの判断は熟練度を要する。特に、ドローンなどの自律移動ロボットを用いて撮影する場合には、移動ルートの選定も必要になり、その撮影プランの策定には高度な判断が要求される。
本発明は、このような事情に鑑みてなされたもので、撮影プランの策定を容易にする撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラムを提供することを目的とする。
上記課題を解決するための手段は、次のとおりである。
(1)被写体を含む座標空間を設定する座標空間設定部と、座標空間内で複数の撮影候補位置を設定する撮影候補位置設定部と、被写体の撮影条件を設定する撮影条件設定部と、被写体に複数の特徴部位を設定する特徴部位設定部と、撮影候補位置及び撮影条件に基づく撮影の評価基準を特徴部位ごとに設定する評価基準設定部と、撮影候補位置設定部で設定された撮影候補位置から撮影条件設定部で設定された撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値を撮影候補位置ごとに算出する評価値算出部と、評価値が撮影候補位置ごとに定められた撮影評価マップを生成する撮影評価マップ生成部と、を備え、評価値算出部は、撮影候補位置ごとの評価値を算出する際、評価基準に従って特徴部位ごとに個別評価値を算出し、得られた特徴部位ごとの個別評価値の総和を評価値として算出する、撮影評価マップ生成装置。
本態様によれば、所定の撮影評価マップが生成される。撮影評価マップは、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置ごとに定められる。したがって、撮影評価マップを参酌することにより、どの位置から撮影すれば、良好な画像が撮影できるかを容易に判別できる。これにより、撮影プランの策定を容易にできる。
各撮影候補位置における評価値は、被写体に設定された複数の特徴部位ごとの個別評価値の総和として算出される。個別評価値は、特徴部位ごとに設定された評価基準に従って特徴部位ごとに算出される。評価基準は、撮影候補位置及び撮影条件に基づいて設定される。すなわち、撮影候補位置及び撮影条件に基づいて、撮影を評価するように設定される。この評価は、各特徴部位を基準とした撮影の評価である。すなわち、各特徴部位からの視点での撮影の評価である。したがって、各特徴部位の評価基準は、その特徴部位が、良好に撮影される条件に対して相対的に高い評価が算出されるように設定される。たとえば、斜めから撮影されるよりも正面から撮影される方が良好に撮影され得る特徴部位の場合、斜めから撮影される条件よりも正面から撮影される条件に対して、相対的に高い評価が算出されるように設定される。
なお、ここでの「撮影条件」とは、撮影方向、撮影画角など撮影結果に影響を与えるさまざまなパラメータ群をいう。また、被写体の「特徴部位」とは、「対象についての情報」に直接又は間接に関連する対象の「見え(見え=appearance(外観、外見、見掛け))」である。たとえば、構造物の点検を目的とした撮影では、被写体である点検対象物の立体形状、表面のテクスチャ等が代表的な特徴部位とされる。有用な「見え」となる立体的形状の具体的な構成要素としては、頂点、稜線等が例示される。また、有用な「見え」となる表面のテクスチャの具体的な構成要素としては、表面の汚れ(しみ、変色等)、ひび割れ等の劣化部位(劣化現象が現れている部位)が例示される。
(2)評価基準が、位置及び撮影条件をパラメータとする評価関数で規定される、上記(1)の撮影評価マップ生成装置。
本態様によれば、評価基準が、位置及び撮影条件をパラメータとする関数(評価関数)で規定される。評価値算出部は、撮影候補位置ごとの評価値を算出する際、評価関数に基づいて特徴部位ごとの個別評価値を算出し、得られた特徴部位ごとの個別評価値の総和を評価値として算出する。
(3)撮影条件設定部は、複数の撮影条件を設定し、評価値算出部は、撮影候補位置及び撮影条件ごとに評価値を算出し、撮影評価マップ生成部は、評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップを生成する、上記(1)又は(2)の撮影評価マップ生成装置。
本態様によれば、複数の撮影条件が設定され、複数の撮影候補位置について、複数の撮影条件ごとに評価値が算出される。これにより、どの位置から、どのような条件で撮影すれば、良好な画像が撮影できるかを撮影評価マップから容易に判別できる。これにより、撮影プランの策定をより容易にできる。
(4)撮影条件設定部は、少なくとも撮影方向を変えた複数の撮影条件を設定する、上記(3)の撮影評価マップ生成装置。
本態様によれば、少なくとも撮影方向が異なる複数の撮影条件が設定される。これにより、同じ撮影候補位置に対して、少なくとも撮影方向が異なる複数の評価値が得られる。これにより、たとえば、撮影方向を切り換える機能を備えた機材で撮影する際に、その撮影プランの策定を容易にできる。
(5)撮影条件設定部は、少なくとも撮影画角を変えた複数の撮影条件を設定する、上記(3)又は(4)の撮影評価マップ生成装置。
本態様によれば、少なくとも撮影画角が異なる複数の撮影条件が設定される。これにより、同じ撮影候補位置に対して、少なくとも撮影画角が異なる複数の評価値が得られる。これにより、たとえば、撮影画角を切り換える機能(ズーム機能)を備えた機材で撮影する際に、その撮影プランの策定を容易にできる。なお、撮影画角を変えることは、焦点距離を変えることと同義である。
(6)撮影条件設定部は、少なくとも記録画素数を変えた複数の撮影条件を設定する、上記(3)から(5)のいずれか一の撮影評価マップ生成装置。
本態様によれば、少なくとも記録画素数が異なる複数の撮影条件が設定される。これにより、同じ撮影候補位置に対して、少なくとも記録画素数が異なる複数の評価値が得られる。これにより、撮影に適した機材の選択等を容易にできる。なお、記録画素数とは、撮影した画像をメディアに記録する際の画素数である。ここでは、解像度と同義である。すなわち、記録画素数が大きいほど高解像度での撮影となる。
(7)撮影条件設定部は、少なくとも露出補正量を変えた複数の撮影条件を設定する、上記(3)から(6)のいずれか一の撮影評価マップ生成装置。
本態様によれば、少なくとも露出補正量が異なる複数の撮影条件が設定される。これにより、同じ撮影候補位置に対して、少なくとも露出補正量が異なる複数の評価値が得られる。これにより、たとえば、露出補正が可能な機材で撮影する際に、その撮影プランの策定を容易にできる。
(8)撮影条件設定部は、少なくともフレームレートを変えた複数の撮影条件を設定する、上記(3)から(7)のいずれか一の撮影評価マップ生成装置。
本態様によれば、少なくともフレームレートが異なる複数の撮影条件が設定される。これにより、同じ撮影候補位置に対して、少なくともフレームレートの異なる複数の評価値が得られる。これにより、撮影に適した機材の選択等を容易にできる。
(9)特徴部位を座標空間での位置及び方位で特定する、上記(1)から(8)のいずれか一の撮影評価マップ生成装置。
本態様によれば、特徴部位が、座標空間での位置及び方位で特定される。上記のように、構造物の点検を目的とした撮影では、被写体である点検対象物の立体形状、表面のテクスチャ等が代表的な特徴部位となり、点検対象物の頂点、稜線、表面の汚れ、表面のひび割れ等が特徴部位とされる。これらの特徴部位の位置及び方位を座標空間で特定する。なお、「方位」は、その特徴部位が向いている方向である。
(10)特徴部位設定部は、被写体の頂点及び/又は稜線を特徴部位として設定する、上記(1)から(9)のいずれか一の撮影評価マップ生成装置。
本態様によれば、被写体の頂点及び/又は稜線が特徴部位として設定される。構造物の点検を目的とした撮影では、これらの部位が、被写体の有用な「見え」となる。
(11)構造物を被写体とする場合において、特徴部位設定部は、構造物の表面の劣化部位を更に特徴部位として設定する、上記(10)の撮影評価マップ生成装置。
本態様によれば、構造物を被写体とする場合、構造物の表面の劣化部位が特徴部位として設定される。構造物の点検を目的とした撮影では、これらの部位が、被写体の有用な「見え」となる。
(12)構造物の表面の汚れ及び/又はひび割れを劣化部位とする、上記(11)の撮影評価マップ生成装置。
本態様によれば、構造物の表面の汚れ及び/又はひび割れが劣化部位とされる。
(13)特徴部位ごとに重みを設定する重み設定部を更に備え、評価値算出部は、撮影候補位置ごとの評価値を算出する際、得られた特徴部位ごとの個別評価値に重みを乗じた総和を評価値として算出する、上記(1)から(12)のいずれか一の撮影評価マップ生成装置。
本態様によれば、特徴部位ごとに重みが設定される。評価値算出部は、撮影候補位置ごとの評価値を算出する際、得られた特徴部位ごとの個別評価値に重みを乗じた総和を評価値として算出する。これにより、注目度、重要度等に応じて、各特徴部位に軽重の重みを付与できる。
(14)構造物の表面の劣化部位を特徴部位とする場合において、重み設定部は、劣化部位に対して相対的に高い重みを付与する、上記(13)の撮影評価マップ生成装置。
本態様によれば、構造物の表面の劣化部位を特徴部位とする場合において、劣化部位に対して相対的に高い重みが付与される。これにより、劣化部位の撮影に適した撮影評価マップを生成できる。
(15)複数の特徴部位の中から注目部位を選択する注目部位選択部を更に備え、重み設定部は、注目部位に対して相対的に高い重みを付与する、上記(13)又は(14)の撮影評価マップ生成装置。
本態様によれば、注目する特徴部位(注目部位)に対して相対的に高い重みを付与できる。これにより、注目部位の撮影に適した撮影評価マップを生成できる。
(16)被写体を複数の視点から撮影した複数の画像を取得する被写体画像取得部と、取得された複数の画像に基づいて、被写体の三次元モデルを生成する三次元モデル生成部と、を更に備え、座標空間設定部は、三次元モデル生成部で生成された被写体の三次元モデルに基づいて、座標空間を設定する、上記(1)から(15)のいずれか一の撮影評価マップ生成装置。
本態様によれば、被写体を複数の視点から撮影した複数の画像から被写体の三次元モデルが生成され、生成された被写体の三次元モデルに基づいて、自動的に座標空間が設定される。たとえば、三次元メッシュモデルが生成され、生成された被写体の三次元メッシュモデルに基づいて、自動的に座標空間が設定される。メッシュモデルは、頂点、エッジ、面で構成され、多角形表現を使用して、被写体の三次元構造又は形状を定義する。これにより、座標空間の設定を容易にできる。
(17)特徴部位設定部は、三次元モデル生成部で生成された被写体の三次元モデルに基づいて、特徴部位を設定する、上記(16)の撮影評価マップ生成装置。
本態様によれば、被写体の三次元モデルに基づいて、特徴部位が設定される。たとえば、被写体の三次元メッシュモデルに基づいて、特徴部位が設定される。これにより、特徴部位の設定を容易にできる。
(18)評価基準設定部は、三次元モデル生成部で生成された被写体の三次元モデルに基づいて、特徴部位ごとに評価基準を設定する、上記(17)の撮影評価マップ生成装置。
本態様によれば、被写体の三次元モデルに基づいて、特徴部位ごとの評価基準が設定される。これにより、評価基準の設定を容易にできる。
(19)被写体を含む座標空間を設定するステップと、座標空間内で複数の撮影候補位置を設定するステップと、被写体の撮影条件を設定するステップと、被写体に複数の特徴部位を設定するステップと、撮影候補位置及び撮影条件に基づく撮影の評価基準を特徴部位ごとに設定するステップと、設定された撮影候補位置から設定された撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値を撮影候補位置ごとに算出するステップと、評価値が撮影候補位置ごとに定められた撮影評価マップを生成するステップと、を含む評価マップ生成方法であって、撮影候補位置ごとの評価値を算出するステップは、評価基準に従って特徴部位ごとに個別評価値を算出し、得られた特徴部位ごとの個別評価値の総和を評価値として算出する、撮影評価マップ生成方法。
本態様によれば、所定の撮影評価マップが生成される。撮影評価マップは、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置ごとに定められる。したがって、撮影評価マップを参酌することにより、どの位置から撮影すれば、良好な画像が撮影できるかを容易に判別できる。これにより、撮影プランの策定を容易にできる。
(20)被写体を含む座標空間を設定する機能と、座標空間内で複数の撮影候補位置を設定する機能と、被写体の撮影条件を設定する機能と、被写体に複数の特徴部位を設定する機能と、撮影候補位置及び撮影条件に基づく撮影の評価基準を特徴部位ごとに設定する機能と、設定された撮影候補位置から設定された撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値を撮影候補位置ごとに算出する機能と、評価値が撮影候補位置ごとに定められた撮影評価マップを生成する機能と、をコンピュータに実現させる撮影評価マップ生成プログラムであって、撮影候補位置ごとの評価値を算出する機能は、評価基準に従って特徴部位ごとに個別評価値を算出し、得られた特徴部位ごとの個別評価値の総和を評価値として算出する、撮影評価マップ生成プログラム。
本態様によれば、所定の撮影評価マップが生成される。撮影評価マップは、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置ごとに定められる。したがって、撮影評価マップを参酌することにより、どの位置から撮影すれば、良好な画像が撮影できるかを容易に判別できる。これにより、撮影プランの策定を容易にできる。
(21)特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップ。
本態様によれば、撮影評価マップを参酌することにより、どの位置から、どのような条件で撮影すれば、良好な画像が撮影できるかを容易に判別できる。これにより、撮影プランの策定を容易にできる。
(22)各撮影候補位置における撮影条件ごとの評価値は、被写体に複数の特徴部位を設定し、撮影候補位置及び撮影条件に基づく撮影の評価基準を特徴部位ごとに設定し、評価基準に従って特徴部位ごとに個別評価値を算出し、得られた特徴部位ごとの個別評価値の総和として算出される、上記(21)の撮影評価マップ。
本態様によれば、各撮影候補位置における撮影条件ごとの評価値が、被写体に設定された複数の特徴部位ごとの個別評価値の総和として算出される。個別評価値は、特徴部位ごとに設定された評価基準に従って特徴部位ごとに算出される。評価基準は、撮影候補位置及び撮影条件に基づいて設定される。
本発明によれば、撮影プランの策定を容易にできる。
コンピュータに撮影評価マップ生成プログラムをインストールすることにより実現される撮影評価マップ生成装置の概略構成を示すブロック図 撮影評価マップ生成装置が実現する機能のブロック図 座標空間の設定の一例を示す図 撮影候補位置の設定の一例を示す図 ある撮影候補位置からある撮影条件で撮影する場合に得られる個別評価値及び評価値の関係を示すグラフ 撮影評価マップのデータ構造の一例を示す図 撮影評価マップをグラフ形式で表示する場合の一例を示す図 撮影評価マップの生成手順を示すフローチャート 評価値の算出手順を示すフローチャート 被写体の一例を示す図 撮影候補位置及び撮影条件(撮影方向)の設定の一例を示す図 撮影方向が45°の場合に各撮影候補位置で得られる評価値の一覧を示す表 撮影方向が90°の場合に各撮影候補位置で得られる評価値の一覧を示す表 撮影方向が135°の場合に各撮影候補位置で得られる評価値の一覧を示す表 撮影評価マップのデータ構造の一例を示す図 撮影方向が45°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図 撮影方向が90°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図 撮影方向が135°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図 撮影装置が実現する機能のブロック図 選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の一例を示す図 選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の他の一例を示す図(撮影方向が45°の場合) 選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の他の一例を示す図(撮影方向が90°の場合) 選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の他の一例を示す図(撮影方向が135°の場合) 撮影ポイント及び撮影条件の選出の処理の手順を示すフローチャート 第2の実施の形態の撮影装置が実現する機能のブロック図 撮影ポイント及び撮影条件の選出処理の手順を示すフローチャート 第3の実施の形態の撮影装置が実現する機能のブロック図 撮影ポイント及び撮影条件の選出処理の手順を示すフローチャート 第4の実施の形態の撮影装置が実現する機能のブロック図 撮影ポイント及び撮影条件並びに移動ルートの選出処理の手順を示すフローチャート 第5の実施の形態の撮影装置が実現する機能のブロック図 撮影プランの生成処理の手順を示すフローチャート 第6の実施の形態の撮影装置が実現する機能のブロック図 推奨する撮影機材の選定処理の手順を示すフローチャート 第7の実施の形態の撮影装置が実現する機能のブロック図 推奨する移動機材の選定処理の手順を示すフローチャート 第8の実施の形態の撮影装置が実現する機能のブロック図 推奨機材の選定処理の手順を示すフローチャート 撮影システムのシステム構成の一例を示す図 撮影システムによる撮影の処理手順を示すフローチャート
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
◆◆撮影評価マップ生成装置◆◆
[撮影評価マップ生成装置]
撮影評価マップ生成装置は、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップを生成する。
《撮影評価マップ生成装置のハードウェア構成》
撮影評価マップ生成装置は、所定の撮影評価マップ生成プログラムをインストールしたコンピュータで構成される。
図1は、コンピュータに撮影評価マップ生成プログラムをインストールすることにより実現される撮影評価マップ生成装置の概略構成を示すブロック図である。
同図に示すように、撮影評価マップ生成装置1は、CPU(Central Processing Unit)10、ROM(Read Only Memory)11、RAM(Random Access Memory)12、ハードディスクドライブ(Hard Disk Drive , HDD)13、光学ディスクドライブ14、通信インターフェース(interface , I/F)15、入出力インターフェース(interface , I/F)16等を備える。
撮影評価マップ生成装置1は、通信インターフェース15を介して、ネットワーク2に接続され、ネットワーク2を介して、サーバ等の他の装置と通信可能に接続される。
撮影評価マップ生成装置1には、入出力インターフェース16を介して、キーボード20、マウス21等の入力装置が接続される。また、撮影評価マップ生成装置1には、入出力インターフェース16を介して、ディスプレイ22、プリンタ23等の出力装置が接続される。
撮影評価マップ生成プログラムは、DVD(Digital Versatile Disc)、CD-ROM(Compact Disk Read Only Memory)等の非一時的かつコンピュータ読取可能なメディア(記録媒体)に記録されて配布され、そのメディアからコンピュータにインストールされる。あるいは、ネットワーク上に外部からアクセス可能な状態で保存され、要求に応じてコンピュータにダウンロードされて、コンピュータにインストールされる。
《撮影評価マップ生成装置が実現する機能》
図2は、撮影評価マップ生成装置が実現する機能のブロック図である。
撮影評価マップ生成装置1は、座標空間を設定する座標空間設定部31、撮影候補位置を設定する撮影候補位置設定部32、撮影条件を設定する撮影条件設定部33、特徴部位を設定する特徴部位設定部34、撮影の評価基準を設定する評価基準設定部35、撮影の評価を表わす評価値を算出する評価値算出部36、撮影評価マップを生成する撮影評価マップ生成部37、及び、生成された撮影評価マップを所定のフォーマットで出力する撮影評価マップ出力処理部38として機能する。
〈座標空間設定部〉
座標空間設定部31は、被写体を含む座標空間を設定する。座標空間設定部31は、被写体の情報の入力を受け付けて、座標空間を設定する。たとえば、三次元構造物を被写体とする場合、その三次元モデルデータの入力を受け付けて、座標空間を設定する。また、たとえば、平面を被写体とする場合は、平面データ(平面の画像データ、地図データなど)の入力を受け付けて、座標空間を設定する。
図3は、座標空間の設定の一例を示す図である。座標空間CSは、直交する3軸(X軸、Y軸、Z軸)で定義され、撮影対象となる被写体OBの全体が含まれるように設定される。
〈撮影候補位置設定部〉
撮影候補位置設定部32は、撮影候補位置を設定する。撮影候補位置は、座標空間設定部31によって設定された座標空間内に複数設定される。たとえば、被写体OBを含む有限の空間を複数のブロックBに分割し、各ブロックBの中心の位置を撮影候補位置に設定する。図4は、撮影候補位置の設定の一例を示す図である。同図は、特定のXZ断面における撮影候補位置の設定の一例を示している。同図には、被写体OBを含む有限の空間Sを複数のブロックBに分割し、各ブロックBの中心の位置に撮影候補位置PP(Xn,Yn,Zn)に設定した場合の例が示されている。撮影候補位置設定部32は、設定された座標空間に基づいて、自動的に撮影候補位置を設定する。
〈撮影条件設定部〉
撮影条件設定部33は、被写体の撮影条件を設定する。撮影条件とは、撮影方向(レンズ光軸の向き)、撮影画角(焦点距離)、記録画素数、撮影波長、光源との位置関係など、撮影結果に影響を与えるさまざまなパラメータ群をいう。撮影条件設定部33は、複数の撮影条件を自動的に設定する。たとえば、撮影方向(レンズ光軸の向き)、撮影画角(焦点距離)、記録画素数などを変えた複数の撮影条件を自動的に設定する。
〈特徴部位設定部〉
特徴部位設定部34は、被写体に複数の特徴部位を設定する。被写体の「特徴部位」とは、「対象についての情報」に直接又は間接に関連する対象の「見え(見え=appearance(外観、外見、見掛け))」である。たとえば、構造物の点検を目的とした撮影では、被写体である点検対象物の立体形状、表面のテクスチャ等が代表的な特徴部位とされる。有用な「見え」となる立体的形状の具体的な構成要素としては、頂点、稜線等が例示される。また、有用な「見え」となる表面のテクスチャの具体的な構成要素としては、表面の汚れ(しみ、変色等)、ひび割れ等の劣化部位が例示される。このように、被写体の有用な「見え」となる点、線及び領域が特徴部位とされる。特徴部位とされた点、線及び領域は、その位置及び方位が座標空間上で特定される。また、一定の領域を特徴部位とした場合には、その範囲(大きさ)が特定される。方位は、その特徴部位が向いている方向である。
特徴部位設定部34は、被写体のデータに基づいて、自動的に特徴部位を設定する。たとえば、被写体の三次元モデルデータから頂点、稜線等を自動的に抽出し、抽出した頂点、稜線等を特徴部位に設定する。また、たとえば、平面の画像データから特徴点を自動的に抽出し、抽出した特徴点を特徴部位に設定する。
また、特徴部位設定部34は、ユーザから特徴部位の指定を受け付けて、特徴部位を設定する。たとえば、被写体の三次元モデル(たとえば、三角メッシュモデル等)をディスプレイ22に表示させ、特徴部位とする部位の指定(位置及び方位)を受け付ける。あるいは、被写体を複数の視点で撮影した画像群をディスプレイ22に表示させ、画像上で特徴部位とする部位の指定を受け付ける。ユーザは、カーソル等で指定して、特徴部位とする部位を指定する。たとえば、汚れ、ひび割れ等の劣化現象が現れている領域、あるいは、現れると想定される領域を指定して、特徴部位を指定する。
また、特徴部位設定部34は、ユーザから指示を受け付け、自動で設定された特徴部位の設定を解除する。
〈評価基準設定部〉
評価基準設定部35は、撮影を評価するための評価基準を設定する。この評価基準は、各特徴部位を基準とした評価基準である。すなわち、各特徴部位からの視点で撮影の良否を評価するものである。したがって、特徴部位ごとに個別に設定される。
評価基準は、位置及び撮影条件をパラメータとする関数(評価関数)で規定される。したがって、この評価関数でパラメータとされる要素が、撮影条件設定部33で設定される撮影条件となる。したがって、たとえば、撮影方向、撮影画角、記録画素数が評価関数のパラメータとされている場合、撮影条件設定部33では、少なくとも撮影方向、撮影画角、記録画素数が撮影条件として設定される。
評価基準は、その評価基準が設定される特徴部位が、良好に撮影される位置及び撮影条件に対して、相対的に高い評価が算出されるように設定される。たとえば、斜めから撮影されるよりも正面から撮影される方が良好に撮影され得る特徴部位の場合、斜めから撮影される条件よりも正面から撮影される条件に対して、相対的に高い評価が算出されるように設定される。
評価基準設定部35は、所定の設定規則に基づいて、各特徴部位の評価関数を個別に設定する。たとえば、正面からの撮影に対して相対的に高い評価が得られるように、各特徴部位の評価関数を個別に設定する。画面中央にレイアウトされる撮影に対して相対的に高い評価が得られるように、各特徴部位の評価関数を個別に設定する。画面内に所定のサイズで撮影される撮影に対して相対的に高い評価が得られるように、各特徴部位の評価関数を個別に設定する。
〈評価値算出部〉
評価値算出部36は、設定された各撮影条件で各撮影候補位置から被写体を撮影した場合の撮影の評価を表わす評価値を撮影候補位置ごと及び撮影条件ごとに算出する。評価値は、評価対象とする撮影候補位置及び撮影条件での撮影をすべての特徴部位で評価し、その評価の総和として算出される。すなわち、各特徴部位の視点で撮影を評価し、得られた各特徴部位から評価の総和を、その撮影の評価値とする。たとえば、ある撮影候補位置からある撮影条件で撮影したとする。その撮影をすべての特徴部位で個別に評価する。この場合、各特徴部位からは、高低さまざまな評価が下される。そのすべての特徴部位の評価の総和が、評価対象とする撮影の評価値となる。評価値算出部36は、以下の手順で評価値を算出する。
まず、評価値算出部36は、評価対象とする撮影候補位置及び撮影条件を特定する。次に、評価値算出部36は、特定された条件で撮影した場合に各特徴部位から得られる評価を求める。この評価は、個別評価値として算出され、すべての特徴部位について算出される。個別評価値は、特徴部位ごとに定められた評価基準に従って算出される。上記のように、評価基準は、位置及び撮影条件をパラメータとする評価関数として規定されている。したがって、評価値算出部36は、特定された撮影候補位置及び撮影条件を評価関数に代入して、各特徴部位の個別評価値を算出する。すべての特徴部位について、個別評価値が求められたら、評価値算出部36は、その総和を求める。求めた総和が、評価対象とする撮影候補位置及び撮影条件での評価値とされる。
図5は、ある撮影候補位置からある撮影条件で撮影する場合に得られる個別評価値及び評価値の関係を示すグラフである。
同図に示すように、特徴部位がn個存在する場合、そのそれぞれについて評価関数F1~Fnが定められる。そして、個別に定められた評価関数F1~Fnを用いて、各特徴部位の個別評価値α1~αnが個別に算出される。算出されたすべての特徴部位の個別評価値α1~αnの総和Σα=α1+α2+…+αn-1+αnが、当該撮影候補位置及び撮影条件での評価値σとされる。
〈撮影評価マップ生成部〉
撮影評価マップ生成部37は、評価値算出部36の算出結果に基づいて、撮影評価マップを生成する。すなわち、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップを生成する。
上記のように、評価値算出部36では、撮影候補位置ごと及び撮影条件ごとに撮影の評価を表わす評価値が算出される。撮影評価マップ生成部37は、評価値算出部36の算出結果に基づいて、撮影評価マップを生成する。
撮影評価マップは、所定のフォーマットで生成され、少なくとも評価値の情報と、その評価値が算出された撮影候補位置及び撮影条件の情報とが相互に関連付けられたものが生成される。
図6は、撮影評価マップのデータ構造の一例を示す図である。
同図に示すように、撮影評価マップのデータには、少なくとも撮影候補位置PP(X1,Y1,Z1)~PP(Xn,Yn,Zn)の情報と、撮影条件SC1~SCnの情報と、評価値σ1(X1,Y1,Z1)~σn(Xn,Yn,Zn)の情報と、が含まれる。評価値σ1(X1,Y1,Z1)~σn(Xn,Yn,Zn)の情報は、その評価値σ1(X1,Y1,Z1)~σn(Xn,Yn,Zn)が算出された撮影候補位置PP(X1,Y1,Z1)~PP(Xn,Yn,Zn)の情報及び撮影条件SC1~SCnの情報に関連付けられて記録される。これにより、撮影候補位置及び撮影条件を特定すれば、その撮影候補位置及び撮影条件に対応する評価値が一意に求められる。
〈撮影評価マップ出力処理部〉
撮影評価マップ出力処理部38は、生成された撮影評価マップを所定の出力フォーマットで出力装置に出力する。撮影評価マップは、たとえば、表形式、グラフ形式等で出力される。
図7は、撮影評価マップをグラフ形式で表示する場合の一例を示す図である。同図は、あるXZ平面における撮影条件別の評価値のグラフを示している。各グラフに表示された円は、その位置(撮影候補位置)における評価値を示し、直径が大きくなるほど高い評価値であることを示している。このようにグラフ化することにより、高い評価値が得られる条件(撮影候補位置及び撮影条件)を容易に把握することが可能になる。
[撮影評価マップの生成手順]
次に、上記のように構成される撮影評価マップ生成装置1を用いた撮影評価マップの生成手順(撮影評価マップ生成方法)について説明する。
図8は、撮影評価マップの生成手順を示すフローチャートである。
まず、撮影対象である被写体を特定する(ステップS1)。被写体の特定は、被写体のデータを入力して特定する。たとえば、被写体の三次元モデルデータ、平面データ等を入力して特定する。
次に、特定された被写体に基づいて、被写体を含む座標空間を設定する(ステップS2)。
次に、設定された座標空間内に複数の撮影候補位置を設定する(ステップS3)。
次に、撮影条件を設定する(ステップS4)。撮影条件は、評価関数のパラメータに基づいて設定する。たとえば、評価関数が、撮影画角及び撮影方向をパラメータとする場合、撮影画角及び撮影方向の条件を設定する。この際、内容の異なる複数の撮影条件を設定する。たとえば、撮影画角又は撮影方向の異なる複数の撮影条件を設定する。あるいは、撮影画角及び撮影方向の異なる複数の撮影条件を設定する。
次に、特徴部位を設定する(ステップS5)。特徴部位は、被写体のデータに基づいて自動で設定される。すなわち、有用な見えとなる部位が自動で抽出されて、特徴部位に設定される。また、必要に応じて手動で設定される。
次に、設定された特徴部位ごとに評価基準を設定する(ステップS6)。評価基準は、位置及び撮影条件をパラメータとする評価関数で規定される。特徴部位の評価関数は、その特徴部位が良好に撮影される条件に対して相対的に高い評価が算出されるように設定される。
次に、設定された撮影候補位置、撮影条件、特徴部位及び評価関数に基づいて評価値を算出する(ステップS7)。評価値は、撮影候補位置ごと及び撮影条件ごとに算出される。
図9は、評価値の算出手順を示すフローチャートである。
評価値は、撮影条件を切り換えて撮影候補位置ごとに算出される。すなわち、1つの撮影候補位置について、すべての撮影条件の評価値が算出されたら、次の撮影候補位置の評価値が算出される。
まず、第1の撮影候補位置の情報を取得する(ステップS10)。次に、第1の撮影条件の情報を取得する(ステップS11)。次に、取得した撮影候補位置及び撮影条件に基づいて、各特徴部位の個別評価値を算出する(ステップS12)。各特徴部位の個別評価値は、撮影候補位置及び撮影条件の情報を評価関数に代入して算出する。すべての特徴部位の個別評価値を算出後、その総和を算出し、当該条件での評価値とする(ステップS13)。
評価値の算出後、当該撮影候補位置について、すべての撮影条件の評価値が算出されたか否かを判定する(ステップS14)。すべての撮影条件の評価値が完了していない場合は、ステップS11に戻り、次の撮影条件の情報を取得する。そして、得られた撮影条件の下で評価値を算出する。
当該撮影候補位置について、すべての撮影条件の評価値の算出が完了した場合は、次に、すべての撮影候補位置について、評価値の算出が完了したか否かを判定する(ステップS15)。すべての撮影候補位置について、評価値の算出が完了していない場合は、ステップS10に戻り、次の撮影候補位置の情報を取得する。そして、取得した撮影候補位置の下で撮影条件を切り換えて、それぞれの評価値を算出する。すべての撮影候補位置について、評価値の算出が完了した場合は、処理を終了する。
すべての撮影候補位置におけるすべての撮影条件の評価値を算出後、その算出結果に基づいて、撮影評価マップを生成する(ステップS8)。撮影評価マップは、所定のフォーマットで生成され、少なくとも評価値の情報と、その評価値が算出された撮影候補位置及び撮影条件の情報とが相互に関連付けられたものが生成される(図6参照)。
生成された撮影評価マップを所定の出力フォーマットで出力装置に出力する(ステップS9)。たとえば、グラフ形式(図7参照)でディスプレイ22に出力する。
[撮影評価マップの作成の実施例]
以下に撮影評価マップの作成の実施例を説明する。なお、説明を簡単にするため、以下においては、二次元空間を移動して撮影する場合の撮影評価マップの生成例について説明する。
図10は、被写体の一例を示す図である。
本例では、地表面の特定の領域を被写体OBとする。
(1)座標空間の設定
図10に示すように、被写体OBを含む座標空間を設定する。
本例では、平面である被写体OBを含む面をZX平面、ZX平面に直交する面をXY平面として設定している。X軸、Y軸、Z軸は、それぞれ被写体OBの中心を通るように設定されている。
(2)撮影候補位置の設定
設定された座標空間に撮影候補位置を設定する。上記のように、本例では、二次元空間を移動して撮影する。したがって、撮影候補位置は、二次元空間内に設定される。本例では、XY平面に撮影候補位置が設定される。撮影候補位置を座標位置(x,y)で表わす。
(3)撮影条件の設定
本例では、撮影方向(レンズ光軸の向き)の異なる複数の撮影条件が設定される。撮影方向をθで表わす。
(4)特徴部位の設定
上記のように、特徴部位は「見え」に現れる部位が設定される。図10に示すように、被写体OBに2つの部位が「見え」として現れていると仮定する。この場合、「見え」として現れた部位が、特徴部位として設定される。一方の特徴部位を第1特徴部位CP1、他方の特徴部位を第2特徴部位CP2とする。
(5)評価基準の設定
各特徴部位の評価基準として、各特徴部位の評価関数を設定する。本例では、各撮影候補位置(x,y)において、撮影方向θの異なる複数の撮影条件で撮影する場合の撮影評価マップを作成するので、評価関数は、撮影候補位置(x,y)と撮影方向θをパラメータとする関数が設定される。
本例では、(基準a)撮影位置に関して、当該特徴部位の撮影に好適な撮影距離に近付くほど高い評価値を出力するように評価関数を設定する、(基準b)撮影方向に関して、当該特徴部位の撮影に好適な撮影方向に近付くほど高い評価値を出力するように評価関数を設定する、という基準で評価関数を設定するものとする。
なお、「当該特徴部位の撮影に好適な撮影距離」は、使用する撮影機材の解像能力、撮影対象等により異なるものであるため、これらの要素を考慮して適宜設定される。
また、「当該特徴部位の撮影に好適な撮影方向」も撮影対象等によって異なるので、撮影対象等を考慮して適宜設定される。一般に、正面からの撮影、すなわち、正対した撮影ほど好適とされる。
《各基準に基づく評価関数》
(A)基準a(撮影位置に関する評価基準)に基づく評価関数
(A1)基準aに基づく第1特徴部位CP1の評価関数
基準aに基づく第1特徴部位CP1の評価関数をf1a(x,y,θ)とする。
第1特徴部位CP1の座標位置を(x1,y1)とすると、各撮影候補位置(x,y)と第1特徴部位CP1との間の距離(撮影距離)は、差の二乗和であるd1=(x-x1)+(y-y1)で評価できる。第1特徴部位CP1の撮影に好適な撮影距離をD1とすると、D1に近いほど、この数値は小さくなる。
よって、基準aに基づく第1特徴部位CP1の評価関数f1a(x,y,θ)については、たとえば、次式のように設定できる。
f1a(x,y,θ)=2.0×(0.5-|D1-d1|/|D1+d1|)
なお、|D1-d1|は(D1-d1)の絶対値、|D1+d1|は(D1+d1)の絶対値である。
(A2)基準aに基づく第2特徴部位CP2の評価関数
基準aに基づく第2特徴部位CP2の評価関数をf2a(x,y,θ)とする。
第2特徴部位CP2の座標位置を(x2,y2)とすると、各撮影候補位置(x,y)と第2特徴部位CP2との間の距離(撮影距離)は、差の二乗和であるd2=(x-x2)+(y-y2)で評価できる。第2特徴部位CP2の撮影に好適な撮影距離をD2とすると、D2に近いほど、この数値は小さくなる。
よって、基準aに基づく第2特徴部位CP2の評価関数f2a(x,y,θ)については、たとえば、次式のように設定できる。
f2a(x,y,θ)=2.0×(0.5-|D2-d2|/|D2+d2|)
なお、|D2-d2|は(D2-d2)の絶対値、|D2+d2|は(D2+d2)の絶対値である。
(B)基準b(撮影方向に関する評価基準)に基づく評価関数
(B1)基準bに基づく第1特徴部位CP1の評価関数
基準bに基づく第1特徴部位CP1の評価関数をf1b(x,y,θ)とする。
第1特徴部位CP1の座標位置を(x1,y1)とすると、各撮影候補位置(x,y)と第1特徴部位CP1とを結ぶ直線の角度θ1は、θ1=ATAN[(y-y1)/(x-x1)]である。
正対した撮影ほど高評価であるとすると、基準bに基づく第1特徴部位CP1の評価関数f1b(x,y,θ)は、たとえば、次式のように設定できる。
f1b(x,y,θ)=1.0-|θ-θ1|
(B2)基準bに基づく第2特徴部位CP2の評価関数
基準bに基づく第2特徴部位CP2の評価関数をf2b(x,y,θ)とする。
第2特徴部位CP2の座標位置を(x2,y2)とすると、各撮影候補位置(x,y)と第2特徴部位CP2とを結ぶ直線の角度θ2は、θ2=ATAN[(y-y2)/(x-x2)]である。
正対した撮影ほど高評価であるとすると、基準bに基づく第2特徴部位CP2の評価関数f2b(x,y,θ)は、たとえば、次式のように設定できる。
f2b(x,y,θ)=1.0-|θ-θ2|
《各特徴部位に設定する評価関数》
第1特徴部位CP1の評価関数をF1(x,y,θ)とし、第2特徴部位CP2の評価関数をF2(x,y,θ)とする。
各特徴部位に設定する評価関数は、上記のようにして生成した個別の評価関数f1a(x,y,θ)、f1b(x,y,θ)、f2a(x,y,θ)、f2b(x,y,θ)を組み合わせて生成する。
たとえば、基準aに基づく評価と基準bに基づく評価とが同時に高評価の場合に、一層高評価になるようにするのであれば、積をとって次のように設定する。
第1特徴部位CP1の評価関数F1(x,y,θ)
F1(x,y,θ)=f1a(x,y,θ)×f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=f2a(x,y,θ)×f2b(x,y,θ)
また、たとえば、基準aに基づく評価と基準bに基づく評価とを独立に扱うのであれば、和をとって次のように設定する。
第1特徴部位CP1の評価関数F1(x,y,θ)
F1(x,y,θ)=f1a(x,y,θ)+f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=f2a(x,y,θ)+f2b(x,y,θ)
あるいは、重み付きの和をとって次のように設定する(k1、k2は重み)。
第1特徴部位CP1の評価関数F1(x,y,θ)
F1(x,y,θ)=k1×f1a(x,y,θ)+k2×f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=k1×f2a(x,y,θ)+k2×f2b(x,y,θ)
(6)評価値の算出
ある撮影候補位置(x,y)における、ある撮影条件(θ)での評価関数をF(x,y,θ)とすると、評価関数F(X,Y,θ)は、次式のように設定される。
F(X,Y,θ)=ΣFn(X,Y,θ)=F1(X,Y,θ)+F2(X,Y,θ)
したがって、評価関数F(X,Y,θ)に評価対象の撮影候補位置及び撮影条件の情報を入力すれば、その評価値を算出できる。以下に評価値の算出例を示す。
図11は、撮影候補位置及び撮影条件(撮影方向)の設定の一例を示す図である。
一例として、図11に示すように、撮影候補位置を20箇所、撮影条件(撮影方向)を3つにした例で各撮影候補位置における各撮影条件(撮影方向)の評価値を算出する。
撮影候補位置(x、y)は、鉛直方向(y方向)に等間隔で4箇所、水平方向(x方向)に等間隔で5箇所の計20箇所に設定する。図11において、右下の撮影候補位置を第1の撮影候補位置とし、左上の撮影候補位置を第20の撮影候補位置とする。
撮影条件である撮影方向(θ)は、45°、90°、135°に設定する。90°が鉛直方向下向きの撮影方向とする。
第1特徴部位CP1の評価関数F1(x,y,θ)をF1(x,y,θ)=f1a(x,y,θ)×f1b(x,y,θ)、第2特徴部位CP2の評価関数F2(x,y,θ)をF2(x,y,θ)=f2a(x,y,θ)×f2b(x,y,θ)とする。すなわち、評価関数fnaで得られる評価と評価関数fnbで得られる評価とが同時に高評価の場合に一層高評価になるように、各特徴部位の評価関数Fnを設定する(n=1,2)。
本例では、第1特徴部位CP1の撮影に好適な撮影距離D1を140、第2特徴部位CP2の撮影に好適な撮影距離D2を140とする。
図12は、撮影方向が45°の場合に各撮影候補位置で得られる評価値の一覧を示す表である。図13は、撮影方向が90°の場合に各撮影候補位置で得られる評価値の一覧を示す表である。図14は、撮影方向が135°の場合に各撮影候補位置で得られる評価値の一覧を示す表である。
図12から図14に示す表において、「撮影候補位置」の欄は、撮影候補位置の番号(図11参照)と、その座標(x、y)を表わしている。
「特徴部位」の欄は、特徴部位の番号を示している。「1」が第1特徴部位、「2」が第2特徴部位を表わしている。
「距離」の欄は、各特徴部位に対する各撮影候補位置の距離を表わしている。
「位置評価」の欄は、基準a(撮影位置に関する評価基準)に基づく評価関数fnaで算出される評価値を表わしている。
「方向」の欄は、各撮影候補位置と各特徴部位とを結ぶ直線の角度を表わしている。
「方向評価」の欄は、基準b(撮影方向に関する評価基準)に基づく評価関数fnbで算出される評価値を表わしている。
「個別評価値」の欄は、各特徴部位での評価値を表わしている。本例では、第1特徴部位CP1に関して、F1(x,y,θ)=f1a(x,y,θ)×f1b(x,y,θ)で算出され、第2特徴部位CP2に関して、F2(x,y,θ)=f2a(x,y,θ)×f2b(x,y,θ)で算出される。
「評価値」の欄は、各撮影候補位置での評価値を表わしている。上記のように、評価値は、各特徴部位での個別評価の総和であるので、F(X,Y,θ)=F1(X,Y,θ)+F2(X,Y,θ)で算出される。
(7)撮影評価マップの生成
評価値の算出結果に基づいて、撮影評価マップを生成する。
図15は、撮影評価マップのデータ構造の一例を示す図である。
同図に示すように、各撮影候補位置(x,y)において、撮影条件(撮影方向)別に求められた評価値が、撮影候補位置の情報及び撮影条件(撮影方向)の情報に関連付けられて記録される。本例では、その評価値を求めた際の個別評価値の情報も記録している。
本例では、撮影候補位置を20箇所、撮影条件として撮影方向を3方向設定しているので、20×3=60の評価値を備えた撮影評価マップが生成される。すなわち、60通りの撮影を評価した撮影評価マップが生成される。
(8)撮影評価マップの出力
生成された撮影評価マップを所定の出力フォーマットで出力装置に出力する。
図16から図18は、各撮影候補位置で得られる評価値を撮影条件別にグラフ化して出力する場合の一例を示す図である。図16は、撮影方向が45°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図である。図17は、撮影方向が90°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図である。図18は、撮影方向が135°の場合に各撮影候補位置で得られる評価値をグラフ化して出力する場合の一例を示す図である。
各図において、グラフに表示された円は、その位置(撮影候補位置)における評価値を示し、直径が大きくなるほど高い評価値であることを示している。
図16から図18に示すように、グラフ化することにより、高い評価値が得られる条件(撮影候補位置及び撮影条件)を容易に把握できる。
たとえば、撮影方向が45°の条件では、図16から撮影候補位置(0,100)での撮影が最も高評価であることが分かる。
また、撮影方向が90°の条件では、図17から撮影候補位置(75,100)及び撮影候補位置(-75,100)での撮影が最も高評価であることが分かる。
また、撮影方向が135°の条件では、図18から撮影候補位置(0,100)での撮影が最も高評価であることが分かる。
[撮影評価マップ生成装置の変形例]
《座標空間設定部の変形例》
上記のように、座標空間設定部31は、三次元構造物を被写体とする場合、その三次元モデルデータの入力を受け付けて、座標空間を設定する。
三次元モデルについては、SfM(Structure from Motion)などの公知の手法を用いて生成することができる。SfMとは、 被写体を複数の視点から撮影した複数の画像(複視点の画像)から被写体の三次元モデルを再現する手法である。
撮影評価マップ生成装置で被写体の三次元モデルを生成する機能を実現する場合、撮影評価マップ生成装置には、被写体を複数の視点から撮影した複数の画像を取得する被写体画像取得部、及び、得られた複数の画像に基づいて、被写体の三次元モデルを生成する三次元モデル生成部が更に備えられる。被写体画像取得部及び三次元モデル生成部は、コンピュータが所定のプログラムを実行することにより実現される。三次元モデル生成部は、たとえば、SfM等の公知の手法を用いて、三次元モデル(たとえば、三次元メッシュモデル)を生成する。
座標空間設定部31は、三次元モデル生成部で生成された被写体の三次元モデルの情報を取得し、得られた三次元モデルに基づいて、座標空間を設定する。
《撮影候補位置設定部の変形例》
撮影候補位置設定部32で設定する撮影候補位置は、撮影対象、撮影目的等を考慮して設定することが好ましい。また、撮影候補位置は、手動で設定する構成とすることもできる。更に、撮影候補位置は、直線上を移動して撮影する場合を考慮して、直線上に設定する構成としてもよい。また、平面内を移動して撮影する場合を考慮して、平面内に設定する構成としてもよい。
《撮影条件設定部の変形例》
撮影条件設定部33で設定する撮影条件は、被写体に応じて自動的に設定されるようにしてもよいし、ユーザが適宜設定できるようにしてもよい。また、被写体に応じて自動的に設定された撮影条件に対して、ユーザが適宜修正してもよい。自動で設定する場合は、撮影対象、撮影の目的等を考慮して、必要な撮影条件を自動的に選別することが好ましい。
また、撮影条件は、必ずしも複数である必要はなく、少なくとも1つ設定されていればよい。使用する機材によっては、撮影条件を変えられない場合もあるからである。この場合、設定された1つの撮影条件に基づく、撮影候補位置ごとの撮影の評価が定められた撮影評価マップが生成される。
また、複数の撮影条件を設定する場合、1つの項目について、内容の異なる複数の撮影条件を設定することができる。たとえば、上記実施の形態で説明したように、撮影方向の異なる複数の撮影条件を設定することができる。これにより、同じ撮影候補位置に対して、撮影方向が異なる複数の評価値が得られる。これにより、たとえば、撮影方向を切り換える機能を備えた機材で撮影する際に、その撮影プランの策定を容易にできる。
この他、撮影画角を変えた複数の撮影条件を設定してもよい。これにより、同じ撮影候補位置に対して、撮影画角が異なる複数の評価値が得られる。これにより、たとえば、撮影画角を切り換える機能(ズーム機能)を備えた機材で撮影する際に、その撮影プランの策定を容易にできる。なお、撮影画角を変えることは、焦点距離を変えることと同義である。
また、記録画素数を変えた複数の撮影条件を設定してもよい。これにより、同じ撮影候補位置に対して、記録画素数が異なる複数の評価値が得られる。これにより、撮影に適した機材の選択等を容易にできる。なお、記録画素数とは、撮影した画像をメディアに記録する際の画素数である。ここでは、解像度と同義である。すなわち、記録画素数が大きいほど高解像度での撮影となる。
更に、露出補正量を変えた複数の撮影条件を設定してもよい。これにより、同じ撮影候補位置に対して、露出補正量が異なる複数の評価値が得られる。これにより、たとえば、露出補正が可能な機材で撮影する際に、その撮影プランの策定を容易にできる。
また、動画撮影する場合において、フレームレートを変えた複数の撮影条件を設定してもよい。これにより、同じ撮影候補位置に対して、フレームレートの異なる複数の評価値が得られる。これにより、撮影に適した機材の選択等を容易にできる。
《特徴部位設定部の変形例》
上記のように、被写体の有用な「見え」となる部位(点、線及び領域)が、特徴部位とされる。特徴部位は、撮影対象、撮影目的等考慮して設定することが好ましい。上記のように、構造物の点検を目的とした撮影では、被写体の立体形状(頂点、稜線等)、表面のテクスチャ(表面の汚れ、ひび割れ等の劣化部位など)が代表的な特徴部位とされる。
特徴部位の設定には、種々の手法を採用できる。以下、その一例について説明する。
〈手動で特徴部位を設定する場合〉
被写体の有用な「見え」となる部位が既知の場合、その部位を手動で設定することができる。
たとえば、被写体の立体形状(頂点、稜線等)を特徴部位とする場合、被写体となる構造物の設計時のデータ(図面、CAD(Computer Aided Design)データ等)から頂点、稜線等の情報を取得し、特徴部位に設定する。また、現物を計測(測量)して、その頂点、稜線の位置及び方位の情報を取得し、特徴部位に設定することもできる。
また、表面のテクスチャ(表面の汚れ、ひび割れ等の劣化部位等)を特徴部位とする場合は、被写体となる構造物の設計時のデータ(図面、CADデータ等)から、汚れ、ひび割れ等の劣化現象が生じる可能性のある箇所を推定し、その位置、方位、大きさ(範囲)を特定して、特徴部位を設定することができる。あるいは、現物を目視で観察して、汚れ、ひび割れ等が生じている箇所を見つけ、特徴部位とすることもできる。
また、過去に当該被写体を撮影している場合には、過去の撮影履歴を参照して、特徴部位を設定することもできる。たとえば、構造物の点検等を目的とした撮影において、過去にも当該構造物を撮影している場合、その過去の撮影履歴を参照して、劣化部位の情報を取得し、特徴部位に設定できる。
〈自動で特徴部位を設定する場合〉
自動で特徴部位を設定する場合は、被写体から特徴部位となる部位を自動で抽出し、特徴部位に設定できる。たとえば、構造物の点検等を目的として撮影評価マップを生成する場合、次のステップで特徴部位の設定を行うことができる。
第1ステップ:まず、被写体を複数の視点から撮影した複数の画像を取得する。
第2ステップ:次に、得られた画像群から被写体の三次元構造又は形状の推定に有用な頂点及び稜線を抽出する。また、被写体の表面形状に関連するテクスチャー(汚れ、ひび割れ等に限らない)を抽出する。抽出の処理は、公知の画像認識技術を利用する。
第3ステップ:次に、上記第2ステップで得られた情報に基づいて、被写体の三次元構造又は形状を推定する。
第4ステップ:次に、上記第3ステップで得られた被写体の三次元構造又は形状から、点検に有用な要素(有用な「見え」)を画像処理で抽出する。たとえば、画像認識技術により、汚れ、ひび割れ等を認識し、点検に有用な要素を抽出する。抽出された要素の位置、方位及び範囲(大きさ)を特定し、特徴部位に設定する。
また、次のステップで特徴部位の設定を行うこともできる。
第1ステップ:まず、被写体を複数の視点から撮影した複数の画像を取得する。
第2ステップ:次に、得られた画像群からSfMなどの手法で粗く特徴点を検出し、点群データを得る。
第3ステップ:次に、得られた点群データから点群の分布を解析して、三次元メッシュモデルを生成する。
第4ステップ:生成された三次元メッシュモデルから頂点、稜線を抽出し、特徴部位に設定する。
本構成の場合、撮影評価マップ生成装置には、被写体を複数の視点から撮影した複数の画像を取得する被写体画像取得部、及び、得られた複数の画像に基づいて、被写体の三次元モデルを生成する三次元モデル生成部が、更に備えられる。被写体画像取得部、三次元モデル生成部及び特徴部位抽出部は、コンピュータが所定のプログラムを実行することにより実現される。
この他、たとえば、学習済みのモデルを利用して、被写体を複数の視点から撮影した複数の画像、及び、その画像群から生成される三次元モデルデータの情報から、特徴部位となり得る部位を抽出する構成としてもよい。
また、過去に当該被写体を撮影している場合には、過去の撮影履歴を参照して、特徴部位を設定することもできる。たとえば、構造物の点検等を目的とした撮影において、過去にも当該構造物を撮影している場合、その過去の撮影情報を取得し、得られた情報から劣化部位の情報を自動的に抽出して、特徴部位を自動で設定してもよい。
自動で特徴部位の設定を行った場合は、必要に応じてユーザが手動で特徴部位の追加、削除等を行ってもよい。すなわち、自動と手動とを組み合わせて、特徴部位の設定を行ってもよい。これにより、相互の欠点を補完して、効率よく特徴部位を設定することができる。
〈評価基準設定部の変形例〉
評価基準は、手動で設定する構成としてもよいし、自動で設定する構成としてもよい。
上記のように、被写体の三次元モデルを生成して、特徴部位を設定する場合は、評価基準も自動で設定することが好ましい。すなわち、生成された三次元モデルに基づいて、自動で評価基準を設定することが好ましい。たとえば、三次元メッシュモデルを生成する場合、生成された三次元メッシュモデルのメッシュの向きを解析することにより、各特徴部位の評価基準を設定することができる。たとえば、メッシュの向きが分散している箇所(凹凸の激しい箇所)の特徴部位は、正面だけでなく斜め方向からの撮影に対して高評価となるように、評価基準を設定する。
また、三次元モデルに基づいて、各特徴部位の評価基準を設定する場合は、三次元モデルの生成の処理過程で得られる特徴点の情報も利用して、各特徴部位の評価基準を設定することが好ましい。たとえば、検出された特徴点の密度の情報を利用して、各特徴部位の評価基準を設定することができる。たとえば、特徴点の密度の高い箇所の特徴部位では、高解像度な撮影ほど高評価となるように、評価基準を設定する。
評価基準の設定の際には、撮影対象、撮影目的等を考慮することが好ましい。撮影対象によって良好とされる画像は異なるからである。また、同じ被写体を撮影する場合であっても、目的が異なれば、良好とされる画像も異なるからである。たとえば、汚れ、ひび割れのように、画像的な情報が必要な特徴部位では、高解像なほど高評価になるような評価基準が設定される。また、構造的な情報(三次元形状、変形など)が必要な特徴部位では、正面だけでなく斜め方向からの撮影に対して高評価になるように、評価基準が設定される。更に、構造上あるいは過去の損傷履歴などから、必ず撮影されるべき地点の特徴部位には、その特徴部位が確実に写されるような条件(撮影位置及び/又は撮影方向)に対して高評価になるように、評価基準が設定される。
評価関数については、上記実施の形態で説明したように、評価する基準を定め、定められた基準ごとに関数を設定し、設定された関数を適宜組み合わせることで生成できる。位置と、撮影方向と、撮影画角とを評価する場合、位置を評価する関数と、撮影方向を評価する関数と、撮影画角を評価する関数を設定し、設定した関数を組み合わせて1つの評価関数を生成する。組み合わせ方は、評価の態様に応じて設定する。各項目が同時に高評価の場合に一層高評価となるようにするならば、各関数の積を取った評価関数を生成する。各項目の評価を独立に扱う場合は、各関数の和を取った評価関数を生成する。また、特定の項目を重要視する場合は、重みを付与して、評価関数を生成する。たとえば、上記例において、撮影方向を重要視する場合は、撮影方向を評価する関数について、相対的に高い重みを付与し、各関数の和を取った評価関数を生成する。
〈評価値算出部の変形例〉
上記のように、評価値は、すべての特徴部位で得られる評価値(個別評価値)の総和として算出される。この評価値を算出する際、各特徴部位に重みを付与してもよい。たとえば、構造物の点検等を目的として撮影評価マップを生成する場合において、構造物の表面の劣化部位(汚れ、ひび割れ等)を特徴部位とする場合、当該劣化部位に対して、相対的に高い重みを付与して、評価値を算出するようにしてもよい。あるいは、注目すべき部位として指定された特徴部位に対して、相対的に高い重みを付与して、評価値を算出するようにしてもよい。
特徴部位ごとに重みを付与して評価値を算出する場合、撮影評価マップ生成装置には、重み設定部が更に備えられる。重み設定部は、特徴部位ごとに重みを設定する。重み設定部は、コンピュータが所定のプログラムを実行することにより実現される。重みが設定された場合、評価値算出部36は、評価値を算出する際、得られた特徴部位ごとの個別評価値に重みを乗じた総和を評価値として算出する。
たとえば、構造物の点検等を目的として撮影評価マップを生成する場合、重み付与部は、特徴部位として設定された劣化部位の情報を取得し、劣化部位に対して相対的に高い重みを付与する。また、過去の撮影情報を取得できる場合は、過去の撮影情報を利用して、各特徴部位に重みを付与することもできる。たとえば、過去の撮影情報から必ず撮影されるべき地点の特徴部位は、相対的に高い重みを付与する。同様に、過去の損傷履歴の情報などを取得できる場合は、その情報から適宜特徴部位に重みを付与することができる。
また、注目部位に対して相対的に高い重みを付与する場合は、別途、注目部位選択部を備える。注目部位選択部は、設定された複数の特徴部位の中から注目する部位(注目部位)を選択する処理を行う。選択は、たとえば、設定された複数の特徴部位をディスプレイ22に表示させ、注目部位とする特徴部位をユーザに選択させることにより行う。重み付与部は、選択された注目部位に対して相対的に高い重みを付与する。
このように重みを付与して評価値を算出することにより、重要度に応じた評価が得られ、重要度に応じた撮影評価マップが生成される。これにより、より容易に撮影プランを生成できる。
なお、各特徴部位に付与する重みは、手動で付与する構成としてもよい。また、設定した重みは、適宜、調整できるようにすることが好ましい。
〈撮影評価マップ生成部の変形例〉
撮影評価マップ生成部37で生成する撮影評価マップは、少なくとも評価値の情報と、その評価値が算出された撮影候補位置及び撮影条件の情報とが、含まれていればよい。更に、有用な情報を評価値に関連付けて記録することにより、より有用な撮影評価マップを生成できる。
〈撮影評価マップ出力処理部の変形例〉
生成された撮影評価マップは、必ずしも表示する必要はなく、データとして出力するようにしてもよい。この場合、データを取得した外部の装置で表示等の処理、撮影評価マップを利用した撮影プランの生成処理等が行われる。
◆◆撮影装置◆◆
撮影評価マップには、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められている。したがって、この撮影評価マップを参酌することにより、どの位置から、どのような撮影条件で撮影すれば、良好な画像が撮影できるかを判別できる。
以下、この撮影評価マップを利用した、撮影方法について説明する。
[撮影装置の第1の実施の形態]
ここでは、撮影評価マップから被写体の撮影に適した撮影ポイントと、その撮影ポイントでの撮影条件を自動的に選定する場合を例に説明する。特に、本実施の形態では、構造物の点検を目的とした撮影を行う場合を例に説明する。
《撮影装置のハードウェア構成》
撮影装置は、所定の撮影プログラムをインストールしたコンピュータで構成される。そのハードウェア構成は、上述した撮影評価マップ生成装置のハードウェア構成と実質的に同じである(図1参照)。したがって、ここでは、その具体的な構成についての説明は省略する。
《撮影装置が実現する機能》
図19は、撮影装置が実現する機能のブロック図である。
同図に示すように、撮影装置100は、撮影評価マップを取得する撮影評価マップ取得部101、取得した撮影評価マップに基づいて撮影ポイント及びその撮影ポイントでの撮影条件を選定する撮影ポイント選定部102、及び、選定された撮影ポイント及び撮影条件を出力する出力処理部103を備える。
〈撮影評価マップ取得部〉
撮影評価マップ取得部101は、撮影評価マップを取得する。撮影装置として機能するコンピュータが、撮影評価マップ生成装置としても機能する場合は、撮影評価マップ生成装置で生成された撮影評価マップをそのまま撮影評価マップ取得部101で取得する。すなわち、撮影評価マップ生成部37から直接撮影評価マップを取得する。外部の装置から取得する場合は、光学ディスクドライブ14、通信インターフェース15、入出力インターフェース16等を利用して取得する(図1参照)。
上記のように、本例では、構造物の点検を目的とした撮影を行うので、構造物の点検用の撮影を目的として生成された撮影評価マップが取得される。上記のように、この種の撮影評価マップは、被写体である構造物の立体形状(頂点、稜線等)、表面のテクスチャ(汚れ、ひび割れ等の劣化部位)等が特徴部位として設定される。
〈撮影ポイント選定部〉
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップに基づいて、被写体の撮影に適した撮影ポイント(撮影位置)、及び、その撮影ポイントでの撮影条件を選定する。
撮影ポイント選定部102は、撮影評価マップから、評価値の高い条件(撮影候補位置及び撮影条件の組み合わせ)を抽出し、その条件を満たすように撮影ポイント及び撮影条件を選定する。たとえば、評価値が上位N個までの条件(撮影候補位置及び撮影条件の組み合わせ)を抽出し、抽出した条件を満たすように、撮影ポイント及び撮影条件を選定する。あるいは、評価値が閾値以上の条件(撮影候補位置及び撮影条件の組み合わせ)を抽出し、抽出した条件を満たすように、撮影ポイント及び撮影条件を選定する。
一例として、図15に示す撮影評価マップにおいて、評価値が上位4個の条件(撮影候補位置及び撮影条件の組み合わせ)を抽出すると、次の4つとなる。
撮影候補位置:(0,100) 撮影方向:45° 評価値:0.99
撮影候補位置:(0,100) 撮影方向:135° 評価値:0.99
撮影候補位置:(75,150) 撮影方向:90° 評価値:0.58
撮影候補位置:(-75,150) 撮影方向:90° 評価値:0.58
抽出した条件(撮影候補位置及び撮影条件の組み合わせ)を満たすように、撮影ポイント及び撮影条件を選定する。
最もシンプルな選定方法は、抽出した撮影候補位置及びその撮影条件をそのまま撮影ポイント及びその撮影条件に設定する方法である。この場合、次のように撮影ポイント及び撮影条件が選定される。
(A)位置(0,100)、撮影方向45°
(B)位置(0,100)、撮影方向135°
(C)位置(75,150)、撮影方向90°
(D)位置(-75,150)、撮影方向90°
この他、更に、撮影の自由度、撮影に好適な撮影距離、撮影に要するコスト(特に、撮影条件を変更する際に要するコスト(移動に要するコスト、撮影方向を変えるのに要するコスト等))等の情報を考慮して、撮影ポイント及び撮影条件を選定することもできる。これにより、よりユーザの要求に適合した撮影ポイント及び撮影条件を選定できる。
たとえば、撮影方向を90°に限定する場合、位置(75,150)及び位置(-75,150)が好適な撮影ポイントとされる。更に、撮影に好適な撮影距離を考慮すると、位置(x1,D1)及び位置(x2,D2)が好適な撮影ポイントとされる(第1特徴部位CP1の座標位置を(x1,y1)、第1特徴部位CP1の撮影に好適な撮影距離D1、第2特徴部位CP2の座標位置を(x2,y2)、第2特徴部位CP2の撮影に好適な撮影距離D2とする。)。
また、撮影に要するコストを考慮すると、一箇所での撮影が最も消費エネルギが少なくコストの低い撮影となる。この場合、位置(0,100)において撮影方向を変える撮影が好適な条件とされる。すなわち、位置(0,100)において、撮影方向45°で行う撮影と撮影方向135°で行う撮影が、好適な条件とされる。更に、各特徴部位の撮影に好適な撮影距離を考慮して、撮影ポイントを選定することもできる。
一般に、ドローンを用いた撮影では、撮影方向を変えるのに要するコストよりも移動するコストの方が高い(電力消費量が大きい)。移動についても、上昇>水平飛行>ホバリング>降下の順で電力を消費する。
〈出力処理部〉
出力処理部103は、撮影ポイント選定部102で選定された撮影ポイント及び撮影条件を所定の出力フォーマットで出力する。
図20は、選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の一例を示す図である。
同図に示すように、撮影ポイントとして選定された撮影候補位置と、その撮影条件がディスプレイ22に表示される。本例では、撮影条件である撮影方向の情報が、各撮影候補位置から延びる矢印の方向で示されている。
このように、撮影ポイント及び撮影条件を表示することにより、撮影に適した撮影ポイント、及び、その撮影条件を容易に把握できる。
図21から図23は、選定された撮影ポイント及び撮影条件をディスプレイに出力する場合の他の一例を示している。
図21から図23は、選出された撮影ポイントを撮影条件別に表示する場合の例を示している。図21は、撮影方向が45°の場合の表示例を示している。図22は、撮影方向が90°の場合の表示例を示している。図23は、撮影方向が135°の場合の表示例を示している。
選出される撮影ポイントが多い場合には、このように撮影条件別に表示することにより、選出された条件を判別しやすくできる。
《撮影装置の作用》
図24は、撮影ポイント及び撮影条件の選出の処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS101)。次に、取得した撮影評価マップに基づいて、被写体の撮影に適した撮影ポイント、及び、撮影ポイントでの撮影条件を選定する(ステップS102)。次に、選出した撮影ポイント及び撮影条件を出力する(ステップS103)。ユーザは、出力された撮影ポイント及び撮影条件の情報に基づいて、撮影プランを策定する。
撮影プランの策定の際には、移動ルートの選定も行う。移動ルートの選定には、たとえば、公知の組み合わせ最適化問題を解くアルゴリズムを採用できる。たとえば、巡回セールスマン問題を解くアルゴリズムを採用して、移動ルートを選定することができる。
《変形例》
撮影ポイント及び撮影条件の選定には、たとえば、評価マップに基づく学習用データセットを利用して生成した学習済みモデルを利用してもよい。
[撮影装置の第2の実施の形態]
《撮影装置が実現する機能》
図25は、第2の実施の形態の撮影装置が実現する機能のブロック図である。
同図に示すように、本実施の形態の撮影装置100は、使用する撮影機材の情報を取得する撮影機材情報取得部104を更に備え、使用する撮影機材の情報を考慮して撮影ポイント及び撮影条件を選定する点で、上記第1の実施の形態の撮影装置100と相違する。したがって、以下においては、上記第1の実施の形態の撮影装置との相違点についてのみ説明する。
〈撮影機材情報取得部〉
撮影機材情報取得部104は、使用する撮影機材の情報を取得する。ここで、撮影機材の情報とは、撮影機材の仕様等の情報である。たとえば、レンズ交換式のデジタルカメラを使用する場合、カメラ本体の仕様の情報、装着するレンズの仕様の情報等である。カメラ本体の仕様の情報には、イメージセンサのサイズの情報、有効画素数の情報、設定可能な感度の情報、設定可能な露出補正量の情報、手振れ補正機能の有無の情報、選択可能なシャッタ速度の情報、連写速度の情報等、撮影に及ぼすカメラ本体の種々の情報が含まれる。また、レンズの仕様の情報には、焦点距離の情報、設定可能な絞り値の情報、ズーム倍率の情報、手振れ補正機能の有無の情報等、撮影に及ぼすレンズの種々の情報が含まれる。
また、撮影機材の情報には、撮影可能時間、撮影可能枚数及び使用可能時間の情報が含まれる。撮影可能時間とは、動画を撮影できる時間を意味する。動画を撮影できる時間は、撮影機材に搭載されているメディアの容量及び記録画質等によって定まる。また、撮影可能枚数とは、静止画を撮影できる枚数を意味する。静止画を撮影できる枚数は、撮影機材に搭載されているメディアの容量、記録画質等によって定まる。使用可能時間とは、撮影機材を使用できる時間を意味する。撮影機材を使用できる時間は、撮影機材に搭載されているバッテリの容量等によって定まる。
撮影機材情報取得部104は、所定の入力画面をディスプレイ22に表示し、使用する撮影機材の情報の入力を受け付ける。ユーザは、キーボード20、マウス21等の入力装置を利用して、使用する撮影機材の情報を入力する。撮影機材情報取得部104は、入力された情報を使用する撮影機材の情報として取得する。
あるいは、使用する撮影機材の機種の情報(製品名、型番等)の入力を受け付け、所定のデータベースを参照して、使用する撮影機材の情報を取得する。
〈撮影ポイント選定部〉
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップ及び撮影機材情報取得部104が取得した撮影機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、その撮影ポイントでの撮影条件を選定する。すなわち、更に撮影機材の情報を考慮して、撮影に適した撮影ポイント及び撮影条件を選定する。使用する撮影機材によっては、実施できない撮影もあるからである。
《撮影装置の作用》
図26は、撮影ポイント及び撮影条件の選出処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS21)。次に、使用する撮影機材の情報を取得する(ステップS22)。次に、取得した撮影評価マップ及び撮影機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、撮影ポイントでの撮影条件を選定する(ステップS23)。次に、選出した撮影ポイント及び撮影条件を出力する(ステップS24)。ユーザは、出力された撮影ポイント及び撮影条件の情報に基づいて、撮影プランを策定する。
本実施の形態の撮影装置によれば、使用する撮影機材を考慮して、撮影に適した撮影ポイント及び撮影条件が選出されるため、より撮影プランの策定を容易にできる。
《変形例》
撮影機材情報取得部104において、使用可能な複数の撮影機材の情報を取得し、取得した複数の撮影機材の情報に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
この場合、撮影機材ごとに撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。また、使用可能な撮影機材の中から最も撮影に適した撮影機材を選別し、選別した撮影機材に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
[撮影装置の第3の実施の形態]
《撮影装置が実現する機能》
図27は、第3の実施の形態の撮影装置が実現する機能のブロック図である。
同図に示すように、本実施の形態の撮影装置100は、使用する移動機材の情報を取得する移動機材情報取得部105を更に備え、使用する撮影機材の情報を更に考慮して撮影ポイント及び撮影条件を選定する点で、上記第2の実施の形態の撮影装置100と相違する。したがって、以下においては、上記第2の実施の形態の撮影装置との相違点についてのみ説明する。
〈移動機材情報取得部〉
移動機材情報取得部105は、使用する移動機材の情報を取得する。ここでの移動機材とは、撮影機材を移動させる機材である。たとえば、ドローンを使用して撮影する場合は、ドローンが移動機材となる。移動機材には、この他、無人走行する車、無人航行する船舶、歩行するロボット等の各種移動手段が含まれる。また、人が手持ちで撮影する場合には、人が移動機材となる。
また、移動機材の情報には、その移動機材の使用可能時間の情報が含まれる。たとえば、ドローンであれば、飛行可能時間の情報が含まれる。更に、移動機材の情報には、搭載される撮影機材の撮影方向の制御機能の有無の情報が含まれる。すなわち、搭載された撮影機材の撮影方向(レンズ光軸の向き)を切り換える機能の有無の情報が含まれる。
移動機材情報取得部105は、所定の入力画面をディスプレイ22に表示し、使用する移動機材の情報の入力を受け付ける。ユーザは、キーボード20、マウス21等の入力装置を利用して、使用する移動機材の情報を入力する。移動機材情報取得部105は、入力された情報を使用する移動機材の情報として取得する。
あるいは、使用する移動機材の機種の情報(製品名、型番等)の入力を受け付け、所定のデータベースを参照して、使用する移動機材の情報を取得する。
〈撮影ポイント選定部〉
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップ、撮影機材情報取得部104が取得した撮影機材の情報、及び、移動機材情報取得部105が取得した移動機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、その撮影ポイントでの撮影条件を選定する。すなわち、更に移動機材の情報を考慮して、撮影に適した撮影ポイント及び撮影条件を選定する。使用する移動機材によっては、実施できない撮影もあるからである。
《撮影装置の作用》
図28は、撮影ポイント及び撮影条件の選出処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS31)。次に、使用する撮影機材の情報を取得する(ステップS32)。次に、使用する移動機材の情報を取得する(ステップS33)。次に、取得した撮影評価マップ、撮影機材及び移動機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、撮影ポイントでの撮影条件を選定する(ステップS34)。次に、選出した撮影ポイント及び撮影条件を出力する(ステップS35)。ユーザは、出力された撮影ポイント及び撮影条件の情報に基づいて、撮影プランを策定する。
本実施の形態の撮影装置によれば、更に使用する移動機材を考慮して、撮影に適した撮影ポイント及び撮影条件が選出されるため、より撮影プランの策定を容易にできる。
《変形例》
移動機材情報取得部105において、使用可能な複数の撮影機材の情報を取得し、取得した複数の移動機材の情報に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
この場合、移動機材ごとに撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。また、使用可能な移動機材の中から最も撮影に適した移動機材を選別し、選別した移動機材に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
[撮影装置の第4の実施の形態]
《撮影装置が実現する機能》
図29は、第4の実施の形態の撮影装置が実現する機能のブロック図である。
同図に示すように、本実施の形態の撮影装置100は、選定された撮影ポイント及び撮影条件の情報に基づいて、移動ルートを選定する移動ルート選定部106を更に備える点で、上記第3の実施の形態の撮影装置100と相違する。したがって、以下においては、上記第3の実施の形態の撮影装置との相違点についてのみ説明する。
〈移動ルート選定部〉
移動ルート選定部106は、撮影ポイント選定部102で選定された各撮影ポイントでの撮影に適した移動ルートを選定する。ルートの選定には、たとえば、公知の組み合わせ最適化問題を解くアルゴリズムを採用できる。たとえば、巡回セールスマン問題を解くアルゴリズムを採用して、移動ルートを選定することができる。
〈出力処理部〉
出力処理部103は、撮影ポイント選定部102で選定された撮影ポイント及び撮影条件、並びに、移動ルート選定部106で選定された移動ルートを所定の出力フォーマットで出力する。
《撮影装置の作用》
図30は、撮影ポイント及び撮影条件並びに移動ルートの選出処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS41)。次に、使用する撮影機材の情報を取得する(ステップS42)。次に、使用する移動機材の情報を取得する(ステップS43)。次に、取得した撮影評価マップ、撮影機材及び移動機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、撮影ポイントでの撮影条件を選定する(ステップS44)。次に、選定した撮影ポイントに基づいて移動ルートを選定する(ステップS45)。次に、選出した撮影ポイント及び撮影条件並びに移動ルートを出力する(ステップS46)。
本実施の形態の撮影装置によれば、移動ルートも自動で生成されるので、更に容易に撮影プランを策定できる。
《変形例》
移動ルート選定部106で選定する移動ルートは、必ずしも選定されたすべての撮影ポイントを通過するものである必要はない。最適な撮影ポイント及び撮影条件を更に選定し、選定した撮影ポイント及び撮影条件で撮影が行われるように移動ルートを選定するようにしてもよい。最適な撮影ポイント及び撮影条件の選定の際には、コスト(消費エネルギ)、要求される撮影の粗さ等を考慮することが好ましい。
また、移動ルート選定部106が選定する移動ルートは、複数であってもよい。たとえば、コスト(消費エネルギ)又は撮影の粗さの異なる複数の移動ルートを選定してもよい。複数の移動ルートを選定した場合には、ユーザからの要求に応じて、表示の並びを変更できるようにすることが好ましい。
[撮影装置の第5の実施の形態]
《撮影装置が実現する機能》
図31は、第5の実施の形態の撮影装置が実現する機能のブロック図である。
同図に示すように、本実施の形態の撮影装置100は、撮影評価マップを取得する撮影評価マップ取得部101、使用する撮影機材の情報を取得する撮影機材情報取得部104、使用する移動機材の情報を取得する移動機材情報取得部105、取得した撮影評価マップ、撮影機材の情報及び移動機材の情報に基づいて、撮影プランを生成する撮影プラン生成部110、及び、生成された撮影プランを出力する出力処理部103を備える。
撮影評価マップ取得部101、撮影機材情報取得部104、移動機材情報取得部105の機能は、上記第1から3の実施の形態の撮影装置に備えられた撮影評価マップ取得部101、撮影機材情報取得部104、移動機材情報取得部105の機能と実質的に同じである。したがって、ここでは撮影プラン生成部110について説明する。
〈撮影プラン生成部〉
撮影プラン生成部110は、取得した撮影評価マップ、撮影機材の情報及び移動機材の情報に基づいて、撮影プランを生成する。撮影プランは、撮影評価マップから撮影に適した撮影ポイント、その撮影ポイントでの撮影条件、及び、移動ルートを選定して生成する。撮影ポイント及びその撮影ポイントでの撮影条件の選定については、上記撮影ポイント選定部102での処理と同じである。また、移動ルートの選定については、上記移動ルート選定部106での処理と同じである。
〈出力処理部〉
出力処理部103は、撮影プラン生成部110で生成された撮影プランを所定の出力フォーマットで出力する。
《撮影装置の作用》
図32は、撮影プランの生成処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS51)。次に、使用する撮影機材の情報を取得する(ステップS52)。次に、使用する移動機材の情報を取得する(ステップS53)。次に、取得した撮影評価マップ、撮影機材及び移動機材の情報に基づいて、被写体の撮影に適した撮影プランを生成する(ステップS54)。次に、生成した撮影プランを出力する(ステップS55)。
《変形例》
撮影プラン生成部110が生成する撮影プランは、複数であってもよい。たとえば、コスト(消費エネルギ)又は撮影の粗さの異なる複数の撮影プランを生成してもよい。また、使用可能な複数の撮影機材及び移動機材の情報を取得して、複数の撮影プランを生成してもよい。複数の撮影プランを生成した場合には、ユーザからの要求に応じて、表示の並びを変更できるようにすることが好ましい。
[撮影装置の第6の実施の形態]
《撮影装置が実現する機能》
図33は、第6の実施の形態の撮影装置が実現する機能のブロック図である。
本実施の形態の撮影装置100は、撮影評価マップに基づいて、撮影に適した撮影機材を自動的に選定する。
図33に示すように、本実施の形態の撮影装置100は、撮影評価マップを取得する撮影評価マップ取得部101、使用可能な撮影機材の情報を取得する撮影機材情報取得部104、取得した撮影評価マップ及び使用可能な撮影機材の情報に基づいて、撮影に適した撮影機材を選定する撮影機材選定部120、及び、選定された撮影機材の情報を出力する出力処理部103を備える。
撮影評価マップ取得部101及び撮影機材情報取得部104の機能は、上記第2の実施の形態の撮影装置の撮影評価マップ取得部101及び撮影機材情報取得部104と実質的に同じである。したがって、以下においては、上記第2の実施の形態の撮影装置との相違点についてのみ説明する。
〈撮影機材選定部〉
撮影機材選定部120は、撮影評価マップ取得部101が取得した撮影評価マップ及び撮影機材情報取得部104が取得した使用可能な撮影機材の情報に基づいて、撮影に適した撮影機材を選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。
〈出力処理部〉
出力処理部103は、撮影機材選定部120で選定された撮影機材を推奨撮影機材として所定の出力フォーマットで出力する。
《撮影装置の作用》
図34は、推奨する撮影機材の選定処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS61)。次に、使用可能な撮影機材の情報を取得する(ステップS62)。使用可能な撮影機材の情報は、少なくとも1つ取得される。次に、取得した撮影評価マップ及び使用可能な撮影機材の情報に基づいて、被写体の撮影に適した撮影機材を選定する(ステップS63)。次に、選定した撮影機材を推奨撮影機材として出力する(ステップS64)。
《変形例》
撮影機材選定部120が選定する撮影機材は、複数であってもよい。この場合、順位付けして選定することが好ましい。また、組み合わせて使用する移動機材の情報を取得し、取得した移動機材の情報を考慮して、撮影機材を選定してもよい。
[撮影装置の第7の実施の形態]
《撮影装置が実現する機能》
図35は、第7の実施の形態の撮影装置が実現する機能のブロック図である。
本実施の形態の撮影装置100は、撮影評価マップに基づいて、撮影に適した移動機材を自動的に選定する。
図35に示すように、本実施の形態の撮影装置100は、撮影評価マップを取得する撮影評価マップ取得部101、使用可能な複数の移動機材の情報を取得する移動機材情報取得部105、取得した撮影評価マップ及び使用可能な移動機材の情報に基づいて、撮影に適した移動機材を選定する移動機材選定部130、及び、選定した移動機材の情報を出力する出力処理部103を備える。
撮影評価マップ取得部101及び移動機材情報取得部105の機能は、上記第3の実施の形態の撮影装置の撮影評価マップ取得部101及び移動機材情報取得部105と実質的に同じである。したがって、以下においては、上記第3の実施の形態の撮影装置との相違点についてのみ説明する。
〈移動機材選定部〉
移動機材選定部130は、撮影評価マップ取得部101が取得した撮影評価マップ及び移動機材情報取得部105が取得した使用可能な移動機材の情報に基づいて、撮影に適した移動機材を選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。
〈出力処理部〉
出力処理部103は、移動機材選定部130で選定された移動機材を推奨移動機材として所定の出力フォーマットで出力する。
《撮影装置の作用》
図36は、推奨する移動機材の選定処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS71)。次に、使用可能な移動機材の情報を取得する(ステップS72)。使用可能な移動機材の情報は少なくとも1つ取得される。次に、取得した撮影評価マップ及び使用可能な移動機材の情報に基づいて、被写体の撮影に適した移動機材を選定する(ステップS73)。次に、選定した移動機材を推奨移動機材として出力する(ステップS74)。
《変形例》
移動機材選定部130が選定する移動機材は、複数であってもよい。この場合、順位付けして選定することが好ましい。また、組み合わせて使用する撮影機材の情報を取得し、取得した撮影機材の情報を考慮して、移動機材を選定してもよい。
[撮影装置の第8の実施の形態]
《撮影装置が実現する機能》
図37は、第8の実施の形態の撮影装置が実現する機能のブロック図である。
本実施の形態の撮影装置100は、撮影評価マップに基づいて、撮影に適した撮影機材及び移動機材を自動的に選定する。
図37に示すように、本実施の形態の撮影装置100は、撮影評価マップを取得する撮影評価マップ取得部101、使用可能な撮影機材の情報を取得する撮影機材情報取得部104、使用可能な移動機材の情報を取得する移動機材情報取得部105、取得した撮影評価マップ、使用可能な撮影機材及び移動機材の情報に基づいて、撮影に適した撮影機材及び移動機材の組み合わせを選定する機材選定部140を備える。
撮影評価マップ取得部101、撮影機材情報取得部104及び移動機材情報取得部105の機能は、上記第3の実施の形態の撮影装置の撮影評価マップ取得部101、撮影機材情報取得部104及び移動機材情報取得部105と実質的に同じである。したがって、以下においては、上記第3の実施の形態の撮影装置との相違点についてのみ説明する。
〈機材選定部〉
機材選定部140は、撮影評価マップ取得部101が取得した撮影評価マップ、撮影機材情報取得部104が取得した使用可能な撮影機材の情報、及び、移動機材情報取得部105が取得した使用可能な移動機材の情報に基づいて、撮影に適した撮影機材及び移動機材の組み合わせを選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。
〈出力処理部〉
出力処理部103は、移動機材選定部130で選定された撮影機材及び移動機材の組み合わせを推奨機材として所定の出力フォーマットで出力する。
《撮影装置の作用》
図38は、推奨機材の選定処理の手順を示すフローチャートである。
まず、撮影評価マップを取得する(ステップS81)。次に、使用可能な撮影機材の情報を取得する(ステップS82)。使用可能な撮影機材の情報は、少なくとも1つ取得される。次に、使用可能な移動機材の情報を取得する(ステップS83)。使用可能な移動機材の情報は少なくとも1つ取得される。次に、取得した撮影評価マップ、使用可能な撮影機材及び移動機材の情報に基づいて、被写体の撮影に適した撮影機材及び移動機材の組み合わせを選定する(ステップS84)。次に、選定した撮影機材及び移動機材の組み合わせを推奨機材として出力する(ステップS85)。
《変形例》
機材選定部140が選定する撮影機材及び移動機材の組み合わせは、複数であってもよい。この場合、順位付けして選定することが好ましい。
◆◆撮影システム◆◆
以下では、上記撮影装置で選定された条件(撮影ポイント、その撮影ポイントでの撮影条件、及び、移動ルート)、あるいは、撮影プランに従って自動で撮影を実施するシステムについて説明する。
[撮影システム]
ここでは、ドローンを用いて橋梁等の構造物の点検を目的とした撮影を行う場合を例に説明する。
図39は、撮影システムのシステム構成の一例を示す図である。
同図に示すように、本実施の形態の撮影システム200は、撮影装置100、ドローン300、及び、制御端末400を備える。
《撮影装置》
撮影装置100は、点検対象である被写体の撮影評価マップから撮影プランを生成する。本例では、点検対象である被写体をドローンで撮影するので、ドローン300を移動機材、ドローン300に備えられた撮影部を撮影機材として、撮影プランが生成される。
《ドローン》
ドローン300は、撮影部310を備えた自律移動ロボットの一例である。ドローン300は、指定された飛行経路に基づいて自動飛行できるように構成され、かつ、指定された条件で自動撮影できるように構成される。この種の機能を備えたドローン等の自律移動ロボット(自律飛行ロボット)は、公知であるので、その具体的な構成についての説明は省略する。
《制御端末》
制御端末400は、撮影制御装置の一例である。制御端末400は、ドローン300の飛行及び撮影を制御する。具体的には、撮影装置から撮影ポイント、撮影条件及び移動ルートの情報を撮影制御情報として取得し、取得した撮影制御情報に基づいて、ドローン300の飛行及び撮影を制御する。あるいは、撮影装置から撮影ポイント、撮影条件及び移動ルートの情報を含む撮影プランの情報を取得し、取得した撮影プランの情報に基づいて、ドローン300の飛行及び撮影を制御する。
制御端末400は、たとえば、無線通信機能を備えた携帯型のコンピュータ(タブレット型コンピュータ、ノート型コンピュータ等)で構成され、ドローン300と無線で通信して、制御情報を含む各種情報を送受信する。
制御端末400は、モニタを備え、必要に応じて、ドローン300が飛行中に撮影している画像をリアルタイムに表示する。
[撮影システムの作用]
図40は、撮影システムによる撮影の処理手順を示すフローチャートである。
まず、撮影評価マップ生成装置1において、点検対象の撮影評価マップを生成する(ステップS91)。撮影評価マップは、点検を目的とした観点で生成する。したがって、特徴部位、各特徴部位に設定する評価基準、撮影条件等は、点検を目的とした観点で設定する。
次に、得られた撮影評価マップに基づいて、撮影プランを生成する(ステップS92)。撮影装置100は、点検対象の撮影評価マップを取得し、点検対象の撮影に適した撮影プランを生成する。撮影プランは、撮影ポイント、その撮影ポイントでの撮影条件、及び、移動ルートの情報が含まれる。
撮影装置100は、撮影プランを生成する際、使用する撮影機材及び移動機材の情報を取得して、撮影プランを生成する。本例では、撮影機材の情報として、ドローン300に備えられた撮影部310の情報が取得される。また、移動機材の情報として、ドローン300の情報が取得される。撮影装置100は、当該ドローン300を用いた撮影に適した撮影プランを撮影評価マップから生成する。撮影は、静止画の撮影でもよいし、動画の撮影でもよい。また、双方を組み合わせた撮影でもよい。
次に、生成された撮影プランに基づいて、撮影を実行する(ステップS93)。制御端末400は、生成された撮影プランの情報を取得し、取得した撮影プランに基づいて、ドローン300を制御して、生成された撮影プランの撮影を実施する。すなわち、設定された移動ルートに従って移動(飛行)し、設定された撮影ポイント及び撮影条件で撮影を実施する。
このように、本実施の形態の撮影システムによれば、撮影プランの策定から実際の撮影までを自動化できる。
[変形例]
上記実施の形態では、ドローンを用いた撮影を例に説明したが、使用する撮影機材、移動機材は、適宜変更できる。
また、上記実施の形態では、撮影制御装置(制御端末400)と自律移動ロボット(ドローン300)とが分かれて構成されているが、自律移動ロボットに撮影制御装置の機能を一体的に備えてもよい。
また、撮影プランを生成する際には、複数回に分けて撮影を実施するプランを生成してもよい。この場合、使用する撮影評価マップを切り換えてもよい。たとえば、撮影のたびに各特徴部位に付与する重みを変更するようにしてもよい。
また、前回の撮影の結果をフィードバックして、撮影プランを生成するようにしてもよい。たとえば、一度満足度の高い条件で撮影された特徴部位に対しては、撮影欲求が満たされただろうと解釈して、総合評価で乗じる重みを下げるようにしてもよい。
◆◆その他の実施の形態◆◆
上記の実施の形態において、コンピュータに実現させている機能は、各種のプロセッサに実現させることができる。各種のプロセッサには、プログラムを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
一つの機能は、同種又は異種の二つ以上のプロセッサに実現させてもよい。たとえば、複数のFPGAで実現させる構成としてもよいし、CPU及びFPGAの組み合わせで実現させる構成としてもよい。
また、複数の機能を一つのプロセッサで構成してもよい。複数の機能を一つのプロセッサで実現する構成の例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のCPUとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサに複数の機能を実現させる形態がある。第2に、システムオンチップ(SoC:System On Chip)などに代表されるように、複数の機能を一つのICチップ(IC:Integrated Circuit)で実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
1 撮影評価マップ生成装置
2 ネットワーク
10 CPU(Central Processing Unit)
11 ROM(Read Only Memory)
12 RAM(Random Access Memory)
13 ハードディスクドライブ(HDD)
14 光学ディスクドライブ
15 通信インターフェース
16 入出力インターフェース
20 キーボード
21 マウス
22 ディスプレイ
23 プリンタ
31 座標空間設定部
32 撮影候補位置設定部
33 撮影条件設定部
34 特徴部位設定部
35 評価基準設定部
36 評価値算出部
37 撮影評価マップ生成部
38 撮影評価マップ出力処理部
100 撮影装置
101 撮影評価マップ取得部
102 撮影ポイント選定部
103 出力処理部
104 撮影機材情報取得部
105 移動機材情報取得部
106 移動ルート選定部
110 撮影プラン生成部
120 撮影機材選定部
130 移動機材選定部
140 機材選定部
200 撮影システム
300 ドローン
310 撮影部
400 制御端末
B ブロック
CP1 第1特徴部位
CP2 第2特徴部位
CS 座標空間
OB 被写体
S 有限の空間
S1~S9 撮影評価マップの生成手順
S10~S15 評価値の算出手順
S21~S24 撮影ポイント及び撮影条件の選出処理の手順
S31~S35 撮影ポイント及び撮影条件の選出処理の手順
S41~S46 撮影ポイント及び撮影条件並びに移動ルートの選出処理の手順
S51~S55 撮影プランの生成処理の手順
S61~S64 推奨する撮影機材の選定処理の手順
S71~S74 推奨する移動機材の選定処理の手順
S81~S85 推奨機材の選定処理
S91~S93 撮影システムによる撮影の処理手順
S101~S103 撮影ポイント及び撮影条件の選出処理の手順

Claims (23)

  1. 被写体を含む座標空間を設定する座標空間設定部と、
    前記座標空間内で複数の撮影候補位置を設定する撮影候補位置設定部と、
    前記被写体の撮影条件を設定する撮影条件設定部と、
    前記被写体に複数の特徴部位を設定する特徴部位設定部と、
    前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定する評価基準設定部と、
    前記撮影候補位置設定部で設定された前記撮影候補位置から前記撮影条件設定部で設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出する評価値算出部と、
    前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成する撮影評価マップ生成部と、
    を備え、
    前記評価値算出部は、前記撮影候補位置ごとの前記評価値を算出する際、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
    撮影評価マップ生成装置。
  2. 前記評価基準が、位置及び撮影条件をパラメータとする評価関数で規定される、
    請求項1に記載の撮影評価マップ生成装置。
  3. 前記撮影条件設定部は、複数の前記撮影条件を設定し、
    前記評価値算出部は、前記撮影候補位置及び前記撮影条件ごとに前記評価値を算出し、
    前記撮影評価マップ生成部は、前記評価値が、複数の前記撮影候補位置について、複数の前記撮影条件ごとに定められた前記撮影評価マップを生成する、
    請求項1又は2に記載の撮影評価マップ生成装置。
  4. 前記撮影条件設定部は、少なくとも撮影方向を変えた複数の前記撮影条件を設定する、
    請求項3に記載の撮影評価マップ生成装置。
  5. 前記撮影条件設定部は、少なくとも撮影画角を変えた複数の前記撮影条件を設定する、
    請求項3又は4に記載の撮影評価マップ生成装置。
  6. 前記撮影条件設定部は、少なくとも記録画素数を変えた複数の前記撮影条件を設定する、
    請求項3から5のいずれか1項に記載の撮影評価マップ生成装置。
  7. 前記撮影条件設定部は、少なくとも露出補正量を変えた複数の前記撮影条件を設定する、
    請求項3から6のいずれか1項に記載の撮影評価マップ生成装置。
  8. 前記撮影条件設定部は、少なくともフレームレートを変えた複数の前記撮影条件を設定する、
    請求項3から7のいずれか1項に記載の撮影評価マップ生成装置。
  9. 前記特徴部位を前記座標空間での位置及び方位で特定する、
    請求項1から8のいずれか1項に記載の撮影評価マップ生成装置。
  10. 前記特徴部位設定部は、前記被写体の頂点及び/又は稜線を前記特徴部位として設定する、
    請求項1から9のいずれか1項に記載の撮影評価マップ生成装置。
  11. 構造物を前記被写体とする場合において、前記特徴部位設定部は、前記構造物の表面の劣化部位を更に前記特徴部位として設定する、
    請求項10に記載の撮影評価マップ生成装置。
  12. 前記構造物の表面の汚れ及び/又はひび割れを前記劣化部位とする、
    請求項11に記載の撮影評価マップ生成装置。
  13. 前記特徴部位ごとに重みを設定する重み設定部を更に備え、
    前記評価値算出部は、前記撮影候補位置ごとの前記評価値を算出する際、得られた前記特徴部位ごとの前記個別評価値に前記重みを乗じた総和を前記評価値として算出する、
    請求項1から12のいずれか1項に記載の撮影評価マップ生成装置。
  14. 構造物の表面の劣化部位を前記特徴部位とする場合において、前記重み設定部は、前記劣化部位に対して相対的に高い重みを付与する、
    請求項13に記載の撮影評価マップ生成装置。
  15. 複数の前記特徴部位の中から注目部位を選択する注目部位選択部を更に備え、
    前記重み設定部は、前記注目部位に対して相対的に高い重みを付与する、
    請求項13又は14に記載の撮影評価マップ生成装置。
  16. 前記被写体を複数の視点から撮影した複数の画像を取得する被写体画像取得部と、
    取得された複数の画像に基づいて、前記被写体の三次元モデルを生成する三次元モデル生成部と、
    を更に備え、
    前記座標空間設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記座標空間を設定する、
    請求項1から15のいずれか1項に記載の撮影評価マップ生成装置。
  17. 前記特徴部位設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記特徴部位を設定する、
    請求項16に記載の撮影評価マップ生成装置。
  18. 前記評価基準設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記特徴部位ごとに前記評価基準を設定する、
    請求項17に記載の撮影評価マップ生成装置。
  19. 被写体を含む座標空間を設定するステップと、
    前記座標空間内で複数の撮影候補位置を設定するステップと、
    前記被写体の撮影条件を設定するステップと、
    前記被写体に複数の特徴部位を設定するステップと、
    前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定するステップと、
    設定された前記撮影候補位置から設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出するステップと、
    前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成するステップと、
    を含む評価マップ生成方法であって、
    前記撮影候補位置ごとの前記評価値を算出するステップは、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
    撮影評価マップ生成方法。
  20. 被写体を含む座標空間を設定する機能と、
    前記座標空間内で複数の撮影候補位置を設定する機能と、
    前記被写体の撮影条件を設定する機能と、
    前記被写体に複数の特徴部位を設定する機能と、
    前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定する機能と、
    設定された前記撮影候補位置から設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出する機能と、
    前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成する機能と、
    をコンピュータに実現させる撮影評価マップ生成プログラムであって、
    前記撮影候補位置ごとの前記評価値を算出する機能は、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
    撮影評価マップ生成プログラム。
  21. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項20に記載の撮影評価マップ生成プログラムをコンピュータに実行させる記録媒体。
  22. 特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップ。
  23. 各前記撮影候補位置における前記撮影条件ごとの前記評価値は、前記被写体に複数の特徴部位を設定し、前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定し、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和として算出される、
    請求項22に記載の撮影評価マップ。
JP2020504847A 2018-03-06 2019-01-28 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム Active JP7015376B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018039976 2018-03-06
JP2018039976 2018-03-06
PCT/JP2019/002765 WO2019171823A1 (ja) 2018-03-06 2019-01-28 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム

Publications (2)

Publication Number Publication Date
JPWO2019171823A1 JPWO2019171823A1 (ja) 2021-03-25
JP7015376B2 true JP7015376B2 (ja) 2022-02-02

Family

ID=67846044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504847A Active JP7015376B2 (ja) 2018-03-06 2019-01-28 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム

Country Status (5)

Country Link
US (1) US11494889B2 (ja)
EP (1) EP3764634A4 (ja)
JP (1) JP7015376B2 (ja)
CN (1) CN111819838B (ja)
WO (1) WO2019171823A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783995B (zh) * 2020-12-31 2022-06-03 杭州海康机器人技术有限公司 一种v-slam地图校验方法、装置及设备
WO2024053307A1 (ja) * 2022-09-09 2024-03-14 富士フイルム株式会社 空撮計画作成装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175183A (ja) 1998-12-09 2000-06-23 Ntt Data Corp 撮影画像管理方法及び遠隔撮影システム
JP2002010114A (ja) 2000-04-19 2002-01-11 Fuji Photo Film Co Ltd 撮像装置
JP2005045398A (ja) 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置
JP2011010133A (ja) 2009-06-26 2011-01-13 Hitachi Ltd 撮影装置及び情報共有システム
JP2012094979A (ja) 2010-10-25 2012-05-17 Canon Inc 撮影支援システム、情報処理装置、プログラム、撮影支援方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113865A1 (en) * 1997-09-02 2002-08-22 Kotaro Yano Image processing method and apparatus
CN102661742B (zh) * 2012-05-30 2014-04-02 北京信息科技大学 基于曲率特征加权质心点约束的自适应标志点布局方法
JP2016072864A (ja) * 2014-09-30 2016-05-09 株式会社ニコン 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
JP6499542B2 (ja) 2015-08-05 2019-04-10 ローム株式会社 構造物の点検方法
EP3264298B1 (en) * 2016-06-28 2020-04-08 Ebit srl Radiotherapy information system with treatment plan evaluation
JP6740033B2 (ja) 2016-06-28 2020-08-12 キヤノン株式会社 情報処理装置、計測システム、情報処理方法及びプログラム
US10352912B2 (en) * 2016-09-15 2019-07-16 Kabushiki Kaisha Toshiba Structure evaluation system, structure evaluation apparatus, and structure evaluation method
JP6775776B2 (ja) 2017-03-09 2020-10-28 株式会社岩根研究所 自由視点移動表示装置
EP3743332B1 (en) 2018-01-24 2022-11-02 Honeywell International Inc. Solar panel inspection by unmanned aerial vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175183A (ja) 1998-12-09 2000-06-23 Ntt Data Corp 撮影画像管理方法及び遠隔撮影システム
JP2002010114A (ja) 2000-04-19 2002-01-11 Fuji Photo Film Co Ltd 撮像装置
JP2005045398A (ja) 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置
JP2011010133A (ja) 2009-06-26 2011-01-13 Hitachi Ltd 撮影装置及び情報共有システム
JP2012094979A (ja) 2010-10-25 2012-05-17 Canon Inc 撮影支援システム、情報処理装置、プログラム、撮影支援方法

Also Published As

Publication number Publication date
EP3764634A4 (en) 2021-04-28
JPWO2019171823A1 (ja) 2021-03-25
CN111819838A (zh) 2020-10-23
WO2019171823A1 (ja) 2019-09-12
EP3764634A1 (en) 2021-01-13
US11494889B2 (en) 2022-11-08
CN111819838B (zh) 2022-03-01
US20200394787A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7015377B2 (ja) 撮影装置、撮影方法及び撮影プログラム並びに撮影システム
Becerik-Gerber et al. Assessment of target types and layouts in 3D laser scanning for registration accuracy
TWI530160B (zh) 相機位置姿態評價裝置、相機位置姿態評價方法
CN106027962B (zh) 视频监控的覆盖率计算方法及装置、布点方法及系统
KR101867991B1 (ko) 다관절 오브젝트의 모션 에디팅 방법 및 장치
Golabchi et al. An integrated ergonomics framework for evaluation and design of construction operations
JP5817953B1 (ja) プロジェクタシステム及びキャリブレーションボード
US20180204387A1 (en) Image generation device, image generation system, and image generation method
JP7015376B2 (ja) 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム
WO2018163786A2 (en) Target subject analysis apparatus, target subject analysis method, learning apparatus, and learning method
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
Liu et al. Image-based semantic construction reconstruction
Blais et al. Recent developments in 3D multi-modal laser imaging applied to cultural heritage
Lee et al. Game engine-driven synthetic data generation for computer vision-based safety monitoring of construction workers
Grehl et al. Towards virtualization of underground mines using mobile robots–from 3D scans to virtual mines
JP7006810B2 (ja) 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法
CN113836337A (zh) Bim的展示方法、装置、设备及存储介质
JP4409924B2 (ja) 三次元画像表示装置及び方法
JP4427305B2 (ja) 三次元画像表示装置及び方法
US12033406B2 (en) Method and device for identifying presence of three-dimensional objects using images
US20220343661A1 (en) Method and device for identifying presence of three-dimensional objects using images
JP2024043326A (ja) 撮影制御装置、および、撮影制御方法
EP4088251A1 (en) Building information modeling (bim) data model for construction infrastructure
JP2021010069A (ja) 撮影シミュレーション装置、撮影シミュレーション方法およびコンピュータプログラム
Dimas et al. Virtual Grid Mapping for Visual Size Measurements

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220121