JP6965450B2 - 撮影計画提示装置および方法 - Google Patents

撮影計画提示装置および方法 Download PDF

Info

Publication number
JP6965450B2
JP6965450B2 JP2020528818A JP2020528818A JP6965450B2 JP 6965450 B2 JP6965450 B2 JP 6965450B2 JP 2020528818 A JP2020528818 A JP 2020528818A JP 2020528818 A JP2020528818 A JP 2020528818A JP 6965450 B2 JP6965450 B2 JP 6965450B2
Authority
JP
Japan
Prior art keywords
shooting
plan
imaging
unit
presenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528818A
Other languages
English (en)
Other versions
JPWO2020008973A1 (ja
Inventor
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020008973A1 publication Critical patent/JPWO2020008973A1/ja
Application granted granted Critical
Publication of JP6965450B2 publication Critical patent/JP6965450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は撮影計画提示装置および方法に関し、特に、撮影計画をユーザに提示するための撮影計画提示装置および方法に関する。
従来、橋梁、道路、ダム、建築物などの構造物の点検のために画像を撮影し、画像から構造物の損傷を検出する技術が存在する。
特許文献1は、点検用の結合画像を作成する際に、隣接する画像のオーバーラップ率を求め、それに基づいて再度の撮影の要否を判断することを開示している。
特許文献2は、劣化推定に基づいて第1点検計画を作成し、第1点検計画に基づいて検査実施後、第1点検計画の点検項目の結果に基づいてより詳細な第2点検計画を実施することを開示している。
特許6120037号公報 特開2017-71972号公報
画像から構造物の損傷を検出するためには、一定程度の解像度が必要である。このため、構造物の被写体を分割して撮影する必要がある。長大な構造物を一部分ずつ手動で撮影していると、ユーザは今どこを撮影しているのか、あるいはどこまで撮影できたのか、わからなくなってしまうことがある。例えば、橋梁の床版表面を一部分ずつ分割して撮影していると、床版表面は特徴が少なく同じような模様の繰り返しのため、どこを撮影したのかわからなくなってしまう。
また、それらの分割撮影画像が構造物の損傷検出のために必要な領域を確保しているかどうかわからない場合、必要以上に多数の画像を撮影してしまい、ユーザの負担が増すことが考えられる。
特許文献1および特許文献2では、撮影済みの画像からどの部分を撮影すればよいのかまではユーザに提示されない。
本発明はこのような問題点に鑑みてなされたもので、点検に必要な画像の条件と撮影済みの画像の撮影範囲に応じて撮影計画をユーザに提示することが可能な撮影計画提示装置および方法を提供することを目的とする。
本発明の第1の態様に係る撮影計画提示装置は、構造物の損傷検出に必要な撮影条件を取得する撮影条件取得部と、撮影条件取得部が取得した撮影条件に基づいて構造物の点検個所全体の撮影計画を生成する撮影計画生成部と、撮影計画をユーザに提示する撮影計画提示部と、を備え、撮影計画生成部は、構造物の点検個所の実際の撮影結果に基づいて、構造物の点検個所の未撮影領域に対応する撮影計画を再生成する。
本発明の第2の態様に係る撮影計画提示装置において、撮影計画提示部は、構造物の点検個所の全体を網羅する撮影の回数を最小にする撮影計画を生成する。
本発明の第3の態様に係る撮影計画提示装置において、撮影計画提示部は、構造物の点検個所の全体を網羅する撮影のための撮像装置の移動距離が最短となる撮影計画を生成する。
本発明の第4の態様に係る撮影計画提示装置において、撮影条件は、構造物のサイズ、撮影画像の画素数、解像度および異なる画像同士のオーバーラップ率を含む。
本発明の第5の態様に係る撮影計画提示装置において、撮影計画は、構造物の点検個所の表面を複数の領域に分割した分割領域に対応する撮影範囲であり、撮影計画生成部は、解像度と画素数とから撮影画像1枚当たりの撮影実寸サイズを算出し、オーバーラップ率以上で構造物の点検個所の表面を網羅する撮影範囲を撮影計画として生成する。
本発明の第6の態様に係る撮影計画提示装置において、撮影計画は分割領域の撮影順序を含み、撮影計画生成部は、撮影順序に沿った撮影のための撮像装置の移動距離を最短にする撮影計画を生成する。
本発明の第7の態様に係る撮影計画提示装置において、撮影計画提示部は、構造物の図面に撮影範囲を重ねて提示する。
本発明の第8の態様に係る撮影計画提示装置において、撮影計画提示部は、ディスプレイに表示された構造物の図面に撮影範囲を重ねて提示する。
本発明の第9の態様に係る撮影計画提示装置において、撮影計画提示部は、プロジェクタにより構造物の点検個所に撮影範囲を重ねて提示する。
本発明の第10の態様に係る撮影計画提示装置において、撮影計画提示部は、拡張現実デバイスにより構造物の点検個所の撮影画像に撮影範囲を重ねて提示する。
本発明の第11の態様に係る撮影計画提示装置において、撮影計画提示部は、撮像装置の位置情報または撮像装置から構造物までの測距情報に基づいて撮影位置へユーザを誘導するユーザ誘導部を備える。
本発明の第12の態様に係る撮影計画提示装置は、構造物の点検個所の実サイズを取得する実サイズ取得部と、構造物の点検個所を撮影した複数の画像をパノラマ合成することでパノラマ画像を作成するパノラマ画像作成部と、備え、撮影計画生成部は、実サイズ取得部の取得した構造物の点検個所の実サイズとパノラマ画像作成部の作成したパノラマ画像とに基づいて未撮影領域を特定し、特定した未撮影領域に対応する撮影計画を再生成する。
本発明の第13の態様に係る撮影計画提示装置は、構造物の点検個所の全景画像を取得する全景画像取得部と、構造物の点検個所の一部分を撮影した複数の部分画像を取得する部分画像取得部と、を備え、撮影計画生成部は、全景画像と複数の部分画像とを照合することで未撮影領域を特定し、特定した未撮影領域に対応する撮影計画を再生成する。
本発明の第14の態様に係る撮影計画提示装置は、構造物の点検個所が実際に撮影された画像の撮影位置、撮影方向、撮影距離、焦点距離およびセンサーサイズのうち少なくとも1つを含む実撮影条件を取得する実撮影条件取得部を備え、撮影計画生成部は、実撮影条件に基づいて未撮影領域を特定し、特定した未撮影領域に対応する撮影計画を再生成する。
本発明の第15の態様に係る撮影計画提示方法は、コンピュータが構造物の損傷検出に必要な撮影条件を取得するステップと、撮影条件に基づいて構造物の点検個所全体の撮影計画を生成するステップと、撮影計画をユーザに提示するステップと、構造物の点検個所の実際の撮影結果に基づいて、構造物の点検個所の未撮影領域に対応する撮影計画を再生成するステップと、を実行することを含む。
上記の撮影計画提示方法をコンピュータに実行させるための撮影計画提示プログラムも本発明の態様に含まれる。
この発明によると、未撮影領域に応じて撮影計画を更新し、次に撮影すべき撮影範囲をユーザに示すので、ユーザは未撮影部分を容易に撮影でき、検査対象の被写体を必要な範囲でくまなく撮影できる。
撮影計画提示装置100のブロック構成図 撮影条件の一例を示す図 撮影計画の一例を示す図 撮影範囲の表示例を示す図 検査対象に撮影範囲をライブビューにリアルタイムで重畳して表示した様子を示す図 撮影範囲X1と検査対象のライブビューX2とが一致しない状態から一致する状態になった様子を示す図 撮影計画提示処理のフローチャート
図1は本発明の好ましい実施形態に係る撮影計画提示装置100のブロック構成図である。撮影計画提示装置100は、撮影条件情報取得部11、撮影計画生成部12、撮影計画提示部13、撮影部14、撮影計画更新部15、およびパノラマ合成部16を備える。これらの各部は、1または複数のプロセッサにより構成されうる。プロセッサは、CPU(Central Processing Unit),ASIC(Application Specific Integrated Circuit),GPU(Graphics Processing Unit)などを含む。撮影計画提示装置100は、スマートフォン、タブレット端末、デジタルカメラなどの携帯情報端末やパソコンなどで構成される。なお撮影部14および/またはパノラマ合成部16は撮影計画提示装置100と一体でもよいし一体でなくてもよい。
撮影条件情報取得部11は、撮影条件情報を内蔵のセンサーや外部の端末(検査現場にいるユーザの所有するスマートフォン)などから取得する。撮影条件情報は、検査現場の条件すなわち検査現場の位置情報、現在時刻、天候、検査対象となる構造物(被写体)のサイズ、被写体からカメラまでの撮影距離や、カメラの撮影条件すなわち焦点距離、画素数、デジタルカメラのイメージセンサーのサイズ、必要な被写体の解像度などを含む。被写体のサイズは、例えば橋梁の格間のサイズ(格間の縦横サイズ)、橋脚の高さと幅などである。撮影距離は、カメラから被写体までの距離であり、例えばカメラから床までの距離である。検査現場の位置情報は、GPS(Global Positioning System)で取得できる。
撮影計画生成部12は、撮影条件情報に基づいて、検査対象となる被写体の各点検個所の全体を網羅するような撮影範囲の集合を含む撮影計画を生成する。例えば、所望の被写体解像度を満足する1枚当たりの撮影実寸サイズを計算し、この撮影実寸サイズかつ異なる画像間のオーバーラップが所定のオーバーラップ率以上で各点検個所を網羅する撮影範囲を生成する。
一例として、図2に示すように、
P : イメージセンサーYの横方向画素数(pixel)(なお縦方向画素数でもよい)
S : イメージセンサーYの横方向のサイズ(mm)(なお縦方向のサイズでもよい)
F : 焦点距離(mm)
L : 撮影距離(mm)
R : 被写体Xの被写体解像度(mm/pixel)
とする。P,Sはデジタルカメラの仕様で決まり、Lは撮影現場条件により決まる。この時、所望の被写体解像度Rを満たすために、焦点距離は以下の式で算出できる。
F = (L×S) / (R×P)
このFの値が、使用するデジタルカメラのレンズZの焦点距離の範囲外の場合は、撮影条件を満たす撮影計画が生成できないことになる。
具体的な数値例として、
P = 6000, S = 23.6, L = 5000, R = 0.3
とすると、
F=65.56
となる。このため、例えばレンズZの焦点距離の範囲が18mm〜55mmの場合は、撮影条件を満たす撮影計画が生成できない。一方、例えばレンズZの焦点距離の範囲が18mm〜135mmの場合は、撮影条件を満たす撮影計画が生成できる。
他の一例として、被写体解像度=0.3mm/pixel、画素数=6000*4000画素であれば、1枚当たりの撮影実寸サイズは1800*1200mmとなる。また、一例として、所定のオーバーラップ率=30%とする。より好ましくは、所定のオーバーラップ率(30%など)を満たしかつ撮影枚数が最小となる撮影計画を生成する。撮影条件を満たす範囲では撮影計画が生成できない場合、「撮影距離が遠すぎる」、「使用するレンズの焦点距離では所定の被写体解像度を満たすことができない」といった警告を撮影計画提示装置100のディスプレイに表示するなどしてユーザに通知し、撮影条件情報の再設定を促してもよい。オーバーラップ率は、パノラマ合成部16が各撮影範囲をパノラマ画像に合成できる範囲で任意に設定しうる。
撮影計画は少なくとも撮影範囲と画素数を含む。ユーザは撮影範囲に合うように焦点距離、撮影距離、および撮影位置を任意に調整することができるので、撮影計画は焦点距離、撮影距離、および撮影位置を含んでもよいし、含まなくてもよい。
撮影計画提示部13は、今回撮影すべき撮影範囲をユーザに示す。撮影範囲の提示の方法は、撮影計画提示装置100の内蔵ディスプレイへの表示、AR(Augmented Reality:拡張現実)デバイスのディスプレイへの表示、プロジェクタによる被写体への投影などが挙げられる。検査対象となる被写体の設計図面などに撮影範囲を重畳して表示してもよい。
撮影部14は、デジタルカメラなどで構成され、被写体すなわち構造物の各点検個所の撮影範囲を撮影した画像データ(部分画像)を生成して出力する装置である。撮影部14は撮影計画提示装置100に内蔵されていてもよいし内蔵されなくてもよい。例えば、撮影部14は撮影計画提示装置100と別個のデジタルスチルカメラであってもよい。この場合、撮影部14は撮影計画提示装置100と無線通信し、撮影で得た画像データを撮影計画提示装置100に送信する。
なお撮影の対象となる構造物は、橋梁の床、路面、ダムの堤体コンクリート表面、トンネルの覆工コンクリート表面、建築物の外壁など、特に限定されない。
撮影計画更新部15は、未撮影領域特定部151と未撮影領域撮影計画生成部152とを含む。未撮影領域特定部151は、撮影計画生成部12の生成した撮影計画と撮影部14の出力した画像とに基づき、未撮影の撮影範囲を特定する。未撮影領域撮影計画生成部152は、未撮影領域特定部151の特定した未撮影の撮影範囲に基づいて撮影計画を更新し、未撮影の撮影範囲に対応する撮影計画を再生成する。
例えば、未撮影領域特定部151は、撮影計画に沿って撮影された部分画像をパノラマ合成したパノラマ画像の撮影範囲を被写体解像度や画像中のサイズが既知の被写体の実寸スケールから実寸サイズに換算する。一方、未撮影領域特定部151は、検査対象の被写体全体の実寸サイズの計測値や、図面から得た実寸サイズ情報を、検査対象の被写体の実寸サイズとして取得する。未撮影領域特定部151は、パノラマ画像の実寸サイズと検査対象の被写体の実寸サイズとを比較し、これらの不一致部分を未撮影領域と特定する。
あるいは、未撮影領域特定部151は、撮影計画に沿って撮影された部分画像をパノラマ合成したパノラマ画像と被写体全景とをブロックマッチングなどにより照合し、これらの差分となる領域を未撮影領域と特定する。
あるいは、未撮影領域特定部151は、撮影計画に沿って撮影された画像の撮影条件情報(撮影位置情報、撮影方向、撮影距離、焦点距離、イメージセンサーのサイズなど)を取得する。これらは、撮影済みの撮影範囲に対応する撮影条件情報である。そして、撮影済みの撮影範囲に対応する撮影条件情報と撮影計画の撮影条件情報と比較し、これらの不一致部分から、未撮影領域を特定する。
撮影計画更新部15の再生成した撮影計画は、撮影計画提示部13によって再びユーザに提示される。ユーザはこの撮影計画に基づいて、必要な撮影範囲の撮影を継続できる。
図3は撮影計画の一例を示す。この図では、検査対象となる被写体の検査箇所は橋梁の床の一面Rである。撮影計画は、所定のオーバーラップ率Dを有する撮影範囲R1〜R12を含む。R1〜R12は、それぞれ検査対象の被写体全景(点検個所の全て)を1番目から12番目までの最短の撮影順序で(最短距離で)撮影する範囲である。撮影部14などで構成された全景画像取得部により、被写体全景は予め1枚の画像で撮影しておく。細かいひび割れを検出するのではないため、被写体全景の撮影解像度は任意である。
撮影順序は撮影の移動距離が最短となるように撮影計画を生成するとよい。また、諸事情により、撮影位置の移動方向が固定であったり、移動順序に優先順位が付されていたりする場合は、その移動方向や移動順序などのルールに沿って撮影計画を生成するとよい。
図4は撮影計画提示の一例である。図4に示すように、タブレット、デジタルカメラ、スマートフォンなどのカメラ付き携帯情報端末のディスプレイで構成された撮影計画提示装置100の撮影計画提示部13に、被写体のライブビュー画像Wと撮影範囲Rkとが重畳して表示される。この際、GPS(Global Positioning System)で取得されたカメラ付き携帯情報端末の位置情報に基づいて、ディスプレイで構成された撮影計画提示部13に表示すべき撮影範囲を算出してもよい。
あるいは、ヘッドマウントディスプレイのようなAR(Augmented Reality:拡張現実)デバイスによってユーザが視覚する現実の被写体のライブビューに、撮影範囲を重畳して表示してもよい。
図5に示すように、撮影計画提示装置100はデジタルスチルカメラで構成された撮影部14で撮影されたライブビュー画像を取得し、この画像から物体認識を行う。撮影計画提示装置100は検査対象をリアルタイムで認識し、その認識された検査対象に撮影範囲をライブビュー画像にリアルタイムで重畳し、ARデバイスにて表示する。こうすると、撮影計画提示装置100が移動して撮影位置や撮影角度などの撮影条件が変化しても、それに追随して撮影範囲が表示される。
さらに、図6に示すように、撮影部14の撮影距離または焦点距離の調整によって、撮影範囲X1と検査対象のライブビューX2とが一致しない状態から一致する状態になった場合、撮影計画提示装置100から撮影部14へ撮影開始指示が送信され、撮影部14は当該指示に従って撮影を行ってもよい。こうすると、撮影計画に沿って撮影すべき検査対象が撮影範囲に捉えられた場合、自動的に撮影が行われて便利である。
あるいは、撮影範囲X1と検査対象のライブビューX2とが一致する状態になった場合、ARデバイスなどのディスプレイに「撮影OK」などのメッセージを表示あるいは音声再生したり、携帯電話のバイブレーション機能を起動したりして、ユーザに当該状態を通知し、撮影開始を促してもよい。
なおここでいう「撮影範囲X1と検査対象のライブビューX2とが一致する」とは、完全に一致することおよび所定の許容範囲の閾値内(ずれ部分の面積が撮影範囲の面積の5%以内など)でずれた状態でX1とX2が重なることを含む。撮影範囲X1と検査対象のライブビューX2とが一致しない状態では「撮影NG」などのメッセージを表示してもよい。
あるいは、検査対象となる被写体に、プロジェクタで今回撮影すべき撮影範囲の映像を直に投影してもよい。なお今回撮影すべき撮影範囲とともに、次回以降撮影すべき撮影範囲も、撮影順序と合わせて投影してもよい。
あるいは、GPS(Global Positioning System)端末や測距計を内蔵したトータルステーションなど、基準物体からの距離および角度が測定できる装置(ユーザ誘導部)を用いて、撮影範囲を捉えることのできる撮影位置、撮影角度および撮影方向に向けて、映像や音声でユーザを誘導してもよい。撮影部14の撮影方向、撮影距離、焦点距離などが変動しないのであれば、撮影位置のみユーザを誘導すればよい。トータルステーションなどの装置にて、カメラを撮影位置に誘導してもよい。
図7は撮影計画提示処理のフローチャートである。この処理を各種のコンピュータ(プロセッサ)に実行させるためのプログラムは、SDRAM,ROM,CD−ROMなど各種のコンピュータ(プロセッサ)読み取り可能な記録媒体に記録されている。
S1では、撮影条件情報取得部11は、内蔵のセンサーや外部の端末などから撮影条件情報を取得する。この撮影条件情報は、構造物の点検個所の実寸サイズを含む構造物のサイズ、撮影画像の画素数、解像度および異なる画像同士のオーバーラップ率を含む。
S2では、撮影計画生成部12は、撮影条件情報に基づいて、検査対象となる被写体の全体(点検箇所の全て)を網羅するような一回の撮影ごとの撮影範囲を含む撮影計画を生成する。
S3では、撮影計画提示部13は、撮影計画に基づいて、撮影すべき撮影範囲をディスプレイ、音声、バイブレーションなどでユーザに示す。
S4では、撮影部14は、撮影範囲の被写体を撮影した画像データ(部分画像)を出力する。撮影部14による被写体の撮影はユーザの指示が入力されたときか、プロセッサが所定の撮影条件の充足(撮影範囲X1と検査対象のライブビューX2とが一致したことなど)を判断したときに行われる。
S5では、撮影計画更新部15は、撮影部14による撮影の終了後、未撮影領域特定部151によって未撮影領域が特定されたか否かを判断する。Yesの場合はS6、Noの場合は処理を終了する。
S6では、撮影計画更新部15は、未撮影の撮影範囲に基づいて撮影計画を更新し、未撮影の撮影範囲に対応する撮影計画を再生成する。そしてS3に戻り、撮影計画提示部13は、再生成された撮影計画に基づいて、次に撮影すべき撮影範囲をユーザに示す。なおパノラマ合成部16は、撮影計画に沿って撮影された部分画像を合成してパノラマ画像を作成してもよい。
このように、未撮影領域に応じて撮影計画を更新し、次に撮影すべき撮影範囲をユーザに示すので、ユーザは未撮影部分を容易に撮影でき、検査対象の被写体を必要な範囲でくまなく撮影できる。また、撮影計画は最短の移動距離で生成されるため、撮影時間を最小化できる。
11 撮影条件情報取得部
12 撮影計画生成部
13 撮影計画提示部
14 撮影部
15 撮影計画更新部
16 パノラマ合成部
100 撮影計画提示装置
151 未撮影領域特定部
152 未撮影領域撮影計画生成部

Claims (19)

  1. 構造物の損傷検出に必要な撮影条件を取得する撮影条件取得部と、
    前記撮影条件取得部が取得した撮影条件に基づいて前記構造物の点検個所全体の撮影計画を生成する撮影計画生成部と、
    前記撮影計画をユーザに提示する撮影計画提示部と、
    前記構造物の点検個所の実際の撮影結果に基づいて撮影計画を更新し、前記構造物の点検個所の未撮影領域に対応する撮影計画を再生成する、撮影計画更新部と、
    を備え、
    前記撮影計画提示部は、前記撮影計画更新部が再生成した撮影計画をユーザに提示する、
    撮影計画提示装置。
  2. 前記撮影計画提示部は、前記撮影計画更新部が再生成した撮影計画に基づいて、次に撮影すべき撮影範囲をユーザに提示する請求項1に記載の撮影計画提示装置。
  3. 前記撮影計画生成部は、前記構造物の点検個所の全体を網羅する撮影の回数を最小にする撮影計画を生成する請求項1または2に記載の撮影計画提示装置。
  4. 前記撮影計画生成部は、前記構造物の点検個所の全体を網羅する撮影のための撮像装置の移動距離が最短となる撮影計画を生成する請求項1〜3のいずれか1項に記載の撮影計画提示装置。
  5. 前記撮影条件は、前記構造物のサイズ、撮影画像の画素数、解像度および異なる画像同士のオーバーラップ率を含む請求項1〜4のいずれか1項に記載の撮影計画提示装置。
  6. 前記撮影計画は、前記構造物の点検個所の表面を複数の領域に分割した分割領域に対応する撮影範囲であり、
    前記撮影計画生成部は、前記解像度と前記画素数とから撮影画像1枚当たりの撮影実寸サイズを算出し、前記オーバーラップ率以上で前記構造物の点検個所の表面を網羅する撮影範囲を撮影計画として生成する請求項5に記載の撮影計画提示装置。
  7. 前記撮影計画は分割領域の撮影順序を含み、
    前記撮影計画生成部は、前記撮影順序に沿った撮影のための撮像装置の移動距離を最短にする撮影計画を生成する請求項6に記載の撮影計画提示装置。
  8. 前記撮影計画提示部は、前記構造物の図面に前記撮影範囲を重ねて提示する請求項6または7に記載の撮影計画提示装置。
  9. 前記撮影計画提示部は、ディスプレイに表示された前記構造物の図面に前記撮影範囲を重ねて提示する請求項6または7に記載の撮影計画提示装置。
  10. 前記撮影計画提示部は、プロジェクタにより前記構造物の点検個所に前記撮影範囲を重ねて提示する請求項6または7に記載の撮影計画提示装置。
  11. 前記撮影計画提示部は、拡張現実デバイスにより前記構造物の点検個所の撮影画像に前記撮影範囲を重ねて提示する請求項6または7に記載の撮影計画提示装置。
  12. 前記撮影計画提示部は、撮像装置の位置情報または前記撮像装置から前記構造物までの測距情報に基づいて撮影位置へユーザを誘導するユーザ誘導部を備える請求項6または7に記載の撮影計画提示装置。
  13. 前記構造物の点検個所の実サイズを取得する実サイズ取得部と、
    前記構造物の点検個所を撮影した複数の画像をパノラマ合成することでパノラマ画像を作成するパノラマ画像作成部と、
    を備え、
    前記撮影計画更新部は、前記実サイズ取得部の取得した前記構造物の点検個所の実サイズと前記パノラマ画像作成部の作成したパノラマ画像とに基づいて未撮影領域を特定し、特定した前記未撮影領域に対応する撮影計画を再生成する請求項1〜12のいずれか1項に記載の撮影計画提示装置。
  14. 前記構造物の点検個所の全景画像を取得する全景画像取得部と、
    前記構造物の点検個所の一部分を撮影した複数の部分画像を取得する部分画像取得部と、
    を備え、
    前記撮影計画更新部は、前記全景画像と前記複数の部分画像とを照合することで未撮影領域を特定し、特定した前記未撮影領域に対応する撮影計画を再生成する請求項1〜12のいずれか1項に記載の撮影計画提示装置。
  15. 前記構造物の点検個所が実際に撮影された画像の撮影位置、撮影方向、撮影距離、焦点距離およびセンサーサイズのうち少なくとも1つを含む実撮影条件を取得する実撮影条件取得部を備え、
    前記撮影計画更新部は、前記実撮影条件に基づいて未撮影領域を特定し、特定した前記未撮影領域に対応する撮影計画を再生成する請求項1〜12のいずれか1項に記載の撮影計画提示装置。
  16. コンピュータが、
    構造物の損傷検出に必要な撮影条件を取得するステップと、
    前記撮影条件に基づいて前記構造物の点検個所全体の撮影計画を生成するステップと、
    前記撮影計画をユーザに提示するステップと、
    前記構造物の点検個所の実際の撮影結果に基づいて撮影計画を更新し、前記構造物の点検個所の未撮影領域に対応する撮影計画を再生成するステップと、
    前記再生成された撮影計画をユーザに提示するステップと、
    を実行する撮影計画提示方法。
  17. 前記再生成された撮影計画をユーザに提示するステップは、前記再生成された撮影計画に基づいて、次に撮影すべき撮影範囲をユーザに提示するステップを含む請求項16に記載の撮影計画提示方法。
  18. 請求項16又は17に記載の撮影計画提示方法をコンピュータに実行させるための撮影計画提示プログラム。
  19. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項16又は17に記載の撮影計画提示方法をコンピュータに実行させる記録媒体。
JP2020528818A 2018-07-03 2019-06-26 撮影計画提示装置および方法 Active JP6965450B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018126941 2018-07-03
JP2018126941 2018-07-03
PCT/JP2019/025340 WO2020008973A1 (ja) 2018-07-03 2019-06-26 撮影計画提示装置および方法

Publications (2)

Publication Number Publication Date
JPWO2020008973A1 JPWO2020008973A1 (ja) 2021-09-09
JP6965450B2 true JP6965450B2 (ja) 2021-11-10

Family

ID=69059604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528818A Active JP6965450B2 (ja) 2018-07-03 2019-06-26 撮影計画提示装置および方法

Country Status (5)

Country Link
US (2) US11528411B2 (ja)
EP (1) EP3820139B1 (ja)
JP (1) JP6965450B2 (ja)
CN (1) CN112385207B (ja)
WO (1) WO2020008973A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7050824B2 (ja) * 2018-02-02 2022-04-08 富士フイルム株式会社 画像処理装置及び画像処理方法
CN112887619A (zh) * 2021-01-28 2021-06-01 维沃移动通信有限公司 拍摄方法、装置及电子设备
WO2022249864A1 (ja) * 2021-05-24 2022-12-01 富士フイルム株式会社 撮像支援装置、撮像システム、撮像支援方法、及びプログラム
WO2023127313A1 (ja) * 2021-12-28 2023-07-06 富士フイルム株式会社 撮像支援装置、撮像支援方法、及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59158483A (ja) 1983-02-28 1984-09-07 Toshiba Corp 文字読取方法
US7418320B1 (en) * 2005-01-24 2008-08-26 International Business Machines Corporation Navigating a UAV having an on-board digital camera to capture desired geographic area
US20070129626A1 (en) * 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
JP4715913B2 (ja) * 2008-12-17 2011-07-06 ソニー株式会社 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
CN101815171B (zh) * 2009-02-24 2011-11-23 华晶科技股份有限公司 图像撷取装置及其自动指示拍摄位置的方法
JP5268025B2 (ja) 2009-02-27 2013-08-21 株式会社リコー 撮影装置
KR101586071B1 (ko) * 2012-08-29 2016-02-03 한국과학기술연구원 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
KR102246645B1 (ko) * 2013-07-15 2021-04-30 삼성전자주식회사 영상 획득을 위한 장치 및 방법
US9955068B2 (en) * 2013-07-15 2018-04-24 Samsung Electronics Co., Ltd. Apparatus and method for operating a composition of a picture in a portable terminal
CN104243814B (zh) * 2014-07-28 2018-02-02 小米科技有限责任公司 图像中物体布局的分析方法、图像拍摄提示方法及装置
JP2017071972A (ja) 2015-10-08 2017-04-13 株式会社ニコン 点検支援方法および点検支援システム
CN108432227B (zh) * 2016-01-26 2020-09-18 富士胶片株式会社 摄影辅助装置及摄影辅助方法
WO2017155005A1 (en) * 2016-03-09 2017-09-14 Ricoh Company, Ltd. Image processing method, display device, and inspection system
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
JP6120037B1 (ja) * 2016-11-30 2017-04-26 国際航業株式会社 点検装置、及び点検方法
JP6619761B2 (ja) * 2017-03-13 2019-12-11 ヤンマー株式会社 無人飛行撮影装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CN108702444B (zh) * 2017-08-31 2021-07-06 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统

Also Published As

Publication number Publication date
US11895396B2 (en) 2024-02-06
CN112385207A (zh) 2021-02-19
CN112385207B (zh) 2022-04-12
US20210092288A1 (en) 2021-03-25
EP3820139A4 (en) 2021-08-25
US11528411B2 (en) 2022-12-13
EP3820139A1 (en) 2021-05-12
US20230072448A1 (en) 2023-03-09
EP3820139B1 (en) 2023-09-13
WO2020008973A1 (ja) 2020-01-09
JPWO2020008973A1 (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
JP6965450B2 (ja) 撮影計画提示装置および方法
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
US20120230606A1 (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
JP2007164258A (ja) 画像合成処理装置及び方法
JP2009271732A (ja) 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP7030442B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN106998413A (zh) 图像处理设备、摄像设备和图像处理方法
JP6537231B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011166378A5 (ja)
KR20120012201A (ko) 파노라마 사진 촬영 방법
JP2009296561A (ja) 撮像装置及び撮像方法
JP7204449B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2017079400A (ja) 表示システム、情報処理方法及びプログラム
JP2009015583A (ja) 画像処理装置及び画像処理方法
JP6391356B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JP7245757B2 (ja) 建築物側面図作成システム及び建築物側面図作成方法
JP2021022846A (ja) 点検方法、点検システム
JP6672082B2 (ja) 撮像装置、撮像方法およびプログラム
JP2016219980A (ja) 対象物情報表示装置
JP7134601B2 (ja) 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法
JP2005286747A5 (ja)
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
JP6257798B2 (ja) 画像処理装置及び画像処理方法
JP5287430B2 (ja) 画像編集装置、画像編集方法、画像編集プログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20201204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211020

R150 Certificate of patent or registration of utility model

Ref document number: 6965450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150