JPWO2018168406A1 - 撮影制御装置、撮影システム、および撮影制御方法 - Google Patents

撮影制御装置、撮影システム、および撮影制御方法 Download PDF

Info

Publication number
JPWO2018168406A1
JPWO2018168406A1 JP2019505828A JP2019505828A JPWO2018168406A1 JP WO2018168406 A1 JPWO2018168406 A1 JP WO2018168406A1 JP 2019505828 A JP2019505828 A JP 2019505828A JP 2019505828 A JP2019505828 A JP 2019505828A JP WO2018168406 A1 JPWO2018168406 A1 JP WO2018168406A1
Authority
JP
Japan
Prior art keywords
image
shooting
wide
photographing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505828A
Other languages
English (en)
Other versions
JP6716015B2 (ja
Inventor
正志 藏之下
正志 藏之下
與那覇 誠
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018168406A1 publication Critical patent/JPWO2018168406A1/ja
Application granted granted Critical
Publication of JP6716015B2 publication Critical patent/JP6716015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

撮影制御装置は、広角画像取得部401と、撮影情報取得部405と、糊代情報取得部407と、領域情報取得部409と、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出部413と、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御部411と、を備え、制御部411は、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。

Description

本発明は、撮影制御装置、撮影システム、および撮影制御方法に関し、特に撮影対象を複数に分割して撮影して分割画像を取得する場合の撮影制御装置、撮影システム、および撮影制御方法に関する。
従来より、カメラを備えた移動体の移動および撮影を制御することにより、ユーザが所望する撮影画像を移動体に撮影させる技術が提案されている。
例えば特許文献1には、撮影装置が搭載された飛行体へ撮影指示を送信する撮影指示装置が記載されている。特許文献1に記載された撮影指示装置は、ユーザに複数の撮影パターンを提示して選択させ、また地図を表示して地図上で指定された位置を撮影位置として受け付けて、撮影装置が搭載された飛行体への撮影指示を容易な操作で迅速に行うことを目的とした技術である。
特開2001−189888号公報
ここで、撮影画像が損傷(例えば、ひび割れ)の検出検査に使用される場合には、撮影画像の画質が良質であることが要求される。すなわち、高精細な撮影画像を検査に使用することにより、高い品質の検査を実現している。例えば、コンクリート表面の損傷の検出検査を行う場合には、撮影画像によりひび割れ等の損傷箇所を検出する必要があり、撮影画像の画質が良好でないと正確な検出を行えない場合がある。
コンクリート表面の損傷を精度良く検出できる撮影画像を取得する手法の一つとして、撮影対象(検査対象)に対して近接して撮影し撮影画像を取得する方法がある。カメラを備えた移動体に撮影画像を取得させる場合には、移動体を撮影対象に近づけて撮影し、撮影画像を良質なものとする。なお、撮影対象をズーム撮影し撮影画像を取得する方法でも近接撮影と同等の良質の撮影画像を得ることができる。
一方で、近接撮影で撮影画像を取得した場合には、撮影対象が1枚の撮影画像に収まらないことがある。例えば、コンクリート表面の損傷検出検査を行う場合に、近接撮影を行うことにより床版の損傷を精度良く検出することができる撮影画像を取得することができるが、検査単位である格間の全体像は1枚の画像に収まらない。このような場合には、近接撮影した複数枚の撮影画像を取得し、複数の撮影画像を合成することにより、検査対象の全体像が収まった合成画像が生成される。
分割画像(撮影対象を分割撮影して得られた画像)を合成して合成画像を取得する場合には、各撮影画像が重なる領域である糊代が必要である。したがって、分割画像を取得する場合には、糊代を考慮した撮影を行うことが必要となる。すなわち、分割画像を取得する場合に糊代を考慮して分割画像の撮影領域を決定しないと、撮影漏れにより合成画像を上手く生成できないことがある。
引用文献1には、合成画像を構成する分割画像を取得する場合に、糊代を考慮した合成画像の取得については言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、糊代が確保された分割画像を効率良く正確に取得させることができる撮影制御装置、撮影システム、および撮影制御方法を提供することである。
上記目的を達成するための本発明の一の態様である撮影制御装置は、カメラを備える移動体の撮影を制御する撮影制御装置であって、撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得部と、撮影対象の全体像の一部が、移動体のカメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得部と、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得部と、撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得部と、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出部と、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御部と、を備え、制御部は、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。
本態様によれば、取得された撮影情報、糊代情報、および撮影対象領域情報に基づいて、広角画像における、糊代が確保された分割画像の撮影領域が算出され、算出された撮影領域に基づいて移動体に分割画像を撮影させる。これにより本態様は、糊代が確保された分割画像を、移動体に効率良く正確に撮影させることができる。
好ましくは、撮影領域算出部は、合成画像が最小撮影枚数の分割画像により構成される撮影領域を算出する。
本態様によれば、撮影領域算出部により、合成画像が最小撮影枚数の分割画像により構成される撮影領域が算出されるので、移動体に効率的な分割画像の取得を行わせることができる。
好ましくは、糊代情報取得部は、糊代情報として隣り合う分割画像の重なり度合を示す糊代率を取得する。
本態様によれば、糊代情報取得部により、糊代情報として隣り合う分割画像の重なり度合を示す糊代率が取得されるので、糊代が適切に確保された分割画像を移動体に取得させることができる。
好ましくは、撮影制御装置は、分割画像の解像度を取得する解像度取得部を備え、糊代情報取得部は、解像度に応じて糊代情報を調整する。
本態様によれば、解像度取得部により分割画像の解像度が取得され、糊代情報取得部により解像度に応じて糊代情報が調整される。これにより本態様は、分割画像の解像度に応じた糊代を有する分割画像を取得することができ、分割画像の効率的な取得を移動体に行わせることができる。
好ましくは、撮影制御装置は、合成する場合の複数の分割画像の特徴点を検出する特徴点検出部を備え、糊代情報取得部は、特徴点の数に応じて糊代情報を調整する。
本態様によれば、特徴点検出部により、合成する場合の複数の分割画像の特徴点が検出され、糊代情報取得部により、特徴点の数に応じて糊代情報が調整される。これにより本態様は、分割画像の特徴点に応じた糊代を有する分割画像を取得することができ、分割画像の効率的な取得を移動体に行わせることができる。
好ましくは、制御部は、近接画像と撮影領域に対応する画像との対応点を検出することにより、移動体に近接撮影した近接画像を分割画像として取得させる。
本態様によれば、制御部により、近接画像と撮影領域に対応する画像との対応点が検出され、移動体に近接撮影した近接画像を分割画像として取得させる。これにより本態様は、制御部は移動体を撮影領域が撮影可能な位置に正確に移動させることができ、移動体に正確な分割画像を取得させることができる。
好ましくは、制御部は、広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像との対応点を検出することにより、移動体の位置を推定する。
本態様によれば、制御部により、広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像との対応点が検出され、移動体の位置が推定される。これにより本態様は、移動体の位置を正確に推定することができ、移動体に効率良く分割画像の取得をさせることができる。
好ましくは、撮影制御装置は、分割画像を記憶する記憶部を備え、制御部は、分割画像を記憶部に記憶させる。
本態様によれば、分割画像を記憶する記憶部を備え、制御部により、分割画像を記憶部に記憶させる。これにより本態様は、分割画像を記憶させることができ、分割画像が必要な場合に備えることができる。
好ましくは、領域情報取得部は、撮影対象領域情報として撮影対象の図面情報を取得する。
本態様によれば、領域情報取得部により、撮影対象領域情報として撮影対象の図面情報が取得されるので、撮影対象に対して既存の図面がある場合には、その図面を有効に使用することができる。
本発明の他の態様である撮影システムは、上述の撮影制御装置と移動体とで構成される。
本発明の他の態様である撮影制御方法は、カメラを備える移動体の撮影を制御する撮影制御方法であって、撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得ステップと、撮影対象の全体像の一部が、移動体のカメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得ステップと、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得ステップと、撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得ステップと、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出ステップと、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御ステップと、を含み、制御ステップは、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。
本発明によれば、取得された撮影情報、糊代情報、および撮影対象領域情報に基づいて、広角画像における、糊代が確保された分割画像の撮影領域が算出され、算出された撮影領域に基づいて移動体に分割画像を撮影させるので、糊代が確保された分割画像を、移動体に効率良く正確に撮影させることができる。
橋梁の構造を示す斜視図である。 撮影システムを示す概念図である。 移動体の撮影位置を概念的に示した図である。 コンピュータの外観構成を示す斜視図である。 コンピュータの外観構成を示す斜視図である。 コンピュータのシステム構成を示すブロック図である。 撮影制御装置の機能構成例を説明する図である。 糊代に関して説明する図である。 撮影システムの動作を示す動作フロー図である。 広角画像を示す図である。 撮影対象領域情報の概念を示す図である。 撮影領域を示す図である。 分割画像の取得に関して説明する図である。 分割画像を示す図である。 合成画像を示す図である。 撮影制御装置の機能構成例を示す図である。 撮影制御装置の機能構成例を示す図である。
以下、添付図面にしたがって本発明に係る撮影制御装置、撮影システム、および撮影制御方法の好ましい実施の形態について説明する。
本発明の撮影対象に関して説明する。本発明の撮影対象としては、特に限定されるものではないが、例えば構造物または建造物の損傷の検出検査を撮影画像を使用して行う場合に、撮影される対象があげられる。すなわち、撮影対象は撮影画像を使用して行われる検査の検査対象となる。以下の説明では、具体例として橋梁1(図1)の検査を行う場合に、格間単位で検査が行われることにより、格間(格間の床版6)単位の合成画像を取得する場合について説明する。
図1は、撮影対象(検査対象)である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4および横構5は、それぞれ風および地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。
橋梁1の検査を行う場合には、例えば格間ごとに撮影画像を取得して、ひび割れ等の損傷箇所があるか否かを検査する。ここで格間とは、床版6が対向する2つの主桁2および対向する2つの横桁3または対傾構4により区切られた空間のことである。
図2は、本発明の撮影システムを示す概念図である。
撮影システム500は、移動体100とコンピュータ300とで構成されている。
移動体100は、カメラ101を備えおり、コンピュータ300の制御により移動およびカメラ101による撮影を行う。移動体100は、コンピュータ300の制御により移動および撮影を行えるものであれば特に限定されるものではない。例えば移動体100は、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV(Unmanned Aerial Vehicles、無人航空機)と呼ばれる装置があげられる。
コンピュータ300および移動体100は相互に通信可能であり、コンピュータ300は、移動体100の移動の制御およびカメラ101での撮影制御を遠隔で行うことができる。
図3は、移動体100の撮影位置を概念的に示した図である。なお、図3は図2においてX軸方向から床版6を見た概念的な図である。またカメラ101は、図2で示したように移動体100に備えられ、移動体100の移動によって移動させられる。なお、図3では移動体100は省略されている。また床版6上には車輌10が走行し、床版6の下方からの撮影画像を取得して床版6の損傷の検出検査が行われる。
移動体100は、コンピュータ300の制御により各撮影位置に移動させられ、そして広角撮影および近接撮影を行って各画像を取得する。床版6の格間単位で検査が行われる場合には、広角撮影を行うことにより格間の全体像が収まった画像を取得し、近接撮影を行うことにより格間の一部分が写った画像が取得される。
図3に示した位置Aは、カメラ101により撮影対象の全体像が広角撮影された広角画像を取得する位置である。移動体100は、コンピュータ300の移動指令にしたがって、床版6から離れた位置Aにおいて広角画像を取得する。位置Aが有する床版6からの被写体距離は、1枚の撮影画像に一つの格間が収まる程度の距離である。
図3に示した位置Bは、カメラ101により、撮影対象の全体像の一部が、移動体100のカメラ101で近接撮影されることにより取得される近接画像を取得する位置である。移動体100は、コンピュータ300の移動指令にしたがって、床版6に近づいて位置Bまで移動して近接画像を取得する。移動体100は、取得した近接画像を分割画像とし、格間の全体像が収まった分割画像から構成される合成画像を生成できるように、複数の近接画像を取得する。この近接画像(分割画像)の取得を、撮影領域を算出したコンピュータ300から出力される移動指令および撮影指令に基づいて行うことにより、効率的で正確な近接画像の取得を行うことができる。なお、ここで分割画像とは、合成画像を構成する画像であり、近接画像のうち合成に使用されるものをいう。また近接画像は、移動体100により近接撮影された画像であり、近接画像の一部または全部が分割画像となる。
次に、本発明の撮影制御装置を備えるコンピュータ300に関して説明する。
図4および図5はコンピュータ300の外観構成を示す斜視図であり、図4は正面斜視図、図5は背面斜視図である。
コンピュータ300は、図4および図5に示すように、タブレット型のコンピュータで構成される。コンピュータ300は、矩形の輪郭を有する平板状の筐体301を備え、その筐体301に表示部326(図6)と入力部328(図6)とを兼ねたタッチパネルディスプレイ302、操作ボタン303、スピーカー304、内蔵カメラ305、外部接続端子306等を備えて構成される。
図6は、コンピュータ300のシステム構成を示すブロック図である。
図6に示すように、コンピュータ300は、コンピュータ300の全体の動作を制御するCPU(Central Processing Unit)310を備え、このCPU310にシステムバス312を介して、メインメモリ314、不揮発性メモリ316、モバイル通信部318、無線LAN通信部320、近距離無線通信部322、有線通信部324、表示部326、入力部328、キー入力部330、音声処理部332、画像処理部334等が接続されて構成される。
CPU310は、不揮発性メモリ316に記憶された動作プログラム(OS(Operating System)、および、そのOS上で動作するアプリケーションプログラム)、および、定型データ等を読み出し、メインメモリ314に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
メインメモリ314は、たとえば、RAM(Random Access Memory)で構成され、CPU310のワークメモリとして機能する。
不揮発性メモリ316は、たとえば、フラッシュEEPROM(EEPROM:Electrically Erasable Programmable Read Only Memory)で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ316は、コンピュータ300の記憶部として機能し、各種データを記憶する。
モバイル通信部318は、IMT−2000規格(International Mobile Telecommunication-2000)に準拠した第3世代移動通信システム、および、IMT−Advance規格(International Mobile Telecommunications-Advanced)に準拠した第4世代移動通信システムに基づき、アンテナ318Aを介して、最寄りの図示しない基地局との間でデータの送受を実行する。
無線LAN通信部320は、アンテナ320Aを介して、無線LANアクセスポイントや無線LAN通信が可能な外部機器との間で所定の無線LAN通信規格(たとえば、例えばIEEE802.11a/b/g/n規格)に従った無線LAN通信を行う。
近距離無線通信部322は、アンテナ322Aを介して、たとえばクラス2(半径約10m内)の範囲内にある他のBluetooth(登録商標)規格の機器とデータの送受を実行する。
有線通信部324は、外部接続端子306を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、USB通信を行う。
表示部326は、タッチパネルディスプレイ302のディスプレイ部分を構成するカラーLCD(liquid crystal display)パネルと、その駆動回路と、で構成され、各種画像を表示する。
入力部328は、タッチパネルディスプレイ302のタッチパネル部分を構成する。入力部328は、透明電極を用いてカラーLCDパネルと一体的に構成される。
キー入力部330は、コンピュータ300の筐体301に備えられた複数の操作ボタン303と、その駆動回路と、で構成される。
音声処理部332は、システムバス312を介して与えられるデジタル音声データをアナログ化してスピーカー304から出力する。
画像処理部334は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ305から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
次に、コンピュータ300に備えられる撮影制御装置に関して説明する。
図7はコンピュータ300に備えられる撮影制御装置の機能構成例を説明する図である。
撮影制御装置の各機能は、例えばコンピュータ300のCPU310で実現される。撮影制御装置の機能は、主に画像取得部417、パラメータ取得部419、およびコントローラ部421、および記憶部415から構成されている。
画像取得部417は、広角画像取得部401および近接画像取得部403で構成されている。また画像取得部417は、例えばコンピュータ300のモバイル通信部318、無線LAN通信部320、または近距離無線通信部322で実現される。
広角画像取得部401は、被写体距離の長い、撮影対象の全体像が広角撮影された広角画像を取得する。具体例として広角画像取得部401は、一つの格間の全体像がカメラ101の画角内に収まった画像を広角画像として取得する。
近接画像取得部403は、被写体距離の短い、撮影対象の全体像の一部が近接撮影された近接画像を取得する。具体例として近接画像取得部403は、一つの格間の一部分の床版6を近接撮影した画像を近接画像として取得する。
なお、画像取得部417は、静止画および動画の取得を行うことができ、動画に関してはライブビュー画像も含まれる。
次にパラメータ取得部419に関して説明する。
パラメータ取得部419は、撮影情報取得部405、糊代情報取得部407、および領域情報取得部409から構成されている。パラメータ取得部419は、例えばコンピュータ300のCPU310で実現される。
撮影情報取得部405は、分割画像の撮影に関する情報を取得する。すなわち、撮影情報取得部405は、撮影対象の全体像の一部が、移動体100のカメラ101で近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する。例えば撮影情報取得部405は、一つの格間(撮影対象)を何分割して撮影するかの情報、またはカメラ101が近接撮影する場合の画角の大きさの情報を取得する。
糊代情報取得部407は、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する。例えば糊代情報取得部407は、糊代情報として隣り合う分割画像の重なり度合を示す糊代率を取得する。すなわち、糊代情報取得部407は、分割画像の全体の面積に対して、隣接する画像と重なる領域の面積の割合を糊代率として取得してもよい。
ここで糊代に関して説明する。図8は、分割画像を合成して合成画像を生成する場合の糊代に関して説明する図である。
図8に示した場合では、分割画像402Aと分割画像402Bと合成して合成画像404を生成する場合が示されている。なお、分割画像が3枚以上ある場合には、図8に示す合成が繰り返して行われる。ここで合成は、カメラのパン方向またはチルト方向に画像を合成する場合、およびカメラのパン方向およびチルト方向に画像を合成する場合も含む。
分割画像402Aと分割画像402Bとを合成する場合には、分割画像402Aと分割画像402Bとは一定の重なる領域において合成が行われる。この重なる領域を糊代としており、糊代の大きさは様々な条件により変わる。例えば、糊代は一定の画質を有する合成画像を生成するために、分割画像の画質および分割画像間の対応点の数によって変わるものである。また、分割画像を取得する場合には糊代の分を見積もって分割画像を取得させることが必要であり、糊代を見積もって分割画像を取得しないと撮影漏れの原因となる。
分割画像402Aは糊代C1を有しており、分割画像402Bは糊代C2を有している。この糊代C1およびC2が糊代C3部分で重なるように合成が行われて合成画像404が合成される。
領域情報取得部409は、撮影対象の全体像の領域に関する撮影対象領域情報を取得する。すなわち領域情報取得部409は、広角画像における撮影対象の領域を示す情報を撮影対象領域情報として取得する。具体的には領域情報取得部409は、撮影対象が格間の床版6である場合には、広角画像における格間の領域を示す情報を取得する。領域情報取得部409が取得する撮影対象領域情報の具体例としては、撮影対象の図面情報(CAD情報)があげられる。
次に、コントローラ部421に関して説明する。コントローラ部421は、制御部411、撮影領域算出部413から構成されている。コントローラ部421は、例えばコンピュータ300のCPU310で実現される。
撮影領域算出部413は、撮影情報、糊代情報、および撮影対象領域情報に基づいて、全体像の画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する。すなわち撮影領域算出部413は、取得すべき分割画像に対応する撮影領域を算出し、移動体100は撮影領域に基づいて分割画像を取得する。例えば撮影領域算出部413は、全体像の画像が最小枚数の分割画像により構成される撮影領域を算出する。
制御部411は、移動体100を移動させ、算出した各撮影領域をカメラ101により近接撮影させ、撮影した近接画像を分割画像として取得する。例えば制御部411は、近接画像と撮影領域に対応する画像との対応点を検出することにより、移動体100に近接撮影した近接画像を分割画像として取得させる。すなわち制御部411は、近接画像の特徴点を抽出し、広角画像の撮影領域に対応する画像の特徴点を抽出し、各画像の特徴点を比較し対応点検出を行う。対応点の比較は、公知の手法が使用される。例えば、対応点の比較の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。
また制御部411は、取得した広角画像の各撮影領域に対応する画像とカメラ101により近接撮影される画像とを対比し、カメラ101に各撮影領域を近接撮影させる移動体100の位置を制御する。具体的に制御部411は、広角画像の各撮影領域に対応する画像とカメラ101により近接撮影される画像との対応点を検出することにより、移動体100の位置を推定する。対応点の比較は公知の手法が使用され、例えば対応点の比較の手法として上述した手法が使用される。
記憶部415は、画像を記憶し、具体的には広角画像および近接画像を記憶する。また、記憶部415は、近接画像のうちで分割画像も記憶し、分割画像を合成して生成された合成画像も記憶する。制御部411は記憶部415に各画像を記憶させる。なお、記憶部は、例えばコンピュータ300のメインメモリ314で実現される。
次にコンピュータ300に備えられる撮影制御装置と移動体100とから構成される撮影システム500の動作を説明する。
図9は、撮影システム500の動作を示す動作フロー図であり、撮影制御方法の工程を示す。
先ず撮影制御装置は、移動体100に対して移動指令および撮影指令を出力する(ステップS10)。撮影制御装置から出力された移動指令および撮影指令を受信した移動体100は、移動指令に基づいて移動をし、そして撮影対象である格間の床版6を撮影する(ステップS30)。例えば移動体100は、図10に示すように格間431の全体像が写っている広角画像432を取得する。
次に移動体100は、広角画像を撮影制御装置に送信し(ステップS31)、撮影制御装置は広角画像を取得する(ステップS11:広角画像取得ステップ)。
撮影制御装置は、入力部328を介してユーザから入力される撮影情報を撮影情報取得部405により取得し(ステップS12:撮影情報取得ステップ)、入力部328を介してユーザから入力される糊代情報を糊代情報取得部407により取得し(ステップS13:糊代情報取得ステップ)、入力部328を介してユーザから入力される領域情報を領域情報取得部409により取得する(ステップS14:領域情報取得ステップ)。
図11は、撮影対象領域情報の概念を示す図である。図11に示された撮影対象領域情報は、図10に示した広角画像における格間431を撮影対象領域433として、示している。
次に、撮影制御装置の撮影領域算出部413は、取得した各情報に基づいて撮影領域を算出する(ステップS15:撮影領域算出ステップ)。
図12は、撮影領域算出部413で算出された撮影領域を示す図である。図12は、撮影領域算出部413により算出された撮影領域435が広角画像432に重畳されて示されており、格間431を5×2の10個の撮影領域435で分割撮影するように示されている。また図12に示すように、算出された各撮影領域は、取得した糊代情報に基づいて、各分割画像が重なる領域(糊代)を有する。
移動体100は、撮影対象を近接撮影し(ステップS32)、撮影制御装置に逐次近接撮影した画像を送信しながら移動する(ステップS33)。そして撮影制御装置は、移動体100から送られてきた近接画像を取得し(ステップS16)、例えば撮影制御装置の表示部326に表示させる。
その後撮影制御装置の制御部411は、広角画像と近接画像とを対比して(ステップS17)、移動体100を移動させて撮影を行わせる。具体的には制御部411は、移動体100が取得する近接画像の特徴点と広角画像の撮影領域の特徴点とを対比して対応点を探索し、移動体100が撮影領域に対応する近接画像を取得できる撮影位置にいると判断した場合には、移動体100に対して撮影指令を出力する(ステップS18)。指令を受信した移動体100は、撮影対象の近接画像を取得する(ステップS34)。
図13は、撮影領域435−1に対応する分割画像の取得に関して説明する図である。図13のA部分には、移動体100が取得した近接画像437が示されており、図13のB部分には、広角画像に撮影領域435−1が示されている。制御部411は、近接画像437を取得し、近接画像437と広角画像の撮影領域435−1との対応点検出を行い、対応点を検出し移動体100が撮影領域435−1に対応する分割画像を取得することができる場合に、撮影指令を移動体100に出力する。
撮影制御装置および移動体100は、算出された撮影領域の全てに対応する近接画像を取得するまでステップS32、ステップS33、ステップS34、ステップS35、ステップS16、ステップS17、ステップS18、およびステップS19を繰りかえす。またステップS16、ステップS17、ステップS18、およびステップS19は制御ステップに対応する。
図14は、移動体100が取得した、合成画像を合成するための分割画像439を示す図である。図14に示す場合では、5×2の撮影領域に応じた分割画像が取得されており、各分割画像は糊代情報に応じた糊代を有している。撮影制御装置の制御部411は、取得した分割画像を記憶部415に記憶させる(ステップS20)。
その後、分割画像を合成して合成画像を生成する(ステップS21)。分割画像の合成は、例えばコンピュータ300のCPU310により行われる。
図15は、分割画像439を合成して生成される合成画像441を示す図である。合成画像441は、近接画像(分割画像439)で構成されているので、床版6の損傷の検出を画像処理で行うに十分な画質を有している。
上記実施形態において、(例えば、画像処理部、輪郭強調部、色補正部、特徴抽出部)といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
[変形例1]
次に変形例1に関して説明する。
図16は、変形例1の撮影制御装置の機能構成例を示す図である。なお、図7で既に説明を行った箇所は同じ符号を付し説明は省略する。
本例の撮影制御装置は、解像度取得部423をコントローラ部421に備える。
解像度取得部423は分割画像の解像度を取得し、糊代情報取得部407は、解像度に応じて糊代情報を調整する。具体的には、糊代情報取得部407は、解像度取得部423が取得した分割画像の解像度が閾値以上の場合には、糊代の領域を小さくするように糊代情報を調整する。また糊代情報取得部407は、分割画像の解像度が閾値未満の場合には、糊代の領域を大きくするように糊代情報を調整してもよい。なお、閾値はユーザが適宜決定することができ、カメラ101の性能や実施される検査の品質によって決定されてもよい。また、解像度として例えばdpi(dots per inch)により計算される。
糊代情報取得部407において糊代情報が調整された場合には、撮影領域算出部413は調整された糊代情報に基づいて撮影領域を再算出する。
[変形例2]
次に変形例2に関して説明する。
図17は、変形例2の撮影制御装置の機能構成例を示す図である。なお、図7で既に説明を行った箇所は同じ符号を付し説明は省略する。
本例の撮影制御装置は、特徴点検出部425をコントローラ部421に備える。
特徴点検出部425は、合成する場合の複数の分割画像の特徴点を検出し、糊代情報取得部407は、特徴点の数に応じて糊代情報を調整する。具体的には、糊代情報取得部407は、特徴点検出部425が分割画像の特徴点の数を閾値以上検出できた場合には、糊代の領域を小さくするように糊代情報を調整する。また、糊代情報取得部407は、検出できた分割画像の特徴点の数が閾値以下の場合には、糊代の領域を大きくするように糊代情報を調整してもよい。なお、閾値はユーザが適宜決定することができ、カメラ101の性能や実施される検査の品質によって決定されてもよい。
糊代情報取得部407において糊代情報が調整された場合には、撮影領域算出部413は調整された糊代情報に基づいて撮影領域を再算出する。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 車輌
100 移動体
101 カメラ
300 コンピュータ
301 筐体
302 タッチパネルディスプレイ
303 操作ボタン
304 スピーカー
305 内蔵カメラ
306 外部接続端子
310 CPU
312 システムバス
314 メインメモリ
316 不揮発性メモリ
318 モバイル通信部
318A アンテナ
320 無線LAN通信部
320A アンテナ
322 近距離無線通信部
322A アンテナ
324 有線通信部
326 表示部
328 入力部
330 キー入力部
332 音声処理部
334 画像処理部
401 広角画像取得部
403 近接画像取得部
405 撮影情報取得部
407 糊代情報取得部
409 領域情報取得部
411 制御部
413 撮影領域算出部
415 記憶部
417 画像取得部
419 パラメータ取得部
421 コントローラ部
423 解像度取得部
425 特徴点検出部
500 撮影システム
S10−S21 撮影制御工程
S30−S35 移動体の制御工程

Claims (11)

  1. カメラを備える移動体の撮影を制御する撮影制御装置であって、
    撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得部と、
    前記撮影対象の全体像の一部が、前記移動体の前記カメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得部と、
    前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得部と、
    前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得部と、
    前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出部と、
    前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより近接撮影させ、撮影した近接画像を前記分割画像として取得する制御部と、を備え、
    前記制御部は、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像とを対比し、前記カメラに各前記撮影領域を近接撮影させる前記移動体の位置を制御する撮影制御装置。
  2. 前記撮影領域算出部は、前記合成画像が最小撮影枚数の前記分割画像により構成される前記撮影領域を算出する請求項1に記載の撮影制御装置。
  3. 前記糊代情報取得部は、前記糊代情報として隣り合う前記分割画像の重なり度合を示す糊代率を取得する請求項1または2に記載の撮影制御装置。
  4. 前記分割画像の解像度を取得する解像度取得部を備え、
    前記糊代情報取得部は、前記解像度に応じて前記糊代情報を調整する請求項1から3のいずれか1項に記載の撮影制御装置。
  5. 前記合成する場合の前記複数の分割画像の特徴点を検出する特徴点検出部を備え、
    前記糊代情報取得部は、前記特徴点の数に応じて前記糊代情報を調整する請求項1から4のいずれか1項に記載の撮影制御装置。
  6. 前記制御部は、前記近接画像と前記撮影領域に対応する画像との対応点を検出することにより、前記移動体に近接撮影した前記近接画像を前記分割画像として取得させる請求項1から5のいずれか1項に記載の撮影制御装置。
  7. 前記制御部は、前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像との対応点を検出することにより、前記移動体の位置を推定する請求項1から6のいずれか1項に記載の撮影制御装置。
  8. 前記分割画像を記憶する記憶部を備え、
    前記制御部は、前記分割画像を前記記憶部に記憶させる請求項1から7のいずれか1項に記載の撮影制御装置。
  9. 前記領域情報取得部は、前記撮影対象領域情報として前記撮影対象の図面情報を取得する請求項1から8のいずれか1項に記載の撮影制御装置。
  10. 請求項1から9のいずれか1項に記載の撮影制御装置と前記移動体とで構成される撮影システム。
  11. カメラを備える移動体の撮影を制御する撮影制御方法であって、
    撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得ステップと、
    前記撮影対象の全体像の一部が、前記移動体の前記カメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得ステップと、
    前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得ステップと、
    前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得ステップと、
    前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出ステップと、
    前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより近接撮影させ、撮影した近接画像を前記分割画像として取得する制御ステップと、を含み、
    前記制御ステップは、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像とを対比し、前記カメラに各前記撮影領域を近接撮影させる前記移動体の位置を制御する撮影制御方法。
JP2019505828A 2017-03-16 2018-02-23 撮影制御装置、撮影システム、および撮影制御方法 Active JP6716015B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017051521 2017-03-16
JP2017051521 2017-03-16
PCT/JP2018/006773 WO2018168406A1 (ja) 2017-03-16 2018-02-23 撮影制御装置、撮影システム、および撮影制御方法

Publications (2)

Publication Number Publication Date
JPWO2018168406A1 true JPWO2018168406A1 (ja) 2020-05-14
JP6716015B2 JP6716015B2 (ja) 2020-07-01

Family

ID=63523301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505828A Active JP6716015B2 (ja) 2017-03-16 2018-02-23 撮影制御装置、撮影システム、および撮影制御方法

Country Status (3)

Country Link
US (1) US10951821B2 (ja)
JP (1) JP6716015B2 (ja)
WO (1) WO2018168406A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157738B2 (en) * 2018-11-30 2021-10-26 Cloudminds Robotics Co., Ltd. Audio-visual perception system and apparatus and robot system
JP7477956B2 (ja) * 2019-01-11 2024-05-02 キヤノン株式会社 画像処理装置およびその制御方法、情報処理システム
JP7412983B2 (ja) * 2019-02-04 2024-01-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020218323A1 (ja) * 2019-04-23 2020-10-29 国立研究開発法人農業・食品産業技術総合研究機構 植物体撮像装置、及び植物体撮像方法
JP7263983B2 (ja) 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010114599A (ja) * 2008-11-05 2010-05-20 Nikon Corp デジタルカメラ
US20120050525A1 (en) * 2010-08-25 2012-03-01 Lakeside Labs Gmbh Apparatus and method for generating an overview image of a plurality of images using a reference plane
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3527160B2 (ja) 1999-12-28 2004-05-17 株式会社エヌ・ティ・ティ・データ 撮影指示システム、撮影指示方法及び記録媒体
US7388693B2 (en) * 2003-02-28 2008-06-17 Lexmark International, Inc. System and methods for multiple imaging element scanning and copying
GB201407267D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
EP3353614A1 (en) * 2015-09-22 2018-08-01 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
US20170221241A1 (en) * 2016-01-28 2017-08-03 8681384 Canada Inc. System, method and apparatus for generating building maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010114599A (ja) * 2008-11-05 2010-05-20 Nikon Corp デジタルカメラ
US20120050525A1 (en) * 2010-08-25 2012-03-01 Lakeside Labs Gmbh Apparatus and method for generating an overview image of a plurality of images using a reference plane
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US10951821B2 (en) 2021-03-16
JP6716015B2 (ja) 2020-07-01
US20190379829A1 (en) 2019-12-12
WO2018168406A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6716015B2 (ja) 撮影制御装置、撮影システム、および撮影制御方法
US11175569B2 (en) Gimbal control
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
US11042997B2 (en) Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same
EP3627819B1 (en) Image generation device, image generation system, image generation method, and image generation program
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
US10362231B2 (en) Head down warning system
CN114765667A (zh) 用于多视图拼接的固定图案校准
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
US11711612B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
CN115336250A (zh) 摄影指示方法、摄影方法、摄影指示装置及摄影装置
JP7371076B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP6712358B2 (ja) 画像処理装置、カメラ装置、および画像処理方法
JP2018004554A (ja) 対象物の特徴点の三次元座標を算出するための装置及び方法
US20220276387A1 (en) Image processing method, image processing apparatus, and image processing program
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP6779368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2021128314A1 (zh) 一种图像处理方法、设备、图像处理系统及存储介质
WO2023042604A1 (ja) 寸法計測装置、寸法計測方法及びプログラム
WO2019187436A1 (ja) 撮影装置、撮影制御装置、撮影システム、撮影装置の制御方法、撮影プログラム及び記録媒体
JP2022093913A (ja) 撮像制御装置、撮像制御方法およびプログラム
JP2022175854A (ja) 情報処理装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200609

R150 Certificate of patent or registration of utility model

Ref document number: 6716015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250