JPWO2017002511A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JPWO2017002511A1
JPWO2017002511A1 JP2017526228A JP2017526228A JPWO2017002511A1 JP WO2017002511 A1 JPWO2017002511 A1 JP WO2017002511A1 JP 2017526228 A JP2017526228 A JP 2017526228A JP 2017526228 A JP2017526228 A JP 2017526228A JP WO2017002511 A1 JPWO2017002511 A1 JP WO2017002511A1
Authority
JP
Japan
Prior art keywords
imaging
unit
angle
pan
inspection object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017526228A
Other languages
English (en)
Other versions
JP6284688B2 (ja
Inventor
渡辺　幹夫
幹夫 渡辺
史憲 入江
史憲 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6284688B2 publication Critical patent/JP6284688B2/ja
Publication of JPWO2017002511A1 publication Critical patent/JPWO2017002511A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本発明は、撮像装置の姿勢が不明であっても撮像装置の撮像方向と検査対象物の平面の法線方向とのなす角度を算出することができ、検査対象物に対する撮像装置の撮像方向を適正に制御可能な撮像装置及び撮像方法を提供する。本発明の態様では、第１の撮像部（２０２Ａ）及び第２の撮像部（２０２Ｂ）を有する撮像ユニット（２０２）により視差をもつ第１の画像及び第２の画像を取得し、取得した第１の画像及び第２の画像に基づいて撮像ユニット（２０２）の撮像方向と平面を有する検査対象物の平面の法線方向とのなす角度を算出する。撮像ユニット（２０２）はパンチルト制御部（２１０）によりパンチルトが制御されるが、算出された角度が許容角度範囲内の角度に制御されたときに、撮像ユニットにより検査対象物を示す検査用画像の撮像を行わせ、検査用画像を取得する。

Description

本発明は撮像装置及び撮像方法に係り、特に橋梁等の検査対象物の点検やセンシング等を行う撮像装置及び撮像方法に関する。
従来、平面を有する壁面（検査対象物）を撮像し、撮像した画像から壁面に生じたクラックの幅を計測するクラック幅計測システムが提案されている（特許文献１）。
特許文献１に記載のクラック幅計測システムは、カメラを備えた床下点検ロボット（移動体）と、床下点検ロボットを遠隔操作するロボット操作装置とから構成され、床下点検ロボットは、ロボット操作装置からの指令により床下の床面上を走行可能であり、カメラは、床下点検ロボットに対してパン方向及びチルト方向に回動可能になっている。
また、特許文献１には、カメラが壁面のクラックを捕捉したときに、カメラの光軸が、壁面に対して許容角度範囲内に入るように床下点検ロボットの車体を移動制御する記載がある。この場合、壁面とカメラの光軸とのパン角度は、壁面と床下点検ロボットの車体方向との角度を、車体に配設された左右一対の距離センサにより測定した壁面までの距離に基づいて算出し、この算出した角度と車体に対するカメラのパン角度とに基づいて算出している（特許文献１の図２２参照）。
更に、特許文献１に記載のクラック幅計測システムは、撮像した画像からクラック幅を測定できるように、撮像された画像にクラックスケール画像を合成する技術が記載されている。
特開２００９−８５７８５号公報
特許文献１に記載の床下点検ロボットは、前述したように壁面に対する床下点検ロボットの車体方向の角度と、車体に対するカメラのパン角度とに基づいて壁面とカメラの光軸とのパン角度を算出し、算出したパン角度と車体に対するカメラのチルト角度とに基づいてカメラの光軸と壁面との角度を算出しているが、このカメラの光軸と壁面と角度の算出は、床下点検ロボットが走行する床面と壁面とが直交していることが前提になっている。即ち、床下点検ロボットが走行する床面（走行面）と壁面（検査対象物）とが直交していない場合には、検査対象物とカメラの光軸との角度を算出することができない。
また、カメラの光軸と検査対象物とのなす角度が、許容角度範囲内に収まるように床下点検ロボットを移動制御するが、特許文献１には、床下点検ロボットを移動させてもチルト方向の誤差（カメラの光軸と検査対象物との角度の誤差）については、対応することができないが、壁面のクラックは垂直方向に沿って生じることが一般的であり、大きな支障はない旨の記載がある。
更に、特許文献１に記載の発明は、カメラの光軸と検査対象物とのなすパン角度を算出するために、車体に配設された左右一対の距離センサにより測定した壁面までの距離に基づいて壁面と床下点検ロボットの車体方向との角度を算出する必要があり、左右一対の距離センサを必要としている。
本発明はこのような事情に鑑みてなされたもので、撮像装置の姿勢が不明であっても撮像装置の撮像方向と検査対象物の平面の法線方向とのなす角度を算出することができ、これにより検査対象物に対する撮像装置の撮像方向を適正に制御することができる撮像装置及び撮像方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様は、平面を有する検査対象物を撮像する撮像装置において、視差をもつ複数の画像を撮像する複数の撮像部からなる撮像ユニットと、撮像ユニットをパン方向及びチルト方向にそれぞれ回転させるパンチルト機構と、撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出する角度算出部と、パンチルト機構を制御し、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を、許容角度範囲内の角度にするパンチルト制御部と、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が、許容角度範囲内の角度のときに、撮像ユニットの少なくとも１つの撮像部により検査対象物を示す検査用画像の撮像を行わせ、検査用画像を取得する撮像制御部と、を備える。
本発明の一の態様によれば、撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出するため、特別な距離センサが不要であり、かつ撮像ユニットの姿勢が不明であっても撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出することができる。そして、上記のようにして算出された角度により検査対象物に対する撮像ユニットの撮像方向を適正に制御すること（即ち、算出された角度が許容角度範囲内の角度に入るようにパンチルト機構を制御すること）ができ、これにより所要の解像度を有する検査用画像を撮像することができる。
本発明の更に態様に係る撮像装置において、角度算出部は、複数の画像から同一直線上にない３点以上の対応点を検出する対応点検出部と、対応点検出部により検出した３点以上の対応点の空間座標を算出する空間座標算出部とを有し、算出した３点以上の対応点の空間座標から検査対象物の平面を推定し、推定した平面の法線方向に基づいて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出する。
本発明の他の態様によれば、複数の画像から同一直線上にない３点以上の対応点を検出し、検出した３点以上の対応点の空間座標を算出する。ここで、空間座標は、撮像時の撮像ユニットを基準にした座標系の座標値であり、撮像ユニットを基準にした座標系において、検査対象物の平面上の３点以上の空間座標を算出する。３点以上の空間座標から検査対象物の平面を推定することができ、推定した平面の法線方向（即ち、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度）を算出することができる。
本発明の更に他の態様に係る撮像装置において、許容角度範囲は、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が、許容角度範囲内の最大の角度のときに、撮像ユニットから最も遠くなる画角の端部における検査用画像の解像度が、検査対象物の検査精度に要求される最低限の解像度が得られる角度範囲であることが好ましい。これにより、撮像された検査用画像は、検査対象物の検査精度に要求される最低限の解像度を有することになる。
本発明の更に他の態様に係る撮像装置において、撮像ユニットは、撮像倍率が調整可能な撮像光学系を有し、許容角度範囲は、撮像光学系の撮像倍率に応じて設定されることが好ましい。撮像光学系の撮像倍率が高いほど、空間分解能が高くなるからである。
本発明の更に他の態様に係る撮像装置において、撮像ユニットの少なくとも１つの撮像部により撮像されたライブビュー画像を表示するライブビュー画像表示部と、パンチルト機構に対するパンチルト指令を手動操作により出力するパンチルト操作部と、角度算出部により算出された角度が許容角度範囲を越えるか否かを判別する判別部と、を備え、パンチルト制御部は、パンチルト操作部からのパンチルト指令に基づいてパンチルト機構を制御し、判別部により角度算出部により算出された角度が、許容角度範囲を越えると判別されると、パンチルト機構を停止させることが好ましい。
本発明の更に他の態様によれば、ライブビュー画像を見ながらパンチルト機構を手動操作し、検査対象物の所望の撮像範囲を撮像する際に、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が許容角度範囲を越えると判別されると、パンチルト機構を停止させるようにしたため、許容角度範囲を越えてパンチルト機構が手動操作されないようにすることができる。
本発明の更に他の態様に係る撮像装置において、撮像ユニットの少なくとも１つの撮像部により撮像されたライブビュー画像を表示するライブビュー画像表示部と、パンチルト機構に対するパンチルト指令を手動操作により出力するパンチルト操作部と、角度算出部により算出された角度が許容角度範囲を越えるか否かを判別する判別部と、判別部により角度算出部により算出された角度が許容角度範囲を越えると判別されると、警告を報知する報知部と、を備え、パンチルト制御部は、パンチルト操作部からのパンチルト指令に基づいてパンチルト機構を制御することが好ましい。
本発明の更に他の態様によれば、ライブビュー画像を見ながらパンチルト機構を手動操作し、検査対象物の所望の撮像範囲を撮像する際に、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が許容角度範囲を越えると判別されると、警告を報知するようにしたため、許容角度範囲を越えてパンチルト機構が手動操作されないようにすることができる。
本発明の更に他の態様に係る撮像装置において、パンチルト制御部は、角度算出部により算出された角度に基づいてパンチルト機構を自動制御し、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を０°にすることが好ましい。これにより、撮像ユニットにより検査対象物を撮像する際に、自動的に撮像ユニットを検査対象物に正対させることができる。
本発明の更に他の態様に係る撮像装置において、撮像装置を搭載し、検体対象物の平面に沿って撮像装置を移動させる移動体と、移動体に対する移動指令を手動操作により出力する移動体操作部と、移動体操作部からの移動指令に基づいて移動体を移動させる移動体制御部と、を備えることが好ましい。
本発明の更に他の態様によれば、撮像装置を搭載した移動体を、検体対象物の平面に沿って移動させることができるため、検査対象物の所望の撮像範囲を撮像する際にパンチルト機構の制御では撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を許容角度範囲に入れることができない場合でも、移動体を移動させることにより許容角度範囲に入れることが可能になる。
本発明の更に他の態様に係る撮像装置において、撮像制御部により取得された検査用画像と、検査用画像の撮像時の撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度とを関連付けて記録する画像記録部を備えることが好ましい。
本発明の更に他の態様に係る撮像装置において、撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて、撮像ユニットの撮像方向における検査対象物と撮像ユニットとの距離を算出する距離算出部と、撮像制御部により取得された検査用画像と、検査用画像の撮像時の撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度と、距離算出部により算出された距離とを関連付けて記録する画像記録部と、を備えることが好ましい。検査用画像に関連付けて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度と距離とを記録することにより、検査用画像から検査対象物の注目部位（例えば、クラック等）の実際の大きさを把握することができる。
本発明の更に他の態様に係る撮像装置において、撮像ユニットは、撮像倍率が調整可能な撮像光学系を有し、画像記録部は、検査用画像と、検査用画像の撮像時の撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度と、距離算出部により算出された距離と、撮像光学系の撮像倍率とを関連付けて記録することが好ましい。検査用画像に関連付けて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度と距離と撮像光学系の撮像倍率とを記録することにより、検査用画像から検査対象物の注目部位の実際の大きさを把握することができる。
本発明の更に他の態様に係る撮像装置において、角度算出部は、検査用画像の撮像時に取得した撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出することが好ましい。これによれば、パンチルト機構のパン角度やチルト角を検出する角度検出器を省略することができ、かつ検査用画像の撮像時における撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を、角度検出器の検出精度に依存せずに精度よく検出することが可能になる。
本発明の更に他の態様は、平面を有する検査対象物を撮像する撮像方法において、複数の撮像部からなる撮像ユニットにより視差をもつ複数の画像を撮像するステップと、角度算出部により撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出するステップと、撮像ユニットをパン方向及びチルト方向にそれぞれ回転させるパンチルト機構を制御し、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を、許容角度範囲内の角度にするステップと、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が、許容角度範囲内の角度のときに、撮像ユニットの少なくとも１つの撮像部により検査対象物を示す検査用画像の撮像を行わせ、検査用画像を取得するステップと、を含む。
本発明の更に他の態様に係る撮像方法において、角度を算出するステップは、複数の画像から同一直線上にない３点以上の対応点を検出するステップと、検出した３点以上の対応点の空間座標を算出するステップと、を含み、算出した３点以上の対応点の空間座標から検査対象物の平面を推定し、推定した平面の法線方向に基づいて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出する。
本発明の更に他の態様に係る撮像方法において、許容角度範囲は、撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度が、許容角度範囲内の最大の角度のときに、撮像ユニットから最も遠くなる画角の端部における検査用画像の解像度が、検査対象物の検査精度に要求される最低限の解像度が得られる角度範囲であることが好ましい。
本発明によれば、撮像ユニットにより撮像された検査対象物を示す複数の画像に基づいて撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出するため、撮像ユニットの姿勢が不明であっても撮像ユニットの撮像方向と検査対象物の平面の法線方向とのなす角度を算出することができ、これにより検査対象物に対する撮像ユニットの撮像方向を適正に制御することができる。
図１は、下面側から見た橋梁の外観図である。 図２は、本発明に係る撮像装置を含む移動式撮像装置の外観を示す斜視図である。 図３は、図２に示した移動式撮像装置の要部断面図である。 図４は、撮像ユニット及びパンチルト機構の外観斜視図である。 図５は、本発明に係る撮像装置を含む移動式撮像装置の実施の形態を示すブロック図である。 図６は、移動式撮像装置により検査対象物の裏面を撮像する様子を示す図である。 図７は、図５に示した角度算出部の構成を示す機能ブロック図である。 図８は、本発明に係る撮像方法の第１の実施形態を示すフローチャートである。 図９は、第１の実施形態の撮像方法を模式的に示した概略図である。 図１０は、本発明に係る撮像方法の第２の実施形態を示すフローチャートである。 図１１は、本発明に係る撮像方法の第３の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係る撮像装置及び撮像装置の移動制御方法の実施形態について説明する。
［橋梁の構造］
図１は、本発明に係る撮像装置により撮像が行われる検査対象物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベット又は溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
主桁２は、橋台や橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風や地震等の横荷重に抵抗するため、主桁２を相互に連結する部材である。また、本例の橋梁１の下部には、配管７が敷設されている。
上記の橋梁１の場合、平面を有する検査対象物は床版６であり、以下に示す実施形態では、床版６の裏面を撮像する。
［撮像装置の外観］
図２は、本発明に係る撮像装置を含む移動式撮像装置の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図３は、図２に示した移動式撮像装置の要部断面図である。
図２及び図３に示すように移動式撮像装置１０は、主として移動体として機能するロボット装置１００と、ロボット装置１００に搭載された撮像装置２００とから構成されている。
ロボット装置１００は、後に詳しく説明するが、主フレーム１０２と、垂直伸延アーム１０４と、垂直伸延アーム１０４の駆動部や各種の制御部等が配設された筐体１０６と、筐体１０６を主フレーム１０２の長手方向（主桁２の長手方向と直交する方向）（Ｘ方向）に移動させるＸ方向駆動部１０８（図５）と、移動式撮像装置１０全体を主桁２の長手方向（Ｙ方向）に移動させるＹ方向駆動部１１０（図５）と、垂直伸延アーム１０４を垂直方向（Ｚ方向）に伸縮させるＺ方向駆動部１１２（図５）とを備えている。
Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転又は逆転させることにより、筐体１０６をＸ方向に移動させる。
Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することにより移動式撮像装置１０全体をＹ方向に移動させる。
尚、移動式撮像装置１０は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、移動式撮像装置１０は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、図示しないが、主桁２の間隔に合わせて長さが調整可能に構成されている。
垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向及びＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図５）によりＺ方向に伸縮する。
図４に示すように垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向及びチルト方向に回転可能な撮像ユニット２０２が設置されている。
撮像ユニット２０２は、第１の撮像部２０２Ａと、第２の撮像部２０２Ｂとからなり、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより視差をもつ２つの画像（立体画像）を撮像することができる。立体画像は、動画及び静止画のいずれでもよい。
撮像ユニット２０２は、パンチルト駆動部２０６（図５）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐを中心に回転し、あるいは水平方向のチルト軸Ｔを中心に回転する。これにより、撮像ユニット２０２は任意の姿勢にて撮像（任意の撮像方向の撮像）ができる。
本例の撮像ユニット２０２の第１の撮像部２０２Ａの光軸Ｌ１と、第２の撮像部２０２Ｂの光軸Ｌ２とはそれぞれパン軸Ｐと平行であり、かつパン軸Ｐは、光軸Ｌ１と光軸Ｌ２との中心に位置している。また、パン軸Ｐは、チルト軸Ｔと直交している。更に、撮像ユニット２０２の基線長（即ち、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの設置間隔）は既知である。
また、撮像ユニット２０２を基準にした座標系は、パン軸Ｐとチルト軸Ｔとの交点を原点Ｏとし、チルト軸Ｔの方向をｘ軸方向、パン軸Ｐの方向をｚ軸方向、ｘ軸及びｙ軸にそれぞれ直交する方向をｙ軸方向とする。
＜移動式撮像装置１０の構成＞
図５は、本発明に係る撮像装置を含む移動式撮像装置の実施の形態を示すブロック図である。
図５に示すように移動式撮像装置１０は、ロボット装置（移動体）１００側のロボット制御部（移動体制御部）１３０、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０及びＺ方向駆動部１１２と、撮像装置２００側の撮像ユニット２０２、撮像制御部２０４、パンチルト制御部２１０、パンチルト駆動部２０６、角度算出部２２０及び判別部２２８と、ロボット側通信部２３０と、端末装置３００とから構成されている。
ロボット側通信部２３０は、端末側通信部３１０との間で双方向の無線通信を行い、端末側通信部３１０から送信されるロボット装置１００の移動を制御する移動指令、パンチルト機構１２０を制御するパンチルト指令、撮像ユニット２０２を制御する撮像指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。尚、端末装置３００の詳細については後述する。
ロボット制御部１３０は、ロボット側通信部２３０から入力する移動指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、及びＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向及びＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図２参照）。
パンチルト制御部２１０は、ロボット側通信部２３０から入力するパンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向及びチルト方向に動作させ、撮像ユニット２０２を所望の方向にパンチルトさせる（図４参照）。
また、パンチルト制御部２１０の他の入力には、判別部２２８による判別結果が加えられるようになっており、パンチルト制御部２１０は、判別部２２８による判別結果に応じて動作可能又は動作不能になる。尚、判別部２２８の詳細については後述する。
撮像制御部２０４は、ロボット側通信部２３０から入力する撮像指令に基づいて撮像ユニット２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにライブビュー画像、角度算出用画像、又は検査用画像の撮像を行わせる。尚、角度算出用画像は、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像される視差をもつ２つの画像（第１の画像、第２の画像）であり、動画であることが好ましい。角度算出用画像が動画の場合、ライブビュー画像は、角度算出用画像と同一の画像でもよいし、第１の画像と第２の画像のいずれか一方の画像（例えば、第１の画像）でもよい。また、検査用画像は、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像される視差をもつ２つの画像（第１の画像、第２の画像）であり、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像可能な最大の画像サイズの画像であることが好ましい。
撮像ユニット２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像された視差をもつ第１の画像及び第２の画像を示す画像データは、それぞれ角度算出部２２０及びロボット側通信部２３０に出力される。
角度算出部２２０は、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像された第１の画像及び第２の画像を示す画像データに基づいて、撮像ユニット２０２の撮像方向（本例の場合は、図４に示した第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂの光軸Ｌ１，Ｌ２の方向と同方向）と、検査対象物（本例の場合は、図１に示した橋梁１の床版６）の平面の法線方向とのなす角度θを算出する。
＜角度θの算出方法＞
まず、撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θを算出する意義について説明する。
図６は、移動式撮像装置１０により検査対象物（床版６）の裏面を撮像する様子を示す図である。
移動式撮像装置１０は、主桁２の下フランジに懸垂して走行（移動）するが、移動式撮像装置１０の走行面（主桁２の下フランジ）と床版６の裏面とは、平行になっているとは限らないため、例えば、撮像ユニット２０２のチルト角を０°にし、撮像ユニット２０２の光軸を走行面と直交する方向に向けた場合でも、床版６の裏面に対して撮像ユニット２０２を正対させること（即ち、撮像ユニット２０２の光軸方向と検査対象物の平面の法線方向とのなす角度θを０°にすること）ができない。
尚、角度θが０°の場合、最も解像度の高い検査用画像の撮像が可能であり、角度θが大きくなる程、検査用画像の解像度（特に、撮像ユニット２０２から遠くなる画角の端部における検査用画像の解像度）が低下し、検査対象物の検査精度に要求される解像度が得られなくなる場合がある。
したがって、撮像ユニット２０２の光軸方向と検査対象物の平面の法線方向とのなす角度θが０°になるように（検査対象物に対して撮像ユニット２０２を正体させるように）撮像ユニット２０２をパンチルトさせるためには、あるいは角度θが検査対象物の検査精度に要求される解像度が得られる最低限の角度範囲（許容角度範囲）に入るように撮像ユニット２０２をパンチルトさせるためには、角度θを検出する必要がある。
そこで、本発明では、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像された第１の画像及び第２の画像を示す画像データに基づいて、以下に示す方法により撮像ユニット２０２の撮像方向と、検査対象物の平面の法線方向とのなす角度θを算出する。
図７は、図５に示した角度算出部２２０の構成を示す機能ブロック図であり、角度算出部２２０は、対応点検出部２２２と、空間座標算出部２２４と、平面算出部２２６と、距離算出部２２７とを有している。
対応点検出部２２２は、撮像ユニット２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像された視差をもつ第１の画像及び第２の画像に基づいて、同一直線上にない３点以上の対応点を検出する。例えば、第１の画像から同一直線上にない３点の特徴点を検出し、検出した３点の特徴点に対応する対応点を第２の画像から検出する。第２の画像における対応点の検出は、第１の画像の特徴点を含む局所領域の画像に基づいて第２の画像上を走査し、第２の画像上で相関が最も高い位置（点）を対応点として検出することができる。これらの３つの特徴点と、３つの特徴点にそれぞれ対応する３つの対応点とは、互いに対応する３組の対応点である。
空間座標算出部２２４は、図４で説明した撮像ユニット２０２を基準にした座標系における、３点の対応点の実空間（検査対象物の平面）上の空間座標（x,y,z)を算出する。対応点の空間座標は、第１の画像上の対応点の位置と、第２の画像上の対応点の位置と、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの間の基線長と、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂの撮像光学系の撮像倍率とに基づいて幾何的に算出することができる。
平面算出部２２６は、空間座標算出部２２４により算出された３点の対応点の空間座標に基づいて検査対象物の平面を推定し、推定した平面の法線方向に基づいて撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θを算出する。
検査対象物の平面は、平面上の３点の空間座標に基づいて、次式に示す平面の方程式を求めることで推定（特定）することができる。
［数１］
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
上記のように検査対象物の平面を特定することで、検査対象物の平面の法線ベクトルｎは、ｎ＝（ａ，ｂ，ｃ）と表すことができる。そして、撮像ユニット２０２の撮像方向（撮像ユニット２０２を基準にした座標系のｚ方向）と検査対象物の平面の法線方向とのなす角度θは、法線ベクトルｎ（ｎ＝（ａ，ｂ，ｃ））から、次式により算出することができる。
［数２］
θ＝arccos(ｃ/√（ａ２＋ｂ２＋ｃ２）)
また、撮像ユニット２０２と検査対象物との距離（撮像ユニット２０２の光軸方向（ｚ方向）の撮像距離）Ｄは、次式により算出することができる。
［数３］
Ｄ＝−ｄ／ｃ
角度算出部２２０は、上記［数２］式により算出した角度θを示す情報を出力し、距離算出部２２７は、上記［数３］式により算出した距離Ｄを示す情報を出力する。
図５に戻って、角度算出部２２０により算出された角度θ及び距離Ｄを示す情報は、判別部２２８及びロボット側通信部２３０に加えられる。
判別部２２８には、許容角度範囲（−α〜α）が設定されており、判別部２２８は、角度算出部２２０により算出された角度θが、許容角度範囲内に入っているか否かを判別する。ここで、許容角度範囲は、撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θが、許容角度範囲内の最大の角度（±α）のときに、撮像ユニット２０２から最も遠くなる画角の端部における検査用画像の解像度が、検査対象物の検査精度に要求される最低限の解像度が得られる角度範囲により設定されている。
また、検査用画像の解像度（例えば、第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂの撮像素子の１画素当りの検査対象物上の実際の大きさ）は、距離Ｄや画角に応じて変化するため、許容角度範囲は、撮像倍率（画角）が調整可能な撮像光学系を有する撮像ユニット２０２の場合には、撮像光学系の撮像倍率に応じて設定し、距離Ｄが変動する場合には、距離Ｄに応じて設定することが好ましい。
判別部２２８により判別された判別結果（角度算出部２２０により算出された角度θが許容角度範囲を越えるか否かを示す判別結果）は、それぞれパンチルト制御部２１０及びロボット側通信部２３０に出力される。
パンチルト制御部２１０は、パンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０を制御し、撮像ユニット２０２をパンチルトさせるが、判別部２２８から加えられる判別結果に応じて動作可能又は動作不能になる。即ち、パンチルト制御部２１０は、角度θが許容角度範囲を越えると判別された判別結果を判別部２２８から入力すると、パンチルト指令の入力にかかわらず、パンチルト機構１２０を停止させる。これにより、角度θが許容角度範囲を越えて撮像ユニット２０２のパンチルトが制御されないようにすることができる。
端末装置３００は、移動式撮像装置１０を操作する操作者により操作されるもので、主として端末側通信部３１０と、端末制御部３２０と、操作部３３０と、ライブビュー画像表示部及び警告の報知部として機能する表示部３４０と、画像記録部３５０とから構成されており、例えば、タブレット端末を適用することができる。
端末側通信部３１０は、ロボット側通信部２３０との間で双方向の無線通信を行い、ロボット側通信部２３０が入力する各種の情報（第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像されたライブビュー画像及び検査用画像を示す画像データ、角度算出部２２０により算出された角度θ、距離Ｄを示す情報、判別部２２８により判別された判別結果）を受信するとともに、端末制御部３２０を介して入力する操作部３３０での操作に応じた各種の指令をロボット側通信部２３０に送信する。
端末制御部３２０は、端末側通信部３１０を介して受信したライブビュー画像を示す画像データを表示部３４０に出力し、表示部３４０の画面にライブビュー画像を表示させる。また、端末制御部３２０は、判別部２２８により判別された判別結果（角度θが許容角度範囲を越えたことを示す判別結果）を入力すると、表示部３４０を介して警告（警告マーク、警告メッセージ等）を報知する。尚、図示しないスピーカを介して警告音を発生させるようにしてもよい。
操作部３３０は、ロボット操作部（移動体操作部）、パンチルト操作部及び撮像操作部を有し、ロボット操作部は、ロボット装置１００（撮像ユニット２０２）をＸ方向、Ｙ方向及びＺ方向に移動させる移動指令を出力し、パンチルト操作部は、パンチルト機構１２０（撮像ユニット２０２）をパン方向及びチルト方向に回転させるパンチルト指令を出力し、撮像操作部は、撮像ユニット２０２による検査用画像の撮像を指示する撮像指令を出力する。操作者は、表示部３４０に表示されるライブビュー画像を見ながら操作部３３０を手動操作し、操作部３３０は、操作者による操作に応じて撮像ユニット２０２のＸ方向、Ｙ方向及びＺ方向の移動指令、パンチルト指令、及び撮像指令等の各種の指令を端末制御部３２０に出力する。端末制御部３２０は、操作部３３０から入力する各種の指令を端末側通信部３１０を介してロボット側通信部２３０に送信する。
また、角度θが許容角度範囲を越える場合には、表示部３４０に警告が表示されるため、操作者は、操作部３３０のパンチルト操作部を操作して撮像ユニット２０２をパンチルトさせる際に、表示部３４０に警告が非表示になるように操作部３３０を操作することができる。更に、検査対象物の所望の撮像範囲を撮像する際に、パンチルト機構１２０の制御では角度θを許容角度範囲に入れることができない場合には、操作者は、操作部３３０のロボット操作部を操作し、撮像ユニット２０２を検体対象物の平面に沿って移動させることにより、角度θを許容角度範囲に入れることができる。
また、端末制御部３２０は、端末側通信部３１０を介して受信した検査用画像（第１の画像及び第２の画像）を示す画像データを画像記録部３５０に出力し、画像記録部３５０は、端末制御部３２０から入力する検査用画像を示す画像データを記録する。このとき、検査用画像として、視差をもつ第１の画像及び第２の画像を記録することで、その後、検査用画像を使用して検査対象物を検査する際に、関心部位（クラック、傷等）の大きさを把握することができる。
また、端末制御部３２０は、端末側通信部３１０を介して受信した検査用画像と、角度θとを関連付けて画像記録部３５０に記録させることが好ましく、更に、端末制御部３２０は、端末側通信部３１０を介して受信した検査用画像と、角度θと、距離Ｄとを関連付けて画像記録部３５０に記録させることがより好ましい。更にまた、撮像倍率が調整可能な撮像光学系を有する撮像ユニット２０２の場合には、端末側通信部３１０を介して受信した検査用画像と、角度θと、距離Ｄと、撮像光学系の撮像倍率とを関連付けて記録することが更に好ましい。
＜撮像方法＞
［第１の実施形態］
図８は、本発明に係る撮像方法の第１の実施形態を示すフローチャートであり、図９は、第１の実施形態の撮像方法を模式的に示した概略図である。
図８において、まず、撮像ユニット２０２のチルト角を０°になるようにパンチルト機構１２０を手動又は自動的に制御する（ステップＳ１０）。この場合、図９（Ａ）に示すように撮像ユニット２０２の光軸方向は、ロボット装置１００の走行面（主桁２の下フランジ面）に対して直交する。
続いて、撮像制御部２０４は、撮像ユニット２０２のチルト角が０°の状態で、撮像ユニット２０２による検査対象物の撮像を行わせる（ステップＳ１２）。これにより、撮像ユニット２０２から視差をもつ第１の画像及び第２の画像（角度算出用画像）を取得する。
角度算出部２２０（図５、図７）は、撮像ユニット２０２により撮像された視差をもつ第１の画像及び第２の画像に基づいて同一直線上にない３点以上の対応点を検出し（ステップＳ１４）、検出した３点以上の対応点の実空間（検査対象物の平面）上の空間座標に基づいて検査対象物の平面を推定する（ステップＳ１６）。そして、角度算出部２２０は、撮像ユニット２０２の撮像方向と推定した検査対象物の平面の法線方向とのなす角度θを算出する（ステップＳ１８）。撮像ユニット２０２のチルト角が０°のときの角度θを、角度θ0とする。
図９（Ｂ）は、角度θ0が０°になるように撮像ユニット２０２をパンチルト制御した場合に関して示している。この場合、撮像ユニット２０２は、検査対象物に対して正対する。
続いて、図９（Ｃ）に示すように撮像ユニット２０２の変更可能な角度α（即ち、許容角度範囲（−α〜α））を決定する（ステップＳ２０）。変更可能な角度αは、距離Ｄ、画角等に基づいて決定することが好ましい。
次に、撮像ユニット２０２のチルト角が０°のときの撮像ユニット２０２の撮像方向を基準にして、基準にした撮像方向に対する角度を、−（α＋θ0）〜（α−θ0）に変更しながら検査用画像の撮像を行う（ステップＳ２２）。これによれば、検査用画像の撮像時の撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θは、許容角度範囲（−α〜α）内になる。
ステップＳ２２において撮像された検査用画像は、画像記録部３５０に保存される（ステップＳ２４）。このとき、保存する検査用画像に関連付けて角度θ、距離Ｄ及び撮像光学系の撮像倍率を保存することが好ましい。
次に、検査対象物の異なる領域（角度θが許容角度範囲（−α〜α）を越える検査対象物の領域）を撮像するために、ロボット装置１００の移動量を算出する（ステップＳ２６）。この移動量は、撮像ユニット２０２の画角と、変更可能な角度αと、距離Ｄとに基づいて算出することができる。
続いて、ロボット装置１００をステップＳ２６で算出した移動量だけ移動させた後（ステップＳ２８）、ステップＳ１０に戻る。
そして、ステップＳ１０からステップＳ２８の処理を繰り返すことにより、検査対象物の全ての領域を撮像し、検査用画像を取得・保存することができる。
［第２の実施形態］
図１０は、本発明に係る撮像方法の第２の実施形態を示すフローチャートである。
図１０において、まず、検査対象物の現在の撮像範囲（ロボット装置１００の位置及びパンチルト機構１２０のパン角度及びチルト角度により特定される現在の撮像範囲）の撮像が終了しているか否か示すフラグＦを１（Ｆ＝１：未撮像）にセットする（ステップＳ２９）。続いて、撮像制御部２０４は、撮像ユニット２０２によるライブビュー画像の撮像を行わせる（ステップＳ３０）。これにより、撮像ユニット２０２から動画のライブビュー画像を取得する。この場合、ライブビュー画像は、撮像ユニット２０２の第１の撮像部２０２Ａにより撮像された第１の画像でもよいし、撮像ユニット２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮像された視差をもつ第１の画像及び第２の画像（立体画像）でもよい。
撮像ユニット２０２により撮像されたライブビュー画像の画像データは、撮像ユニット２０２からロボット側通信部２３０、端末側通信部３１０及び端末制御部３２０を介して表示部３４０に出力され、ここでライブビュー画像として表示される（ステップＳ３２）。
次に、端末装置３００の操作部３３０（パンチルト操作部、ロボット操作部）が操作されたか否かを判別する（ステップＳ３４）。ステップＳ３４において、操作部３３０が操作されたと判別されると（「Yes」の場合）、操作部３３０の操作に応じてパンチルト機構１２０が制御され、又はロボット装置１００の移動が制御される（ステップＳ３６）。その後、フラグＦを１（未撮像）にセットし（ステップＳ３７）、ステップＳ３０に遷移させる。
ステップＳ３４において、操作部３３０が操作されていないと判別されると（「No」の場合）、フラグＦが１にセットされているか否かを判別する（ステップＳ３５）。フラグＦが１でない場合（「No」の場合）、検査対象物の現在の撮像範囲は撮像済みであるため、ステップＳ３４に戻る。一方、フラグＦが１の場合（「Yes」の場合）、検査対象物の現在の撮像範囲は未撮像であるため、ステップＳ３８に遷移させる。
ステップＳ３８では、撮像ユニット２０２による検査対象物の撮像を行わせる（ステップＳ３８）。これにより、撮像ユニット２０２から視差をもつ第１の画像及び第２の画像（角度算出用画像）を取得する。
ステップＳ４０からステップＳ４４までの処理は、取得した角度算出用画像から撮像ユニット２０２の撮像方向と推定した検査対象物の平面の法線方向とのなす角度θを算出する処理であり、図８に示した撮像方法の第１の実施形態のステップＳ１４からステップＳ１８と同様の処理であるため、その詳細な説明は省略する。
続いて、ステップＳ４４により算出した角度θが、許容角度範囲（−α〜α）内か否かを判別する（ステップＳ４６）。角度θが許容角度範囲を越えていると判別されると（「No」の場合）、その判別結果を受信する端末装置３００は、表示部３４０に警告を表示し（ステップＳ４８）、ステップＳ３０に遷移させる。これにより、操作者に対して、角度θが許容角度範囲内に入るような操作部３３０での操作（パンチルト操作、ロボット操作）を促す。尚、ステップＳ４８による警告表示とともに、又は警告表示の代わりに、パンチルト機構１２０を停止（角度θが大きくなる方向へのパンチルト機構１２０の動作を停止）させるようにしてもよい。
一方、ステップＳ４６において、角度θが許容角度範囲内であると判別されると（「Yes」の場合）、端末装置３００から撮像指令を入力（受信）したかを判別し（ステップＳ４９）、撮像指令を入力すると、撮像制御部２０４は、撮像ユニット２０２による検査用画像の撮像を行わせる（ステップＳ５０）。
ステップＳ５０において撮像された検査用画像は、画像記録部３５０に保存される（ステップＳ５２）。このとき、保存する検査用画像に関連付けて角度θ、距離Ｄ及び撮像光学系の撮像倍率を保存することが好ましい。
続いて、フラグＦを０にセットした後（ステップＳ５４）、ステップＳ３０に戻る。尚、フラグＦが０（Ｆ＝０）の場合、検査対象物の現在の撮像範囲は撮像済みであるため、ロボット装置１００又はパンチルト機構１２０が駆動されるまで（即ち、ステップＳ３７によりＦが１に再度セットされるまで）、次の撮像を行うためのステップＳ３８以降の処理は行われない。
第２の実施形態の撮像方法によれば、撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θが、許容角度範囲を越えている場合には警告を表示するため、操作者は、ライブビュー画像を見ながら操作部３３０のパンチルト操作部等を操作し、検査対象物の所望の撮像範囲を撮像する際に、角度θが許容角度範囲内に入るようにパンチルト操作部を操作することができる。
また、第２の実施形態の撮像方法では、パンチルト機構１２０のパン角度及びチルト角度を検出する必要がなく、パン角度及びチルト角度を検出する角度検出器の検出精度に依存しないパンチルト機構１２０の制御が可能である。
［第３の実施形態］
図１１は、本発明に係る撮像方法の第３の実施形態を示すフローチャートである。尚、図１０に示した第２の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図１１に示す第３の実施形態の撮像方法は、第２の実施形態の撮像方法と比較して、パンチルト機構１２０の制御が自動化されている点で相違する。したがって、操作者は、ライブビュー画像を見ながら端末装置３００の操作部３３０を操作する際に、ロボット装置１００を移動させるためのロボット操作部のみを操作する。
即ち、ステップＳ３４１では、操作部３３０のロボット操作部が操作されたか否かを判別し、ロボット操作部が操作されたと判別されると、ロボット操作部での操作に応じてロボット装置１００の移動が制御される（ステップＳ３６１）。
ステップＳ６０は、ステップＳ４４により算出した角度θが０°になるように（推定した検査対象物の平面の法線ベクトルの方向が、撮像ユニット２０２の撮像方向（ｚ方向）と一致するように）、パンチルト機構１２０を自動制御する。そして、角度θが０°になると（即ち、撮像ユニット２０２が検査対象物に正対すると）、撮像ユニット２０２による検査用画像の撮像を行わせる（ステップＳ５０）。この検査用画像の撮像は、角度θが０°になると、自動的に行われることが好ましい。
第３の実施形態の撮像方法によれば、撮像ユニット２０２の撮像方向と検査対象物の平面の法線方向とのなす角度θが０°になるように自動的にパンチルト機構１２０が制御されるため、撮像ユニット２０２を検査対象物に正対させた状態で検査用画像の撮像を行うことができ、操作者は、検査対象物の所望の撮像範囲を撮像する際に、ライブビュー画像を見ながら操作部３３０のロボット操作部のみを操作すればよい。
［その他］
本実施形態では、橋梁の床版を検査対象物としたが、これに限らず、平面を有する検査対象物であれば、如何なるものでもよい。
また、本実施形態では、端末装置側に検査用画像を記録する画像記録部を設けるようにしたが、ロボット装置側に画像記録部を設けるようにしてもよい。更に、ロボット装置と端末装置とに分離されたものに限らず、一体化された装置でもよい。
また、撮像装置（移動式撮像装置）は、撮像装置が適用される検査対象物に応じて撮像装置の形態や機能が異なることは言うまでもない。例えば、撮像装置は、二足歩行、四足歩行、あるいは無限軌道で走行する移動体や、多関節アーム（例えば、人間の腕を模した上腕、前腕、手等の部位）を有する移動体を含む移動式撮像装置など、種々の撮像装置が考えられる。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１…橋梁、６…床版、１０…移動式撮像装置、１００…ロボット装置、１０８…Ｘ方向駆動部、１１０…Ｙ方向駆動部、１１２…Ｚ方向駆動部、１２０…パンチルト機構、１３０…ロボット制御部、２００…撮像装置、２０２…撮像ユニット、２０２Ａ…第１の撮像部、２０２Ｂ…第２の撮像部、２０４…撮像制御部、２０６…パンチルト駆動部、２１０…パンチルト制御部２１０、２２０…角度算出部、２２２…対応点検出部、２２４…空間座標算出部、２２６…平面算出部、２２８…判別部、２３０…ロボット側通信部、３００…端末装置、３１０…端末側通信部、３２０…端末制御部、３３０…操作部、３４０…表示部、３５０…画像記録部

Claims (15)

  1. 平面を有する検査対象物を撮像する撮像装置において、
    視差をもつ複数の画像を撮像する複数の撮像部からなる撮像ユニットと、
    前記撮像ユニットをパン方向及びチルト方向にそれぞれ回転させるパンチルト機構と、
    前記撮像ユニットにより撮像された前記検査対象物を示す複数の画像に基づいて、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を算出する角度算出部と、
    前記パンチルト機構を制御し、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を、許容角度範囲内の角度にするパンチルト制御部と、
    前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度が、前記許容角度範囲内の角度のときに、前記撮像ユニットの少なくとも１つの撮像部により前記検査対象物を示す検査用画像の撮像を行わせ、該検査用画像を取得する撮像制御部と、
    を備えた撮像装置。
  2. 前記角度算出部は、前記複数の画像から同一直線上にない３点以上の対応点を検出する対応点検出部と、前記対応点検出部により検出した３点以上の対応点の空間座標を算出する空間座標算出部とを有し、前記算出した３点以上の対応点の空間座標から前記検査対象物の平面を推定し、推定した平面の法線方向に基づいて前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を算出する請求項１に記載の撮像装置。
  3. 前記許容角度範囲は、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度が、前記許容角度範囲内の最大の角度のときに、前記撮像ユニットから最も遠くなる画角の端部における前記検査用画像の解像度が、前記検査対象物の検査精度に要求される最低限の解像度が得られる角度範囲である請求項１又は２に記載の撮像装置。
  4. 前記撮像ユニットは、撮像倍率が調整可能な撮像光学系を有し、
    前記許容角度範囲は、前記撮像光学系の撮像倍率に応じて設定される請求項１から３のいずれか１項に記載の撮像装置。
  5. 前記撮像ユニットの少なくとも１つの撮像部により撮像されたライブビュー画像を表示するライブビュー画像表示部と、
    前記パンチルト機構に対するパンチルト指令を手動操作により出力するパンチルト操作部と、
    前記角度算出部により算出された角度が前記許容角度範囲を越えるか否かを判別する判別部と、を備え、
    前記パンチルト制御部は、前記パンチルト操作部からのパンチルト指令に基づいて前記パンチルト機構を制御し、前記判別部により前記角度算出部により算出された角度が、前記許容角度範囲を越えると判別されると、前記パンチルト機構を停止させる請求項１から４のいずれか１項に記載の撮像装置。
  6. 前記撮像ユニットの少なくとも１つの撮像部により撮像されたライブビュー画像を表示するライブビュー画像表示部と、
    前記パンチルト機構に対するパンチルト指令を手動操作により出力するパンチルト操作部と、
    前記角度算出部により算出された角度が前記許容角度範囲を越えるか否かを判別する判別部と、
    前記判別部により前記角度算出部により算出された角度が前記許容角度範囲を越えると判別されると、警告を報知する報知部と、を備え、
    前記パンチルト制御部は、前記パンチルト操作部からのパンチルト指令に基づいて前記パンチルト機構を制御する請求項１から４のいずれか１項に記載の撮像装置。
  7. 前記パンチルト制御部は、前記角度算出部により算出された角度に基づいて前記パンチルト機構を自動制御し、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を０°にする請求項１又は２に記載の撮像装置。
  8. 前記撮像装置を搭載し、前記検査対象物の平面に沿って前記撮像装置を移動させる移動体と、
    前記移動体に対する移動指令を手動操作により出力する移動体操作部と、
    前記移動体操作部からの移動指令に基づいて前記移動体を移動させる移動体制御部と、
    を備えた請求項１から７のいずれか１項に記載の撮像装置。
  9. 前記撮像制御部により取得された検査用画像と、前記検査用画像の撮像時の前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度とを関連付けて記録する画像記録部を備えた請求項１から８のいずれか１項に記載の撮像装置。
  10. 前記撮像ユニットにより撮像された前記検査対象物を示す複数の画像に基づいて、前記撮像ユニットの撮像方向における前記検査対象物と前記撮像ユニットとの距離を算出する距離算出部と、
    前記撮像制御部により取得された検査用画像と、前記検査用画像の撮像時の前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度と、前記距離算出部により算出された前記距離とを関連付けて記録する画像記録部と、
    を備えた請求項１から８のいずれか１項に記載の撮像装置。
  11. 前記撮像ユニットは、撮像倍率が調整可能な撮像光学系を有し、
    前記画像記録部は、前記検査用画像と、前記検査用画像の撮像時の前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度と、前記距離算出部により算出された前記距離と、前記撮像光学系の撮像倍率とを関連付けて記録する請求項１０に記載の撮像装置。
  12. 前記角度算出部は、前記検査用画像の撮像時に取得した前記撮像ユニットにより撮像された前記検査対象物を示す複数の画像に基づいて、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を算出する請求項９又は１０に記載の撮像装置。
  13. 平面を有する検査対象物を撮像する撮像方法において、
    複数の撮像部からなる撮像ユニットにより視差をもつ複数の画像を撮像するステップと、
    角度算出部により前記撮像ユニットにより撮像された前記検査対象物を示す複数の画像に基づいて、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を算出するステップと、
    前記撮像ユニットをパン方向及びチルト方向にそれぞれ回転させるパンチルト機構を制御し、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を、許容角度範囲内の角度にするステップと、
    前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度が、前記許容角度範囲内の角度のときに、前記撮像ユニットの少なくとも１つの撮像部により前記検査対象物を示す検査用画像の撮像を行わせ、該検査用画像を取得するステップと、
    を含む撮像方法。
  14. 前記角度を算出するステップは、
    前記複数の画像から同一直線上にない３点以上の対応点を検出するステップと、
    前記検出した３点以上の対応点の空間座標を算出するステップと、を含み、
    前記算出した３点以上の対応点の空間座標から前記検査対象物の平面を推定し、推定した平面の法線方向に基づいて前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度を算出する請求項１３に記載の撮像方法。
  15. 前記許容角度範囲は、前記撮像ユニットの撮像方向と前記検査対象物の平面の法線方向とのなす角度が、前記許容角度範囲内の最大の角度のときに、前記撮像ユニットから最も遠くなる画角の端部における前記検査用画像の解像度が、前記検査対象物の検査精度に要求される最低限の解像度が得られる角度範囲である請求項１３又は１４に記載の撮像方法。
JP2017526228A 2015-06-29 2016-06-01 撮像装置及び撮像方法 Active JP6284688B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015130132 2015-06-29
JP2015130132 2015-06-29
PCT/JP2016/066236 WO2017002511A1 (ja) 2015-06-29 2016-06-01 撮像装置及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018013765A Division JP6450481B2 (ja) 2015-06-29 2018-01-30 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP6284688B2 JP6284688B2 (ja) 2018-02-28
JPWO2017002511A1 true JPWO2017002511A1 (ja) 2018-05-24

Family

ID=57608445

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017526228A Active JP6284688B2 (ja) 2015-06-29 2016-06-01 撮像装置及び撮像方法
JP2018013765A Active JP6450481B2 (ja) 2015-06-29 2018-01-30 撮像装置及び撮像方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018013765A Active JP6450481B2 (ja) 2015-06-29 2018-01-30 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US10365090B2 (ja)
JP (2) JP6284688B2 (ja)
CN (1) CN107735643B (ja)
WO (1) WO2017002511A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6354054B1 (ja) * 2017-07-03 2018-07-11 国際航業株式会社 撮影支援装置、及び撮影方法
JP6891071B2 (ja) * 2017-08-07 2021-06-18 キヤノン株式会社 情報処理装置、撮像システム、撮像方法及びプログラム
JP7023691B2 (ja) * 2017-12-07 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法
WO2020079780A1 (ja) * 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法
JP7059396B2 (ja) * 2018-10-31 2022-04-25 三菱重工業株式会社 検査用チューブの駆動制御装置、検査装置、検査方法、及び検査装置のプログラム
CN111316187A (zh) * 2019-04-29 2020-06-19 深圳市大疆创新科技有限公司 一种云台控制方法、云台及拍摄装置
JP7307592B2 (ja) 2019-05-24 2023-07-12 キヤノン株式会社 計測装置、撮像装置、制御方法及びプログラム
CN110568697A (zh) * 2019-10-21 2019-12-13 深圳市永诺摄影器材股份有限公司 一种移轴摄影方法及装置
KR102394189B1 (ko) * 2020-11-27 2022-05-03 주식회사 에스원 하우징에 장착된 이기종 카메라의 영상 동기화 방법 및 그 장치
CN112839171B (zh) * 2020-12-31 2023-02-10 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62105002A (ja) * 1985-11-01 1987-05-15 Nippon Telegr & Teleph Corp <Ntt> 光の中心位置の高精度計測方法
JP2000099740A (ja) * 1998-09-25 2000-04-07 Hideyoshi Tominaga 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体
JP2001280960A (ja) * 2000-03-29 2001-10-10 Nkk Corp 遠隔計測方法及び装置
JP2012018073A (ja) * 2010-07-08 2012-01-26 Topy Ind Ltd 点検システム
CN104267043A (zh) * 2014-10-16 2015-01-07 东南大学 一种混凝土桥梁裂纹的移动检测装置
US20150148955A1 (en) * 2013-11-26 2015-05-28 Elwha Llc Structural assessment, maintenance, and repair apparatuses and methods

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07139909A (ja) * 1993-11-16 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 視点位置計測制御方法
JPH08128015A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Ind Co Ltd 橋梁点検設備およびその点検ロボット
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7677816B2 (en) * 2004-12-21 2010-03-16 Panasonic Corporation Camera terminal and imaged area adjusting device
US8029482B2 (en) * 2005-03-04 2011-10-04 C. R. Bard, Inc. Systems and methods for radiographically identifying an access port
JP2007207345A (ja) * 2006-02-01 2007-08-16 Sony Corp ディスク式撮像装置
US8849679B2 (en) * 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
JP4954006B2 (ja) 2007-09-28 2012-06-13 三洋電機株式会社 クラック幅計測システム、操作装置、クラック幅計測方法、及びクラック幅計測プログラム
US9018985B2 (en) * 2010-08-04 2015-04-28 Rohm Co., Ltd. Power module and output circuit
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
JP5936239B2 (ja) * 2014-08-19 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 路面の劣化度合い推定方法およびアルゴリズム（多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法）
WO2016189896A1 (ja) * 2015-05-22 2016-12-01 富士フイルム株式会社 ロボット装置及びロボット装置の移動制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62105002A (ja) * 1985-11-01 1987-05-15 Nippon Telegr & Teleph Corp <Ntt> 光の中心位置の高精度計測方法
JP2000099740A (ja) * 1998-09-25 2000-04-07 Hideyoshi Tominaga 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体
JP2001280960A (ja) * 2000-03-29 2001-10-10 Nkk Corp 遠隔計測方法及び装置
JP2012018073A (ja) * 2010-07-08 2012-01-26 Topy Ind Ltd 点検システム
US20150148955A1 (en) * 2013-11-26 2015-05-28 Elwha Llc Structural assessment, maintenance, and repair apparatuses and methods
CN104267043A (zh) * 2014-10-16 2015-01-07 东南大学 一种混凝土桥梁裂纹的移动检测装置

Also Published As

Publication number Publication date
WO2017002511A1 (ja) 2017-01-05
US20180106605A1 (en) 2018-04-19
US10365090B2 (en) 2019-07-30
CN107735643A (zh) 2018-02-23
JP2018107811A (ja) 2018-07-05
JP6284688B2 (ja) 2018-02-28
JP6450481B2 (ja) 2019-01-09
CN107735643B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
JP6450481B2 (ja) 撮像装置及び撮像方法
US10748269B2 (en) Structure member specification device and structure member specification method
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
US10762619B2 (en) Imaging support device and imaging support method
JP6445151B2 (ja) ロボット装置及びロボット装置の移動制御方法
JP6272567B2 (ja) 移動式撮像装置及び移動式撮像方法
JP5650942B2 (ja) 点検システムおよび点検方法
JP2019126032A (ja) 点検対象面点検用カメラ安定装置およびそれを具える点検対象面点検システム
JP2017227595A (ja) 損傷図作成支援システム及び損傷図作成支援方法
US11107240B2 (en) Self position estimation device, self position estimation method, program, and image processing device
US10742874B2 (en) Imaging plan generation device, imaging plan generation method, and program
WO2016189898A1 (ja) ロボット装置及びロボット装置の移動制御方法
JP6960319B2 (ja) 構造物の構成部材の位置調整方法
JP2020003295A (ja) 免震装置の検査システムおよび検査方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20171120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171127

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171127

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180130

R150 Certificate of patent or registration of utility model

Ref document number: 6284688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250