JP6725675B2 - 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置 - Google Patents

自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置 Download PDF

Info

Publication number
JP6725675B2
JP6725675B2 JP2018543861A JP2018543861A JP6725675B2 JP 6725675 B2 JP6725675 B2 JP 6725675B2 JP 2018543861 A JP2018543861 A JP 2018543861A JP 2018543861 A JP2018543861 A JP 2018543861A JP 6725675 B2 JP6725675 B2 JP 6725675B2
Authority
JP
Japan
Prior art keywords
image
coordinate
self
coordinates
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018543861A
Other languages
English (en)
Other versions
JPWO2018066435A1 (ja
Inventor
修平 堀田
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018066435A1 publication Critical patent/JPWO2018066435A1/ja
Application granted granted Critical
Publication of JP6725675B2 publication Critical patent/JP6725675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Description

本発明は、自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置に関し、特に撮影された画像を利用して自己の位置を推定する自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置に関する。
従来より、移動体において撮影された画像を利用して、移動体の位置（自己位置）を推定する技術が提案されている。
例えば特許文献１では、複数のランドマークの３次元座標に基づいてランドマーク地図を生成しておき、ロボットのステレオカメラでランドマークを含む画像を撮影し、その撮影画像とランドマーク地図とを比較することによりロボットの自己位置を推定する技術が記載されている。
また例えば特許文献２では、ロボットが初期位置に取得した全方位画像から、ロボットが初期位置から移動した場合を想定して合成した全方位の予測画像を作成し、この予測画像とロボットが実際に移動して新たに取得した全方位の画像とを照合して、ロボットの自己位置を検出する技術が記載されている。なお、ロボットには視野角が１２０°以上の超広角レンズが装着されている。
特開２０１３−２５４０１号公報 特開２００６−２２０５２１号公報
しかしながら、特許文献１に記載された技術では予めランドマーク地図を作成する必要があり、更にロボットがランドマークを含む画像を撮影しなければならない。したがって、特許文献１に記載された技術では、ランドマークを常に追跡する必要があり、ランドマークを見失ってしまうと自己位置の推定ができなくなってしまう。更に特許文献１に記載された技術では、ランドマーク地図を作成するための撮影が必要であり、ロボットが行う作業の目的（例えば構造物の検査）とは異なる撮影が必要になる場合がある。
また、特許文献２に記載された技術では、ロボットは初期位置において全方位画像を撮影しなければならず、そしてロボットには超広角レンズが装着される必要があり、ロボットが行う作業目的に使用する以外の撮影および装備が必要になる。
本発明はこのような事情に鑑みてなされたもので、その目的は、ロボットが行う作業目的以外の撮影および移動が抑制され且つランドマークは必要とせず、またロボットが行う作業目的以外の用途のための特殊な撮影装備を必要としない自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置を提供することである。
上記目的を達成するために、本発明の一の態様である自己位置推定装置は、構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定装置であって、カメラ付き移動式ロボットにより第１の位置において構造物を分割撮影して得た第１の構造物画像と、カメラ付き移動式ロボットが第１の位置から移動して第２の位置において構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得部と、第１の構造物画像と第２の構造物画像とを含む複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成部と、パノラマ合成画像における第１の位置に対応する第１の画像座標をパノラマ合成画像の座標系の原点として、第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得部と、第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出部と、を備える。
本態様によれば、カメラ付き移動式ロボットの作業目的である構造物の検査において、カメラ付き移動式ロボットにより撮影された第１の構造物画像、第２の構造物画像、および第１の構造物画像と第２の構造物画像とを含むパノラマ画像により、自己位置が推定される。これにより本態様は、カメラ付き移動式ロボットの作業目的である構造物の検査以外の撮影および移動が抑制され且つランドマークが必要とされず、構造物の検査目的以外のための撮影装備を必要とせずに、自己位置推定を行うことができる。
好ましくは、自己位置推定装置は、カメラ付き移動式ロボットをパノラマ合成画像における構造物画像が撮影できる任意の位置である第３の位置に移動させ、第３の位置で構造物を分割撮影した第３の構造物画像を取得する第２の構造物画像取得部と、第３の構造物画像とパノラマ合成画像とを照合することにより、第１の画像座標をパノラマ合成画像の座標系の原点として、第３の構造物画像の特定位置の座標である第３の画像座標を取得する第２の画像座標取得部と、第３の画像座標を画像座標系から現実座標系への変換係数により変換して、相対的な自己位置として、第３の位置の相対的な位置座標である相対位置座標を算出する第２の相対位置座標算出部と、を更に備える。
本態様によれば、分割撮影された複数の構造物画像から構成されるパノラマ合成画像と、パノラマ合成画像に含まれる構造物画像である第３の構造物画像とから、カメラ付き移動式ロボットの自己位置が推定される。これにより本態様は、パノラマ合成画像が生成された後に、パノラマ合成画像の範囲における任意の位置にカメラ付き移動式ロボットが移動した場合に、自己位置の推定を行うことができる。
好ましくは、自己位置推定装置は、第１の位置から構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報、および、第１の位置から絶対位置座標の原点までのＹ軸方向の距離情報により、第１の位置の絶対的な位置座標である第１の絶対位置座標を取得する初期絶対位置座標取得部と、相対位置座標および第１の絶対位置座標に基づいて、絶対的な自己位置として、第２の位置の絶対的な位置座標である第２の絶対位置座標を算出する第１の絶対位置座標算出部と、を更に備える。
本態様によれば、初期絶対位置座標取得部により、第１の位置から構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報および第１の位置から絶対位置座標の原点までのＹ軸方向の距離情報から、第１の位置の絶対的な位置座標である第１の絶対位置座標が取得される。また第１の絶対位置座標算出部により、相対位置座標および第１の絶対位置座標から絶対的な自己位置としての第２の絶対位置座標が算出される。これにより本態様は、カメラ付き移動式ロボットの絶対的な自己位置を算出することができる。
好ましくは、自己位置推定装置は、第１の位置から構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報、および、第１の位置から絶対位置座標の原点までのＹ軸方向の距離情報により、第１の位置の絶対的な位置座標である第１の絶対位置座標を取得する初期絶対位置座標取得部と、相対位置座標および第１の絶対位置座標に基づいて、絶対的な自己位置として、第３の位置の絶対的な位置座標である第３の絶対位置座標を算出する第２の絶対位置座標算出部と、を更に備える。
本態様によれば、初期絶対位置座標取得部により、第１の位置から構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報および第１の位置から絶対位置座標の原点までのＹ軸方向の距離情報から、第１の位置の絶対的な位置座標である第１の絶対位置座標が取得される。また第２の絶対位置座標算出部により、相対位置座標および第１の絶対位置座標から絶対的な自己位置としての第３の絶対位置座標が算出される。これにより本態様は、カメラ付き移動式ロボットの絶対的な自己位置を算出することができる。
好ましくは、初期絶対位置座標取得部は、カメラ付き移動式ロボットが有する距離測定装置により、第１の位置からＸ軸までの距離、第１の位置からＹ軸までの距離、および構造物までの距離を取得し、第１の絶対位置座標を取得する。
本態様によれば、カメラ付き移動式ロボットが有する距離測定装置により、第１の位置からＸ軸までの距離、第１の位置からＹ軸までの距離、および構造物までの距離が取得される。これにより本態様は、カメラ付き移動式ロボットに装備されている距離測定装置により、正確な第１の絶対位置座標を取得する。
好ましくは、初期絶対位置座標取得部は、カメラ付き移動式ロボットが撮影した画像から、第１の位置からＸ軸までの距離、および、第１の位置からＹ軸までの距離を取得し、カメラ付き移動式ロボットが有する距離測定装置により、第１の位置から構造物までの距離を取得して、第１の絶対位置座標を取得する。
本態様によれば、カメラ付き移動式ロボットが撮影した画像から、第１の位置からＸ軸までの距離、第１の位置からＹ軸までの距離、および構造物までの距離が取得される。これにより本態様は、カメラ付き移動式ロボットが撮影した画像から、正確な第１の絶対位置座標を取得することができる。
好ましくは、変換係数は、カメラ付き移動式ロボットのカメラから構造物までの距離、カメラが有する焦点距離、カメラの撮像素子のサイズ、およびカメラで撮影される画像の画素数から算出される。
本態様によれば、変換係数は、カメラ付き移動式ロボットのカメラから構造物までの距離、カメラが有する焦点距離、カメラの撮像素子のサイズ、およびカメラで撮影される画像の画素数から算出されるので、画像座標系から現実座標系への変換がより正確に行われる。
好ましくは、自己位置推定装置は、カメラ付き移動式ロボットが撮影したステレオ画像により、構造物の平面を算出する平面算出部と、算出された平面に基づいて、第２の画像座標を補正する画像座標補正部と、を更に備える。
本態様によれば、平面算出部により、カメラ付き移動式ロボットが撮影したステレオ画像に基づいて構造物の平面が算出され、算出された平面に基づいて、画像座標補正部により第２の画像座標が補正される。これにより、本態様は、構造物に対して正対しないで撮影された構造物画像を取得した場合であっても正確な自己位置の推定を行うことができる。
好ましくは、自己位置推定装置は、カメラ付き移動式ロボットが撮影したステレオ画像により、構造物の平面を算出する平面算出部と、算出された平面に基づいて、第３の画像座標を補正する画像座標補正部と、を更に備える。
本態様によれば、平面算出部により、カメラ付き移動式ロボットが撮影したステレオ画像に基づいて構造物の平面が算出され、算出された平面に基づいて、画像座標補正部により第２の画像座標が補正される。これにより、本態様は、構造物に対して正対しないで撮影された構造物画像を取得した場合であっても正確な自己位置の推定を行うことができる。
好ましくは、自己位置推定装置は、パノラマ合成画像における重畳領域において、一方の画像から抽出した画像を使用して他方の画像においてテンプレートマッチングを行うことにより、重畳領域における合成精度を評価し、評価に基づいて、第１の画像座標取得部に第２の画像座標を取得させるか否かの判定を行う合成精度評価部を更に備える。
本態様によれば、合成精度評価部により、パノラマ合成画像の重畳領域における合成精度の評価が行われるので、精度良く合成されたパノラマ合成画像によりカメラ付き移動式ロボットの自己位置の推定が行われ、正確な自己位置の推定が行われる。
好ましくは、自己位置推定装置は、第１の構造物画像取得部で取得された複数の構造物画像に対して、空間周波数解析を行い空間周波数解析の結果に基づいて、第１の構造物画像取得部に構造物画像の取得を再度行わせるか否かの判定を行う画像ボケ判定部を更に備える。
本態様によれば、画像ボケ判定部により、構造物画像に対して、空間周波数解析を行い空間周波数解析の結果に基づいて、第１の構造物画像取得部に構造物画像の取得を再度行わせるか否かの判定が行われる。これにより本態様は、空間周波数解析の結果が良好な構造物画像を使用して正確な自己位置の推定が行われる。
本発明の他の態様である画像処理装置は、上述の自己位置推定装置を有する。
本発明の他の態様である自己位置推定方法は、構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定方法であって、カメラ付き移動式ロボットにより第１の位置において構造物を分割撮影して得た第１の構造物画像と、カメラ付き移動式ロボットが第１の位置から移動して第２の位置において構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得ステップと、第１の構造物画像と第２の構造物画像とを含む複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成ステップと、パノラマ合成画像における第１の位置に対応する第１の画像座標をパノラマ合成画像の座標系の原点として、第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得ステップと、第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出ステップと、を含む。
本発明の他の態様であるプログラムは、構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定方法をコンピュータに実行させるプログラムであって、カメラ付き移動式ロボットにより第１の位置において構造物を分割撮影して得た第１の構造物画像と、カメラ付き移動式ロボットが第１の位置から移動して第２の位置において構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得ステップと、第１の構造物画像と第２の構造物画像とを含む複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成ステップと、パノラマ合成画像における第１の位置に対応する第１の画像座標をパノラマ合成画像の座標系の原点として、第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得ステップと、第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出ステップと、をコンピュータに実行させる。
本発明によれば、カメラ付き移動式ロボットの作業目的である構造物の検査において、カメラ付き移動式ロボットにより撮影された第１の構造物画像、第２の構造物画像、および第１の構造物画像と第２の構造物画像とを含むパノラマ画像により、自己位置が推定されるので、カメラ付き移動式ロボットの作業目的である構造物の検査以外の撮影および移動が抑制され且つランドマークが必要とされず、構造物の検査目的以外のための撮影装備を必要とせずに、自己位置推定を行うことができる。
構造物の一例である橋梁の構造を示す斜視図である。 ロボット装置の外観を示す斜視図である。 ロボット装置の要部断面図である。 二眼カメラおよびパンチルト機構の外観斜視図である。 点検システムの機能構成例を示すブロック図である。 自己位置推定装置の機能構成例を示すブロック図である。 分割撮影して得た床版画像を概念的に示す図である。 パノラマ合成画像を示す図である。 変換係数の算出に関して説明する図である。 自己位置推定装置の動作フローを示す図である。 自己位置推定装置の機能構成例を示すブロック図である。 第１の絶対位置座標の取得の例を示す図である。 第１の絶対位置座標の取得の例を示す図である。 自己位置推定装置の機能構成例を示すブロック図である。 第３の絶対位置座標の取得に関して説明する図である。 自己位置推定装置の機能構成例を示すブロック図である。 平面推定を説明する概念図である。 撮影アングルに応じた位置ずれ算出に関して説明する図である。 撮影アングルに応じた位置ずれ算出に関して説明する図である。 自己位置推定装置の機能構成例を示すブロック図である。
以下、添付図面にしたがって本発明に係る自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置の好ましい実施の形態について説明する。
図１は、検査対象物である構造物の一例である橋梁１の構造を示す斜視図であり、橋梁１を下から見た斜視図である。なお、本発明が適用される構造物は、橋梁に限定されるものではない。例えば、トンネル、ボックスカルバート、ダム、道路、水路、防波堤、建築物、タンク、船舶、堤防、護岸、法面、下水道、共同溝、駐車場、倉庫、および水槽において、本発明が適用される。また、橋梁１においても、床版、梁、橋脚、および橋台など、様々な箇所の構造物画像に本発明が適用される。
図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、格間とは床版６が対向する２つの主桁２および対向する２つの横桁３または対傾構４により区切られた空間のことであり、橋梁１の検査が行われるときには格間単位により検査が実施される場合がある。
図２は、撮像装置２００の一実施形態である二眼カメラ２０２を含むロボット装置１００の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図３は、図２に示したロボット装置１００の要部断面図である。なお、ロボット装置１００は、カメラ付き移動式ロボットであり、橋梁１の検査作業を目的とするロボットである。
図２および図３に示すようにロボット装置１００は、撮像装置２００を備え、撮像装置２００の３次元空間内の位置（撮影位置）を制御するとともに、撮像装置２００による撮影方向を制御して、橋梁１の点検時に複数の部材から構成された橋梁１の任意の点検部材等を撮影するものである。
ロボット装置１００は、後に詳しく説明するが、主フレーム１０２と、垂直伸延アーム１０４と、垂直伸延アーム１０４の駆動部および各種の制御部等が配設された筐体１０６と、筐体１０６を主フレーム１０２の長手方向（主桁２の長手方向と直交する方向）（Ｘ方向）に移動させるＸ方向駆動部１０８（図５）と、ロボット装置１００全体を主桁２の長手方向（Ｙ方向）に移動させるＹ方向駆動部１１０（図５）と、垂直伸延アーム１０４を垂直方向（Ｚ方向）に伸縮させるＺ方向駆動部１１２（図５）とを備えている。
Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転または逆転させることにより、筐体１０６をＸ方向に移動させる。
Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することによりロボット装置１００全体をＹ方向に移動させる。
なお、ロボット装置１００は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、ロボット装置１００は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、図示しないが、主桁２の間隔に合わせて長さが調整可能に構成されている。
垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向およびＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図５）によりＺ方向に伸縮する。
図４は二眼カメラおよびパンチルト機構１２０の外観斜視図である。図４に示すように垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向およびチルト方向に回転可能な二眼カメラ２０２が設置されている。
二眼カメラ２０２は、視差の異なる２枚の視差画像（立体画像）を撮影する第１の撮像部２０２Ａと第２の撮像部２０２Ｂとを有し、二眼カメラ２０２による撮影範囲に対応する構造物（橋梁１）の空間情報であって、二眼カメラ２０２を基準にしたローカル座標系（カメラ座標系）における橋梁１の空間情報を取得し、また、撮影される２つの画像のうちの少なくとも一方の画像を、点検調書に添付する「点検画像」として取得する。
また、二眼カメラ２０２は、パンチルト駆動部２０６（図５）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐａを中心に回転し、あるいは水平方向のチルト軸Ｔを中心に回転する。これにより、二眼カメラ２０２は任意の姿勢にて撮影（任意の撮影方向の撮影）ができる。
本例の二眼カメラ２０２の第１の撮像部２０２Ａの光軸Ｌ１と、第２の撮像部２０２Ｂの光軸Ｌ２とはそれぞれ平行である。また、パン軸Ｐａは、チルト軸Ｔと直交している。更に、二眼カメラ２０２の基線長（即ち、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの設置間隔）は既知である。
また、二眼カメラ２０２を基準にしたカメラ座標系は例えば、パン軸Ｐａとチルト軸Ｔとの交点を原点Ｏｒとし、チルト軸Ｔの方向をｘ軸方向、パン軸Ｐａの方向をｚ軸方向、ｘ軸およびｙ軸にそれぞれ直交する方向をｙ軸方向とする。
二眼カメラ２０２の位置（カメラ座標系の原点Ｏｒの位置）であって、グローバル座標系（橋梁座標系）における位置（以下、「撮影位置」という）は、全地球測位システム（ＧＰＳ：Global Positioning System)（以下、「ＧＰＳ装置」という）により検出し、または橋梁座標系の原点に対するロボット装置１００のＸ方向およびＹ方向の移動量、垂直伸延アーム１０４のＺ方向の移動量により検出することができる。また、二眼カメラ２０２による撮影方向は、パンチルト機構１２０のパン角度α、チルト角度βにより検出し、または二眼カメラ２０２に搭載した方位センサ（図示せず）により検出することができる。
図５は、点検システム１０の機能構成例を示すブロック図である。
図５に示すように点検システム１０は、ロボット装置１００側のロボット制御部１３０、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０およびＺ方向駆動部１１２と、撮像装置２００側の二眼カメラ２０２、撮影制御部２０４、パンチルト制御部２１０、およびパンチルト駆動部２０６と、ロボット側通信部２３０と、端末装置３００とから構成されている。
ロボット側通信部２３０は、端末側通信部３１０との間で双方向の無線通信を行い、端末側通信部３１０から送信されるロボット装置１００の移動を制御する移動指令、パンチルト機構１２０を制御するパンチルト指令、二眼カメラ２０２を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。
ロボット制御部１３０は、ロボット側通信部２３０から入力する移動指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、およびＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向およびＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図２参照）。
パンチルト制御部２１０は、ロボット側通信部２３０から入力するパンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向およびチルト方向に動作させ、二眼カメラ２０２を所望の方向にパンチルトさせる（図４参照）。
撮影制御部２０４は、ロボット側通信部２３０から入力する撮影指令に基づいて二眼カメラ２０２の第１の撮像部２０２Ａおよび第２の撮像部２０２Ｂにライブビュー画像、または点検画像の撮影を行わせる。
橋梁１の点検時に二眼カメラ２０２の第１の撮像部２０２Ａおよび第２の撮像部２０２Ｂにより撮影された視差の異なる第１の画像ＩＬおよび第２の画像ＩＲを示す画像データと、二眼カメラ２０２の撮影位置（橋梁座標系におけるカメラ座標系の原点Ｏｒの位置）および撮影方向（本例では、パン角度αおよびチルト角度β）を示す情報は、それぞれロボット側通信部２３０を介して端末側通信部３１０に送信される。
端末装置３００は、点検システム１０を操作する点検者により操作されるもので、主として端末側通信部３１０と、端末制御部３２０と、操作部として機能する入力部３３０と、表示部３４０と、記録部３５０とから構成されており、例えば、コンピュータまたはタブレット端末を適用することができる。また端末装置３００は、コンピュータまたはタブレット端末に通常備わる様々な機能を有し、例えば画像処理装置としても機能する。
端末側通信部３１０は、ロボット側通信部２３０との間で双方向の無線通信を行い、ロボット側通信部２３０が入力する各種の情報（第１の撮像部２０２Ａおよび第２の撮像部２０２Ｂにより撮影されたライブビュー画像、第１の画像ＩＬおよび第２の画像ＩＲを示す画像データ、二眼カメラ２０２の撮影位置および撮影方向を示す情報）を受信するとともに、端末制御部３２０を介して入力する入力部３３０での操作に応じた各種の指令をロボット側通信部２３０に送信する。
端末制御部３２０は、端末側通信部３１０を介して受信したライブビュー画像を示す画像データを表示部３４０に出力し、表示部３４０の画面にライブビュー画像を表示させる。入力部３３０は、ロボット操作入力部、パンチルト操作入力部および撮影操作入力部を有し、ロボット操作入力部は、ロボット装置１００（二眼カメラ２０２）をＸ方向、Ｙ方向およびＺ方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構１２０（二眼カメラ２０２）をパン方向およびチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ２０２による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部３４０に表示されるライブビュー画像を見ながら入力部３３０を手動操作し、入力部３３０は、点検者による操作に応じて二眼カメラ２０２のＸ方向、Ｙ方向およびＺ方向の移動指令、パンチルト指令、および撮影指令等の各種の指令を端末制御部３２０に出力する。端末制御部３２０は、入力部３３０から入力する各種の指令を端末側通信部３１０を介してロボット側通信部２３０に送信する。
また端末制御部３２０は、自己位置推定装置４００を有する。自己位置推定装置４００に関して以下で詳述する。
＜第１の実施形態＞
次に本発明の第１の実施形態である自己位置推定装置４００に関して説明する。
図６は、本実施形態の自己位置推定装置４００の機能構成例を示すブロック図である。自己位置推定装置４００は、主に第１の構造物画像取得部４０１、パノラマ合成部４０３、第１の画像座標取得部４０５、第１の相対位置座標算出部４０７、および構造物距離取得部４０８を有する。なお、以下の説明では、構造物画像の一例として床版画像が取得された例について説明する。よって、第１の構造物画像は第１の床版画像であり、第２の構造物画像は第２の床版画像であり、第３の構造物画像は第３の床版画像である。
第１の構造物画像取得部４０１は、検査対象である橋梁１の床版６を二眼カメラ２０２で分割撮影して得られた床版画像を取得する。具体的には第１の構造物画像取得部４０１は、カメラ付き移動式ロボットにより基準位置（第１の位置）において床版６を分割撮影して得た第１の床版画像と、カメラ付き移動式ロボットが基準位置から移動して自己位置推定位置（第２の位置）において床版６を分割撮影して得た第２の床版画像とを少なくとも含む複数の床版画像を取得する。ここで基準位置とは、自己位置推定を行う場合の基準となる位置であり例えばロボット装置１００の移動の初期位置である。また、自己位置推定位置とは、ロボット装置１００の自己位置の推定を行う位置であり、本発明ではこの自己位置推定位置の座標が算出されることにより、ロボット装置１００の自己位置の推定が行われる。
パノラマ合成部４０３は、第１の床版画像と第２の床版画像とを含む複数の床版画像をパノラマ合成したパノラマ合成画像を生成する。パノラマ合成部４０３は、公知の技術によって第１の構造物画像取得部４０１が取得した床版画像をパノラマ合成することができる。なおパノラマ合成部４０３は、パノラマ合成する際に必要になる各床版画像の順序や位置等に関する情報はロボット装置１００から取得する。
第１の画像座標取得部４０５は、パノラマ合成部４０３で生成されたパノラマ合成画像における基準位置に対応する第１の画像座標をパノラマ合成画像の座標系の原点として、自己位置推定位置に対応する第２の床版画像の特定位置の座標である第２の画像座標を取得する。基準位置に対応する第１の画像座標とは、ロボット装置１００の基準位置に関連する画像上の座標であり、例えば第１の床版画像の中心点（画像上の二眼カメラ２０２の光軸）または第１の床版画像の矩形の４つの頂点のうちのいずれか一つの座標である。また、第２の床版画像の特定位置の座標とは、ロボット装置１００の自己位置推定位置に関連する画像上の座標であり、例えば第２の床版画像の中心点または第２の床版画像の矩形の４つの頂点のうちのいずれか一つの座標である。
第１の相対位置座標算出部４０７は、第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する。ここで画像座標系とはパノラマ画像における座標のことであり、現実座標系（橋梁座標系）とはロボット装置１００が位置する現実の位置を示す座標のことである。
構造物距離取得部４０８は、撮像装置２００と床版６との距離を取得する。すなわち構造物距離取得部４０８は、撮像装置２００の床版６の撮影距離を例えば撮像装置２００で取得されるステレオ画像により取得する。ここで距離を測定するポイントは、ステレオ画像（左画像または右画像）上で手動決定、または画像認識で自動決定される。なお、撮影画像において同一平面が撮影されている場合には、距離を測定するポイントの指定は不要となる。また、構造物距離取得部４０８の距離の取得手段はステレオ画像によるものには限定されない。例えば構造物距離取得部４０８は、ユーザ入力により距離を取得してもよいし、ロボット装置１００に備えられる距離センサにより距離を取得してもよい。
次に図７および図８に沿って、第１の画像座標取得部４０５で行われる画像座標の取得に関して説明する。
図７は、ロボット装置１００が移動、停止、および撮影を順次繰り返して、床版６を分割撮影して取得した床版画像を概念的に示す図である。図７に示す場合では、ロボット装置１００は初期位置Ｓから自己位置推定位置Ｑまで図に示された経路に沿って移動し、床版画像ＡからＦがロボット装置１００により撮影されている。なお、ロボット装置１００は上述したように第１の撮像部２０２Ａと第２の撮像部２０２Ｂを有しているが、いずれか一つの撮像部または二つの撮像部により、床版画像は撮影される。また、ロボット装置１００は、複数の床版画像によりパノラマ合成画像を生成するために、合成のりしろが確保できるように各床版画像を撮影してもよい。例えば、パノラマ合成画像を生成する場合には、床版画像どうしの合成のりしろは片側において床版画像の３０％である。
ここで、初期位置Ｓで撮影された床版画像Ａは第１の床版画像であり、自己位置推定位置Ｑで撮影された床版画像Ｆは第２の床版画像である。またパノラマ合成部４０３は、枠Ｗで囲まれた床版画像ＡからＦをパノラマ合成してパノラマ合成画像を取得する。
図８は、パノラマ合成部４０３が合成したパノラマ合成画像を示す図である。パノラマ合成画像Ｐは、パノラマ合成部４０３により、図７で示された床版画像ＡからＦに基づいて生成されている。初期位置Ｓの座標は、原点Ｏを床版画像Ａの４つの頂点のうちのひとつ（図に向かって左上の頂点）とすると（ｘｉ，ｙｉ）と表すことができる。また自己位置推定位置Ｑの座標（ｘｎ，ｙｎ）は、初期位置Ｓから自己位置推定位置Ｑまでの移動量がＸおよびＹなので、（ｘｉ＋Ｘ，ｙｉ＋Ｙ）と表される。なお、図８に示した場合では、第１の画像座標は原点Ｏである床版画像Ａの一つの頂点（図に向かって左上の頂点）である。
ここで、第１の画像座標取得部４０５は、移動量をパノラマ合成画像Ｐにおいて初期位置Ｓと自己位置推定位置Ｑとの距離で求めることができる。例えば、第１の画像座標取得部４０５は、パノラマ合成画像Ｐにおける画素数をカウントすることにより自己位置推定位置Ｑの座標を求めることができる。
次に相対位置座標の取得に関して説明する。
相対位置座標は第１の相対位置座標算出部４０７により算出される。第１の相対位置座標算出部４０７は、第１の画像座標取得部４０５が取得した自己位置推定位置Ｑの画像座標に対して変換係数を用いることにより、画像座標系から現実座標系へ変換をして、自己位置推定位置（現在位置）Ｑの相対位置座標を取得する。
変換係数は以下で説明するように算出することが可能である。図９は、変換係数の算出に関して説明する図である。
変換係数は、ロボット装置１００の撮像装置２００から床版６までの距離、撮像装置２００の焦点距離、撮像装置２００の撮像素子２５０のサイズ、および撮像装置２００で撮影される画像の画素数から算出される。
撮像装置２００から床版６までの距離をＤ、第１の撮像部２０２Ａのレンズの焦点距離をＦ、撮像装置２００の撮像素子２５０のサイズをＳｘ×Ｓｙとし、撮影画像画素数（床版画像）をＰｘ×Ｐｙとする。この場合に、床版画像に対応した床版６の撮影範囲は以下のように算出することができる。なお、撮像装置２００から床版６までの距離Ｄは、構造物距離取得部４０８により取得される。
Ｘ軸における床版の撮影範囲（Ａｘ）＝Ｄ×Ｓｘ／Ｆ
Ｙ軸における床版の撮影範囲（Ａｙ）＝Ｄ×Ｓｙ／Ｆ
そして画像座標系から現実座標系への変換係数（Ｔｘ，Ｔｙ）は、以下のように算出される。
Ｔｘ＝Ａｘ／Ｐｘ
Ｔｙ＝Ａｙ／Ｐｙ
以下に具体例を使用して説明をする。
撮像装置２００から床版６までの距離：Ｄ＝２１００ｍｍ、焦点距離：Ｆ＝２７ｍｍ、撮像素子２５０（イメージセンサ（ＡＰＳ（Advanced Photo System）−Ｃ））：Ｓｘ＝２３．６ｍｍ、Ｓｙ＝１５．６ｍｍ、撮影画像画素数：Ｐｘ＝４８３６ピクセル、Ｐｙ＝３２６４ピクセルとする。
上述の条件では、床版画像の撮影範囲は以下のようになる。
Ｘ軸の床版の撮影範囲（Ａｘ）＝１８３５．６ｍｍ
Ｙ軸の床版の撮影範囲（Ａｙ）＝１２１３．３ｍｍ
そしてこの場合、変換係数（Ｔｘ，Ｔｙ）は、以下のように求められる。
Ｔｘ＝０．３７５、Ｔｙ＝０．３７２
次に、上述のように算出された変換係数を用いて、第１の相対位置座標算出部４０７により算出される相対位置座標に関して説明をする。
例えば、第１の画像座標取得部４０５により自己位置推定位置Ｑの画像座標（Ｘｐ，Ｙｐ）および移動量（Ｌｐｘ，Ｌｐｙ）が取得された場合に、現実座標系における相対位置座標（Ｘｒ，Ｘｒ）および現実移動量（Ｌｒｘ，Ｌｒｙ）は以下のように算出される。
Ｘｒ＝Ｘｐ×Ｔｘ、Ｙｒ＝Ｙｐ×Ｔｙ
Ｌｒｘ＝Ｌｐｘ×Ｔｘ、Ｌｒｙ＝Ｌｐｙ×Ｔｙ
ここで相対位置座標（Ｘｒ，Ｘｒ）は、自己位置推定位置Ｑに対応する現実座標系での位置を示し、現実移動量は初期位置Ｓから自己位置推定位置Ｑまでの現実座標系における移動量を示す。
自己位置推定装置４００は、第１の相対位置座標算出部４０７により算出された相対位置座標を相対的な自己位置として推定する。
図１０は自己位置推定装置４００の動作フローを示す図である。
先ず、ロボット装置１００の撮像装置２００により床版画像が撮影される（ステップＳ１０）。その後ロボット装置１００は次の撮影位置に移動する（ステップＳ１１）。そして、ロボット装置１００が移動した後に、移動した位置（撮影位置）で床版６を撮影する（ステップＳ１２）。その後、ロボット装置１００のロボット制御部１３０は自己位置推定を行うか否かを判定する（ステップＳ１３）。ロボット制御部１３０が自己位置推定を移動先の位置では行わないと判定した場合には、ロボット装置１００は撮影計画に沿って次の移動地点に移動する。なお、ロボット装置１００は、予め定められた移動経路および撮影位置から構成される撮影計画に沿って、移動および床版画像の撮影を行う。自己位置推定装置４００による自己位置の推定は、例えば撮影計画に沿って、ロボット装置１００が移動しているか否かの確認のために行われる。
一方、ロボット装置１００のロボット制御部１３０が自己位置推定を行うと判定した場合には、自己位置推定装置４００が作動する。
先ず、自己位置推定装置４００の第１の構造物画像取得部４０１により撮像装置２００で撮影された床版画像が取得される（第１の構造物画像取得ステップ：ステップＳ１４）。その後、パノラマ合成部４０３は、第１の構造物画像取得部４０１により取得された複数の床版画像により、パノラマ合成画像を合成する（パノラマ合成ステップ：ステップＳ１５）。その後第１の画像座標取得部４０５は、自己位置推定が行われる自己位置推定位置Ｑ（現在位置）の画像座標を取得する（第１の画像座標取得ステップ：ステップＳ１６）。そして第１の相対位置座標算出部４０７は、相対的な自己位置である相対位置座標を算出する（第１の相対位置座標算出ステップ：ステップＳ１７）。その後自己位置推定装置４００は、相対位置座標を相対的な自己位置として推定する。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
＜第２の実施形態＞
次に本発明の第２の実施形態に関して説明する。
図１１は、本実施形態の自己位置推定装置４００の機能構成例を示すブロック図である。自己位置推定装置４００は、主に第１の構造物画像取得部４０１、パノラマ合成部４０３、第１の画像座標取得部４０５、第１の相対位置座標算出部４０７、構造物距離取得部４０８、第１の絶対位置座標算出部４１９、および初期絶対位置座標取得部４１７を有する。なお、図６で既に説明を行った箇所は、同じ番号を付し説明は省略する。
初期絶対位置座標取得部４１７は、初期位置Ｓの絶対位置座標を取得する。ここで初期位置Ｓの絶対位置座標とは、主桁２と横桁３とで囲まれる格間、または主桁２と対傾構４とで囲まれる格間における座標系である。初期絶対位置座標取得部４１７は、第１の位置から橋梁１の主桁２までの距離情報、および、第１の位置から橋梁１の横桁３または対傾構４までの距離情報により、第１の位置の絶対的な位置座標である第１の絶対位置座標を取得する。この場合は、第１の位置は初期位置Ｓである。
第１の絶対位置座標算出部４１９は、相対位置座標および第１の絶対位置座標に基づいて、絶対的な自己位置として、自己位置推定位置Ｑの絶対的な位置座標である第２の絶対位置座標を算出する。第１の絶対位置座標算出部４１９は、例えば第１の相対位置座標算出部４０７で算出された相対位置座標に第１の絶対位置座標を加算することにより、第２の絶対位置座標を算出する。ここで第２の絶対位置座標とは、例えば原点Ｏを格間における主桁２と横桁３との交わる箇所、または主桁２と対傾構４との交わる箇所にして、格間において主桁をＸ軸、横桁（対傾構）をＹ軸とした場合の座標系に属する。
次に、初期絶対位置座標取得部４１７の初期絶対位置座標の取得に関して説明する。図１２は、初期絶対位置座標取得部４１７の第１の絶対位置座標の取得の例を示す図である。
図１２に示す場合では、ロボット装置１００の二眼カメラ２０２が距離測定装置として使用され、初期位置Ｓから主桁２までの距離、初期位置Ｓから横桁３または対傾構４までの距離、および床版６までの距離が取得される。すなわち、ロボット装置１００は、初期位置Ｓにおいて二眼カメラ２０２をパンおよび／またはチルト駆動させて、初期位置Ｓから主桁２までの距離、初期位置Ｓから横桁３または対傾構４までの距離、および床版６までの距離を取得し、第１の絶対位置座標を取得する。なお、図４に示したロボット装置１００は二眼カメラ２０２を距離センサとして使用しているがこれに限定されるものではなく、ロボット装置１００にレーザ距離センサ等を備えてもよい。また、二眼カメラ２０２から床版６までの距離は、構造物距離取得部４０８で取得される距離である。
図１３は、初期絶対位置座標取得部４１７の第１の絶対位置座標の取得の例を示す図である。図１３は、初期位置Ｓで撮影された床版画像Ａが示されている。床版画像Ａには主桁２および横桁３が写っており、また主桁２と横桁３との接続部分も写っている。初期絶対位置座標取得部４１７は、画像処理を行うことにより床版画像Ａにおいて、主桁２と横桁３との接続部分を原点Ｏとし床版画像Ａの画像の中心を初期位置Ｓとした場合の初期絶対位置座標を取得する。また、ロボット装置１００から床版６までの距離は二眼カメラ２０２やロボット装置１００に備えられるレーザ距離センサ等で計測される。
なお、以上で説明した初期絶対位置座標取得部４１７はロボット装置１００の初期位置Ｓの絶対座標の取得に関して説明したが、初期絶対位置座標取得部４１７の上述で説明した手法は初期位置Ｓの絶対座標の取得に限定されない。すなわち、例えば初期絶対位置座標取得部４１７と同じ手法を用いて、任意の位置での絶対座標を取得し、その絶対座標を基準にして自己位置推定装置４００に自己位置の推定を行わせてもよい。このように任意の位置の絶対座標を基準にして自己位置推定を行うことにより、自己位置推定装置４００の累積誤差を補正することが可能となる。
また、上述した例は、橋梁１の主桁２をＸ軸とし、橋梁１の横桁３または対傾構４をＹ軸とし、主桁２と横桁３とが交わる箇所を絶対位置座標の原点Ｏにして、第１の絶対位置座標を算出する例である。本発明はこの例に限定されるものではない。例えば床版以外の構造物の場合には、構造物上の任意の点を絶対座標の原点Ｏとして、橋梁１の主桁２と横桁３との関係のように、絶対座標の原点Ｏで直交する目印となるような構造物の物体を応用することができる。また例えば、構造物上の任意の点を絶対座標の原点Ｏと定義し、併せてＸ軸およびＹ軸を定義して、第１の位置（初期位置）からＸ軸方向およびＹ軸方向までの距離を予め取得しておくことにより、第１の絶対位置座標（初期絶対位置座標）を取得することもできる。
＜第３の実施形態＞
次に本発明の第３の実施形態に関して説明する。
図１４は、本実施形態の自己位置推定装置４００の機能構成例を示すブロック図である。自己位置推定装置４００は、第１の構造物画像取得部４０１、パノラマ合成部４０３、第１の画像座標取得部４０５、第１の相対位置座標算出部４０７、構造物距離取得部４０８、第１の絶対位置座標算出部４１９、初期絶対位置座標取得部４１７、記憶部４１５、第２の構造物画像取得部４２１、第２の画像座標取得部４２３、第２の相対位置座標算出部４２５、および第２の絶対位置座標算出部４２７を有する。なお、図６および図１１で既に説明を行った箇所は、同じ番号を付し説明は省略する。
記憶部４１５は、パノラマ合成部４０３でパノラマ合成されたパノラマ合成画像を記憶する。上述で説明したようにパノラマ合成部４０３において生成されたパノラマ合成画像は、一度生成されると本実施形態で説明するようにマップとして使用することができる。したがって、記憶部４１５は、パノラマ合成部４０３で合成されたパノラマ合成画像を記憶し、必要に応じて読み出せるようにしておく。
第２の構造物画像取得部４２１は、ロボット装置１００をパノラマ合成画像における床版画像が撮影できる任意の位置である自己位置推定位置Ｑ（第３の位置）に移動させ、自己位置推定位置Ｑで床版６を分割撮影した床版画像（第３の床版画像）を取得する。すなわち、パノラマ合成画像が一度合成された後に、パノラマ合成画像を構成する床版画像が撮影された範囲内に再びロボット装置１００が移動し、パノラマ合成画像に含まれる床版画像が撮影され、そして第２の構造物画像取得部４２１はその床版画像を取得する。例えばロボット装置１００は、橋梁１を検査する場合に往路では床版６の分割撮影を行いパノラマ合成画像を生成し、復路では任意の箇所の床版画像を撮影しその撮影位置（自己位置推定位置Ｑ）を推定する。
第２の画像座標取得部４２３は、第２の構造物画像取得部４２１に取得された床版画像とパノラマ合成画像とを照合することにより、第１の画像座標をパノラマ合成画像の座標系の原点Ｏとして、第３の床版画像の特定位置の座標である第３の画像座標を取得する。すなわち、第２の画像座標取得部４２３は、記憶部４１５から既に合成されているパノラマ合成画像を読み出し、その読み出したパノラマ合成画像と第２の構造物画像取得部４２１に取得された床版画像とを照合して、第３の画像座標を取得する。なお第２の画像座標取得部４２３が行う照合には公知の技術が適用される。
第２の相対位置座標算出部４２５は、第３の画像座標を画像座標系から現実座標系への変換係数により変換して、相対的な自己位置として、自己位置推定位置Ｑの相対的な位置座標である相対位置座標を算出する。ここで使用される変換係数は、既に説明を行ったように算出される。
第２の絶対位置座標算出部４２７は、相対位置座標および第１の絶対位置座標に基づいて、絶対的な自己位置として、第３の位置の絶対的な位置座標である第３の絶対位置座標を算出する。すなわち、第２の絶対位置座標算出部４２７は、上述した第１の絶対位置座標算出部４１９と同様に、初期絶対位置座標取得部４１７から第１の絶対位置座標を取得して第３の位置の絶対位置座標を算出する。
図１５は、本実施形態の第２の絶対位置座標算出部４２７の第３の絶対位置座標の取得に関して説明する図である。
図１５には、パノラマ合成画像Ｐとパノラマ合成画像Ｐの範囲内の床版画像Ｚが示されている。床版画像Ｚの画像中心Ｑは自己位置推定位置Ｑに対応する点であり、床版画像Ｚは第３の床版画像である。第２の絶対位置座標算出部４２７は、記憶部４１５から取得されたパノラマ合成画像Ｐにおける床版画像Ｚの画像中心Ｑの絶対位置座標を取得する。なお、図１５に示されたパノラマ合成画像Ｐは主桁２と横桁３との接続部を原点Ｏとして設定されており、主桁２に沿ってＸ軸および横桁３に沿ってＹ軸が設定されている。パノラマ合成画像Ｐにおける画像中心Ｑの画像座標に基づいて、画像中心Ｑに対応するロボット装置１００の絶対位置座標が算出される。
以上の説明では、１台のロボット装置１００で橋梁１の検査を行う場合を説明したが、ロボット装置１００を２台使用して検査を行う方法も考えらえれる。この場合、第１のロボット装置１００が分割された床版画像によりパノラマ合成画像を作成し、追随する第２のロボット装置１００が第１のロボット装置１００が作成したパノラマ合成画像（マップ）を頼りに本実施形態の方法で自己位置を推定しつつ鋼部材を撮影してもよい。
＜第４の実施形態＞
次に本発明の第４の実施形態に関して説明する。
図１６は、本実施形態の自己位置推定装置４００の機能構成例を示すブロック図である。自己位置推定装置４００は、主に第１の構造物画像取得部４０１、パノラマ合成部４０３、第１の画像座標取得部４０５、第１の相対位置座標算出部４０７、構造物距離取得部４０８、平面算出部４２９、および画像座標補正部４３１を有する。なお、図６で既に説明を行った箇所は、同じ番号を付し説明は省略する。
平面算出部４２９は、ロボット装置１００が撮影したステレオ画像４３２により、床版６の平面を算出する。すなわち、ロボット装置１００の二眼カメラ２０２により撮影されたステレオ画像４３２に基づいて、平面算出部４２９は床版６の平面方程式（法線ベクトル）が推定する。
画像座標補正部４３１は、平面算出部４２９で算出された平面に基づいて、第２の画像座標を補正する。すなわち画像座標補正部４３１は、平面算出部４２９で算出された床版６の平面に基づいて、第１の画像座標取得部４０５で取得される第２の画像座標に補正を行う。なお、図１６では画像座標補正部４３１が第１の画像座標取得部４０５で取得された第２の画像座標を補正する場合について説明するが、画像座標補正部４３１は第２の画像座標取得部４２３で取得された第３の画像座標を補正してもよい。
次に、平面算出部４２９および画像座標補正部４３１で行われる撮影アングルに応じた推定位置の補正に関して図１７から図１９に沿って具体的に説明を行う。
図１７は、平面算出部４２９が行う平面推定を説明する概念図である。図１７中のｘ、ｙ、ｚはカメラ座標系を表し、ｚ軸は撮像装置２００の光軸を示す。
平面算出部４２９は、撮像装置２００で取得されたステレオ画像４３２において左画像と右画像との平行化を行い、左画像と右画像との視差を算出し、３次元座標を推定して、以下のような平面方程式を算出する。
平面方程式：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
図１８および図１９は撮影アングルに応じた位置ずれ算出に関して説明する図である。
図１８は橋梁１を横から見た図であり、図１９は橋梁１の水平面の床を上から見た図である。平面（床版６）の法線ベクトルを（ａ，ｂ，ｃ）、カメラ光軸ベクトルを（ｅ，ｆ，ｇ）＝（０，０，１）とすると、平面とカメラ光軸のなす角θは以下の式で求められる。
床版６までの距離をＤとすると、位置ずれ量δは、δ＝Ｄ×ｓｉｎθで求められる。
次に、図１９に示すように絶対座標（格間座標）Ｘ，Ｙ方向への位置ずれ量δＸおよびδＹに分解する。ここで、橋梁座標のＸ軸とカメラ光軸のなす角をαとすると、以下のようにδＸおよびδＹに分解することができる。
ｔａｎα＝ｂ／ａ
δＸ＝δ×ｃｏｓα
δＹ＝δ×ｓｉｎα
画像座標補正部４３１は、取得した画像座標（撮影画像の中心がカメラ位置として推定した位置）（Ｘ，Ｙ）に対して、位置ずれ量（δＸ，δＹ）を使用して補正する。
＜第５の実施形態＞
次に本発明の第５の実施形態に関して説明する。
図２０は、本実施形態の自己位置推定装置４００の機能構成例を示すブロック図である。自己位置推定装置４００は、主に第１の構造物画像取得部４０１、パノラマ合成部４０３、第１の画像座標取得部４０５、第１の相対位置座標算出部４０７、構造物距離取得部４０８、合成精度評価部４３３、および画像ボケ判定部４３５を有する。なお、図６で既に説明を行った箇所は、同じ番号を付し説明は省略する。
合成精度評価部４３３は、パノラマ合成画像における重畳領域において、一方の画像から抽出した画像を使用して他方の画像においてテンプレートマッチングを行うことにより、重畳領域における合成精度を評価し、その評価に基づいて、第１の画像座標取得部４０５に第２の画像座標を取得させるか否かの判定を行う。すなわち合成精度評価部４３３は、パノラマ合成画像の重畳領域における合成精度を評価して、合成精度が良好である場合にはそのまま第１の画像座標取得部に画像座標の取得を開始させ、合成精度が不良である場合には画像ボケ判定部４３５に取得した床版画像のボケの判定を開始させる。以下に合成精度評価部４３３が行う合成精度評価の方法に関して説明する。
先ず合成精度評価部４３３は、画像ｉ、ｊの重畳領域に含まれる画像ｉからある大きさのテンプレート画像を複数抽出する。次に合成精度評価部４３３は、画像ｉから抽出したテンプレート画像を用いて画像ｊの重畳領域にテンプレートマッチングを実行する。その後画像ｉからの抽出位置と画像ｊ上でのテンプレートマッチング結果との画素ずれ量を算出する。そして合成精度評価部４３３は、精度評価値（複数テンプレートマッチングの結果の画素ずれ量の平均値・最大値・標準偏差など）を算出する。なお、合成精度評価部４３３が行う精度高または精度低の判定は、位置推定精度などにより予め決められた閾値で行われる。また閾値の決定には誤差累積も考慮に入れることが好ましい。
具体例としては、格間内で自己位置の推定誤差１００ｍｍ以内（誤差累積含む）と設定した場合、格間長辺方向に５回の合成をする。この場合、合成１回あたりの許容最大誤差は１００（ｍｍ）／５（回）／０．３７５（１画素あたりの距離（ｍｍ／ｐｉｘｅｌ））＝５３．３ｐｉｘｅｌと算出することができる。実際に設計を行う場合には、やや余裕を持たせて、１回あたりの許容最大誤差は５０画素としてもよい。
合成精度評価部４３３が行った合成精度評価の結果が不良であった場合に画像ボケ判定部４３５は、取得された床版画像のボケの判定が行われる。画像ボケ判定部４３５は、第１の構造物画像取得部４０１で取得された複数の床版画像に対して、空間周波数解析を行い空間周波数解析の結果に基づいて、第１の構造物画像取得部４０１に床版画像の取得を再度行わせるか否かの判定を行う。具体的には、画像ボケ判定部４３５は、第１の構造物画像取得部４０１が取得した床版画像に対して空間周波数解析（ＦＦＴ）を行い高周波成分の有無を判定する。画像ボケ判定部４３５は、高周波成分が有る場合にはボケなし画像として判定し、高周波成分が無い場合にはボケ画像として判定する。なお、高周波成分の有無は閾値で判定し、その閾値は過去の床版撮影画像を解析して予め決定することができる。画像ボケ判定部４３５の判定結果で床版画像がボケ画像であるとされた場合には、ロボット装置１００は床版画像を再撮影する。この場合撮像装置２００の撮影条件等が適宜調節される。一方、画像ボケ判定部４３５の判定結果で床版画像がボケ画像でないとされた場合には、パノラマ合成の際の各床版画像の合成のりしろが不足している可能性があるので、ロボット装置１００を移動（後退または前進）させて再撮影が行われる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１０ 点検システム
１００ ロボット装置
１０２ 主フレーム
１０４ 垂直伸延アーム
１０４Ａ カメラ設置部
１０６ 筐体
１０８ Ｘ方向駆動部
１０８Ａ ボールネジ
１０８Ｂ ボールナット
１０８Ｃ モータ
１１０ Ｙ方向駆動部
１１０Ａ タイヤ
１１０Ｂ タイヤ
１１２ Ｚ方向駆動部
１２０ パンチルト機構
１３０ ロボット制御部
２００ 撮像装置
２０２ 二眼カメラ
２０２Ａ 第１の撮像部
２０２Ｂ 第２の撮像部
２０４ 撮影制御部
２０６ パンチルト駆動部
２１０ パンチルト制御部
２３０ ロボット側通信部
２５０ 撮像素子
３００ 端末装置
３１０ 端末側通信部
３２０ 端末制御部
３３０ 入力部
３４０ 表示部
３５０ 記録部
４００ 自己位置推定装置
４０１ 第１の構造物画像取得部
４０３ パノラマ合成部
４０５ 第１の画像座標取得部
４０７ 第１の相対位置座標算出部
４０８ 構造物距離取得部
４１５ 記憶部
４１７ 初期絶対位置座標取得部
４１９ 第１の絶対位置座標算出部
４２１ 第２の構造物画像取得部
４２３ 第２の画像座標取得部
４２５ 第２の相対位置座標算出部
４２７ 第２の絶対位置座標算出部
４２９ 平面算出部
４３１ 画像座標補正部
４３２ ステレオ画像
４３３ 合成精度評価部
４３５ 画像ボケ判定部
Ａ〜Ｆ、Ｚ 床版画像
Ｐ パノラマ合成画像
ステップＳ１０〜ステップＳ１７ 自己位置推定工程

Claims (14)

  1. 構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定装置であって、
    前記カメラ付き移動式ロボットにより第１の位置において前記構造物を分割撮影して得た第１の構造物画像と、前記カメラ付き移動式ロボットが前記第１の位置から移動して第２の位置において前記構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得部と、
    前記第１の構造物画像と前記第２の構造物画像とを含む前記複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成部と、
    前記パノラマ合成画像における前記第１の位置に対応する第１の画像座標を前記パノラマ合成画像の座標系の原点として、前記第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得部と、
    前記第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出部と、
    を備える自己位置推定装置。
  2. 前記カメラ付き移動式ロボットを前記パノラマ合成画像における構造物画像が撮影できる任意の位置である第３の位置に移動させ、前記第３の位置で前記構造物を分割撮影した第３の構造物画像を取得する第２の構造物画像取得部と、
    前記第３の構造物画像と前記パノラマ合成画像とを照合することにより、前記第１の画像座標を前記パノラマ合成画像の座標系の原点として、前記第３の構造物画像の特定位置の座標である第３の画像座標を取得する第２の画像座標取得部と、
    前記第３の画像座標を画像座標系から現実座標系への前記変換係数により変換して、相対的な自己位置として、前記第３の位置の相対的な位置座標である相対位置座標を算出する第２の相対位置座標算出部と、
    を更に備える請求項１に記載の自己位置推定装置。
  3. 前記第１の位置から前記構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報、および、前記第１の位置から前記絶対位置座標の原点までのＹ軸方向の距離情報により、前記第１の位置の絶対的な位置座標である第１の絶対位置座標を取得する初期絶対位置座標取得部と、
    前記相対位置座標および前記第１の絶対位置座標に基づいて、絶対的な自己位置として、前記第２の位置の絶対的な位置座標である第２の絶対位置座標を算出する第１の絶対位置座標算出部と、
    を更に備える請求項１または２に記載の自己位置推定装置。
  4. 前記第１の位置から前記構造物上に設定された絶対位置座標の原点までのＸ軸方向の距離情報、および、前記第１の位置から前記絶対位置座標の原点までのＹ軸方向の距離情報により、前記第１の位置の絶対的な位置座標である第１の絶対位置座標を取得する初期絶対位置座標取得部と、
    前記相対位置座標および前記第１の絶対位置座標に基づいて、絶対的な自己位置として、前記第３の位置の絶対的な位置座標である第３の絶対位置座標を算出する第２の絶対位置座標算出部と、
    を更に備える請求項２に記載の自己位置推定装置。
  5. 前記初期絶対位置座標取得部は、前記カメラ付き移動式ロボットが有する距離測定装置により、前記第１の位置から前記Ｘ軸までの距離、前記第１の位置から前記Ｙ軸までの距離、および前記構造物までの距離を取得し、前記第１の絶対位置座標を取得する請求項３または４に記載の自己位置推定装置。
  6. 前記初期絶対位置座標取得部は、前記カメラ付き移動式ロボットが撮影した画像から、前記第１の位置から前記Ｘ軸までの距離、および、前記第１の位置から前記Ｙ軸までの距離を取得し、前記カメラ付き移動式ロボットが有する距離測定装置により、前記第１の位置から前記構造物までの距離を取得して、前記第１の絶対位置座標を取得する請求項３または４に記載の自己位置推定装置。
  7. 前記変換係数は、前記カメラ付き移動式ロボットのカメラから前記構造物までの距離、前記カメラが有する焦点距離、前記カメラの撮像素子のサイズ、および前記カメラで撮影される画像の画素数から算出される請求項１から６のいずれか１項に記載の自己位置推定装置。
  8. 前記カメラ付き移動式ロボットが撮影したステレオ画像により、前記構造物の平面を算出する平面算出部と、
    前記算出された前記平面に基づいて、前記第２の画像座標を補正する画像座標補正部と、
    を更に備える請求項１に記載の自己位置推定装置。
  9. 前記カメラ付き移動式ロボットが撮影したステレオ画像により、前記構造物の平面を算出する平面算出部と、
    前記算出された前記平面に基づいて、前記第３の画像座標を補正する画像座標補正部と、を更に備える請求項２に記載の自己位置推定装置。
  10. 前記パノラマ合成画像における重畳領域において、一方の画像から抽出した画像を使用して他方の画像においてテンプレートマッチングを行うことにより、前記重畳領域における合成精度を評価し、前記評価に基づいて、前記第１の画像座標取得部に前記第２の画像座標を取得させるか否かの判定を行う合成精度評価部を更に備える請求項１から９のいずれか１項に記載の自己位置推定装置。
  11. 前記第１の構造物画像取得部で取得された前記複数の構造物画像に対して、空間周波数解析を行い前記空間周波数解析の結果に基づいて、前記第１の構造物画像取得部に前記構造物画像の取得を再度行わせるか否かの判定を行う画像ボケ判定部を更に備える請求項１から１０のいずれか１項に記載の自己位置推定装置。
  12. 請求項１から１１のいずれか１項に記載の自己位置推定装置を有する画像処理装置。
  13. 構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定方法であって、
    前記カメラ付き移動式ロボットにより第１の位置において前記構造物を分割撮影して得た第１の構造物画像と、前記カメラ付き移動式ロボットが前記第１の位置から移動して第２の位置において前記構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得ステップと、
    前記第１の構造物画像と前記第２の構造物画像とを含む前記複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成ステップと、
    前記パノラマ合成画像における前記第１の位置に対応する第１の画像座標を前記パノラマ合成画像の座標系の原点として、前記第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得ステップと、
    前記第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出ステップと、
    を含む自己位置推定方法。
  14. 構造物の検査を構造物を分割撮影することにより行うカメラ付き移動式ロボットの自己位置を推定する自己位置推定方法をコンピュータに実行させるプログラムであって、
    前記カメラ付き移動式ロボットにより第１の位置において前記構造物を分割撮影して得た第１の構造物画像と、前記カメラ付き移動式ロボットが前記第１の位置から移動して第２の位置において前記構造物を分割撮影して得た第２の構造物画像とを少なくとも含む複数の構造物画像を取得する第１の構造物画像取得ステップと、
    前記第１の構造物画像と前記第２の構造物画像とを含む前記複数の構造物画像をパノラマ合成したパノラマ合成画像を生成するパノラマ合成ステップと、
    前記パノラマ合成画像における前記第１の位置に対応する第１の画像座標を前記パノラマ合成画像の座標系の原点として、前記第２の構造物画像の特定位置の座標である第２の画像座標を取得する第１の画像座標取得ステップと、
    前記第２の画像座標を画像座標系から現実座標系へ変換する変換係数を用いて、相対的な自己位置として、第２の位置の相対的な現実座標である相対位置座標を算出する第１の相対位置座標算出ステップと、
    をコンピュータに実行させるプログラム。
JP2018543861A 2016-10-07 2017-09-27 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置 Active JP6725675B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016199239 2016-10-07
JP2016199239 2016-10-07
JP2017173283 2017-09-08
JP2017173283 2017-09-08
PCT/JP2017/035014 WO2018066435A1 (ja) 2016-10-07 2017-09-27 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2018066435A1 JPWO2018066435A1 (ja) 2019-07-18
JP6725675B2 true JP6725675B2 (ja) 2020-07-22

Family

ID=61831951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543861A Active JP6725675B2 (ja) 2016-10-07 2017-09-27 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置

Country Status (5)

Country Link
US (1) US11107240B2 (ja)
EP (1) EP3525169A4 (ja)
JP (1) JP6725675B2 (ja)
CN (1) CN110178157B (ja)
WO (1) WO2018066435A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060669A (ja) * 2019-10-03 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN115401689B (zh) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN116051540B (zh) * 2023-03-06 2023-07-14 武汉科技大学 基于点云模型的互感器接线端子定位位姿获取方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
JP2006220521A (ja) 2005-02-10 2006-08-24 Hitachi Ltd 自己位置計測装置及び自己位置計測方法を実行するためのプログラム
JP4469757B2 (ja) * 2005-05-31 2010-05-26 株式会社東芝 画像処理装置
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
JP5803367B2 (ja) * 2011-07-15 2015-11-04 富士通株式会社 自己位置推定装置、自己位置推定方法およびプログラム
US9177384B2 (en) * 2013-07-31 2015-11-03 Trimble Navigation Limited Sequential rolling bundle adjustment
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
CN103927739B (zh) * 2014-01-10 2016-11-23 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
JP6132981B2 (ja) * 2014-03-24 2017-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行機の状態をリアルタイムに修正する方法および装置
JP6355518B2 (ja) * 2014-10-14 2018-07-11 富士フイルム株式会社 橋梁検査ロボットシステム
JP6355517B2 (ja) * 2014-10-14 2018-07-11 富士フイルム株式会社 橋梁検査ロボットシステム
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位系统及方法
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
JP6394462B2 (ja) * 2015-03-30 2018-09-26 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6556015B2 (ja) * 2015-10-09 2019-08-07 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
JP6514125B2 (ja) * 2016-01-27 2019-05-15 京セラ株式会社 電子機器、電子機器の制御方法、制御プログラム並びに制御装置

Also Published As

Publication number Publication date
JPWO2018066435A1 (ja) 2019-07-18
US11107240B2 (en) 2021-08-31
WO2018066435A1 (ja) 2018-04-12
CN110178157B (zh) 2023-07-14
CN110178157A (zh) 2019-08-27
EP3525169A1 (en) 2019-08-14
US20190220998A1 (en) 2019-07-18
EP3525169A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
JP6560366B2 (ja) 構造物の部材特定装置及び方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP6450481B2 (ja) 撮像装置及び撮像方法
CN108432227B (zh) 摄影辅助装置及摄影辅助方法
JP5388921B2 (ja) ３次元距離計測装置及びその方法
JP6725675B2 (ja) 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置
CN102798456B (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
CN111707668B (zh) 基于序列图像的隧道检测及图像处理方法
JP2008058264A (ja) 実河川を対象とした流速観測装置、流速観測方法，および流速観測プログラム
JP2007218705A (ja) 白線モデル計測システム、計測台車および白線モデル計測装置
JP2002156229A (ja) 構造物の移動式変位計測方法及び装置
WO2018070354A1 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
KR100998063B1 (ko) 교량의 변형량 측정방법
KR102044639B1 (ko) 스테레오 카메라 정렬 방법 및 장치
JP5007786B2 (ja) 映像監視装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200625

R150 Certificate of patent or registration of utility model

Ref document number: 6725675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250