JP6715340B2 - 撮影計画生成装置、撮影計画生成方法、およびプログラム - Google Patents

撮影計画生成装置、撮影計画生成方法、およびプログラム Download PDF

Info

Publication number
JP6715340B2
JP6715340B2 JP2018544989A JP2018544989A JP6715340B2 JP 6715340 B2 JP6715340 B2 JP 6715340B2 JP 2018544989 A JP2018544989 A JP 2018544989A JP 2018544989 A JP2018544989 A JP 2018544989A JP 6715340 B2 JP6715340 B2 JP 6715340B2
Authority
JP
Japan
Prior art keywords
shooting
floor slab
space
camera
plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018544989A
Other languages
English (en)
Other versions
JPWO2018070354A1 (ja
Inventor
修平 堀田
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018070354A1 publication Critical patent/JPWO2018070354A1/ja
Application granted granted Critical
Publication of JP6715340B2 publication Critical patent/JP6715340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/02Program-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023Cartesian coordinate type
    • B25J9/026Gantry-type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01DCONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D19/00Structural or constructional details of bridges
    • E01D19/10Railings; Protectors against smoke or gases, e.g. of locomotives; Maintenance travellers; Fastening of pipes or cables to bridges
    • E01D19/106Movable inspection or maintenance platforms, e.g. travelling scaffolding or vehicles specially designed to provide access to the undersides of bridges
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Bridges Or Land Bridges (AREA)

Description

本発明は、撮影計画生成装置、撮影計画生成方法、およびプログラムに関し、特にカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置、撮影計画生成方法、およびプログラムに関する。
従来より、カメラを装備したロボット装置(カメラ付き移動式ロボット)により橋梁などの建造物を撮影し、その撮影画像を使用して建造物の検査を行う技術が提案されている。
例えば特許文献1では、橋梁の床版の下面や鋼鈑桁の検査を行う場合に、橋梁の下面に懸垂台車とレールにより取り付けられた移動可能なカメラ付きロボットが開示されている。
また従来より、移動式ロボットの移動計画を生成することに関する技術が提案されている。
例えば特許文献2では、ロボット装置を目的地に移動させる場合の移動経路計画の生成に関する技術が開示されている。特許文献2に記載された技術では、移動経路上の未観測領域を一定の条件の下でロボット装置に観測させることにより、移動経路計画を生成する際に使用される障害物地図を更新して、移動経路計画を生成する技術が記載されている。
特開2016−079615号公報 特開2003−266345号公報
ここで、一般に橋梁を検査する場合には橋梁を構成する床版および主桁等の鋼部材について検査が行われる。そして橋梁の検査を行うカメラ付き移動式ロボットは、橋梁を構成する床版および鋼部材に関して漏れなく検査用の撮影画像を取得しなければならない。また、橋梁の検査を行うカメラ付き移動式ロボットは、多数の撮影画像を取得する必要があるので、床版および鋼部材の検査のための撮影画像を効率的に取得する必要がある。
しかしながら、上述した特許文献1および2では、橋梁の検査のための撮影画像の取得に関する撮影計画については言及されていない。すなわち、上述した特許文献1および2では、橋梁の床版および鋼部材の検査のための撮影画像の撮影計画に関しては言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、橋梁の検査に使用される撮影画像を漏れなく、効率的に撮影を行うための撮影計画を生成する撮影計画生成装置、撮影計画生成方法、およびプログラムを提供することである。
上記目的を達成するために、本発明の一の態様である撮影計画生成装置は、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置であって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得部と、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定部と、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定部と、第1の決定部により決定された複数の床版撮影位置および姿勢と第2の決定部により決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成部と、を備える。
本態様によれば、第1の決定部により格間の空間情報に基づいて、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢が決定される。また本態様によれば、第2の決定部により格間の空間情報に基づいて、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢が決定される。そして本態様によれば、第1の決定部および第2の決定部で決定された撮影位置および姿勢に基づいて撮影計画が生成されるので、橋梁を構成する床版および鋼部材の撮影画像を漏れなく効率的に取得することのできる撮影計画を生成することができる。
好ましくは、空間情報取得部は、橋梁のCAD図面データに基づいて空間情報を取得する。
本態様によれば、空間情報取得部は橋梁のCAD図面データに基づいて空間情報を取得するので、空間情報取得部は正確な空間情報を取得することができる。
好ましくは、空間情報取得部は、距離測定部に測定された三次元空間内のロボット初期位置を基準にして、互いに対向する2つの主桁までの第1の距離、互いに対向する2つの横桁または対傾構までの第2の距離、および床版までの第3の距離を取得し、取得した第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。
本態様によれば、距離測定部により、三次元空間内のロボット初期位置を基準にして、互いに対向する2つの主桁までの第1の距離、互いに対向する2つの横桁または対傾構までの第2の距離、および床版までの第3の距離を測定される。そして本態様によれば、空間情報取得部は距離測定部で取得された第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。これにより本態様は、橋梁のCAD図面データが無い場合であっても、距離測定部で測定された距離情報に基づいて空間情報が取得されるので、撮影計画を生成することができる。
好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、第1の決定部は、格間の空間情報と部材情報とに基づいて床版の撮影位置および姿勢を決定し、第2の決定部は、格間の空間情報と部材情報とに基づいて鋼部材の撮影位置および姿勢を決定する。
本態様によれば、部材情報取得部により格間の部材に関する情報である部材情報が取得され、第1の決定部および第2の決定部は、取得された部材情報と空間情報により撮影位置および姿勢を決定する。これにより本態様は、橋梁に部材が設けられている場合であっても検査のための撮影画像を漏れなく、効率的に撮影することができる撮影計画を生成することができる。
好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報であって、部材情報は、ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報である部材情報を取得する部材情報取得部を更に備え、第1の決定部は、格間の空間情報と部材情報に基づいて床版の撮影位置および姿勢を決定し、第2の決定部は、格間の空間情報と部材情報に基づいて鋼部材の撮影位置および姿勢を決定する。
本態様によれば、部材情報取得部により、ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報が取得される。これにより本態様は、橋梁に部材が設けられている場合であっても検査のための撮影画像を漏れなく、効率的に撮影することができる。
好ましくは、第1の決定部は、第4の距離、カメラが有する焦点距離、およびカメラの撮像素子のサイズにより、横構の水平面での撮影範囲である水平面撮影範囲を算出し、格間の空間情報、部材情報、および水平面撮影範囲に基づいて床版の撮影位置および姿勢を決定する。
本態様によれば、第1の決定部により、横構の水平面での撮影範囲である水平面撮影範囲が算出され、その水平面撮影範囲、格間の空間情報、および部材情報に基づいて床版の撮影位置および姿勢が決定される。これにより本態様は、横構の水平面での撮影範囲が考慮された撮影計画が生成されるので、床版を漏れなく、且つ効率的に撮影することができる撮影計画を生成することができる。
好ましくは、第1の決定部は、第3の距離、カメラが有する焦点距離、およびカメラの撮像素子のサイズにより床版撮影範囲を算出し、床版撮影範囲と格間の空間情報に基づいて、床版撮影位置を決定する。
本態様によれば、第1の決定部により床版撮影範囲が算出され、算出された撮影範囲に基づいて床版撮影位置が決定されるので、床版の撮影画像を漏れなく効率的に撮影することができる撮影計画を生成することができる。
好ましくは、撮影計画生成装置は、既存の複数の撮影計画が保存されている撮影計画データベースを更に備え、第1の決定部は、格間の空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて床版撮影位置を決定し、第2の決定部は、格間の空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて鋼部材撮影位置および姿勢を決定する。
本態様によれば、既存の複数の撮影計画が保存されている撮影計画データベースを有し、第1の決定部および第2の決定部は、空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて撮影位置および姿勢を決定する。これにより本態様は、既存の撮影計画に基づいた撮影計画を効率よく生成することができる。
好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、撮影計画生成部は、第1の決定部で決定された床版撮影位置および姿勢、および第2の決定部で決定された鋼部材撮影位置および姿勢を、空間情報取得部で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正を行う。
本態様によれば、第1の決定部または第2の決定部で決定された撮影位置および姿勢が、空間情報取得部で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正される。これにより本態様は、既存の撮影計画に補正がされるので、漏れの無い効率的な撮影計画を生成することができる。
好ましくは、撮影計画生成装置は、撮影計画生成部で生成された撮影計画を撮影計画データベースに保存させる保存制御部を更に備える。
本態様によれば、保存制御部により生成された撮影計画が撮影計画データベースに保存されるので、生成された撮影計画を有効に使用することができる。
好ましくは、撮影計画生成装置は、床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整を行う撮影計画調整部と、を更に備える。
本態様によれば、撮影計画調整部により、床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整指令に基づいて、撮影計画における床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整が行われる。
好ましくは、撮影計画生成装置は、床版撮影位置または鋼部材撮影位置の追加指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加を行う撮影計画追加部と、を更に備える。
本態様によれば、撮影計画追加部により追加指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加が行われる。これにより本態様は、追加指令に基づいて撮影計画に床版撮影位置または鋼部材撮影位置の追加が行われる。
好ましくは、第1の決定部は、カメラを床版に正対させた場合の床版撮影位置を決定する。
本態様によれば、第1の決定部によりカメラを床版に正対させた場合の床版撮影位置が決定されるので、漏れがなく且つ効率的な撮影画像の取得が行われる。
本発明の他の態様である撮影計画生成方法は、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法であって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定ステップと、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定ステップと、第1の決定ステップにより決定された複数の床版撮影位置および姿勢と第2の決定ステップにより決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、を含む。
本発明の他の態様であるプログラムは、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法をコンピュータに実行させるプログラムであって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定ステップと、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定ステップと、第1の決定ステップにより決定された複数の床版撮影位置および姿勢と第2の決定ステップにより決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、をコンピュータに実行させる。
本発明によれば、第1の決定部により格間の空間情報に基づいて、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢が決定され、第2の決定部により格間の空間情報に基づいて、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢が決定され、第1の決定部および第2の決定部で決定された撮影位置および姿勢に基づいて撮影計画が生成されるので、橋梁を構成する床版および鋼部材の撮影画像を漏れなく効率的に取得することのできる撮影計画を生成することができる。
橋梁の構造を示す斜視図である。 ロボット装置の外観を示す斜視図である。 ロボット装置の要部断面図である。 二眼カメラおよびパンチルト機構の外観斜視図である。 点検システムの機能構成例を示すブロック図である。 撮影計画生成装置の機能構成例を示すブロック図である。 距離測定部の距離測定に関して説明する図である。 床版撮影範囲の算出に関して説明する図である。 床版撮影決定部で決定される床版撮影位置に関して説明する図である。 床版撮影決定部で決定される床版撮影位置に関して説明する図である。 鋼部材撮影決定部に関して説明する図である。 鋼部材撮影決定部に関して説明する図である。 撮影計画生成装置の動作を示すフロー図である。 撮影計画生成装置の機能構成例を示すブロック図である。 横構がある場合の床版撮影位置の決定に関して説明する図である。 横構がある場合の床版撮影位置の決定に関して説明する図である。 横構がある場合の床版撮影位置を示す図である。 撮影計画生成装置の機能構成例を示す図である。 ロボット装置および本実施形態の撮影計画生成装置の動作を示すフロー図である。 撮影計画が示された図である。 撮影計画生成装置の機能構成例を示す図である。 カメラ付き移動式ロボットの他の例を示す図である。
以下、添付図面にしたがって本発明に掛かる撮影計画生成装置、撮影計画生成方法、およびプログラムの好ましい実施の形態について説明する。
図1は、検査対象である構造物の一つである橋梁1の構造を示す斜視図であり、橋梁1を下から見た斜視図である。
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4および横構5は、それぞれ風および地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。なお、格間とは床版6が対向する2つの主桁2および対向する2つの横桁3または対傾構4により区切られた空間のことであり、橋梁1の検査が行われるときには格間単位により検査が実施される場合がある。
図2は、撮像装置200の一実施形態である二眼カメラ202を含むロボット装置100の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図3は、図2に示したロボット装置100の要部断面図である。なお、ロボット装置100は、カメラ付き移動式ロボットの一例であり、橋梁1の検査作業を目的とするロボットである。
図2および図3に示すようにロボット装置100は、撮像装置200を備え、撮像装置200の3次元空間内の位置(撮影位置)を制御するとともに、撮像装置200による撮影方向を制御して、橋梁1の点検時に複数の部材から構成された橋梁1の任意の点検部材等を撮影するものである。
ロボット装置100は、後に詳しく説明するが、主フレーム102と、垂直伸延アーム104と、垂直伸延アーム104の駆動部および各種の制御部等が配設された筐体106と、筐体106を主フレーム102の長手方向(主桁2の長手方向と直交する方向)(X方向)に移動させるX方向駆動部108(図5)と、ロボット装置100全体を主桁2の長手方向(Y方向)に移動させるY方向駆動部110(図5)と、垂直伸延アーム104を垂直方向(Z方向)に伸縮させるZ方向駆動部112(図5)とを備えている。
X方向駆動部108は、主フレーム102の長手方向(X方向)に配設されたボールネジ108Aと、筐体106に配設されたボールナット108Bと、ボールネジ108Aを回転させるモータ108Cとから構成され、モータ108Cによりボールネジ108Aを正転または逆転させることにより、筐体106をX方向に移動させる。
Y方向駆動部110は、主フレーム102の両端にそれぞれ配設されたタイヤ110A、110Bと、タイヤ110A、110B内に配設されたモータ(図示せず)とから構成され、タイヤ110A、110Bをモータ駆動することによりロボット装置100全体をY方向に移動させる。
なお、ロボット装置100は、主フレーム102の両端のタイヤ110A、110Bが、2箇所の主桁2の下フランジ上に載置され、かつ主桁2を挟む態様で設置される。これにより、ロボット装置100は、主桁2の下フランジに懸垂して、主桁2に沿って移動(自走)することができる。また、主フレーム102は、図示しないが、主桁2の間隔に合わせて長さが調整可能に構成されている。
垂直伸延アーム104は、ロボット装置100の筐体106に配設されており、筐体106とともにX方向およびY方向に移動する。また、垂直伸延アーム104は、筐体106内に設けられたZ方向駆動部112(図5)によりZ方向に伸縮する。
図4は二眼カメラおよびパンチルト機構120の外観斜視図である。図4に示すように垂直伸延アーム104の先端には、カメラ設置部104Aが設けられており、カメラ設置部104Aには、パンチルト機構120によりパン方向およびチルト方向に回転可能な二眼カメラ202が設置されている。
二眼カメラ202は、視差の異なる2枚の視差画像(立体画像)を撮影する第1の撮像部202Aと第2の撮像部202Bとを有し、二眼カメラ202による撮影範囲に対応する構造物(橋梁1)の空間情報であって、二眼カメラ202を基準にしたローカル座標系(カメラ座標系)における橋梁1の空間情報を取得し、また、撮影される2つの画像のうちの少なくとも一方の画像を、点検調書に添付する「検査(点検)画像」として取得する。
また、二眼カメラ202は、パンチルト駆動部206(図5)から駆動力が加えられるパンチルト機構120により垂直伸延アーム104と同軸のパン軸Pを中心に回転し、あるいは水平方向のチルト軸Tを中心に回転する。これにより、二眼カメラ202は任意の姿勢にて撮影(任意の撮影方向の撮影)ができる。
本例の二眼カメラ202の第1の撮像部202Aの光軸Lと、第2の撮像部202Bの光軸Lとはそれぞれ平行である。また、パン軸Pは、チルト軸Tと直交している。更に、二眼カメラ202の基線長(即ち、第1の撮像部202Aと第2の撮像部202Bとの設置間隔)は既知である。
また、二眼カメラ202を基準にしたカメラ座標系は例えば、パン軸Pとチルト軸Tとの交点を原点Orとし、チルト軸Tの方向をx軸方向、パン軸Pの方向をz軸方向、x軸およびy軸にそれぞれ直交する方向をy軸方向とする。
二眼カメラ202の位置(カメラ座標系の原点Orの位置)であって、グローバル座標系(橋梁座標系)における位置(以下、「撮影位置」という)は、全地球測位システム(GPS:Global Positioning System)(以下、「GPS装置」という)により検出し、または橋梁座標系の原点に対するロボット装置100のX方向およびY方向移動量、垂直伸延アーム104のZ方向の移動量により検出することができる。また、二眼カメラ202による撮影方向は、パンチルト機構120のパン角度α、チルト角度βにより検出し、または二眼カメラ202に搭載した方位センサ(図示せず)により検出することができる。
図5は、点検システム10の機能構成例を示すブロック図である。
図5に示すように点検システム10は、ロボット装置100側のロボット制御部130、X方向駆動部108、Y方向駆動部110およびZ方向駆動部112と、撮像装置200側の二眼カメラ202、撮影制御部204、パンチルト制御部210、およびパンチルト駆動部206と、ロボット側通信部230と、端末装置300とから構成されている。
ロボット側通信部230は、端末側通信部310との間で双方向の無線通信を行い、端末側通信部310から送信されるロボット装置100の移動を制御する移動指令、パンチルト機構120を制御するパンチルト指令、二眼カメラ202を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。
ロボット制御部130は、ロボット側通信部230から入力する移動指令に基づいてX方向駆動部108、Y方向駆動部110、およびZ方向駆動部112を制御し、ロボット装置100のX方向およびY方向に移動させるとともに、垂直伸延アーム104をZ方向に伸縮させる(図2参照)。
パンチルト制御部210はロボット側通信部230から入力するパンチルト指令に基づいてパンチルト駆動部206を介してパンチルト機構120をパン方向およびチルト方向に動作させ、二眼カメラ202を所望の方向にパンチルトさせる(図4参照)。すなわち、パンチルト制御部210は、パンチルト機構120によりカメラ(撮像装置200)の姿勢を変化させて、適切な撮影画像の取得を行う。
撮影制御部204は、ロボット側通信部230から入力する撮影指令に基づいて二眼カメラ202の第1の撮像部202Aおよび第2の撮像部202Bにライブビュー画像、または点検画像の撮影を行わせる。
橋梁1の点検時に二眼カメラ202の第1の撮像部202Aおよび第2の撮像部202Bにより撮影された視差の異なる第1の画像Iおよび第2の画像Iを示す画像データと、二眼カメラ202の撮影位置(橋梁座標系におけるカメラ座標系の原点Orの位置)および撮影方向(本例では、パン角度αおよびチルト角度β)を示す情報は、それぞれロボット側通信部230を介して端末側通信部310に送信される。
端末装置300は、点検システム10を操作する点検者により操作されるもので、主として端末側通信部310と、端末制御部320と、操作部として機能する入力部330と、表示部340と、記録部350とから構成されており、例えば、タブレット端末を適用することができる。
端末側通信部310は、ロボット側通信部230との間で双方向の無線通信を行い、ロボット側通信部230が入力する各種の情報(第1の撮像部202Aおよび第2の撮像部202Bにより撮影されたライブビュー画像、第1の画像Iおよび第2の画像Iを示す画像データ、二眼カメラ202の撮影位置および撮影方向を示す情報)を受信するとともに、端末制御部320を介して入力する入力部330での操作に応じた各種の指令をロボット側通信部230に送信する。
端末制御部320は、端末側通信部310を介して受信したライブビュー画像を示す画像データを表示部340に出力し、表示部340の画面にライブビュー画像を表示させる。入力部330は、ロボット操作入力部、パンチルト操作入力部および撮影操作入力部を有し、ロボット操作入力部は、ロボット装置100(二眼カメラ202)をX方向、Y方向およびZ方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構120(二眼カメラ202)をパン方向およびチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ202による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部340に表示されるライブビュー画像を見ながら入力部330を手動操作し、入力部330は、点検者による操作に応じて二眼カメラ202のX方向、Y方向およびZ方向の移動指令、パンチルト指令、および撮影指令等の各種の指令を端末制御部320に出力する。端末制御部320は、入力部330から入力する各種の指令を端末側通信部310を介してロボット側通信部230に送信する。
また端末制御部320は撮影計画生成装置400を有する。撮影計画生成装置400で生成された撮影計画はロボット装置100に送信される。そして、ロボット制御部130、パンチルト機構120、および撮影制御部204は受信した撮影計画に基づいて制御される。以下で、撮影計画生成装置400に関して説明をする。
<第1の実施形態>
先ず、本発明の第1の実施形態の撮影計画生成装置400に関して説明する。
図6は、本実施形態の撮影計画生成装置400の機能構成例を示すブロック図である。図6に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部(第1の決定部)403、鋼部材撮影決定部(第2の決定部)405、および撮影計画生成部407を備えている。
空間情報取得部401は、互いに対向する2つの主桁2および互いに対向する2つの横桁3または対傾構4に区切られた1つの格間の空間情報を取得する。ここで空間情報とは、格間の空間に関する大きさや位置を示す情報のことをいい、例えば格間の三次元座標である。空間情報取得部401は、様々な態様により格間の空間情報を取得することができる。例えば空間情報取得部401は、橋梁1のCAD情報(CAD図面データ)411に基づいて空間情報を取得してもよいし、距離測定部409により計測された距離情報に基づいて空間情報を取得してもよい。また、空間情報取得部401は、橋梁1のCAD情報411が不正確または不十分である場合には、橋梁1のCAD情報411を取得し且つ距離測定部409から距離情報を取得して空間情報を取得してもよい。
床版撮影決定部403は、1つの格間に対応する床版6の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および床版撮影姿勢を、格間の空間情報に基づいて決定する。床版撮影位置は、格間内の床版6を網羅するように複数の位置が決定される。また複数の分割された撮影画像は、格間毎にパノラマ合成される場合があり、この場合には撮影画像はパノラマ合成の合成のりしろが加味された床版撮影位置が決定される。床版撮影姿勢は、床版6に対して正対してもよいし、床版6に対して斜めでもよく、格間の床版6を網羅した撮影が行える範囲において特に限定はされない。床版6に対して斜めに撮影された撮影画像は、画像処理により正対化される。床版撮影決定部403で決定された床版撮影位置および床版撮影姿勢は、撮影計画生成部407に送信される。
鋼部材撮影決定部405は、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および鋼部材撮影姿勢を、格間の空間情報に基づいて決定する。ここで鋼部材は主桁2、横桁3、および対傾構4を含む部材のことである。鋼部材撮影決定部405は、主に鋼部材の接合部の撮影画像を取得する鋼部材撮影位置および鋼部材撮影姿勢を決定する。鋼部材の接合部は、ナットまたは溶接で接続されており、検査ではその接合部についての検査が行われる。鋼部材撮影決定部405で決定された鋼部材撮影位置および鋼部材撮影姿勢は、撮影計画生成部407に送信される。
撮影計画生成部407は、床版撮影決定部403により決定された複数の床版撮影位置および床版撮影姿勢と、鋼部材撮影決定部405により決定された複数の鋼部材撮影位置および鋼部材撮影姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する。撮影計画生成部407は、1つの格間においてロボット装置100が効率よく移動し且つ撮影画像を正確に取得できるような撮影計画を生成する。例えば撮影計画生成部407は、ロボット装置100に、往路では床版撮影決定部403で決定された床版撮影位置および床版撮影姿勢により床版6の撮影画像を取得させ、復路では鋼部材撮影決定部405で決定された鋼部材撮影位置および鋼部材撮影姿勢により鋼部材の撮影画像を取得させる。なお、生成された撮影計画に基づいて、格間内の撮影位置や撮影姿勢をグラフィカルに表示させてもよい。
次に、距離測定部409に関して説明する。距離測定部409は、三次元空間内のロボット初期位置Sを基準にして、互いに対向する2つの主桁2までの第1の距離、互いに対向する2つの横桁3または対傾構4までの第2の距離、および床版6までの第3の距離を測定する。そして空間情報取得部401は、測定された第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。
図7は、距離測定部409の距離測定の一態様に関して説明する図である。図7(A)では距離測定位置の指定に関して示されており、図7(B)では対向する主桁2と、横桁3、および対傾構4とで区切られた格間7の三次元空間内の距離の測定に関して示されている。なお、上述したロボット装置100の撮像装置200は二眼カメラ202を備えており、距離測定が可能であり距離測定部409として機能する。なお、図7で示した例では、二眼カメラ202で取得されるステレオ画像により距離測定を行う場合を示したがこれに限定されるものではない。例えば、レーザー距離センサにより距離を測定してもよい。
図7(A)では、表示部340(図5)に表示される格間空間内のライブビュー画像が示されている。ロボット装置100の撮像装置200の二眼カメラ202により格間空間が撮影され、点検者(ユーザ)は、表示部340(図5)により格間空間のライブビュー画像を確認する。そして点検者は、例えば入力部330を介して距離測定位置を手動で入力および指定する。また、二眼カメラ202により取得された画像において画像認識処理を床版撮影決定部403で行って、距離測定位置が自動で指定されてもよい。なお図7(A)では、ロボット初期位置Sから対傾構4までの距離(図7(B)の(X+)方向)を測定する際の指定された距離測定位置が示されている。距離測定位置が手動で入力および指定される場合には、点検者は、同様に図7(B)に示された(X−)、(Y+)、(Y−)、および(Z)方向において距離測定位置を指定する。なお、撮影画像全体が同一平面の場合は、距離測定位置の指定は不要である。
ロボット装置100は、指定された距離測定位置に基づいて、二眼カメラ202を(X+)方向に向けてロボット初期位置Sから対傾構4までの距離(第1の距離)、二眼カメラ202を(X−)方向に向けてロボット初期位置Sから横桁3までの距離(第1の距離)、二眼カメラ202を(Y+)および(Y−)方向へ向けてロボット初期位置Sから主桁2までの距離(第2の距離)、二眼カメラ202を(Z)方向へ向けてロボット初期位置Sから床版6までの距離(第3の距離)、を測定する。ロボット装置100は測定された距離を空間情報取得部401に送信し、空間情報取得部401は受信した距離情報に基づいて格間7の三次元座標を生成および取得する。
次に、床版撮影決定部403に関して具体例を用いて説明を行う。床版撮影決定部403は空間情報取得部401から格間7の空間情報を取得し、取得した空間情報に基づいて床版撮影位置および床版撮影姿勢を決定する。
先ず、床版撮影決定部403で算出される床版撮影範囲に関して説明する。床版撮影決定部403は、撮像装置200から床版6までの距離、二眼カメラ202が有する焦点距離、およびカメラの撮像素子250のサイズにより床版撮影範囲を算出し、床版撮影範囲と格間7の空間情報に基づいて、床版撮影位置を決定することができる。
図8は床版撮影範囲の算出に関して説明する図である。
撮像装置200から床版6までの距離、第1の撮像部202Aのレンズの焦点距離をF、撮像装置200の撮像素子250のサイズをSx×Syとする。この場合に、床版画像に対応した床版6の撮影範囲は以下のように算出することができる。なお、ここで床版画像とは床版撮影位置で撮影された床版6の分割画像である。
X軸における床版の撮影範囲(Ax)=D×Sx/F
Y軸における床版の撮影範囲(Ay)=D×Sy/F
以下に具体例を使用して説明をする。
撮像装置200から床版6までの距離:D=2100mm、焦点距離:F=27mm、撮像素子250(イメージセンサ(APS(Advanced Photo System)−C)):Sx=23.6mm、Sy=15.6mmとする。
上述の条件では、床版撮影範囲は以下のようになる。
X軸の床版の撮影範囲(Ax)=1835.6mm
Y軸の床版の撮影範囲(Ay)=1213.3mm
床版撮影決定部403は、床版撮影範囲を上述のように算出し、格間7の空間情報における格間7内の床版6の面積と床版撮影範囲を比較して効率よく、網羅的に床版6を撮影できる位置である床版撮影位置を決定する。
図9および図10は、床版撮影決定部403で決定される床版撮影位置に関して説明する図である。なお、図9および図10に示した場合は、撮像装置200を床版6に正対さて床版撮影を行う場合に関して示されている。
図9は格間7における床版6の床版撮影位置を示した図である。図9に示す場合では、格間7で区切られた床版6に対して床版撮影位置A〜Lにおいて床版画像が撮影されることが決定されている。
図9に示した場合では、一つの格間7の床版撮影位置は、Y軸に床版撮影位置A〜Fと床版撮影位置G〜Lと6箇所並んでおり、X軸に2箇所づつ並んでいる。なお、格間7は例えばX軸方向に5m、Y軸方向に3mのサイズである。
図10は撮影した床版画像をパノラマ合成する場合の床版撮影位置に関して説明する図である。床版撮影決定部403は、床版6の全体を網羅して撮影できるように床版撮影位置を決定するが、撮影した床版撮影画像をパノラマ合成する場合は、隣接する床版撮影画像との合成のりしろ(オーバーラップ部分)を確保するように床版撮影位置を決定する。ここで合成のりしろは、例えば床版画像の両端30%づつとしてもよい。なお、合成のりしろの最低確保量は合成アルゴリズムに依存するため、変更できるようにすることが望ましい。
次に、鋼部材撮影決定部405に関して具体例を用いて説明する。鋼部材撮影決定部405は空間情報取得部401から格間7の空間情報を取得し、取得した空間情報に基づいて床版撮影位置および床版撮影姿勢を決定する。
図11および図12は、鋼部材撮影決定部405に関して説明する図である。なお、図11および図12では格間7の立体的な概念図を(A)に示し、格間7の平面的な概念図を(B)に示している。
図11は、撮影対象の格間7のZ軸方向における下段(図11(A)中ではドット模様で示す)に関しての鋼部材撮影位置に関して説明する図である。図11(B)には、鋼部材撮影位置M〜Uまでが矢印で示されている。このように鋼部材撮影位置は主に、鋼部材の接合部を撮影する撮影位置である。具体的には、鋼部材撮影位置Mでは主桁2と対傾構4との接合部が撮影され、鋼部材撮影位置Qでは主桁2と横桁3との接合部が撮影される。また、鋼部材撮影位置Nでは対傾構4と横構5との接合部、鋼部材撮影位置Oでは主桁2と横構5との接合部が撮影されている。また、鋼部材撮影位置Rでは横桁3と横構5との接合部、鋼部材撮影位置Sでは主桁2と横構5との接合部が撮影されている。また、鋼部材撮影位置Pでは横構5の接合部、鋼部材撮影位置TおよびUでは、横構5と主桁2との接合部が撮影されている。なお、鋼部材撮影位置TおよびUは、検査および橋梁1のタイプによっては設定されない場合がある。なお、図11で示した例は、格間7のZ軸方向における下段に横構5が設けられている場合の鋼部材撮影位置に関して説明したものである。格間7のZ軸方向における下段に横構5が設けられていない場合には、後で説明する図12の鋼部材撮影位置と同様となる。
図12は、撮影対象の格間7のZ軸方向における上段に関しての鋼部材撮影位置に関して説明する図である。図12には、鋼部材撮影位置V〜Yまでが矢印で示されている。具体的には、鋼部材撮影位置VおよびWでは主桁2と対傾構4との接合部が撮影され、鋼部材撮影位置XおよびYでは主桁2と横桁3との接合部が撮影されている。
鋼部材撮影決定部405は、各鋼部材撮影位置での鋼部材撮影姿勢も決定する。鋼部材撮影姿勢は、鋼部材の接合部が撮影されるようにパンチルト機構120のパラメータが決定される。
図13は、撮影計画生成装置400の動作を示すフロー図である。
先ず空間情報取得部401は、CAD情報411に基づいて空間情報が入力されたか否かを判定する(ステップS10)。CAD情報411に基づいた空間情報が入力されている場合には、入力されている空間情報に基づいて床版撮影決定部403で床版撮影位置および姿勢が決定される(ステップS15)。
一方、空間情報取得部401に空間情報が入力されていない場合には、距離測定部409により格間7を形成する対向した横桁3と初期位置までの距離が測定され(ステップS11)、格間7を形成する対向した主桁2と初期位置までの距離が測定され(ステップS12)、初期位置から床版6までの距離が測定される(ステップS13)。
その後、距離測定部409から横桁3までの距離、主桁2までの距離、および床版6までの距離が、空間情報取得部401に取得される。その後空間情報取得部401は、取得した距離情報に基づいて、空間情報を取得する(空間情報取得ステップ:ステップS14)。
その後床版撮影決定部403は、取得された空間情報に基づいて、床版撮影位置および姿勢を決定する(第1の決定ステップ:ステップS15)。その後鋼部材撮影決定部405は、鋼部材撮影位置および姿勢を決定する(第2の決定ステップ:ステップS16)。そして撮影計画生成部407は、床版撮影決定部403の決定と鋼部材撮影決定部405の決定に基づいて、撮影計画を生成する(撮影計画生成ステップ:ステップS17)。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。図14は、本実施形態の撮影計画生成装置400の機能構成例を示すブロック図である。図14に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、および部材情報取得部413を備えている。なお図6で既に説明を行った箇所は同じ符号を付し説明は省力する。
部材情報取得部413は、格間7の部材に関する情報である部材情報を取得する。部材情報取得部413で取得された部材情報は、床版撮影決定部403および鋼部材撮影決定部405に送信される。そして床版撮影決定部403は、格間7の空間情報と部材情報とに基づいて床版6の撮影位置および姿勢を決定し、鋼部材撮影決定部405は、格間7の空間情報と部材情報とに基づいて鋼部材の撮影位置および姿勢を決定する。
部材情報とは、例えば横構5に関する情報415である。横構5に関する情報415は、例えば、ロボット初期位置Sから横構5までの距離(第4の距離)、横構5の幅、横構5の形状に関する情報である。部材情報は、ユーザにより入力されてもよいし、格間7内の空間情報を取得するときと同様にロボット装置100の撮像装置200の二眼カメラ202により計測されてもよい。なお、横構5の形状とは例えば「<」型または「>」型等である。床版撮影決定部403および鋼部材撮影決定部405は、空間情報に基づいて撮影位置および撮影姿勢を各々決定する。なお、部材情報には横構5の情報だけではなくて、他の部材に関する情報も含まれる。例えば、格間7内に存在する配管の情報も部材情報として入力される。
次に、部材の具体例として横構5がある場合の床版撮影決定部403が行う床版撮影位置の決定に関して説明する。図15および図16は、「<型」の横構5がある場合の床版撮影位置の決定に関して説明する図である。図15は、橋梁1をX−Y方向から見た図であり、Z軸方向(垂直方向)での床版6、横構5、および第1の撮像部202Aの配置を示している。図16は、橋梁1の格間7をZ軸方向から見た図であり、格間7に「<」型の横構5がある場合を示しており、横構5の水平面撮影範囲434および横構被り撮影領域432が示されている。なお図15は、図16に図示した断面430の図である。
床版撮影決定部403は、横構5までの距離431、カメラが有する焦点距離、およびカメラの撮像素子250のサイズにより、横構5の水平面での撮影範囲である水平面撮影範囲434を算出し、格間7の空間情報、部材情報、および水平面撮影範囲434に基づいて床版6の撮影位置および姿勢を決定する。以下に具体的に本例の床版撮影決定部403に関して説明する。
先ず床版撮影決定部403は、図8で説明したように床版撮影範囲を算出する。その後床版撮影決定部403は、図15で示すように、ロボット初期位置Sから横構5までの距離、二眼カメラ202が有する焦点距離、および二眼カメラ202の撮像素子250のサイズにより、図8で説明した床版撮影範囲と同様の方法で、横構5の水平面での撮影範囲である水平面撮影範囲434を算出する。その後、床版撮影決定部403は横構被り撮影領域432を算出する。横構被り撮影領域432は、横構水平面で横構5が写り込む撮影位置を基準にして決定される(図15)。なお、図15では二眼カメラ202は、床版6および横構5に対して正対した場合が示されている。
図16に示すように、横構5に沿って一定の領域が横構被り撮影領域432となる。そして床版撮影決定部403は、横構被り撮影領域432以外の範囲に、床版撮影位置を決定することにより横構5が障害とならずに床版全体を網羅的に撮影できるようにする。また、床版撮影決定部403は、必要に応じてパノラマ合成を行う場合の合成のりしろを確保することができる床版撮影位置を決定する。
図17は、横構5が存在する場合の床版撮影位置AA〜MMを示す図である。床版撮影位置AA〜MMは、横構被り撮影領域432内には位置しないので、床版撮影位置AA〜MMで床版6を撮影することにより、横構5が床版画像に写り込むことがなく、床版6を網羅的に撮影することができる。なお、図10で説明した横構5がない場合の床版撮影位置と、図17で説明した横構5がある場合の床版撮影位置とで比較すると、横構5がない場合には床版撮影位置が12箇所であるのに対して、横構5がある場合には床版撮影位置は13箇所である。
なお、床版撮影決定部403は、必要に応じて、未撮影部分を補う撮影ポイントを追加する。この場合、撮像装置200の水平方向(X−Y方向)の移動のみで床版全体を網羅できない場合には、垂直方向(Z方向)へ撮像装置200を移動させた撮影ポイントを追加する。
<第3の実施形態>
次に本発明の第3の実施形態に関して説明する。図18は、本実施形態の撮影計画生成装置400の機能構成例を示す図である。図18に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、および撮影計画修正部417を備えている。
撮影計画修正部417は、撮影計画生成部407で生成された撮影計画を修正する。例えば撮影計画修正部417は、総撮影時間や総移動距離が最短となるように撮影順を最適化する。また撮影計画修正部417は、撮影計画調整部419と撮影計画追加部421とを含む。
撮影計画調整部419は、調整指令に基づいて、撮影計画生成部407で生成された撮影計画における床版撮影位置、または鋼部材撮影位置および姿勢の調整を行う。ここで調整指令は、例えば調整指令受付部(不図示)により受け付けられ、床版撮影位置、床版撮影姿勢、鋼部材撮影位置、または鋼部材撮影姿勢を調整する指令である。ここで調整指令受付部は、例えば入力部330によって実現される。
撮影計画追加部421は、床版撮影位置または鋼部材撮影位置の追加指令を受け付ける。ここで追加指令は、例えば追加指令受付部(不図示)により受け付けられ、追加指令に基づいて、撮影計画生成部407で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加を行う。ここで追加指令受付部は、例えば入力部330によって実現される。
図19は、撮影計画が修正される場合のロボット装置100および本実施形態の撮影計画生成装置400の動作を示すフロー図である。また、図20は、図19で説明する撮影計画が示された図である。
先ずロボット装置100は、撮影計画生成装置400で生成された撮影計画をロボット側通信部230で受信し(ステップS20)、受信した撮影計画にしたがってロボット制御部130、パンチルト制御部210、および撮影制御部204を動作させる。受信した撮影計画では、先ず撮影位置(a)により鋼部材の撮影が行われるのでロボット初期位置Sから撮影位置(a)にロボット装置100を移動させる(ステップS21)(図20を参照)。次に撮影計画修正部417は、鋼部材撮影位置および/または鋼部材撮影姿勢の調整指令の入力があるか否かを判定する(ステップS22)。撮影計画修正部417が調整指令の入力が無いと判定した場合には、ロボット制御部130、パンチルト制御部210、および撮影制御部204はロボット装置100を撮影位置(b)に移動させる(ステップS25)。
一方、撮影計画修正部417が調整指令の入力が有ると判定した場合には、入力部330を介して鋼部材撮影位置および/または鋼部材撮影姿勢の調整が行われる(ステップS23)。すなわちユーザは、ロボット装置100が撮影位置(a)に移動したときに表示部340により二眼カメラ202で撮影された鋼部材をライブビュー画像で確認し、入力部330を介して鋼部材撮影位置および/または鋼部材撮影姿勢の調整指令を入力する。そして、調整後の鋼部材撮影位置および鋼部材撮影姿勢を確定し、撮影計画修正部417は撮影計画にその調整を反映させる(ステップS24)。その後、撮影計画に沿ってロボット装置100を撮影位置(b)に移動させる(ステップS25)。
以上のように、撮影位置および撮影姿勢の調整が行われながら、受信した撮影計画に沿って図20に示すように撮影位置(a)、(b)、(c)、および(d)と順次鋼部材撮影画像が撮影される。
<第4の実施形態>
次に第4の実施形態に関して説明する。図21は、本実施形態の撮影計画生成装置400の機能構成例を示す図である。図21に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、部材情報取得部413、撮影計画データベース427、および保存制御部429を備えている。なお図6および図14で既に説明を行った箇所は同じ符号を付し説明は省力する。
撮影計画データベース427は、既存の複数の撮影計画が保存されている。撮影計画データベース427は、過去に生成された撮影計画や撮影計画のテンプレートを記憶している。また、撮影計画データベース427は、撮影計画生成部407で生成された撮影計画を記憶する。撮影計画データベース427は、撮影計画に関連付けて、橋梁名、格間番号、格間サイズ、部材情報などを記憶してもよい。
保存制御部429は、撮影計画生成部407で生成された撮影計画を撮影計画データベース427に保存させる。上述したように撮影計画データベース427は撮影計画生成部407で生成された撮影計画を記憶する場合には、保存制御部429の制御により生成された撮影計画が撮影計画データベース427に保存される。
本実施形態の床版撮影決定部403は、格間7の空間情報に基づいて撮影計画データベース427から既存の撮影計画を選択し、選択された既存の撮影計画に基づいて床版撮影位置を決定する。
本実施形態の鋼部材撮影決定部405は、格間7の空間情報に基づいて撮影計画データベース427から既存の撮影計画を選択し、選択された既存の撮影計画に基づいて鋼部材撮影位置および姿勢を決定する。
撮影計画生成部407は、床版撮影決定部403で決定された床版撮影位置、および鋼部材撮影決定部405で決定された鋼部材撮影位置および姿勢を、空間情報取得部401で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部401で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正を行う。すなわち、撮影計画生成部407は、撮影計画データベース427に保存された既存の撮影計画に対して、空間情報または部材情報に基づいて補正を行う。この場合、撮影計画データベース427に保存されている既存の撮影計画には、その撮影計画に関しての空間情報および部材情報が関連して記憶されている。
<他の例のロボット装置>
上述では、カメラ付き移動式ロボットの一例としてロボット装置100(図2)について説明をしたが、本発明のカメラ付き移動式ロボットはこれに限定されるものではない。
図22は、カメラ付き移動式ロボットの他の例である無人飛行体(ドローン)の外観を示す図である。無人飛行体500は、撮像装置200(図4)を備えている。無人飛行体500は、上述の撮影計画生成装置400で生成された撮影計画に基づいて、検査対象の撮影を行う。無人飛行体500に備えられている撮像装置200は、無人飛行体500により三次元空間内で移動し、また撮像装置200の撮影姿勢はパンチルト機構120で変えられる。なお、無人飛行体500においても、図5で説明した点検システム10が適用される。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
7 格間
10 点検システム
100 ロボット装置
102 主フレーム
104 垂直伸延アーム
104A カメラ設置部
106 筐体
108 X方向駆動部
108A ボールネジ
108B ボールナット
108C モータ
110 Y方向駆動部
110A タイヤ
110B タイヤ
112 Z方向駆動部
120 パンチルト機構
130 ロボット制御部
200 撮像装置
202 二眼カメラ
202A 第1の撮像部
202B 第2の撮像部
204 撮影制御部
206 パンチルト駆動部
210 パンチルト制御部
230 ロボット側通信部
250 撮像素子
300 端末装置
310 端末側通信部
320 端末制御部
330 入力部
340 表示部
350 記録部
400 撮影計画生成装置
401 空間情報取得部
403 床版撮影決定部
405 鋼部材撮影決定部
407 撮影計画生成部
409 距離測定部
413 部材情報取得部
417 撮影計画修正部
419 撮影計画調整部
421 撮影計画追加部
427 撮影計画データベース
429 保存制御部

Claims (15)

  1. 検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置であって、
    互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得部と、
    前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定部と、
    前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定部と、
    前記第1の決定部により決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定部により決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成部と、
    を備えた撮影計画生成装置。
  2. 前記空間情報取得部は、前記橋梁のCAD図面データに基づいて空間情報を取得する請求項1に記載の撮影計画生成装置。
  3. 前記空間情報取得部は、距離測定部に測定された前記三次元空間内のロボット初期位置を基準にして、前記互いに対向する2つの前記主桁までの第1の距離、前記互いに対向する2つの前記横桁または前記対傾構までの第2の距離、および前記床版までの第3の距離を取得し、前記取得した前記第1の距離、前記第2の距離および前記第3の距離に基づいて空間情報を取得する請求項1または2に記載の撮影計画生成装置。
  4. 前記格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、
    前記第1の決定部は、前記格間の空間情報と前記部材情報とに基づいて前記床版の撮影位置および姿勢を決定し、
    前記第2の決定部は、前記格間の空間情報と前記部材情報とに基づいて前記鋼部材の撮影位置および姿勢を決定する請求項1または2に記載の撮影計画生成装置。
  5. 前記格間の部材に関する情報である部材情報であって、前記部材情報は、前記ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報である部材情報を取得する部材情報取得部を更に備え、
    前記第1の決定部は、前記格間の空間情報と前記部材情報に基づいて前記床版の撮影位置および姿勢を決定し、
    前記第2の決定部は、前記格間の空間情報と前記部材情報に基づいて前記鋼部材の撮影位置および姿勢を決定する請求項3に記載の撮影計画生成装置。
  6. 前記第1の決定部は、前記第4の距離、前記カメラが有する焦点距離、および前記カメラの撮像素子のサイズにより、前記横構の水平面での撮影範囲である水平面撮影範囲を算出し、前記格間の空間情報、前記部材情報、および前記水平面撮影範囲に基づいて前記床版の撮影位置および姿勢を決定する請求項5に記載の撮影計画生成装置。
  7. 前記空間情報取得部は、前記距離測定部により、前記カメラの位置を基準にして、前記第3の距離を取得し、
    前記第1の決定部は、前記第3の距離、前記カメラが有する焦点距離、および前記カメラの撮像素子のサイズにより床版撮影範囲を算出し、前記床版撮影範囲と前記格間の前記空間情報に基づいて、前記床版撮影位置を決定する請求項3、5、および6のいずれか1項に記載の撮影計画生成装置。
  8. 既存の複数の撮影計画が保存されている撮影計画データベースを更に備え、
    前記第1の決定部は、前記格間の空間情報に基づいて前記撮影計画データベースから既存の前記撮影計画を選択し、前記選択された既存の前記撮影計画に基づいて前記床版撮影位置を決定し、
    前記第2の決定部は、前記格間の空間情報に基づいて前記撮影計画データベースから既存の前記撮影計画を選択し、前記選択された既存の前記撮影計画に基づいて前記鋼部材撮影位置および姿勢を決定する請求項1から7のいずれか1項に記載の撮影計画生成装置。
  9. 前記格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、
    前記撮影計画生成部は、前記第1の決定部で決定された前記床版撮影位置および姿勢、および前記第2の決定部で決定された前記鋼部材撮影位置および姿勢を、前記空間情報取得部で取得された前記空間情報と前記選択された前記撮影計画の空間情報との差分または前記空間情報取得部で取得された前記部材情報と前記選択された前記撮影計画の部材情報との差分に基づいて、補正を行う請求項8に記載の撮影計画生成装置。
  10. 前記撮影計画生成部で生成された前記撮影計画を前記撮影計画データベースに保存させる保存制御部を更に備える請求項8または9に記載の撮影計画生成装置。
  11. 前記床版撮影位置および前記姿勢、または前記鋼部材撮影位置および前記姿勢の調整指令に基づいて、前記撮影計画生成部で生成された前記撮影計画における前記床版撮影位置および前記姿勢、または前記鋼部材撮影位置および前記姿勢の調整を行う撮影計画調整部と、
    を更に備える請求項1から10のいずれか1項に記載の撮影計画生成装置。
  12. 前記床版撮影位置または前記鋼部材撮影位置の追加指令に基づいて、前記撮影計画生成部で生成された前記撮影計画における前記床版撮影位置または前記鋼部材撮影位置の追加を行う撮影計画追加部と、
    を更に備える請求項1から11のいずれか1項に記載の撮影計画生成装置。
  13. 前記第1の決定部は、前記カメラを前記床版に正対させた場合の前記床版撮影位置を決定する請求項1から12のいずれか1項に記載の撮影計画生成装置。
  14. 検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法であって、
    互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、
    前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定ステップと、
    前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定ステップと、
    前記第1の決定ステップにより決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定ステップにより決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、
    を含む撮影計画生成方法。
  15. 検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法をコンピュータに実行させるプログラムであって、
    互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、
    前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定ステップと、
    前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定ステップと、
    前記第1の決定ステップにより決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定ステップにより決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、
    をコンピュータに実行させるプログラム。
JP2018544989A 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム Active JP6715340B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016202589 2016-10-14
JP2016202589 2016-10-14
JP2017173282 2017-09-08
JP2017173282 2017-09-08
PCT/JP2017/036477 WO2018070354A1 (ja) 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018070354A1 JPWO2018070354A1 (ja) 2019-08-15
JP6715340B2 true JP6715340B2 (ja) 2020-07-01

Family

ID=61905546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544989A Active JP6715340B2 (ja) 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US10742874B2 (ja)
JP (1) JP6715340B2 (ja)
WO (1) WO2018070354A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6619863B1 (ja) * 2018-11-26 2019-12-11 中日本ハイウェイ・エンジニアリング東京株式会社 複雑な構造物の点検方法及び点検装置
JP7442467B2 (ja) * 2021-01-21 2024-03-04 株式会社三井E&S 撮影画像分類装置及び撮影画像分類方法
US12523529B2 (en) * 2024-07-18 2026-01-13 Cgg Services Sas System and method for active hyperspectral imaging with supercontinuum light

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (ja) * 2002-03-18 2003-09-24 Sony Corp 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
JP2005339408A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 自走式ロボット及びその制御方法
JP2006031144A (ja) * 2004-07-13 2006-02-02 Matsushita Electric Ind Co Ltd 自律走行監視装置
JP5249852B2 (ja) * 2009-05-15 2013-07-31 阪神高速技術株式会社 橋梁の床版の損傷検出方法
JP4790090B2 (ja) * 2010-02-19 2011-10-12 西日本旅客鉄道株式会社 構造物管理用図面作成装置、及びその処理プログラム
SG11201606851WA (en) * 2014-04-10 2016-10-28 Sofinter S P A Burner
EP3537104B1 (en) * 2014-04-25 2021-06-02 Sony Corporation Information processing device, information processing method, and computer program
EP4283985A3 (en) * 2014-04-25 2024-01-10 Sony Group Corporation Control device, imaging device, control method, imaging method, and computer program
JP6355518B2 (ja) * 2014-10-14 2018-07-11 富士フイルム株式会社 橋梁検査ロボットシステム
JP6355517B2 (ja) * 2014-10-14 2018-07-11 富士フイルム株式会社 橋梁検査ロボットシステム
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6317686B2 (ja) * 2015-02-17 2018-04-25 株式会社横河ブリッジ 構造物点検装置及び構造物点検方法
US20170277187A1 (en) * 2016-02-29 2017-09-28 Optecks, Llc Aerial Three-Dimensional Scanner
WO2017168469A1 (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection

Also Published As

Publication number Publication date
WO2018070354A1 (ja) 2018-04-19
US20190222751A1 (en) 2019-07-18
JPWO2018070354A1 (ja) 2019-08-15
US10742874B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
JP6560366B2 (ja) 構造物の部材特定装置及び方法
JP6450481B2 (ja) 撮像装置及び撮像方法
US10212354B2 (en) Movable imaging device and movable imaging method
JP6725675B2 (ja) 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置
CN108432227B (zh) 摄影辅助装置及摄影辅助方法
CN108476282B (zh) 摄影辅助装置及摄影辅助方法
JP6445151B2 (ja) ロボット装置及びロボット装置の移動制御方法
WO2011040239A1 (ja) 広角撮像装置及び測定システム
JP6715340B2 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
WO2016189898A1 (ja) ロボット装置及びロボット装置の移動制御方法
WO2018180214A1 (ja) 画像処理装置、カメラ装置、および画像処理方法
JP2024012969A (ja) 撮像制御装置、撮像制御装置の制御方法およびプログラム
JP2023183036A (ja) 撮像制御装置、撮像制御装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6715340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250