JP7505867B2 - Image position specifying device, method, program, and temperature control system - Google Patents

Image position specifying device, method, program, and temperature control system Download PDF

Info

Publication number
JP7505867B2
JP7505867B2 JP2019162272A JP2019162272A JP7505867B2 JP 7505867 B2 JP7505867 B2 JP 7505867B2 JP 2019162272 A JP2019162272 A JP 2019162272A JP 2019162272 A JP2019162272 A JP 2019162272A JP 7505867 B2 JP7505867 B2 JP 7505867B2
Authority
JP
Japan
Prior art keywords
measurement
image
relative
photographing
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019162272A
Other languages
Japanese (ja)
Other versions
JP2021039071A (en
Inventor
洋音 小松
篤 杉浦
伸 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2019162272A priority Critical patent/JP7505867B2/en
Publication of JP2021039071A publication Critical patent/JP2021039071A/en
Application granted granted Critical
Publication of JP7505867B2 publication Critical patent/JP7505867B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Radiation Pyrometers (AREA)

Description

本開示は、計測対象物の温度の計測位置に対応する熱画像上の位置を特定（同定）する技術に関する。 This disclosure relates to a technique for identifying a position on a thermal image that corresponds to a measurement position of the temperature of an object to be measured.

特許文献１には、製鉄業における屋内又は屋外の生産設備（計測対象物）の検査作業を行う自走式検査装置が開示されている。この自走式検査装置は、ＧＰＳまたはＳＬＡＭ技術により装置の位置を推定し、推定した位置に基づいて所定のルートに沿って進行する共に、自装置に搭載された可視画像（可視光画像）や熱画像を撮影する撮像装置や温度計測装置などを用いて検査作業を実行する。これによって、情報通信が困難なエリアや走行面が平らでないエリアであっても、生産設備の検査作業を実行ができるとされる。 Patent Document 1 discloses a self-propelled inspection device that inspects indoor or outdoor production equipment (measurement objects) in the steel industry. This self-propelled inspection device estimates the device's position using GPS or SLAM technology, and proceeds along a predetermined route based on the estimated position while performing inspection work using an imaging device that takes visible images (visible light images) and thermal images and a temperature measuring device mounted on the device. This makes it possible to carry out inspection work on production equipment even in areas where information communication is difficult or where the travel surface is not flat.

特開２０１５－１６１５７７号公報JP 2015-161577 A

しかしながら、特許文献１には、可視光画像や熱画像、温度計測装置などを用いた温度計測の手法についての具体的な開示はない。例えば、計測対象物が大型の場合には、計測対象物の温度は、計測対象物上の所望の位置の温度を計測することにより行う場合がある。この際、熱画像は、計測対象物の輪郭や表面の細部が不鮮明となり易く、目視や可視画像上では明確に区別し得る箇所であっても、熱画像に表れる計測位置の撮影位置や撮影方向が可視画像や目視の状況と異なる場合には、熱画像上でその計測位置を特定するのは容易ではない場合がある。 However, Patent Document 1 does not specifically disclose a method of measuring temperature using visible light images, thermal images, temperature measuring devices, etc. For example, when the measurement object is large, the temperature of the measurement object may be measured by measuring the temperature at a desired position on the measurement object. In this case, the contour and surface details of the measurement object tend to be unclear in the thermal image, and even if a location is clearly distinguishable to the naked eye or in a visible image, it may not be easy to identify the measurement position on the thermal image if the shooting position or shooting direction of the measurement position shown in the thermal image differs from the visible image or visual situation.

また、計測対象物の同一の計測位置の温度を定期的に計測する場合において、所定の位置に設置した赤外カメラにより同一の撮影方向を計測する場合（定点計測）などには、この定期的な計測の度に撮影される熱画像における計測位置の位置は一致させることが可能なので、大きな問題は生じない。しかしながら、このような定点計測ではなく、赤外カメラを搭載した自走式検査装置などを予め指定した撮影位置に定期的に移動させて熱画像を撮影する場合には、その定期的な撮影を、同じ撮影位置でカメラ姿勢を同一にして行うことは現実的には困難である。このため、同じ撮影位置から同じ計測位置を撮影しようとして得た熱画像であっても計測対象物の写り方が異なり易く、熱画像上における目的の計測位置の位置を特定（同定）するのは容易ではない。さらに、この特定作業を人手で行うのは、多大な労力を必要とする。 In addition, when periodically measuring the temperature of the same measurement position on the object, for example when measuring the same shooting direction with an infrared camera installed at a specified position (fixed-point measurement), the measurement position in the thermal image taken each time the periodic measurement is performed can be made to match, so no major problems arise. However, instead of such fixed-point measurement, when taking thermal images by periodically moving a self-propelled inspection device equipped with an infrared camera to a pre-specified shooting position, it is practically difficult to take the periodic images at the same shooting position with the camera in the same position. For this reason, even if thermal images are obtained by attempting to shoot the same measurement position from the same shooting position, the measurement object is likely to appear differently, and it is not easy to specify (identify) the position of the target measurement position on the thermal image. Furthermore, performing this specification task manually requires a great deal of effort.

上述の事情に鑑みて、本発明の少なくとも一実施形態は、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置を提供することを目的とする。 In view of the above, at least one embodiment of the present invention aims to provide an image position identification device that can accurately identify the position of a measurement position of a measurement object in a thermal image.

本発明の少なくとも一実施形態に係る画像位置特定装置は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える。 According to at least one embodiment of the present invention, an image localization device includes:
1. An image position identifying device for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
A thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position with an infrared camera;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.

本発明の少なくとも一実施形態に係る温度管理システムは、
上述した、計測対象物の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置と、
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える。 At least one embodiment of the temperature management system of the present invention comprises:
an image position specifying device for specifying an image position on a thermal image corresponding to a measurement position of a temperature of a measurement object as described above;
A self-propelled inspection device for taking the thermal image of the measurement position,
The main body,
A moving device that movably supports the main body;
An infrared camera installed on the main body and capable of capturing the thermal image;
a sensor installed in the main body, which is used to specify the image position, for measuring a distance and a direction to a reference position provided at a predetermined position around the measurement object;
The self-propelled inspection device is provided with a control device that is installed on the main body and controls the moving device.

本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定方法であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える。 An image localization method according to at least one embodiment of the present invention comprises the steps of:
1. A method for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
acquiring the thermal image obtained by photographing the measurement position with an infrared camera;
acquiring imaging information including an angle of view and an attitude of the infrared camera when the acquired thermal image was captured;
acquiring a measurement result of a relative photographing position, which is a relative position of a photographing position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
acquiring a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and calculating the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.

本発明の少なくとも一実施形態に係る画像位置特定プログラムは、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定プログラムであって、
コンピュータに、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためのプログラムである。 An image location identification program according to at least one embodiment of the present invention includes:
An image position identification program for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
On the computer,
A thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position with an infrared camera;
an imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information; and a program for realizing the position specifying unit.

本発明の少なくとも一実施形態によれば、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置が提供される。 According to at least one embodiment of the present invention, an image position identification device is provided that can accurately identify the position of a measurement position of a measurement object in a thermal image.

本発明の一実施形態に係る温度管理システムの構成を表す概略図である。1 is a schematic diagram illustrating a configuration of a temperature management system according to an embodiment of the present invention. 本発明の一実施形態に係る自走式検査装置の構成を示す概略図である。1 is a schematic diagram showing a configuration of a self-propelled inspection device according to an embodiment of the present invention. 本発明の一実施形態に係る画像位置特定装置の機能を概略的に示すブロック図である。1 is a block diagram illustrating the functions of an image position specifying device according to an embodiment of the present invention; 本発明の一実施形態に係る計測対象物の温度の計測時を説明するための、図１に示す計測対象物の付近の平面視を示す図である。2 is a plan view of the vicinity of the measurement object shown in FIG. 1 for explaining measurement of the temperature of the measurement object according to one embodiment of the present invention; FIG. 本発明の一実施形態に係る相対計測位置の算出に関する画像位置特定装置の機能を概略的に示すブロック図である。FIG. 2 is a block diagram illustrating functions of an image position specifying device related to calculation of a relative measurement position according to an embodiment of the present invention. 本発明の一実施形態に係る相対計測位置の計測時を説明するための、図１に示す計測対象物の付近の平面視を示す図である。2 is a plan view of the vicinity of the measurement object shown in FIG. 1 for explaining measurement of a relative measurement position according to an embodiment of the present invention; FIG. 本発明の他の一実施形態に係る相対計測位置の計測時を説明するための、図１に示す計測対象物の付近の平面視を示す図である。10 is a plan view showing the vicinity of the measurement object shown in FIG. 1 for explaining measurement of a relative measurement position according to another embodiment of the present invention; FIG. 本発明の一実施形態に係る計測対象物を第１撮影位置から撮影した可視画像を示す図である。5 is a diagram showing a visible image of a measurement object captured from a first imaging position according to an embodiment of the present invention. FIG. 本発明の一実施形態に係る計測対象物を第２撮影位置から撮影した可視画像を示す図である。13 is a diagram showing a visible image of a measurement object captured from a second imaging position according to an embodiment of the present invention. FIG. 本発明の一実施形態に係る複数の候補画像を撮影する実施形態を説明するための図である。FIG. 13 is a diagram for explaining an embodiment of capturing a plurality of candidate images according to an embodiment of the present invention. 本発明の一実施形態に係る画像位置特定方法を示す図である。FIG. 2 illustrates an image localization method according to an embodiment of the present invention. 本発明の一実施形態に係る位置算出ステップを示す図である。FIG. 4 is a diagram showing a position calculation step according to an embodiment of the present invention.

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。 Hereinafter, some embodiments of the present invention will be described with reference to the accompanying drawings. However, the dimensions, materials, shapes, relative arrangements, etc. of components described as the embodiments or shown in the drawings are merely illustrative examples and are not intended to limit the scope of the present invention.
For example, expressions expressing relative or absolute configuration, such as "in a certain direction,""along a certain direction,""parallel,""orthogonal,""center,""concentric," or "coaxial," not only express such a configuration strictly, but also express a state in which there is a relative displacement with a tolerance or an angle or distance to the extent that the same function is obtained.
For example, expressions indicating that things are in an equal state, such as "identical,""equal," and "homogeneous," not only indicate a state of strict equality, but also indicate a state in which there is a tolerance or a difference to the extent that the same function is obtained.
For example, expressions describing shapes such as a rectangular shape or a cylindrical shape do not only represent rectangular shapes or cylindrical shapes in the strict geometric sense, but also represent shapes that include uneven portions, chamfered portions, etc., to the extent that the same effect can be obtained.
On the other hand, the expressions "comprise,""include,""have,""includes," or "have" of one element are not exclusive expressions excluding the presence of other elements.

（全体構成）
図１は、本発明の一実施形態に係る温度管理システム７の構成を表す概略図である。また、図２は、本発明の一実施形態に係る自走式検査装置８の構成を示す概略図である。 (overall structure)
Fig. 1 is a schematic diagram showing the configuration of a temperature control system 7 according to an embodiment of the present invention. Fig. 2 is a schematic diagram showing the configuration of a self-propelled inspection device 8 according to an embodiment of the present invention.

温度管理システム７は、温度管理の対象となる施設（以下、対象施設７０。図１参照）の温度を監視し、対象施設７０の異常を検出するためのシステムである。対象施設７０は、図１に示すような例えば火力発電所や原子力発電所などの発電プラントなどであっても良い。例えば火力発電所は、ボイラ、蒸気タービン、発電機などの複数の設備で構成される。そして、温度管理システム７は、対象施設７０を構成する任意の１以上の設備（計測対象物９）を対象に、温度管理を実行するように構成される。 The temperature management system 7 is a system for monitoring the temperature of a facility that is the subject of temperature management (hereinafter, the target facility 70; see FIG. 1) and detecting abnormalities in the target facility 70. The target facility 70 may be a power plant such as a thermal power plant or a nuclear power plant, as shown in FIG. 1. For example, a thermal power plant is made up of multiple pieces of equipment such as a boiler, steam turbine, and generator. The temperature management system 7 is configured to perform temperature management on any one or more pieces of equipment (measurement target 9) that make up the target facility 70.

このため、図１に示すように、温度管理システム７は、対象施設７０に設置された各計測対象物９の計測位置Ｍの熱画像Ｄｔ（後述）を撮影するため自走式の自走式検査装置８と、対象施設７０の温度を管理する温度管理装置７１と、画像位置特定装置１と、を備える。上記の計測対象物９上の計測位置Ｍは、計測対象物９に予め設定されている、温度を計測すべき位置（３次元）である。計測位置Ｍは、例えば対象施設７０が備える１以上（例えば複数）の計測対象物９にそれぞれ１以上ずつ設定される。なお、図１では、対象施設７０が備える複数の計測対象物９のうちの、以下の説明に用いる１つの設備にのみ符号を付している。
これらの温度管理システム７が備える構成について、それぞれ説明する。 For this reason, as shown in Fig. 1, the temperature management system 7 includes a self-propelled inspection device 8 for taking a thermal image Dt (described later) of a measurement position M of each measurement object 9 installed in a target facility 70, a temperature management device 71 for managing the temperature of the target facility 70, and an image position identification device 1. The measurement position M on the measurement object 9 is a position (three-dimensional) where the temperature should be measured, which is set in advance on the measurement object 9. For example, one or more measurement positions M are set for each of one or more (e.g., multiple) measurement objects 9 included in the target facility 70. Note that in Fig. 1, only one piece of equipment used in the following description is marked among the multiple measurement objects 9 included in the target facility 70.
The configuration of the temperature control system 7 will be described below.

（自走式検査装置８の構成）
自走式検査装置８は、予め定められた経路（以下、設定経路Ｒ）を自力で走行しつつ、検査に必要な熱画像Ｄｔなどの情報を収集する装置である。この熱画像Ｄｔは、後述する赤外カメラ８３ｔの撮影により得られる情報（遠赤外線などの赤外線量）に基づいて生成される画像である。より詳細には、熱画像Ｄｔは、赤外カメラ８３ｔの撮影範囲Ｒｔを例えば碁盤目状などの複数の領域に区分けした際の各領域の計測温度に対応する色などの情報で表した画像である。つまり、熱画像Ｄｔは、上記の撮影範囲Ｒｖを表す二次元平面上の温度分布を図として表した画像である。また、設定経路Ｒは、例えば、対象施設７０に設定された、熱画像Ｄｔを撮影すべき位置として予め設定された全ての撮影指示位置Ｔを網羅的に順番に辿るように設定される。なお、図１には、設定経路Ｒの一部を図示しており、設定経路Ｒの残りの部分は省略している。 (Configuration of self-propelled inspection device 8)
The self-propelled inspection device 8 is a device that collects information such as a thermal image Dt required for inspection while traveling on a predetermined route (hereinafter, a set route R) by itself. This thermal image Dt is an image generated based on information (amount of infrared rays such as far infrared rays) obtained by shooting with an infrared camera 83t described later. More specifically, the thermal image Dt is an image expressed by information such as colors corresponding to the measured temperature of each area when the shooting range Rt of the infrared camera 83t is divided into a plurality of areas such as a checkerboard pattern. In other words, the thermal image Dt is an image that represents the temperature distribution on a two-dimensional plane representing the above-mentioned shooting range Rv as a diagram. In addition, the set route R is set to comprehensively follow all shooting instruction positions T that are set in advance as positions where the thermal image Dt should be shot, which are set in the target facility 70, in order. Note that FIG. 1 illustrates a part of the set route R, and the remaining part of the set route R is omitted.

そして、この自走式検査装置８は、図２に示すように、自走式検査装置８は、自走式検査装置８の外郭をなす筐体である本体８１と、この本体８１を移動可能に支持する移動装置８２と、上記の本体８１にそれぞれ設置された、遠赤外線カメラなどによって実現され、計測対象物９の計測位置Ｍの熱画像Ｄｔを撮影する赤外カメラ８３ｔ、後述する画像位置Ｄｐの特定に用いられる、計測対象物９の周囲の所定の位置に設けられた後述する基準位置Ｐｏとなる検出対象との距離および方向を計測するためのセンサ８４、および移動装置８２を制御する制御装置８５を含む各種機器と、を備える。また、幾つかの実施形態では、図２に示すように、自走式検査装置８は、上記の本体８１に設置された、計測対象物９の計測位置Ｍを撮影するための可視カメラ８３ｖをさらに備えても良い。 As shown in FIG. 2, the self-propelled inspection device 8 includes a main body 81, which is a housing forming the outer shell of the self-propelled inspection device 8, a moving device 82 that movably supports the main body 81, an infrared camera 83t that is realized by a far-infrared camera or the like and captures a thermal image Dt of the measurement position M of the measurement object 9, which are installed on the main body 81, a sensor 84 for measuring the distance and direction to a detection object that is a reference position Po (described later) provided at a predetermined position around the measurement object 9 and used to identify the image position Dp (described later), and a control device 85 that controls the moving device 82. In some embodiments, as shown in FIG. 2, the self-propelled inspection device 8 may further include a visible camera 83v that is installed on the main body 81 and captures the measurement position M of the measurement object 9.

上記の移動装置８２は、車輪、無限軌道、脚機構など、地面に接地して、本体８１を移動可能に支持する装置であっても良い。あるいは、移動装置８２は、プロペラなどのスラスタなど、本体８１を水中または空中を移動可能に支持する装置であっても良い。図２に示す実施形態では、移動装置８２は無限軌道であり、その場での本体８１の転回を可能にし、また、その転回時の回転半径を小さくすることが可能となっている。 The moving device 82 may be a device that supports the main body 81 movably by contacting the ground, such as wheels, caterpillars, or a leg mechanism. Alternatively, the moving device 82 may be a device that supports the main body 81 movably in water or air, such as a thruster such as a propeller. In the embodiment shown in FIG. 2, the moving device 82 is an caterpillar, which allows the main body 81 to turn on the spot and also makes it possible to reduce the turning radius during the turn.

また、上記の赤外カメラ８３ｔおよび可視カメラ８３ｖは、移動装置８２の移動方向Ｆ（前進方向）に対して横を向くように本体８１に取り付けられても良い（図２参照）。図２に示す実施形態では、赤外カメラ８３ｔおよび可視カメラ８３ｖは、撮影方向が本体８１に対して固定されるように本体８１に取り付けられている。よって、本体８１の方向、重力方向の傾きなどの姿勢に応じて、撮影方向が変わるようになっている。ただし、本実施形態に本発明は限定されず、赤外カメラ８３ｔおよび可視カメラ８３ｖは撮影方向が調整可能な機構を有していても良い。 The infrared camera 83t and visible camera 83v may be attached to the main body 81 so as to face sideways with respect to the moving direction F (forward direction) of the moving device 82 (see FIG. 2). In the embodiment shown in FIG. 2, the infrared camera 83t and visible camera 83v are attached to the main body 81 so that the shooting direction is fixed with respect to the main body 81. Therefore, the shooting direction changes depending on the attitude of the main body 81, such as the direction and the tilt in the direction of gravity. However, the present invention is not limited to this embodiment, and the infrared camera 83t and visible camera 83v may have a mechanism that allows the shooting direction to be adjusted.

上記のセンサ８４は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｎｇ Ａｎｄ Ｒａｎｇｉｎｇ）、可視カメラ８３ｖ、またはＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）リーダであっても良い。計測対象物９の周囲の所定の位置（図１、および後述の図４、図６Ａ～図９参照）に設けられた検出対象であるマーカ７６を検出するよう構成される。例えばセンサ８４がＬｉＤＡＲの場合のマーカ７６は再帰性反射板などの反射板となる。センサ８４が可視カメラ８３ｖの場合のマーカ７６はＡＲマーカ（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）となる。センサ８４がＲＦＩＤリーダの場合のマーカ７６はＲＦＩＤとなる。図１～図２に示す実施形態では、対象施設７０における計測対象物９の付近には所定の高さを有する円柱状の形状を有するポール７５が設置されており、このポール７５の上部などに再帰性反射板（マーカ７６）が設けられている。そして、センサ８４であるＬｉＤＡＲで再帰性反射板を検出することで、検出された位置（３次元位置）を基準位置Ｐｏとしている。 The sensor 84 may be a LiDAR (Light Detecting and Ranging), a visible camera 83v, or an RFID (Radio Frequency Identifier) reader. It is configured to detect a marker 76, which is a detection target, provided at a predetermined position around the measurement object 9 (see FIG. 1, and FIG. 4, FIG. 6A to FIG. 9 described later). For example, when the sensor 84 is a LiDAR, the marker 76 is a reflector such as a retroreflector. When the sensor 84 is a visible camera 83v, the marker 76 is an AR marker (AR: Augmented Reality). When the sensor 84 is an RFID reader, the marker 76 is an RFID. In the embodiment shown in Figures 1 and 2, a cylindrical pole 75 with a predetermined height is installed near the measurement target 9 in the target facility 70, and a retroreflector (marker 76) is provided on the top of the pole 75. The retroreflector is detected by the LiDAR sensor 84, and the detected position (three-dimensional position) is set as the reference position Po.

また、上記の制御装置８５は、自走式検査装置８の位置（自己位置）および方位（自己方位）を取得し、自己位置が設定経路Ｒ上になるように、移動装置８２の走行を制御する。この自己位置および自己方位の検出（推定）は、周知な方法により行えば良い。例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）に係る信号、自走式検査装置８に搭載したセンサで検出した方位および距離に基づく自律航法、あるいは、自装置に搭載したＬｉＤＡＲあるいはデプスカメラから出力される距離分布（撮影範囲を表す二次元平面上の距離の分布）を用いたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）のいずれかの手法により行っても良い。また、制御装置８５は、上記の赤外カメラ８３ｔによる撮影の実行を制御しても良いし、上記のセンサ８４による計測の制御を実行しても良い。 The control device 85 obtains the position (self-position) and orientation (self-orientation) of the self-propelled inspection device 8, and controls the travel of the moving device 82 so that the self-position is on the set route R. This detection (estimation) of the self-position and self-orientation may be performed by a known method. For example, it may be performed by any of the following methods: signals related to the GNSS (Global Navigation Satellite System), autonomous navigation based on the orientation and distance detected by a sensor mounted on the self-propelled inspection device 8, or SLAM (Simultaneous Localization and Mapping) using a distance distribution (distribution of distance on a two-dimensional plane representing the shooting range) output from a LiDAR or depth camera mounted on the device itself. The control device 85 may also control the execution of shooting by the infrared camera 83t, or control the measurement by the sensor 84.

ここで、上述した設定経路Ｒ上またはその付近には、上記の熱画像Ｄｔを撮影すべき１以上の位置（以下、撮影指示位置Ｔ）が予め設定（教示）されている（後述する図４、図９参照）。よって、制御装置８５は、この熱画像Ｄｔの撮影指示位置Ｔが設定経路Ｒ上にない場合には、熱画像Ｄｔを撮影するために適当な位置で設定経路Ｒから撮影指示位置Ｔに向けて自走式検査装置８を移動させる。例えば、制御装置８５は、検出した自己位置が撮影指示位置Ｔになった判定される位置で自走式検査装置８を停止させた上で赤外カメラ８３ｔによる撮影の実行を制御するように構成されても良い。 Here, one or more positions (hereinafter, designated shooting positions T) at which the thermal image Dt should be captured are set (taught) in advance on or near the set route R described above (see Figures 4 and 9 described below). Therefore, when the designated shooting position T for this thermal image Dt is not on the set route R, the control device 85 moves the self-propelled inspection device 8 from the set route R to the designated shooting position T at an appropriate position for capturing the thermal image Dt. For example, the control device 85 may be configured to stop the self-propelled inspection device 8 at a position where it is determined that the detected self-position is the designated shooting position T, and then control the execution of the capture by the infrared camera 83t.

図１～図２に示す実施形態では、制御装置８５は本体８１の内部に設置されており、制御装置８５が出力する信号に従って、規定回数の巡回や終了指示がなされるまで設定経路Ｒを繰返し巡回するよう構成されている。つまり、自走式検査装置８は巡回点検装置となっている。この際、制御装置８５は、ＬｉＤＡＲなどが出力する距離分布を用いたＳＬＡＭにより自己位置および自己方位を検出するように構成されており、実際に熱画像Ｄｔを撮影した位置（以下、撮影位置Ｐ）で得られた計測対象物９の熱画像Ｄｔと、距離分布と、撮影位置Ｐおよび方位を示す位置情報と、を温度管理装置７１に送信する。これによって、温度管理装置７１が、距離分布と位置情報とに基づいて生成された三次元位置情報に、赤外カメラ８３ｔが出力した温度分布をマッピングしたもの（三次元温度分布）を作成することが可能となる。ただし、制御装置８５が三次元温度分布を作成して、送信しても良い。 In the embodiment shown in Figs. 1 and 2, the control device 85 is installed inside the main body 81, and is configured to repeatedly patrol the set route R according to the signal output by the control device 85 until a specified number of patrols or an end instruction is given. In other words, the self-propelled inspection device 8 is a patrol inspection device. In this case, the control device 85 is configured to detect its own position and orientation by SLAM using the distance distribution output by LiDAR or the like, and transmits to the temperature management device 71 the thermal image Dt of the measurement object 9 obtained at the position where the thermal image Dt was actually taken (hereinafter, the photographing position P), the distance distribution, and position information indicating the photographing position P and orientation. This makes it possible for the temperature management device 71 to create a mapping (three-dimensional temperature distribution) of the temperature distribution output by the infrared camera 83t onto the three-dimensional position information generated based on the distance distribution and position information. However, the control device 85 may create and transmit the three-dimensional temperature distribution.

（温度管理装置７１の構成）
温度管理装置７１は、自走式検査装置８から受信した情報に基づいて、対象施設７０を高さ方向から平面視した平面マップに、温度をマッピングした温度マップを作成する。そして、温度管理装置７１は、温度マップに基づいて対象施設７０のうち異常が生じている箇所を特定する。この温度管理装置７１は、対象施設７０内に設けられても良いし、対象施設７０と遠隔の地に設けられても良い。また、温度管理装置７１は、自走式検査装置８に設けられても良い。なお、自走式検査装置８による巡回の開始前（初回起動時）は、温度マップの値がないため、初期値として対象施設７０の周辺温度の平均値、対象施設７０の温度の設計値、または他の対象施設７０の実績値が記録されていても良い。 (Configuration of temperature management device 71)
The temperature management device 71 creates a temperature map in which temperatures are mapped on a planar map in which the target facility 70 is viewed in a planar height direction based on the information received from the self-propelled inspection device 8. Then, the temperature management device 71 identifies a location in the target facility 70 where an abnormality is occurring based on the temperature map. This temperature management device 71 may be provided in the target facility 70, or may be provided in a location remote from the target facility 70. The temperature management device 71 may also be provided in the self-propelled inspection device 8. Note that, before the start of patrol by the self-propelled inspection device 8 (at the time of initial startup), there is no value for the temperature map, so that the average value of the ambient temperature of the target facility 70, the design value of the temperature of the target facility 70, or the actual value of another target facility 70 may be recorded as an initial value.

（画像位置特定装置１の構成）
次に、上記の画像位置特定装置１について、図３～図９を用いて説明する。
図３は、本発明の一実施形態に係る画像位置特定装置１の機能を概略的に示すブロック図である。また、図４は、本発明の一実施形態に係る計測対象物９の温度の計測時を説明するための、図１に示す計測対象物９の付近の平面視を示す図である。 (Configuration of image position identifying device 1)
Next, the image position identifying device 1 will be described with reference to FIGS.
Fig. 3 is a block diagram showing the outline of the functions of the image position specifying device 1 according to one embodiment of the present invention, and Fig. 4 is a plan view showing the vicinity of the measurement object 9 shown in Fig. 1 for explaining the measurement of the temperature of the measurement object 9 according to one embodiment of the present invention.

画像位置特定装置１は、計測対象物９上の温度の計測位置Ｍに対応する熱画像Ｄｔ上の位置（以下、画像位置Ｄｐ）を特定するための装置である。図３に示すように、画像位置特定装置１は、熱画像取得部２１と、撮影情報取得部２２と、撮影位置取得部２３と、計測位置取得部３と、位置特定部４と、を備える。
これらの画像位置特定装置１が備える構成について、以下の説明における計測位置Ｍが第１計測位置Ｍ１（図４、図６Ａ～図６Ｂ、図９参照）である場合を例にそれぞれ説明する。以下の説明における方向は、特に記載がない場合には上記の自己位置と同じ座標系におけるものとする。 The image position identifying device 1 is a device for identifying a position on a thermal image Dt (hereinafter, image position Dp) corresponding to a temperature measurement position M on a measurement object 9. As shown in Fig. 3, the image position identifying device 1 includes a thermal image acquiring unit 21, an imaging information acquiring unit 22, an imaging position acquiring unit 23, a measurement position acquiring unit 3, and a position identifying unit 4.
The configuration of the image position identifying device 1 will be described below using an example in which the measurement position M is the first measurement position M1 (see FIG. 4, FIG. 6A to FIG. 6B, and FIG. 9). Unless otherwise specified, directions in the following description are in the same coordinate system as the self-position described above.

また、画像位置特定装置１は、コンピュータで構成されていても良く、図示しないＣＰＵ（プロセッサ）や、ＲＯＭやＲＡＭといったメモリや、外部記憶装置などとなる記憶装置１２を備えている。そして、メモリ（主記憶装置）にロードされたプログラム（画像位置特定プログラム）の命令に従ってＣＰＵが動作（データの演算など）することで、上記の各機能部を実現する。換言すれば、上記のプログラムは、コンピュータに後述する各機能部を実現させるためのソフトウェアであり、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。本実施形態では、画像位置特定装置１は、上述した温度管理装置７１と同じＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）上で動作するなど、温度管理装置７１とハードウェアを共有しており、画像位置特定装置１の記憶装置１２は温度管理装置７１のものでもある。 The image location identification device 1 may be configured as a computer, and includes a CPU (processor) (not shown), memories such as ROM and RAM, and a storage device 12 that serves as an external storage device. The CPU operates (calculates data, etc.) according to the instructions of a program (image location identification program) loaded into the memory (main storage device), thereby realizing each of the above-mentioned functional units. In other words, the above-mentioned program is software for causing a computer to realize each of the functional units described below, and may be stored in a storage medium that can be read by a computer. In this embodiment, the image location identification device 1 shares hardware with the temperature management device 71, for example by operating on the same OS (Operation System) as the above-mentioned temperature management device 71, and the storage device 12 of the image location identification device 1 also belongs to the temperature management device 71.

熱画像取得部２１は、計測対象物９における計測位置Ｍの赤外カメラ８３ｔによる撮影により得られる熱画像Ｄｔを取得するよう構成された機能部である。例えば、自走式検査装置８からの撮影を通して得られる熱画像Ｄｔは、画像位置特定装置１の記憶装置１２に記憶されるようになっており、熱画像取得部２１は、この記憶装置１２から熱画像Ｄｔを取得しても良い。 The thermal image acquisition unit 21 is a functional unit configured to acquire a thermal image Dt obtained by photographing a measurement position M on the measurement object 9 with an infrared camera 83t. For example, the thermal image Dt obtained through photographing from the self-propelled inspection device 8 is stored in the storage device 12 of the image position identification device 1, and the thermal image acquisition unit 21 may acquire the thermal image Dt from this storage device 12.

撮影情報取得部２２は、上述した熱画像取得部２１によって取得された熱画像Ｄｔの撮影時の赤外カメラ８３ｔの画角（視野角）および姿勢を含む撮影情報Ｓを取得するよう構成された機能部である。この撮影情報Ｓは、熱画像Ｄｔとの対応関係が分かるように例えば記憶装置１２に格納される。これによって、自走式検査装置８による実際の撮影時の状況に応じて撮影情報Ｓが変わるような場合にでも、熱画像取得部２１によって取得された熱画像Ｄｔの撮影時の撮影情報Ｓを得ることが可能となる。なお、撮影情報Ｓが変化しない場合には、記憶装置１２などに予め記憶されていても良い。 The photographing information acquisition unit 22 is a functional unit configured to acquire photographing information S including the angle of view (viewing angle) and posture of the infrared camera 83t when the thermal image Dt acquired by the thermal image acquisition unit 21 described above was captured. This photographing information S is stored, for example, in the storage device 12 so that the correspondence with the thermal image Dt can be understood. This makes it possible to obtain the photographing information S at the time of capturing the thermal image Dt acquired by the thermal image acquisition unit 21 even in cases where the photographing information S changes depending on the actual situation when the self-propelled inspection device 8 captures the image. Note that if the photographing information S does not change, it may be stored in advance in the storage device 12, etc.

撮影位置取得部２３は、計測対象物９の周囲に設けられた基準位置Ｐｏに対する熱画像Ｄｔの撮影位置Ｐの相対位置である相対撮影位置Ｐｒの計測結果を取得するよう構成された機能部である。基準位置Ｐｏは、自走式検査装置８から最も近い位置にある第１マーカ７６ａの座標（３次元座標。以下同様）である。そして、自走式検査装置８に設置されたセンサ８４により第１マーカ７６ａを検出することで、検出時のセンサ８４と第１マーカ７６ａとの距離（直線距離）、およびセンサ８４から第１マーカ７６ａへの方向の検出結果（センサ検出結果Ｐｍ）が得られる。よって、このセンサ検出結果Ｐｍからセンサ８４と第１マーカ７６ａとの相対的な位置関係が分かる。図１～図４に示す実施形態では、この位置関係に基づいて、例えば基準位置Ｐｏを原点とした撮影位置Ｐの座標を算出し、これを相対撮影位置Ｐｒとしている。 The photographing position acquisition unit 23 is a functional unit configured to acquire the measurement result of the relative photographing position Pr, which is the relative position of the photographing position P of the thermal image Dt with respect to the reference position Po provided around the measurement target 9. The reference position Po is the coordinate (three-dimensional coordinate; the same applies below) of the first marker 76a located closest to the self-propelled inspection device 8. Then, by detecting the first marker 76a with the sensor 84 installed on the self-propelled inspection device 8, the distance (straight-line distance) between the sensor 84 and the first marker 76a at the time of detection and the detection result (sensor detection result Pm) of the direction from the sensor 84 to the first marker 76a are obtained. Therefore, the relative positional relationship between the sensor 84 and the first marker 76a can be known from this sensor detection result Pm. In the embodiment shown in Figures 1 to 4, for example, the coordinate of the photographing position P with the reference position Po as the origin is calculated based on this positional relationship, and this is set as the relative photographing position Pr.

計測位置取得部３は、既に説明した基準位置Ｐｏに対する計測対象物９の計測位置Ｍの相対位置である相対計測位置Ｑｒの計測結果を取得するよう構成された機能部である。相対計測位置Ｑｒは、後述するような測定を実際に行うことにより得られたものである。相対計測位置Ｑｒは記憶装置１２などに予め記憶されており、計測位置取得部３は、記憶装置１２などから、相対計測位置Ｑｒを取得する。この相対計測位置Ｑｒの計測方法については後述する。 The measurement position acquisition unit 3 is a functional unit configured to acquire the measurement result of the relative measurement position Qr, which is the relative position of the measurement position M of the measurement object 9 with respect to the reference position Po already explained. The relative measurement position Qr is obtained by actually performing a measurement as described below. The relative measurement position Qr is stored in advance in the storage device 12 or the like, and the measurement position acquisition unit 3 acquires the relative measurement position Qr from the storage device 12 or the like. The method of measuring this relative measurement position Qr will be described later.

位置特定部４は、上述したようにそれぞれ取得される相対撮影位置Ｐｒ、相対計測位置Ｑｒおよび撮影情報Ｓに基づいて、上記の相対計測位置Ｑｒ（計測位置Ｍ）に対応する熱画像Ｄｔ上の位置（画像位置Ｄｐ）を算出するよう構成された機能部である。幾つかの実施形態では、この位置特定部４は、周知な透視投影変換により、相対計測位置Ｑｒを画像位置Ｄｐに変換しても良い。具体的には、撮影情報Ｓに基づいて、例えば、基準位置Ｐｏの座標系（ｘ、ｙ、ｚ）を赤外カメラ８３ｔの座標系（ｘ´、ｙ´、ｚ´）に変換する行列Ａ（姿勢変換行列）およびｂ（並進ベクトル）と、赤外カメラ８３ｔの座標系を熱画像Ｄｔの座標系に変換するための行列Ｃ（射影変換行列）を作成する。そして、これらの行列を用いた、Ｄｐ＝Ｃ（ＡＱｒ＋ｂ）の行列式により、相対計測位置Ｑｒを画像位置Ｄｐに変換することが可能である。 The position identification unit 4 is a functional unit configured to calculate a position (image position Dp) on the thermal image Dt corresponding to the relative measurement position Qr (measurement position M) based on the relative shooting position Pr, the relative measurement position Qr, and the shooting information S, which are acquired as described above. In some embodiments, the position identification unit 4 may convert the relative measurement position Qr to the image position Dp by a well-known perspective projection transformation. Specifically, based on the shooting information S, for example, matrices A (attitude transformation matrix) and b (translation vector) that convert the coordinate system (x, y, z) of the reference position Po to the coordinate system (x', y', z') of the infrared camera 83t, and a matrix C (projection transformation matrix) that converts the coordinate system of the infrared camera 83t to the coordinate system of the thermal image Dt are created. Then, the relative measurement position Qr can be converted to the image position Dp by the determinant Dp = C (AQr + b) using these matrices.

なお、図１～図４で示す実施形態では、図４に示すように、計測対象物９には３つの計測位置Ｍが設定されている。計測対象物９の周囲には２つのポール７５（第１ポール７５ａ、第２ポール７５ｂ）が設けられている。また、この計測対象物９に設定された３つの計測位置Ｍを撮影するための撮影指示位置Ｔは、第１撮影指示位置Ｔ１および第２撮影指示位置Ｔ２の合計で２箇所設けられている。具体的には、第１撮影指示位置Ｔ１は、自走式検査装置８の移動方向Ｆに対して、第１ポール７５ａの手前の位置であり、第２撮影指示位置Ｔ２は、第１ポール７５ａと第２ポール７５ｂとの間の位置に設けられている。そして、第１撮影指示位置Ｔ１および第２撮影指示位置Ｔ２から、それぞれ、上記の３つの計測位置Ｍ（Ｍ１～Ｍ３）を一度に撮影するようになっている。この第２撮影指示位置Ｔ２からの撮影により得られる熱画像Ｄｔの基準位置Ｐｏは、第１ポール７５ａの第１マーカ７６ａまたは第２ポール７５ｂの第２マーカ７６ｂのいずれのマーカ７６であっても良い。そして、各計測位置Ｍに対応する熱画像Ｄｔ上の画像位置Ｄｐは、上述したのと同様に処理されることで求めることが可能である。 In the embodiment shown in FIG. 1 to FIG. 4, three measurement positions M are set on the measurement object 9 as shown in FIG. 4. Two poles 75 (first pole 75a, second pole 75b) are provided around the measurement object 9. Two imaging instruction positions T for photographing the three measurement positions M set on the measurement object 9 are provided in total, a first imaging instruction position T1 and a second imaging instruction position T2 . Specifically, the first imaging instruction position T1 is a position in front of the first pole 75a with respect to the moving direction F of the self-propelled inspection device 8, and the second imaging instruction position T2 is provided at a position between the first pole 75a and the second pole 75b. The above three measurement positions M (M1 to M3) are photographed at once from the first imaging instruction position T1 and the second imaging instruction position T2 , respectively. The reference position Po of the thermal image Dt obtained by photographing from the second photographing instruction position T2 may be either the first marker 76a of the first pole 75a or the second marker 76b of the second pole 75b. The image position Dp on the thermal image Dt corresponding to each measurement position M can be obtained by processing in the same manner as described above.

また、図４における破線８ｄは、相対計測位置Ｑｒを計測した際の自走式検査装置８を示しており、後述する可視カメラ８３ｖにより撮影される計測位置Ｍの画像Ｄ（図４では可視画像Ｄｖ）の撮影が最適となるように、自走式検査装置８の位置を調整した時のものである。しかしながら。図４の実線に示すように、赤外カメラ８３ｔによる撮影時の本体８１の撮影位置Ｐや移動方向Ｆは、破線８ｄで示す可視カメラ８３ｖによる撮影時の本体８１のそれとは完全に一致していない。このため、赤外カメラ８３ｔの撮影範囲Ｒｔと可視カメラ８３ｖの撮影範囲Ｒｖと完全に一致はしていない。このように、自走式検査装置８を撮影指示位置Ｔに完全に一致するように移動させて、同じ撮影方向から撮影することは容易ではなく、ずれが生じ易い。しかしながら、上述のように処理することで、各計測位置Ｍに対応する熱画像Ｄｔ上の画像位置Ｄｐを精度良く求めることが可能となる。 Also, the dashed line 8d in FIG. 4 shows the self-propelled inspection device 8 when the relative measurement position Qr is measured, and the position of the self-propelled inspection device 8 is adjusted so that the image D (visible image Dv in FIG. 4) of the measurement position M captured by the visible camera 83v described later is optimal. However, as shown by the solid line in FIG. 4, the shooting position P and moving direction F of the main body 81 when shooting by the infrared camera 83t do not completely match those of the main body 81 when shooting by the visible camera 83v shown by the dashed line 8d. Therefore, the shooting range Rt of the infrared camera 83t and the shooting range Rv of the visible camera 83v do not completely match. In this way, it is not easy to move the self-propelled inspection device 8 to completely match the shooting instruction position T and shoot from the same shooting direction, and deviations are likely to occur. However, by processing as described above, it is possible to accurately determine the image position Dp on the thermal image Dt corresponding to each measurement position M.

上記の構成によれば、設定された計測対象物９上の計測位置Ｍが、同じ計測対象物９を赤外カメラ８３ｔで撮影した熱画像Ｄｔ上のどの位置に対応するかを特定（同定）するために、まずは計測対象物９の周囲に、計測対象物９との相対位置が変わらない基準位置Ｐｏを設けておく。また、例えばこの基準位置Ｐｏを原点とする計測位置Ｍの座標などとなる、基準位置Ｐｏに対する計測位置Ｍの相対位置の計測結果（相対計測位置Ｑｒ）を、事前（位置特定前）に測定などを通して用意しておく。そして、実際に撮影した熱画像Ｄｔにおける計測位置の特定の際には、その熱画像Ｄｔの撮影時の撮影位置Ｐから基準位置Ｐｏを計測することで、撮影位置Ｐの基準位置Ｐｏに対する相対位置（相対撮影位置Ｐｒ）を取得すると共に、事前に測定されている相対計測位置Ｑｒを取得する。 According to the above configuration, in order to specify (identify) which position on the thermal image Dt of the same measurement object 9 captured by the infrared camera 83t corresponds to the measurement position M on the set measurement object 9, a reference position Po is first set around the measurement object 9, whose relative position with respect to the measurement object 9 does not change. In addition, the measurement result (relative measurement position Qr) of the relative position of the measurement position M with respect to the reference position Po, which is, for example, the coordinate of the measurement position M with the reference position Po as the origin, is prepared in advance (before position identification) through measurement or the like. Then, when identifying the measurement position in the actually captured thermal image Dt, the reference position Po is measured from the capture position P at the time of capturing the thermal image Dt, thereby obtaining the relative position of the capture position P with respect to the reference position Po (relative capture position Pr) and obtaining the relative measurement position Qr measured in advance.

これによって、同一の座標系（例えば原点が基準位置Ｐｏ）における計測位置Ｍおよび熱画像Ｄｔの撮影位置Ｐが得られるので、この熱画像Ｄｔの撮影時の画角や姿勢を含む撮影情報Ｓに基づいて、例えば透視投影変換などを実行することで、画像位置Ｄｐを精度良く特定することができる。例えば、自走式検査装置８により計測位置Ｍを定期的に撮影する場合において、熱画像Ｄｔの撮影時の自走式検査装置８の自己位置や自己方向を用いて画像位置Ｄｐを特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置Ｐｏの計測により得られる相対撮影位置Ｐｒの精度は比較的高く、上記の構成によれば、画像位置Ｄｐを高精度で特定することができる。 This allows the measurement position M and the shooting position P of the thermal image Dt to be obtained in the same coordinate system (e.g., the origin is the reference position Po), and the image position Dp can be accurately identified by performing, for example, perspective projection transformation based on the shooting information S including the angle of view and posture when the thermal image Dt was shot. For example, when the measurement position M is periodically shot by the self-propelled inspection device 8, the accuracy of identifying the image position Dp using the self-position and self-orientation of the self-propelled inspection device 8 when the thermal image Dt was shot depends on the accuracy of estimating the self-position, etc. However, the accuracy of the relative shooting position Pr obtained by measuring the reference position Po is relatively high, and the above configuration allows the image position Dp to be identified with high accuracy.

次に、上述した相対計測位置Ｑｒ（基準位置Ｐｏと計測位置Ｍとの相対位置）の求め方について、図５～図８を用いて説明する。
図５は、本発明の一実施形態に係る相対計測位置Ｑｒの算出に関する画像位置特定装置１の機能を概略的に示すブロック図である。図６Ａは、本発明の一実施形態に係る相対計測位置Ｑｒの計測時を説明するための、図１に示す計測対象物９の付近の平面視を示す図である。図６Ｂは、本発明の他の一実施形態に係る相対計測位置Ｑｒの計測時を説明するための、図１に示す計測対象物９の付近の平面視を示す図である。図７は、本発明の一実施形態に係る計測対象物９を第１撮影位置Ｐ１から撮影した可視画像を示す図である。また、図８は、本発明の一実施形態に係る計測対象物９を第２撮影位置Ｐ２から撮影した可視画像を示す図である。 Next, a method for determining the above-mentioned relative measurement position Qr (the relative position between the reference position Po and the measurement position M) will be described with reference to FIGS.
Fig. 5 is a block diagram showing a schematic function of the image position specifying device 1 related to the calculation of the relative measurement position Qr according to one embodiment of the present invention. Fig. 6A is a diagram showing a plan view of the vicinity of the measurement object 9 shown in Fig. 1 to explain the measurement of the relative measurement position Qr according to one embodiment of the present invention. Fig. 6B is a diagram showing a plan view of the vicinity of the measurement object 9 shown in Fig. 1 to explain the measurement of the relative measurement position Qr according to another embodiment of the present invention. Fig. 7 is a diagram showing a visible image of the measurement object 9 according to one embodiment of the present invention photographed from a first photographing position P1. Fig. 8 is a diagram showing a visible image of the measurement object 9 according to one embodiment of the present invention photographed from a second photographing position P2.

幾つかの実施形態では、図５に示すように、計測位置取得部３は、相対計測位置Ｑｒを算出するよう構成された位置算出部４０を有しても良い。具体的には、この位置算出部４０は、少なくとも１つの撮影位置からの任意の種類のカメラ８３（図５では可視カメラ８３ｖ）による計測位置Ｍの撮影により得られる少なくとも１つの画像Ｄを取得するよう構成された画像取得部４１と、この画像取得部４１によって取得された１以上の画像Ｄに基づいて、この１以上の画像Ｄに共通して含まれる計測位置Ｍの相対計測位置Ｑｒを算出する相対位置算出部４２と、を備える。 In some embodiments, as shown in FIG. 5, the measurement position acquisition unit 3 may have a position calculation unit 40 configured to calculate a relative measurement position Qr. Specifically, the position calculation unit 40 includes an image acquisition unit 41 configured to acquire at least one image D obtained by capturing an image of the measurement position M by any type of camera 83 (visible camera 83v in FIG. 5) from at least one capturing position, and a relative position calculation unit 42 that calculates a relative measurement position Qr of the measurement position M commonly included in the one or more images D based on the one or more images D captured by the image acquisition unit 41.

より詳細には、幾つかの実施形態では、位置算出部４０は、三角測量により計測位置Ｍの座標を求めるよう構成されても良い。すなわち、互いに異なる２つの位置（図６Ａの第１撮影位置Ｐ１、第２撮影位置Ｐ２）の各々について、それぞれ、基準位置Ｐｏに対する位置（３次元座標）と、この２つの撮影位置Ｐ（Ｐ１、Ｐ２）の各々からの計測位置Ｍの方向（３次元方向）とを求める。これによって、同一の座標系における２つの撮影位置Ｐ（Ｐ１、Ｐ２）と、この２つの撮影位置Ｐ（Ｐ１、Ｐ２）の各々からの、位置が不明となっている計測位置Ｍ（図６Ａでは、第１計測位置Ｍ１）の方向（ｄ１、ｄ２）が得られるので、三角測量により計測位置Ｍの座標を求めることが可能である。 More specifically, in some embodiments, the position calculation unit 40 may be configured to obtain the coordinates of the measurement position M by triangulation. That is, for each of two different positions (the first shooting position P 1 and the second shooting position P 2 in FIG. 6A ), the position (three-dimensional coordinates) relative to the reference position Po and the direction (three-dimensional direction) of the measurement position M from each of the two shooting positions P (P 1 , P 2 ) are obtained. This allows the two shooting positions P (P 1 , P 2 ) in the same coordinate system and the direction (d 1 , d 2 ) of the measurement position M (the first measurement position M 1 in FIG. 6A ) whose position is unknown from each of the two shooting positions P (P 1 , P 2 ) to be obtained, so that it is possible to obtain the coordinates of the measurement position M by triangulation.

このため、幾つかの実施形態では、図５に示すように、上記の位置算出部４０は、画像取得部４１と、第２撮影情報取得部４３と、方向算出部４４と、第２撮影位置取得部４５と、算出部４６と、を有する。
これらの位置算出部４０が備える機能部について、画像取得部４１が可視カメラ８３ｖによって撮影された可視画像Ｄｖを取得する場合を例に、それぞれ説明する。ただし、本実施形態に本発明は限定されず、画像取得部４１は、例えば赤外カメラ８３ｔによって撮影された熱画像Ｄｔを取得しても良い。 For this reason, in some embodiments, as shown in FIG. 5, the position calculation unit 40 has an image acquisition unit 41, a second shooting information acquisition unit 43, a direction calculation unit 44, a second shooting position acquisition unit 45, and a calculation unit 46.
The functional units of the position calculation unit 40 will be described below using an example in which the image acquisition unit 41 acquires a visible image Dv captured by a visible camera 83v. However, the present invention is not limited to this embodiment, and the image acquisition unit 41 may acquire a thermal image Dt captured by an infrared camera 83t, for example.

画像取得部４１は、互いに異なる２つの撮影位置Ｐからの可視カメラ８３ｖによる同一の計測位置Ｍの撮影により得られる２つの可視画像Ｄｖ（図７～図８参照）を取得するよう構成された機能部である。既に説明した自走式検査装置８などからの可視カメラ８３ｖによる撮影を通して得られる可視画像Ｄｖは、画像位置特定装置１の記憶装置１２に記憶されるようになっており、画像取得部４１は、この記憶装置１２から２つの可視画像Ｄｖを取得しても良い。図６Ａに示す実施形態では、自走式検査装置８が、上述した第１撮影位置Ｐ１および第２撮影位置Ｐ２の２つの位置に順番に移動し、この２つの位置でそれぞれ可視画像Ｄｖを撮影している。 The image acquisition unit 41 is a functional unit configured to acquire two visible images Dv (see Figures 7 and 8) obtained by capturing images of the same measurement position M by the visible camera 83v from two different capturing positions P. The visible images Dv obtained through capturing images by the visible camera 83v from the self-propelled inspection device 8, etc., already described, are stored in the storage device 12 of the image position identification device 1, and the image acquisition unit 41 may acquire the two visible images Dv from this storage device 12. In the embodiment shown in Figure 6A, the self-propelled inspection device 8 moves in sequence to the two positions, the first capturing position P1 and the second capturing position P2, described above, and captures a visible image Dv at each of these two positions.

第２撮影情報取得部４３は、上述した画像取得部４１によって取得された２つの可視画像Ｄｖの撮影時の各々における可視カメラ８３ｖの画角（視野角）および姿勢を含む第２撮影情報Ｓｖを取得するよう構成された機能部である。この第２撮影情報Ｓｖは、可視画像Ｄｖとの対応関係が分かるように例えば記憶装置１２に格納される。この第２撮影情報取得部４３は、既に説明した撮影情報取得部２２の処理内容と同じであり、取得する情報が可視画像Ｄｖに関するものである点が異なるので、撮影情報取得部２２であっても良い。 The second photographing information acquisition unit 43 is a functional unit configured to acquire second photographing information Sv including the angle of view (field of view) and attitude of the visible camera 83v at the time of capturing each of the two visible images Dv acquired by the image acquisition unit 41 described above. This second photographing information Sv is stored, for example, in the storage device 12 so that the correspondence with the visible image Dv can be understood. This second photographing information acquisition unit 43 has the same processing content as the photographing information acquisition unit 22 already described, but differs in that the information acquired is related to the visible image Dv, and therefore may be the photographing information acquisition unit 22.

方向算出部４４は、上述した画像取得部４１によって取得された２つの可視画像Ｄｖの各々における計測位置Ｍの方向である計測位置方向ｄ（ｄ１、ｄ２）を、この２つの可視画像Ｄｖの第２撮影情報Ｓｖに基づいてそれぞれ算出するよう構成された機能部である。すなわち、自走式検査装置８の本体８１に対する可視カメラ８３ｖの撮影方向は既知なので、本体８１の重力方向における傾きなどの自走式検査装置８の撮影時の姿勢から、その撮影時における可視カメラ８３ｖの姿勢が分かるので、撮影方向が分かる。また、可視カメラ８３ｖの画角が既知なので、可視画像Ｄｖにおける計測位置Ｍの位置に基づいて、可視画像Ｄｖにおける計測位置Ｍの方向が分かる。よって、可視カメラ８３ｖの撮影方向と、可視画像Ｄｖにおける計測位置Ｍの方向とに基づいて、計測位置方向ｄを算出することが可能である。方向算出部４４は、第１撮影位置Ｐ１から計測位置Ｍの計測位置方向ｄである第１計測位置方向ｄ１と、第２撮影位置Ｐ２から計測位置Ｍの計測位置方向ｄである第２計測位置方向ｄ２とを算出する。 The direction calculation unit 44 is a functional unit configured to calculate the measurement position direction d (d 1 , d 2 ), which is the direction of the measurement position M in each of the two visible images Dv acquired by the image acquisition unit 41 described above, based on the second shooting information Sv of the two visible images Dv. That is, since the shooting direction of the visible camera 83v with respect to the main body 81 of the self-propelled inspection device 8 is known, the posture of the visible camera 83v at the time of shooting can be known from the posture of the self-propelled inspection device 8 at the time of shooting, such as the inclination of the main body 81 in the gravity direction, and therefore the shooting direction can be known. In addition, since the angle of view of the visible camera 83v is known, the direction of the measurement position M in the visible image Dv can be known based on the position of the measurement position M in the visible image Dv. Therefore, it is possible to calculate the measurement position direction d based on the shooting direction of the visible camera 83v and the direction of the measurement position M in the visible image Dv. The direction calculation unit 44 calculates a first measurement position direction d1, which is the measurement position direction d from the first shooting position P1 to the measurement position M, and a second measurement position direction d2 , which is the measurement position direction d from the second shooting position P2 to the measurement position M.

第２撮影位置取得部４５は、上記の２つの可視画像Ｄｖの各々の撮影位置Ｐ（Ｐ１、Ｐ２）の基準位置Ｐｏに対する相対位置である相対撮影位置Ｐｒ（以下、第２相対撮影位置Ｐｖ）の計測結果をそれぞれ取得するよう構成された機能部である。この第２撮影位置取得部４５は、既に説明した撮影位置取得部２３の処理内容と同じであるため、省略する。つまり、第２撮影位置取得部４５は、撮影位置取得部２３であっても良い。これによって、基準位置Ｐｏを原点とする２つの撮影位置Ｐ（Ｐ１、Ｐ２）の３次元座標が求まる。 The second photographing position acquisition unit 45 is a functional unit configured to acquire the measurement results of the relative photographing position Pr (hereinafter, second relative photographing position Pv), which is the relative position of each photographing position P ( P1 , P2 ) of the two visible images Dv with respect to the reference position Po. The second photographing position acquisition unit 45 has the same processing content as the photographing position acquisition unit 23 already described, so it will be omitted. In other words, the second photographing position acquisition unit 45 may be the photographing position acquisition unit 23. This allows the three-dimensional coordinates of the two photographing positions P ( P1 , P2 ) with the reference position Po as the origin to be obtained.

算出部４６は、上記の２つの可視画像Ｄｖの各々についてのＰｖおよび計測位置方向ｄに基づいて、目的となる相対計測位置Ｑｒを算出するよう構成された機能部である。具体的には、算出部４６は三角測量により計測位置Ｍを求める。すなわち、第２撮影位置取得部４５によって、第１撮影位置Ｐ１および第２撮影位置Ｐ２の基準位置Ｐｏを原点とした座標が得られている。また、方向算出部４４によって、第１撮影位置Ｐ１から計測位置Ｍ（ここでは第１計測位置Ｍ１）の方向（第１計測位置方向ｄ１）と、第２撮影位置Ｐ２から計測位置Ｍの方向（第２計測位置方向ｄ２）とが得られている。よって、これらの情報に基づいて三角測量により、計測位置Ｍから、第１撮影位置Ｐ１と第２撮影位置Ｐ２とを結ぶ直線Ｌｂに下した垂線の長さＬが分かり、基準位置Ｐｏを原点とする計測位置Ｍの座標を求めることが可能となる。 The calculation unit 46 is a functional unit configured to calculate the target relative measurement position Qr based on Pv and the measurement position direction d for each of the two visible images Dv. Specifically, the calculation unit 46 obtains the measurement position M by triangulation. That is, the second shooting position acquisition unit 45 obtains coordinates with the reference position Po of the first shooting position P1 and the second shooting position P2 as the origin. In addition, the direction calculation unit 44 obtains the direction (first measurement position direction d1 ) from the first shooting position P1 to the measurement position M (here, the first measurement position M1 ) and the direction (second measurement position direction d2 ) from the second shooting position P2 to the measurement position M. Therefore, based on this information, the length L of the perpendicular line from the measurement position M to the straight line Lb connecting the first shooting position P1 and the second shooting position P2 can be found by triangulation, and it is possible to obtain the coordinates of the measurement position M with the reference position Po as the origin.

図５に示す実施形態では、可視カメラ８３ｖによって可視画像Ｄｖが撮影されると、可視画像Ｄｖと、この可視画像Ｄｖの撮影位置Ｐから上述したセンサ８４によって計測した基準位置Ｐｏの検出結果（センサ検出結果Ｐｍ）と、その撮影時の可視カメラ８３ｖの第２撮影情報Ｓｖの情報とが関連付けられて、記憶装置１２に記憶されるようになっている。そして、上記の画像取得部４１は、記憶装置１２から２つの可視画像Ｄｖ（Ｄｖ１、Ｄｖ２）を取得する。第２撮影情報取得部４３は、この２つの可視画像Ｄｖ（Ｄｖ１、Ｄｖ２）の各々の第２撮影情報Ｓｖ（Ｓｖ１、Ｓｖ２）を取得する。上記の方向算出部４４は、上記の画像取得部４１および第２撮影情報取得部４３に接続されており、入力された可視画像Ｄｖ（Ｄｖ１、Ｄｖ２）と、その可視画像Ｄｖの第２撮影情報Ｓｖ（Ｓｖ１、Ｓｖ２）とが入力されると、上述した入力された可視画像Ｄｖにおける計測位置方向ｄ（ｄ１、ｄ２）を算出する。他方、第２撮影位置取得部４５は、記憶装置１２から２つの撮影位置Ｐ（Ｐ１、Ｐ２）の各々でのセンサ検出結果Ｐｍ（Ｐｍ１、Ｐｍ２）を取得し、その各々の第２相対撮影位置Ｐｖ（Ｐｖ１、Ｐｖ２）を算出する。そして、算出部４６は、方向算出部４４および第２撮影位置取得部４５に接続されており、２つの撮影位置Ｐ（Ｐ１、Ｐ２）の各々の相対撮影位置Ｐｒ（Ｐｖ１、Ｐｖ２）と、２つの計測位置方向ｄ（ｄ１、ｄ２）が入力されると、三角測量により、基準位置Ｐｏを原点とする計測位置Ｍの座標（相対計測位置Ｑｒ）を算出する。 5, when a visible image Dv is captured by the visible camera 83v, the visible image Dv, the detection result (sensor detection result Pm) of the reference position Po measured by the sensor 84 from the capturing position P of the visible image Dv, and the second capturing information Sv of the visible camera 83v at the time of capturing are associated with each other and stored in the storage device 12. Then, the image acquisition unit 41 acquires two visible images Dv ( Dv1 , Dv2 ) from the storage device 12. The second capturing information acquisition unit 43 acquires second capturing information Sv ( Sv1 , Sv2 ) of each of the two visible images Dv ( Dv1 , Dv2 ). The direction calculation unit 44 is connected to the image acquisition unit 41 and the second shooting information acquisition unit 43, and when an input visible image Dv ( Dv1 , Dv2 ) and second shooting information Sv ( Sv1 , Sv2 ) of the visible image Dv are input, the direction calculation unit 44 calculates the measurement position direction d ( d1 , d2 ) in the input visible image Dv. On the other hand, the second shooting position acquisition unit 45 acquires the sensor detection results Pm ( Pm1 , Pm2 ) at each of the two shooting positions P ( P1 , P2 ) from the storage device 12, and calculates each of the second relative shooting positions Pv ( Pv1 , Pv2 ). The calculation unit 46 is connected to the direction calculation unit 44 and the second shooting position acquisition unit 45, and when the relative shooting positions Pr ( Pv1 , Pv2 ) of the two shooting positions P ( P1 , P2 ) and the two measurement position directions d ( d1 , d2 ) are input, the calculation unit 46 calculates the coordinates (relative measurement position Qr) of the measurement position M with the reference position Po as the origin by triangulation.

上記の構成によれば、基準位置Ｐｏに対する計測位置Ｍの相対値（相対計測位置Ｑｒ）を、可視カメラの２つの撮影位置Ｐの各々の基準位置Ｐｏに対する相対位置（第２相対撮影位置Ｐｖ）の計測結果、および、可視カメラ８３ｖによる計測対象物９（計測位置Ｍ）の撮影を通して計測される、２つの撮影位置Ｐの各々からの計測位置Ｍの方向（計測位置方向ｄ）に基づいて、三角測量により算出する。これによって、相対計測位置Ｑｒを適切に求めることができる。 According to the above configuration, the relative value (relative measurement position Qr) of the measurement position M with respect to the reference position Po is calculated by triangulation based on the measurement results of the relative positions (second relative shooting position Pv) of each of the two shooting positions P of the visible camera with respect to the reference position Po, and the direction (measurement position direction d) of the measurement position M from each of the two shooting positions P measured through shooting of the measurement object 9 (measurement position M) by the visible camera 83v. This makes it possible to appropriately determine the relative measurement position Qr.

ただし、上述した実施形態に本発明は限定されない。上述した実施形態では、位置算出部４０は、相対計測位置Ｑｒを算出するために、２つの撮影位置Ｐ（図６ＡのＰ１、Ｐ２）から撮影した画像Ｄ（図６Ａでは可視画像Ｄｖ）を用いていたが、他の幾つかの実施形態では、位置算出部４０は、１つの撮影位置Ｐから撮影した画像Ｄ（図６Ｂでは可視画像Ｄｖ）に基づいて、相対計測位置Ｑｒを算出しても良い（図６Ｂ参照）。この場合、上述したのと同様に、１つの可視画像Ｄｖと、その可視画像Ｄｖの第２撮影情報Ｓｖに基づいて、計測位置Ｍの計測位置方向ｄを求めると共に、その可視画像Ｄｖの基準位置Ｐｏに対する相対位置である相対撮影位置Ｐｒを計測により求める。他方、この可視画像Ｄｖの撮影位置Ｐから計測対象物９に対する奥行方向の距離Ｌｄを、例えば定規やメジャー等の道具、あるいは距離を計測可能な測距センサ（例えばＲＦＩＤ、ミリ波レーダ、レーザ測距計）などを用いて実測することで、撮影位置Ｐから計測位置Ｍ（図６Ｂでは第１計測位置Ｍ１）までの距離が分かる。つまり、撮影位置Ｐに対する計測位置Ｍの相対位置が得られるので、これを基準位置Ｐｏからの相対位置に変換することで、相対計測位置Ｑｒが算出可能である。この奥行方向は、基準位置Ｐｏを原点とした座標系において、撮影位置ＰとＹ座標およびＺ座標が同じで、かつ、計測位置ＭとＸ座標が同じとなる仮想の位置から計測位置Ｍの方向を意味する。 However, the present invention is not limited to the above-mentioned embodiment. In the above-mentioned embodiment, the position calculation unit 40 uses the images D (visible image Dv in FIG. 6A) captured from two shooting positions P ( P1 and P2 in FIG. 6A) to calculate the relative measurement position Qr, but in some other embodiments, the position calculation unit 40 may calculate the relative measurement position Qr based on the image D (visible image Dv in FIG. 6B) captured from one shooting position P (see FIG. 6B). In this case, similarly to the above, the measurement position direction d of the measurement position M is obtained based on one visible image Dv and the second shooting information Sv of the visible image Dv, and the relative shooting position Pr, which is the relative position of the visible image Dv with respect to the reference position Po, is obtained by measurement. On the other hand, by actually measuring the distance Ld in the depth direction from the photographing position P of this visible image Dv to the measurement object 9 using, for example, a tool such as a ruler or a tape measure, or a distance measuring sensor capable of measuring distance (for example, an RFID, a millimeter wave radar, or a laser range finder), the distance from the photographing position P to the measurement position M (first measurement position M1 in FIG. 6B ) can be determined. In other words, the relative position of the measurement position M with respect to the photographing position P is obtained, and by converting this to a relative position from the reference position Po, the relative measurement position Qr can be calculated. This depth direction means the direction from a virtual position where the Y coordinate and Z coordinate are the same as those of the photographing position P and where the X coordinate is the same as those of the measurement position M in a coordinate system with the reference position Po as the origin, to the measurement position M.

その他の幾つかの実施形態では、例えば、計測対象物９が設置されている現場においてマーカ７６の位置から計測位置Ｍをメジャーなどの道具や測距センサなどを用いて相対計測位置Ｑｒを直接計測するなど、他の手法により相対計測位置Ｑｒを計測したものを取得しても良い。 In some other embodiments, the relative measurement position Qr may be measured using other methods, such as directly measuring the measurement position M from the position of the marker 76 at the site where the measurement object 9 is installed using a tool such as a tape measure or a distance sensor.

次に、画像位置特定装置１が備えるその他の構成について、それぞれ説明する。
幾つかの実施形態では、図５に示すように、画像位置特定装置１は、上述した画像取得部４１によって取得された画像Ｄ（図５では可視画像Ｄｖ）を用いて指定された位置を計測位置Ｍとして取得するよう構成された計測位置設定部５を、さらに備えても良い。 Next, other components of the image position identifying device 1 will be described.
In some embodiments, as shown in FIG. 5, the image position identification device 1 may further include a measurement position setting unit 5 configured to acquire a specified position as a measurement position M using an image D (visible image Dv in FIG. 5) acquired by the above-mentioned image acquisition unit 41.

図５に示す実施形態では、計測位置設定部５は、可視画像Ｄｖを表示するディスプレイ６１を有するユーザの例えばラップトップ型やデスクトップ型などのパソコン６に接続されている。そして、図７～図８に示すように、ディスプレイ６１に表示された可視画像Ｄｖ上で、ユーザがマウスやタップ操作により所望の位置（図７～図８の矢印）を選択すると、選択した位置の可視画像Ｄｖにおける位置（２次元座標）が計測位置設定部５に入力されるようになっており、計測位置設定部５は、入力された座標を計測位置Ｍとして記憶装置１２に記憶するようになっている。 In the embodiment shown in FIG. 5, the measurement position setting unit 5 is connected to a user's personal computer 6, such as a laptop or desktop computer, having a display 61 that displays the visible image Dv. As shown in FIGS. 7 and 8, when the user selects a desired position (arrow in FIGS. 7 and 8) on the visible image Dv displayed on the display 61 using a mouse or tapping operation, the position (two-dimensional coordinates) of the selected position in the visible image Dv is input to the measurement position setting unit 5, and the measurement position setting unit 5 stores the input coordinates in the storage device 12 as the measurement position M.

図７の例示は第１撮影位置Ｐ１で撮影した可視画像Ｄｖに対応しており、図８の例示は第２撮影位置Ｐ２で撮影した可視画像Ｄｖに対応している。ユーザは、この２つの撮影位置Ｐの各々での撮影により得られた２つの可視画像Ｄｖにおいて、それぞれ、計測位置Ｍとしたい所望の位置を指定する。２つの可視画像Ｄｖにおいて選択される計測位置Ｍは、互いに同じ位置となるようにそれぞれの可視画像Ｄｖ上で選択される。また、図７～図８に示す実施形態では、選択（指定）された箇所（計測位置Ｍ）の可視画像Ｄｖにおける２次元座標（ｕｘｘ、ｖｘｘ）が表示可能になっている。図７および図８における２次元座標は、例えば各可視画像Ｄｖの所定位置（左下端など）を原点とする座標であり、図７と図８とで同じ計測位置Ｍが指定されたとしても、その２つの座標は通常は互いに異なる。 The example in FIG. 7 corresponds to a visible image Dv captured at a first image capturing position P1, and the example in FIG. 8 corresponds to a visible image Dv captured at a second image capturing position P2. The user designates a desired position to be a measurement position M in each of the two visible images Dv obtained by capturing images at the two image capturing positions P. The measurement positions M selected in the two visible images Dv are selected on the respective visible images Dv so as to be the same positions. In addition, in the embodiment shown in FIG. 7 to FIG. 8, the two-dimensional coordinates (u xx , v xx ) of the selected (designated) location (measurement position M) in the visible image Dv can be displayed. The two-dimensional coordinates in FIG. 7 and FIG. 8 are coordinates having a predetermined position (such as the lower left corner) of each visible image Dv as the origin, for example, and even if the same measurement position M is designated in FIG. 7 and FIG. 8, the two coordinates are usually different from each other.

なお、上記の実施形態では、可視画像Ｄｖ上で計測位置Ｍが指定されるが、他の幾つかの実施形態では、例えば熱画像Ｄｔ上で計測位置Ｍが指定されるなど、可視画像Ｄｖ以外の画像Ｄ上で計測位置Ｍが指定されるように構成されても良い。 In the above embodiment, the measurement position M is specified on the visible image Dv, but in some other embodiments, the measurement position M may be specified on an image D other than the visible image Dv, for example, on a thermal image Dt.

上記の構成によれば、例えば相対計測位置Ｑｒの算出のために撮影される可視画像Ｄｖなどをディスプレイ６１に表示し、その画面上でユーザにより指定された可視画像Ｄｖの指定位置を計測位置Ｍとして設定する。これによって、計測対象物９が設置されている現場に作業員が出向いて計測位置Ｍを指定するような作業を行うことなく、計測対象物９における計測位置Ｍを容易に設定することができる。 According to the above configuration, for example, a visible image Dv captured for calculating the relative measurement position Qr is displayed on the display 61, and a specified position of the visible image Dv specified by the user on the screen is set as the measurement position M. This makes it possible to easily set the measurement position M on the measurement object 9 without requiring an operator to go to the site where the measurement object 9 is installed and specify the measurement position M.

ただし、上述した実施形態に本発明は限定されない。他の幾つかの実施形態では、計測対象物９上に計測位置Ｍを示すマーカを設置するなど、他の手法により計測位置Ｍを指定しても良い。 However, the present invention is not limited to the above-described embodiment. In some other embodiments, the measurement position M may be specified by other methods, such as by placing a marker indicating the measurement position M on the measurement object 9.

図９は、本発明の一実施形態に係る複数の候補画像Ｄｃを撮影する実施形態を説明するための図である。
また、幾つかの実施形態では、上述した熱画像取得部２１（図３参照）は、熱画像Ｄｔの撮影の候補となる複数の候補位置Ｐｃにおける赤外カメラ８３ｔでの撮影により得られた複数の候補画像Ｄｃのうちから、可視画像Ｄｖの撮影状況に最も近い状況で撮影された候補画像Ｄｃを熱画像Ｄｔとして取得する。 FIG. 9 is a diagram for explaining an embodiment in which a plurality of candidate images Dc are photographed according to an embodiment of the present invention.
In addition, in some embodiments, the above-mentioned thermal image acquisition unit 21 (see Figure 3) acquires as a thermal image Dt a candidate image Dc captured under conditions closest to the capturing conditions of the visible image Dv from among a plurality of candidate images Dc obtained by photographing with an infrared camera 83t at a plurality of candidate positions Pc that are candidates for capturing the thermal image Dt.

例えば、この撮影状況は、撮影位置Ｐまたは撮影方向の少なくとも一方を含んでも良い。つまり、可視カメラ８３ｖの撮影位置Ｐに最も近い撮影位置Ｐであった候補画像Ｄｃを、熱画像Ｄｔとしても良い。可視カメラ８３ｖの撮影方向に最も近い撮影方向であった候補画像Ｄｃを、熱画像Ｄｔとしても良い。あるいは、可視カメラ８３ｖの撮影位置Ｐおよび撮影方向に最も近い撮影位置Ｐおよび撮影方向であった候補画像Ｄｃを、熱画像Ｄｔとしても良い。 For example, this shooting situation may include at least one of the shooting position P or the shooting direction. In other words, the candidate image Dc that was at the shooting position P closest to the shooting position P of the visible camera 83v may be set as the thermal image Dt. The candidate image Dc that was at the shooting direction closest to the shooting direction of the visible camera 83v may be set as the thermal image Dt. Alternatively, the candidate image Dc that was at the shooting position P and shooting direction closest to the shooting position P and shooting direction of the visible camera 83v may be set as the thermal image Dt.

この際、幾つかの実施形態では、図９に示すように、赤外カメラ８３ｔによる撮影は、１つの撮影指示位置Ｔに対して、その撮影指示位置Ｔから所定の距離だけ前（手前）にある１以上の位置と、その撮影指示位置Ｔから所定の距離だけ遠ざかる間の１以上の位置と、を含む複数の位置で行われるように構成されても良い。こうして撮影された複数の熱画像Ｄｔを候補画像Ｄｃとして、熱画像取得部２１は１つの熱画像Ｄｔを取得する。 In this case, in some embodiments, as shown in FIG. 9, the infrared camera 83t may be configured to capture images at multiple positions, including one or more positions a predetermined distance in front of (near) one designated capture position T, and one or more positions a predetermined distance away from the designated capture position T. The multiple thermal images Dt captured in this manner are used as candidate images Dc by the thermal image acquisition unit 21 to acquire one thermal image Dt.

図９に示す実施形態では、撮影指示位置Ｔ（図９では第１撮影指示位置Ｔ１）と判定される位置から所定の距離まで近づくと、所定の時間間隔あるいは距離間隔で規定回数だけ撮影を実行するようになっている。その結果、撮影指示位置Ｔの前後で合わせて規定回数分の撮影が実行されることで、撮影指示位置Ｔと判定される位置を含めて合計で規定回数分（図９の実施形態では５回）の撮影位置Ｐにおける撮影が実際に移動した経路に沿って行われている。 In the embodiment shown in Fig. 9, when the camera approaches a predetermined distance from a position determined to be the designated photographing position T (first designated photographing position T1 in Fig. 9), photographing is performed a specified number of times at a specified time or distance interval. As a result, photographing is performed a specified number of times in total before and after the designated photographing position T, and photographing is performed a specified number of times (five times in the embodiment of Fig. 9) at the photographing position P including the position determined to be the designated photographing position T along the route actually traveled.

上記の構成によれば、赤外カメラ８３ｔによる熱画像Ｄｔの撮影を互いに異なる複数の撮影位置Ｐ（候補位置Ｐｃ）で行うことで得られる複数の熱画像Ｄｔのうち、可視カメラ８３ｖによる撮影状況と最も近い撮影状況で撮影された熱画像Ｄｔを処理対象とする。これによって、可視カメラ８３ｖおよび赤外カメラ８３ｔの各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。 According to the above configuration, among the multiple thermal images Dt obtained by capturing thermal images Dt by the infrared camera 83t at multiple different capturing positions P (candidate positions Pc), the thermal image Dt captured under the capturing conditions closest to those of the visible camera 83v is processed. This makes it possible to reduce the influence of differences in the capturing conditions of the visible camera 83v and the infrared camera 83t, thereby improving the identification accuracy.

以下、上述した構成（機能）を備える画像位置特定装置１が行う処理に対応する画像位置特定方法について、図１０～図１１を用いて説明する。
図１０は、本発明の一実施形態に係る画像位置特定方法を示す図である。また、図１１は、本発明の一実施形態に係る位置算出ステップを示す図である。 Hereinafter, an image position specifying method corresponding to the processing performed by the image position specifying device 1 having the above-mentioned configuration (function) will be described with reference to FIGS.
Figure 10 illustrates an image localization method according to an embodiment of the present invention, and Figure 11 illustrates a position calculation step according to an embodiment of the present invention.

画像位置特定方法は、上述した計測対象物９上の温度の計測位置Ｍに対応する画像位置Ｄｐを特定するための方法である。図１０に示すように、画像位置特定方法は、熱画像取得ステップ（Ｓ１）と、撮影情報取得ステップ（Ｓ２）と、撮影位置取得ステップ（Ｓ３）と、計測位置取得ステップ（Ｓ４）と、位置特定ステップ（Ｓ５）と、を備える。
これらのステップについて、図１０のステップ順に説明する。 The image position specifying method is a method for specifying an image position Dp corresponding to the temperature measurement position M on the measurement object 9. As shown in Fig. 10, the image position specifying method includes a thermal image acquiring step (S1), an imaging information acquiring step (S2), an imaging position acquiring step (S3), a measurement position acquiring step (S4), and a position specifying step (S5).
These steps will be explained in the order of steps in FIG.

図１０のステップＳ１において、熱画像取得ステップを実行する。熱画像取得ステップ（Ｓ１）は、計測対象物９における計測位置Ｍの赤外カメラ８３ｔによる撮影により得られる熱画像Ｄｔを取得するステップである。熱画像取得ステップ（Ｓ１）は、既に説明した熱画像取得部２１が実行する処理内容と同様であるため、詳細は省略する。 In step S1 of FIG. 10, a thermal image acquisition step is executed. The thermal image acquisition step (S1) is a step of acquiring a thermal image Dt obtained by photographing the measurement position M on the measurement object 9 with the infrared camera 83t. The thermal image acquisition step (S1) is similar to the processing content executed by the thermal image acquisition unit 21 already described, so details are omitted.

ステップＳ２において、撮影情報取得ステップを実行する。撮影情報取得ステップ（Ｓ２）は、熱画像取得ステップ（Ｓ１）によって取得された熱画像Ｄｔの撮影時の赤外カメラ８３ｔの撮影情報Ｓを取得するステップである。撮影情報取得ステップ（Ｓ２）は、既に説明した撮影情報取得部２２が実行する処理内容と同様であるため、詳細は省略する。 In step S2, a photographing information acquisition step is executed. The photographing information acquisition step (S2) is a step for acquiring photographing information S of the infrared camera 83t at the time of capturing the thermal image Dt captured in the thermal image capture step (S1). The photographing information acquisition step (S2) is similar to the processing executed by the photographing information acquisition unit 22 already described, and therefore details thereof are omitted.

ステップＳ３において、撮影位置取得ステップを実行する。撮影位置取得ステップ（Ｓ３）は、熱画像取得ステップ（Ｓ１）によって取得された熱画像Ｄｔの撮影位置Ｐの相対撮影位置Ｐｒの計測結果を取得するステップである。撮影位置取得ステップ（Ｓ３）は、既に説明した撮影位置取得部２３が実行する処理内容と同様であるため、詳細は省略する。 In step S3, a photographing position acquisition step is executed. The photographing position acquisition step (S3) is a step for acquiring the measurement result of the relative photographing position Pr of the photographing position P of the thermal image Dt acquired in the thermal image acquisition step (S1). The photographing position acquisition step (S3) is similar to the processing content executed by the photographing position acquisition unit 23 already described, so details are omitted.

ステップＳ４において、計測位置取得ステップを実行する。計測位置取得ステップ（Ｓ４）は、予め測定されている相対計測位置Ｑｒの計測結果を取得するステップである。計測位置取得ステップ（Ｓ４）は、既に説明した計測位置取得部３が実行する処理内容と同様であるため、詳細は省略する。 In step S4, a measurement position acquisition step is executed. The measurement position acquisition step (S4) is a step for acquiring the measurement result of the relative measurement position Qr that has been measured in advance. The measurement position acquisition step (S4) is similar to the processing content executed by the measurement position acquisition unit 3 already described, so details are omitted.

ステップＳ５において、位置特定ステップを実行する。位置特定ステップ（Ｓ５）は、上述したようにそれぞれ取得される相対撮影位置Ｐｒ、相対計測位置Ｑｒおよび撮影情報Ｓに基づいて、上記の相対計測位置Ｑｒ（計測位置Ｍ）に対応する熱画像Ｄｔ上の位置（画像位置Ｄｐ）を算出するステップである。位置特定ステップ（Ｓ５）は、既に説明した計測位置取得部３が実行する処理内容と同様であるため、詳細は省略する。図１０に示す実施形態では、位置特定ステップ（Ｓ５）では、周知な透視投影変換により、相対計測位置Ｑｒを画像位置Ｄｐに変換する。 In step S5, a position identification step is executed. The position identification step (S5) is a step of calculating a position (image position Dp) on the thermal image Dt corresponding to the relative measurement position Qr (measurement position M) based on the relative shooting position Pr, relative measurement position Qr, and shooting information S, which are acquired as described above. The position identification step (S5) is similar to the processing content executed by the measurement position acquisition unit 3 already described, so details are omitted. In the embodiment shown in FIG. 10, in the position identification step (S5), the relative measurement position Qr is converted to the image position Dp by a well-known perspective projection transformation.

なお、上述した熱画像取得ステップ（Ｓ１）、撮影情報取得ステップ（Ｓ２）、撮影位置取得ステップ（Ｓ３）、計測位置取得ステップ（Ｓ４）の実行順序は、処理対象の熱画像Ｄｔが特定されている場合においては、位置特定ステップ（Ｓ５）よりも前に実行していれば、相互に順番を入れ替えても良い。この処理対象の熱画像Ｄｔの特定は、熱画像取得ステップ（Ｓ１）で行われても良いし、全てのステップ（Ｓ１～Ｓ５）の前に実行される熱画像Ｄｔを特定するステップ（不図示）により実行されても良い。 The order of execution of the above-mentioned thermal image acquisition step (S1), shooting information acquisition step (S2), shooting position acquisition step (S3), and measurement position acquisition step (S4) may be interchanged, provided that they are executed before the position identification step (S5) when the thermal image Dt to be processed has been identified. Identification of the thermal image Dt to be processed may be performed in the thermal image acquisition step (S1), or may be performed by a step (not shown) of identifying the thermal image Dt, which is executed before all steps (S1 to S5).

また、幾つかの実施形態では、上記の計測位置取得ステップ（Ｓ４）は、図１１に示すような、上記の相対計測位置Ｑｒを算出するよう構成された位置算出ステップ（Ｓ４１～Ｓ４５）を有しても良い。この位置算出ステップは、既に説明した位置算出部４０が実行する処理内容と同様である。 In addition, in some embodiments, the measurement position acquisition step (S4) may include a position calculation step (S41 to S45) configured to calculate the relative measurement position Qr as shown in FIG. 11. This position calculation step is similar to the processing executed by the position calculation unit 40 already described.

図１１に示す実施形態では、三角測量により算出する。このため、この位置算出ステップ（Ｓ４１～Ｓ４５）は、互いに異なる２つの撮影位置Ｐからのカメラ８３（図１１では可視カメラ８３ｖ）による同一の計測位置Ｍの撮影により得られる２つの画像（図１１では、可視画像Ｄｖ（図７～図８参照））を取得するよう構成された画像取得ステップ（Ｓ４１）と、上記の２つの画像Ｄの撮影時の各々におけるカメラ８３の第２撮影情報Ｓｖを取得する第２撮影情報取得ステップ（Ｓ４２）と、上記の２つの画像Ｄの各々からの計測位置Ｍの計測位置方向ｄを、上記の第２撮影情報Ｓｖに基づいてそれぞれ算出する方向算出ステップ（Ｓ４３）と、上記の２つの画像Ｄの各々の撮影位置Ｐの基準位置Ｐｏに対する相対位置である第２相対撮影位置Ｐｖの計測結果をそれぞれ取得する第２撮影位置取得ステップ（Ｓ４４）と、上記の２つの画像Ｄの各々についての第２相対撮影位置Ｐｖおよび計測位置方向ｄに基づいて、目的となる相対計測位置Ｑｒを算出する算出ステップ（Ｓ４５）と、を有する。
他の幾つかの実施形態では、上述した位置算出ステップ（Ｓ４１～Ｓ４５）は、１つの画像Ｄを取得し（画像取得ステップ（Ｓ４１））、この１つの画像Ｄに基づいて、相対計測位置Ｑｒを算出しても良い。 In the embodiment shown in FIG. 11, the calculation is performed by triangulation. For this reason, this position calculation step (S41 to S45) includes an image acquisition step (S41) configured to acquire two images (in FIG. 11, visible image Dv (see FIGS. 7 to 8)) obtained by photographing the same measurement position M by a camera 83 (visible camera 83v in FIG. 11) from two different shooting positions P, a second shooting information acquisition step (S42) for acquiring second shooting information Sv of the camera 83 at each of the times when the two images D were photographed, a direction calculation step (S43) for calculating the measurement position direction d of the measurement position M from each of the two images D based on the second shooting information Sv, a second shooting position acquisition step (S44) for acquiring the measurement result of the second relative shooting position Pv, which is the relative position of the shooting position P of each of the two images D with respect to the reference position Po, and a calculation step (S45) for calculating the target relative measurement position Qr based on the second relative shooting position Pv and the measurement position direction d for each of the two images D.
In some other embodiments, the above-mentioned position calculation steps (S41 to S45) may involve acquiring one image D (image acquisition step (S41)) and calculating the relative measurement position Qr based on this one image D.

上記の画像取得ステップ（Ｓ４１）、第２撮影情報取得ステップ（Ｓ４２）、方向算出ステップ（Ｓ４３）、第２撮影位置取得ステップ（Ｓ４４）、算出ステップ（Ｓ４５）は、それぞれ、既に説明した画像取得部４１、第２撮影情報取得部４３、方向算出部４４、第２撮影位置取得部４５、算出部４６がそれぞれ実行する処理内容と同様であるため、詳細は省略する。 The above image acquisition step (S41), second shooting information acquisition step (S42), direction calculation step (S43), second shooting position acquisition step (S44), and calculation step (S45) are similar to the processing contents executed by the image acquisition unit 41, second shooting information acquisition unit 43, direction calculation unit 44, second shooting position acquisition unit 45, and calculation unit 46, respectively, already described, and therefore details will be omitted.

図１１に示す実施形態では、自走式検査装置８を設定経路Ｒに沿って移動させることで、計測位置Ｍの可視画像Ｄｖを撮影する。そして、可視画像Ｄｖを撮影した際の撮影位置Ｐを撮影指示位置Ｔとして設定する。その後、熱画像Ｄｔの撮影のために、再度、自走式検査装置８を設定経路Ｒに沿って移動させ、撮影指示位置Ｔで熱画像Ｄｔを撮影させるようになっている。例えば、自走式検査装置８を設定経路Ｒに沿って一周など移動させる間に各計測位置Ｍの可視画像Ｄｖを撮影し、定期的に２周目以降を行わせつつ各回において自走式検査装置８を設定経路Ｒに沿って移動（自動など）させつつ、各計測位置Ｍの熱画像Ｄｔを撮影しても良い。 In the embodiment shown in FIG. 11, the self-propelled inspection device 8 is moved along the set route R to capture a visible image Dv at the measurement position M. Then, the shooting position P at which the visible image Dv was captured is set as the designated shooting position T. Thereafter, in order to capture a thermal image Dt, the self-propelled inspection device 8 is moved again along the set route R, and the thermal image Dt is captured at the designated shooting position T. For example, the visible image Dv at each measurement position M may be captured while the self-propelled inspection device 8 is moved around the set route R, for example, once, and the second and subsequent rounds may be periodically performed while the self-propelled inspection device 8 is moved (automatically, for example) along the set route R, and a thermal image Dt at each measurement position M may be captured.

図１１に示す実施形態では、ステップＳ４１において、２つの撮影位置Ｐ（図６ＡのＰ１、Ｐ２）から、それぞれ可視カメラ８３ｖで同一の計測位置Ｍを撮影した結果えられた２つの可視画像Ｄｖを取得する。ステップＳ４２において、２つの可視画像Ｄｖの撮影時の各々における可視カメラ８３ｖの第２撮影情報Ｓｖを取得する。ステップＳ４３において、２つの可視画像Ｄｖの各々における計測位置Ｍの計測位置方向ｄ（図６Ａのｄ１、ｄ２）を、その２つの可視画像Ｄｖの第２撮影情報Ｓｖに基づいてそれぞれ算出する。ステップＳ４４において、２つの可視画像Ｄｖの各々の撮影位置Ｐの基準位置Ｐｏに対する相対位置（第２相対撮影位置Ｐｖ）の計測結果を取得する。ステップＳ４５において、２つの可視画像Ｄｖの各々の第２相対撮影位置Ｐｖおよび計測位置方向ｄに基づいて、相対計測位置Ｑｒを算出する。 In the embodiment shown in FIG. 11, in step S41, two visible images Dv obtained as a result of photographing the same measurement position M by the visible camera 83v from two photographing positions P ( P1 , P2 in FIG. 6A) are obtained. In step S42, second photographing information Sv of the visible camera 83v at the time of photographing each of the two visible images Dv is obtained. In step S43, the measurement position direction d ( d1 , d2 in FIG. 6A) of the measurement position M in each of the two visible images Dv is calculated based on the second photographing information Sv of the two visible images Dv. In step S44, the measurement result of the relative position (second relative photographing position Pv) of the photographing position P of each of the two visible images Dv with respect to the reference position Po is obtained. In step S45, the relative measurement position Qr is calculated based on the second relative photographing position Pv and the measurement position direction d of each of the two visible images Dv.

なお、上述した画像取得ステップ（Ｓ４１）および第２撮影情報取得ステップ（Ｓ４２）は、方向算出ステップ（Ｓ４３）の前であれば、順番は逆であっても良い。方向算出ステップ（Ｓ４３）および第２撮影位置取得ステップ（Ｓ４４）は、算出ステップ（Ｓ４５）の前に実行されていれば、その順序は逆であっても良い。 The above-mentioned image acquisition step (S41) and second shooting information acquisition step (S42) may be performed in the reverse order as long as they are performed before the direction calculation step (S43). The direction calculation step (S43) and second shooting position acquisition step (S44) may be performed in the reverse order as long as they are performed before the calculation step (S45).

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
（付記） The present invention is not limited to the above-described embodiment, and includes modifications to the above-described embodiment and appropriate combinations of these modifications.
(Additional Note)

（１）本発明の少なくとも一実施形態に係る画像位置特定装置（１）は、
計測対象物（９）上の温度の計測位置（Ｍ）に対応する熱画像（Ｄｔ）上の画像位置（Ｄｐ）を特定するための画像位置特定装置（１）であって、
赤外カメラ（８３ｔ）による前記計測位置（Ｍ）の撮影により得られる前記熱画像（Ｄｔ）を取得するよう構成された熱画像取得部（２１）と、
取得された前記熱画像（Ｄｔ）の撮影時の前記赤外カメラ（８３ｔ）の画角および姿勢を含む撮影情報（Ｓ）を取得するよう構成された撮影情報取得部（２２）と、
前記計測対象物（９）の周囲の所定の位置に設けられた基準位置（Ｐｏ）に対する前記熱画像（Ｄｔ）の撮影位置（Ｐ）の相対位置である相対撮影位置（Ｐｒ）の計測結果を取得するよう構成された撮影位置取得部（２３）と、
予め測定されている、前記基準位置（Ｐｏ）に対する前記計測位置（Ｍ）の相対位置である相対計測位置（Ｑｒ）の計測結果を取得するよう構成された計測位置取得部（３）と、
前記相対撮影位置（Ｐｒ）、前記相対計測位置（Ｑｒ）および前記撮影情報（Ｓ）に基づいて、前記相対計測位置（Ｑｒ）に対応する前記画像位置（Ｄｐ）を算出するよう構成された位置特定部（４）と、を備える。 (1) An image location identification device (1) according to at least one embodiment of the present invention comprises:
An image position identifying device (1) for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9), comprising:
a thermal image acquisition unit (21) configured to acquire the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
an imaging information acquisition unit (22) configured to acquire imaging information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
an imaging position acquisition unit (23) configured to acquire a measurement result of a relative imaging position (Pr), which is a relative position of an imaging position (P) of the thermal image (Dt) relative to a reference position (Po) provided at a predetermined position around the measurement object (9);
a measurement position acquisition unit (3) configured to acquire a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which has been measured in advance;
and a position identification unit (4) configured to calculate the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr) and the shooting information (S).

上記（１）の構成によれば、例えば計測対象物（９）を可視カメラ（８３ｖ）などのカメラ（８３）で撮影した可視画像（Ｄｖ）などの画像（Ｄ）上での指定などを通して設定された計測対象物（９）上の計測位置（Ｍ）が、同じ計測対象物（９）を赤外カメラ（８３ｔ）で撮影した熱画像（Ｄｔ）上のどの位置に対応するかを特定（同定）するために、まずは計測対象物（９）の周囲に、計測対象物（９）との相対位置が変わらない基準位置（Ｐｏ）を設けておく。また、例えばこの基準位置（Ｐｏ）を原点とする計測位置（Ｍ）の座標などとなる、基準位置（Ｐｏ）に対する計測位置（Ｍ）の相対位置の計測結果（相対計測位置（Ｑｒ））を、事前（位置特定前）に測定などを通して用意しておく。そして、実際に撮影した熱画像（Ｄｔ）における計測位置（Ｍ）の特定の際には、その熱画像（Ｄｔ）の撮影時の撮影位置（Ｐ）から基準位置（Ｐｏ）を計測することで、撮影位置（Ｐ）の基準位置（Ｐｏ）に対する相対位置（相対撮影位置（Ｐｒ））を取得すると共に、事前に測定されている相対計測位置（Ｑｒ）を取得する。 According to the above configuration (1), in order to specify (identify) which position on the thermal image (Dt) of the same measurement object (9) captured by an infrared camera (83t) corresponds to a measurement position (M) on the measurement object (9) set through designation on an image (D) such as a visible image (Dv) captured by a camera (83) such as a visible camera (83v). First, a reference position (Po) whose relative position with respect to the measurement object (9) does not change is provided around the measurement object (9). In addition, a measurement result (relative measurement position (Qr)) of the relative position of the measurement position (M) with respect to the reference position (Po), which is, for example, the coordinate of the measurement position (M) with the reference position (Po) as the origin, is prepared in advance (before position specification) through measurement or the like. Then, when identifying the measurement position (M) in the actually captured thermal image (Dt), the reference position (Po) is measured from the capture position (P) when the thermal image (Dt) was captured, thereby obtaining the relative position (relative capture position (Pr)) of the capture position (P) with respect to the reference position (Po), and also obtaining the relative measurement position (Qr) that was measured in advance.

これによって、同一の座標系（例えば原点が基準位置（Ｐｏ））における計測位置（Ｍ）および熱画像（Ｄｔ）の撮影位置（Ｐ）が得られるので、この熱画像（Ｄｔ）の撮影時の画角や姿勢を含む撮影情報（Ｓ）に基づいて、例えば透視投影変換などを実行することで、計測位置（Ｍ）の熱画像（Ｄｔ）における位置（画像位置（Ｄｐ））を精度良く特定することができる。例えば、自走式検査装置（８）により計測位置（Ｍ）を定期的に撮影する場合において、熱画像（Ｄｔ）の撮影時の自走式検査装置（８）の自己位置や自己方向を用いて画像位置（Ｄｐ）を特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置（Ｐｏ）の計測により得られる相対撮影位置（Ｐｒ）の精度は比較的高く、上記の構成によれば、画像位置（Ｄｐ）を高精度で特定することができる。 This allows the measurement position (M) and the shooting position (P) of the thermal image (Dt) to be obtained in the same coordinate system (e.g., the origin is the reference position (Po)), and by performing, for example, perspective projection transformation based on the shooting information (S) including the angle of view and attitude when the thermal image (Dt) was shot, the position of the measurement position (M) in the thermal image (Dt) (image position (Dp)) can be accurately identified. For example, when the measurement position (M) is periodically shot by the self-propelled inspection device (8), the accuracy of identifying the image position (Dp) using the self-position and self-orientation of the self-propelled inspection device (8) when shooting the thermal image (Dt) depends on the accuracy of estimating the self-position, etc. However, the accuracy of the relative shooting position (Pr) obtained by measuring the reference position (Po) is relatively high, and the above configuration allows the image position (Dp) to be identified with high accuracy.

（２）幾つかの実施形態では、上記（１）の構成において、
前記位置特定部（４）は、透視投影変換により、前記相対計測位置（Ｑｒ）を前記画像位置（Ｄｐ）に変換する。
上記（２）の構成によれば、透視投影変換により、画像位置（Ｄｐ）を精度良く特定することができる。 (2) In some embodiments, in the configuration of (1),
The position identification unit (4) transforms the relative measurement position (Qr) into the image position (Dp) by perspective projection transformation.
According to the above configuration (2), the image position (Dp) can be specified with high accuracy by perspective projection transformation.

（３）幾つかの実施形態では、上記（１）～（２）の構成において、
前記計測位置取得部（３）は、前記相対計測位置（Ｑｒ）を算出するよう構成された位置算出部（４０）を含み、
前記位置算出部（４０）は、
少なくとも１つの撮影位置（Ｐ）からのカメラ（８３）による前記計測位置（Ｍ）の撮影により得られる少なくとも１つの画像（Ｄ）を取得するよう構成された画像取得部（４１）と、
取得された１以上の前記画像（Ｄ）に基づいて、前記画像（Ｄ）に含まれる前記計測位置（Ｍ）の前記相対計測位置（Ｑｒ）を算出する相対位置算出部（４２）と、を有する。 (3) In some embodiments, in the configurations (1) and (2) above,
The measurement position acquisition unit (3) includes a position calculation unit (40) configured to calculate the relative measurement position (Qr),
The position calculation unit (40)
An image acquisition unit (41) configured to acquire at least one image (D) obtained by photographing the measurement position (M) by a camera (83) from at least one photographing position (P);
and a relative position calculation unit (42) that calculates the relative measurement position (Qr) of the measurement position (M) included in the image (D) based on the one or more acquired images (D).

上記（３）の構成によれば、取得した１以上の画像（Ｄ）に基づいて、相対計測位置（Ｑｒ）を適切に求めることができる。 According to the above configuration (3), the relative measurement position (Qr) can be appropriately determined based on one or more acquired images (D).

（４）幾つかの実施形態では、上記（３）の構成において、
前記計測位置取得部（３）は、前記相対計測位置（Ｑｒ）を算出するよう構成された位置算出部（４０）を有し、
前記位置算出部（４０）は、
互いに異なる２つの撮影位置（Ｐ）からのカメラ（８３。例えば可視カメラなど。以下同様。）による同一の前記計測位置（Ｍ）の撮影により得られる２つの画像（Ｄ）を取得するよう構成された画像取得部（４１）と、
前記２つの画像（Ｄ）の撮影時の各々における前記カメラ（８３）の画角および姿勢を含む第２撮影情報を取得するよう構成された第２撮影情報取得部（４２）と、
取得された前記２つの画像（Ｄ）の各々における前記計測位置（Ｍ）の方向である計測位置方向を、前記２つの画像（Ｄ）の各々の前記第２撮影情報（Ｓｖ）に基づいてそれぞれ算出するよう構成された方向算出部（４３）と、
前記２つの画像（Ｄ）の各々の前記撮影位置（Ｐ）の前記基準位置（Ｐｏ）に対する相対位置である第２相対撮影位置（Ｐｖ）の計測結果を取得するよう構成された第２撮影位置取得部（４４）と、
前記２つの画像（Ｄ）の各々の前記第２相対撮影位置（Ｐｖ）および前記計測位置方向に基づいて、前記相対計測位置（Ｑｒ）を算出するよう構成された算出部（４５）と、を有する。 (4) In some embodiments, in the configuration of (3),
The measurement position acquisition unit (3) has a position calculation unit (40) configured to calculate the relative measurement position (Qr),
The position calculation unit (40)
An image acquisition unit (41) configured to acquire two images (D) obtained by photographing the same measurement position (M) using a camera (83, e.g., a visible camera, etc., the same applies below) from two different photographing positions (P);
a second photographing information acquisition unit (42) configured to acquire second photographing information including an angle of view and an attitude of the camera (83) when each of the two images (D) was photographed;
a direction calculation unit (43) configured to calculate a measurement position direction, which is a direction of the measurement position (M) in each of the two acquired images (D), based on the second shooting information (Sv) of each of the two images (D);
a second photographing position acquisition unit (44) configured to acquire a measurement result of a second relative photographing position (Pv), which is a relative position of the photographing position (P) of each of the two images (D) with respect to the reference position (Po);
and a calculation unit (45) configured to calculate the relative measurement position (Qr) based on the second relative shooting position (Pv) and the measurement position direction of each of the two images (D).

上記（４）の構成によれば、基準位置（Ｐｏ）に対する計測位置（Ｍ）の相対値（相対計測位置（Ｑｒ））を、例えば可視カメラ（８３ｖ）や赤外カメラ（８３ｔ）などのカメラ８３の２つの撮影位置（Ｐ）の各々の基準位置（Ｐｏ）に対する相対位置（第２相対撮影位置（Ｐｖ））の計測結果、および、カメラ（８３ｖ）による計測対象物（９）（計測位置（Ｍ））の撮影を通して計測される、２つの撮影位置（Ｐ）の各々からの計測位置（Ｍ）の方向（計測位置方向）に基づいて、三角測量により算出する。これによって、相対計測位置（Ｑｒ）を適切に求めることができる。 According to the configuration of (4) above, the relative value (relative measurement position (Qr)) of the measurement position (M) with respect to the reference position (Po) is calculated by triangulation based on the measurement results of the relative positions (second relative shooting position (Pv)) of the two shooting positions (P) of the camera 83, such as the visible camera (83v) or infrared camera (83t), with respect to the reference position (Po) of each of them, and the direction (measurement position direction) of the measurement position (M) from each of the two shooting positions (P) measured through the shooting of the measurement object (9) (measurement position (M)) by the camera (83v). This makes it possible to appropriately determine the relative measurement position (Qr).

（５）幾つかの実施形態では、上記（３）～（４）の構成において、
前記画像取得部によって取得された前記画像（Ｄ）の各々を用いて指定された位置を前記計測位置（Ｍ）として取得するよう構成された計測位置（Ｍ）設定部（５）を、さらに備える。 (5) In some embodiments, in the configurations (3) to (4) above,
The apparatus further includes a measurement position (M) setting unit (5) configured to acquire, as the measurement position (M), a position designated using each of the images (D) acquired by the image acquisition unit.

上記（５）の構成によれば、例えば相対計測位置（Ｑｒ）の算出のために撮影される画像（Ｄ）などをディスプレイ（６１）に表示し、その画面上でユーザにより指定された画像（Ｄ）の指定位置を計測位置（Ｍ）として設定する。これによって、計測対象物（９）が設置されている現場に作業員が出向いて計測位置（Ｍ）を指定するような作業を行うことなく、計測対象物（９）における計測位置（Ｍ）を容易に設定することができる。 According to the above configuration (5), for example, an image (D) captured for calculating the relative measurement position (Qr) is displayed on the display (61), and a position of the image (D) designated by the user on the screen is set as the measurement position (M). This makes it possible to easily set the measurement position (M) on the measurement object (9) without requiring an operator to go to the site where the measurement object (9) is installed and designate the measurement position (M).

（６）幾つかの実施形態では、上記（３）～（５）の構成において、
前記熱画像取得部（２１）は、複数の候補位置（Ｐｃ）における前記赤外カメラ（８３ｔ）での撮影により得られた複数の候補画像（Ｄｃ）のうちから、前記画像（Ｄ）の撮影状況に最も近い状況で撮影された前記候補画像（Ｄｃ）を前記熱画像（Ｄｔ）として取得する。 (6) In some embodiments, in the configurations (3) to (5) above,
The thermal image acquisition unit (21) acquires, from among a plurality of candidate images (Dc) obtained by photographing with the infrared camera (83t) at a plurality of candidate positions (Pc), the candidate image (Dc) captured under conditions closest to the photographing conditions of the image (D) as the thermal image (Dt).

上記（６）の構成によれば、赤外カメラ（８３ｔ）による熱画像（Ｄｔ）の撮影を互いに異なる複数の撮影位置（Ｐ）（候補位置（Ｐｃ））で行うことで得られる複数の熱画像（Ｄｔ）のうち、カメラ（８３）による撮影状況と最も近い撮影状況で撮影された熱画像（Ｄｔ）を処理対象とする。これによって、カメラ（８３）および赤外カメラ（８３ｔ）の各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。 According to the above configuration (6), among the multiple thermal images (Dt) obtained by capturing thermal images (Dt) with the infrared camera (83t) at multiple different capturing positions (P) (candidate positions (Pc)), the thermal image (Dt) captured under the capturing conditions closest to those of the camera (83) is processed. This makes it possible to reduce the influence of differences in the capturing conditions of the camera (83) and the infrared camera (83t), thereby improving the identification accuracy.

（７）幾つかの実施形態では、上記（６）の構成において、
前記撮影状況は、前記撮影位置（Ｐ）または撮影方向の少なくとも一方を含む。 (7) In some embodiments, in the configuration of (6),
The photographing situation includes at least one of the photographing position (P) and the photographing direction.

上記（７）の構成によれば、熱画像（Ｄｔ）の複数の候補画像（Ｄｃ）のうちから、画像（Ｄ）の撮影位置（Ｐ）およびその撮影時の撮影方向の少なくとも一方が近かった候補画像（Ｄｃ）を処理対象の熱画像（Ｄｔ）とする。これによって、熱画像（Ｄｔ）上の計測位置（Ｍ）の同定精度の向上を図ることができる。 According to the above configuration (7), among multiple candidate images (Dc) of the thermal image (Dt), the candidate image (Dc) that is close in at least one of the shooting position (P) of the image (D) and the shooting direction at the time of shooting is set as the thermal image (Dt) to be processed. This makes it possible to improve the accuracy of identifying the measurement position (M) on the thermal image (Dt).

（８）幾つかの実施形態では、上記（１）～（７）の構成において、
前記相対撮影位置（Ｐｒ）は、前記基準位置（Ｐｏ）までの距離および方向を測定するためのセンサ（８４）を用いて測定される。 (8) In some embodiments, in the configurations (1) to (7) above,
The relative photographing position (Pr) is measured using a sensor (84) for measuring the distance and direction to the reference position (Po).

上記（８）の構成によれば、センサ（８４）を用いることで、精度の高い相対撮影位置（Ｐｒ）を取得することができる。同様に、このセンサ（８４）を用いて第２相対撮影位置（Ｐｖ）も測定することで、精度の高い第２相対撮影位置（Ｐｖ）を取得することができると共に、同一のセンサ（８４）を用いることで高コスト化を防止することができる。 According to the above configuration (8), by using the sensor (84), it is possible to obtain a highly accurate relative shooting position (Pr). Similarly, by measuring the second relative shooting position (Pv) using this sensor (84), it is possible to obtain a highly accurate second relative shooting position (Pv), and by using the same sensor (84), it is possible to prevent high costs.

（９）本発明の少なくとも一実施形態に係る温度管理システム（７）は、
上記（１）～（８）のいずれか１項に記載の、計測対象物（９）の温度の計測位置（Ｍ）に対応する熱画像（Ｄｔ）上の画像位置（Ｄｐ）を特定するための画像位置特定装置（１）と、
前記計測位置（Ｍ）の前記熱画像（Ｄｔ）を撮影するため自走式の自走式検査装置（８）であって、
本体（８１）と、
前記本体（８１）を移動可能に支持する移動装置（８２）と、
前記本体（８１）に設置された、前記熱画像（Ｄｔ）を撮像可能な赤外カメラ（８３ｔ）と、
前記本体（８１）に設置された、前記画像位置（Ｄｐ）の特定に用いられる、前記計測対象物（９）の周囲の所定の位置に設けられた基準位置（Ｐｏ）との距離および方向を計測するためのセンサ（８４）と、
前記本体（８１）に設置された、前記移動装置（８２）を制御する制御装置（８５）と、を有する自走式検査装置（８）と、を備える。 (9) At least one embodiment of the temperature management system (7) of the present invention comprises:
An image position identifying device (1) for identifying an image position (Dp) on a thermal image (Dt) corresponding to a measurement position (M) of a temperature of a measurement object (9) according to any one of (1) to (8) above;
A self-propelled inspection device (8) for taking the thermal image (Dt) of the measurement position (M),
A main body (81);
A moving device (82) that movably supports the main body (81);
An infrared camera (83t) installed on the main body (81) and capable of capturing the thermal image (Dt);
A sensor (84) installed in the main body (81) for measuring a distance and a direction to a reference position (Po) provided at a predetermined position around the measurement object (9) and used to identify the image position (Dp);
The self-propelled inspection device (8) includes a control device (85) that is installed on the main body (81) and controls the moving device (82).

上記（９）の構成によれば、例えば自動で移動しながら熱画像（Ｄｔ）を撮影しつつ、上記（１）と同様な効果を奏することができる。なお、相対計測位置（Ｑｒ）を得るための用いるカメラ（８３）が、可視カメラ（８３ｖ）である場合など赤外カメラ（８３ｔ）とは異なる場合には、そのカメラ（８３）も本体（８１）に一緒に設置すれば、自走式検査装置（８）による検査をより効率良く行うことが可能となる。 According to the configuration of (9) above, for example, it is possible to obtain the same effect as in (1) above while capturing thermal images (Dt) while moving automatically. Note that if the camera (83) used to obtain the relative measurement position (Qr) is different from the infrared camera (83t), such as a visible camera (83v), the camera (83) can also be installed on the main body (81) to make the inspection by the self-propelled inspection device (8) more efficient.

（１０）本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物（９）上の温度の計測位置（Ｍ）に対応する熱画像（Ｄｔ）上の画像位置（Ｄｐ）を特定するための画像位置特定方法であって、
赤外カメラ（８３ｔ）による前記計測位置（Ｍ）の撮影により得られる前記熱画像（Ｄｔ）を取得するステップと、
取得された前記熱画像（Ｄｔ）の撮影時の前記赤外カメラ（８３ｔ）の画角および姿勢を含む撮影情報（Ｓ）を取得するステップと、
前記計測対象物（９）の周囲の所定の位置に設けられた基準位置（Ｐｏ）に対する前記熱画像（Ｄｔ）の撮影位置（Ｐ）の相対位置である相対撮影位置（Ｐｒ）の計測結果を取得するステップと、
予め測定されている、前記基準位置（Ｐｏ）に対する前記計測位置（Ｍ）の相対位置である相対計測位置（Ｑｒ）の計測結果を取得するステップと、
前記相対撮影位置（Ｐｒ）、前記相対計測位置（Ｑｒ）および前記撮影情報（Ｓ）に基づいて、前記相対計測位置（Ｑｒ）に対応する前記画像位置（Ｄｐ）を算出するステップと、を備える。
上記（１０）の構成によれば、上記（１）と同様な効果を奏する。 (10) An image location method according to at least one embodiment of the present invention, comprising:
1. An image position identification method for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9), comprising:
acquiring the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
Acquiring shooting information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
A step of acquiring a measurement result of a relative photographing position (Pr), which is a relative position of a photographing position (P) of the thermal image (Dt) with respect to a reference position (Po) provided at a predetermined position around the measurement object (9);
A step of acquiring a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which is measured in advance;
and calculating the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr) and the shooting information (S).
The configuration (10) above has the same effect as the configuration (1) above.

（１１）本発明の少なくとも一実施形態に係る画像位置（Ｄｐ）特定プログラムは、
計測対象物（９）上の温度の計測位置（Ｍ）に対応する熱画像（Ｄｔ）上の画像位置（Ｄｐ）を特定するための画像位置（Ｄｐ）特定プログラムであって、
コンピュータに、
赤外カメラ（８３ｔ）による前記計測位置（Ｍ）の撮影により得られる前記熱画像（Ｄｔ）を取得するよう構成された熱画像取得部（２１）と、
取得された前記熱画像（Ｄｔ）の撮影時の前記赤外カメラ（８３ｔ）の画角および姿勢を含む撮影情報（Ｓ）を取得するよう構成された撮影情報取得部（２２）と、
前記計測対象物（９）の周囲の所定の位置に設けられた基準位置（Ｐｏ）に対する前記熱画像（Ｄｔ）の撮影位置（Ｐ）の相対位置である相対撮影位置（Ｐｒ）の計測結果を取得するよう構成された撮影位置取得部（２３）と、
予め測定されている、前記基準位置（Ｐｏ）に対する前記計測位置（Ｍ）の相対位置である相対計測位置（Ｑｒ）の計測結果を取得するよう構成された計測位置取得部（３）と、
前記相対撮影位置（Ｐｒ）、前記相対計測位置（Ｑｒ）および前記撮影情報（Ｓ）に基づいて、前記相対計測位置（Ｑｒ）に対応する前記画像位置（Ｄｐ）を算出するよう構成された位置特定部（４）と、を実現させるためのプログラムである。
上記（１１）の構成によれば、上記（１）と同様な効果を奏する。 (11) An image position (Dp) specifying program according to at least one embodiment of the present invention,
An image position (Dp) identification program for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9),
On the computer,
a thermal image acquisition unit (21) configured to acquire the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
an imaging information acquisition unit (22) configured to acquire imaging information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
an imaging position acquisition unit (23) configured to acquire a measurement result of a relative imaging position (Pr), which is a relative position of an imaging position (P) of the thermal image (Dt) relative to a reference position (Po) provided at a predetermined position around the measurement object (9);
a measurement position acquisition unit (3) configured to acquire a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which has been measured in advance;
and a position identification unit (4) configured to calculate the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr), and the shooting information (S).
The configuration of (11) above has the same effect as that of (1) above.

１ 画像位置特定装置
１２ 記憶装置
２１ 熱画像取得部
２２ 撮影情報取得部
２３ 撮影位置取得部
３ 計測位置取得部
４ 位置特定部
４０ 位置算出部
４１ 画像取得部
４２ 相対位置算出部
４３ 第２撮影情報取得部
４４ 方向算出部
４４ 第２撮影位置取得部
４５ 算出部
５ 計測位置設定部
６ パソコン
６１ ディスプレイ
７ 温度管理システム
７０ 対象施設
７１ 温度管理装置
７５ ポール
７５ａ 第１ポール
７５ｂ 第２ポール
７６ マーカ
７６ａ 第１マーカ
７６ｂ 第２マーカ
８ 自走式検査装置
８１ 本体
８２ 移動装置
８３ カメラ
８３ｔ 赤外カメラ
８３ｖ 可視カメラ
８４ センサ
８５ 制御装置
８ｄ 破線（可視画像の撮影時の本体）
９ 計測対象物
Ｍ 計測位置
Ｍ１ 第１計測位置
Ｍ２ 第２計測位置
Ｍ３ 第３計測位置
Ｔ 撮影指示位置
Ｔ１ 第１撮影指示位置
Ｔ２ 第２撮影指示位置
Ｄ 画像
Ｄｔ 熱画像
Ｄｃ 候補画像（熱画像）
Ｄｖ 可視画像
Ｄｐ 画像位置
Ｐｏ 基準位置
Ｐ 撮影位置
Ｐ１ 第１撮影位置
Ｐ２ 第２撮影位置
Ｐｃ 候補位置
Ｐｒ 相対撮影位置
Ｐｖ 第２相対撮影位置
Ｐｍ センサ検出結果
Ｑｒ 相対計測位置
Ｒ 設定経路
Ｓ 撮影情報（赤外カメラ）
Ｓｖ 第２撮影情報（カメラ）
ｄ 計測位置方向
ｄ１ 第１計測位置方向
ｄ２ 第２計測位置方向
Ｆ 移動方向
Ｒｔ 赤外カメラの撮影範囲
Ｒｖ カメラの撮影範囲
Ｌｂ 直線
Ｌｄ 奥行方向の距離 1 Image position identification device 12 Storage device 21 Thermal image acquisition unit 22 Shooting information acquisition unit 23 Shooting position acquisition unit 3 Measurement position acquisition unit 4 Position identification unit 40 Position calculation unit 41 Image acquisition unit 42 Relative position calculation unit 43 Second shooting information acquisition unit 44 Direction calculation unit 44 Second shooting position acquisition unit 45 Calculation unit 5 Measurement position setting unit 6 Personal computer 61 Display 7 Temperature management system 70 Target facility 71 Temperature management device 75 Pole 75a First pole 75b Second pole 76 Marker 76a First marker 76b Second marker 8 Self-propelled inspection device 81 Main body 82 Mobile device 83 Camera 83t Infrared camera 83v Visible camera 84 Sensor 85 Control device 8d Broken line (main body when shooting visible image)
9 Measurement object M Measurement position M 1 First measurement position M 2 Second measurement position M 3 Third measurement position T Shooting instruction position T 1 First shooting instruction position T 2 Second shooting instruction position D Image Dt Thermal image Dc Candidate image (thermal image)
Dv Visible image Dp Image position Po Reference position P Shooting position P1 First shooting position P2 Second shooting position Pc Candidate position Pr Relative shooting position Pv Second relative shooting position Pm Sensor detection result Qr Relative measurement position R Set route S Shooting information (infrared camera)
Sv Second shooting information (camera)
d: direction of measurement position d1; first measurement position direction d2; second measurement position direction F: movement direction Rt: infrared camera shooting range Rv: camera shooting range Lb: straight line Ld: distance in the depth direction

Claims (11)

計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定装置であって、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える画像位置特定装置。 1. An image position identifying device for periodically identifying an image position on a thermal image that corresponds to a predetermined measurement position of a temperature on a measurement object, comprising:
a thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, the thermal image acquisition unit causing the infrared camera to perform photographing when the self-propelled inspection device traveling along the set route is determined to have reached a preset photographing instruction position and stops;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object different from the measurement object ;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information. 前記位置特定部は、透視投影変換により、前記相対計測位置を前記画像位置に変換する請求項１に記載の画像位置特定装置。 The image position identification device according to claim 1, wherein the position identification unit converts the relative measurement position into the image position by a perspective projection transformation. 前記計測位置取得部は、前記相対計測位置を算出するよう構成された位置算出部を含み、
前記位置算出部は、
少なくとも１つの撮影位置からのカメラによる前記計測位置の撮影により得られる少なくとも１つの画像を取得するよう構成された画像取得部と、
取得された１以上の前記画像に基づいて、前記画像に含まれる前記計測位置の前記相対計測位置を算出する相対位置算出部と、を有する請求項１または２に記載の画像位置特定装置。 the measurement position acquisition unit includes a position calculation unit configured to calculate the relative measurement position,
The position calculation unit is
an image acquisition unit configured to acquire at least one image obtained by photographing the measurement position by a camera from at least one photographing position;
The image position specifying device according to claim 1 , further comprising: a relative position calculation unit that calculates the relative measurement position of the measurement position included in the image based on the one or more acquired images. 前記画像取得部は、互いに異なる２つの撮影位置からの前記カメラによる同一の前記計測位置の撮影により得られる２つの前記画像を取得するよう構成されており、
前記相対位置算出部は、
前記２つの画像の撮影時の各々における前記カメラの画角および姿勢を含む第２撮影情報を取得するよう構成された第２撮影情報取得部と、
取得された前記２つの画像の各々における前記計測位置の方向である計測位置方向を、前記２つの画像の各々の前記第２撮影情報に基づいてそれぞれ算出するよう構成された方向算出部と、
前記２つの画像の各々の前記撮影位置の前記基準位置に対する相対位置である第２相対撮影位置の計測結果を取得するよう構成された第２撮影位置取得部と、
前記２つの画像の各々の前記第２相対撮影位置および前記計測位置方向に基づいて、前記相対計測位置を算出するよう構成された算出部と、を有する請求項３に記載の画像位置特定装置。 the image acquisition unit is configured to acquire two images obtained by photographing the same measurement position by the camera from two different photographing positions,
The relative position calculation unit
a second photographing information acquisition unit configured to acquire second photographing information including an angle of view and an attitude of the camera when the two images were captured;
a direction calculation unit configured to calculate a measurement position direction, which is a direction of the measurement position in each of the two acquired images, based on the second shooting information of each of the two images;
a second photographing position acquisition unit configured to acquire a measurement result of a second relative photographing position, which is a relative position of the photographing position of each of the two images with respect to the reference position;
The image position specifying device according to claim 3 , further comprising: a calculation unit configured to calculate the relative measurement position based on the second relative photographing position and the measurement position direction of each of the two images. 前記画像取得部によって取得された前記画像を用いて指定された位置を前記計測位置として取得するよう構成された計測位置設定部を、さらに備える請求項３または４に記載の画像位置特定装置。 The image position identification device according to claim 3 or 4, further comprising a measurement position setting unit configured to acquire a position specified using the image acquired by the image acquisition unit as the measurement position. 前記熱画像取得部は、複数の候補位置における前記赤外カメラでの撮影により得られた複数の候補画像のうちから、前記画像の撮影状況に最も近い状況で撮影された前記候補画像を前記熱画像として取得する請求項３～５のいずれか１項に記載の画像位置特定装置。 The image position identification device according to any one of claims 3 to 5, wherein the thermal image acquisition unit acquires, as the thermal image, from among a plurality of candidate images obtained by photographing with the infrared camera at a plurality of candidate positions, the candidate image photographed under conditions closest to the photographing conditions of the image. 前記撮影状況は、前記撮影位置または撮影方向の少なくとも一方を含む請求項６に記載の画像位置特定装置。 The image position identification device according to claim 6, wherein the shooting conditions include at least one of the shooting position and the shooting direction. 前記相対撮影位置は、前記基準位置までの距離および方向を測定するためのセンサを用いて測定される請求項１～７のいずれか１項に記載の画像位置特定装置。 An image position identification device according to any one of claims 1 to 7, in which the relative shooting position is measured using a sensor for measuring the distance and direction to the reference position. 請求項１～８のいずれか１項に記載の、計測対象物の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置と、
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える温度管理システム。 An image position specifying device for specifying an image position on a thermal image corresponding to a measurement position of a temperature of a measurement object according to any one of claims 1 to 8;
A self-propelled inspection device for taking the thermal image of the measurement position,
The main body,
A moving device that movably supports the main body;
An infrared camera installed on the main body and capable of capturing the thermal image;
a sensor installed in the main body, which is used to specify the image position, for measuring a distance and a direction to a reference position provided at a predetermined position around the measurement object;
A temperature management system comprising: a self-propelled inspection device having a control device installed on the main body that controls the moving device. 計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定方法であって、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップであって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップであって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置であるステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える画像位置特定方法。 1. A method for periodically identifying image locations on a thermal image that correspond to predetermined measurement locations of temperature on a measurement object, comprising:
A step of acquiring the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, in which the infrared camera performs photographing when the self-propelled inspection device traveling along the set route determines that it has reached a preset photographing instruction position and stops;
acquiring imaging information including an angle of view and an attitude of the infrared camera when the acquired thermal image was captured;
a step of acquiring a measurement result of a relative photographing position, which is a relative position of the photographing position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object other than the measurement object;
acquiring a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and calculating the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information. 計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定プログラムであって、
コンピュータに、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためプログラム。 An image position identification program for periodically identifying an image position on a thermal image corresponding to a predetermined measurement position of a temperature on a measurement object, comprising:
On the computer,
a thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, the thermal image acquisition unit causing the infrared camera to perform photographing when the self-propelled inspection device traveling along the set route is determined to have reached a preset photographing instruction position and stops;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object different from the measurement object ;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information; and a program for realizing the position specifying unit.
JP2019162272A 2019-09-05 2019-09-05 Image position specifying device, method, program, and temperature control system Active JP7505867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019162272A JP7505867B2 (en) 2019-09-05 2019-09-05 Image position specifying device, method, program, and temperature control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162272A JP7505867B2 (en) 2019-09-05 2019-09-05 Image position specifying device, method, program, and temperature control system

Publications (2)

Publication Number Publication Date
JP2021039071A JP2021039071A (en) 2021-03-11
JP7505867B2 true JP7505867B2 (en) 2024-06-25

Family

ID=74846966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162272A Active JP7505867B2 (en) 2019-09-05 2019-09-05 Image position specifying device, method, program, and temperature control system

Country Status (1)

Country Link
JP (1) JP7505867B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132341A (en) 2000-10-26 2002-05-10 Toshiba Corp Field inspection device
JP2009014436A (en) 2007-07-03 2009-01-22 Jfe Steel Kk Welding inspection system of spherical tank
JP2009282915A (en) 2008-05-26 2009-12-03 Global Engineering Inc Temperature monitoring method for server computer and its device
JP2015161577A (en) 2014-02-27 2015-09-07 Ｊｆｅスチール株式会社 Self-traveling inspection device and inspection system
JP2016070676A (en) 2014-09-26 2016-05-09 株式会社トプコン Calculation device, calculation method, and program
JP2016145111A (en) 2015-02-03 2016-08-12 Ｊｆｅスチール株式会社 Belt conveyor facility inspection system
WO2017073310A1 (en) 2015-10-27 2017-05-04 三菱電機株式会社 Image capture system for shape measurement of structure, method of capturing image of stucture used for shape measurement of structure, onboard control device, remote control device, program, and recording medium
JP2017211758A (en) 2016-05-24 2017-11-30 シャープ株式会社 Autonomous travel device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132341A (en) 2000-10-26 2002-05-10 Toshiba Corp Field inspection device
JP2009014436A (en) 2007-07-03 2009-01-22 Jfe Steel Kk Welding inspection system of spherical tank
JP2009282915A (en) 2008-05-26 2009-12-03 Global Engineering Inc Temperature monitoring method for server computer and its device
JP2015161577A (en) 2014-02-27 2015-09-07 Ｊｆｅスチール株式会社 Self-traveling inspection device and inspection system
JP2016070676A (en) 2014-09-26 2016-05-09 株式会社トプコン Calculation device, calculation method, and program
JP2016145111A (en) 2015-02-03 2016-08-12 Ｊｆｅスチール株式会社 Belt conveyor facility inspection system
WO2017073310A1 (en) 2015-10-27 2017-05-04 三菱電機株式会社 Image capture system for shape measurement of structure, method of capturing image of stucture used for shape measurement of structure, onboard control device, remote control device, program, and recording medium
JP2017211758A (en) 2016-05-24 2017-11-30 シャープ株式会社 Autonomous travel device

Also Published As

Publication number Publication date
JP2021039071A (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US9898821B2 (en) Determination of object data by template-based UAV control
US11645757B2 (en) Method of and apparatus for analyzing images
US10397550B2 (en) Apparatus and method for three dimensional surface measurement
Huh et al. Integrated navigation system using camera and gimbaled laser scanner for indoor and outdoor autonomous flight of UAVs
JP6560366B2 (en) Structure identifying device and method for structure
EP3261071B1 (en) Methods and systems for detecting intrusions in a monitored volume
US10477180B1 (en) Photogrammetry system and method of operation
Rumpler et al. Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers
WO2013059160A1 (en) Acquisition of information for a construction site
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
US20190129045A1 (en) Radiation imaging apparatus
Tang et al. Surveying, geomatics, and 3D reconstruction
JP6325834B2 (en) Maintenance support system and maintenance support method
Rashidi et al. Capturing geometry for labeling and mapping built infrastructure: an overview of technologies
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners
US20230324167A1 (en) Laser scanner for verifying positioning of components of assemblies
JP7505867B2 (en) Image position specifying device, method, program, and temperature control system
US20220018950A1 (en) Indoor device localization
US20220414925A1 (en) Tracking with reference to a world coordinate system
NL2027547B1 (en) Method of and apparatus for determining deformations of quay walls using a photogrammetric system
Wu et al. An Assessment of Errors Using Unconventional Photogrammetric Measurement Technology-with UAV Photographic Images as an Example
EP4181063A1 (en) Markerless registration of image data and laser scan data
Ergun et al. Real-time relative mobile target positioning using GPS-assisted stereo videogrammetry
Altuntas et al. The registration of point cloud data from range imaging camera
JP2023139821A (en) Image management system and image management method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240613