JP6984997B2 - 画像配置方法及び画像配置用コンピュータプログラム - Google Patents

Description

本発明は、複数の画像を自動的に配置する画像配置方法及び画像配置用コンピュータプログラムに関する。

衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）とは、人工衛星からの電波を受信して地球上の現在位置を測定するシステムの総称であり、代表的なＧＰＳの他にも、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＱＺＳＳ等が含まれる。これらのシステムは、現在位置を取得する手段として、従来から幅広い分野で利用されている。

また、従来、複数種類のセンサから得た検査情報を共通の位置情報に関連付けて保存し、例えば、道路舗装面を撮影した可視画像と赤外画像を、ＧＰＳで受信した位置情報や時間情報に関連付けて記憶することが開示されている（例えば、特許文献１参照。）。

また、位置情報を熱画像と関連付けて記録し、さらに位置情報に対応する被写体情報を選択する装置が知られている（例えば、特許文献２参照。）。

特開２０１１−２４２２９３号公報 特表２０１５−５３４３６４号公報

従来、対象物が１枚の画像に収まりきらない場合、複数枚に分割撮影した画像を１枚毎に解析していた。このため、空港の滑走路のように大面積の場合には、大量の検査画像を手作業で処理する必要があり、非常に作業効率が悪く、現実的には全面検査が不可能だった。

また、市販の画像処理ソフトを用いて複数の画像をある程度自動的に並べることもできるが、熱画像を画像処理ソフトが扱うことのできるビットマップ等のフォーマットに変換する必要がある。このように熱画像を変換してしまった場合には、画像から温度情報が消えてしまい、その後の解析ができなくなるという問題があった。

そこで、本発明は、複数枚の検査画像を解析しやすいように自動的に配置する画像配置方法を提供することを目的とする。

本発明に係る画像配置方法は、移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を用意するステップと、
前記各画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各画像の位置情報を決定するステップと、
前記各画像を正対画像に変換するステップと、
前記各画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各画像の撮影方向を算出するステップと、
前記各画像の位置情報および撮影方向に基づいて、前記各画像を配置するステップと、
を含む。

本発明に係る画像配置用コンピュータプログラムは、移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を用意するステップと、
前記各画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各画像の位置情報を決定するステップと、
前記各画像を正対画像に変換するステップと、
前記各画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各画像の撮影方向を算出するステップと、
前記各画像の位置情報および撮影方向に基づいて、前記各画像を配置するステップと、
の各ステップをコンピュータに実行させて、各画像を配置する。

本発明に係る画像配置方法によれば、複数枚の検査画像を解析しやすいよう自動的に配置することができる。

実施の形態１に係る画像配置方法のフローチャートである。 （ａ）は、実施の形態１に係る画像配置装置の機能的構成を示すブロック図であり、（ｂ）は、（ａ）の画像配置装置の一例であるコンピュータの物理的構成を示すブロック図である。 図２（ａ）のＧＰＳ情報及び画像取得部に対応するＧＰＳ情報及び画像取得車の一例を示すブロック図である。 画像が赤外線カメラによって撮影された熱画像の一例である。 ＧＰＳ情報及び画像の取得時のタイミングチャートである。 赤外画像を直線状に配置した場合の概略図である。 赤外画像をその位置情報に沿って配置した場合の概略図である。 空港の滑走路の赤外画像を位置情報に沿って配置した場合の概略図である。 図８の空港の滑走路の部分拡大図である。

第１の態様に係る画像配置方法は、移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を用意するステップと、
前記各画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各画像の位置情報を決定するステップと、
前記各画像を正対画像に変換するステップと、
前記各画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各画像の撮影方向を算出するステップと、
前記各画像の位置情報および撮影方向に基づいて、前記各画像を配置するステップと、
を含む。

第２の態様に係る画像配置方法は、上記第１の態様において、前記画像は、温度情報を含む熱画像であってもよい。

第３の態様に係る画像配置方法は、上記第１又は第２の態様において、移動しながら順次記録された前記ＧＮＳＳ情報とその受信時刻と、順次記録された前記撮影画像と各画像の撮影時刻と、を用意するステップでは、さらに、移動しながら順次記録された各時点の走行距離とその記録時刻と、を用意してもよい。

第４の態様に係る画像配置方法は、上記第１から第３のいずれかの態様において、前記各画像の位置情報を決定するステップでは、
前記各画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報を取得するサブステップと、
前記各画像の撮影時刻と、前記取得した各ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各画像の緯度及び経度を含む位置情報を算出するサブステップと、
を含んでもよい。

第５の態様に係る画像配置方法は、上記第１から第４のいずれかの態様において、前記各画像を配置するステップでは、前記各画像を直線状に配置してもよい。

第６の態様に係る画像配置方法は、上記第１から第４のいずれかの態様において、前記各画像を配置するステップでは、前記各画像を平面上に配置してもよい。

第７の態様に係る画像配置用コンピュータプログラムは、移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を取得するステップと、
前記各画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各画像の位置情報を算出するステップと、
前記各画像を正対画像に変換するステップと、
前記各画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各画像の撮影方向を算出するステップと、
前記各画像の位置情報および撮影方向に基づいて、前記各画像を配置するステップと、
の各ステップをコンピュータに実行させて、各画像を配置する。

第８の態様に係る画像配置作成用コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体は、上記第７の態様の前記画像配置用コンピュータプログラムを格納している。

以下、実施の形態に係る画像配置方法及び画像配置用コンピュータプログラムについて、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。また、本実施の形態では、ＧＮＳＳ情報の一例としてＧＰＳ情報を用いて説明するが、ＧＰＳ以外の測位システムから取得した情報を用いてもよい。なお、画像の配置とは、画面上または印刷図面上に、複数の画像を位置と向きを調整して割り付ける（レイアウトする）ことを意味する。

（実施の形態１）
＜画像配置方法＞
図１は、実施の形態１に係る画像配置方法のフローチャートである。この実施の形態１に係る画像配置方法は、以下の各ステップを含む。
（ａ）移動しながら順次記録された緯度及び経度を含むＧＰＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を用意する（Ｓ０１）。なお、移動しながら順次記録された各時点の走行距離とその記録時刻と、を用意してもよい。
（ｂ）各画像の撮影時刻と、撮影時刻の前後でそれぞれＧＰＳ情報を用意した２点の受信時刻と、２点の受信時刻のＧＰＳ情報と、に基づいて、各画像の緯度及び経度の位置情報を算出する（Ｓ０２）。
（ｃ）各画像のあおり補正を行って、正対画像に変換する（Ｓ０３）。なお、正対画像とは、対象物に対して正面から見たような傾きのない画像を意味する。例えば、対象物が路面のような平面物であった場合は、その平面に対して略垂直な方向から撮影したように見える画像となる。
（ｄ）各画像の撮影時刻の前後の時刻に記録されたＧＰＳ情報に基づいて、各画像の撮影方向を算出する（Ｓ０４）。具体的には、画像の撮影時刻の直前に記録されたＧＰＳ情報の位置座標と、画像の撮影時刻の直後に記録されたＧＰＳ情報の位置座標とを結ぶ直線の方向を、その画像を撮影したときの撮影方向としてもよい。より高精度に算出する場合は、直前・直後だけでなく、３点以上のＧＰＳ情報を用いて補間してもよいし、撮影時刻と前後のＧＰＳの受信時刻を考慮して方向を調整してもよい。
（ｅ）各画像の緯度及び経度を含む位置情報および撮影方向に基づいて、あおり補正及び回転補正を行った各画像を配置する（Ｓ０５）。なお、画像配置の際にＣＡＤデータや地図、航空写真等を下絵として表示することによって、画像とＣＡＤデータ等とを対応させることができる。

この画像配置方法では、順次記録された撮影画像と各画像の撮影時刻と、撮影時刻の前後で取得したＧＰＳ情報と、に基づいて各画像の緯度及び経度の位置情報を算出できる。また、あおり補正及び回転補正を行った画像について、算出した位置情報に基づいて配置できる。そこで、大量枚数の画像について、位置情報と画像とを別々に扱うことができる。つまり、画像が熱画像（図４）であった場合にも、それぞれの熱画像に位置情報を関連付けることができ、各熱画像の温度情報を保持したまま、位置情報に基づいて配置することができる。
また、この画像配置方法によれば、画像が大量枚数の場合、例えば、空港の滑走路にも対応できる。２５００ｍ×６０ｍの中規模空港の滑走路の場合に約５万枚の画像が生成される。なお、対象は、空港に限られず、港湾、道路、建造物などの大面積、且つ、平面状の構造物に適応できる。上記の画像配置方法によれば、大量枚数であっても各熱画像の温度情報を保持したまま、位置情報に基づいて配置することができる。

＜各画像の緯度及び経度の位置情報の算出について＞
図５は、ＧＰＳ情報及び画像の取得時のタイミングチャートである。図５を用いて各画像の緯度及び経度の位置情報の算出について説明する。
ＧＰＳ情報及び画像の取得時には、走行距離とその記録時刻との車速データと、熱画像及びその撮影時刻との熱画像データと、緯度及び経度とその受信時刻のＧＰＳデータと、をそれぞれ順次取得している。なお、これらの取得のタイミングは特に連動している必要はないが、いずれか２つが同時であってもよい。また、経路中にキロポスト（ＫＰ）情報が存在する場合がある。このキロポスト情報にも緯度及び経度情報が記載されている。
図５に示すように、熱画像１の撮影時刻ｔ１２は、ＧＰＳデータの取得のタイミングとは一致していない。そこで、撮影時刻ｔ１２の前後のＧＰＳ情報を取得した受信時刻ｔ１の緯度経度１と受信時刻ｔ２の緯度経度２とを用いて、撮影時刻ｔ１２の緯度及び経度を、算出することができる。つまり、各データ間での時刻に基づく補間計算による位置情報計算を行っている。

上記の場合、ＧＰＳデータの受信時刻ｔ１とｔ２との間で一定速度で移動していればよいが、速度や方向が変化している場合や、ＧＰＳデータの受信時刻ｔ１とｔ２との間隔が空いている場合には算出した撮影時刻ｔ１２での緯度及び経度が大幅にずれるおそれがある。
これに対して、走行距離とその記録時刻との車速データは、より密に記録されている。そこで、次の２段階によって熱画像１の緯度及び経度情報を得ることができる。
ｉ）まず、熱画像１の撮影時刻ｔ１２の前後の車速データの記録時刻Ｔ１及びＴ２のそれぞれの緯度及び経度情報を算出する。例えば、記録時刻Ｔ１の前後でＧＰＳ情報を取得したそれぞれの受信時刻の緯度及び経度情報に基づいて記録時刻Ｔ１の緯度及び経度情報を算出する。また、記録時刻Ｔ２の前後でＧＰＳ情報を取得したそれぞれの受信時刻の緯度及び経度情報に基づいて記録時刻Ｔ２の緯度及び経度情報を算出する。
ｉｉ）次に、算出した記録時刻Ｔ１とＴ２のそれぞれの緯度及び経度情報に基づいて、熱画像１の緯度及び経度情報を算出する。
この場合、車速データには走行距離が含まれており、速度の変化等を反映して熱画像１の撮影時刻の緯度及び経度情報を得ることができる。
なお、必要に応じてキロポスト（ＫＰ）情報を用いてもよい。上記のように、車速データ、熱画像データ、ＧＰＳデータに基づいて、各画像の撮影時刻での走行距離と、緯度及び経度と、を相互に変換することによって、より正確に各画像の緯度及び経度情報を得ることができる。

＜画像の配置について＞
図６は、画像の赤外画像を直線状に配置した場合の概略図である。図７は、赤外画像をその位置情報に沿って配置した場合の概略図である。図８は、空港の滑走路の赤外画像を位置情報に沿って配置した場合の概略図である。図９は、図８の空港の滑走路の部分拡大図である。
画像の配置は、例えば、図６に示すように、各画像を直線状に配置してもよい。あるいは、図７に示すように、各画像の位置情報にしたがって、例えば、航空写真、ＣＡＤデータ又は地図上に各画像を配置してもよい。なお、各画像は位置情報と撮影方向を有するので、例えば高速道路を走行しながら撮影した一連の画像を配置した場合、図７のように画像は、実際の道路の線形に沿って配置される。
また、図８及び図９に示すように、各画像を２次元の平面上に配列してもよい。なお、この場合に、各画像の重複部分は単純に削除してもよい。あるいは重複部分は平均化して用いてもよい。なお、ＧＰＳの精度は、高精度だと数ミリ単位であり、相対的な誤差は少ないので各画像を正確に配置することができる。

＜画像配置装置＞
図２（ａ）は、実施の形態１に係る画像配置装置２０の機能的構成を示すブロック図である。図２（ｂ）は、図２（ａ）の画像配置装置２０の一例であるコンピュータ１０の物理的構成を示すブロック図である。
この画像配置装置２０は、機能的な観点では、ＧＰＳ情報及び画像取得部１１と、位置情報算出部１２と、あおり補正部１３と、回転補正部１４と、画像配置部１５と、を備える。各構成要素は、上記画像配置方法の各ステップに対応している。つまり、ＧＰＳ情報及び画像取得部１１によって、移動しながら順次記録された受信した緯度及び経度を含むＧＰＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を取得（用意）する。また、位置情報算出部１２によって、各画像の撮影時刻と、撮影時刻の前後でそれぞれＧＰＳ情報を取得した２点の受信時刻と、２点の受信時刻のＧＰＳ情報と、に基づいて、各画像の緯度及び経度の位置情報を算出する。あおり補正部１３によって、各画像のあおり補正を行って、正対画像に変換する。回転補正部１４によって、各画像の撮影時刻の前後のＧＰＳ情報に基づいて、各画像の撮影方向を算出する。また、画像配置部１５によって、各画像の緯度及び経度を含む位置情報および撮影方向に基づいて、各画像を配置する。

なお、この画像配置装置２０は、一般的なコンピュータ上でプログラムを動作させることで、コンピュータを画像配置装置として機能させることができる。この場合、一般的なコンピュータ１０は、例えば、ＣＰＵ１、メモリ２、入出力部３、記憶部４、表示部５、インタフェース６を備える。

＜ＧＰＳ情報及び画像取得車＞
図３は、図２（ａ）のＧＰＳ情報及び画像取得部１１に対応するＧＰＳ情報及び画像取得車３０の一例を示すブロック図である。
このＧＰＳ情報及び画像取得車３０は、カメラ２１と、撮影部２２と、記録部２３と、ＧＰＳアンテナ２４と、ＧＰＳ情報受信部２５と、制御部２６と、を備える。このＧＰＳ情報及び画像取得車３０によって、移動しながら撮影画像と各画像の撮影時刻とを順次記録し、受信した緯度及び経度を含むＧＰＳ情報とその受信時刻とを順次記録することができる。

＜熱画像＞
図４は、画像が熱画像である場合の概略図である。熱画像とは画素毎に温度に対応した値を保持したデータである。特定の変換式を用いて画素毎の値を摂氏や華氏等の温度単位に変換することで撮影対象物の温度を得ることができる。画像として表示する場合、温度情報を色情報に対応させてカラー表示するが、図４では、便宜上ハッチングの濃淡で３種類の温度情報に対応させている。最も濃いハッチングで高温を表し、中間のハッチングで中温を表し、ハッチングなしで低温を表している。そこで、熱画像のカラー表示によって視覚的に温度情報を得ることができる。

＜画像配置用コンピュータプログラム＞
画像配置用コンピュータプログラムは、以下の各ステップをコンピュータに実行させて、各画像をレイアウトする。
（ａ）移動しながら順次記録された緯度及び経度を含むＧＰＳ情報とその受信時刻と、順次記録された撮影画像と各画像の撮影時刻と、を用意する（Ｓ０１）。
（ｂ）各画像の撮影時刻と、撮影時刻の前後でそれぞれＧＰＳ情報を用意した２点の受信時刻と、２点の受信時刻のＧＰＳ情報と、に基づいて、各画像の緯度及び経度の位置情報を算出する（Ｓ０２）。
（ｃ）各画像のあおり補正を行って、正対画像に変換する（Ｓ０３）。
（ｄ）各画像の撮影時刻の前後のＧＰＳ情報に基づいて、各画像の撮影方向を算出する（Ｓ０４）。
（ｅ）各画像の緯度及び経度を含む位置情報および撮影方向に基づいて、各画像を配置する（Ｓ０５）。

さらに、上記画像配置用コンピュータプログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。

なお、本開示においては、前述した様々な実施の形態及び／又は実施例のうちの任意の実施の形態及び／又は実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態及び／又は実施例が有する効果を奏することができる。

本発明に係る画像配置方法によれば、画像が熱画像である場合、熱画像の温度情報を保持したまま、各熱画像を配置することができ、特に熱画像の配置に有用である。

１ ＣＰＵ
２ メモリ
３ 入出力部
４ 記憶部
５ 表示部
６ インタフェース
１０ コンピュータ
１１ ＧＰＳ情報及び画像取得部
１２ 位置情報算出部
１３ あおり補正部
１４ 回転補正部
１５ 画像配置部
２０ 画像配置装置
２１ カメラ
２２ 撮影部
２３ 記録部
２４ ＧＰＳアンテナ
２５ ＧＰＳ情報受信部
２６ 制御部
３０ ＧＰＳ情報及び画像取得車

Claims (7)

1. 移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された温度情報を含む熱画像と各熱画像の撮影時刻と、を用意するステップと
   前記各熱画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各熱画像の位置情報を決定するステップと、
   前記各熱画像にあおり補正を行って正対画像に変換するステップと、
   前記各熱画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各熱画像の撮影方向を算出するステップと、
   前記各熱画像の位置情報および撮影方向に基づいて、前記各熱画像に回転補正を行うステップと、
   前記各熱画像の位置情報および撮影方向に基づいて、前記あおり補正および前記回転補正を行った前記各熱画像を、温度情報として画素毎に温度単位に変換する前の値を保持したまま、航空写真、ＣＡＤデータまたは地図上に配置するステップと、
   を含む、画像配置方法。
2. 移動しながら順次記録された前記ＧＮＳＳ情報とその受信時刻と、順次記録された前記熱画像と各熱画像の撮影時刻と、を用意するステップでは、さらに、移動しながら順次記録された各時点の走行距離とその記録時刻と、を用意する、請求項１に記載の画像配置方法。
3. 前記各熱画像の位置情報を決定するステップでは、
   前記各熱画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報を取得するサブステップと、
   前記各熱画像の撮影時刻と、前記取得した各ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各熱画像の緯度及び経度を含む位置情報を算出するサブステップと、
   を含む、請求項１又は２に記載の画像配置方法。
4. 前記各熱画像を配置するステップでは、前記各熱画像を直線状に配置する、請求項１から３のいずれか一項に記載の画像配置方法。
5. 前記各熱画像を配置するステップでは、前記各熱画像を平面上に配置する、請求項１から３のいずれか一項に記載の画像配置方法。
6. 移動しながら順次記録された緯度及び経度を含むＧＮＳＳ情報とその受信時刻と、順次記録された温度情報を含む熱画像と各熱画像の撮影時刻と、を用意するステップと
   前記各熱画像の撮影時刻と、前記ＧＮＳＳ情報とその受信時刻と、に基づいて、前記各熱画像の位置情報を決定するステップと、
   前記各熱画像にあおり補正を行って正対画像に変換するステップと、
   前記各熱画像の撮影時刻の前後の時刻に記録された各ＧＮＳＳ情報に基づいて、前記各熱画像の撮影方向を算出するステップと、
   前記各熱画像の位置情報および撮影方向に基づいて、前記各熱画像に回転補正を行うステップと、
   前記各熱画像の位置情報および撮影方向に基づいて、前記あおり補正および前記回転補正を行った前記各熱画像を、温度情報として画素毎に温度単位に変換する前の値を保持したまま、航空写真、ＣＡＤデータまたは地図上に配置するステップと、
   の各ステップをコンピュータに実行させて、各熱画像を配置する画像配置用コンピュータプログラム。
7. 請求項６に記載の前記画像配置用コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images