JP6091923B2 - マルチカメラ撮影装置およびマルチカメラ撮影方法 - Google Patents

マルチカメラ撮影装置およびマルチカメラ撮影方法 Download PDF

Info

Publication number
JP6091923B2
JP6091923B2 JP2013032713A JP2013032713A JP6091923B2 JP 6091923 B2 JP6091923 B2 JP 6091923B2 JP 2013032713 A JP2013032713 A JP 2013032713A JP 2013032713 A JP2013032713 A JP 2013032713A JP 6091923 B2 JP6091923 B2 JP 6091923B2
Authority
JP
Japan
Prior art keywords
marker
image
imaging
image group
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013032713A
Other languages
English (en)
Other versions
JP2014164363A (ja
Inventor
伸治 坂野
伸治 坂野
雄一 野中
雄一 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013032713A priority Critical patent/JP6091923B2/ja
Priority to US14/173,840 priority patent/US9423355B2/en
Publication of JP2014164363A publication Critical patent/JP2014164363A/ja
Application granted granted Critical
Publication of JP6091923B2 publication Critical patent/JP6091923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、広い面積を高解像度で撮影するマルチカメラ撮影装置およびマルチカメラ撮影方法に関する。
近年、高度成長期に建築された橋梁やトンネルなどの構造物が耐用年数に達し始めたため、これら構造物の損傷状態を点検し、修復や補修の必要性を判定する必要性が増大している。従来の構造物の損傷状態の点検に於いて、点検作業員は、路上から構造物を点検できない場合には、足場を組んで目視観察していた。しかし、近年では、足場を組む費用の削減と点検作業員の安全性確保のため、カメラ撮影による観察技術が導入されている。
構造物の損傷状態点検では、点検範囲の面積は広く、点検すべき亀裂は細かい。そのため、単一の撮影画像では、解像度が不足する虞がある。そこで、カメラ撮影による観察技術では、複数のカメラ(マルチカメラ)で撮影した画像を合成して、高解像度画像を生成することが多い。
複数のカメラで撮影した画像を高解像度画像に合成する方法には、隣接する撮影画像から共通の対象物を検索し、これを基準に繋ぎ合わせる方法がある。
複数のカメラで撮影した画像を1枚の高解像度画像に合成する他の方法には、例えば、特許文献1に記載の発明がある。特許文献1の段落0011には「CCDカメラ1の撮影視野内の対象物2にレーザビームを照射して、同CCDカメラ1により対象物2を撮影すること」と記載され、段落0012には「2台以上のCCDカメラ1の各撮影視野内の少なくとも共通撮影部分を含む対象物2にレーザビームを照射して、これらCCDカメラ1により対象物2を撮影すること」と記載されている。段落0018には、「レーザ装置3から出射されるレーザビームが複数のスポットビームであること」と記載され、段落0019には、「レーザ装置3から出射されるレーザビームが2以上のラインビームを交差させたものであること」と記載されている。特許文献1の段落0049には、「前記カメラ1の視野の設定やレーザ装置3のレーザ照射方向は前記台車10の位置ズレを想定して余裕をもって設定することが望まれる。」と記載されている。
特開平9−161068号公報
隣接する撮影画像から共通の対象物を検索し、これを基準に合わせる方法では、高速な処理装置や多くの処理時間を必要とするという課題がある。また、隣接する撮影画像中に共通の対象物が見つからない場合もある。共通対象物が見つからないとは、例えば共通する撮影領域に何ら特徴的な対象物が無い場合(白色の壁面など)、共通する撮影領域に繰り返しパターンの対象物が撮影され、どこのパターンが共通するのか判定できない場合などである。そのような場合には、隣接する撮影画像を繋ぎ合わせることはできない。
特許文献1に記載の発明によれば、レーザビーム(マーカ)を共通の対象物として、複数の画像を繋ぎ合わせるので、処理時間が掛からず、かつ、安定して画像を合成することができる。しかし、この合成画像には、このレーザビーム(マーカ)が写り込んでしまい、点検すべき亀裂が隠蔽されてしまう虞があった。
そこで、本発明は、複数の撮影画像をマーカで位置合わせして、かつ、マーカが支障にならない合成画像を生成するマルチカメラ撮影装置およびマルチカメラ撮影方法を提供することを課題とする。
前記した課題を解決するため、請求項1に記載の発明では、隣接して重なり合う複数の撮影領域を撮影する複数の撮影手段と、各前記撮影領域が重なり合う各共通撮影領域にマーカを付与する1または複数のマーカ付与手段と、前記撮影手段および前記マーカ付与手段を制御して、前記共通撮影領域にマーカが付与されていないマーカ無し画像群および、前記共通撮影領域にマーカが付与されたマーカ付与画像群を取得する撮影制御手段と、前記マーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータに基づいて、前記マーカ無し画像群を合成した合成画像を生成する画像合成手段と、を備え、前記マーカ付与手段は、撮影対象物との最小距離から最大距離に亘り、前記共通撮影領域に対して所定パターンのマーカを付与し、かつ、前記撮影対象物との最大距離においても隣接する前記共通撮影領域の隣の共通撮影領域に対して前記所定パターンのマーカを付与せず、前記所定パターンのマーカは隣の共通撮影領域には掛からないことを特徴とするマルチカメラ撮影装置とした。ここで補正パラメータとは、両撮影領域間の傾き、サイズ、および、位置を合わせる情報のことをいう。
その他の手段については、発明を実施するための形態のなかで説明する。
本発明によれば、複数の撮影画像をマーカで位置合わせして、かつ、マーカが支障にならない合成画像を生成することができる。
第1の実施形態に於けるマルチカメラ撮影装置の外観と動作を示す図である。 第1の実施形態に於けるマルチカメラ撮影装置を示す概略の構成図である。 第1の実施形態に於ける各カメラの構成と動作を示す図である。 第1の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。 第1の実施形態に於けるタイムチャートである。 第1の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。 第2の実施形態に於ける各カメラの構成と動作を示す図である。 第3の実施形態に於けるマルチカメラ撮影装置を示す概略の構成図である。 第3の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。 第3の実施形態に於けるタイムチャートである。 第3の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。 第4の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。 第4の実施形態に於けるタイムチャートである。 第4の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。 第5の実施形態に於けるマルチカメラ撮影装置の外観と動作を示す図である。 第5の実施形態に於けるマルチカメラ撮影装置を示す概略の構成図である。 第5の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。 第5の実施形態に於けるタイムチャートである。 第5の実施形態に於ける撮影処理を示すフローチャートである。 第6の実施形態に於けるマルチカメラ撮影装置を示す図である。 第6の実施形態に於ける画像調整処理の説明を示す図である。 第7の実施形態に於けるマルチカメラ撮影装置を示す図である。 第7の実施形態に於けるマーカパターン設定処理を示すフローチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。各実施形態では、例として、コンクリート橋の底面の亀裂などを表面観察する場合を示している。
(第1の実施形態)
第1の実施形態のマルチカメラ撮影装置は、第1波長の光である可視光、および、第2波長の光である非可視光に対応した撮影手段と、第2波長の光である非可視光のマーカを付与するマーカ付与手段とを備えることを特徴としている。
図1(a),(b)は、第1の実施形態に於けるマルチカメラ撮影装置1の外観と動作を示す図である。
図1(a)は、撮影対象物であるコンクリート橋9、マルチカメラ撮影装置1、および、それを支持する橋梁点検車8の外観を示す図である。
コンクリート橋9の上側は、橋梁点検車8などが走行する道路91である。コンクリート橋9の下側は、本実施形態の撮影対象物である底面92である。橋梁点検車8には、アーム81が上下左右方向に移動可能に固定されている。このアーム81の下端には、フレーム82が支持されている。フレーム82には、マルチカメラ撮影装置1が支持されている。
マルチカメラ撮影装置1は、コンクリート橋9の底面92を撮影するものである。
図1(b)は、マルチカメラ撮影装置1および橋梁点検車8の動作を示す図である。
コンクリート橋9は、橋脚93で支えられている。コンクリート橋9の底面92の下側には、マルチカメラ撮影装置1が、図示しないアーム81およびフレーム82を介して支持されている。マルチカメラ撮影装置1は、複数のカメラ2−1〜2−3(撮影手段)と、複数のレーザ装置3−1〜3−2(マーカ付与手段)とを備えている。以下、各カメラ2−1〜2−3を特に区別しない場合には、単にカメラ2と記載する。各レーザ装置3−1〜3−2を特に区別しない場合には、単にレーザ装置3と記載する。
撮影手段である複数のカメラ2−1〜2−3は、直線上に配置されて、撮影方向が上方向になるように、図示しないフレーム82によって支持されて固定されている。図1(a)に示す橋梁点検車8は、例えば奥行方向に微速で移動することにより、マルチカメラ撮影装置1を奥行方向に移動させる。各カメラ2−1〜2−3の撮影領域6−1〜6−3は、それぞれ隣接する部分が重なり合っている。隣接する撮影領域6−1,6−2が重なり合う共通撮影領域61−1には、2個のマーカである赤外線(非可視光)のレーザビーム51−1,52−1が照射されている。隣接する撮影領域6−2,6−3が重なり合う共通撮影領域61−2には、レーザビーム51−2,52−2が照射されている。以下、各レーザビーム51−1,51−2を特に区別しないときには、単にレーザビーム51と記載する。各レーザビーム52−1,52−2を特に区別しないときには、単にレーザビーム52と記載する。
撮影手段であるカメラ2−1は、撮影領域6−1を撮影する。以下、他のカメラ2−2,2−3も同様に、それぞれ撮影領域6−2,6−3を撮影する。
マーカ付与手段であるレーザ装置3−1は、隣接するカメラ2−1,2−2の間に配置され、共通撮影領域61−1に2個のレーザビーム51−1,52−1を照射する。
レーザ装置3−2は同様に、隣接するカメラ2−2,2−3の間に配置され、共通撮影領域61−2に2個のレーザビーム51−2,52−2を照射する。
これらレーザビーム51,52は、可視光の撮像装置では撮影されない、しかし、赤外線の撮像装置ならば撮影することができる。
図2は、第1の実施形態に於けるマルチカメラ撮影装置1を示す概略の構成図である。
マルチカメラ撮影装置1は、カメラ2−1〜2−3と、レーザ装置3−1,3−2と、これらに接続された制御ユニット4とを備えている。
カメラ2−1〜2−3は、直線上にそれぞれ所定間隔で固定されて、同一方向(上方向)の撮影領域6−1〜6−3を撮影するものである。各カメラ2−1〜2−3は、同一タイミングに於ける各撮影領域6−1〜6−3の可視光画像と非可視光画像とを撮影することができる。各カメラ2−1〜2−3の構成は、後記する図3で詳細に説明する。
レーザ装置3−1は、2個のレーザ発振器を備え、隣接する撮影領域6−1,6−2が重なり合う共通撮影領域61−1に、2個のマーカである赤外線のレーザビーム51−1,52−1を照射する。同様にレーザ装置3−2は、2個のレーザ発振器を備え、隣接する撮影領域6−2,6−3が重なり合う共通撮影領域61−2に、2個のマーカである赤外線のレーザビーム51−2,52−2を照射する。
制御ユニット4は、撮影制御部41(制御手段)と、非可視光画像処理部42(補正パラメータ算出手段)と、可視光画像処理部43(画像合成手段)と、記憶部44とを備えている。
撮影制御部41(制御手段)は、各カメラ2−1〜2−3と、各レーザ装置3−1,3−2とを制御して、可視光画像群と、非可視光画像群とを取得する。可視光画像群は、マーカが付与されていないマーカ無し画像群である。非可視光画像群は、赤外線のレーザビーム51,52によって2個のマーカが付与されたマーカ付与画像群である。これら撮影制御部41が取得した各画像は、記憶部44に格納される。
非可視光画像処理部42(補正パラメータ算出手段)は、撮影制御部41が取得した非可視光画像群に付与された各マーカに基づいて、各撮影領域6間の傾き、サイズ、および、位置合わせの情報である補正パラメータを算出する。
可視光画像処理部43(画像合成手段)は、補正パラメータに基づいて、可視光画像群を合成した合成画像を生成する。
記憶部44は、例えばフラッシュメモリやHDD(Hard Disk Drive)などであり、画像などに代表されるデジタルデータを格納するものである。
図3(a),(b)は、第1の実施形態に於ける各カメラ2の構成と動作を示す図である。
図3(a)は、カメラ2の構成を示す図である。
カメラ2は、入射光を集光させて像を結ぶレンズ光学系21と、像を電気信号に変換する撮像素子22と、撮像素子22の電気信号から可視光画像71を生成する可視光画像処理部23と、撮像素子22の電気信号から非可視光画像72を生成する非可視光画像処理部24とを備えている。
図3(b)は、カメラ2の構成と動作を示す図である。
撮像素子22は、可視光用のR(赤色)素子、G(緑色)素子、B(青色)素子と、非可視光である赤外線用のIR(InfraRed)素子とが所定規則で配列して構成されている。撮像素子22が出力する可視光用のR素子、G素子、B素子の電気信号に基づいて、可視光画像71が生成される。撮像素子22が出力する非可視光用のIR素子の電気信号に基づいて、非可視光画像72が生成される。本実施形態のカメラ2は、同一のレンズ光学系21によって、単一の撮像素子22に像を結んでいるので、同一画角かつ同一撮影領域に係る可視光画像71と非可視光画像72とを同時に撮影することができる。
図4(a)〜(e)は、第1の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。
図4(a)は、可視光画像群を示す図である。
可視光画像群である可視光画像71−1〜71−3は、カメラ2−1〜2−3の可視光画像処理部23から出力され、撮影制御部41が取得して記憶部44に格納する。
図4(b)は、非可視光画像群を示す図である。
非可視光画像群である非可視光画像72−1〜72−3は、カメラ2−1〜2−3の非可視光画像処理部24から出力され、撮影制御部41が取得して記憶部44に格納する。
図4(c)は、マーカ抽出画像群を示す図である。
マーカ抽出画像73−1〜73−3は、非可視光画像処理部42が非可視光画像72−1〜72−3のマーカ部分を抽出することによって生成される。マーカ部分の輝度は極めて高いので、非可視光画像72の輝度が所定値以上の部分を抽出することにより、そのマーカ部分を抽出することができる。
図4(d)は、マーカ補正画像76を示す図である。
マーカ補正画像76は、隣接するマーカ抽出画像73−1,73−2の各マーカ位置を一致させるように、画像の傾きおよびサイズを調整し、更に位置合わせを行ったものである。非可視光画像処理部42は、画像の傾き、サイズ、および、位置合わせの補正パラメータを算出し、記憶部44に格納する。
図4(e)は、マーカ無し合成画像を示す図である。
マーカ無し合成画像77は、補正パラメータに基づいて、可視光画像71−1〜71−3の傾きおよびサイズを調整し、更に位置合わせを行うことによって生成される。マーカ無し合成画像77は、第1の実施形態での最終成果物である。
図5(a)〜(g)は、第1の実施形態に於けるタイムチャートである。図の横軸は、共通する時間を示している。以下、適宜図1〜図4を参照しつつ説明する。
図5(a)は、マルチカメラ撮影装置1の移動の有無を示す図である。
図5(b)は、カメラ撮影トリガを示す図である。
図5(c)は、マーク付与トリガを示す図である。
図5(d)は、撮影時間を示す図である。この撮影時間には、カメラ2の処理タイミングを含んでいる。
図5(e)は、マーカ付与時間を示す図である。図5(b)〜(e)の太い破線は、撮影期間を示している。
図5(f)は、マーカ画像処理を示す図である。細い破線は、カメラ2の非可視光画像処理部24の処理タイミングを示している。実線は、制御ユニット4の非可視光画像処理部42の処理時間を示している。
図5(g)は、マーカ無し画像処理を示す図である。細い破線は、カメラ2の可視光画像処理部23の処理タイミングを示している。実線は、制御ユニット4の可視光画像処理部43の処理時間を示している。図5(f),(g)の太い破線は、画像処理期間を示している。
本実施形態のマルチカメラ撮影装置1は、図1に示す橋梁点検車8によって、常に奥行方向に移動している。
時刻t1に於いて、撮影制御部41は、マーク付与トリガを発生させる。これにより、最初の撮影期間P1−1が開始する。以降、撮影制御部41は、各レーザ装置3−1,3−2を動作させる。レーザ装置3−1,3−2は、赤外線のレーザビーム51,52を照射する。
時刻t2に於いて、カメラ撮影トリガが発生する。撮影制御部41は、カメラ2−1〜2−3に可視光像と非可視光像の撮影を指示する。カメラ2−1〜2−3は、図4(a)に示す可視光画像群と、図4(b)に示す非可視光画像群を撮影して画像を生成する。
時刻t3に於いて、撮影制御部41は、各カメラ2から可視光画像群と非可視光画像群との取得を終了する。これにより、最初の撮影期間P1−1は終了し、最初の画像処理期間P2−1が開始する。
時刻t3に於いて、撮影制御部41の非可視光画像処理部42は、非可視光画像群を処理して、補正パラメータを算出する。
時刻t4に於いて、撮影制御部41の可視光画像処理部43は、補正パラメータに基づき、可視光画像群を合成する。
時刻t5に於いて、撮影制御部41の可視光画像処理部43は、図4(e)に示すようなマーカ無し合成画像77を生成する。これにより、最初の画像処理期間P2−1は終了する。
所定期間が経過すると、次の撮影期間P1−2が開始する。次の撮影期間P1−2が終了すると、次の画像処理期間P2−2が開始する。以下同様にして、マルチカメラ撮影装置1は、複数のカメラ2−1〜2−3で撮影した可視光画像群を合成して、一枚の高解像度画像であるマーカ無し合成画像77を生成し、次の撮影期間まで待つ。
最初の撮影期間P1−1が終了してT時間が経過したならば、2回目の撮影期間P1−2が開始し、それに伴って2回目の画像処理期間P2−2が開始する。
図6(a)〜(c)は、第1の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。
図6(a)は、マルチカメラ撮影処理の全体を示すフローチャートである。
マルチカメラ撮影装置1は、撮影を開始すると、図6(a)の処理を開始する。
ステップS10に於いて、撮影制御部41は、撮影処理の初期化と、画像処理の初期化とを行う。
ステップS11に於いて、撮影制御部41は、非可視光マーカをオンする。非可視光マーカのオンとは、マーカ付与手段であるレーザ装置3−1〜3−2を動作させて、赤外線のレーザビーム51,52を照射することをいう。
ステップS12に於いて、マルチカメラ撮影装置1は、T時間の移動を行う。マルチカメラ撮影装置1を支持している橋梁点検車8は、移動を継続しているので、T時間の待ちを行うことにより、T時間の移動が行える。
ステップS13に於いて、撮影制御部41は、カメラ2−1〜2−3によって非可視光画像群と可視光画像群とを同時に撮影し、撮影した非可視光画像群と可視光画像群とを取得する。
ステップS14に於いて、撮影制御部41は、非可視光画像処理部42により、マーカ画像処理を行う。マーカ画像処理は、後記する図6(b)にて詳細に説明する。
ステップS15に於いて、撮影制御部41は、可視光画像処理部43により、マーカ無し画像処理を行う。マーカ無し画像処理は、後記する図6(c)にて詳細に説明する。
ステップS16に於いて、撮影制御部41は、次の撮影を行うか否かを判断する。撮影制御部41は、当該判断条件が成立したならば(Yes)、ステップS12の処理に戻り、当該判断条件が成立しなかったならば(No)、図6(a)の処理を終了する。
図6(b)は、ステップS14のマーカ画像処理の詳細を示すフローチャートである。
撮影制御部41が、非可視光画像処理部42を呼び出すことにより、マーカ画像処理が開始する。
ステップS20に於いて、非可視光画像処理部42は、非可視光画像群からマーカパターンを抽出し、マーカ抽出画像群を生成する。
ステップS21に於いて、非可視光画像処理部42は、マーカパターンからカメラ画像間の位置合わせの補正パラメータを算出し、図6(b)のマーカ画像処理を終了する。
図6(c)は、ステップS15のマーカ無し画像処理の詳細を示すフローチャートである。
ステップS22に於いて、可視光画像処理部43は、可視光画像群に補正パラメータを適用して、1枚に繋ぎ合わせたマーカ無し合成画像77(図4(e)参照)を生成する。ステップS22の処理が終了すると、可視光画像処理部43は、図6(c)に示すマーカ無し画像処理を終了する。
(第1の実施形態の効果)
以上説明した第1の実施形態では、次の(A),(B)のような効果がある。
(A) マルチカメラ撮影装置1は、非可視光のレーザビーム51,52を射出するレーザ装置3と、同一の撮影領域6に係る非可視光画像と可視光画像とを同時に撮影できるカメラ2を複数備えている。これにより、非可視光のレーザビーム51,52に基づいて非可視光画像群を繋ぎ合わせる補正パラメータを算出するので、点検すべき亀裂などをレーザビーム(マーカ)で隠蔽することが無くなる。
(B) カメラ2は、同一の撮影領域6に係る非可視光画像と可視光画像とを同時に撮影できる。これにより、マーカ付与画像の撮影領域とマーカ無し画像の撮影領域とが正確に一致するので、マーカによって算出した補正パラメータによって、マーカ無し画像群を正確に繋ぎ合わせて合成できる。
(第2の実施形態)
図7は、第2の実施形態に於ける各カメラ2Aの構成と動作を示す図である。
図7(a)は、カメラ2Aの構成を示す図である。
第2の実施形態のカメラ2Aは、第1の実施形態のカメラ2と同様の構成に加えて、ダイクロイックプリズム25と、可視光撮像素子26と、非可視光撮像素子27とを備えている。
カメラ2Aは、入射光を集光させて像を結ぶレンズ光学系21と、入射光を可視光と赤外線とに分離するダイクロイックプリズム25と、可視光画像を電気信号に変換する可視光撮像素子26と、可視光撮像素子26の電気信号から可視光画像71を生成する可視光画像処理部23と、赤外線画像を電気信号に変換する非可視光撮像素子27と、非可視光撮像素子27の電気信号から非可視光画像72を生成する非可視光画像処理部24とを備えている。
図7(b)は、可視光撮像素子26の構成と動作を示す図である。図7(c)は、非可視光撮像素子27の構成と動作を示す図である。
可視光撮像素子26は、可視光用のR素子、G素子、B素子が所定規則で配列して構成されている。非可視光撮像素子27は、非可視光である赤外線用のIR素子が所定規則で配列して構成されている。更に、可視光撮像素子26と非可視光撮像素子27とは、同一の撮影領域6を撮影するように、その位置が調整されている。
可視光撮像素子26が出力する可視光用のR素子、G素子、B素子の電気信号に基づいて、可視光画像71が生成される。非可視光撮像素子27が出力する非可視光用のIR素子の電気信号に基づいて、非可視光画像72が生成される。本実施形態のカメラ2Aは、同一のレンズ光学系21によって、可視光撮像素子26と非可視光撮像素子27に像を結んでいる。可視光撮像素子26と非可視光撮像素子27とは、同一の撮影領域6を撮影するように、その位置が調整されている。これにより、カメラ2Aは、同一の撮影領域6に係る可視光画像71と非可視光画像72とを同時に撮影することができる。
(第2の実施形態の効果)
以上説明した第2の実施形態では、次の(C),(D)のような効果がある。
(C) カメラ2Aは、可視光撮像素子26と非可視光撮像素子27とを別々に備えている。これにより、第1の実施形態のカメラ2よりも更に高精細な画像を撮影することができる。
(D) カメラ2Aは、ダイクロイックプリズム25によって、入射光を可視光と赤外線とに分離している。これにより、赤外線透過フィルタや、赤外線除去フィルタを用いて可視光と赤外光とを分離するよりも耐久性に優れ、かつ、光透過性が高い。この耐久性によって、カメラ2Aの寿命を延ばすことができる。更に高い光透過率により、カメラ2Aは、高速なシャッタ速度で撮影することができる。これにより、カメラ2Aは、橋梁点検車8によって移動しながらの撮影に適する。
(第3の実施形態)
本実施形態では、コンクリート橋9の底面92の亀裂状態など表面観察するためのマルチカメラ撮影装置1Bの例を説明する。本実施形態では、撮影時にマルチカメラ撮影装置1Bを静止させ、その撮影後に、マルチカメラ撮影装置1Bを底面92に沿って移動させている。
図8は、第3の実施形態に於けるマルチカメラ撮影装置1Bを示す概略の構成図である。
マルチカメラ撮影装置1Bは、第1の実施形態とは異なる可視光用のカメラ2B−1〜2B−3と、第1の実施形態とは異なる可視光レーザを照射するレーザ装置3B−1,3B−2、これらに接続された制御ユニット4Bとを備えている。レーザ装置3B−1は、共通撮影領域61−1に、可視光のレーザビーム51B−1,52B−1を照射する。レーザ装置3B−2は、共通撮影領域61−2に、可視光のレーザビーム51B−2,52B−2を照射する。それ以外の構成は、第1の実施形態のマルチカメラ撮影装置1と同様である。
以下、各レーザビーム51B−1,51B−2を特に区別しないときには、単にレーザビーム51Bと記載する。各レーザビーム52B−1,52B−2を特に区別しないときには、単にレーザビーム52Bと記載する。
制御ユニット4Bは、第1の実施形態とは異なるマーカ画像処理部42B(補正パラメータ算出手段)と、マーカ無し画像処理部43B(画像合成手段)とを備えている。それ以外の構成は、第1の実施形態の制御ユニット4と同様である。
図9(a)〜(e)は、第3の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。
図9(a)は、マーカ無し画像群を示す図である。
マーカ無し画像71B−1〜71B−3は、レーザ装置3B−1,3B−2が停止している際にカメラ2B−1〜2B−3が撮影した画像である。マーカ無し画像71B−1〜71B−3は、カメラ2B−1〜2B−3から撮影制御部41が取得して、記憶部44に格納する。
図9(b)は、マーカ付与画像群を示す図である。
マーカ付与画像72B−1〜72B−3は、レーザ装置3B−1,3B−2がレーザビーム51B,52Bを照射している際に、カメラ2B−1〜2B−3が撮影した画像である。マーカ付与画像72B−1〜72B−3に係る撮影領域6は、マーカ無し画像71B−1〜71B−3に係る撮影領域6と同一である。マーカ付与画像72B−1〜72B−3は、カメラ2B−1〜2B−3から撮影制御部41が取得して、記憶部44に格納する。
図9(c)は、マーカ抽出画像群を示す図である。
本実施形態のマーカ抽出画像73−1〜73−3は、図4(c)に示す第1の実施形態と同様である。
図9(d)は、マーカ補正画像76を示す図である。
本実施形態のマーカ補正画像76は、図4(d)に示す第1の実施形態と同様である。
図9(e)は、マーカ無し合成画像77を示す図である。
本実施形態のマーカ無し合成画像77は、図4(e)に示す第1の実施形態と同様である。
図10は、第3の実施形態に於けるタイムチャートである。図の横軸は、共通する時間を示している。以下、適宜図8、図9を参照しつつ説明する。
図10(a)は、マルチカメラ撮影装置1Bの移動の有無を示す図である。
図10(b)は、カメラ撮影トリガを示す図である。
図10(c)は、マーク付与トリガを示す図である。
図10(d)は、撮影時間を示す図である。この撮影時間には、カメラ2Bの処理タイミングを含んでいる。
図10(e)は、マーカ付与時間を示す図である。図10(b)〜(e)の太い破線は、撮影期間を示している。
図10(f)は、マーカ画像処理を示す図である。細い破線は、カメラ2の処理タイミングを示している。実線は、制御ユニット4Bのマーカ画像処理部42Bの処理時間を示している。
図10(g)は、マーカ無し画像処理を示す図である。細い破線は、カメラ2の処理タイミングを示している。実線は、制御ユニット4のマーカ無し画像処理部43Bの処理時間を示している。図10(f),(g)の太い破線は、画像処理期間を示している。
本実施形態のマルチカメラ撮影装置1Bは、時刻t1Bに於いて停止しており、撮影が終了すると、次の撮影が開始するまでの間に奥行方向に移動する。
時刻t1Bに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。各カメラ2B−1〜2B−3は、底面92の撮影を行う。これにより、最初の撮影期間P1B−1が開始する。
時刻t2Bに於いて、各カメラ2B−1〜2B−3は、画像処理を終了して、マーカ無し画像71B−1〜71B−3を出力する。撮影制御部41は、マーカ無し画像71B−1〜71B−3を取得する。
時刻t3Bに於いて、撮影制御部41は、マーク付与トリガを発生させ、各レーザ装置3Bを動作させる。各レーザ装置3Bは、コンクリート橋9の底面92に可視光のレーザビーム51B,52Bを照射する。
時刻t4Bに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。各カメラ2B−1〜2B−3は、レーザビーム51B,52Bが照射されている底面92の撮影を行う。
時刻t5Bに於いて、各カメラ2B−1〜2B−3は、画像処理を終了して、マーカ無し画像71B−1〜71B−3を出力する。撮影制御部41は、マーカ無し画像71B−1〜71B−3を取得し、マーカ画像処理を開始する。これにより、最初の画像処理期間P2B−1が開始する。
時刻t6Bに於いて、撮影制御部41は、マーク付与トリガを発生させ、各レーザ装置3Bを停止させる。これにより、最初の撮影期間P1B−1は終了する。以降、マルチカメラ撮影装置1Bは、次の撮影が開始するまでの間、奥行方向に微速で移動する。
時刻t7Bに於いて、マーカ画像処理部42Bは、マーカ画像処理を終了して補正パラメータを算出し、マーカ無し画像処理を行う。
時刻t8Bに於いて、マーカ無し画像処理部43Bは、マーカ無し画像処理を終了してマーカ無し合成画像77を生成し、最初の画像処理期間P2B−1を終了する。
最初の撮影期間P1B−1が終了してT時間が経過したならば、2回目の撮影期間P1B−2が開始し、それに伴って2回目の画像処理期間P2B−2が開始する。
図11(a)〜(c)は、第3の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。
図11(a)は、マルチカメラ撮影処理の全体を示すフローチャートである。
マルチカメラ撮影装置1Bは、撮影を開始すると、図11(a)の処理を開始する。
ステップS30に於いて、撮影制御部41は、撮影処理の初期化と、画像処理の初期化とを行う。
ステップS31に於いて、撮影制御部41は、マルチカメラ撮影装置1BがT時間の移動後に停止するまで待つ。マルチカメラ撮影装置1Bを支持している橋梁点検車8は、間欠的にT時間の移動と撮影とを繰り返している。
ステップS32に於いて、撮影制御部41は、カメラ2B−1〜2B−3に画像群の撮影を指示し、撮影した画像を取得する。ここで、レーザ装置3B−1,3B−2は動作していないので、カメラ2B−1〜2B−3は、マーカ無し画像群を撮影する。撮影制御部41は、これらマーカ無し画像群を取得する。
ステップS33に於いて、撮影制御部41は、撮影領域6にレーザビーム51B,52Bを照射して、マーカをオンする。
ステップS34に於いて、撮影制御部41は、カメラ2B−1〜2B−3に画像群の撮影を指示し、撮影した画像を取得する。ここで、レーザ装置3B−1,3B−2が動作しているので、カメラ2B−1〜2B−3は、マーカ付与画像群を撮影する。撮影制御部41は、これらマーカ付与画像群を取得する。
ステップS35に於いて、撮影制御部41は、マーカ画像処理部42Bにより、マーカ画像処理を行う。マーカ画像処理は、後記する図11(b)にて詳細に説明する。
ステップS36に於いて、撮影制御部41は、マーカ無し画像処理部43Bにより、マーカ無し画像処理を行う。マーカ無し画像処理は、後記する図11(c)にて詳細に説明する。
ステップS37に於いて、撮影制御部41は、レーザ装置3をオフすることにより、マーカをオフする。
ステップS38に於いて、撮影制御部41は、次の撮影を行うか否かを判断する。撮影制御部41は、当該判断条件が成立したならば(Yes)、ステップS31の処理に戻り、当該判断条件が成立しなかったならば(No)、図11(a)の処理を終了する。
図11(b)は、ステップS35のマーカ画像処理の詳細を示すフローチャートである。
撮影制御部41が、マーカ画像処理部42Bを呼び出すことにより、マーカ画像処理が開始する。
ステップS40に於いて、マーカ画像処理部42Bは、マーカ付与画像群からマーカパターンを抽出し、マーカ抽出画像群を生成する。
ステップS41に於いて、マーカ画像処理部42Bは、マーカ抽出画像群のマーカパターンからカメラ画像間の位置合わせの補正パラメータを算出し、図11(b)に示すマーカ画像処理を終了する。
図11(c)は、ステップS36のマーカ無し画像処理の詳細を示すフローチャートである。
撮影制御部41が、マーカ無し画像処理部43Bを呼び出すことにより、マーカ無し画像処理が開始する。
ステップS42に於いて、マーカ無し画像処理部43Bは、マーカ無し画像群に補正パラメータを適用して1枚の画像に繋ぎ合わせ、マーカ無し合成画像77(図9(e)参照)を生成する。ステップS42の処理が終了すると、マーカ無し画像処理部43Bは、図11(c)に示すマーカ無し画像処理を終了する。
第3の実施形態のマルチカメラ撮影装置1Bは、最初にマーカ無し画像を撮影したのち、マーカ付与画像を撮影している。しかし、これに限られず、マルチカメラ撮影装置は、最初にマーカ付与画像を撮影したのち、マーカ無し画像を撮影してもよい。
(第3の実施形態の効果)
以上説明した第3の実施形態では、次の(E),(F)のような効果がある。
(E) マルチカメラ撮影装置1Bは、レーザ装置3Bをオンして、マーカ付与画像群を撮影している。マルチカメラ撮影装置1Bは更に、レーザ装置3Bをオフしてマーカ無し画像群を撮影している。このように、マルチカメラ撮影装置1Bは、マーカ付与画像群と前記マーカ無し画像群とを異なるタイミングで撮影しているので、マーカ無し画像群へのマーカの映り込みを無くすことができる。
(F) マルチカメラ撮影装置1Bは、可視光のレーザ装置3Bを使ってマーカを付与している。これにより、レーザ装置3Bの故障や調整ずれなどを容易に視認することができる。
(第4の実施形態)
本実施形態では、連続的にマルチカメラ撮影装置1B(図8参照)を移動させている状態に於ける処理の例を説明する。第4の実施形態のマルチカメラ撮影装置1Bは、マーカ無し画像を2回撮影し、マーカ付与画像を1回撮影している。
図12(a)〜(g)は、第4の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。
図12(a)は、第1マーカ無し画像群を示す図である。
第1マーカ無し画像群であるマーカ無し画像71C−1〜71C−3は、レーザ装置3B−1,3B−2が停止している際にカメラ2B−1〜2B−3が撮影した画像である。マーカ無し画像71C−1〜71C−3は、カメラ2B−1〜2B−3から撮影制御部41が取得して、記憶部44に格納する。
図12(b)は、マーカ付与画像群を示す図である。
マーカ付与画像群であるマーカ付与画像72C−1〜72C−3は、レーザ装置3B−1,3B−2がレーザビーム51B,52Bを照射している際にカメラ2B−1〜2B−3が撮影した画像である。マーカ付与画像72C−1〜72C−3は、カメラ2B−1〜2B−3から撮影制御部41が取得して、記憶部44に格納する。
図12(c)は、マーカ抽出画像群を示す図である。
本実施形態のマーカ抽出画像73−1〜73−3は、図4(c)に示す第1の実施形態と同様である。
図12(d)は、第2マーカ無し画像群を示す図である。
第2マーカ無し画像群であるマーカ無し画像74C−1〜74C−3は、レーザ装置3B−1,3B−2が停止している際にカメラ2B−1〜2B−3が撮影した画像である。マーカ無し画像74C−1〜74C−3は、カメラ2B−1〜2B−3から撮影制御部41が取得して、記憶部44に格納する。
図12(e)は、マーカ無し合成画像群を示す図である。
マーカ無し合成画像75−1〜75−3は、マーカ無し画像71C−1〜71C−3とマーカ無し画像74C−1〜74C−3を、それぞれ合成したものである。
図12(f)は、マーカ補正画像76を示す図である。
本実施形態のマーカ補正画像76は、図4(d)に示す第1の実施形態と同様である。
図12(g)は、マーカ無し合成画像77を示す図である。本実施形態のマーカ無し合成画像77は、図4(e)に示す第1の実施形態と同様である。
図13(a)〜(g)は、第4の実施形態に於けるタイムチャートである。図の横軸は、共通する時間を示している。以下、適宜図12を参照しつつ説明する。
図13(a)は、マルチカメラ撮影装置1Bの移動の有無を示す図である。
図13(b)は、カメラ撮影トリガを示す図である。
図13(c)は、マーク付与トリガを示す図である。
図13(d)は、撮影時間を示す図である。この撮影時間には、カメラ2Bの処理時間を含んでいる。
図13(e)は、マーカ付与時間を示す図である。
図13(f)は、マーカ画像処理を示す図である。破線は、カメラ2の処理タイミングを示している。実線は、制御ユニット4Bのマーカ画像処理部42Bの処理時間を示している。
図13(g)は、マーカ無し画像処理を示す図である。破線は、カメラ2の処理タイミングを示している。実線は、制御ユニット4のマーカ無し画像処理部43Bの処理時間を示している。
本実施形態のマルチカメラ撮影装置1Bは、常に奥行方向に移動している。
時刻t1Cに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。各カメラ2B−1〜2B−3は、底面92の撮影を行う。これにより、最初の撮影期間P1C−1が開始する。
時刻t2Cに於いて、各カメラ2B−1〜2B−3は、画像処理を終了して、マーカ無し画像71C−1〜71C−3を出力する。撮影制御部41は、マーカ無し画像71C−1〜71C−3を取得する。
時刻t3Cに於いて、撮影制御部41は、マーク付与トリガを発生させ、各レーザ装置3Bを動作させる。各レーザ装置3Bは、コンクリート橋9の底面92に可視光のレーザビーム51B,52Bを照射する。
時刻t4Cに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。各カメラ2B−1〜2B−3は、レーザビーム51B,52Bが照射されている底面92の撮影を行う。
時刻t5Cに於いて、各カメラ2B−1〜2B−3は、画像処理を終了して、マーカ付与画像72C−1〜72C−3を出力する。撮影制御部41は、マーカ付与画像72C−1〜72C−3を取得し、図12(f)に示すマーカ画像処理を開始する。これにより、最初の画像処理期間P2C−1が開始する。
時刻t6Cに於いて、撮影制御部41は、マーク付与トリガを発生させ、各レーザ装置3Bを停止させる。
時刻t7Cに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。各カメラ2B−1〜2B−3は、底面92の撮影を行う。
時刻t8Cに於いて、マーカ画像処理部42Bは、マーカ画像処理を終了して補正パラメータを算出する。
時刻t9Cに於いて、各カメラ2B−1〜2B−3は、画像処理を終了して、マーカ無し画像74C−1〜74C−3を出力し、最初の撮影期間P1C−1を終了する。撮影制御部41は、マーカ無し画像74C−1〜74C−3を取得する。マーカ無し画像処理部43Bは、マーカ無し画像処理を開始する。
時刻t10Cに於いて、マーカ無し画像処理部43Bは、マーカ無し画像処理を終了してマーカ無し合成画像77を生成し、最初の画像処理期間P2C−1を終了する。撮影制御部41は、T時間の待ち時間の後に2回目の撮影期間P1C−2を開始し、それに伴って2回目の画像処理期間P2C−2を開始する。
図14(a)〜(c)は、第4の実施形態に於けるマルチカメラ撮影処理を示すフローチャートである。
図14(a)は、マルチカメラ撮影処理の全体を示すフローチャートである。
マルチカメラ撮影装置1Bは、撮影を開始すると、図14(a)の処理を開始する。
ステップS50に於いて、撮影制御部41は、撮影処理の初期化と、画像処理の初期化とを行う。
ステップS51に於いて、撮影制御部41は、マルチカメラ撮影装置1BがT時間の間だけ待ち、更に移動を継続する。本実施形態に於いて、マルチカメラ撮影装置1Bを支持している橋梁点検車8は、常に微速で移動している。
ステップS52に於いて、撮影制御部41は、カメラ2B−1〜2B−3によって第1マーカ無し画像群を撮影する。ここで、レーザ装置3Bは動作していない。
ステップS53に於いて、撮影制御部41は、マーカをオンする。マーカのオンとは、レーザ装置3Bが撮影領域6にレーザビーム51B,52Bを照射することである。
ステップS54に於いて、撮影制御部41は、t時間だけ待つ。
ステップS55に於いて、撮影制御部41は、カメラ2B−1〜2B−3によってマーカ付与画像群を撮影する。このタイミングでは、レーザ装置3B−1,3B−2が動作している。
ステップS56に於いて、撮影制御部41は、マーカ画像処理を行う。マーカ画像処理は、後記する図14(b)にて詳細に説明する。
ステップS57に於いて、撮影制御部41は、マーカをオフする。マーカのオフとは、レーザ装置3Bが、レーザ光の照射動作を停止することである。
ステップS58に於いて、撮影制御部41は、t時間だけ待つ。
ステップS59に於いて、撮影制御部41は、カメラ2B−1〜2B−3によって第2マーカ無し画像群を撮影する。ここで、レーザ装置3Bは動作していない。
ステップS60に於いて、撮影制御部41は、マーカ無し画像処理部43Bにより、マーカ無し画像処理を行う。マーカ無し画像処理は、後記する図14(c)にて詳細に説明する。
ステップS61に於いて、撮影制御部41は、次の撮影を行うか否かを判断する。撮影制御部41は、当該判断条件が成立したならば(Yes)、ステップS51の処理に戻り、当該判断条件が成立しなかったならば(No)、図14(a)の処理を終了する。
図14(b)は、ステップS56のマーカ画像処理の詳細を示すフローチャートである。
撮影制御部41が、マーカ画像処理部42Bを呼び出すことにより、マーカ画像処理が開始する。
ステップS70に於いて、マーカ画像処理部42Bは、マーカ付与画像群からマーカパターンを抽出し、マーカ抽出画像群を生成する。
ステップS71に於いて、マーカ画像処理部42Bは、マーカ抽出画像群のマーカパターンからカメラ画像間の位置合わせの補正パラメータを算出し、図14(b)に示すマーカ画像処理を終了する。
図14(c)は、ステップS60のマーカ無し画像処理の詳細を示すフローチャートである。
ステップS72に於いて、マーカ無し画像処理部43Bは、第1マーカ無し画像群と第2マーカ無し画像群とから、それぞれベクトル合成したマーカ無し合成画像を生成する。以下、2つの類似する画像からベクトル合成することを、2つの画像を内挿すると記載している場合がある。
ステップS73に於いて、マーカ無し画像処理部43Bは、各マーカ無し合成画像に補正パラメータを適用して1枚の画像に繋ぎ合わせ、マーカ無し合成画像77を生成する。ステップS72の処理が終了すると、マーカ無し画像処理部43Bは、図14(c)に示すマーカ無し画像処理を終了する。
第4の実施形態のマルチカメラ撮影装置1Bは、最初に第1マーカ無し画像群の撮影を行い、2回目にマーカ付与画像群の撮影を行い、3回目に第2マーカ無し画像群の撮影を行っている。しかし、これに限られず、マルチカメラ撮影装置1Bは、最初に第1マーカ付与画像群の撮影を行い、2回目にマーカ無し画像の撮影を行い、3回目に第2マーカ付与画像群の撮影を行ってもよい。第1マーカ付与画像分と第2マーカ付与画像群を撮影しているので、撮影対象物の表面の凹凸でマーカが隠される場合が少なくなる。よって、正確な補正パラメータを算出して、マーカ無し画像群を誤りなく繋ぎ合わせることができる。
第4の実施形態のレーザ装置3Bに代わって、後記する第5の実施形態の付着液滴マーカ3Dを使う場合には、最初にマーカ無し画像群を撮影し、次のt時間後と更に次のt時間後に液滴マーカを付着したマーカ付与画像群を撮影し、これらマーカ付与画像群から、最初の撮影時刻に於ける補正パラメータを外挿してもよい。
(第4の実施形態の効果)
以上説明した第4の実施形態では、次の(G)のような効果がある。
(G) マルチカメラ撮影装置1Bは、マーカ無し画像を複数撮影して合成しているので、マーカ付与タイミングに於ける画像を取得して、これらを繋ぎ合わせた合成画像を生成できる。
(第5の実施形態)
第1〜第4の実施形態のように、レーザビームを画像の繋ぎ合わせの基準に用いる方法では、カメラが移動しながら撮影した異なる時間の画像は、共通するマーカが無く、これらを繋ぎ合わせることはできなかった。本実施形態では、移動方向での亀裂状態などを複数回撮影して合成画像を生成する撮影装置の構成と、その処理とを説明する。
図15は、第5の実施形態に於けるマルチカメラ撮影装置1Dの外観と動作を示す図である。
マルチカメラ撮影装置1Dは、カメラ2D(撮影手段)と、付着液滴マーカ3D(マーカ付与手段)とを備えている。マルチカメラ撮影装置1Dは、図示しない橋梁点検車8(図1(a)参照)などに支持されて、図15の右側方向に微速で移動している。
カメラ2Dは、撮影領域6Dを撮影するものである。付着液滴マーカ3Dは、2つのノズル32a,32bを介して、撮影領域6Dの前半部分に、2点の液滴マーカ51D,52D(付着性マーカ)を付着させるものである。撮影領域6Dの前半部分は、次回の撮影領域6Dと重なり合う共通撮影領域61Dである。
図16は、第5の実施形態に於けるマルチカメラ撮影装置1Dを示す概略の構成図である。
マルチカメラ撮影装置1Dは、カメラ2Dと、付着液滴マーカ3D(マーカ付与手段)と、これらに接続された制御ユニット4Dとを備えている。
カメラ2Dは、コンクリート橋9の底面92を撮影するため、上方向を撮影するものである。カメラ2Dは、例えば可視光画像を撮影することができる。
付着液滴マーカ3Dは、マーカ吐出部31と、2個のノズル32a,32bとを備えている。付着液滴マーカ3Dは、マーカ吐出部31からノズル32a,32bを介してマーカ液を噴出し、撮影領域6Dの移動方向の前半部分に、2個の付着性マーカである液滴マーカ51D,52Dを付着させる。
制御ユニット4Dは、撮影制御部41(制御手段)と、マーカ画像処理部42D(補正パラメータ算出手段)と、画像合成処理部43D(画像合成手段)と、記憶部44とを備えている。
撮影制御部41(制御手段)は、カメラ2Dと、付着液滴マーカ3Dとを制御して、撮影領域6Dの移動方向の前半部分に液滴マーカ51D,52Dが付与されていないマーカ無し画像と、撮影領域6Dの移動方向の前半部分に液滴マーカ51D,52Dが付与されているマーカ付与画像とを撮影する。これら撮影制御部41が取得した各画像は、記憶部44に格納される。
マーカ画像処理部42D(補正パラメータ算出手段)は、撮影制御部41が取得した画像群に付与された各マーカに基づいて、移動前の撮影領域6Dと移動後の撮影領域6Dとの間の傾き、サイズ、および、位置合わせの情報である補正パラメータを算出する。
画像合成処理部43D(画像合成手段)は、補正パラメータに基づき、液滴マーカ51D,52Dが付与されていないマーカ無し合成画像を生成する。
記憶部44は、例えばフラッシュメモリやHDDなどであり、画像などに代表されるデジタルデータを格納するものである。
図17は、第5の実施形態に於けるマルチカメラ撮影処理の説明を示す図である。
図17(a)は、最初に撮影した画像71D−1を示す図である。
画像71D−1は、付着液滴マーカ3Dを動作させる前に、カメラ2Dによって撮影した画像である。
図17(b−1)は、画像72D−1と画像71D−2とを示す図である。
画像72D−1は、画像71D−1を撮影した場所に於いて、液滴マーカ51D−1,52D−1を付着させてカメラ2Dで撮影したものである。
画像71D−2は、マルチカメラ撮影装置1Dの移動により、液滴マーカ51D−1,52D−1が移動方向の後半部分に移動した際に、カメラ2Dによって撮影したものである。
図17(b−2)は、画像72D−1と画像71D−2との繋ぎ合わせを示す図である。
画像72D−1と画像71D−2には、同一の液滴マーカ51D−1,52D−1が撮影されているので、これらマーカに基づいて繋ぎ合わせて、マーカ補正画像76D−1を得て、補正パラメータを算出することができる。
図17(b−3)は、画像71D−1と画像71D−2とを合成した画像を示す図である。
画像71D−2と画像71D−1とを、補正パラメータに基づいて繋ぎ合わせることにより、マーカ無し合成画像77D−1を生成することができる。
図17(c−1)は、画像72D−2と画像71D−3とを示す図である。
画像72D−2は、画像71D−2を撮影した場所に於いて、液滴マーカ51D−2,52D−2を付着させてカメラ2Dで撮影したものである。
画像71D−3は、マルチカメラ撮影装置1Dの移動により液滴マーカ51D−2,52D−2が移動方向の後半部分に移動した際に、カメラ2Dによって撮影したものである。
図17(c−2)は、画像72D−2と画像71D−3との繋ぎ合わせを示す図である。
画像72D−2と画像71D−3には、同一の液滴マーカ51D−2,52D−2が撮影されているので、これらマーカに基づいて繋ぎ合わせて、マーカ補正画像76D−2を得て、補正パラメータを算出することができる。
図17(c−3)は、画像71D−1〜71D−3を合成した画像を示す図である。
画像71D−1〜71D−3とを、それぞれの補正パラメータに基づいて繋ぎ合わせることにより、マーカ無し合成画像77D−2を生成することができる。
図18(a)〜(h)は、第5の実施形態に於けるタイムチャートである。図の横軸は、共通する時刻を示している。以下、適宜図15〜図17を参照しつつ説明する。
図18(a)は、マルチカメラ撮影装置1Dの移動の有無を示す図である。
図18(b)は、カメラ撮影トリガを示す図である。
図18(c)は、マーク付与トリガを示す図である。
図18(d)は、撮影時間を示す図である。この撮影時間には、カメラ2Dの処理時間を含んでいる。
図18(e)は、撮影領域6の移動方向の前半部に於ける液滴マーカの有無を示す図である。
図18(f)は、撮影領域6の移動方向の後半部に於ける液滴マーカの有無を示す図である。
図18(g)は、マーカ画像処理Bを示す図である。太い破線は、画像合成時間を示している。細い破線は、カメラ2Dの処理タイミングを示している。
図18(h)は、マーカ画像処理Aを示す図である。太い破線は、画像合成時間を示している。細い破線は、カメラ2Dの処理タイミングを示している。実線は、マーカ画像処理部42Dの処理時間を示している。
本実施形態のマルチカメラ撮影装置1Dは、時刻t1Dに於いて停止しており、撮影が終了すると、次の撮影が開始するまでの間に奥行方向に、撮影領域6Dの半分だけ移動する。
時刻t1Dに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。カメラ2Dは、底面92の撮影を行う。これにより、最初の撮影期間P1D−1が開始する。
時刻t2Dに於いて、各カメラ2Dは、画像処理を終了して、画像71D−1を出力する。撮影制御部41は、画像71D−1を取得する。
時刻t3Dに於いて、撮影制御部41は、マーク付与トリガを発生させ、付着液滴マーカ3Dを動作させる。付着液滴マーカ3Dは、コンクリート橋9の底面92に、マーカ液を吐出して、2個の液滴マーカ51D,52Dを付着させる。
時刻t4Dに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。カメラ2Dは、液滴マーカ51D,52Dが付着している底面92の撮影を行う。
時刻t5Dに於いて、カメラ2Dは、画像処理を終了して、画像72D−1を出力する。撮影制御部41は、画像72D−1を取得する。これにより、最初の撮影期間P1D−1が終了する。カメラ2Dは、2回目の撮影期間までの間であるT時間に亘り、微速で移動する。これにより、2個の液滴マーカ51D,52Dは、撮影領域6の前半部から後半部に移動する。
時刻t6Dに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。カメラ2Dは、底面92の撮影を行う。これにより、2回目の撮影期間P1D−2が開始する。
時刻t7Dに於いて、各カメラ2Dは、画像処理を終了して、画像71D−2を出力する。撮影制御部41は、画像71D−2を取得してマーカ画像処理Bを開始し、画像72D−1と画像71D−2とを繋ぎ合わせる。これにより、2回目の画像処理期間P2D−2が開始する。なお、マーカ画像処理Bが終了すると、撮影制御部41は、マーカ画像処理Aを開始する。
時刻t8Dに於いて、撮影制御部41は、マーク付与トリガを発生させ、付着液滴マーカ3Dを動作させる。付着液滴マーカ3Dは、コンクリート橋9の底面92に、マーカ液を吐出して、2個の液滴マーカ51D,52Dを付着させる。
時刻t9Dに於いて、撮影制御部41は、カメラ撮影トリガを発生させる。カメラ2Dは、液滴マーカ51D,52Dが付着している底面92の撮影を行う。
時刻t10Dに於いて、カメラ2Dは、画像処理を終了して、画像72D−2を出力する。撮影制御部41は、画像72D−2を取得する。これにより、2回目の撮影期間P1D−2が終了する。カメラ2Dは、3回目の撮影期間P1D−3までの間、微速で移動する。
時刻t11Dに於いて、撮影制御部41は、マーカ画像処理Aを終了し、繋ぎ合わせたマーカ無し合成画像77D−1を出力する。これにより、2回目の画像処理期間P2D−2が終了する。
以下同様に、時刻t6D〜時刻t11Dの処理を行うと共に、次の撮影期間までのT時間に亘って微速で移動することにより、進行方向に繋ぎ合わせた合成画像を得ることができる。
図19は、第5の実施形態に於ける撮影処理を示すフローチャートである。
図19(a)は、マルチカメラ撮影処理の全体を示すフローチャートである。
マルチカメラ撮影装置1Dは、撮影を開始すると、図19(a)の処理を開始する。
ステップS80に於いて、撮影制御部41は、撮影処理の初期化と、画像処理の初期化とを行う。
ステップS81に於いて、マルチカメラ撮影装置1Bを支持している橋梁点検車8(図1参照)は、所定位置に移動した後に停止する。
ステップS82に於いて、撮影制御部41は、カメラ2Dによって初回の画像Aを撮影する。ここで画像Aとは、少なくとも移動方向の前半部にマーカが付与されていない画像をいう。
ステップS83に於いて、撮影制御部41は、マーカ吐出部31により、マーカを付与する。マーカの付与とは、付着液滴マーカ3Dが撮影領域6にマーカ液を吐出し、2個の液滴マーカ51D,52Dを付着させることである。
ステップS84に於いて、撮影制御部41は、カメラ2Dによって、初回のマーカ付与画像Bを撮影する。ここでマーカ付与画像Bとは、移動方向の前半部にマーカが付与されている画像をいう。
ステップS85に於いて、マルチカメラ撮影装置1Bを支持している橋梁点検車8(図1参照)は、T時間だけ移動した後に停止する。
ステップS86に於いて、撮影制御部41は、カメラ2Dによって今回の画像Aを撮影する。
ステップS87に於いて、撮影制御部41は、第2回目の処理であるか否かを判断する。撮影制御部41は、当該判断条件が成立したならば(Yes)、ステップS88の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS89の処理を行う。
ステップS88に於いて、撮影制御部41は、マーカ画像処理部42Dと画像合成処理部43Dとにより、図19(b)に示す第1処理を行った後、ステップS90の処理を行う。
ステップS89に於いて、撮影制御部41は、マーカ画像処理部42Dと画像合成処理部43Dとにより、図19(c)に示す第2処理を行う。
ステップS90に於いて、撮影制御部41は、カメラ2Dによって今回のマーカ付着画像Bを撮影する。
ステップS91に於いて、撮影制御部41は、次の撮影を行うか否かを判断する。撮影制御部41は、当該判断条件が成立したならば(Yes)、ステップS85の処理に戻り、当該判断条件が成立しなかったならば(No)、図19(a)の処理を終了する。
図19(b)は、ステップS88の第1処理の詳細を示すフローチャートである。
撮影制御部41が、マーカ画像処理部42Dと画像合成処理部43Dとを呼び出すことにより、第1処理が開始する。
ステップS100に於いて、マーカ画像処理部42Dは、前回のマーカ付着画像Bと今回の画像Aとから、マーカパターンを抽出し、マーカ抽出画像群を生成する。
ステップS101に於いて、マーカ画像処理部42Dは、マーカパターンからカメラ画像間の位置合わせの補正パラメータを算出する。
ステップS102に於いて、画像合成処理部43Dは、補正パラメータを適用して、前回の画像Aに今回の画像Aの前半部を繋ぎ合わせ、マーカが無い合成画像を生成する。ステップS102の処理が終了すると、画像合成処理部43Dは、図19(b)に示す第1処理を終了する。
図19(c)は、ステップS89の第2処理の詳細を示すフローチャートである。
撮影制御部41が、マーカ画像処理部42Dと画像合成処理部43Dを呼び出すことにより、第2処理が開始する。
ステップS103に於いて、マーカ画像処理部42Dは、前回のマーカ付着画像Bと今回の画像Aとから、マーカパターンを抽出し、マーカ抽出画像群を生成する。
ステップS104に於いて、マーカ画像処理部42Dは、マーカ抽出画像群のマーカパターンからカメラ画像間の位置合わせの補正パラメータを算出する。
ステップS105に於いて、画像合成処理部43Dは、補正パラメータを適用して、前回の画像Aの前半部に今回の画像Aの前半部を繋ぎ合わせ、マーカが付与されていない合成画像を生成する。ステップS105の処理が終了すると、画像合成処理部43Dは、図19(c)に示す第2処理を終了する。
第5実施形態の液滴マーカ51D,52Dは、短期であれ、長期であれ、撮影対象物に付着してマーキングを行う物質である。更に、マーカは、液滴でなく、例えば粘着性を有する固形物などであってもよい。
マーカが揮発性の液滴や昇華性の固体ならば撮影後間もなく消滅し、次回の点検の障碍とはならない。マーカが不揮発性の液体や非昇華性の固形物であれば、長期に亘り残存し、次回の点検の障碍となる虞がある。よって、マルチカメラ撮影装置1Dは、その点検周期で消滅する物質や、撮影対象物から脱落するような物質をマーカとしてもよい。例えば橋梁点検は5年周期で行われるため、5年を目途に消滅したり、撮影対象物から脱落するような物質であればよい。
(第5の実施形態の効果)
以上説明した第5の実施形態では、次の(H),(I)のような効果がある。
(H) マルチカメラ撮影装置1Dは、撮影対象物である底面92に、液滴マーカ51D,52Dを付着させている。これにより、マルチカメラ撮影装置1Dは、移動ごとに複数の画像を撮影して、液滴マーカ51D,52Dに基づいて、隣接する撮影画像間の補正パラメータを算出することができる。
(I) マルチカメラ撮影装置1Dは、液滴マーカ51D,52Dを付着させる前後で、同一撮影領域の画像を撮影している。これにより、マルチカメラ撮影装置1Dは、隣接する撮影画像間の補正パラメータに基づき、隣接する撮影画像のうち、マーカが付与されていない部分からなる合成画像を生成することができる。
(マーカパターンの識別条件)
ここでは、撮影画像からマーカパターンを識別する条件を説明する。ここでマーカパターンは、レーザマーカ、液滴マーカ、固体状マーカのいずれであってもよい。
マーカパターンの条件のひとつは、形状である。ここで形状とは、例えば、点、線(直線または曲線)、丸や、四角形、ひし形、三角形、鳥形などの多角形の大きさや向きが異なるものなどのことをいう。このマーカパターンの識別は、撮影画像に於けるマーカの形状が、予め定められた形状と一致するか否かを判断することによって行われる。
マーカパターンの条件のひとつは、位置である。ここで位置とは、例えば、特定個数からなるマーカパターンの端からの順番をいう。このマーカパターンの識別は、当該マーカパターンの端からの順番を判断することによって行われる。
マーカパターンの条件のひとつは、複数の点または線や任意の形状である。このマーカパターンの識別は、少なくとも2個以上のパターンの撮影画像方向の並び、または、3個以上のパターンの任意方向の並びに於いて、並び個数を限定する配置や方向や間隔や大きさ(線の長さを含む)を判断することによって行われる。
マーカパターンの条件のひとつは、色または光の種別である。ここで光の種別とは、例えば、可視光、赤外線、紫外線などの種別をいう。このマーカパターンの識別は、当該マーカパターンの色や光の種別を識別することや、予め定められた色や光の種別のみを撮影するカメラによって行われる。
マーカパターンは、これらの条件を組合せたものであってもよい。これらマーカパターンの識別条件を、以下の表1に示す。
Figure 0006091923
(画像調整要素とマーカパターン)
ここでは、各画像調整要素と、その画像調整要素を実現するためのマーカパターンの条件と、その画像調整処理について説明する。
画像調整要素が画像の回転または傾きである場合、共通領域に於けるマーカパターンの条件は、2つ以上のスポット、または、1本以上の特定可能な線である。2つ以上のスポットとは、2つの点または、所定形状内の特定可能な2点をいう。
マーカパターンの条件が2つ以上のスポットならば、画像調整処理は、隣接する両画像に共通する2つのスポットの方向が一致するように、これら両画像の傾きを合わせることで行われる。
マーカパターンの条件が1本以上の特定可能な線ならば、画像調整処理は、隣接する両画像に共通する1本の線の方向が一致するように、これら両画像の傾きを合わせることで行われる。
画像調整要素が画像の倍率または寸法である場合、共通領域に於けるマーカパターンの条件は、2つ以上のスポット、または、1以上の長さが特定可能な形状である。2つ以上のスポットとは、2つの点または、所定形状内の特定可能な2点をいう。1以上の長さが特定可能な形状とは、両端長が分かる線が含まれる任意形状をいう。
マーカパターンの条件が、2つ以上のスポットならば、隣接する両画像に共通する2つのスポットの間隔が一致するように、これら両画像の倍率を調整する。
マーカパターンの条件が、1以上の長さが特定可能な形状ならば、隣接する両画像に共通するマーカの特定した長さが一致するように、これら両画像の倍率を調整する。
画像調整要素が縦位置または上下位置である場合、共通領域に於けるマーカパターンの条件は、1つ以上のスポットまたは線である。画像調整処理は、特定したマーカパターンの縦位置が一致するように、両画像の縦位置を調整することで行われる。
画像調整要素が横位置または左右位置である場合、共通領域に於けるマーカパターンの条件は、1つ以上のスポットまたは線である。画像調整処理は、特定したマーカパターンの横位置が一致するように、両画像の横位置を調整することで行われる。これら画像調整要素とマーカパターンの条件と画像調整処理を、以下の表2に示す。
なお、マーカは、撮影対象物の凹凸などによって隠されることもある。よって、前記した必要数を超えた数のマーカが隣接する両画像の共通領域に含まれるように、当該マーカパターンを設定することが望ましい。
Figure 0006091923
(第6の実施形態)
図1に示す第1〜第4の実施形態に於けるマルチカメラ撮影装置1は、各カメラ2やレーザ装置3の取り付け角度や位置の誤差、移動時の揺れなどによって、各撮影領域6が相対的に変動する。共通撮影領域61をレーザビーム(スポット)で確実に照射するためには、各撮影領域6の重ね合わせ部分を広くする必要があり、結果としてカメラ2の台数を増やさなければならなかった。
多数のスポットビームを散りばめる方法や、多数のラインビームを散りばめる方法でも、共通撮影領域61を確実に照射することができる。しかし、単純なスポットビームやラインビームでは、個々のマーカの識別ができない。そのため、前記した表2に示す回転、倍率、縦位置、横位置などを画像調整要素に適用することはできない。
本実施形態のレーザビームは、1本のラインビームと複数のスポットビームとを非対称に組み合わせることにより、個々のマーカを識別可能とするものである。
図20は、第6の実施形態に於けるマルチカメラ撮影装置1Eを示す図である。
第6の実施形態のマルチカメラ撮影装置1Eは、少なくとも3台のカメラであるカメラ2E−1〜2E−3と、レーザ装置3E−1,3E−2と、制御ユニット4Bとを備えている。以下、各カメラ2E−1〜2E−3を特に区別しないときには、単にカメラ2Eと記載する。レーザ装置3E−1,3E−2を特に区別しないときには、単にレーザ装置3Eと記載する。
各カメラ2E−1〜2E−3は、撮影対象物(例えば、図1の底面92)までの距離を測定する図示しない距離測定センサと、図示しないズーム機構とを備えている。レーザ装置3E−1は、カメラ2E−1と一体化されて設置されている。カメラ2E−2には、同様なレーザ装置3E−2が一体化されて設置されている。このようにすることで、各カメラ2Eと各レーザ装置3Eの設定や位置合わせの工数を削減することができる。
カメラ2Eは、距離測定センサによって撮影対象物までの距離を測定し、ズーム機構を制御して、常に撮影対象物の同一範囲(同一面積)を撮影する。これにより、撮影対象物までの距離によらず、常に同じ解像度で、撮影対象物の表面を撮影することができる。
最小対象物距離d1は、マルチカメラ撮影装置1Eが、撮影対象物を撮影可能な最小距離である。最大対象物距離d3は、マルチカメラ撮影装置1Eが、撮影対象物を撮影可能な最大距離である。
最小対象物距離d1に於ける撮影領域6E−11〜6E−13は、各カメラ2E−1〜2E−3によって撮影される。隣接する撮影領域6E−11,6E−12は、重なり合って共通撮影領域61E−11を構成している。レーザマーカ5E−1は、1本の直線および8個のスポットで構成され、共通撮影領域61E−11に照射されている。レーザマーカ5E−1の8個のスポットは、1本の直線と等距離に配置され、かつ、右端のスポット間隔が次第に広がるように配置されている。レーザマーカ5E−1の右端は、撮影領域6E−11の右端と一致するように設定されている。
各レーザ装置3Eは、共通撮影領域61E−11に少なくとも2つのスポットを照射すると共に、共通撮影領域61E−11以外の撮影領域6E−11,6E−12にも少なくとも1つ以上のスポットを照射する。共通撮影領域61E−11に照射された2つのスポットにより、隣接する撮影領域6E−11,6E−12の縦位置、横位置、回転、倍率を調整できる。撮影領域6E−11,6E−12に照射された1つ以上のスポットにより、レーザマーカ5E−1の照射位置がずれた場合に備えることができる。
距離d2に於ける撮影領域6E−21〜6E−23は、各カメラ2E−1〜2E−3によって撮影される。隣接する撮影領域6E−21,6E−22は、重なり合って共通撮影領域61E−21を構成している。レーザマーカ5E−2は、1本の直線および8個のスポットで構成され、共通撮影領域61E−21に照射されている。
最大対象物距離d3に於ける撮影領域6E−31〜6E−33は、各カメラ2E−1〜2E−3によって撮影される。隣接する撮影領域6E−31,6E−32は、重なり合って共通撮影領域61E−31を構成している。レーザマーカ5E−3は、1本の直線および8個のスポットで構成され、共通撮影領域61E−31に照射されている。レーザマーカ5E−3の右端は、撮影領域6E−33には撮影されないように設定されている。レーザマーカ5E−3が隣の共通撮影領域61E−32には掛からないので、マルチカメラ撮影装置1Eは、撮影した画像群から、1枚の高解像度画像を合成することができる。
以下、各レーザマーカ5E−1〜5E−3を特に区別しないときには、単にレーザマーカ5Eと記載する。共通撮影領域61E−11,61E−21,61E−31を特に区別しないときには、単に共通撮影領域61Eと記載する。
レーザ装置3Eは、所定角度でレーザ光を照射する。レーザ装置3Eから撮影対象物までの距離が変わると、照射しているマーカ位置とカメラ2Eの共通撮影領域61Eとの関係がずれて、隣接する共通撮影領域61Eのマーカと干渉する虞があった。本実施形態は、これらの課題を解決するものである。
図21(a)〜(e)は、第6の実施形態に於ける画像調整処理の説明を示す図である。
図21(a)は、画像調整処理を示すフローチャートである。
マーカ画像処理部42B(図8参照)は、マーカ付与画像群を撮影すると、画像調整処理を開始する。
ステップS110に於いて、マーカ画像処理部42B(図8参照)は、マーカ付与画像群からマーカパターンを抽出し、マーカ抽出画像73−1,73−2を生成する。
ステップS111に於いて、マーカ画像処理部42B(図8参照)は、マーカ抽出画像73−1,73−2のマーカパターンから回転、倍率、および縦位置を繋ぎ合わせるようにして、その補正パラメータを算出する。
ステップS112に於いて、マーカ画像処理部42B(図8参照)は、マーカ抽出画像73−1,73−2のマーカパターンから横位置を繋ぎ合わせるようにして、その補正パラメータを算出し、図21の処理を終了する。
図21(b)は、撮影領域6E−21,6E−22とレーザマーカ5E−2を示す図である。共通撮影領域61E−21には、レーザマーカ5E−2が照射されている。撮影領域6E−22は、破線で示した本来の撮影領域62と比べてやや小さく、左側に傾き、かつ、上方向にずれて撮影されている。
図21(c)は、ステップS110で生成されたマーカ抽出画像73−1,73−2を示す図である。マーカ抽出画像73−1,73−2には、それぞれレーザマーカ5Eが付与されている。
図21(d)は、ステップS111に於ける処理を示すものであり、最初に撮影したマーカ抽出画像73−1,73−2のマーカパターンであるレーザマーカ5Eに基づいて、回転、倍率、および縦位置を繋ぎ合わせたものである。
図21(e)は、ステップS112に於ける処理を示すものであり、ステップS111で繋ぎ合わせた両画像について、レーザマーカ5Eに基づいて、横位置を更に繋ぎ合わせたものである。
本実施形態では、撮影手段であるカメラ2Eとマーカ付与手段であるレーザ装置3Eとを一体化した場合について示している。しかし、これに限られず、撮影手段とマーカ付与手段とが一体化されていなくてもよい。
(第6の実施形態の効果)
以上説明した第6の実施形態では、次の(J)〜(M)のような効果がある。
(J) カメラ2Eとレーザ装置3Eとは一体化されて設置されている。このようにすることで、各カメラ2Eと各レーザ装置3Eの設定や位置合わせの工数を削減することができる。
(K) レーザマーカ5Eは、1本の直線と8個のスポットとによって構成されている。これにより、隣接する両画像に於けるパターンの位置関係が特定できるので、隣接する両画像の回転、倍率、縦位置、横位置を適切に調整することができる。
(L) レーザマーカ5Eの8個のスポットは、水平な1本の直線から等距離にそれぞれ配置されている。これにより、いずれかのスポットが対象物の凹凸で隠されても、他のスポットに基づいて、隣接する両画像の倍率や横位置を調整することができる。
(M) レーザマーカ5Eの8個のスポットは、右側の照射角が広く、左側の照射角が狭い。撮影対象物との距離が近い場合には、右側の広い照射角のスポットが共通撮影領域61Eに照射される。撮影対象物との距離が遠い場合には、左側の狭い照射角のスポットが共通撮影領域61Eに照射される。このとき、撮影対象物との距離に応じて、共通撮影領域61E上では所定の間隔に広がって照射される。すなわち、共通撮影領域61Eに於けるスポット間隔は、撮影対象物との距離によらず所定値であり、当該スポット間隔に基づく撮影画像の倍率調整を、適切に行うことができる。
(第7の実施形態)
図22は、第7の実施形態に於けるマルチカメラ撮影装置1Fを示す図である。図20に示す第6の実施形態のマルチカメラ撮影装置1Eと同様の要素には同一の符号を付与している。
第7の実施形態のマルチカメラ撮影装置1Fは、第6の実施形態とは異なるレーザ装置3F−1,3F−2を備えている。以下、各レーザ装置3F−1,3F−2を特に区別しないときには、単にレーザ装置3Fと記載する。
レーザ装置3F−1は、第6の実施形態のレーザマーカ5Eを傾斜角度γだけ傾斜させたレーザマーカ5F−1を、隣接する撮影領域6E−11,6E−12が重なり合う共通撮影領域61E−11に照射している。レーザ装置3F−1は、レーザマーカ5F−2を、隣接する撮影領域6E−21,6E−22が重なり合う共通撮影領域61E−21に照射している。レーザ装置3F−1は、レーザマーカ5F−3を、隣接する撮影領域6E−31,6E−32が重なり合う共通撮影領域61E−31に照射している。
レーザ装置3F−1は、照射角度αから照射角度δの範囲でレーザ光を照射する。
レーザマーカ5F−1の右端は、撮影領域6E−11の右端と一致するように設定されている。このときレーザ装置3F−1は、レーザ光を照射角度δで照射している。
レーザマーカ5F−1の左端は、共通撮影領域61E−31の左端と一致するように設定されている。このときレーザ装置3F−1は、レーザ光を照射角度αで照射している。
図23は、第7の実施形態に於けるマーカパターン設定処理を示すフローチャートである。
マーカパターン設定処理は、例えば、コンピュータ上で、当該処理用のソフトウェアプログラムを動作させることによって開始する。
ステップS120に於いて、マルチカメラ撮影装置1Fのユーザは、最小対象物距離d1と最大対象物距離d3とを入力する。
ステップS121に於いて、マルチカメラ撮影装置1Fのユーザは、共通領域幅を入力する。ここで共通領域幅とは、共通撮影領域61E−11〜61E−31の幅のことをいう。
ステップS122に於いて、コンピュータは、最大対象物距離d3に於いて、共通領域の左端にレーザ光の照射角度αを算出する。
ステップS123に於いて、コンピュータは、最小対象物距離d1に於いて、隣りの共通領域の右端にレーザ光の照射角度βを算出する。
ステップS124に於いて、コンピュータは、最大対象物距離d3に於いて、隣りの共通領域の左端にレーザ光が掛からないよう、レーザマーカ5Fの傾斜角度γを算出する。
ステップS125に於いて、コンピュータは、レーザマーカ5Fの傾斜角度γを出力する。
ステップS126に於いて、コンピュータは、照射角度βや傾斜角度γを考慮して、最大対象物距離d3に於いてレーザマーカ5Fが隣の共通領域に掛からない最大値となるように、レーザマーカ5Fの右端の照射角度δを算出する。
ステップS127に於いて、コンピュータは、レーザマーカ5Fの照射角度αと照射角度δとを出力し、図23のマーカパターン設定処理を終了する。
これら傾斜角度γと照射角度αと照射角度δとに基づいて各レーザ装置3Fの取り付け位置や取り付け角度を調整することにより、最も適切なレーザマーカ5Fを照射することができる。
(第7の実施形態の効果)
以上説明した第7の実施形態では、次の(N),(O)のような効果がある。
(N) レーザマーカ5Fは、傾斜したマーカパターンである。これにより、水平のマーカパターンと比べて、2つのスポットの間隔を広くすることができるので、画像の倍率調整を更に正確に行うことができる。
(O) レーザマーカ5Fは、撮影領域6Eに対して傾斜している。これにより、照射角度αと照射角度δとを誤って広く設定した場合であっても、レーザマーカ5Fの右端は、隣の共通撮影領域61Eにレーザ光が照射されなくなり、誤ってマーカが検出されることを防ぐことができる。
(変形例)
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、SSD(Solid State Drive)などの記録装置、または、フラッシュメモリカード、DVD(Digital Versatile Disk)などの記録媒体に置くことができる。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の(a)〜(i)のようなものがある。
(a) 第1〜第4の実施形態のマルチカメラ撮影装置は、2台のマーカ付与手段と、3台の撮影手段とを備え、3枚の撮影画像を合成するものである。しかし、これに限られず、マルチカメラ撮影装置は、1または複数のマーカ付与手段と、複数の撮影手段とを備え、複数の撮影画像を合成するものであってもよい。
(b) 第1、第2の実施形態のマルチカメラ撮影装置は、非可視光(赤外線や紫外線)のマーカ付与手段と、非可視光と可視光との両方に対応した撮影手段とを備え、可視光の合成画像を生成する。しかし、これに限られず、マルチカメラ撮影装置は、可視光(第2波長の光)のマーカ付与手段と、非可視光(第1波長の光)と可視光(第2波長の光)の両方に対応した撮影手段とを備え、非可視光(第1波長の光)による合成画像を生成してもよい。
(c) 第1、第2の実施形態のマルチカメラ撮影装置は、第2波長の光である非可視光(赤外線や紫外線)のマーカ付与手段と、非可視光(第2波長の光)と可視光(第1波長の光)との両方に対応した撮影手段とを備え、可視光(第1波長の光)の合成画像を生成する。しかし、これに限られず、マルチカメラ撮影装置は、特定波長の可視光(第2波長の光)のマーカ付与手段と、前記特定波長の可視光(第2波長の光)と前記特定波長以外の可視光(第1波長の光)の両方に対応した撮影手段とを備え、前記特定波長以外の可視光(第1波長の光)による合成画像を生成してもよい。更にマルチカメラ撮影装置は、特定波長の非可視光(第2波長の光)のマーカ付与手段と、前記特定波長の非可視光(第2波長の光)と前記特定波長以外の非可視光(第1波長の光)の両方に対応した撮影手段とを備え、前記特定波長以外の非可視光(第1波長の光)による合成画像を生成してもよい。
(d) 第3、第4の実施形態のマルチカメラ撮影装置1Bは、マーカ付与手段が可視光のレーザ装置3Bであり、撮影装置が可視光のカメラ2である。しかし、これに限られず、マルチカメラ撮影装置は、赤外線のレーザ装置と赤外線の撮影装置との組合せ、紫外光のレーザ装置と紫外線のレーザ装置との組合せ、第5の実施形態の付着液滴マーカと、その撮影装置との組合せ、遠赤外線のレーザ装置と近赤外線の撮影装置との組合せ、近赤外線のレーザ装置と遠赤外線の撮影装置との組合せ、遠紫外線のレーザ装置と近紫外線の撮影装置との組合せ、近紫外線のレーザ装置と遠紫外線の撮影装置との組合せのうち、いずれであってもよい。
(e) 第3の実施形態のマルチカメラ撮影装置1Bおよび第5の実施形態のマルチカメラ装置1Dは、撮影と移動とを周期的に繰り返し行っている。しかし、これに限られず、マルチカメラ撮影装置1Bは、常に微速移動し、長期間に亘る移動後に、短期間にマーカ無し画像の撮影とマーカ付与画像の撮影とを行い、これらを停止時の撮影と見做して合成画像を生成してもよい。これにより、マルチカメラ撮影装置を常に移動させることができる。
(f) 第3、第4の実施形態では、マーカ付与手段のオンとオフとの切り替えによる撮影処理の例を示している。しかし、これに限られず、各撮影領域6に於けるマーカの位置が異なるようにして、このマーカ位置を除いた画像を合成することで、マーカが写り込んでいない合成画像を生成してもよい。
(g) 第6の実施形態のマルチカメラ撮影装置1Eは、右から奇数番目のカメラ2Eと偶数番目のカメラ2Eとに、それぞれ異なる色(赤色/青色/緑色)のレーザ装置3Eや、異なる光の種類(可視光/赤外線/紫外線など)のレーザ装置3Eや、異なるパターン形状のマーカを照射するレーザ装置3Eや、異なるパターンの並び方のマーカを照射するレーザ装置3Eなどを一体化して設置してもよい。これにより、隣接する共通撮影領域61Eに、異なる色や異なる光の種類や異なるパターン形状や異なるパターンの並び方のレーザマーカ5Eが照射されるので、隣接するレーザマーカ5Eが相互に隣接する共通撮影領域61Eに対して干渉することによるマーカの誤検出を防ぐことができる。
(h) 第6の実施形態のマルチカメラ撮影装置1Eは、右から奇数番目のレーザ装置3Eを動作させてマーカ付与画像の撮影を行い、次に右から偶数番目のレーザ装置3Eを動作させて、以下、交互にマーカ付与画像の撮影を行ってもよい。これにより、隣接する共通撮影領域61Eには、それぞれ異なるタイミングでレーザマーカ5Eが照射されるので、隣接するレーザマーカ5Eが相互に隣接する共通撮影領域61Eに対して干渉することによるマーカの誤検出を防ぐことができ、共通撮影領域毎のレーザマーカ5Eが識別でききるようになる。
(i) 第6の実施形態のマルチカメラ撮影装置1Eは、レーザマーカ5Eに1本の直線と8個のスポットとにより構成されていた。しかし、これに限られず、表1に示したような識別可能なマーカを広い範囲にわたり照射して、その中で共通撮影領域61Eに表2に示した共通領域内におけるマーカパターンの条件を満たすマーカを抽出して画像調整処理を行うことによっても、回転、倍率、位置合わせの補正パラメータを得ることができる。
1,1B,1D,1E,1F マルチカメラ撮影装置
2,2A,2B,2D,2E カメラ (撮影手段)
21 レンズ光学系
22 撮像素子
23 可視光画像処理部
24 非可視光画像処理部
25 ダイクロイックプリズム
26 可視光撮像素子
27 非可視光撮像素子
3,3B,3E,3F レーザ装置 (マーカ付与手段)
3D 付着液滴マーカ (マーカ付与手段)
4,4B,4D 制御ユニット
41 撮影制御部 (撮影制御手段)
42 非可視光画像処理部 (補正パラメータ算出手段)
42B,42D マーカ画像処理部 (補正パラメータ算出手段)
43 可視光画像処理部 (画像合成手段)
43B マーカ無し画像処理部 (画像合成手段)
43D 画像合成処理部 (画像合成手段)
5E,5F レーザマーカ
51,51B,52,52B レーザビーム (マーカ)
51D,52D 液滴マーカ (付着性マーカ)
6,6D,6E 撮影領域
61,61D,61E 共通撮影領域
8 橋梁点検車
81 アーム
82 フレーム
9 コンクリート橋
91 道路
92 底面 (撮影対象物)
93 橋脚

Claims (9)

  1. 隣接して重なり合う複数の撮影領域を撮影する複数の撮影手段と、
    各前記撮影領域が重なり合う各共通撮影領域にマーカを付与する1または複数のマーカ付与手段と、
    前記撮影手段および前記マーカ付与手段を制御して、前記共通撮影領域にマーカが付与されていないマーカ無し画像群および、前記共通撮影領域にマーカが付与されたマーカ付与画像群を異なるタイミングで取得する撮影制御手段と、
    前記マーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と、
    前記補正パラメータに基づいて、前記マーカ無し画像群を合成した合成画像を生成する画像合成手段と、
    を備え、
    前記撮影制御手段は、第1のマーカ無し画像群、前記マーカ付与画像群、および、第2のマーカ無し画像群を順次取得し、
    前記画像合成手段は、前記第1のマーカ無し画像群および前記第2のマーカ無し画像群から内挿または外挿して、前記マーカ付与画像群の撮影タイミングに於けるマーカが付与されていない前記合成画像を生成する、
    ことを特徴とするマルチカメラ撮影装置。
  2. 隣接して重なり合う複数の撮影領域を撮影する複数の撮影手段と、
    各前記撮影領域が重なり合う各共通撮影領域にマーカを付与する1または複数のマーカ付与手段と、
    前記撮影手段および前記マーカ付与手段を制御して、前記共通撮影領域にマーカが付与されていないマーカ無し画像群および、前記共通撮影領域にマーカが付与されたマーカ付与画像群を異なるタイミングで取得する撮影制御手段と、
    前記マーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と、
    前記補正パラメータに基づいて、前記マーカ無し画像群を合成した合成画像を生成する画像合成手段と、
    を備え、
    前記撮影制御手段は、前記撮影領域の移動方向前部にマーカが付与されていない第1画像群を取得したならば、前記マーカ付与手段によって前記撮影領域の移動方向前部に付着性のマーカを付与して第2画像群を取得し、
    前記付着性のマーカが移動方向後部になるように前記撮影領域が移動したならば、次の第1画像群を取得し、
    前記補正パラメータ算出手段は、前記第2画像群と前記次の第1画像群によって各前記撮影領域間の傾き、サイズ、および、位置合わせの情報である前記補正パラメータを算出し、
    前記画像合成手段は、前記補正パラメータに基づいて、前記第1画像群の前記撮影領域の移動方向前部を合成した前記合成画像を生成する、
    ことを特徴とするマルチカメラ撮影装置。
  3. 前記撮影手段は、第1波長の光と第2波長の光の両方を撮影可能であり、
    前記マーカ付与手段は、前記第2波長の光のマーカを前記共通撮影領域に付与する、
    ことを特徴とする請求項1または2に記載のマルチカメラ撮影装置。
  4. 前記第1波長の光および前記第2波長の光の組み合わせは、可視光および非可視光の組合せ、非可視光および可視光の組合せ、特定波長の可視光および特定波長以外の可視光の組合せ、特定波長の非可視光および特定波長以外の非可視光の組合せのうちの1つである、
    ことを特徴とする請求項に記載のマルチカメラ撮影装置。
  5. 隣接して重なり合う複数の撮影領域を撮影する3個以上の撮影手段と、
    各前記撮影領域が重なり合う各共通撮影領域にマーカを付与する1または複数のマーカ付与手段と、
    前記撮影手段および前記マーカ付与手段を制御して、前記共通撮影領域にマーカが付与されていないマーカ無し画像群および、前記共通撮影領域にマーカが付与されたマーカ付与画像群を取得する撮影制御手段と、
    前記マーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と、
    前記補正パラメータに基づいて、前記マーカ無し画像群を合成した合成画像を生成する画像合成手段と、
    を備え、
    前記マーカ付与手段は、撮影対象物との最小距離から最大距離に亘り、前記共通撮影領域に対して所定パターンのマーカを付与し、かつ、前記撮影対象物との最大距離においても隣接する前記共通撮影領域の隣の共通撮影領域に対して前記所定パターンのマーカを付与せず、前記所定パターンのマーカは隣の共通撮影領域には掛からない、
    ことを特徴とするマルチカメラ撮影装置。
  6. 前記マーカ付与手段が前記共通撮影領域に付与する前記所定パターンのマーカとは、
    点、線、丸、または多角形の大きさや向きであるパターン形状が異なるマーカ、
    少なくとも2個以上の前記パターン形状の撮影画像方向の並びに於いて並び個数を限定する配置や方向や間隔や大きさが異なるマーカ、
    少なくとも3個以上の前記パターン形状の並びに於いて並び個数を限定する配置や方向や間隔や大きさが異なるマーカ、
    異なる色のマーカ、
    異なる光の種別のマーカ、
    または、それらの組合せのうちいずれかである、
    ことを特徴とする請求項に記載のマルチカメラ撮影装置。
  7. 隣接して重なり合う複数の撮影領域を撮影する3個以上の撮影手段と、
    各前記撮影領域が重なり合う各共通撮影領域にマーカを付与する1または複数のマーカ付与手段と、
    前記撮影手段および前記マーカ付与手段を制御して、前記共通撮影領域にマーカが付与されていないマーカ無し画像群および、前記共通撮影領域にマーカが付与されたマーカ付与画像群を取得する撮影制御手段と、
    前記マーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出する補正パラメータ算出手段と、
    前記補正パラメータに基づいて、前記マーカ無し画像群を合成した合成画像を生成する画像合成手段と、
    を備え、
    各前記マーカ付与手段は、前記共通撮影領域に対して、隣の共通撮影領域に付与するマーカの色、形状、並び方、または、付与時間のうちいずれかが異なるマーカを付与する、
    ことを特徴とするマルチカメラ撮影装置。
  8. 1または複数のマーカ付与手段によって、隣接した撮影領域が重なり合う各共通撮影領域にマーカを付与するステップと、
    複数の前記撮影領域を複数の撮影手段によって撮影し、マーカが付与された第1のマーカ付与画像群を取得するステップと、
    1または複数のマーカ付与手段をオフするステップと、
    複数の前記撮影領域を複数の前記撮影手段によって撮影し、マーカが付与さていないマーカ無し画像群を、前記第1のマーカ無し画像群とは異なるタイミングで取得するステップと、
    1または複数のマーカ付与手段によって、隣接した撮影領域が重なり合う各共通撮影領域にマーカを付与するステップと、
    複数の前記撮影領域を複数の前記撮影手段によって撮影し、マーカが付与された第2のマーカ付与画像群を、前記マーカ無し画像群とは異なるタイミングで取得するステップと、
    補正パラメータ算出手段が前記第1のマーカ付与画像群と前記第2のマーカ付与画像群によって各前記撮影領域間を繋ぎ合わせる補正パラメータを算出するステップと、
    画像合成手段が前記第1のマーカ付与画像群および前記第2のマーカ付与画像群から内挿または外挿して、前記マーカ無し画像群の撮影タイミングに於けるマーカが付与されていない合成画像を生成するステップと、
    を実行することを特徴とするマルチカメラ撮影方法。
  9. 撮影手段による撮影領域の移動方向前部にマーカが付与されていない第1画像群を取得するステップと、
    前記第1画像群の取得とは異なるタイミングで、前記撮影領域の移動方向前部に付着性のマーカを付与して第2画像群を取得するステップと、
    前記付着性のマーカが移動方向後部になるように前記撮影領域が移動したならば、次の第1画像群を取得するステップと、
    前記第2画像群と前記次の第1画像群によって各前記撮影領域間の傾き、サイズ、および、位置合わせの情報である補正パラメータを算出するステップと、
    前記補正パラメータに基づいて、前記第1画像群の前記撮影領域の移動方向前部を合成した合成画像を生成するステップと、
    を実行することを特徴とするマルチカメラ撮影方法。
JP2013032713A 2013-02-22 2013-02-22 マルチカメラ撮影装置およびマルチカメラ撮影方法 Active JP6091923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013032713A JP6091923B2 (ja) 2013-02-22 2013-02-22 マルチカメラ撮影装置およびマルチカメラ撮影方法
US14/173,840 US9423355B2 (en) 2013-02-22 2014-02-06 Plural camera images capturing and processing apparatus, and composite imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013032713A JP6091923B2 (ja) 2013-02-22 2013-02-22 マルチカメラ撮影装置およびマルチカメラ撮影方法

Publications (2)

Publication Number Publication Date
JP2014164363A JP2014164363A (ja) 2014-09-08
JP6091923B2 true JP6091923B2 (ja) 2017-03-08

Family

ID=51387731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013032713A Active JP6091923B2 (ja) 2013-02-22 2013-02-22 マルチカメラ撮影装置およびマルチカメラ撮影方法

Country Status (2)

Country Link
US (1) US9423355B2 (ja)
JP (1) JP6091923B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6191473B2 (ja) * 2014-01-21 2017-09-06 富士通株式会社 撮像システム
CN104101612B (zh) * 2014-06-24 2017-09-12 杭州利珀科技有限公司 平面材料表面缺陷检测装置
JP2016057579A (ja) * 2014-09-12 2016-04-21 金川 典代 広域面撮影装置及び広域面撮影法
WO2016051871A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 多眼撮像装置及びその製造方法、情報端末装置
US10336462B2 (en) * 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
CN107710727B (zh) 2015-06-30 2020-03-24 富士胶片株式会社 移动式摄像装置及移动式摄像方法
US10497109B2 (en) * 2015-10-07 2019-12-03 Fuchs Consulting, Inc. Time-lapse infrared thermography system and method for damage detection in large-scale objects
KR101782516B1 (ko) * 2015-11-24 2017-09-27 한국건설기술연구원 포인터를 이용한 중공관 촬영장치 및 이를 이용하여 중공관을 촬영하는 방법
EP3236486A1 (en) * 2016-04-22 2017-10-25 Carl Zeiss Microscopy GmbH Method for generating a composite image of an object and particle beam device for carrying out the method
US10591277B2 (en) * 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
WO2018096577A1 (ja) * 2016-11-22 2018-05-31 株式会社Fuji 画像処理システム及び画像処理方法
CN108111746A (zh) * 2016-11-25 2018-06-01 努比亚技术有限公司 一种实现全景拍摄的方法和装置
EP3588935A4 (en) * 2017-02-22 2020-03-04 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
JP6593390B2 (ja) * 2017-06-01 2019-10-23 株式会社豊田中央研究所 移動距離計測装置
JP6734583B2 (ja) * 2018-02-23 2020-08-05 株式会社市川工務店 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム
US10643329B2 (en) * 2018-04-09 2020-05-05 The Boeing Company Automated paint quality control for aircraft
JP2020060394A (ja) * 2018-10-05 2020-04-16 株式会社Ihi 非接触計測装置の計測範囲拡大方法
JP7044331B2 (ja) * 2019-02-20 2022-03-30 株式会社市川工務店 橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
US20220261957A1 (en) * 2019-07-09 2022-08-18 Pricer Ab Stitch images
JP7314680B2 (ja) * 2019-07-23 2023-07-26 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
JP2021075163A (ja) * 2019-11-11 2021-05-20 株式会社小糸製作所 カメラシステム
CN112492197B (zh) * 2020-11-18 2022-01-07 京东科技信息技术有限公司 图像处理方法及相关设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7127090B2 (en) * 2001-07-30 2006-10-24 Accuimage Diagnostics Corp Methods and systems for combining a plurality of radiographic images
JP2004342067A (ja) * 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
US20060226380A1 (en) * 2005-04-11 2006-10-12 Meinan Machinery Works, Inc. Method of inspecting a broad article
DE102006034906A1 (de) * 2006-07-28 2008-01-31 Carl Zeiss Microimaging Gmbh Laser-Scanning-Mikroskop und Verfahren zu seinem Betrieb
JP4991604B2 (ja) * 2008-03-17 2012-08-01 キヤノン株式会社 画像処理装置、画像処理方法
EP2310839A4 (en) * 2008-06-18 2011-08-03 Surgix Ltd METHOD AND SYSTEM FOR JOINING MULTIPLE PICTURES TO A PANORAMIC IMAGE
US8384789B2 (en) * 2008-07-23 2013-02-26 Pixart Imaging Inc. Sensor array module with wide angle, and image calibration method, operation method and application for the same

Also Published As

Publication number Publication date
US20140240451A1 (en) 2014-08-28
JP2014164363A (ja) 2014-09-08
US9423355B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
JP6091923B2 (ja) マルチカメラ撮影装置およびマルチカメラ撮影方法
JP5852527B2 (ja) 3次元形状測定方法および基板検査方法
KR102094986B1 (ko) 시각적 방해물들을 통과하여 사진 찍기
JP4915859B2 (ja) 物体の距離導出装置
CN103517017B (zh) 投影机、图像显示系统以及投影机的控制方法
JP6637653B2 (ja) 顕微鏡およびspim顕微鏡検査方法
JP2017055310A5 (ja)
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP2009156704A (ja) 表示パネルの輝度測定装置および輝度測定方法並びに表示装置
CN104641275B (zh) 成像控制装置、成像设备和成像控制装置执行的控制方法
JP6041871B2 (ja) 撮像装置及び撮像装置の制御方法
CN113115027A (zh) 校准摄像头的方法和系统
JP2002267444A (ja) トンネル坑内の形状測定方法
JP2010187184A (ja) 被写体追尾装置および撮像装置
JP2007322259A (ja) エッジ検出方法、装置、及びプログラム
JP2012228544A5 (ja)
JP2010014699A (ja) 形状計測装置及び形状計測方法
JP4663669B2 (ja) 動画像処理装置及び方法
JP6496814B2 (ja) 細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラム
JP6111430B2 (ja) 撮像装置
JP6566800B2 (ja) 撮像装置及び撮像方法
KR102423217B1 (ko) ToF 센서의 3차원 거리분포 정보를 이용한 균열조사 장치 및 이를 이용한 균열정보 도출 방법
JP2020166660A (ja) 配筋計測システム、配筋計測方法およびプログラム
WO2023010874A1 (zh) 一种图像拍摄装置以及图像处理方法
JP4663670B2 (ja) 動画像処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6091923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150