WO2015040917A1 - マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法 - Google Patents

マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法 Download PDF

Info

Publication number
WO2015040917A1
WO2015040917A1 PCT/JP2014/067032 JP2014067032W WO2015040917A1 WO 2015040917 A1 WO2015040917 A1 WO 2015040917A1 JP 2014067032 W JP2014067032 W JP 2014067032W WO 2015040917 A1 WO2015040917 A1 WO 2015040917A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
image
common
markers
images
Prior art date
Application number
PCT/JP2014/067032
Other languages
English (en)
French (fr)
Inventor
伸治 坂野
雄一 野中
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2015040917A1 publication Critical patent/WO2015040917A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the normalized correlation value between the area of the planar marker images 844a to 844c of the first captured image and the area of the planar marker images 844b to 844d of the second captured image is calculated. It is clearly less than 1.
  • the normalized correlation value between the areas of the planar marker images 844b to 844d of the first captured image and the areas of the planar marker images 844a to 844c of the second captured image is calculated. It is clearly less than 1.
  • FIG. 17B shows a linear marker image of the first area 7LU-2 of the photographed image 7-2.
  • the linear marker images 851b to 851f in the first area 7LU-2 of the photographed image 7-2 and the linear marker images 851p to 851w are the linear marker images 851b in the first area 7RU-1 of the photographed image 7-1. 851f and linear marker images 851p to 851w, and further includes a linear marker image 851a.
  • the linear marker image 851r has an intersection angle with the linear marker image 851a of 77 °, an intersection angle with the linear marker image 851b of 69 °, an intersection angle with the linear marker image 851c of 61 °, and the linear marker image 851d.
  • the intersection angle is 53 °.
  • the common marker specifying unit 53 of the first to seventh embodiments specifies a marker that is common to both captured images by directly comparing the first captured image and the second captured image.
  • stores the template of the marker image provided to a common area
  • the common marker specifying unit 53 further specifies a common marker image between the first captured image and the template and a common marker image between the second captured image and the template, and obtains a reference position. . Thereby, the common marker specific
  • FIG. 30 is a flowchart showing the common marker specifying process of the first region in the eighth embodiment.
  • the common marker specifying process shown in FIG. 30 corresponds to the processes in steps S10 to S15 in FIG.
  • the multi-camera photographed image synthesizing apparatus 1 according to the eighth embodiment starts the common marker specifying process of FIG. 30 when instructed by the operator to photograph the subject 9.
  • the processing in steps S190 to S192 is the same as the processing in steps S10 to S12 shown in FIG.
  • specification part 53 acquires all the pixel aggregate
  • the common marker specifying unit 53 specifies a common marker image by a correlation process between the center position of each pixel aggregate in the first region of the first captured image and the template position.
  • step S199 the common marker specific
  • step S199 the common marker specific
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • modifications of the present invention include the following (a) to (i).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

被写体の表面状態にかかわらず、隣接する撮影画像で共通するマーカ像を検出可能とするため、マルチカメラ撮影画像合成装置(1)は、隣接して重なり合う複数の撮影範囲(6-1,6-2)を撮影するカメラ(2-1,2-2)と、撮影範囲(6-1,6-2)が重なり合う共通範囲(6C-1)に複数のマーカを付与するレーザ装置(3-1)と、複数マーカが面状に広がるように付与されて撮影された第1撮影画像と第2撮影画像とを取得する撮影制御部(4)と、共通範囲(6C-1)を撮影した各共通領域から共通するマーカにより基準となる位置をそれぞれ特定する共通マーカ特定部(53)と、特定した位置の情報によって第1撮影画像と第2撮影画像とを繋ぎ合わせる画像間補正値を導出する画像間補正値導出部(55)と、画像間補正値に基づいて、第1撮影画像と第2撮影画像とを合成した合成画像を生成する画像合成処理部(56)とを備える。

Description

マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法
 本発明は、広大な被写体を複数のカメラで撮影し、その撮影画像を合成するマルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法に関する。
 近年、高度経済成長期に建築された橋梁やトンネルなどの構造物が耐用年数に達し始めたため、これら構造物の損傷状態を点検し、修復や補修を行うか否かを判定することが重要視されている。従来の構造物の損傷状態の点検において、点検作業員は、路上から構造物を点検できない場合には、足場を組んで目視観察していた。しかし、最近では、足場を組む費用の削減と点検作業員の安全性確保のため、カメラ撮影による観察技術が導入されつつある。
 構造物の損傷状態の点検では、点検範囲の面積は広く、点検すべき亀裂は細かい。そのため、単一の撮影画像では解像度が不足するか全体像が捉えられないことになる。そこで、カメラ撮影による観察技術として、複数のカメラ(マルチカメラ)で撮影した画像を合成して高解像度画像を生成する方法が考えられている。
 複数のカメラで撮影した画像を高解像度画像に合成するには、隣接するカメラで撮影した2つの画像について、傾斜角・倍率・位置の3つのパラメータを変化させながら輝度分布の相関値を算出して隣接する撮影画像から共通の対象物を検索し、画像間の補正値を求める方法がある。
 しかし、分解能が高く、かつ、高解像度の撮影画像では、高速な処理装置を用いても、傾斜角・倍率・位置の3つのパラメータを変化させて輝度分布の相関値を算出する際に多大な処理時間を必要とした。また、被写体の表面が均質な場合には、両撮影画像中に共通の対象物が見つからず、画像合わせができない場合もあった。
 特許文献1には、隣接したカメラで撮影した画像を結合して合成する方法が示されている。特許文献1の段落0011には「CCDカメラ1の撮影視野内の対象物2にレーザビームを照射して、同CCDカメラ1により対象物2を撮影すること」と記載され、段落0012には「2台以上のCCDカメラ1の各撮影視野内の少なくとも共通撮影部分を含む対象物2にレーザビームを照射して、これらCCDカメラ1により対象物2を撮影すること」と記載されている。段落0018には、「レーザ装置3から出射されるレーザビームが複数のスポットビームであること」と記載され、段落0019には、「レーザ装置3から出射されるレーザビームが2以上のラインビームを交差させたものであること」と記載されている。特許文献1の段落0049には、「前記カメラ1の視野の設定やレーザ装置3のレーザ照射方向は前記台車10の位置ズレを想定して余裕をもって設定することが望まれる。」と記載されている。このように、特許文献1には、レーザビームを照射して、それを共通マーカとして隣接画像のサイズと位置の補正に使うことが記載されている。
特開平9-161068号公報
 コンクリートなどで構成された構造物の表面は、レーザビームの照射とマーカ像の撮影に適した理想的かつ均質な状態ばかりではない。構造物の実際の表面は、穴、継ぎ目の溝、大小のひび割れ、構造物の加工による凹凸、コンクリートの劣化による荒れ、傾斜、表面の材質のばらつき、汚れ、人為的な書き込みなどを含んでいることが多い。これらの構造物の表面に、レーザビームを照射すると、マーカ像の輝度が著しく劣化したり、マーカ像が消失したり、マーカ像が著しく変形する虞がある。
 特許文献1に記載の技術は、その図3に示すように、複数のレーザマーカの並びは一列である。また、特許文献1の図4に示す十字型のビームは、縦方向の1線と横方向の1線で構成される。これらの場合、レーザビームが構造物の継ぎ目の溝に重なると、マーカ像が消失し、必要数のマーカが得られなくなり、画像合わせができなくなる虞がある。特許文献1に記載の技術によれば、構造物の表面状態が悪い場合には、レーザビームのマーカが撮影できなくなる虞がある。
 そこで、本発明は、被写体の表面状態にかかわらず、隣接する撮影画像を合成可能とするマルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法を提供することを課題とする。
 前記した課題を解決するため、請求項1に記載のマルチカメラ撮影画像合成装置の発明は、隣接して重なり合う複数の撮影範囲を撮影するカメラと、各前記撮影範囲が重なり合う各共通範囲に、それぞれ複数のマーカを面状に広がるように付与する1または複数のマーカ付与部と、前記カメラおよび前記マーカ付与部を制御して、前記共通範囲に複数マーカが付与されて撮影されたマーカ付与画像群、または、マーカ無しで撮影されたマーカ無し画像群を取得する撮影制御部と、前記マーカ付与画像群のうち、隣接する第1撮影画像と第2撮影画像において、前記共通範囲を撮影した各共通領域から共通するマーカにより基準となる位置をそれぞれ特定する共通マーカ特定部と、前記共通マーカ特定部が特定した位置の情報によって、隣接する前記第1撮影画像と前記第2撮影画像とを繋ぎ合わせる画像間補正値を導出する画像間補正値導出部と、前記画像間補正値導出部が導出した画像間補正値に基づいて、前記マーカ付与画像群または前記マーカ無し画像群を合成した合成画像を生成する画像合成処理部とを備える。
 請求項16に記載のマルチカメラ撮影画像の合成方法の発明は、隣接して重なり合う複数の撮影範囲を撮影するカメラと、各前記撮影範囲が重なり合う各共通範囲に、それぞれ複数のマーカを面状に広がるように付与する1または複数のマーカ付与部と、前記カメラおよび前記マーカ付与部を制御する撮影制御部と、複数の撮影画像に共通するマーカを特定する共通マーカ特定部と、画像間補正値導出部と、合成画像を生成する画像合成処理部と、を備えたマルチカメラ撮影画像合成装置が実行する。前記撮影制御部は、前記共通範囲に複数マーカが付与されて撮影されたマーカ付与画像群を取得し、前記共通マーカ特定部は、前記マーカ付与画像群うち隣接する第1撮影画像と第2撮影画像において前記共通範囲を撮影した共通領域から、共通するマーカにより基準となる位置をそれぞれ特定し、前記画像間補正値導出部は、前記共通マーカ特定部が特定した位置の情報によって、隣接する前記第1撮影画像と前記第2撮影画像とを繋ぎ合わせる画像間補正値を導出し、前記画像合成処理部は、前記画像間補正値導出部が導出した画像間補正値に基づいて、前記マーカ付与画像群、または、マーカ無しで撮影されたマーカ無し画像群を合成した合成画像を生成する。
 本発明によれば、例えば、老朽化したコンクリートなど構造物の表面状態を撮影するに当たり、その被写体の表面に、小さな表面の穴やコンクリートの継ぎ目、大小のひび割れ、あるいは構造物の加工上の凹凸、荒れ、傾斜、材質のばらつき、汚れ、意図的な書き込みなどがあっても、隣接する撮影範囲の共通範囲に面状に広がるように複数のマーカを照射することにより、隣接する第1撮影画像と第2撮影画像の共通領域から共通のマーカ像を特定して、両撮影画像を合成することが可能である。
 その他の手段については、発明を実施するための形態のなかで説明する。
 本発明によれば、被写体の表面状態にかかわらず、隣接する撮影画像を合成可能とするマルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法を提供することが可能となる。
第1の実施形態におけるマルチカメラ撮影画像合成装置を示す概略の構成図である。 第1の実施形態におけるマルチカメラ撮影画像合成処理の説明図である。 第1の実施形態における被写体上の共通撮影範囲の点状マーカを示す図である。 第1の実施形態における両撮影画像の共通領域の点状マーカ像を示す図である。 第1の実施形態において撮影した点状マーカ画素像の例を示す図である。 画像合成処理を示すフローチャートである。 第1の実施形態における共通マーカ特定処理を示すフローチャートである。 第2の実施形態における被写体上の共通撮影範囲の線状マーカを示す図である。 第2の実施形態における両撮影画像の共通領域の線状マーカ像を示す図である。 第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その1)である。 第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。 第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その3)である。 第3の実施形態における両撮影画像の共通領域のマーカ像を示す図である。 第3の実施形態の変形例のマーカ像を示す図である。 第3の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。 第4の実施形態における被写体上の線マーカを示す図である。 第4の実施形態における両撮影画像の共通領域の線状マーカ像を示す図である。 第4の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その1)である。 第4の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。 第5の実施形態における両撮影画像の共通領域の点状マーカ像を示す図である。 第5の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その1)である。 第5の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。 第6の実施形態における被写体上の共通撮影範囲の点状マーカを示す図である。 第6の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その1)である。 第6の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。 第7の実施形態における被写体上の共通撮影範囲の点状マーカと線状マーカを示す図である。 第7の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その1)である。 第7の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。 第8の実施形態における撮影画像の共通領域の点状マーカ像を示す図である。 第8の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。
 以降、本発明を実施するための形態を、各図を参照して詳細に説明する。各実施形態では、例として、コンクリート橋の底面の亀裂などを被写体として撮影する場合を示している。
(第1の実施形態)
 図1は、第1の実施形態におけるマルチカメラ撮影画像合成装置を示す概略の構成図である。
 マルチカメラ撮影画像合成装置1は、カメラ2-1~2-nと、レーザ装置3-1,3-2,…と、これらに接続された撮影制御部4と、画像信号入力部51と、マーカ像分離部52と、共通マーカ特定部53と、共通特徴選択部54と、画像間補正値導出部55と、画像合成処理部56とを備えている。
 カメラ2-1~2-nは、直線上にそれぞれ所定間隔で固定されて、被写体9の同一方向(上方向)の撮影範囲6-1~6-nを可視光で撮影するものである。被写体9の表面には、欠損部位95が存在している。
 隣接する撮影範囲6-1と撮影範囲6-2とは、共通範囲6C-1で重なり合っている。共通範囲6C-1の図1における上側は、第1範囲6U-1であり、図1における下側は第2範囲6L-1である。第1範囲6U-1は、共通範囲6C-1のうち、隣接する撮影範囲6-1と撮影範囲6-2とが並ぶ方向に対する垂直方向の一端寄りに位置している。第2範囲6L-1は、この垂直方向の他端寄に位置している。同様に、隣接する撮影範囲6-2と撮影範囲6-3とは、共通範囲6C-2で重なり合っている。共通範囲6C-2の図1における上側は、第1範囲6U-2であり、図1における下側は第2範囲6L-2である。
 レーザ装置3-1(マーカ付与部の一例)は、レーザ発振器と光分散レンズを備え、隣接する撮影範囲6-1,6-2が重なり合う共通範囲6C-1の外側の一端である第1範囲6U-1およびその他端である第2範囲6L-1に、複数の可視光のマーカを照射(付与)する。以下、レーザ装置3-2は、レーザ装置3-1と同様に、対応する共通範囲6C-2に、複数の可視光のマーカを照射(付与)する。なお、共通範囲6C-2の外側の一端には、第1範囲6U-2が存在する。共通範囲6C-2の外側の他端には、第2範囲6L-2が存在する。
 レーザ装置3-1,3-2,…は、各カメラ2-1,2-2,…の撮影時における位置ズレを考慮し、その位置ズレよりも広い間隔でマトリクス状に広がる複数の点状マーカを、第1範囲6U-1,6U-2,…および第2範囲6L-1,6L-2,…に照射(付与)する。
 撮影制御部4は、各カメラ2-1~2-nおよび各レーザ装置3-1,3-2,…を制御して、各撮影範囲6-1~6-nの各共通範囲6C-1,6C-2,…にマーカを付与した各撮影画像と、各撮影範囲6-1~6-nの各共通範囲にマーカが無い各撮影画像とを取得する。
 画像信号入力部51は、撮影制御部4から各撮影画像を取得し、撮影画像にマーカが付与されたものをマーカ像分離部52に振り分けて、撮影画像にマーカが無いものを画像合成処理部56に振り分ける。
 マーカ像分離部52は、マーカが付与された撮影画像群から、マーカ像のみを分離するものである。マーカ像分離部52は、例えば、各画素の輝度を二値化することにより、マーカ像を分離する。
 共通マーカ特定部53は、マーカが付与された撮影画像群のうち隣接する第1撮影画像と第2撮影画像において、共通範囲に係る撮影画像の各共通領域から、共通するマーカの基準位置を特定するものである。共通マーカ特定部53は、隣接する第1撮影画像と第2撮影画像において、第1範囲6U-1を撮影した第1領域から共通するマーカにより基準となる位置を特定すると共に、第2範囲6L-1を撮影した第2領域から共通するマーカにより基準となる位置を特定する。
 共通特徴選択部54は、マーカが付与された撮影画像群のうち隣接する第1撮影画像と第2撮影画像において、共通領域から共通の特徴を特定するものである。共通特徴選択部54は、共通マーカ特定部53が共通するマーカを特定できなかった場合には、所定画素ブロックの画像の輝度分布を求める。共通特徴選択部54は、画素の輝度要素が均質でないと判定したならば、この画素ブロックを基準として、共通領域の傾斜角・倍率・位置の相関値を調べ、相関値が所定の値になったならば、そのときの傾斜角・倍率・位置を画像間補正値とする。
 画像間補正値導出部55は、共通マーカ特定部53が特定した2個の基準位置によって、隣接する第1撮影画像と第2撮影画像とを繋ぎ合わせる補正値を導出する。
 画像合成処理部56は、画像間補正値導出部55や共通特徴選択部54が導出した画像間補正値に基づいて、各撮影画像を合成(結合)する。
(マルチカメラ撮影画像の合成方法)
 以下、マルチカメラ撮影画像合成装置1によるマーカパターンの構成方法と、その画像処理方法について示す。
 図2(a)~(f)は、第1の実施形態におけるマルチカメラ撮影画像合成処理の説明図である。
 図2(a)は、点状マーカが付与された撮影画像群を示す図である。
 マーカが付与された撮影画像7-1~7-3は、マーカを付与した被写体9をカメラ2-1~2-3で撮影して撮影制御部4が取得したものである。撮影画像7-1は、図1に示す撮影範囲6-1に対応している。撮影画像7-2は、図1に示す撮影範囲6-2に対応している。
 隣接する撮影画像7-1と撮影画像7-2とは、予め決められた共通領域7R-1と共通領域7L-2とで重なるように設定される。共通領域7R-1は、一方の外側である第1領域7RU-1、および、他方の外側である第2領域7RL-1を含んでいる。共通領域7L-2は、一方の外側である第1領域7LU-2、および、他方の外側である第2領域7LL-2を含んでいる。
 撮影画像7-1の第1領域7RU-1と、撮影画像7-2の第1領域7LU-2とは、共通するマーカ像を含んでいる。撮影画像7-1の第2領域7RL-1と、撮影画像7-2の第2領域7LL-2とは、共通するマーカ像を含んでいる。
 同様に、撮影画像7-2の第1領域7RU-2と、撮影画像7-3の第1領域7LU-3とは、共通するマーカ像を含んでいる。撮影画像7-2の第2領域7RL-2と、撮影画像7-3の第2領域7LL-3とは同様に、共通するマーカ像を含んでいる。
 図2(b)は、マーカ像を分離した画像群を示す図である。
 画像7a-1~7a-3は、撮影画像7-1~7-3を、例えば二値化などにより、マーカ像を分離したものである。各マーカ像は、レーザ装置3-1,3-2,…が照射したレーザパターンを撮影したものなので、被写体9の像よりも輝度が高い。よって、マーカ像分離部52は、撮影画像7-1~7-3の輝度に閾値を設けて二値化することにより、マーカ像を分離できる。なお、マーカが付与された撮影画像7-1~7-3から輝度によってマーカ像を分離できない場合、更にマーカを付与しない撮影画像7d-1~7d-3(図2(e)参照)を得て、撮影画像7-1~7-3に撮影画像7d-1~7d-3の輝度反転像を重ね合わせてもよい。これにより、被写体9の像を打ち消して、マーカ像を分離することができる。
 画像7a-1~7a-3のマーカ像は、被写体9の溝や穴や材質変化などにより消失または変形したり、被写体9の凹みなどにより位置がずれる。
 図2(c)は、特定した共通マーカを示す図である。
 画像7b-1~7b-3は、マーカ像を分離した画像7a-1~7a-3のうち、隣接する両撮影画像に共通する2個のマーカを特定したものである。画像間補正値導出部55は、これら特定した2個のマーカの基準位置により、隣接する両撮影画像を合成する画像間補正値を導出可能である。
 図2(d)は、導出した画像間補正値によって画像が合成されることを示す図である。
 合成画像7cは、撮影画像7-1~7-3を、隣接する両撮影画像に共通する2個の基準位置から傾斜角・倍率・位置の画像間補正値を導出し、この画像間補正値によって合成(結合)したものである。このように、隣接する両撮影画像から2個の基準位置を決定することにより、両撮影画像を合成するための画像間補正値を算出することができる。
 図2(e)は、マーカ無し撮影画像群を示す図である。
 マーカが無い撮影画像7d-1~7d-3は、マーカを付与(照射)しない被写体9をカメラ2-1~2-3で撮影して撮影制御部4が取得したものである。撮影画像7d-1~7d-3は更に、マーカが付与された撮影画像7-1~7-3と同一の画角で被写体9を撮影している。これにより、撮影画像7d-1~7d-3は、マーカが付与された撮影画像7-1~7-3の画像間補正値により合成可能である。
 図2(f)は、マーカが付与されない合成画像7eを示す図である。
 合成画像7eは、マーカ無し撮影画像7d-1~7d-3を、マーカが付与された撮影画像7-1~7-3のうち隣接する両撮影画像に共通する2個の基準位置から求めた補正値によって、それぞれ合成(結合)したものである。
 このようにすることで、マルチカメラ撮影画像合成装置1は、カメラ2-1,2-2,…で撮影した各画像を合成した高解像度の合成画像7eを生成可能である。
 図3は、第1の実施形態における被写体上の共通撮影範囲の点状マーカを示す図である。
 第1範囲6U-1は、撮影範囲6-1の右上側であり、撮影範囲6-2の左上側である。第1範囲6U-1は、マーカ領域81-1と、ほぼ一致している。マーカ領域81-1には、点状マーカ82が面状に広がるように6行4列のマトリクス状に照射される。
 被写体9(図1参照)の上には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが形成されている。点状マーカ82のうち、凹み91に重なる部位は、被写体9の奥行き方向のずれにより、撮影時の相対的な位置ズレが発生する。点状マーカ82のうち、穴92、溝93、および、材質変化94と重なるものは、その全部または一部が消失する。しかし、点状マーカ82のうち、これら表面の欠損と重ならないものは、位置ズレや消失など無しに撮影することができる。
 よって、共通マーカ特定部53(図1参照)は、面状に広がった6行4列のマトリクス状の点状マーカ82により、被写体9の表面状態にかかわらず、隣接する撮影画像で共通するマーカ像を検出可能である。これにより、隣接する撮影画像7-1,7-2(図2(a)参照)を合成することができる。
 複数の点状マーカ82の間隔は、撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、各点状マーカの付与位置の誤差との和よりも広く設定されている。これにより、共通マーカ特定部53(図1参照)は、両撮影画像に共通する点状マーカ像を取り違えることなく特定することができる。
 点状マーカをマトリクス状に照射するレーザ装置は、広く普及しており廉価である。このようなレーザ装置3-1,3-2,…を、様々な構造物の表面の撮影画像の位置合わせ用のマーカ付与部として使えるので、マルチカメラ撮影画像合成装置1の製造コストを抑制することができる。
 図4(a),(b)は、第1の実施形態における両撮影画像の共通領域の点状マーカ像を示す図である。
 図4(a)は、撮影画像7-1の第1領域7RU-1の点状マーカ像を示している。
 マーカ領域81-1における各点状マーカ像821は、6行4列のマトリクス状であり、その各行をP~Uで示し、各列をA~Dで示している。マトリクス状の点状マーカ像821は、S行のすべてが欠損している。Q行B列の点状マーカ像821は、その位置がずれ、かつ、輝度が低下している。Q行C列とU行C列の点状マーカ像821は、その輝度が著しく劣化している。
 P行A列の検出許容領域71は、第1領域7RU-1内の所定領域である。P行A列の点状マーカ像821は、対応するP行A列の検出許容領域71内の右上に存在する。よって、このP行A列の点状マーカ像821は、この第1領域7RU-1のマーカとして識別可能である。他に存在する点状マーカ像821も同様であり、対応する行と列の検出許容領域71内に存在するので、この第1領域7RU-1のマーカとして識別可能である。各検出許容領域71は、円形である。各検出許容領域71の直径は、各マーカの間隔よりも短く設定され、隣接する撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、マーカ付与位置の誤差との和よりも広く設定される。よって、各マーカの間隔は、隣接する撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、マーカ付与位置の誤差との和よりも広く設定される。
 図4(b)は、撮影画像7-2の第1領域7LU-2の点状マーカ像821を示している。
 撮影画像7-2の第1領域7LU-2の点状マーカ像821は、撮影画像7-1の第1領域7RU-1の点状マーカ像821と共通している。マーカ領域81-1の点状マーカ像821は、第1領域7RU-1に存在している。
 P行A列の点状マーカ像821は、対応する検出許容領域71内の左下に存在する。よって、点状マーカ像821は、この第1領域7LU-2のマーカとして識別可能である。
 図5は、第1の実施形態において撮影した点状マーカ画素像の例を示す図である。
 画像7a-1は、撮影画像7-1から点状マーカ像821qa,821qb,821qcを分離したものである。
 点状マーカ像821qaの大きさは、縦4画素かつ横5画素である。点状マーカ像821qbの大きさは、縦5画素かつ横5画素である。点状マーカ像821qaの形状と点状マーカ像821qbの形状は、ほぼ円状であり、許容範囲内の適切な形状である。
 これに対して点状マーカ像821qcの形状は、被写体9の表面の欠損によって不定形となっており、これは許容範囲から外れた不適切な形状である。
 第1の実施形態のマーカ像分離部52(図1参照)は、輝度によって画素を二値に分離し、閾値以上の輝度を有する画素群から、許容範囲での欠陥を含めた連続する画素集合体を検出し、その画素集合体の形状を判定することにより、適正であるか否かを判断する。
 マーカ像分離部52(図1参照)は、画素集合体の形状判定において、各画素集合体のX軸端の座標とY軸端の座標とから中心座標を求め、その中心座標から所定半径の円内に画素集合体が過不足なく含まれれば適正な形状と判断し、その円から画素集合体が逸脱したり、その円内に画素集合体以外の部分が多く含まれていれば不適切な形状と判断する。このようにして、マーカ像分離部52は、適正な形状と判断をした画素集合体の中心座標を取得する。
 図6は、画像合成処理を示すフローチャートである。図6のフローチャートは、第1~第6と第8の実施形態における画像合成処理の全部の共通部分であり、第7の実施形態の一部の共通部分である。
 マルチカメラ撮影画像合成装置1(図1参照)は、操作者から被写体9の撮影を指示されると、図6の画像合成処理を開始する。
 ステップS10において、マルチカメラ撮影画像合成装置1の撮影制御部4は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、複数の点状マーカ82(図3参照)を照射する。ここでレーザ装置3-1が点状マーカ82を照射するのは、マーカ領域81-1などである。
 ステップS11において、撮影制御部4は、各カメラ2-1,2-2,…によって、被写体9の各撮影範囲6-1,6-2,…とマーカ領域81-1,…とを撮影する。
 ステップS12において、マーカ像分離部52は、各被写体9の撮影画像7-1,7-2,…からマーカ像を分離して、画像7a-1,7a-2、…を生成する。
 ステップS13において、共通マーカ特定部53は、第1領域7RU-1および第1領域7LU-2などの共通マーカ判定処理を行う。
 ステップS14において、共通マーカ特定部53は、特定したマーカが適切であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS15の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS20の処理を行う。
 ステップS15において、共通マーカ特定部53は、適切な最も外側のマーカから第1基準位置を取得する。以下のステップS16の処理は、ノードFを介する場合も実行される。
 ステップS16において、共通マーカ特定部53は、第2領域7RL-1および第2領域7LL-2などの共通マーカ判定処理を行う。
 ステップS17において、共通マーカ特定部53は、特定したマーカが適切であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS18の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS20の処理を行う。
 ステップS18において、共通マーカ特定部53は、適切な最も外側のマーカから第2基準位置を取得する。以下のステップS19の処理は、ノードHを介する場合も実行される。
 ステップS19において、画像間補正値導出部55は、隣接する撮影画像の第1基準位置と第2基準位置とから、アフィン変換の係数などを求めることにより、隣接する画像間補正値を算出し、ステップS24の処理を行う。
 ステップS20以降の処理は、隣接する撮影画像で共通するマーカが適切に検出できないと判断された場合の、隣接する両撮影画像の画像間補正値に関する処理である。このステップS20の処理は、ノードEを介する場合も実行される。
 ステップS20において、共通特徴選択部54は、隣接する両撮影画像の第1領域7RU-1と第1領域7LU-2および第2領域7RL-1および第2領域7LL-2から共通の特徴を選択(検出)する。共通特徴選択部54は、共通特徴選択処理において、両撮影画像の共通領域の輝度分布を求める。共通特徴選択部54は、両撮影画像の輝度分布が均質でないと判定したならば、画素ブロックを基準として、共通領域の傾斜角・倍率・位置の組合せについて、両撮影画像の相関値を調べる。
 共通特徴選択部54は、両撮影画像に共通するマーカ像が特定できないほど表面に欠損が存在する場合に限り処理を行う。このとき、表面の欠損が輝度変化として現れることが多いため、両撮影画像の輝度分布に基づいて、共通領域の傾斜角・倍率・位置の組合せの相関値を短時間で算出できると思われる。よって、被写体の表面状態にかかわらず、高速な画像合成処理が行うことができる。
 ステップS21において、共通特徴選択部54は、共通の特徴を検出したか否かを判断する。共通特徴選択部54は、共通領域の傾斜角・倍率・位置の組合せに関する両撮影画像の相関値が所定値を超えたならば、共通の特徴を検出したと判断する。共通特徴選択部54は、当該判断条件が成立したならば(Yes)、ステップS22の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS23の処理を行う。
 ステップS22において、共通特徴選択部54は、判定した傾斜角・倍率・位置の組合せを画像間補正値として、ステップS24の処理を行う。これにより、共通特徴選択部54は、共通するマーカが特定できない場合でも、撮影画像を合成することができる。
 ステップS23において、共通特徴選択部54は、過去に算出した画像間補正値を、今回の画像間補正値として流用し、ステップS24の処理を行う。これにより、共通特徴選択部54は、共通するマーカが特定できず、被写体からも共通の特徴を検出できなかった場合でも、撮影画像を合成することができる。
 ステップS24において、撮影制御部4は、各レーザ装置3-1,3-2などを制御して、点状マーカ82(図3参照)をオフする。
 ステップS25において、撮影制御部4は、各カメラ2-1,2-2,…によって、被写体9の各撮影範囲6-1,6-2,…とマーカ領域81-1,…とを撮影する。これにより、撮影制御部4は、各カメラ2-1,2-2,…から、マーカが付与されていない撮影画像7d-1,7d-2,…を取得する。
 ステップS26において、画像合成処理部56は、マーカが付与されていない撮影画像7d-1,7d-2,…を合成する。ステップS26の処理が終了すると、マルチカメラ撮影画像合成装置1は、図6に示す画像合成処理を終了する。
 図7は、第1の実施形態における共通マーカ特定処理を示すフローチャートである。図7に示す共通マーカ特定処理は、図6のステップS10~S18の処理に対応している。
 第1の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図7の共通マーカ特定処理を開始する。
 ステップS40~S42の処理は、図6に示すステップS10~S12の処理と同様である。
 ステップS43~S48において、共通マーカ特定部53は、第1領域7RU-1および第1領域7LU-2などの各検出許容領域71につき、外側から処理を繰り返す。ここで外側とは、図7に示す各検出許容領域71のうち、P行のものであり、例えば共通範囲6C-1の中で撮影範囲6-1と撮影範囲6-2とが並ぶ方向に対する垂直方向である。
 ステップS44において、共通マーカ特定部53は、この検出許容領域71の撮影画像7-1(第1撮影画像)などにおけるマーカ像を判定する。ここで第1撮影画像とは、隣接する両撮影領域を撮影した画像のうちの一方のことをいう。
 ステップS45において、共通マーカ特定部53は、適切な形状のマーカが存在するか否かを判定する。共通マーカ特定部53は、当該判定条件が成立したならば(Yes)、ステップS46の処理を行い、当該判定条件が成立しなかったならば(No)、ステップS48の処理を行う。
 ステップS46において、共通マーカ特定部53は、この検出許容領域71の撮影画像7-2(第2撮影画像)などにおけるマーカ像を判定する。ここで第2撮影画像とは、隣接する両撮影領域を撮影した画像のうちの他方のことをいう。
 ステップS47において、共通マーカ特定部53は、適切な形状のマーカが存在するか否かを判定する。共通マーカ特定部53は、当該判定条件が成立したならば(Yes)、ステップS49の処理を行い、当該判定条件が成立しなかったならば(No)、ステップS48の処理を行う。
 ステップS48において、共通マーカ特定部53は、第1領域7RU-1および第1領域7LU-2などの各検出許容領域71につき、外側から処理をすべて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ノードEを介して図6のステップS20の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS43の処理に戻る。
 ステップS49において、共通マーカ特定部53は、判定したマーカから第1基準位置を取得する。ここで共通マーカ特定部53は、第1領域7RU-1および第1領域7LU-2の点状マーカ像821である画素集合体の中心位置をそれぞれ算出し、これを第1基準位置とする。
 ステップS50~S55の処理は、第2領域7RL-1および第2領域7LL-2などの各検出許容領域71について処理を繰り返す他は、上記したステップS43~S47の処理と同様である。
 ステップS50~S55において、共通マーカ特定部53は、第2領域7RL-1および第2領域7LL-2などの各検出許容領域71につき、外側から処理を繰り返す。
 ステップS51において、共通マーカ特定部53は、この検出許容領域71の撮影画像7-1(第1撮影画像)などにおける点状マーカ像821を判定する。
 ステップS52において、共通マーカ特定部53は、適切な形状のマーカ像が存在するか否かを判定する。共通マーカ特定部53は、当該判定条件が成立したならば(Yes)、ステップS53の処理を行い、当該判定条件が成立しなかったならば(No)、ステップS55の処理を行う。
 ステップS53において、共通マーカ特定部53は、この検出許容領域71の撮影画像7-2(第2撮影画像)などにおける点状マーカ像821を判定する。
 ステップS54において、共通マーカ特定部53は、適切な形状のマーカが存在するか否かを判定する。共通マーカ特定部53は、当該判定条件が成立したならば(Yes)、ステップS56の処理を行い、当該判定条件が成立しなかったならば(No)、ステップS55の処理を行う。
 ステップS55において、共通マーカ特定部53は、第2領域7RL-1および第2領域7LL-2などの各検出許容領域71につき、外側から処理をすべて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ノードEを介して図6のステップS20の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS50の処理に戻る。
 ステップS56において、共通マーカ特定部53は、判定したマーカから第2基準位置を取得する。ここで共通マーカ特定部53は、第2領域7RL-1および第2領域7LL-2の点状マーカの画素集合体の中心位置をそれぞれ算出し、これを第2基準位置とする。共通マーカ特定部53は、ステップS56の処理が終了すると、ノードEを介して図6のステップS20の処理を行う。
 第1の実施形態の共通マーカ特定部53は、点状マーカ像821が適切な形状であるか否かを判定している。しかし、これに限られず、共通マーカ特定部53は、適切な形状の複数の点状マーカ像821について更に、各点状マーカ像821の相互間隔が適切であるか否かを判定してもよい。図3に示すように、点状マーカ82が凹み91の上に照射されると、撮影画像において、この点状マーカ82を撮影した点状マーカ像821の位置がずれる。このとき、共通マーカ特定部53は、点状マーカ像821の相互間隔により、凹み91上に照射された点状マーカ82に係る点状マーカ像821の位置ずれを判定してこれを排除し、凹み91による位置のずれを防ぐことができる。
(第2の実施形態)
 第2の実施形態のマルチカメラ撮影画像合成装置1は、被写体の各撮影範囲が重なる各共通領域に、隣接する撮影範囲の位置ズレを考慮して、その位置ズレよりも広い相対間隔の格子状の複数の線状マーカを付与している。第2の実施形態の共通マーカ特定部53は、第1の実施形態とは異なり、各マーカ像の中心座標ではなく、各線状マーカの交点を基準となる位置としている。
 図8は、第2の実施形態における被写体上の共通撮影範囲の線状マーカを示す図である。図3に示す第1の実施形態の被写体上の共通撮影範囲と同一の要素には同一の符号を付与している。
 第1範囲6U-1は、撮影範囲6-1の右上側であり、撮影範囲6-2の左上側である。第1範囲6U-1は、マーカ領域81-1と、ほぼ一致している。マーカ領域81-1には、4本の線状マーカ83a~83d、および、6本の線状マーカ83p~83uが面状に広がるように格子状に照射される。
 被写体9(図1参照)の上には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが形成される。線状マーカ83b,83qは、凹み91に重なる部分の奥行き方向のずれにより、撮影像の相対的な位置ズレが発生する。線状マーカ83c,83qのうち、穴92と重なる部位が消失する。線状マーカ83sのうち、溝93と重なる部位が消失する。線状マーカ83a~83dのうち、溝93と重なる部位が消失する。線状マーカ83c,83uのうち、材質変化94と重なる部位が消失する。しかし、線状マーカ83a~83dや線状マーカ83p~83r,83t,83uのうち、これら表面の欠損と重ならない部位は、位置ズレや消失など無しに撮影することができる。
 よって、格子状に照射された線状マーカ83a~83dおよび線状マーカ83p~83uにより、共通マーカ特定部53は、被写体9の表面状態にかかわらず、隣接する撮影画像7-1,7-2で共通する線状マーカを検出して交点を検出可能である。これにより、隣接する撮影画像7-1,7-2を合成することができる。
 線状マーカ83a~83dの間隔および線状マーカ83p~83uの間隔は、撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、各点状マーカの付与位置の誤差との和よりも広く設定されている。これにより、共通マーカ特定部53(図1参照)は、両撮影画像に共通する線状マーカ像を取り違えることなく特定することができる。
 線状マーカを格子状に照射するレーザ装置は、広く普及しており廉価である。このようなレーザ装置3-1,3-2,…を、様々な構造物の表面の撮影画像の位置合わせ用のマーカの付与部として使えるので、マルチカメラ撮影画像合成装置1の製造コストを抑えることができる。
 図9(a),(b)は、第2の実施形態における両撮影画像の共通領域の線状マーカ像を示す図である。
 図9(a)は、撮影画像7-1の第1領域7RU-1の線状マーカ像を示している。
 マーカ領域81-1における線状マーカ像831a~831dや線状マーカ像831p~831r,831t,831uは、格子状であり、その各行をP~Uで示し、各列をA~Dで示している。S行のすべての線状マーカは欠損している。
 線状マーカ像831aと線状マーカ像831pの交点は、対応するP行A列の枠73内の右上に存在する。よって、この交点は、この第1領域7RU-1のマーカとして識別可能である。他に存在する線状マーカ像の交点も同様であり、対応する行と列の枠73内に存在するので、この第1領域7RU-1のマーカとして識別可能である。各枠73は、正方形である。各枠73の一辺は、各マーカの間隔よりも短く設定され、隣接する撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、マーカ付与位置の誤差との和よりも広く設定される。よって、各マーカの間隔は、隣接する撮影範囲6-1と撮影範囲6-2との相対位置の誤差と、マーカ付与位置の誤差との和よりも広く設定される。
 図9(b)は、撮影画像7-2の第1領域7LU-2の線状マーカ像を示している。
 撮影画像7-2の第1領域7LU-2の線状マーカ83a~83dは、撮影画像7-1の第1領域7RU-1の線状マーカ83a~83dと共通している。線状マーカ像831a~831dや線状マーカ像831p~831r,831t,831uは、マーカ領域81-1に照射される。
 線状マーカ像831aと線状マーカ像831pの交点は、対応するP行A列の枠73内の左下に存在する。よって、この交点は、この第1領域7LU-2のマーカとして識別可能である。
 図10~図12は、第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図10~図12に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第2の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図10の共通マーカ特定処理を開始する。
 ステップS60において、マルチカメラ撮影画像合成装置1の撮影制御部4は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、複数の線状マーカを照射する。ここでレーザ装置3-1が複数の線状マーカを照射するのは、マーカ領域81-1などである。
 ステップS61,S62の処理は、図6に示すステップS11,S12の処理と同様である。
 ステップS63~S70において、共通マーカ特定部53は、第1撮影画像と第2撮影画像とについて、それぞれ処理を繰り返す。両撮影画像には、それぞれ線状マーカが格子状に付与されている。
 ステップS64~S69において、共通マーカ特定部53は、この撮影画像の各枠について処理を繰り返す。ここで各枠とは、図9(a),(b)に示したP行A列における枠73から、U行D列における枠73までをいう。
 ステップS65において、共通マーカ特定部53は、各枠のなかに存在する横線の画素集合体を得る。枠線のなかの画素集合体が、縦方向に所定画素の幅を有し、横方向に連続する長さが所定値以上ならば、これを横線の画素集合体として判断する。
 ステップS66において、共通マーカ特定部53は、横線の画素集合体から、この枠内の横線の一次関数を求める。
 ステップS67において、共通マーカ特定部53は、各枠のなかに存在する縦線の画素集合体を得る。枠線のなかの画素集合体が、横方向に所定画素の幅を有し、縦方向に連続する長さが所定値以上ならば、これを縦線の画素集合体として判断する。
 ステップS68において、共通マーカ特定部53は、縦線の画素集合体から、この枠内の縦線の一次関数を求める。
 ステップS69において、共通マーカ特定部53は、この撮影画像のすべての枠について処理を繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立しなかったならば、ステップS64の処理に戻り、当該判断条件が成立したならば、ステップS70の処理を行う。
 ステップS70において、共通マーカ特定部53は、第1撮影画像と第2撮影画像とについて、すべての処理を繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立しなかったならば、ステップS63の処理に戻り、当該判断条件が成立したならば、ノードJを介してステップS71(図11参照)の処理を行う。
 図11は、第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。
 ステップS71~S78において、共通マーカ特定部53は、第1領域の縦一群の枠集合について、それぞれ処理を繰り返す。
 ステップS72において、共通マーカ特定部53は、第1撮影画像における、この枠集合の縦線を適切なものに絞り込む。共通マーカ特定部53は、各枠集合の縦線の一次関数により、この縦線の相互間隔が所定値よりも離れているものがあれば、これを不適切な縦線として除外する。
 ステップS73において、共通マーカ特定部53は、この縦一群の枠集合について、適切な縦線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS74の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS78の処理を行う。
 ステップS74において、共通マーカ特定部53は、最小二乗法により、第1撮影画像における、この枠集合の縦線の一次関数を求める。
 ステップS75において、共通マーカ特定部53は、第2撮影画像における、この枠集合の縦線を適切なものに絞り込む。共通マーカ特定部53は、各枠集合の縦線の一次関数により、この縦線の相互間隔が所定値よりも離れているものがあれば、これを不適切な縦線として除外する。
 ステップS76において、共通マーカ特定部53は、この縦一群の枠集合について、適切な縦線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS77の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS78の処理を行う。
 ステップS77において、共通マーカ特定部53は、最小二乗法により、第2撮影画像における、この枠集合の縦線の一次関数を高い精度で求める。
 ステップS78において、共通マーカ特定部53は、第1領域の縦一群のすべての枠集合について処理を繰り返したか否かを判断する。
 ステップS79において、共通マーカ特定部53は、適切な共通縦線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ノードKを介してステップS80(図12参照)の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 図12は、第2の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その3)である。
 ステップS80~S87において、共通マーカ特定部53は、第1領域の横一群の枠集合について、それぞれ処理を繰り返す。なお、このステップS80~S87の処理は、ステップS71~S78の処理の縦一群の枠集合の処理の繰り返しと同様である。
 ステップS81において、共通マーカ特定部53は、第1撮影画像における、この横一群の枠集合の横線を適切なものに絞り込む。共通マーカ特定部53は、各枠集合の横線の一次関数により、この横線の相互間隔が所定値よりも離れているものがあれば、これを不適切な横線として除外する。
 ステップS82において、共通マーカ特定部53は、この横一群の枠集合について、適切な横線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS83の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS87の処理を行う。
 ステップS83において、共通マーカ特定部53は、最小二乗法により、第1撮影画像の横線の一次関数を高い精度で求める。共通マーカ特定部53は更に、この横線に、枠集合の値の識別子を付与する。
 ステップS84において、共通マーカ特定部53は、第2撮影画像における、この横一群の枠集合の横線を適切なものに絞り込む。共通マーカ特定部53は、各枠集合の横線の一次関数により、この横線の相互間隔が所定値よりも離れているものがあれば、これを不適切な横線として除外する。
 ステップS85において、共通マーカ特定部53は、この横一群の枠集合について、適切な横線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS86の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS87の処理を行う。
 ステップS86において、共通マーカ特定部53は、最小二乗法により、第2撮影画像の横線の一次関数を高い精度で求める。共通マーカ特定部53は更に、この横線に、枠集合の値の識別子を付与する。
 ステップS87において、共通マーカ特定部53は、第1領域の横一群のすべての枠集合について処理を繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS88の処理を行い、当該判断条件が成立しなかったならば、ステップS80の処理に戻る。
 ステップS88において、共通マーカ特定部53は、適切な共通横線が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS89の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 ステップS89において、共通マーカ特定部53は、共通縦線と共通横線との交点位置を求める。
 ステップS90において、共通マーカ特定部53は、最も外側の交点位置から、第1撮影画像および第2撮影画像に共通する第1基準位置をそれぞれ取得する。共通マーカ特定部53は、ステップS90の処理が終了すると、ノードFを介してステップS16(図6参照)の処理を行う。
 以下同様にして、共通マーカ特定部53は、第1撮影画像および第2撮影画像に共通する第2基準位置をそれぞれ取得する。これにより、画像間補正値導出部55は、第1撮影画像および第2撮影画像の傾斜角・倍率・位置の3つのパラメータである画像間補正値を導出することができる。
(第3の実施形態)
 第3の実施形態のマーカは、3個以上の各マーカに係るスカラ量を相関が強いパターンとして、各マーカのスカラ量の相関値を調べることで、基準位置を特定するものである。
 第3実施形態においてスカラ量とは、面状マーカにおける面積、または、線状マーカとして扱う場合における長さである。このようにすることで、共通マーカ特定部53は、各マーカの検出を簡易化することができる。
 図13(a),(b)は、第3の実施形態における両撮影画像の共通領域のマーカ像を示す図である。
 図13(a)は、撮影画像7-1の第1領域7RU-1の面状マーカ像群845を示している。
 撮影画像7-1には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが撮影されている。これら表面の欠損により、各マーカ像の消失や位置ズレが起こる。この図13(a)において、マーカ領域81-1は、第1領域7RU-1に対して右上側に位置している。
 マーカ領域81-1における面状マーカ像群845(第1マーカ)は、全体として面状に広がっており、横方向に5個の面状マーカ像845a~845eが並んで撮影されている。マーカ領域81-1には、複数の面状マーカ像群845(第1マーカ)が縦方向に所定間隔で並んでいる。
 隣接する3個の面状マーカ像845a~845cは、中心の面状マーカ像845bの面積が他の面状マーカ像845a,845cの面積よりも小さい。隣接する3個の面状マーカ像845b~845dは、中心の面状マーカ像845cの面積が他の面状マーカ像845b,845dの面積よりも小さい。隣接する3個の面状マーカ像845c~845eは、この順番で面積が次第に大きくなる。面状マーカ像845a~845eは、それぞれ連続する3個のマーカ像の面積において、相関性が強いパターンとして設定されている。これにより、面状マーカ像845a~845eのうち、連続する3個のマーカ像の組合せをのうち共通するものを特定することにより、基準となる概略の位置を決定することができる。
 各面状マーカ像845a~845e(第1マーカ)の間には、基準となる詳細な位置を特定するための点状マーカ像841(第2マーカ)が付与されている。
 面状マーカ像845a~845eは、表面の欠損によって影響を受けた場合にはその一部のみが消失し、特定される位置に誤差が生じる。よって、面状マーカ像845a~845eは、基準とする詳細な位置を特定するのに向いていない。
 それに対して点状マーカ像841は、表面の欠損による影響を受けた場合、点状マーカ像841全体が消失する。点状マーカ像841が検出できている場合、この点状マーカ像841は、表面の欠損による影響を受けていないので、基準となる詳細な位置を特定するのに向いている。
 図13(b)は、撮影画像7-2の第1領域7LU-2の面状マーカ像群845を示している。
 この図13(a)において、マーカ領域81-1は、第1領域7RU-1に対して左下側に位置している。各面状マーカ像845a~845eは、撮影画像7-1の第1領域7RU-1に比べて左下に位置している。
 共通マーカ特定部53は、撮影画像7-1の第1領域7RU-1上の各面状マーカ像群845のうち3個の面積と、撮影画像7-2の第1領域7LU-2の面状マーカ像群845のうち3個の面積との正規化相関値を算出する。算出した正規化相関値が所定値以上であったならば、これらの組合せを、共通するマーカ像の組合せとして特定する。
 各マーカ像の正規化相関値を計算するスカラ量は、マーカ像の面積に限られず、各面状マーカ像群845の長手方向の長さや短手方向の長さ(太さ)であってもよい。スカラ量は更に、点状マーカとその他の2点の点状マーカとが成す角度、線状マーカにおける長さ、点状マーカまたは線状マーカにおける相互間隔、線状マーカと他の線状マーカとの交角であってもよい。
 図14(a)~(c)は、第3の実施形態の変形例のマーカを示す図である。
 図14(a)は、面状マーカ群844を示す図である。
 面状マーカ像群844は、横方向に配列する4個の面状マーカ像844a~844dと、それらの間に位置する点状マーカ像841と、両端に位置する点状像マーカ842とで構成される。以下、面状マーカ像844aの面積をA、面状マーカ像844bの面積をB、面状マーカ像844cの面積をC、面状マーカ像844dの面積をDとして説明する。
 図14(a)に示す面状マーカ像群844のマーカ構成は、以下の(a1)である。その他の望ましいマーカ構成は、(a2)であるが、(a3)~(a6)であってもよい。第1撮影画像の横方向に連続する3つの面状マーカ像の面積と、第2撮影画像の横方向に連続する3つの面状マーカ像の面積との相関値を計算することで、両撮影画像に共通する面状マーカ像を特定することができる。
(a1) 山型と谷型のマーカ構成(A<B>C,B>C<D)
 面状マーカ像844a~844cは、その中心の面状マーカ像844bの面積が最も大きい。かつ、面状マーカ像844b~844dは、その中心の面状マーカ像844cの面積が最も小さい。
(a2) 谷型と山型のマーカ構成(A>B<C,B<C>D)
 面状マーカ像844a~844cは、その中心の面状マーカ像844bの面積が最も小さい。かつ、面状マーカ像844b~844dは、その中心の面状マーカ像844cの面積が最も大きい。
(a3) 山型と単調減少のマーカ構成(A<B>C,B>C>D)
 面状マーカ像844a~844cは、その中心の面状マーカ像844bの面積が最も大きい。かつ、面状マーカ像844b~844dは、この順番で面積が次第に小さくなる。
(a4) 単調増加と山型のマーカ構成(A<B<C,B<C>D)
 面状マーカ像844a~844cは、この順番で面積が次第に大きくなる。かつ、面状マーカ像844b~844dは、その中心の面状マーカ像844cの面積が最も大きい。
(a5) 単調減少と谷型のマーカ構成(A>B>C,B>C<D)
 面状マーカ像844a~844cは、この順番で面積が次第に小さくなる。かつ、面状マーカ像844b~844dは、その中心の面状マーカ像844cの面積が最も小さい。
(a6) 谷型と単調増加のマーカ構成(A>B<C,B<C<D)
 面状マーカ像844a~844cは、その中心の面状マーカ像844bの面積が最も小さい。かつ、面状マーカ像844b~844dは、この順番で面積が次第に大きくなる。
 図14(b)は、面状マーカ像群845を示す図である。
 面状マーカ像群845は、横方向に配列する5個の面状マーカ像845a~845eと、それらの間に位置する点状マーカ像841と、両端に位置する点状マーカ像842とで構成される。以下、面状マーカ像845aの面積をA、面状マーカ像845bの面積をB、面状マーカ像845cの面積をC、面状マーカ像845dの面積をD、面状マーカ像845eの面積をEとして説明する。
 図14(b)に示す面状マーカ像群845のマーカ構成は、以下の(b1)である。しかし、これに限られず、面状マーカ像群845のマーカ構成は、(b2)~(b6)であってもよい。第1撮影画像の横方向に連続する3つのマーカ像の面積と、第2撮影画像の横方向に連続する3つのマーカ像の面積との相関値を計算することで、両撮影画像に共通するマーカ像を特定することができる。
(b1) 山型と谷型と単調増加のマーカ構成(A<B>C,B>C<D,C<D<E)
 面状マーカ像845a~845cは、その中心の面状マーカ像845bの面積が最も大きい。面状マーカ像845b~845dは、その中心の面状マーカ像845cの面積が最も小さい。面状マーカ像845c~845eは、この順番で面積が次第に大きくなる。
(b2) 単調増加と山型と谷型のマーカ構成(A<B<C,B<C>D,C>D<E)
 面状マーカ像845a~845cは、この順番で面積が次第に大きくなる。面状マーカ像845b~845dは、その中心の面状マーカ像845cの面積が最も大きい。面状マーカ像845c~845eは、その中心の面状マーカ像845dの面積が最も小さい。
(b3) 谷型と単調増加と山型のマーカ構成(A>B<C,B<C<D,C<D>E)
 面状マーカ像845a~845cは、その中心の面状マーカ像845bの面積が最も小さい。面状マーカ像845b~845dは、この順番で面積が次第に大きくなる。面状マーカ像845c~845eは、その中心の面状マーカ像845dの面積が最も大きい。
(b4) 山型と単調減少と谷型のマーカ構成(A<B>C,B>C>D,C>D<E)
 面状マーカ像845a~845cは、その中心の面状マーカ像845bの面積が最も大きい。面状マーカ像845b~845dは、この順番で面積が次第に小さくなる。面状マーカ像845c~845eは、その中心の面状マーカ像845dの面積が最も小さい。
(b5) 単調減少と谷型と山型のマーカ構成(A>B>C,B>C<D,C<D>E)
 面状マーカ像845a~845cは、この順番で面積が次第に小さくなる。面状マーカ像845b~845dは、その中心の面状マーカ像845cの面積が最も小さい。面状マーカ像845c~845eは、その中心の面状マーカ像845dの面積が最も大きい。
(b6) 谷型と山型と単調減少のマーカ構成(A>B<C,B<C>D,C>D>E)
 面状マーカ像845a~845cは、その中心の面状マーカ像845bの面積が最も小さい。面状マーカ像845b~845dは、その中心の面状マーカ像845cの面積が最も大きい。面状マーカ像845c~845eは、この順番で面積が次第に小さくなる。
 図14(c)は、面状マーカ像群846を示す図である。
 面状マーカ像群846は、横方向に配列する6個の面状マーカ像846a~846fと、それらの間に位置する点状マーカ像841と、両端に位置する点状マーカ像842とで構成される。以下、面状マーカ像846aの面積をA、面状マーカ像846bの面積をB、面状マーカ像846cの面積をC、面状マーカ像846dの面積をD、面状マーカ像846eの面積をE、面状マーカ像846fの面積をFとして説明する。
 図14(c)に示す面状マーカ像群846のマーカ構成は、以下の(c1)であるが、(c2)~(c4)であってもよい。第1撮影画像の横方向に連続する3個の面状マーカ像の面積と、第2撮影画像の横方向に連続する3個の面状マーカ像の面積との相関値を計算することで、両撮影画像に共通する面状マーカ像を特定することができる。
(c1) 単調増加と山型と単調減少と谷型のマーカ構成(A<B<C,B<C>D,C>D>E,D>E<F)
 面状マーカ像846a~846cは、この順番で面積が次第に大きくなる。面状マーカ像846b~846dは、その中心の面状マーカ像846cの面積が最も大きい。面状マーカ像846c~846eは、この順番で面積が次第に小さくなる。面状マーカ像846d~846fは、その中心の面状マーカ像846eの面積が最も小さい。
(c2) 山型と単調減少と谷型と単調増加のマーカ構成(A<B>C,B>C>D,C>D<E,D<E<F)
 面状マーカ像846a~846cは、その中心の面状マーカ像846bの面積が最も大きい。面状マーカ像846b~846dは、この順番で面積が次第に小さくなる。面状マーカ像846c~846eは、その中心の面状マーカ像846dの面積が最も小さい。面状マーカ像846d~846fは、この順番で面積が次第に大きくなる。
(c3) 谷型と単調増加と山型と単調減少のマーカ構成(A>B<C,B<C<D,C<D>E,D>E>F)
 面状マーカ像846a~846cは、その中心の面状マーカ像846bの面積が最も小さい。面状マーカ像846b~846dは、この順番で面積が次第に大きくなる。面状マーカ像846c~846eは、その中心の面状マーカ像846dの面積が最も大きい。面状マーカ像846d~846fは、この順番で面積が次第に小さくなる。
(c4) 単調減少と谷型と単調増加と山型のマーカ構成(A>B>C,B>C<D,C<D<E,D<E>F)
 面状マーカ像846a~846cは、この順番で面積が次第に小さくなる。面状マーカ像846b~846dは、その中心の面状マーカ像846cの面積が最も小さい。面状マーカ像846c~846eは、この順番で面積が次第に大きくなる。面状マーカ像846d~846fは、その中心の面状マーカ像846eの面積が最も大きい。
 (a1)~(a6)と、(b1)~(b6)と、(c1)~(c4)に示すように、これら3個以上のマーカ構成は、隣接する3個のマーカのうち中心のマーカのスカラ量を、他の2個のマーカのスカラ量よりも大きくなるような設定を1つ含むか、または、中心のマーカのスカラ量を、他の2個のマーカのスカラ量と比べて小さくなるような設定を1つ含んでいる。
 図14(a)~(c)に示した各マーカに係るスカラ量は、強い相関性を有している。これにより、被写体9の表面状態によりマーカ像に多少の欠陥が生じても、両撮影画像に係るマーカ群の各面積の正規化相関値を算出することにより、両撮影画像に共通するマーカを取り違えることなく特定できる。
 なお、スカラ量は、面状マーカに係る面積に限られず、面状マーカまたは線状マーカにおける長さ、面状マーカにおける太さ、点状マーカとその他の2点の点状マーカとが成す角度、点状マーカまたは線状マーカにおける相互間隔、線状マーカと他の線状マーカとの交角のうち、いずれであってもよい。
 3個のマーカ構成において、以下の(d1),(d2)の関係であってもよい。
(d1) 単調増加と単調減少のマーカ構成(A<B,B>C)
 連続する第1マーカと第2マーカとは、この順番でスカラ量が次第に大きくなる。連続する第2マーカと第3マーカとは、この順番でスカラ量が次第に小さくなる。
(d2) 単調減少と単調増加のマーカ構成(A>B,B<C)
 連続する第1マーカと第2マーカとは、この順番でスカラ量が次第に小さくなる。連続する第2マーカと第3マーカとは、この順番でスカラ量が次第に大きくなる。
 3個以上のマーカ構成は、隣接する3個のマーカのうち中心のマーカのスカラ量が、他の2個のマーカのスカラ量よりも大きい場合に、他の2個のマーカのスカラ量と3個のスカラ量の平均との差が負となるような組合せを1つ含むか、または、中心のマーカのスカラ量が、他の2個のマーカのスカラ量と比べて小さくなる場合に、他の2個のマーカのスカラ量と3個のスカラ量の平均との差が負となるような組合せを1つ含む。これにより、後述するように、自己相関の関係にある場合は規格化相関値がほぼ1で正となり、それ以外の規格化相関値が負になるため、両者の規格化相関値の符号が異なる望ましい形となる。
 しかし、他の2個のマーカのスカラ量と平均スカラ量との差の符号が、中心のマーカのスカラ量と平均スカラ量との差の符号と逆にならず、片方のマーカスカラ量と平均スカラ量との差の符号が、中心のマーカのスカラ量と平均スカラ量との差の符号と同じになる場合においても、両者の値が大きく異なれば、自己相関以外の関係における規格化相関値は1よりも明らかに小さい値となる。よって、規格化相関値を計算することで、両撮影画像に共通するマーカとそうでないものを識別可能である。
 5個以上のマーカ構成においては更に、隣接する3個のマーカのスカラ量が連続して大きくなる組合せを1つ含むか、または、隣接する3個のマーカのスカラ量が連続して小さくなる組合せを1つ含む。
 更に、5個以上のマーカ構成において、連続する4個のマーカの組合せにおけるスカラ量の自己の相関を強いものとしてもよい。連続する4個のマーカの組合せで、スカラ量の自己の相関が強いものとは、例えば、単調増加・単調減少・第2マーカのスカラ量が最大となる山型・第3マーカのスカラ量が最大となる山型・第2マーカのスカラ量が最小となる谷型・第3マーカのスカラ量が最小となる谷型・第1マーカおよび第3マーカのスカラ量よりも第2マーカおよび第4マーカのスカラ量が小さいジグザグ型・第2マーカおよび第4マーカのスカラ量よりも第1マーカおよび第3マーカのスカラ量が小さいジグザグ型である。これらの組合せは、正規化相関値を算出することで、明確に区別することができる。
 マーカ構成は、連続する所定個数のマーカの組合せにおいて、スカラ量の自己の相関を強いものにすることにより、両撮影画像に共通するマーカを明確に特定することができる。
(正規化相関値の計算方法)
 最初に、4個のマーカ構成であって、(a1)で示した山型と谷型のパターンを例として、スカラ量の正規化相関値の計算方法を以下に示す。
 第1撮影画像の面状マーカ像844aの面積をA1、面状マーカ像844bの面積をB1、面状マーカ像844cの面積をC1、面状マーカ像844dの面積をD1とする。
 第1撮影画像の連続する3個の面状マーカ像844a~844cの面積の平均値基準は、以下の式(1)で算出する。
Figure JPOXMLDOC01-appb-M000001
 第2撮影画像の面状マーカ像844aの面積をA2、面状マーカ像844bの面積をB2、面状マーカ像844cの面積をC2、面状マーカ像844dの面積をD2とする。
 第2撮影画像の連続する3個の面状マーカ像844b~844dの面積の平均値基準は、以下の式(2)で算出する。
Figure JPOXMLDOC01-appb-M000002
 以下の式(3)に示すように、第1撮影画像の面状マーカ像844a~844cの面積と、第2撮影画像の面状マーカ像844a~844cの面積との正規化相関値を計算すると、およそ1となる。
Figure JPOXMLDOC01-appb-M000003
 第1撮影画像の連続する3個の面状マーカ像844b~844dの面積の平均値基準は、以下の式(4)で算出する。
Figure JPOXMLDOC01-appb-M000004
 第2撮影画像の連続する3個の面状マーカ像844b~844dの平均値基準を、以下の式(5)で算出する。
Figure JPOXMLDOC01-appb-M000005
 以下の式(6)に示すように、第1撮影画像の面状マーカ像844b~844dの面積と、第2撮影画像の面状マーカ像844b~844dの面積との正規化相関値を計算すると、およそ1となる。
Figure JPOXMLDOC01-appb-M000006
 以下の式(7)に示すように、第1撮影画像の面状マーカ像844a~844cの面積と、第2撮影画像の面状マーカ像844b~844dの面積との正規化相関値を計算すると、負の値となる。
Figure JPOXMLDOC01-appb-M000007
 以下の式(8)に示すように、第1撮影画像の面状マーカ像844b~844dの面積と、第2撮影画像の面状マーカ像844a~844cの面積との正規化相関値を計算すると、負の値となる。
Figure JPOXMLDOC01-appb-M000008
 次に4個のマーカ構成であって、(a3)で示した山型と単調減少のパターンを例として、スカラ量の正規化相関値の計算方法を以下に示す。
 第1撮影画像の面状マーカ像844aの面積をA1、面状マーカ像844bの面積をB1、面状マーカ像844cの面積をC1、面状マーカ像844dの面積をD1とする。第1撮影画像の連続する個の面状マーカ像844a~844cの面積の平均値基準は、式(1)で算出する。
 第2撮影画像の面状マーカ像844aの面積をA2、面状マーカ像844bの面積をB2、面状マーカ像844cの面積をC2、面状マーカ像844dの面積をD2とする。第2撮影画像の連続する3個の面状マーカ像844b~844dの面積の平均値基準は、式(2)で算出する。
 式(3)に示すように、第1撮影画像の面状マーカ像844a~844cの面積と、第2撮影画像の面状マーカ像844a~844cの面積との正規化相関値を計算すると、およそ1となる。
 第1撮影画像の連続する3個の面状マーカ像844b~844dの面積の平均値基準は、以下の式(9)で算出する。
Figure JPOXMLDOC01-appb-M000009
 第2撮影画像の連続する3個の面状マーカ像844b~844dの平均値基準を、以下の式(10)で算出する。
Figure JPOXMLDOC01-appb-M000010
 以下の式(11)に示すように、第1撮影画像の面状マーカ像844b~844dの面積と、第2撮影画像の面状マーカ像844b~844dの面積との正規化相関値を計算すると、およそ1となる。
Figure JPOXMLDOC01-appb-M000011
 以下の式(12)に示すように、第1撮影画像の面状マーカ像844a~844cの面積と、第2撮影画像の面状マーカ像844b~844dの面積との正規化相関値を計算すると、明確に1よりも小さな値となる。
Figure JPOXMLDOC01-appb-M000012
 以下の式(13)に示すように、第1撮影画像の面状マーカ像844b~844dの面積と、第2撮影画像の面状マーカ像844a~844cの面積との正規化相関値を計算すると、明確に1よりも小さな値となる。
Figure JPOXMLDOC01-appb-M000013
 このように、両撮影画像からそれぞれ選択した3個のマーカが共通ならば、各マーカに係るスカラ量の正規化相関値は、ほぼ1になる。両撮影画像からそれぞれ選択した3個のマーカが異なるならば、各マーカに係るスカラ量の正規化相関値は、明確に1よりも小さな値となる。
 一方の撮影画像の3個のマーカのスカラ量が山形で、他方の撮影画像の3個のマーカのスカラ量が谷型ならば、それらの正規化相関値は負となる。
 このように、一方の撮影画像の3個のマーカのスカラ量が山形または谷型で、他方の撮影画像の3個のマーカのスカラ量が単調減少または単調増加ならば、それらの正規化相関値は負にならない。
 ここで、例えば、式(14)に示すように、一方の撮影画像の正規化基準を設定する。
Figure JPOXMLDOC01-appb-M000014
 式(15)に示すように、他方の撮影画像の正規化基準を設定する。
Figure JPOXMLDOC01-appb-M000015
 式(14)と式(15)の正規化基準を、式(13)に代入すると、以下の式(16)に示すように、正規化相関値が算出できる。
Figure JPOXMLDOC01-appb-M000016
 これと逆の組み合わせは式(12)であり、同様の傾向を示す。
 式(16)の分子の第一項と第三項とは、符号が逆となるために打ち消しあう。式(16)の分子の第二項は、式(9)で定義されているように、θ1の値は0の近傍となる。これは本質的であり、β1、θ1、δ1の値が多少ずれても、共通する3点の正規化相関値の1よりも、明確に小さな値である。つまり、マーカ像の変形などにより、そのスカラ量がずれても、正規化相関値が大きく変わることはない。よって、正規化相関値の閾値を、例えば0.5のように設定することで、両画像に共通するマーカと異なるマーカとを安定して識別可能である。
 ここでは、山型パターンと単調減少パターンの正規化相関値について説明したが、山型パターンと単調増加パターン・谷型パターンと単調増加パターン・単調減少パターンと谷型パターンの正規化相関値も、同様に1よりも明確に小さな値である。
 また、単調増加パターンと単調減少パターンでは、式(13)の分子の第一項と第三項とが負になり、式(13)の分子の第二項は0の近傍となる。よって、単調増加パターンと単調減少パターンの正規化相関値は、負の値となる。
 正規化相関値は、平均値基準に基づいて計算すると共に、正規化しているので、両撮影画像間の倍率に依存しない。ここでは4~6個のマーカ構成の中で連続する3個のマーカのスカラ量のパターンを、山型パターン・谷型パターン・単調増加パターン・単調減少パターンの4つに分類している。これにより、各マーカのスカラ量の検出誤差があったとしても、これらのスカラ量のパターンが崩れない限り、共通するマーカと相違するマーカとを区別することができる。よって、4~6個のマーカ構成から、共通する3個のマーカの特定が可能になる。これにより、マーカ領域81-1と、撮影範囲6-1(共通範囲6C-1)との位置ズレに関わらず、両撮影画像に共通するマーカを取り違えることなく特定できる。更に、第1撮影画像の3個のマーカのスカラ量と、第2撮影画像の3個のマーカのスカラ量との相関演算なので、計算量が少なく、短時間で共通するマーカを特定できる。
 また、3個のマーカ構成の中で連続する2個のマーカのスカラ量のパターンを単調増加と単調減少のマーカ構成(A<B,B>C)とした(d1)について式(1)~式(8)を用いて説明する。式(1)~(8)において-c1、-c2、δ1,δ2の変数を削除すると、(d1)に示すマーカ構成における相関値を表すことができる。自己相関に相当する正規化相関値の式(3)と式(6)の値は≒1、相互相関に相当する正規化相関値の式(7)と式(8)の値は負となる。また、3個のマーカ構成の中で連続する2個のマーカのスカラ量のパターンを単調減少と単調増加のマーカ構成(A>B,B<C)とした(d2)についても、(d1)のマーカ構成と同様である。
 図15は、第3の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図15に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第3の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図15の共通マーカ特定処理を開始する。
 ステップS100において、マルチカメラ撮影画像合成装置1の撮影制御部4(図1参照)は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、複数の面状マーカを照射する。ここでレーザ装置3-1が面状マーカを照射するのは、マーカ領域81-1(図13参照)などである。
 ステップS101,S102の処理は、図6に示すステップS11,S12の処理と同様である。
 ステップS103において、マーカ像分離部52は、両撮影画像の第1領域の面状の画素集合体と、その面積とを取得する。
 ステップS104~S111において、共通マーカ特定部53は、第1撮影画像の連続する3個の面状の画素集合体について繰り返す。
 ステップS105~S110において、共通マーカ特定部53は、第2撮影画像の連続する3個の面状の画素集合体について繰り返す。
 ステップS106において、共通マーカ特定部53は、第1撮影画像の連続する3個の面状の画素集合体の面積と、第2撮影画像の連続する3個の面状の画素集合体の面積との正規化相関値を算出する。
 ステップS107において、共通マーカ特定部53は、算出した正規化相関値が所定値以上であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS108の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS110の処理を行う。
 ステップS108において、共通マーカ特定部53は、この面状の画素集合体間の、両撮影画像に共通の点状の画素集合体を取得する。
 ステップS109において、共通マーカ特定部53は、適切な形状であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS112の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS110の処理を行う。
 ステップS110において、共通マーカ特定部53は、第2撮影画像の連続する3集合体について、すべて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS111の処理を行い、当該判断条件が成立しなかったならば、ステップS105の処理に戻る。
 ステップS111において、共通マーカ特定部53は、第1撮影画像の連続する3集合体について、すべて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ノードEを介してステップS20(図1参照)の処理を行い、当該判断条件が成立しなかったならば、ステップS104の処理に戻る。
 ステップS112において、共通マーカ特定部53は、特定した点状の画素集合体から第1基準位置を取得する。ここで共通マーカ特定部53は、例えば、点状の画素集合体の中心座標を第1基準位置として取得する。共通マーカ特定部53は、ステップS112の処理が終了すると、ノードFを介してステップS16(図1参照)の処理を行う。
(第4の実施形態)
 第4の実施形態のレーザ装置は、複数の線状マーカを照射し、これら線状マーカの各交点における交角が、それぞれ異なる数値となるようにしている。両撮影画像において傾斜角・倍率・位置が変化しても、各交点の交角は、同一である。よって、共通マーカ特定部53は、この交角に基づいて、基準となる位置を特定することができる。
 図16は、第4の実施形態における被写体上の線マーカを示す図である。
 第1範囲6U-1は、マーカ領域81-1と、ほぼ一致している。マーカ領域81-1には、6本の線状マーカ85a~85fが、点852を中心として放射状かつ面状に広がるように照射される。マーカ領域81-1には、8本の線状マーカ85p~85wが、点853を中心として放射状かつ面状に広がるように照射される。線状マーカ85a~85fと線状マーカ85p~85wとは、レーザ装置3-1が共通範囲6C-1に照射したものである。
 線状マーカ85a~85fの傾斜角は、+45度以上または-45度以下である。線状マーカ85p~85wの傾斜角は、-45度を超えており、かつ+45度未満である。これにより、共通マーカ特定部53は、両線状マーカを容易に区別することができる。
 被写体9(図1参照)の上には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが形成される。線状マーカ85c,85vは、凹み91に重なる部分の奥行き方向のずれにより、撮影像の相対的な位置ズレが発生する。線状マーカ85b,85uは、穴92と重なる部位が消失する。線状マーカ85sは、溝93と重なる部位が消失する。線状マーカ85a~85eは、溝93と重なる部位が消失する。線状マーカ85c~85eは、材質変化94と重なる部位が消失する。しかし、線状マーカ85a~85fや線状マーカ85p~85wのうち、これら表面の欠損と重ならない部位は、位置ズレや消失など無しに撮影することができる。
 よって、放射状に照射される線状マーカ85a~85fおよび線状マーカ85p~85wにより、被写体9の表面状態にかかわらず、隣接する撮影画像7-1,7-2で共通する線状マーカを検出して交点を検出可能である。これにより、隣接する撮影画像7-1,7-2を合成することができる。
 図17(a),(b)は、第4の実施形態における両撮影画像の共通領域の線状マーカ像を示す図である。
 図17(a)は、撮影画像7-1の第1領域7RU-1の線状マーカ像を示している。
 マーカ領域81-1における線状マーカ像851b~851fは、放射状である。線状マーカ像851p~851wは、点853を中心とする放射状である。
 線状マーカ像851rは、線状マーカ像851bとの交角が69°、線状マーカ像851cとの交角が61°、線状マーカ像851dとの交角が53°である。線状マーカ像851tは、線状マーカ像851bとの交角が95°、線状マーカ像851cとの交角が87°、線状マーカ像851dとの交角が79°である。線状マーカ像851uは、線状マーカ像851bとの交角が108°、線状マーカ像851cとの交角が100°、線状マーカ像851dとの交角が92°である。
 線状マーカ像851b~851fや線状マーカ像851p~851wは、第1領域7RU-1のマーカとして識別可能である。線状マーカ像851b~851fのうちの1つと、線状マーカ像851p~851wのうちの1つとを分離することにより、それらの交角と交点とを求めることができる。
 図17(b)は、撮影画像7-2の第1領域7LU-2の線状マーカ像を示している。
 撮影画像7-2の第1領域7LU-2の線状マーカ像851b~851fと、線状マーカ像851p~851wとは、撮影画像7-1の第1領域7RU-1の線状マーカ像851b~851fと、線状マーカ像851p~851wと共通しており、更に線状マーカ像851aを含んでいる。
 線状マーカ像851rは、線状マーカ像851aとの交角が77°、線状マーカ像851bとの交角が69°、線状マーカ像851cとの交角が61°、線状マーカ像851dとの交角が53°である。
 線状マーカ像851tは、線状マーカ像851aとの交角が103°、線状マーカ像851bとの交角が95°、線状マーカ像851cとの交角が87°、線状マーカ像851dとの交角が79°である。
 線状マーカ像851uは、線状マーカ像851aとの交角が116°、線状マーカ像851bとの交角が108°、線状マーカ像851cとの交角が100°、線状マーカ像851dとの交角が92°である。
 撮影画像7-2の第1領域7LU-2における、線状マーカ像の各交点における交角は、撮影画像7-1の第1領域7RU-1の対応する各交点における交角と一致している。線状マーカ像の各交点における交角は、撮影画像7-1,7-2間の傾斜角・倍率・位置によらず共通である。
 更に、線状マーカ像の各交点における交角は、相互に取り違える可能性のある範囲において、それぞれ異なっている。ここで、相互に取り違える可能性のある範囲とは、例えば、隣接する両撮影領域の相対位置の誤差と、マーカ付与位置の誤差との和で示される範囲である。
 よって、共通マーカ特定部53は、撮影画像7-1と撮影画像7-2との線状マーカ像の各交点について、その交角が一致するものを、共通する交点として特定し、その交点の位置を基準となる位置として特定することができる。
 図18、図19は、第4の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図18、図19に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 マルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図18の共通マーカ特定処理を開始する。
 ステップS120において、マルチカメラ撮影画像合成装置1の撮影制御部4は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、複数の線状マーカを放射状に照射する。ここでレーザ装置3-1が複数の線状マーカを照射するのは、マーカ領域81-1などである。
 ステップS121,S122の処理は、図6に示すステップS11,S12の処理と同様である。
 ステップS123~S133において、共通マーカ特定部53は、両撮影画像について処理を繰り返す。すなわち、共通マーカ特定部53は、第1撮影画像についての処理を行ったのちに、第2撮影画像についての処理を行う。
 ステップS124において、共通マーカ特定部53は、この撮影画像について、所定範囲での欠損を考慮した画素集合体を新たに取得する。
 ステップS125において、共通マーカ特定部53は、画素集合体が存在する範囲を算出する。
 ステップS126において、共通マーカ特定部53は、画素集合体の幅と長さとを判断する。
 ステップS127において、共通マーカ特定部53は、画素集合体が線として適正であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS128の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS132の処理を行う。
 ステップS128において、共通マーカ特定部53は、最小二乗法により線の一次関数を求める。
 ステップS129において、共通マーカ特定部53は、傾斜角は-45度を超え、かつ+45度未満であるか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS130の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS131の処理を行う。
 ステップS130において、共通マーカ特定部53は、この画素集合体に横線の識別子を付与し、ステップS132の処理を行う。
 ステップS131において、共通マーカ特定部53は、この画素集合体に縦線の識別子を付与する。
 ステップS132において、共通マーカ特定部53は、すべての画像集合体の取得が終了したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS133の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS124の処理に戻る。
 ステップS133において、共通マーカ特定部53は、両撮影画像について処理を繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ノードLを介してステップS134(図19参照)の処理を行い、当該判断条件が成立しなかったならば、ステップS123の処理に戻る。
 図19は、第4の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。
 ステップS134~S141において、共通マーカ特定部53は、第1撮影画像の第1領域の縦線と横線の組合せについて繰り返す。
 ステップS135において、共通マーカ特定部53は、第1撮影画像の当該組合せに係る縦線と横線の交角を求める。
 ステップS136~S140において、共通マーカ特定部53は、第2撮影画像の第1領域の縦線と横線の組合せについて繰り返す。
 ステップS137において、共通マーカ特定部53は、第2撮影画像の当該組合せに係る縦線と横線の交角を求める。
 ステップS138において、共通マーカ特定部53は、両撮影画像において、これら縦線と横線の交角が一致するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS139の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS140の処理を行う。
 ステップS139において、共通マーカ特定部53は、当該組合せに係る縦線と横線の交点を記録する。
 ステップS140において、共通マーカ特定部53は、第2撮影画像の第1領域のすべての縦線と横線の組合せについて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS141の処理を行い、当該判断条件が成立しなかったならば、ステップS136の処理に戻る。
 ステップS141において、共通マーカ特定部53は、第1撮影画像の第1領域のすべての縦線と横線の組合せについて繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS142の処理を行い、当該判断条件が成立しなかったならば、ステップS134の処理に戻る。
 ステップS142において、共通マーカ特定部53は、縦線と横線の交点の記録が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS143の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 ステップS143において、共通マーカ特定部53は、最も外側の交点を第1基準位置として取得し、ノードFを介してステップS16(図6参照)の処理を行う。
 線状マーカの交角は、両撮影画像の傾斜角・倍率・位置によらず共通である。よって、線状マーカの各交点のうち、交角が一致するものを検出することにより、共通する交点(位置)を特定することができる。
 なお、ここでは線状マーカの交点で構成した識別性の高い交角の配置について示したが、この交角の配置を第5の実施形態にあるように点状マーカとそれに近接する他の2点の点状マーカとが成す角度に置き換えてもよい。
(第5の実施形態)
 第5の実施形態は、各マーカのスカラ量の相関値を調べることで、基準位置を特定するものである。第5の実施形態においてスカラ量とは、点状マーカとその他の2点の点状マーカとが成す角度である。
 図20(a),(b)は、第5の実施形態における両撮影画像の共通領域の点状マーカ像を示す図である。
 図20(a)は、撮影画像7-1の第1領域7RU-1の点状マーカ像861を示している。
 マーカ領域81-1における各点状マーカ像861は、面状に広がっており、位置がランダムである。このように、レーザ装置3-1,3-2,…は、ランダムに配置した3個以上の点状マーカを第1範囲6U-1,6U-2,…と第2範囲6L-1,6L-2,…に照射することにより、様々な被写体9の形状に対応し、被写体9の表面状態の劣化による変化に対応することができる。
 撮影画像7-1の第1領域7RU-1には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが撮影されている。これら表面の欠損により、一部の点状マーカ像861が消失している。
 点状マーカ像861aの近傍には、点状マーカ像861b,861cが存在する。点状マーカ像861aと点状マーカ像861bとを結ぶ線と、点状マーカ像861aと点状マーカ像861cとを結ぶ線の交角は、角度θである。すなわち、点状マーカ像861aが点状マーカ像861b,861cと成す角度は、角度θである。
 図20(b)は、撮影画像7-2の第1領域7LU-2の点状マーカ像861を示している。
 撮影画像7-2の第1領域7LU-2の点状マーカ像861a,861b,861cは、撮影画像7-1の第1領域7RU-1の点状マーカ像861a,861b,861cと共通している。
 撮影画像7-2においても、撮影画像7-1と同様に、点状マーカ像861aが、点状マーカ像861b,861cとは、角度θを成している。そして、各点状マーカ像861はランダムに配置されているので、各点状マーカ像861が近傍の2点の点状マーカ像861と成す角度が、それぞれが同じになる確率は非常に低い。撮影画像7-1,7-2において各点状マーカ像861が近傍の2点の点状マーカ像861と成す角度を調べることにより、共通する点状マーカ像861を特定することができる。複数の各点状マーカ861において、近傍の2点と成す角度を求めることにより、共通する点状マーカ像861の特定精度を更に高めることができる。
 図21、図22は、第5の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図21、図22に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第5の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図21の共通マーカ特定処理を開始する。
 ステップS150において、マルチカメラ撮影画像合成装置1の撮影制御部4(図1参照)は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、ランダムな位置に複数の点状マーカを照射する。
 ステップS151,S152の処理は、図6に示すステップS11,S12の処理と同様である。
 ステップS153~S159において、共通マーカ特定部53は、両撮影画像について処理を繰り返す。すなわち、共通マーカ特定部53は、第1撮影画像についての処理を行ったのちに、第2撮影画像についての処理を行う。
 ステップS154において、共通マーカ特定部53は、第1領域から、マーカ像の画素集合体を新たに取得する。
 ステップS155において、共通マーカ特定部53は、この画素集合体の形状を判定する。共通マーカ特定部53は、形状が点状ならば、ステップS156の処理を行い、形状がその他のものであったならば、ステップS158の処理を行う。
 ステップS156において、共通マーカ特定部53は、この画素集合体の中心位置を求める。
 ステップS157において、共通マーカ特定部53は、この画素集合体に識別子を付与する。
 ステップS158において、共通マーカ特定部53は、第1領域について、すべての画像集合体の取得が終了したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS159の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS154の処理に戻る。
 ステップS159において、共通マーカ特定部53は、両撮影画像について処理を繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ノードMを介してステップS160(図22参照)の処理を行い、当該判断条件が成立しなかったならば、ステップS153の処理に戻る。
 図22は、第5の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。
 ステップS160において、共通マーカ特定部53は、両撮影画像の第1領域の各画素集合体について、その最寄りの2点の画素集合体と成す角度を求める。
 ステップS161~S166において、共通マーカ特定部53は、第1撮影画像の第1領域の全画素集合体について繰り返す。
 ステップS162~S165において、共通マーカ特定部53は、第2撮影画像の第1領域の全画素集合体について繰り返す。
 ステップS163において、共通マーカ特定部53は、第1撮影画像の画素集合体に係る角度と、第2撮影画像の画素集合体に係る角度とが一致するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS164の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS165の処理を行う。
 ステップS164において、共通マーカ特定部53は、第1撮影画像の画素集合体と第2撮影画像の画素集合体との組合せを記録する。この組合せは、共通するマーカ像に係るものである。
 ステップS165において、共通マーカ特定部53は、第2撮影画像の第1領域の全集合体について繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS166の処理を行い、当該判断条件が成立しなかったならば、ステップS162の処理に戻る。
 ステップS166において、共通マーカ特定部53は、第1撮影画像の第1領域の全集合体について繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS167の処理を行い、当該判断条件が成立しなかったならば、ステップS161の処理に戻る。
 ステップS167において、共通マーカ特定部53は、角度が一致する集合体の組合せが存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS168の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 ステップS168において、共通マーカ特定部53は、記録した画素集合体の組合せを基準に、両撮影画像の各画素集合体の位置を補正する。
 ステップS169において、共通マーカ特定部53は、記録した画素集合体組合せの、両撮影画像における正規化相関値を算出する。
 ステップS170において、共通マーカ特定部53は、画素集合体組合せの、両撮影画像における正規化相関値が、強い相関を示しているか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS171の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 ステップS171において、共通マーカ特定部53は、最も外側の画素集合体の位置の組合せを、第1基準位置として取得し、ノードFを介してステップS16(図6参照)の処理を行う。
 なお、第5の実施形態では、マーカ像として点状のものを付与して、このマーカ像に係るスカラ量として、点状マーカとその近傍2点とが成す角度を用いている。しかし、これに限られず、マーカ像とそのスカラ量は、ランダムなスカラ量として線状マーカにおける長さ、点状マーカまたは線状マーカにおける相互間隔、線状マーカと他の線状マーカとの交角であってもよい。
 また、ランダムに配置された点状マーカでは、交角というスカラ量だけでなく、点状マーカの位置情報(座標)の関係について、傾斜角・倍率・位置のパラメータを振って第1撮影画像と第2撮影画像の共通領域における相関値を求めることで、画像間補正値を導出することも可能である。この方法は、限られた数のランダムな点状マーカの位置の相関値を求めるだけであるため、両撮影画像の輝度分布の相関値を算出して画像間の補正値を求める方法と比較して、格段に計算量を減らすことができる。
(第6の実施形態)
 第6の実施形態のレーザ装置3-1,3-2,…は、第5の実施形態と同様に、ランダムに配置された3個以上の点状マーカを照射し、更に1本以上の線状マーカを照射する。
 図23は、第6の実施形態における被写体9上の共通撮影範囲の点状マーカを示す図である。
 第1範囲6U-1は、撮影範囲6-1の右上側であり、撮影範囲6-2の左上側である。第1範囲6U-1は、マーカ領域81-1と、ほぼ一致している。マーカ領域81-1には、ランダムに配置された複数の点状マーカ86が照射され、更に3本の線状マーカ87a,87b,87cが照射される。
 被写体9(図1参照)の上には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが形成される。点状マーカ86や線状マーカ87a,88bのうち凹み91に重なる部分は、被写体9の奥行き方向のずれにより、撮影時の相対的な位置ズレが発生する。点状マーカ86や、線状マーカ87a~87cのうち、穴92、溝93、および、材質変化94と重なる部位は消失する。しかし、点状マーカ86や線状マーカ87a~87cのうち、これら表面の欠損と重ならない部位は、位置ズレや消失など無しに撮影することができる。
 よって、ランダムに配置された点状マーカ86により、被写体9の表面状態にかかわらず、隣接する両撮影画像で共通するマーカ像を検出可能である。更に線状マーカ87a,87cにより、両撮影画像の傾斜角を検出可能である。これにより、隣接する撮影画像7-1,7-2を合成することができる。
 共通基準方向89は、線状マーカ87a,87b,87cのうちいずれかで特定した基準となる方向である。例えば、点状マーカ86bと、その最寄りの点状マーカ86cとは、共通基準方向89に対して角度φの線上に位置している。
 図24、図25は、第6の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図21、図22に示す第5の実施形態の共通マーカ特定処理と同一の要素には同一の符号を付与している。図24、図25に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第6の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図24の共通マーカ特定処理を開始する。
 ステップS150において、マルチカメラ撮影画像合成装置1の撮影制御部4(図1参照)は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、ランダムな位置に複数の点状マーカ86を照射し、更に線状マーカ87a~87cを照射する。
 ステップS151~S155の処理は、図21のステップS151~S155の処理と同様である。
 ステップS155において、共通マーカ特定部53は、この画素集合体の形状を判定する。共通マーカ特定部53は、形状が点状ならば、ステップS156の処理を行い、形状が線状ならば、ステップS156Eの処理を行い、形状がその他のものであったならば、ステップS158の処理を行う。
 ステップS156Eにおいて、共通マーカ特定部53は、この画素集合体が示す線の一次関数を求め、ステップS157Eの処理を行う。
 ステップS157Eにおいて、共通マーカ特定部53は、この画素集合体が示す線の傾斜角を記録し、ステップS158の処理を行う。
 ステップS156~S159の処理は、図21のステップS156~S159の処理と同様である。共通マーカ特定部53は、ステップS159のループの判断条件(終了条件)が成立したならば、ステップS180の処理を行う。
 ステップS180において、共通マーカ特定部53は、両撮影画像の傾斜角の記録が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS181の処理を行い、当該判断条件が成立しなかったならば(No)、ノードM2を介してステップS160の処理を行う。
 ステップS181において、共通マーカ特定部53は、両撮影画像の傾斜角を取得し、ノードM2を介してステップS160(図25参照)の処理を行う。
 図25は、第6の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。
 ステップS160Eにおいて、共通マーカ特定部53は、両撮影画像の第1領域の各集合体と、その最寄りの1点の集合体とが成す線と、両撮影画像間の傾斜角を補正した共通基準方向89とが成す角度を求める。
 ステップS161~S167の処理は、図22のステップS161~S167の処理と同様である。
 ステップS168Eにおいて、共通マーカ特定部53は、両撮影画像の傾斜角と、記録した画素集合体の組合せを基準に、両撮影画像の各画素集合体の位置を補正し、ステップS169の処理を行う。
 ステップS169~S171の処理は、図22のステップS169~S171の処理と同様である。
 第6の実施形態では、ランダムに配置された点状マーカに線状マーカを追加することにより、両撮影画像の傾斜角を容易に特定可能である。各点状マーカの最寄りの2点を検出してその3点からなる2つの組の線の角度差を求める処理よりも、各点状マーカの最寄りの1点を検出して共通基準方向89に対する角度φを求める処理の方が計算量が少ない。
 また、ランダムに配置された点状マーカの両撮影画像の関係について、傾斜角・倍率・位置のパラメータを振って第1撮影画像と第2撮影画像の共通領域のマーカ像群の位置関係を調べて補正値を求める方法において、線分から得た傾斜角の補正値を適用することで特定すべきパラメータが倍率と位置パラメータのみに限定されるので、計算量を減らすことができる。
(第7の実施形態)
 第7の実施形態のレーザ装置3-1,3-2,…は、第5の実施形態と同様に、ランダムに配置された3個以上の点状マーカを照射し、更に1組以上の平行な線状マーカの組合せを照射する。
 図26は、第7の実施形態における被写体上の共通撮影範囲の点状マーカと線状マーカを示す図である。図23に示す第6の実施形態における被写体上の共通撮影範囲と同一の要素には同一の符号を付与している。
 第1範囲6U-1は、撮影範囲6-1の右上側であり、撮影範囲6-2の左上側である。第1範囲6U-1は、マーカ領域81-1と、ほぼ一致している。マーカ領域81-1には、ランダムに配置された複数の点状マーカ86が照射され、平行な線状マーカ87a~87cの組合せが照射され、更に平行な線状マーカ88a~88dの組合せとが照射される。
 被写体9(図1参照)の上には、表面の欠損である凹み91と、穴92と、溝93と、材質変化94とが形成される。点状マーカ86や線状マーカ87a,88bのうち凹み91に重なる部分は、被写体9の奥行き方向のずれにより、撮影像の相対的な位置ズレが発生する。点状マーカ86や、線状マーカ87a~87cや、線状マーカ88a~88dのうち、穴92、溝93、および、材質変化94と重なる部位は消失する。しかし、点状マーカ86や線状マーカ87a~87cや線状マーカ88a~88dのうち、これら表面の欠損と重ならない部位は、位置ズレや消失など無しに撮影することができる。
 よって、ランダムに配置された点状マーカ86により、被写体の表面状態にかかわらず、隣接する撮影画像で共通するマーカ像を検出可能である。更に線状マーカ87a,87cにより、両撮影画像の傾斜角を検出可能である。更に平行な線状マーカ88b,88cの組合せを検出して、これらの相互間隔dを検出することにより、両撮影画像の倍率を検知することができる。これにより、隣接する撮影画像7-1,7-2を合成することができる。
 図27、図28は、第7の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図21、図22に示す第5の実施形態の共通マーカ特定処理と同一の要素には同一の符号を付与している。図27、図27に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第7の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図27の共通マーカ特定処理を開始する。
 ステップS150Fにおいて、マルチカメラ撮影画像合成装置1の撮影制御部4(図1参照)は、各レーザ装置3-1,3-2などによって、被写体9の各撮影範囲6-1,6-2などの共通範囲6C-1,6C-2などに、ランダムな位置に複数の点状マーカ86を照射し、更に線状マーカ87a~87cと線状マーカ88a~88dとを照射する。
 ステップS151~S155の処理は、図21のステップS151~S155の処理と同様である。
 ステップS155において、共通マーカ特定部53は、この画素集合体の形状を判定する。共通マーカ特定部53は、形状が点状ならば、ステップS156の処理を行い、形状が線状ならば、ステップS156Eの処理を行い、形状がその他のものであったならば、ステップS158の処理を行う。
 ステップS156Eにおいて、共通マーカ特定部53は、この画素集合体が示す線の一次関数を求め、ステップS157Eの処理を行う。
 ステップS157Eにおいて、共通マーカ特定部53は、この画素集合体が示す線の傾斜角を記録し、ステップS158の処理を行う。
 ステップS156~S159の処理は、図21のステップS156~S159の処理と同様である。共通マーカ特定部53は、ステップS159のループの判断条件(終了条件)が成立したならば、ステップS180の処理を行う。
 ステップS180において、共通マーカ特定部53は、両撮影画像の傾斜角の記録が存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS181の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS182の処理を行う。
 ステップS181において、共通マーカ特定部53は、両撮影画像の傾斜角を取得する。
 ステップS182において、共通マーカ特定部53は、両撮影画像とも共通する平行線を1組以上検出したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS183の処理を行い、当該判断条件が成立しなかったならば(No)、ノードM3を介してステップS160(図28参照)の処理を行う。
 ステップS183において、共通マーカ特定部53は、平行線の間隔から、両撮影画像の倍率を算出し、ノードM3を介してステップS200(図28参照)の処理を行う。
 図28は、第7の実施形態における第1領域の共通マーカ特定処理を示すフローチャート(その2)である。
 ステップS200において、共通マーカ特定部53は、両撮影画像の傾斜角および倍率により両撮影画像の各画素集合体の位置を補正して、それらの中心座標を求める。
 ステップS201~S207において、共通マーカ特定部53は、第1撮影画像の第1領域の全画素集合体について繰り返す。
 ステップS202において、共通マーカ特定部53は、第1撮影画像の第1領域の処理ループにおける、現在の処理対象の画素集合体の中心座標を選択する。
 ステップS203~S206において、共通マーカ特定部53は、第2撮影画像の第1領域の全画素集合体について繰り返す。
 ステップS204において、共通マーカ特定部53は、第2撮影画像の第1領域の処理ループにおける現在の処理対象の画素集合体の中心座標と、選択した中心座標が重なるように、位置オフセットを求める。
 ステップS205において、共通マーカ特定部53は、第2撮影画像の第1領域の集合体の中心座標を位置オフセットだけシフトさせた中心座標群と、第1撮影画像の集合体の中心座標群との正規化相関値を算出する。
 ステップS206において、共通マーカ特定部53は、第2撮影画像の中心座標群と第1撮影画像の中心座標群とが強い相関を有しているか否かを判断する。共通マーカ特定部53は、第2撮影画像の中心座標群と第1撮影画像の中心座標群との正規化相関値が所定値以上であるか否かによって、両中心座標群の相関を判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS211の処理を行い、当該判断条件が成立しなかったならば(No)、ステップS207の処理を行う。
 ステップS207において、共通マーカ特定部53は、第2撮影画像の第1領域の全集合体について繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS208の処理を行い、当該判断条件が成立しなかったならば、ステップS201の処理に戻る。
 ステップS208において、共通マーカ特定部53は、第1撮影画像の第1領域の全集合体について繰り返したか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば、ステップS209の処理を行い、当該判断条件が成立しなかったならば、ステップS203の処理に戻る。
 ステップS209において、共通マーカ特定部53は、第2領域の相関判定処理を行う。第2領域の相関判定処理において、共通マーカ特定部53は、ステップS201~S208と同様な処理を両撮影画像の第2領域について行う。
 ステップS210において、共通マーカ特定部53は、両撮影画像の第2領域の正規化相関値に強い相関が有るか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS211の処理を行い、当該判断条件が成立しなかったならば(No)、ノードEを介してステップS20(図6参照)の処理を行う。
 ステップS211において、共通マーカ特定部53は、位置オフセットを、既に求めた傾斜角・倍率と共に画像間補正値として記録する。
 ステップS211において、共通マーカ特定部53は、画像間補正値に基づき、撮影画像群を合成し、図28の処理を終了する。
 第7の実施形態では、平行な線状マーカを追加することにより、両撮影画像の傾斜角と倍率とが容易に特定可能である。このため、ランダムに配置された点状マーカの両撮影画像の関係について、傾斜角・倍率・位置のパラメータを振って第1撮影画像と第2撮影画像の共通領域における相関値を求める方法において、線状マーカから得た傾斜角と倍率の補正値を適用する。これにより、点状マーカによって特定すべきパラメータが位置のみに限定され、大幅に計算量を減らすことができる。
(第8の実施形態)
 第1~第7の実施形態の共通マーカ特定部53は、第1の撮影画像と第2の撮影画像を直接比較することにより、両撮影画像に共通するマーカを特定する。
 それに対して、第8の実施形態の共通マーカ特定部53は、予め共通領域に付与するマーカ像のテンプレートを記憶し、両撮影画像のマーカ像とテンプレートのマーカ像との相関処理により共通するマーカ像を特定する。共通マーカ特定部53は更に、第1の撮影画像およびテンプレートで共通するマーカ像と、第2の撮影画像およびテンプレートで共通するマーカ像とで共通するものを特定して、基準となる位置を得る。これにより、共通マーカ特定部53は、位置ズレしたマーカ像を排除して、基準となる正しい位置を得ることができる。
 図29(a),(b)は、第8の実施形態における撮影画像の共通領域の点状マーカ像を示す図である。
 図29(a)は、撮影画像7-1上の点状マーカ像861を示している。
 マーカ領域81-1における各点状マーカ像861は、ランダムに位置している。これらランダムな複数の点状マーカ像861は、各テンプレート74の範囲に含まれている。
 テンプレート74は、レーザ装置3-1が照射したランダムな複数の点状マーカの原図である。各点状マーカ像861とテンプレート74上での位置との相関を確認することで、点状マーカ像861の位置ズレを検出して、これを除外することができる。
 ここで、テンプレート74は、複数の点状マーカ像861の位置の情報と、検出許容領域の情報とを含んでおり、マルチカメラ撮影画像合成装置1が備える不図示の記憶部に記憶されている。
 図29(a)は、撮影画像7-1上の点状マーカ像821を示している。
 マーカ領域81-1における各点状マーカ像821は、マトリクス状に位置している。このマトリクスは、P行~U行と、A列~D列の組合せで構成されている。これらマトリクス状の点状マーカ像821は、各テンプレート75の範囲に含まれている。
 テンプレート75は、テンプレート74と同様に、レーザ装置3-1が照射したマトリクス状の複数の点状マーカの原図である。点状マーカ像821は、このテンプレート75上での位置との相関により、位置ズレしているか否かを判断可能であり、基準となる位置を特定する上で不適切な点状マーカ像821を除外することができる。
 ここで、テンプレート75は、テンプレート74と同様に、複数の点状マーカ像821の位置の情報と、検出許容領域の情報とを含んでおり、マルチカメラ撮影画像合成装置1が備える不図示の記憶部に記憶されている。
 図30は、第8の実施形態における第1領域の共通マーカ特定処理を示すフローチャートである。図30に示す共通マーカ特定処理は、図6のステップS10~S15の処理に対応している。
 第8の実施形態のマルチカメラ撮影画像合成装置1は、操作者から被写体9の撮影を指示されると、図30の共通マーカ特定処理を開始する。
 ステップS190~S192の処理は、図6に示すステップS10~S12の処理と同様である。
 ステップS193において、共通マーカ特定部53は、両撮影画像の第1領域から、すべての画素集合体を取得する。
 ステップS194において、共通マーカ特定部53は、各画素集合体の中心位置を求める。
 ステップS195において、共通マーカ特定部53は、第1撮影画像の第1領域の各画素集合体の中心位置と、テンプレート位置との相関処理により、共通するマーカ像を特定する。
 ステップS196において、共通マーカ特定部53は、第2撮影画像の第1領域の各集合体の中心位置と、テンプレート位置との相関処理により、共通するマーカ像を特定する。これらステップS195,S196の処理により、位置ズレしたマーカ像を排除して、基準となる正しい位置を得ることができる。
 ステップS197において、共通マーカ特定部53は、特定した第1撮影画像のマーカ像と第2撮影画像のマーカ像とが共通するか判定する。
 ステップS198において、共通マーカ特定部53は、共通するマーカが存在するか否かを判断する。共通マーカ特定部53は、当該判断条件が成立したならば(Yes)、ステップS199の処理を行い、当該判断条件が成立しなかったならば(No)、ノードE3を介してステップS20(図6参照)の処理を行う。
 ステップS199において、共通マーカ特定部53は、最も外側のマーカを第1基準位置として取得し、ノードFを介してステップS16(図6参照)の処理を行う。
(変形例)
 本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。
 ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
 本発明の変形例として、例えば、次の(a)~(i)のようなものがある。
(a) 上記実施形態では、マーカ付与範囲を重複する撮影範囲に限定しているが、これに限られず、マーカ付与範囲は、もっと余裕をもった広い範囲であってもよい。
(b) 上記実施形態のマーカ付与範囲は、各撮影領域のうち隣接する撮影領域との共通領域の上部および下部としている。しかし、これに限られず、マーカ付与範囲は、共通領域の中央部を含んでもよい。
(c) 画像合成処理部56は、マーカ無し画像に限られず、マーカが付与された画像を結合して、高解像度画像を生成してもよい。
(d) 点状マーカ像の画素集合体の中心に対する輪郭の分布が、基準となる輪郭の分布から外れているか否かによって、点状マーカ像の形状が適切か否かを判断してもよい。
(e) 両撮影画像の共通領域を構成する第1領域と第2領域のうち、一方の共通するマーカ像が特定できず、かつ、他方の共通マーカが特定できる場合には、被写体から共通する特徴部分を特定して、共通する特徴部分により2個の基準となる位置をそれぞれ特定して、画像間補正値を導出してもよい。
(f) マーカ付与手段に非可視光レーザを照射するレーザ装置を用いて、可視光と非可視光とを同時に撮影するカメラで被写体とマーカ領域とを同時に撮影し、可視光による合成画像を生成してもよい。非可視光とは、例えば赤外線や紫外線などである。これにより、マーカ付与画像とマーカ無し画像とを、タイムラグなしに同時に撮影することができるので、位置合わせ誤差が発生しなくなる。
(g) マーカ付与手段に可視光レーザを照射するレーザ装置を用いて、可視光と非可視光とを同時に撮影するカメラで被写体とマーカ領域とを同時に撮影し、非可視光による合成画像を生成してもよい。非可視光とは、例えば赤外線や紫外線などである。これにより、非可視光による撮影画像を合成(結合)することができる。
(h) 複数のカメラに代えて、単一のカメラで複数の撮影領域を順次撮影し、これら複数の撮影領域で隣り合う撮影領域の共通範囲にマーカを付与し、隣接する各撮影画像を合成(結合)してもよい。
(i) 上記実施形態では、マーカの付与と撮影とを行いながら画像合成の処理している。しかし、これに限られず、被写体のマーカ付与と撮影とを行って撮影画像データを記録し、記録した撮影画像データに対して画像合成処理を行ってもよい。
1 マルチカメラ撮影画像合成装置
2-1~2-n カメラ
3-1,3-2,… レーザ装置 (マーカ付与部)
4 撮影制御部
51 画像信号入力部
52 マーカ像分離部
53 共通マーカ特定部
54 共通特徴選択部
55 画像間補正値導出部
56 画像合成処理部
6-1~6-n 撮影範囲
6C-1,6C-2,… 共通範囲
6U-1,6U-2,… 第1範囲
6L-1,6L-2,… 第2範囲
7-1,7-2,7-3 撮影画像
7R-1,7L-2 共通領域
7RU-1,7LU-2,7RU-2,7LU-3 第1領域
7RL-1,7LL-2,7RL-2,7LL-3 第2領域
7a-1~7a-3 画像
7b-1~7b-3 画像
7c 合成画像
7d-1~7d-3 撮影画像
7e 合成画像
71 検出許容領域
73 枠
74,75 テンプレート
81-1,… マーカ領域
82 点状マーカ
821,821qa~821qc 点状マーカ像
83a~83d,83p~83u 線状マーカ
831a~831d,831p~831u 線状マーカ像
841,842 点状マーカ像
844~846 面状マーカ像群
844a~844d,845a~845e,846a~846f 面状マーカ像
85a~85f,85p~85w 線状マーカ
851a~851f,851p~851w 線状マーカ像
852,853 点
86 点状マーカ
861,861a~861c 点状マーカ像
87a~87c,88a~88d 線状マーカ
88 共通基準方向
9 被写体
91 凹み
92 穴
93 溝
94 材質変化
95 欠損部位

Claims (17)

  1.  隣接して重なり合う複数の撮影範囲を撮影するカメラと、
     各前記撮影範囲が重なり合う各共通範囲に、それぞれ複数のマーカを付与する1または複数のマーカ付与部と、
     前記カメラおよび前記マーカ付与部を制御して、前記共通範囲に複数マーカが面状に広がるように付与されて撮影されたマーカ付与画像群、または、マーカ無しで撮影されたマーカ無し画像群を取得する撮影制御部と、
     前記マーカ付与画像群のうち、隣接する第1撮影画像と第2撮影画像において、前記共通範囲を撮影した各共通領域から共通するマーカにより基準となる位置をそれぞれ特定する共通マーカ特定部と、
     前記共通マーカ特定部が特定した位置の情報によって、隣接する前記第1撮影画像と前記第2撮影画像とを繋ぎ合わせる画像間補正値を導出する画像間補正値導出部と、
     前記画像間補正値導出部が導出した画像間補正値に基づいて、前記マーカ付与画像群または前記マーカ無し画像群を合成した合成画像を生成する画像合成処理部と、
     を備えることを特徴とするマルチカメラ撮影画像合成装置。
  2.  前記共通マーカ特定部は、
     前記第1撮影画像と前記第2撮影画像において、それぞれ基準となる位置を2個特定する、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  3.  前記マーカ付与部は、
     各マーカの間隔が、前記第1撮影画像の撮影領域と前記第2撮影画像の撮影領域との相対位置の誤差と、マーカ付与位置の誤差との和よりも広くなるように、前記共通範囲に、それぞれ複数のマーカを付与する、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  4.  前記マーカ付与部は、
     各前記共通範囲に、それぞれスカラ量の相関が強い3個以上の第1マーカを付与し、
     前記共通マーカ特定部は、
     連続する所定個数の前記第1マーカの組合せにおける前記スカラ量の相関の強さによって、前記第1撮影画像と前記第2撮影画像とに共通するマーカを特定する、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  5.  前記マーカ付与部は更に、
     各前記共通範囲に、基準となる位置を特定するための第2マーカを付与する、
     ことを特徴とする請求項4に記載のマルチカメラ撮影画像合成装置。
  6.  前記スカラ量とは、
     点状マーカとその他の2点の点状マーカとが成す角度、
     線状マーカまたは面状マーカにおける長さ、
     面状マーカにおける太さ、
     点状マーカまたは線状マーカにおける相互間隔、
     線状マーカと他の線状マーカとの交角、
     面状マーカにおける面積、
     のうちいずれかである、
     ことを特徴とする請求項4に記載のマルチカメラ撮影画像合成装置。
  7.  前記マーカ付与部が付与するマーカは、
     3個以上のマーカ構成において、隣接する3個のマーカのうち中心のマーカのスカラ量を、他の2個のマーカのスカラ量よりも大きくなるような組合せを1つ含むか、または、中心のマーカのスカラ量を、他の2個のマーカのスカラ量と比べて小さくなるような組合せを1つ含む、
     ことを特徴とする請求項4に記載のマルチカメラ撮影画像合成装置。
  8.  前記マーカ付与部が付与するマーカは、
     3個以上のマーカ構成において、隣接する3個のマーカのうち中心のマーカのスカラ量が、他の2個のマーカのスカラ量よりも大きい場合に、他の2個のマーカのスカラ量と3個のスカラ量の平均との差が負となるような組合せを1つ含むか、または、中心のマーカのスカラ量が、他の2個のマーカのスカラ量と比べて小さくなる場合に、他の2個のマーカのスカラ量と3個のスカラ量の平均との差が負となるような組合せを1つ含み、
     5個以上のマーカ構成においては更に、隣接する3個のマーカのスカラ量が連続して大きくなる組合せを1つ含むか、または、隣接する3個のマーカのスカラ量が連続して小さくなる組合せを1つ含む、
     ことを特徴とする請求項7に記載のマルチカメラ撮影画像合成装置。
  9.  前記マーカ付与部は、各前記共通範囲の中で、隣接する第1撮影範囲と第2撮影範囲とが並ぶ方向に対する垂直方向の一端寄りである第1範囲と、当該垂直方向の他端寄りである第2範囲とに、それぞれ複数のマーカを付与し、
     前記共通マーカ特定部は、
     隣接する前記第1撮影画像と前記第2撮影画像において、前記第1範囲を撮影した各第1領域から共通するマーカにより基準となる位置を特定すると共に、
     隣接する前記第1撮影画像と前記第2撮影画像において、前記第2範囲を撮影した各第2領域から共通するマーカにより基準となる位置を特定する、
     ことを特徴とする請求項2に記載のマルチカメラ撮影画像合成装置。
  10.  前記マーカ付与部は、各前記共通範囲に複数の線状マーカを付与し、
     当該マーカ付与部が付与する複数の線状マーカの各交点の角度は、少なくとも相互に取り違える可能性のある範囲において、それぞれ異なる、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  11.  前記マーカ付与部は、
     各前記共通範囲に、ランダムに配置した3個以上の点状マーカを付与する、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  12.  前記マーカ付与部は更に、
     1本以上の線状マーカ、または、1組以上の平行な線状マーカの組合せを付与する、
     ことを特徴とする請求項11に記載のマルチカメラ撮影画像合成装置。
  13.  前記共通マーカ特定部は、
     前記マーカ付与画像群から、それぞれ隣接する前記撮影範囲に共通するマーカの位置を、前記マーカ付与部が付与した各マーカの原図であるテンプレート上での位置との相関を確認することで、前記撮影範囲に共通するマーカを前記テンプレート上のマーカとして識別し、
     前記テンプレート上でのマーカ位置と、前記第1撮影画像と前記第2撮影画像とに共通するマーカの位置とから、前記共通領域の2個の基準となる位置を求める、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  14.  前記共通マーカ特定部は、
     各撮影画像のマーカ像のうち形状が適正なものを選別し、選別したマーカのうち、隣接する前記第1撮影画像と前記第2撮影画像とに共通すると判断した各マーカについて、前記第1撮影画像における各マーカの位置および前記第2撮影画像における各マーカの位置を、前記画像間補正値導出部が導出した画像間補正値によってそれぞれ変換し、変換した位置の相関値を算出し、算出した相関値が所定値以上ならば、共通するマーカとして特定する、
     ことを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  15.  前記共通マーカ特定部が、前記第1撮影画像と前記第2撮影画像とに共通するマーカを特定できなかった場合には、前記第1撮影画像と前記第2撮影画像の輝度分布に共通する特徴に基づいた画像間補正値を特定し、更に共通する特徴が特定できなかったならば過去において適用した画像間補正値を流用する共通特徴選択部、
     を更に備えることを特徴とする請求項1に記載のマルチカメラ撮影画像合成装置。
  16.  隣接して重なり合う複数の撮影範囲を撮影するカメラと、
     各前記撮影範囲が重なり合う各共通範囲に、それぞれ複数のマーカを面状に広がるように付与する1または複数のマーカ付与部と、
     前記カメラおよび前記マーカ付与部を制御する撮影制御部と、
     複数の撮影画像に共通するマーカを特定する共通マーカ特定部と、
     画像間補正値導出部と、
     合成画像を生成する画像合成処理部と、
     を備えたマルチカメラ撮影画像合成装置が実行するマルチカメラ撮影画像の合成方法であって、
     前記撮影制御部は、前記共通範囲に複数マーカが付与されて撮影されたマーカ付与画像群を取得し、
     前記共通マーカ特定部は、前記マーカ付与画像群うち隣接する第1撮影画像と第2撮影画像において前記共通範囲を撮影した共通領域から、共通するマーカにより基準となる位置をそれぞれ特定し、
     前記画像間補正値導出部は、前記共通マーカ特定部が特定した位置の情報によって、隣接する前記第1撮影画像と前記第2撮影画像とを繋ぎ合わせる画像間補正値を導出し、
     前記画像合成処理部は、前記画像間補正値導出部が導出した画像間補正値に基づいて、前記マーカ付与画像群、または、マーカ無しで撮影されたマーカ無し画像群を合成した合成画像を生成する、
     ことを特徴とするマルチカメラ撮影画像の合成方法。
  17.  前記共通マーカ特定部は、
     前記第1撮影画像と前記第2撮影画像において、それぞれ基準となる位置を2個特定する、
     ことを特徴とする請求項16に記載のマルチカメラ撮影画像の合成方法。
PCT/JP2014/067032 2013-09-17 2014-06-26 マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法 WO2015040917A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-192146 2013-09-17
JP2013192146A JP2015060299A (ja) 2013-09-17 2013-09-17 マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法

Publications (1)

Publication Number Publication Date
WO2015040917A1 true WO2015040917A1 (ja) 2015-03-26

Family

ID=52688579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067032 WO2015040917A1 (ja) 2013-09-17 2014-06-26 マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法

Country Status (2)

Country Link
JP (1) JP2015060299A (ja)
WO (1) WO2015040917A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017132901A1 (zh) * 2016-02-03 2017-08-10 华为技术有限公司 采集图像的方法、装置和系统
US9945828B1 (en) 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
CN110313172A (zh) * 2017-02-22 2019-10-08 索尼公司 信息处理设备和方法
WO2023133297A3 (en) * 2022-01-09 2023-09-28 Get-Grin Inc. Collapsible dental scope
US11957528B2 (en) 2020-02-26 2024-04-16 Get-Grin Inc. Systems and methods for remote dental monitoring
TWI844877B (zh) 2022-06-28 2024-06-11 國立中央大學 雷射處理設備與方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343648B2 (ja) * 2016-11-30 2018-06-13 株式会社イノテック 円検出方法、円検出装置、プログラム及び記憶媒体
KR101921709B1 (ko) * 2016-12-29 2018-11-26 모젼스랩 (주) 멀티 카메라 유닛을 이용한 객체 인식 시스템
JP2020060394A (ja) * 2018-10-05 2020-04-16 株式会社Ihi 非接触計測装置の計測範囲拡大方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200778A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取扱装置
JP2004342067A (ja) * 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
JP2007101300A (ja) * 2005-10-03 2007-04-19 Meinan Mach Works Inc 木材の検査方法及び装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200778A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取扱装置
JP2004342067A (ja) * 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
JP2007101300A (ja) * 2005-10-03 2007-04-19 Meinan Mach Works Inc 木材の検査方法及び装置及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9945828B1 (en) 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
WO2017132901A1 (zh) * 2016-02-03 2017-08-10 华为技术有限公司 采集图像的方法、装置和系统
CN107431751A (zh) * 2016-02-03 2017-12-01 华为技术有限公司 采集图像的方法、装置和系统
CN107431751B (zh) * 2016-02-03 2020-04-21 华为技术有限公司 采集图像的方法、装置和系统
CN110313172A (zh) * 2017-02-22 2019-10-08 索尼公司 信息处理设备和方法
EP3588935A4 (en) * 2017-02-22 2020-03-04 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
US11062466B2 (en) 2017-02-22 2021-07-13 Sony Corporation Information processing apparatus and method
US11957528B2 (en) 2020-02-26 2024-04-16 Get-Grin Inc. Systems and methods for remote dental monitoring
WO2023133297A3 (en) * 2022-01-09 2023-09-28 Get-Grin Inc. Collapsible dental scope
TWI844877B (zh) 2022-06-28 2024-06-11 國立中央大學 雷射處理設備與方法

Also Published As

Publication number Publication date
JP2015060299A (ja) 2015-03-30

Similar Documents

Publication Publication Date Title
WO2015040917A1 (ja) マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法
JP5854715B2 (ja) 画像情報処理装置及びその制御方法
US5692061A (en) Method of utilizing a two-dimensional image for detecting the position, posture, and shape of a three-dimensional objective
KR100808653B1 (ko) 패턴 비교 검사 방법 및 패턴 비교 검사 장치
US6546118B1 (en) Image processing apparatus for vehicle
US6768813B1 (en) Photogrammetric image processing apparatus and method
TWI578269B (zh) 三維座標縫合方法及應用其之三維座標資訊縫合裝置
JP6779150B2 (ja) 情報取得装置
CN101033958A (zh) 一种机器视觉定位方法
JP6309694B2 (ja) 焦点合わせと傾斜補正のデザインを有するマーク及びそのアラインメント方法
JP2011128117A (ja) 情報処理装置、情報処理方法及びプログラム
US9341584B2 (en) Charged-particle microscope device and method for inspecting sample using same
JP2008267836A (ja) 溶接部の表面欠陥形状検出方法及びコンピュータプログラム
JPH1021389A (ja) テンプレートマッチング方法およびその装置
JP2018117329A (ja) 情報取得装置
KR20140147685A (ko) 결함 검사 방법
US10277884B2 (en) Method and apparatus for acquiring three-dimensional image, and computer readable recording medium
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
JP4821009B2 (ja) エッジ検出によるモデルマッチングを用いたカメラ校正方法
CN109658336B (zh) 一种基于图幅格网内缩技术的复杂面状要素自动接边方法
JP2006023178A (ja) 3次元計測方法及び装置
JP2010107300A (ja) 物体形状評価装置
JP2009243986A (ja) 校正基準点作成装置、校正基準点作成方法およびコンピュータプログラム
JP5049247B2 (ja) 表面欠陥評価装置
JPS61128114A (ja) パタ−ンの表面形状評価方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14846547

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14846547

Country of ref document: EP

Kind code of ref document: A1