JP7350893B2 - パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ - Google Patents

パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ Download PDF

Info

Publication number
JP7350893B2
JP7350893B2 JP2021570386A JP2021570386A JP7350893B2 JP 7350893 B2 JP7350893 B2 JP 7350893B2 JP 2021570386 A JP2021570386 A JP 2021570386A JP 2021570386 A JP2021570386 A JP 2021570386A JP 7350893 B2 JP7350893 B2 JP 7350893B2
Authority
JP
Japan
Prior art keywords
matching
block
template
row
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570386A
Other languages
English (en)
Other versions
JP2022534262A (ja
Inventor
果 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Inc
Original Assignee
Arashi Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Inc filed Critical Arashi Vision Inc
Publication of JP2022534262A publication Critical patent/JP2022534262A/ja
Application granted granted Critical
Publication of JP7350893B2 publication Critical patent/JP7350893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、パノラマ画像、ビデオ領域に属し、特に、パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラに関する。
現在、パノラマ画像合成アルゴリズムの多くは、特徴点マッチングに基づく合成アルゴリズムを使用している。この種類のアルゴリズムは、一般的に、速度の速い特徴点検出アルゴリズムを使用しており、具体的に、ＯＲＢ、ＳＵＲＦ及びＳＩＦＴにより２枚の画像の特徴点を検出し、その後、最近傍マッチングアルゴリズム及びＲＡＮＳＡＣアルゴリズムを用いて特徴点に対してマッチング及びマッチングフィルタリングを行う。しかしながら、特徴点マッチングに基づく合成アルゴリズムは、（１）誤マッチングを生じやすく、効果的に除去できない誤マッチングが存在して最終の合成効果に影響を与える欠点、及び、（２）特徴点検出及びＲＡＮＳＡＣアルゴリズムのマッチングフィルタリングに基づくアルゴリズムの効率が低くて、パノラマカメラのパノラマ画像のリアルタイム合成のニーズを満たすことができないという欠点を持つ。
本発明の目的は、パノラマ画像合成、ビデオ方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラを提供し、特徴点マッチングに基づく合成アルゴリズムに誤マッチングを生じやすく、効果的に除去できない誤マッチングが存在して最終の合成効果に影響を与え、特徴点検出及びＲＡＮＳＡＣアルゴリズムのマッチングフィルタリングに基づくアルゴリズムの効率が低くて、パノラマカメラのパノラマ画像のリアルタイム合成のニーズを満たすことができないことを解決することである。
第１の態様では、本発明は、パノラマ画像合成方法を提供し、複数のカメラから構成されるパノラマカメラによって撮像された魚眼写真に対して、各隣接する２つのカメラによって撮像された魚眼写真に以下のステップを実行する。
Ｓ１０１：隣接する２つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成する。
Ｓ１０２：２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
Ｓ１０３：領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
Ｓ１０４：最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
第２の態様では、本発明は、パノラマ画像合成方法を提供し、重複領域を有する２枚の魚眼写真に対して、以下のステップを実行することを特徴とする。
Ｓ２０１：２枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成する。
Ｓ２０２：２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
Ｓ２０３：領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
Ｓ２０４：最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ画像合成を行ってシームレスなパノラマ画像を取得する。
第３の態様では、本発明は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第２の態様のいずれかのパノラマ画像合成方法によりパノラマビデオの第１のフレームを合成することを特徴とする。
第４の態様では、本発明は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第２の態様のいずれかのパノラマ画像合成方法によりパノラマビデオの中間フレームを合成し、Ｓ２０２２の前に、以下のステップをさらに含むことを特徴とする。
Ｓ２０５１：テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
Ｓ２０５２：前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングする。
Ｓ２０５３：前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この２つの等面積の領域のＮＣＣ値を計算し、ＮＣＣが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新する。
Ｓ２０５４：各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にする。
Ｓ２０２２、Ｓ２０２３、Ｓ２０３及びＳ２０４に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングする。
さらに、第４の態様の前記方法では、前記テンプレートストライプ画像における、マッチング状態が安定する領域を検出することは、具体的に、テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値よりも大きくてＮＣＣ値変化が設定閾値よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングする。
第５の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第１の態様または第２の態様のいずれかの前記パノラマ画像合成方法のステップを実現することを特徴とする。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
第６の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第３の態様または第４の態様のいずれかの前記パノラマビデオ合成方法のステップを実現することを特徴とする。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
第７の態様では、本発明は、パノラマカメラを提供し、１つまたは複数のプロセッサと、メモリと、１つまたは複数のコンピュータプログラムとを含み、前記プロセッサは、バスにより前記メモリに接続され、前記１つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記１つまたは複数のプロセッサによって実行されるよう設定され、前記プロセッサは、前記コンピュータプログラムを実行すると、本発明の第１の態様または第２の態様のいずれかの前記パノラマ画像合成方法のステップを実現する。
第８の態様では、本発明は、パノラマカメラを提供し、１つまたは複数のプロセッサと、メモリと、１つまたは複数のコンピュータプログラムとを含み、前記プロセッサは、バスにより前記メモリに接続され、前記１つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記１つまたは複数のプロセッサによって実行されるよう設定され、前記プロセッサは、前記コンピュータプログラムを実行すると、本発明の第３の態様または第４の態様のいずれかの前記パノラマビデオ合成方法のステップを実現する。
本発明では、隣接する２つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成し、２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得し、領域拡張に基づくマッチングフィルタリングルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得し、最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。そのため、本発明の方法は、比較的に効率が高く、移動端末のリアルタイムのパノラマ画像合成のニーズを満たすことができ、特徴マッチング結果が正確かつ安定であり、シームレスな合成という良好な効果を実現することができ、ビデオに応用される場合にマッチング効果が安定してロバストであり、動的や静止、遠景、近景の、頻繁に変化するシーンに好適に適用できる。
本発明の第１の実施例によって提供されるパノラマ画像合成方法のフローチャートである。 本発明の第２の実施例によって提供されるパノラマ画像合成方法のフローチャートである。 本発明の第１の実施例によって提供されるパノラマ画像合成方法のＳ１０２のフローチャートである。 本発明の第２の実施例によって提供されるパノラマ画像合成方法のＳ２０２のフローチャートである。 本発明の第１の実施例によって提供されるパノラマ画像合成方法のＳ１０３または本発明の第２の実施例によって提供されるパノラマ画像合成方法のＳ２０３のフローチャートである。 本発明の第１の実施例によって提供されるパノラマ画像合成方法のＳ１０２及びＳ１０３１、または本発明の第２の実施例によって提供されるパノラマ画像合成方法のＳ２０２及びＳ２０３１のフローを示す図である。 本発明の第４の実施例によって提供されるパノラマカメラの具体的な構成を示すブロック図。
以下、本発明の目的、技術的解決策及び有益な効果をより明確にさせるため、図面及び実施例を参照して本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。
本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。
第１の実施例：
図１を参照し、本発明の第１の実施例によって提供されるパノラマ画像合成方法では、複数のカメラから構成されるパノラマカメラによって撮像された魚眼写真に対して、各隣接する２つのカメラによって撮像された魚眼写真に以下のステップを実行する。
Ｓ１０１：隣接する２つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成する。
Ｓ１０２：２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
本発明の第１の実施例では、Ｓ１０２の前に、２枚のストライプ画像にガウスぼかしを行い、写真のノイズを低減してマッチング精度を高めるステップ、及び／又は、２枚のストライプ画像にＣａｎｎｙエッジ検出を行って画像の勾配情報を取得して、後の、テクスチャのない領域の排除にデータ基礎を供給するステップを含んでもよい。
図３及び図６を参照し、本発明の第１の実施例では、Ｓ１０２は、具体的に以下のステップを含んでもよい。
Ｓ１０２１：２枚のストライプ画像のいずれか１枚のストライプ画像を選択してテンプレートストライプ画像とし、もう１枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をＭ行Ｎ列の正方行列に分割するとともに、正方行列における各正方を１つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をＭ行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、Ｍ及びＮはいずれも１よりも大きい正整数である。
Ｓ１０２２：マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に１つのＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）行列を取得することで、Ｍ×Ｎ個のＮＣＣ行列を取得する。
Ｓ１０２３：各ＮＣＣ行列において最大値を見つけ、最大値のＮＣＣ行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差（Ｄｉｓｐａｒｉｔｙ）を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とする。
本発明の第１の実施例では、Ｓ１０２３の最大値は、設定されたＮＣＣ閾値（例えば、０，８）よりも大きい最大値であってもよい。
本発明の第１の実施例では、Ｓ１０２１のテンプレートブロックは、有効テンプレートブロックである。前記有効テンプレートブロックは、以下通りで決定される。Ｃａｎｎｙエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングする。
Ｓ１０３：領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
図５及び図６を参照し、本発明の第１の実施例では、Ｓ１０３は、具体的に以下のステップを含んでもよい。
Ｓ１０３１：各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張して１つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びＮＣＣ値で、予め設定された重み付け値によりマッチング信頼度Ｍを構築し、マッチング信頼度Ｍで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとする。
拡張ルールとしては、各テンプレートブロックを１つのマッチングブロックとし、１つのマッチングブロックの視差をもう１つのマッチングブロックの視差とする場合、もう１つのマッチングブロックのＮＣＣ値が設定閾値（０．８）よりも大きいと、この２つのマッチングブロックを融合して１つのマッチングブロックとすることである。
Ｓ１０３２：信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のｘ分量の差が設定閾値（実験中に、最も小さい信頼マッチングブロックの幅を用いる）を超えないようにし、領域の大きさ（例えば、含まれる行数）によって領域をフィルタリングし、予め設定された行数（例えば、３行、４行等）よりも少ない行数の領域（これらの行の信頼マッチングブロックを含む）を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新する。
Ｓ１０３３：各領域を上下行に拡張し、具体的に以下のステップを含む。
Ｓ１０３３１：拡張開始行を決定する。各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行（例えば、前の１０行）を選択して拡張開始行とする。
Ｓ１０３３２：各拡張開始行を上方及び下方の双方向に拡張する。拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度Ｃを計算し、視差一致性の尺度Ｃが設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度Ｃを予め設定された重み付け値として、前記マッチング候補のマッチング信頼度Ｍ内に更新し、マッチング信頼度Ｍで拡張待ち行のすべてのマッチング候補をソートし、Ｍ値の最も大きいマッチングブロック候補を選択して目前拡張領域内に格納する。目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度Ｃがいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与えることができる。
Ｓ１０３３３：各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度Ｍに対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし、各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度Ｍの最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差である。
Ｓ１０３４：Ｓ１０３２を再実行する。
Ｓ１０４：最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
Ｓ１０４では、具体的に、各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
本発明の第１の実施例によって提供されるパノラマ画像合成方法は、パノラマビデオ合成に応用される場合にパノラマビデオの第１のフレームに適用され、すなわち、前記魚眼写真は、パノラマビデオの第１のフレームの対応する魚眼写真であり、パノラマビデオの中間フレームに対して、Ｓ１０２２の前に、以下のステップをさらに含む。
Ｓ１０５１：テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値（例えば、８回、９回等）よりも大きくてＮＣＣ値変化が設定閾値（例えば、０．０３、０．０５等）よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングする。
Ｓ１０５２：前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値（例えば、３回、５回等）よりも大きい最終信頼マッチングブロックの所在する行を、失敗行にマーキングする。
前記最終信頼マッチングブロックの状態は、検証成功、検証失敗、再マッチング成功及び再マッチング失敗である４つの状態を含む。
Ｓ１０５３：前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この２つの等面積の領域のＮＣＣ値を計算し、ＮＣＣが設定閾値（例えば、０．８）よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新する。
Ｓ１０５４：各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値（例えば、非静止領域の場合に１回、静止領域の場合に３回）よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にする。ノードフレームとは、第１のフレームからｎフレーム（例えば、２０フレーム、３０フレーム等）毎に設定されたフレームのことである。
Ｓ１０２２、Ｓ１０２３、Ｓ１０３及びＳ１０４に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングする。
本発明では、隣接する２つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成し、２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得し、領域拡張に基づくマッチングフィルタリングルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得し、最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。そのため、本発明の方法は、比較的に効率が高く、移動端末のリアルタイムのパノラマ画像合成のニーズを満たすことができ、特徴マッチング結果が正確かつ安定であり、シームレスな合成という良好な効果を実現することができ、ビデオに応用される場合にマッチング効果が安定してロバストであり、動的や静止、遠景、近景の、頻繁に変化するシーンに好適に適用できる。
また、領域拡張に基づくマッチングフィルタリングルゴリズムを用いるため、各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張し、信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックを行ごとにクラスタリングして複数の領域を取得し、領域の大きさによって領域をフィルタリングし、各領域を上下行に拡張し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックを行ごとにクラスタリングして複数の領域を取得し、領域の大きさによって領域をフィルタリングし、マッチングフィルタリングの精度及びアルゴリズムの効率を大幅に向上させる。
また、マッチング検証に基づく動的ビデオフレームマッチング機構では、ビデオの第１のフレームに対して、ストライプ画像全体に分割テンプレートマッチング及びマッチングフィルタリングを行い、中間フレームに対して、マッチング検証及び状態キューにより再マッチング行を動的に更新し、再マッチング行のみに対して分割テンプレートマッチング及びマッチングフィルタリングを行うとともに、静止領域検出及び失敗行マーキングを実行する。この機構は、隣接するフレームの間のマッチング変動を減らし、マッチングの安定性を向上させ、アルゴリズムの動作効率を高める。
第２の実施例：
図２を参照し、本発明の第２の実施例は、パノラマ画像合成方法を提供し、重複領域を有する２枚の魚眼写真に対して、以下のステップを実行する。
Ｓ２０１：２枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成する。
Ｓ２０２：２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
本発明の第２の実施例では、Ｓ２０２の前に、２枚のストライプ画像にガウスぼかしを行い、写真のノイズを低減してマッチング精度を高めるステップをさらに含んでもよい。
図４及び図６を参照し、本発明の第２の実施例では、Ｓ２０２は、具体的に以下のステップを含んでもよい。
Ｓ２０２１：２枚のストライプ画像のいずれか１枚のストライプ画像を選択してテンプレートストライプ画像とし、もう１枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をＭ行Ｎ列の正方行列に分割するとともに、正方行列における各正方を１つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をＭ行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、Ｍ及びＮはいずれも１よりも大きい正整数である。
Ｓ２０２２：マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に１つのＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）行列を取得することで、Ｍ×Ｎ個のＮＣＣ行列を取得する。
Ｓ２０２３：各ＮＣＣ行列において最大値を見つけ、最大値のＮＣＣ行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差（Ｄｉｓｐａｒｉｔｙ）を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とする。
本発明の第２の実施例では、Ｓ２０２３の最大値は、設定されたＮＣＣ閾値（例えば、０，８）よりも大きい最大値であってもよい。
本発明の第２の実施例では、Ｓ２０２１のテンプレートブロックは、有効テンプレートブロックである。前記有効テンプレートブロックは、以下通りに決定される。Ｃａｎｎｙエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングする。
Ｓ２０３：領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
図５及び図６を参照し、本発明の第２の実施例では、Ｓ２０３は、具体的に以下のステップを含んでもよい。
Ｓ２０３１：各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張して１つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びＮＣＣ値で、予め設定された重み付け値によりマッチング信頼度Ｍを構築し、マッチング信頼度Ｍで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとする。
拡張ルールとしては、各テンプレートブロックを１つのマッチングブロックとし、１つのマッチングブロックの視差をもう１つのマッチングブロックの視差とする場合、もう１つのマッチングブロックのＮＣＣ値が設定閾値（０．８）よりも大きいと、この２つのマッチングブロックを融合して１つのマッチングブロックとすることである。
Ｓ２０３２：信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のｘ分量の差が設定閾値（実験中に、最も小さい信頼マッチングブロックの幅を用いる）を超えないようにし、領域の大きさ（例えば、含まれる行数）によって領域をフィルタリングし、予め設定された行数（例えば、３行、４行等）よりも少ない行数の領域（これらの行の信頼マッチングブロックを含む）を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新する。
Ｓ２０３３：各領域を上下行に拡張し、具体的に以下のステップを含む。
Ｓ２０３３１：拡張開始行を決定する。各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行（例えば、前の１０行）を選択して拡張開始行とする。
Ｓ２０３３２：各拡張開始行を上方及び下方の双方向に拡張する。拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度Ｃを計算し、視差一致性の尺度Ｃが設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度Ｃを予め設定された重み付け値として、前記マッチング候補のマッチング信頼度Ｍ内に更新し、マッチング信頼度Ｍで拡張待ち行のすべてのマッチング候補をソートし、Ｍ値の最も大きいマッチングブロック候補を選択して目前拡張領域内に格納する。目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度Ｃがいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与えることができる。
Ｓ２０３３３：各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度Ｍに対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし、各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度Ｍの最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差である。
Ｓ２０３４：Ｓ２０３２を再実行する。
Ｓ２０４：最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
Ｓ２０４では、具体的に、各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
第３の実施例：
本発明の第３の実施例は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第２の実施例のいずれかのパノラマ画像合成方法によりパノラマビデオの第１のフレームを合成することを特徴とする。
第４の実施例：
本発明の第４の実施例は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第２の実施例のいずれかのパノラマ画像合成方法によりパノラマビデオの中間フレームを合成し、Ｓ２０２２の前に、以下のステップをさらに含む。
Ｓ２０５１：テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値（例えば、８回、９回等）よりも大きくてＮＣＣ値変化が設定閾値（例えば、０．０３、０．０５等）よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングする。
Ｓ２０５２：前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値（例えば、３回、５回等）よりも大きい最終信頼マッチングブロックの所在する行を、失敗行にマーキングする。
前記最終信頼マッチングブロックの状態は、検証成功、検証失敗、再マッチング成功及び再マッチング失敗である４つの状態を含む。
Ｓ２０５３：前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この２つの等面積の領域のＮＣＣ値を計算し、ＮＣＣが設定閾値（例えば、０．８）よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新する。
Ｓ２０５４：各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値（例えば、非静止領域の場合に１回、静止領域の場合に３回）よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にする。ノードフレームとは、第１のフレームからｎフレーム（例えば、２０フレーム、３０フレーム等）毎に設定されたフレームのことである。
Ｓ２０２２、Ｓ２０２３、Ｓ２０３及びＳ２０４に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングする。
本発明では、２枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成し、重複領域を有する２枚のストライプ画像を形成し、２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得し、領域拡張に基づくマッチングフィルタリングルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得し、最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。そのため、本発明の方法は、比較的に効率が高く、移動端末のリアルタイムのパノラマ画像合成のニーズを満たすことができ、特徴マッチング結果が正確かつ安定であり、シームレスな合成という良好な効果を実現することができ、ビデオに応用される場合にマッチング効果が安定してロバストであり、動的や静止、遠景、近景の、頻繁に変化するシーンに好適に適用できる。
また、領域拡張に基づくマッチングフィルタリングルゴリズムを用いるため、各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張し、信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックを行ごとにクラスタリングして複数の領域を取得し、領域の大きさによって領域をフィルタリングし、各領域を上下行に拡張し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックを行ごとにクラスタリングして複数の領域を取得し、領域の大きさによって領域をフィルタリングし、マッチングフィルタリングの精度及びアルゴリズムの効率を大幅に向上させる。
また、マッチング検証に基づく動的ビデオフレームマッチング機構では、ビデオの第１のフレームに対して、ストライプ画像全体に分割テンプレートマッチング及びマッチングフィルタリングを行い、中間フレームに対して、マッチング検証及び状態キューにより再マッチング行を動的に更新し、再マッチング行のみに対して分割テンプレートマッチング及びマッチングフィルタリングを行うとともに、静止領域検出及び失敗行マーキングを実行する。この機構は、隣接するフレームの間のマッチング変動を減らし、マッチングの安定性を向上させ、アルゴリズムの動作効率を高める。
第５の実施例：
本発明の第５の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第１の実施例または第２の実施例のいずれかのパノラマ画像合成方法のステップを実現することを特徴とする。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
第６の実施例：
本発明の第６の実施例は、コンピュータ読み取り可能な記録媒体を提供する。前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第３の実施例または第４の実施例のいずれかのパノラマビデオ合成方法のステップを実現する。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
第７の実施例：
図７は、本発明の実施例５によって提供される携帯端末の具体的な構成を示すブロック図。携帯端末１００は、１つまたは複数のプロセッサ１０１と、メモリ１０２と、１つまたは複数のコンピュータプログラムとを含み、前記プロセッサ１０１は、バスにより前記メモリ１０２に接続され、前記１つまたは複数のコンピュータプログラムは、前記メモリ１０２内に記録されているとともに、前記１つまたは複数のプロセッサ１０１によって実行されるよう設定され、前記プロセッサ１０１は、前記コンピュータプログラムを実行すると、本発明の第１の実施例または第２の実施例によって提供されるパノラマ画像合成方法のステップを実現する。
第８の実施例：
図７は、本発明の実施例６によって提供される携帯端末の具体的な構成を示すブロック図であり、携帯端末１００は、１つまたは複数のプロセッサ１０１と、メモリ１０２と、１つまたは複数のコンピュータプログラムとを含み、前記プロセッサ１０１は、バスにより前記メモリ１０２に接続され、前記１つまたは複数のコンピュータプログラムは、前記メモリ１０２内に記録されているとともに、前記１つまたは複数のプロセッサ１０１によって実行されるよう設定され、前記プロセッサ１０１は、前記コンピュータプログラムを実行すると、本発明の第３の実施例または第４の実施例によって提供されるパノラマビデオ合成方法のステップを実現する。
本発明の実施例において、当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記録されることが可能であり、記録媒体は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスク等を含むことができる。
上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。

Claims (23)

  1. パノラマ画像合成方法であって、
    複数のカメラから構成されるパノラマカメラによって撮像された魚眼写真に対して、各隣接する２つのカメラによって撮像された魚眼写真に、
    隣接する２つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成するステップＳ１０１と、
    ２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得するステップＳ１０２と、
    領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得するステップＳ１０３と、
    最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得するステップＳ１０４と、を実行し、
    Ｓ１０２は、具体的に、
    ２枚のストライプ画像のいずれか１枚のストライプ画像を選択してテンプレートストライプ画像とし、もう１枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をＭ行Ｎ列の正方行列に分割するとともに、正方行列における各正方を１つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をＭ行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、Ｍ及びＮはいずれも１よりも大きい正整数であるステップＳ１０２１と、
    マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に１つのＮＣＣ行列を取得することで、Ｍ×Ｎ個のＮＣＣ行列を取得するステップＳ１０２２と、
    各ＮＣＣ行列において最大値を見つけ、最大値のＮＣＣ行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とするステップＳ１０２３と、を含むことを特徴とするパノラマ画像合成方法。
  2. Ｓ１０２の前に、２枚のストライプ画像にガウスぼかしを行うステップをさらに含むことを特徴とする請求項１に記載の方法。
  3. Ｓ１０２１のテンプレートブロックは、有効テンプレートブロックであり、
    前記有効テンプレートブロックは、Ｃａｎｎｙエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングすることで決定されることを特徴とする請求項１に記載の方法。
  4. Ｓ１０３は、具体的に、
    各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張して１つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びＮＣＣ値で、予め設定された重み付け値によりマッチング信頼度Ｍを構築し、マッチング信頼度Ｍで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとするステップＳ１０３１と、
    信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のｘ分量の差が設定閾値を超えないようにし、領域の大きさによって領域をフィルタリングし、予め設定された行数よりも少ない行数の領域を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新するステップＳ１０３２と、
    各領域を上下行に拡張するステップＳ１０３３と、
    Ｓ１０３２を再実行するステップＳ１０３４と、を含むことを特徴とする請求項１に記載の方法。
  5. Ｓ１０３３は、具体的に、
    各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行を選択して拡張開始行とし、拡張開始行を決定するステップＳ１０３３１と、
    拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度を計算し、視差一致性の尺度が設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度を予め設定された重み付け値として、前記マッチング候補のマッチング信頼度に更新し、マッチング信頼度で拡張待ち行のすべてのマッチング候補をソートし、前記マッチング信頼度値の最も高いマッチング候補を選択して目前拡張領域内に格納し、目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度がいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与え、各拡張開始行を上方及び下方の双方向に拡張するステップＳ１０３３２と、
    各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度に対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし、各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度の最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差であるステップＳ１０３３３と、を含むことを特徴とする請求項４に記載の方法。
  6. Ｓ１０４では、具体的に、
    各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得することを特徴とする請求項５に記載の方法。
  7. パノラマ画像合成方法は、パノラマビデオ合成に応用される場合にパノラマビデオの第１のフレームに適用され、すなわち、前記魚眼写真は、パノラマビデオの第１のフレームの対応する魚眼写真であり、パノラマビデオの中間フレームに対して、Ｓ１０２２の前に、
    テンプレートストライプ画像における、画像静止領域、またはマッチング状態が安定する領域である静止領域を検出するステップＳ１０５１と、
    前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングするステップＳ１０５２と、
    前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この２つの等面積の領域のＮＣＣ値を計算し、ＮＣＣが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新するステップＳ１０５３と、
    各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にするステップＳ１０５４と、をさらに含み、
    Ｓ１０２２、Ｓ１０２３、Ｓ１０３及びＳ１０４に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングすることを特徴とする請求項６に記載の方法。
  8. 前記テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、
    テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値よりも大きくてＮＣＣ値変化が設定閾値よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングすることを特徴とする請求項７に記載の方法。
  9. コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１～８のいずれか一項に記載のパノラマ画像合成方法のステップを実現し、
    非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。
  10. １つまたは複数のプロセッサと、メモリと、１つまたは複数のコンピュータプログラムとを含み、
    前記プロセッサは、バスにより前記メモリに接続され、
    前記１つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記１つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
    前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１～８のいずれか一項に記載のパノラマ画像合成方法のステップを実現することを特徴とするパノラマカメラ。
  11. パノラマ画像合成方法であって、
    重複領域を有する２枚の魚眼写真に対して、
    ２枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する２枚のストライプ画像を形成するステップＳ２０１と、
    ２枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得するステップＳ２０２と、
    領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得するステップＳ２０３と、
    最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ画像合成を行ってシームレスなパノラマ画像を取得するステップＳ２０４と、を実行し、
    Ｓ２０２は、具体的に、
    ２枚のストライプ画像のいずれか１枚のストライプ画像を選択してテンプレートストライプ画像とし、もう１枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をＭ行Ｎ列の正方行列に分割するとともに、正方行列における各正方を１つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をＭ行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、Ｍ及びＮはいずれも１よりも大きい正整数であるステップＳ２０２１と、
    マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に１つのＮＣＣ行列を取得することで、Ｍ×Ｎ個のＮＣＣ行列を取得するステップＳ２０２２と、
    各ＮＣＣ行列において最大値を見つけ、最大値のＮＣＣ行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とするステップＳ２０２３と、を含むことを特徴とするパノラマ画像合成方法。
  12. Ｓ２０２の前に、２枚のストライプ画像にガウスぼかしを行うステップをさらに含むことを特徴とする請求項１１に記載の方法。
  13. Ｓ２０２１におけるテンプレートブロックは、有効テンプレートブロックであり、
    前記有効テンプレートブロックは、Ｃａｎｎｙエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングすることで決定されることを特徴とする請求項１１に記載の方法。
  14. Ｓ２０３は、具体的に、
    各テンプレートブロックに対して、ＮＣＣ行列を利用し、同一行で左方及び右方の双方向へ拡張して１つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びＮＣＣ値で、予め設定された重み付け値によりマッチング信頼度Ｍを構築し、マッチング信頼度Ｍで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとするステップＳ２０３１と、
    信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のｘ分量の差が設定閾値を超えないようにし、領域の大きさによって領域をフィルタリングし、予め設定された行数よりも少ない行数の領域を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新するステップＳ２０３２と、
    各領域を上下行に拡張するステップＳ２０３３と、
    Ｓ２０３２を再実行するステップＳ２０３４と、を含むことを特徴とする請求項１１に記載の方法。
  15. Ｓ２０３３は、具体的に、
    各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行を選択して拡張開始行とし、拡張開始行を決定するステップＳ２０３３１と、
    拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度を計算し、視差一致性の尺度が設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度を予め設定された重み付け値として、前記マッチング候補のマッチング信頼度に更新し、マッチング信頼度で拡張待ち行のすべてのマッチング候補をソートし、前記マッチング信頼度値の最も高いマッチング候補を選択して目前拡張領域内に格納し、目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度がいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与え、各拡張開始行を上方及び下方の双方向に拡張するステップＳ２０３３２と、
    各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度に対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度の最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差であるステップＳ２０３３３と、を含むことを特徴とする請求項１４に記載の方法。
  16. Ｓ２０４では、具体的に、
    各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得することを特徴とする請求項１５に記載の方法。
  17. パノラマビデオ合成方法であって、
    前記パノラマビデオ合成方法は、請求項１１～１６のいずれか一項に記載のパノラマ画像合成方法によりパノラマビデオの第１のフレームを合成することを特徴とするパノラマビデオ合成方法。
  18. パノラマビデオ合成方法であって、
    請求項１１～１６のいずれか一項に記載のパノラマ画像合成方法によりパノラマビデオの中間フレームを合成し、
    Ｓ２０２２の前に、
    テンプレートストライプ画像における、画像静止領域、またはマッチング状態が安定する領域である静止領域を検出するステップＳ２０５１と、
    前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングするステップＳ２０５２と、
    前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この２つの等面積の領域のＮＣＣ値を計算し、ＮＣＣが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新するステップＳ２０５３と、
    各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にするステップＳ２０５４と、をさらに含み、
    Ｓ２０２２、Ｓ２０２３、Ｓ２０３及びＳ２０４に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングすることを特徴とする方法。
  19. 前記テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、
    テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値よりも大きくてＮＣＣ値変化が設定閾値よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングすることを特徴とする請求項１８に記載の方法。
  20. コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１１～１６のいずれか一項に記載のパノラマ画像合成方法のステップを実現し、
    非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。
  21. コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１７～１９のいずれか一項に記載のパノラマビデオ合成方法のステップを実現し、
    非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。
  22. １つまたは複数のプロセッサと、メモリと、１つまたは複数のコンピュータプログラムとを含み、
    前記プロセッサは、バスにより前記メモリに接続され、
    前記１つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記１つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
    前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１１～１６のいずれか一項に記載のパノラマ画像合成方法のステップを実現することを特徴とするパノラマカメラ。
  23. １つまたは複数のプロセッサと、メモリと、１つまたは複数のコンピュータプログラムとを含み、
    前記プロセッサは、バスにより前記メモリに接続され、
    前記１つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記１つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
    前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１７～１９のいずれか一項に記載のパノラマビデオ合成方法のステップを実現することを特徴とするパノラマカメラ。
JP2021570386A 2019-05-30 2020-05-26 パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ Active JP7350893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910464435.4 2019-05-30
CN201910464435.4A CN110189256B (zh) 2019-05-30 2019-05-30 一种全景图像拼接方法、计算机可读存储介质及全景相机
PCT/CN2020/092344 WO2020238897A1 (zh) 2019-05-30 2020-05-26 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机

Publications (2)

Publication Number Publication Date
JP2022534262A JP2022534262A (ja) 2022-07-28
JP7350893B2 true JP7350893B2 (ja) 2023-09-26

Family

ID=67719082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570386A Active JP7350893B2 (ja) 2019-05-30 2020-05-26 パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ

Country Status (5)

Country Link
US (1) US20220237736A1 (ja)
EP (1) EP3982322A4 (ja)
JP (1) JP7350893B2 (ja)
CN (1) CN110189256B (ja)
WO (1) WO2020238897A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189256B (zh) * 2019-05-30 2023-05-02 影石创新科技股份有限公司 一种全景图像拼接方法、计算机可读存储介质及全景相机
CN113225613B (zh) * 2020-01-21 2022-07-08 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
CN114764824A (zh) * 2020-12-30 2022-07-19 安霸国际有限合伙企业 使用导引节点的视差图构建
CN113344782B (zh) * 2021-05-31 2023-07-18 浙江大华技术股份有限公司 图像拼接方法、装置、存储介质及电子装置
CN113793281B (zh) * 2021-09-15 2023-09-08 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及系统
CN114494083B (zh) * 2022-04-14 2022-07-29 杭州雄迈集成电路技术股份有限公司 一种自适应提升视频通透性方法和系统
CN115460356B (zh) * 2022-08-26 2024-06-25 中南民族大学 一种基于接缝查找优化技术的视频拼接方法及装置
CN115620181B (zh) * 2022-12-05 2023-03-31 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN116485645B (zh) * 2023-04-13 2024-08-16 北京百度网讯科技有限公司 图像拼接方法、装置、设备及存储介质
CN116563186B (zh) * 2023-05-12 2024-07-12 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法
CN116452426B (zh) * 2023-06-16 2023-09-05 广汽埃安新能源汽车股份有限公司 一种全景图拼接方法及装置
CN116612390B (zh) * 2023-07-21 2023-10-03 山东鑫邦建设集团有限公司 一种建筑工程用的信息管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016040670A (ja) 2014-08-12 2016-03-24 株式会社リコー 画像処理システム、画像処理装置、プログラムおよび撮像システム
JP2018059767A (ja) 2016-10-04 2018-04-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
CN1272750C (zh) * 2003-01-24 2006-08-30 上海杰图软件技术有限公司 一种基于两张鱼眼图像的智能型全景生成方法
JP5428618B2 (ja) * 2009-07-29 2014-02-26 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN103971375B (zh) * 2014-05-22 2016-03-02 中国人民解放军国防科学技术大学 一种基于图像拼接的全景凝视相机空间标定方法
CN104104911B (zh) * 2014-07-04 2017-09-29 华中师范大学 全景图像生成过程中的时间戳消除和重置方法及系统
US9430457B2 (en) * 2014-12-24 2016-08-30 Xerox Corporation Ambiguity reduction for image alignment applications
CN105678729B (zh) * 2016-02-24 2018-03-09 段梦凡 鱼眼镜头全景图像拼接方法
CN107666606B (zh) * 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置
JP7268369B2 (ja) * 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム
CN110189256B (zh) * 2019-05-30 2023-05-02 影石创新科技股份有限公司 一种全景图像拼接方法、计算机可读存储介质及全景相机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016040670A (ja) 2014-08-12 2016-03-24 株式会社リコー 画像処理システム、画像処理装置、プログラムおよび撮像システム
JP2018059767A (ja) 2016-10-04 2018-04-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
WO2020238897A1 (zh) 2020-12-03
EP3982322A1 (en) 2022-04-13
CN110189256A (zh) 2019-08-30
CN110189256B (zh) 2023-05-02
JP2022534262A (ja) 2022-07-28
US20220237736A1 (en) 2022-07-28
EP3982322A4 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
JP7350893B2 (ja) パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
WO2017118356A1 (zh) 文本图像处理方法和装置
WO2016066042A1 (zh) 商品图片的分割方法及其装置
JP6794197B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110019895B (zh) 一种图像检索方法、装置及电子设备
CN111222508B (zh) 基于roi的户型图比例尺识别方法、装置、计算机设备
CN110009662B (zh) 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN112509003A (zh) 解决目标跟踪框漂移的方法及系统
US11256949B2 (en) Guided sparse feature matching via coarsely defined dense matches
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN112101135A (zh) 一种运动目标检测方法、装置及终端设备
CN116935476A (zh) 人脸关键点的识别方法、装置和视频直播系统
CN108764206B (zh) 目标图像识别方法和系统、计算机设备
CN114723883A (zh) 一种三维场景重建方法、装置、设备及存储介质
Huang et al. Robust salient object detection via fusing foreground and background priors
CN114359796A (zh) 一种目标识别的方法、装置及电子设备
Yin et al. Scaling resilient adversarial patch
CN115205111A (zh) 一种图像拼接方法、装置、终端设备和存储介质
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
CN109272541B (zh) 一种图像匹配方法、设备
CN112396627A (zh) 一种目标跟踪方法及装置、计算机可读存储介质
CN113641870B (zh) 向量索引构建方法、向量检索方法和与方法对应的系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150