JP7849552B1 - 画像スプライシング方法および画像処理装置 - Google Patents

Abstract

【目的】画像スプライシング方法および画像処理装置を提供する。
【解決手段】この方法は、少なくとも１つの画像行を含む複数のスプライシング対象画像を取得することと、各画像行中の複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、対応する少なくとも１つの画像行の少なくとも１つの第１水平画像を生成することと、少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とすることと、第１全体画像中の各第１水平画像において対応する第１画像特徴を識別し、それに基づいて、少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とすることと、少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることと、エッジアライメントプロセスを実行することにより第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成することと、を含む。
【選択図】図２

Description

本発明は、画像処理メカニズムに関するものであり、特に、画像スプライシング方法および画像処理装置に関するものである。

高度な機器や自動化設備の普及に伴い、科学研究、生産工程、品質検査など様々な場面において、大型の物体や機構全体を撮影装置によって多角度・分割撮影し、完全な画像情報を取得しなければならないことがよくある。しかしながら、撮影設備の視角および解像度の制限によって、全体の様相を一枚でカバーする高解像度画像を直接取得することができないため、複数の部分画像を後処理でつなぎ合わせ、元の物体の全体像を復元させる必要がある。

現在、実務上でよく見られる画像スプライシング方式は、多くが手動操作に依存しているため、ユーザーは、画像処理ソフトウェアにより画像を一枚ずつ読み込んで、手動で位置合わせをし、重複する領域を手動で調整する必要がある。

処理を必要とする画像数が数十枚、さらには百枚や千枚以上にも達するとき、このような手動スプライシングプロセスは、操作が煩雑であるだけでなく、時間もかなりかかる。また、処理する画像のサイズが大きい場合、コンピュータシステムの計算負担がさらに増えるため、処理効率が低下して、ユーザー体験や作業効率に深刻な影響を与える。

したがって、画像スプライシング技術の分野において、処理効率を効果的に向上させ、人手依存を減らし、大きいサイズの画像スプライシングが難しい問題を克服することのできる解決策を提供することによって、様々な応用場面における物体全体の様相の理解と観察効率を向上させ、それにより、実験、展示、または検査作業におけるユーザーの情報取得体験を最適化することが早急に求められている。

したがって、本発明は、上述した技術課題を解決することのできる画像スプライシング方法および画像処理装置を提供する。

本発明の実施形態は、画像処理装置によって実行される画像スプライシング方法を提供する。前記方法は、少なくとも１つの画像行（image row）を含む複数のスプライシング対象画像を取得することと、各前記画像行中の前記複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、前記少なくとも１つの画像行に対応する少なくとも１つの第１水平画像を生成することと、前記少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とすることと、前記第１全体画像中の各前記第１水平画像において対応する第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とすることと、前記少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることと、エッジアライメントプロセスを実行することにより前記第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成することと、を含む。

本発明の実施形態は、記憶回路およびプロセッサを含む画像処理装置を提供する。記憶回路は、プログラムコードを記憶する。プロセッサは、前記記憶回路に結合され、前記プログラムコードにアクセスして、少なくとも１つの画像行を含む複数のスプライシング対象画像を取得することと、各前記画像行中の前記複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、前記少なくとも１つの画像行に対応する少なくとも１つの第１水平画像を生成することと、前記少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とすることと、前記第１全体画像中の各前記第１水平画像において対応する第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とすることと、前記少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることと、エッジアライメントプロセスを実行することにより前記第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成することと、を実行する。

本発明の実施形態が提供する画像スプライシング方法は、画像を手動でつなぎ合わせる必要があり、処理が煩雑で、且つ効率が低いという従来技術の問題を効果的に解決することができる。

本発明の１つの実施形態に係る画像処理装置の概略図である。 本発明の１つの実施形態に係る画像スプライシング方法のフローチャートである。 本発明の１つの実施形態に係る水平スプライシングプロセスのフローチャートである。 本発明の第１実施形態に係る水平画像を生成するときの概略図である。 本発明の第１実施形態に係る水平画像を生成するときの概略図である。 本発明の１つの実施形態に係る第１全体画像を生成するときのフローチャートである。 本発明の第２実施形態に係る第１全体画像を生成するときの概略図である。 本発明の１つの実施形態に係る第１水平画像をキャリブレーションして第２水平画像とするときのフローチャートである。 本発明の第４実施形態に係る第２水平画像を生成するときの概略図である。 本発明の第４実施形態に係る第２水平画像を生成するときの概略図である。 図８Ａ、図８Ｂに基づいて第２水平画像をつなぎ合わせて第２全体画像とするときの概略図である。 本発明の１つの実施形態に係るエッジアライメントプロセスのフローチャートである。 本発明の第５実施形態に係る指定されたエッジに対して実行する部分更新プロセスのフローチャートである。

図１を参照すると、図１は、本発明の１つの実施形態に係る画像処理装置の概略図である。

本発明の実施形態において、画像処理装置１００は、例えば、画像受信、処理、分析、および出力機能を備えたシステムを指し、計算処理能力を有するハードウェア装置であってもよく、画像処理アルゴリズムを実行する１つまたは複数のソフトウェアモジュールを組み合わせることによって構成される。当該装置は、デスクトップコンピュータ、産業用コンピュータ、サーバー、ノートパソコン、組み込みシステム、または画像処理チップを搭載した装置であってもよい。

図１において、画像処理装置１００は、記憶回路１０２およびプロセッサ１０４を含む。

記憶回路１０２は、例えば、任意の形式の固定式または可動式ランダムアクセスメモリ（random access memory, RAM）、読み取り専用メモリ（read-only memory, ROM）、フラッシュメモリ（flash memory）、ハードディスク、または他の類似デバイス、あるいはこれらのデバイスの組み合わせであり、複数のプログラムコードまたはモジュールを記録するために使用することができる。

プロセッサ１０４は、記憶回路１０２に結合され、汎用プロセッサ、特殊用途プロセッサ、従来のプロセッサ、デジタル信号プロセッサ、複数のマイクロプロセッサ（microprocessor）、デジタル信号プロセッサコアを組み合わせた１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（application specific integrated circuit, ASIC）、フィールドプログラマブルゲートアレイ回路（field programmable gate array, FPGA）、その他の任意の種類の集積回路、ステートマシン、ＡＲＭ（advanced RISC machine）ベースのプロセッサ、および類似品であってもよい。

本発明の実施形態において、プロセッサ１０４は、記憶回路１０２に記録されたモジュールやプログラムコードにアクセスして、本発明が提供する画像スプライシング方法を実現することができる。その詳細について、以下に詳しく説明する。

図２を参照すると、図２は、本発明の１つの実施形態に係る画像スプライシング方法のフローチャートである。本実施形態の方法は、図１の画像処理装置１００によって実行することができ、以下、図１に示した構成要素と組み合わせて、図２の各ステップについて詳しく説明する。

ステップＳ２１０において、プロセッサ１０４は、複数のスプライシング対象画像を取得する。ここで、前記複数のスプライシング対象画像は、少なくとも１つの画像行を含む。

本発明の実施形態において、前記複数のスプライシング対象画像は、例えば、撮影装置が対象物体に対して分割撮影を行うことによって得られたものであるが、本発明はこれに限定されない。また、前記少なくとも１つの画像行とは、複数の画像を所定の方向（例えば、水平方向、垂直方向、または特定の軌跡）に沿って連続的に撮影して得られたものを指し、各画像の撮影範囲は、部分的に重複する領域を有するため、後続の画像スプライシングを行うのに便利である。一部の実施形態において、前記画像行は、左から右に撮影された水平画像シーケンス、または上から下に撮影された垂直画像シーケンスを含むことができ、複数行の画像に拡張して画像マトリックスを形成することもできるが、本発明はこれに限定されない。

ステップＳ２２０において、プロセッサ１０４は、各画像行中の複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、前記少なくとも１つの画像行に対応する少なくとも１つの第１水平画像を生成する。

１つの実施形態において、前記水平スプライシングプロセスとは、例えば、画像行中の各隣接画像の重複領域、特徴対応関係、または画像座標情報に基づいて、これらの画像に対し位置合わせと融合を行い、当該画像行に対応する少なくとも１つの第１水平画像を生成することを指す。

例を挙げて説明すると、画像行が撮影装置によって左から右に順番に取得した複数の画像で構成されるとき、プロセッサ１０４は、当該行内の画像に対して順番に水平スプライシングを行い、スプライシング後の画像を単一の連続した水平画像として出力することができる。いくつかの実施形態において、プロセッサ１０４は、自動特徴点マッチング、エッジ融合、露出補正などのアルゴリズムを適用して、画像スプライシングの精度と自然さを向上させ、後続の垂直スプライシングまたはパノラマ合成の基礎とすることができる。

１つの実施形態において、前記水平スプライシングプロセスを実行する前に、各スプライシング対象画像の画像比率が一致していないと判定すると、それに応じて、プロセッサ１０４は、各スプライシング対象画像の画像比率が一致するように校正し、校正後の前記複数のスプライシング対象画像に基づいて、前記水平スプライシングプロセスを実行する。

１つの実施形態において、プロセッサ１０４は、まず、各スプライシング対象画像の画像比率が一致しているかどうかを判定することができる。前記画像比率は、画像の幅と高さの比率、解像度、ピクセルサイズ、または実際のサイズの対応比率を含むことができるが、本発明はこれらに限定されない。プロセッサ１０４は、少なくとも２つのスプライシング対象画像間の画像比率に差異が存在すると判定したとき、それに対応して、画像比率校正プロセスをトリガーすることができる。

１つの実施形態において、画像比率校正プロセスは、拡大縮小、補間リサンプリング、または画像撮影パラメータに基づいて計算されるスケール変換操作を含むことができるため、各画像は、同一のスプライシング基準の下で一致した比率スケールを有することができる。校正後の複数のスプライシング対象画像は、比率の不一致によって生じる位置ずれ、変形、または重複誤差を回避することができ、それにより、後で実行される水平スプライシングプロセスの精度と全体的画像品質を向上させることができるが、本発明はこれに限定されない。

１つの実施形態において、プロセッサ１０４は、図３に示したフローを適用してステップＳ２２０を実現することができる。

図３を参照すると、図３は、本発明の１つの実施形態に係る水平スプライシングプロセスのフローチャートである。

本実施形態において、上述した画像行のいずれについても、プロセッサ１０４は、図３のフローを適用して対応する第１水平画像を判定することができる。理解しやすくするため、以下では、上述した少なくとも１つの画像行中のｉ個目の画像行（ｉは、インデックス値）を例として説明するが、当業者であれば、各画像行に対応する第１水平画像をどのように判定するのかを同様に理解することができる。

ステップＳ３１０において、プロセッサ１０４は、ｉ個目の画像行中の１個目のスプライシング対象画像を第１参照画像とする。

ステップＳ３２０において、プロセッサ１０４は、第１参照画像において第１領域を定義し、ｉ個目の画像行中のｊ個目のスプライシング対象画像において第２領域を定義する。ここで、ｊは、インデックス値であり、ｊの初期値は、２である。

ステップＳ３３０において、プロセッサ１０４は、第２領域において第１関心領域を判定し、第１領域において複数の第１候補領域を判定する。ここで、各前記第１候補領域のサイズは、前記第１関心領域に対応する。

ステップＳ３４０において、プロセッサ１０４は、各第１候補領域と第１関心領域の間の比較結果を判定し、それに基づいて、複数の第１候補領域の中から第１指定候補領域を選択する。

ステップＳ３５０において、プロセッサ１０４は、第１参照画像中の第１指定候補領域とｊ個目のスプライシング対象画像中の第１関心領域を重ね合わせて、新しい第１参照画像を生成する。

ステップＳ３６０において、プロセッサ１０４は、ｊがｉ個目の画像行中の複数のスプライシング対象画像の数より小さいかどうかを判断する。そうである場合、プロセッサ１０４は、ステップＳ３８０を実行し、ｊを累加して、ステップＳ３２０に戻る。そうでない場合、プロセッサ１０４は、ステップＳ３７０を実行し、新しい第１参照画像がｉ個目の第１水平画像、すなわち、少なくとも１つの第１水平画像のうちｉ個目の画像行に対応する一者であると判定する。

図３の概念をより理解しやすくするため、以下に、図４Ａ、図４Ｂを例として補足説明を行う。ここで、図４Ａおよび図４Ｂは、本発明の第１実施形態に係る水平画像を生成するときの概略図である。

図４Ａでは、画像４１０、４２０、４３０が考慮されるスプライシング対象画像であると仮定する。この状況において、考慮されるスプライシング対象画像は、１つの画像行４００のみを含むと理解することができ、プロセッサ１０４は、図３のフローを適用して対応する第１水平画像を生成することができるが、これは単なる例であり、可能な実施方式を限定するものではない。

具体的に説明すると、ステップＳ３１０において、プロセッサ１０４は、画像行４００中の１個目のスプライシング対象画像を第１参照画像（すなわち、画像４１０）とすることができる。

ステップＳ３２０において、プロセッサ１０４は、第１参照画像（すなわち、画像４１０）において第１領域４１１を定義することができる。

１つの実施形態において、プロセッサ１０４は、例えば、所定の最大重複面積比率に基づいて第１領域４１１を判定することができる。ここで、前記最大重複面積比率とは、例えば、２つのスプライシング対象画像が相対位置に配列されたとき、この２つのスプライシング対象画像のうちのいずれか一方の画像が有する画像面積に対する重複領域の比率を指す。

例を挙げて説明すると、プロセッサ１０４が図４Ａの状況において左から右に向かって順番に画像４１０、４２０をつなぎ合わせる必要があると仮定すると、プロセッサ１０４は、例えば、前記所定の最大重複面積比率（例えば、３０％）に基づいて、画像４１０の右側に第１領域４１１を定義することができ、第１領域４１１の面積が画像４１０に占める比率（例えば、３０％）は、前記所定の最大重複面積比率と等しくてもよい。

また、プロセッサ１０４は、画像行４００中のｊ個目のスプライシング対象画像において第２領域を定義することができる。先に述べたように、ｊの初期値は２であるため、プロセッサ１０４は、画像行４００中の２個目のスプライシング対象画像（すなわち、画像４２０）において第２領域４２１を定義することができる。

１つの実施形態において、プロセッサ１０４は、また、前記所定の最大重複面積比率に基づいて、第２領域４２１を判定することができる。例を挙げて説明すると、図４Ａの状況において、プロセッサ１０４は、例えば、前記所定の最大重複面積比率（例えば、３０％）に基づいて、画像４２０の左側に第２領域４２１を定義することができ、第２領域４２１の面積が画像４２０に占める比率（例えば、３０％）は、前記所定の最大重複面積比率と等しくてもよい。

ステップＳ３３０において、プロセッサ１０４は、第２領域４２１において第１関心領域４２１ａを判定し、第１領域４１１において複数の第１候補領域を判定する。ここで、各第１候補領域のサイズは、第１関心領域４２１ａに対応する。

１つの実施形態において、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第２領域４２１において第１関心領域４２１ａを判定することができる。例を挙げて説明すると、プロセッサ１０４は、例えば、第２領域４２１において所定の幅（第２領域４２１の幅より小さい）、所定の高さ（第２領域４２１の高さより小さい）を有する矩形領域を定義してから、第２領域４２１内の参照位置（例えば、中心点または他の合理的な位置）をこの矩形領域の中心点とすることにより、第１関心領域４２１ａを判定することができるが、本発明はこれに限定されない。

図４Ａの状況において、図示されている第１候補領域４１１ａは、例えば、プロセッサ１０４がステップＳ３３０において判定した複数の第１候補領域のうちの１つであるが、他の第１候補領域（第１領域４１１に分布し、第１関心領域４２１ａと同じサイズを有する）については、図面を簡潔にするために１つ１つ図示していない。

ステップＳ３４０において、プロセッサ１０４は、各第１候補領域（例えば、第１候補領域４１１ａ）と第１関心領域４２１ａの間の比較結果を判定し、それに基づいて、前記複数の第１候補領域の中から第１指定候補領域を選択する。

１つの実施形態において、前記比較結果は、例えば、画像類似度である。いくつかの実施形態において、前記画像類似度は、２つの画像領域の画像内容上の近似度を表すための数値指標として用いることができる。例を挙げて説明すると、ピクセル値比較、画像特徴点マッチング、輝度または色分布類似性、あるいはニューラルネットワークモデルによる推論後に得られた特徴ベクトルにより類似度の評価を行うことができる。

第１候補領域４１１ａを例とすると、プロセッサ１０４は、第１候補領域４１１ａと第１関心領域４２１ａの間の画像類似度を判定し、第１候補領域４１１ａと第１関心領域４２１ａの間の比較結果とすることができるが、本発明はこれに限定されない。

同様の原則に基づいて、プロセッサ１０４は、第１関心領域４２１ａと各第１候補領域の間の画像類似度を判定することができ、プロセッサ１０４は、それに基づいて、前記複数の第１候補領域の中から第１指定候補領域を選択することができる。

１つの実施形態において、第１指定候補領域は、例えば、前記複数の第１候補領域のうち第１関心領域４２１ａと画像類似度が最も高い一者であるが、本発明はこれに限定されない。他の実施形態において、プロセッサ１０４は、設計者の要求に応じて、第１指定候補領域を選択する原則を変更してもよい（例えば、前記複数の第１候補領域のうち第１関心領域４２１ａと画像類似度が２番目に高い一者を第１指定候補領域として選択する）。

理解しやすくするため、以下では、選択された第１指定候補領域が図示されている第１候補領域４１１ａであると仮定するが、本発明はこれに限定されない。

次に、ステップＳ３５０において、プロセッサ１０４は、第１参照画像（すなわち、画像４１０）中の第１指定候補領域（すなわち、第１候補領域４１１ａ）とｊ個目のスプライシング対象画像（すなわち、画像４２０）中の第１関心領域４２１ａを重ね合わせて、新しい第１参照画像４１０’を生成する。

ステップＳ３６０において、プロセッサ１０４は、ｊが画像行４００中の複数のスプライシング対象画像の数より小さいかどうかを判定する。図４Ａの状況において、画像４１０、４２０、４３０の数は３つで、現在のｊは２であるため、プロセッサ１０４は、ｊが画像行４００中の複数のスプライシング対象画像の数より小さいと判定することができ、続いてステップＳ３８０を実行し、ｊを３に累加して、ステップＳ３２０に戻る。

理解しやすくするため、以下に、図４Ｂの状況でｊを３に累加した後のメカニズムについて補足説明を行う。

図４Ｂにおいて、プロセッサ１０４がステップＳ３２０の実行に戻ったとき、プロセッサ１０４は、第１参照画像４１０’ において第１領域４１１’を定義し、画像行４００中のｊ個目のスプライシング対象画像（すなわち、画像４３０）において第２領域４３１を定義する。

１つの実施形態において、プロセッサ１０４は、例えば、所定の最大重複面積比率（例えば、３０％）に基づいて、第１参照画像４１０’中の画像４２０の右側に第１領域４１１’を定義することができ、第１領域４１１’の面積が第１参照画像４１０’中の画像４２０に占める比率（例えば、３０％）は、所定の最大重複面積比率と等しくてもよい。

また、プロセッサ１０４は、画像行４００中のｊ個目のスプライシング対象画像において第２領域を定義することができる。ｊの現在の値は３であるため、プロセッサ１０４は、画像行４００中の３個目のスプライシング対象画像（すなわち、画像４３０）において第２領域４３１を定義することができる。

１つの実施形態において、プロセッサ１０４は、また、所定の最大重複面積比率に基づいて第２領域４３１を判定することができる。例を挙げて説明すると、図４Ｂの状況において、プロセッサ１０４は、例えば、所定の最大重複面積比率（例えば、３０％）に基づいて、画像４３０の左側に第２領域４３１を定義することができ、第２領域４３１の面積が画像４３０に占める比率（例えば、３０％）は、所定の最大重複面積比率と等しくてもよい。

ステップＳ３３０において、プロセッサ１０４は、第２領域４３１において第１関心領域４３１ａを判定し、第１領域４１１’において複数の第１候補領域を判定する。ここで、各第１候補領域のサイズは、第１関心領域４３１ａに対応する。

１つの実施形態において、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第２領域４３１において第１関心領域４３１ａを判定することができる。例を挙げて説明すると、プロセッサ１０４は、例えば、第２領域４３１において所定の幅（第２領域４３１の幅より小さい）、所定の高さ（第２領域４３１の高さより小さい）を有する矩形領域を定義してから、第２領域４３１内の参照位置（例えば、中心点または他の合理的な位置）をこの矩形領域の中心点とすることにより、第１関心領域４３１ａを判定することができるが、本発明はこれに限定されない。

図４Ｂの状況において、図示されている第１候補領域４１１ａ’は、例えば、プロセッサ１０４がステップＳ３３０において判定した複数の第１候補領域のうちの１つであるが、他の第１候補領域（第１領域４１１’に分布し、第１関心領域４３１ａと同じサイズを有する）については、図面を簡潔にするために１つ１つ図示していない。

ステップＳ３４０において、プロセッサ１０４は、各第１候補領域（例えば、第１候補領域４１１ａ’）と第１関心領域４３１ａの間の比較結果を判定し、それに基づいて、前記複数の第１候補領域の中から第１指定候補領域を選択する。

第１候補領域４１１ａ’を例とすると、プロセッサ１０４は、第１候補領域４１１ａ’と第１関心領域４３１ａの間の画像類似度を判定し、第１候補領域４１１ａ’と第１関心領域４３１ａの間の比較結果とすることができるが、本発明はこれに限定されない。

同様の原則に基づいて、プロセッサ１０４は、第１関心領域４３１ａと各第１候補領域の間の画像類似度を判定することができ、プロセッサ１０４は、それに基づいて、前記複数の第１候補領域の中から第１指定候補領域を選択することができる。

１つの実施形態において、第１指定候補領域は、例えば、前記複数の第１候補領域のうち第１関心領域４３１ａと画像類似度が最も高い一者であるが、本発明はこれに限定されない。他の実施形態において、プロセッサ１０４は、設計者の要求に応じて、第１指定候補領域を選択する原則を変更してもよい（例えば、前記複数の第１候補領域のうち第１関心領域４３１ａと画像類似度が２番目に高い一者を第１指定候補領域として選択する）。

理解しやすくするため、以下では、選択された第１指定候補領域が図示されている第１候補領域４１１ａ’であると仮定するが、本発明はこれに限定されない。

次に、ステップＳ３５０において、プロセッサ１０４は、第１参照画像４１０’中の第１指定候補領域（すなわち、第１候補領域４１１ａ’）とｊ個目のスプライシング対象画像（すなわち、画像４３０）中の第１関心領域４３１ａを重ね合わせて、新しい第１参照画像４２０’を生成する。

ステップＳ３６０において、プロセッサ１０４は、ｊが画像行４００中の複数のスプライシング対象画像の数より小さいかどうかを判断する。図４Ｂの状況において、画像４１０、４２０、４３０の数は３であり、現在のｊも３であるため、プロセッサ１０４は、ｊが画像行４００中の複数のスプライシング対象画像の数より小さくないと判定することができ、続いてステップＳ３７０を実行し、新しい第１参照画像４２０’が画像行４００中の第１水平画像に対応すると判定する。

理解すべきこととして、図４Ａ、図４Ｂに示されている状況は、前記複数のスプライシング対象画像が１つの画像行のみを有する場合である。

他の実施形態において、考慮される前記複数のスプライシング対象画像が複数の画像行を有する場合、プロセッサ１０４は、同様の原則に基づいて、各画像行に対応する第１水平画像を判定することができるが、ここでは詳しい説明を省略する。

再度図２を参照すると、ステップＳ２３０において、プロセッサ１０４は、前記少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とする。

１つの実施形態において、プロセッサ１０４は、さらに、上記の生成された少なくとも１つの第１水平画像を垂直につなぎ合わせて、第１全体画像（global image）を形成することができる。前記第１水平画像は、画像行に対して生成されたスプライシング結果であり、各水平画像は、対象物体の異なる垂直位置または異なる走査区間における側方視を表すことができる。

１つの実施形態において、プロセッサ１０４は、隣接する水平画像間の重複領域を利用して、特徴アライメント、色調バランス、または他の融合アルゴリズムにより、縦方向の配列と統合を行い、最終的に単一の連続した第１全体画像を生成することができる。

１つの実施形態において、プロセッサ１０４は、図５に示したフローを適用してステップＳ２３０を実現することができる。

図５を参照すると、図５は、本発明の１つの実施形態に係る第１全体画像を生成するときのフローチャートである。

ステップＳ５１０において、プロセッサ１０４は、前記少なくとも１つの水平画像中の１個目の第１水平画像を第２参照画像とする。

ステップＳ５２０において、プロセッサ１０４は、前記第２参照画像において第３領域を定義し、前記少なくとも１つの第１水平画像中のｋ個目の第１水平画像において第４領域を定義する。ここで、ｋは、インデックス値であり、ｋの初期値は、２である。

ステップＳ５３０において、プロセッサ１０４は、前記第４領域において第２関心領域を判定し、前記第３領域において複数の第２候選領域を判定する。ここで、各前記第２候選領域のサイズは、前記第２関心領域に対応する。

ステップＳ５４０において、プロセッサ１０４は、各前記第２候選領域と前記第２関心領域の間の比較結果を判定し、それに基づいて、前記複数の第２候選領域の中から第２指定候選領域を選択する。

ステップＳ５５０において、プロセッサ１０４は、前記第２参照画像中の前記第２指定候選領域と前記ｋ個目のスプライシング対象画像中の前記第２関心領域を重ね合わせて、新しい前記第２参照画像を生成する。

ステップＳ５６０において、プロセッサ１０４は、ｋが前記少なくとも１つの第１水平画像の数より小さいかどうかを判断する。そうである場合、プロセッサ１０４は、ステップＳ５８０を実行し、ｋを累加して、ステップＳ５２０に戻る。そうでない場合、プロセッサ１０４は、ステップＳ５７０を実行し、新しい前記第２参照画像が前記第１全体画像であると判定する。

図５の概念をより理解しやすくするため、以下に、図６を例として補足説明を行う。ここで、図６は、本発明の第２実施形態に係る第１全体画像を生成するときの概略図である。

図６において、考慮される前記複数のスプライシング対象画像は、例えば、２ｘ２の画像マトリックスとして配列されたものである。すなわち、前記複数のスプライシング対象画像は、合計２つの画像行を含み、各画像行は、２つのスプライシング対象画像を含むが、本発明はこれに限定されない。

本実施形態において、１個目の画像行に属する前記複数のスプライシング対象画像が既にプロセッサ１０４によって先に教示したメカニズムによりつなぎ合わされて第１水平画像６１０（１個目の第１水平画像であると理解することができる）になっていると仮定する。また、２個目の画像行に属する前記複数のスプライシング対象画像も既にプロセッサ１０４によって先に教示したメカニズムによりつなぎ合わされて第１水平画像６２０（２個目の第１水平画像であると理解することができる）になっていると仮定する。

この状況において、プロセッサ１０４は、続いて図５のフローを実行し、第１水平画像６１０、６２０をつなぎ合わせて第１全体画像とすることができる。

具体的に説明すると、ステップＳ５１０において、プロセッサ１０４は、前記少なくとも１つの水平画像中の１個目の第１水平画像を第２参照画像とする。すなわち、プロセッサ１０４は、第１水平画像６１０を第２参照画像として使用する。

ステップＳ５２０において、プロセッサ１０４は、前記第２参照画像において第３領域６１１を定義する。

１つの実施形態において、プロセッサ１０４は、例えば、所定の最大重複面積比率に基づいて、第３領域６１１を判定することができる。ここで、前記最大重複面積比率とは、例えば、２つのスプライシング対象画像が相対位置に配列されたとき、この２つのスプライシング対象画像のうちのいずれか一方の画像が有する画像面積に対する重複領域の比率を指す。

例を挙げて説明すると、プロセッサ１０４が図６の状況において上から下に向かって順番に第１水平画像６１０、６２０をつなぎ合わせる必要があると仮定すると、プロセッサ１０４は、例えば、前記所定の最大重複面積比率（例えば、３０％）に基づいて、第１水平画像６１０の底部側に第３領域６１１を定義することができ、第３領域６１１の面積が第１水平画像６１０に占める比率（例えば、３０％）は、前記所定の最大重複面積比率と等しくてもよい。

また、プロセッサ１０４は、前記少なくとも１つの第１水平画像中のｋ個目の第１水平画像において第４領域を定義する。先に述べたように、ｋの初期値は２であるため、プロセッサ１０４は、２個目の第１水平画像（すなわち、第１水平画像６２０）において第４領域６２１を定義することができる。

１つの実施形態において、プロセッサ１０４は、また、前記所定の最大重複面積比率に基づいて、第４領域６２１を判定することができる。例を挙げて説明すると、図６の状況において、プロセッサ１０４は、例えば、前記所定の最大重複面積比率（例えば、３０％）に基づいて、第１水平画像６２０の上側に第４領域６２１を定義することができ、第４領域６２１の面積が第１水平画像６２０に占める比率（例えば、３０％）は、前記所定の最大重複面積比率と等しくてもよい。

ステップＳ５３０において、プロセッサ１０４は、第４領域６２１において第２関心領域６２１ａを判定し、第３領域６１１において複数の第２候補領域を判定する。

１つの実施形態において、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第４領域６２１において第２関心領域６２１ａを判定することができる。例を挙げて説明すると、プロセッサ１０４は、例えば、第４領域６２１において所定の幅（第４領域６２１の幅より小さい）、所定の高さ（第４領域６２１の高さより小さい）を有する矩形領域を定義してから、第４領域６２１内の参照位置（例えば、中心点または他の合理的な位置）をこの矩形領域の中心点とすることにより、第２関心領域６２１ａを判定することができるが、本発明はこれに限定されない。

図６の状況において、図示されている第１候補領域６１１ａは、例えば、プロセッサ１０４がステップＳ５３０において判定した複数の第２候補領域のうちの１つであるが、他の第２候補領域（第３領域６１１中に分布し、第２関心領域６２１ａと同じサイズを有する）については、図面を簡潔にするために１つ１つ図示していない。

ステップＳ５４０において、プロセッサ１０４は、各前記第２候補領域と前記第２関心領域の間の比較結果を判定し、それに基づいて、前記複数の第２候補領域の中から第２指定候補領域を選択する。

１つの実施形態において、前記比較結果は、例えば、先に述べた画像類似度である。

第２候補領域６１１ａを例とすると、プロセッサ１０４は、第２候補領域６１１ａと第２関心領域６２１ａの間の画像類似度を判定し、第２候補領域６１１ａと第２関心領域６２１ａの間の比較結果とすることができるが、本発明はこれに限定されない。

同様の原則に基づいて、プロセッサ１０４は、第２関心領域６２１ａと各第２候補領域の間の画像類似度を判定することができ、プロセッサ１０４は、それに基づいて、前記複数の第２候補領域の中から第２指定候補領域を選択することができる。

１つの実施形態において、第２指定候補領域は、例えば、前記複数の第２候補領域のうち第２関心領域６２１ａと画像類似度が最も高い一者であるが、本発明はこれに限定されない。他の実施形態において、プロセッサ１０４は、設計者の要求に応じて、第２指定候補領域を選択する原則を変更してもよい（例えば、前記複数の第２候補領域のうち第２関心領域６２１ａと画像類似度が２番目に高い一者を第２指定候補領域として選択する）。

理解しやすくするため、以下では、選択された第２指定候補領域が図示されている第２候補領域６１１ａであると仮定するが、本発明はこれに限定されない。

ステップＳ５５０において、プロセッサ１０４は、前記第２参照画像（すなわち、第１水平画像６１０）中の前記第２指定候補領域（すなわち、第２候補領域６１１ａ）と前記ｋ個目のスプライシング対象画像（すなわち、第１水平画像６２０）中の第２関心領域６２１ａを重ね合わせて、新しい第２参照画像６１０’を生成する。

ステップＳ５６０において、プロセッサ１０４は、ｋが前記少なくとも１つの第１水平画像の数より小さいかどうかを判断する。そうである場合、プロセッサ１０４は、ステップＳ５８０を実行し、ｋを累加して、ステップＳ５２０に戻る。そうでない場合、プロセッサ１０４は、ステップＳ５７０を実行し、新しい前記第２参照画像が前記第１全体画像であると判定する。

図６の状況において、第１水平画像６１０、６２０の数は２であり、現在のｋも２であるため、プロセッサ１０４は、ｋが前記少なくとも１つの第１水平画像の数より小さくないと判定することができ、続いてステップＳ５７０を実行し、新しい第２参照画像６１０’が第１全体画像であると判定する。

他の実施形態において、考慮される前記少なくとも１つの第１水平画像の数がさらに多い（例えば、２より大きい）場合、現在のｋが２の状況において、プロセッサ１０４は、ｋが前記少なくとも１つの第１水平画像の数より小さいと判定することができ、続いてステップＳ５８０を実行し、ｋを３に累加して、ステップＳ５２０に戻る。関連する詳細については、上述した実施形態を参照することができるため、ここでは繰り返し説明しない。

本発明の実施形態において、上述した第１全体画像は、つなぎ合わせることによって得られたものであると説明されているが、第１全体画像は、考慮されるスプライシング対象画像を適切な相対位置に配置する／重ね合わせることによって、全体が一枚の画像のように見えるようにしたものであると理解することができる。この場合、第１全体画像中の各スプライシング対象画像は、依然として独立した画像であり、各スプライシング対象画像の第１全体画像中の位置は、依然として調整／移動が可能である。つまり、第１全体画像は、つなぎ合わせることによって得られたものであるが、その中の各スプライシング対象画像の相対位置は、依然として調整が可能である。ただし、本発明はこれに限定されない。

再度図２を参照すると、ステップＳ２４０において、プロセッサ１０４は、第１全体画像中の第１水平画像において対応する第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とする。

１つの実施形態において、プロセッサ１０４は、第１全体画像が完成した後、さらに、第１全体画像中の少なくとも１つの第１水平画像に対して特徴識別およびキャリブレーション動作を実行することができる。具体的に説明すると、プロセッサ１０４は、第１全体画像において当該第１水平画像に対応する第１画像特徴を識別することができ、前記第１画像特徴は、エッジ線分、角点、テクスチャ分布、色変化領域、または他の識別性を有する画像素子を含むことができる。

プロセッサ１０４は、識別された第１画像特徴の位置に基づいて、当該第１水平画像の全体画像中の実際の対応位置および変形状態を判定し、それに基づいて、精密なアライメントおよび幾何学的キャリブレーションを行い、元の第１水平画像をキャリブレーションして対応する第２水平画像とすることができる。前記第２水平画像は、さらに高いアライメント精度を有し、最終画像の合成、分析、または表示に使用される標準画像データとして機能することができる。

１つの実施形態において、プロセッサ１０４は、図７に示したフローを適用してステップＳ２４０を実現することができる。

図７を参照すると、図７は、本発明の１つの実施形態に係る第１水平画像をキャリブレーションして第２水平画像とするときのフローチャートである。

ステップＳ７１０において、プロセッサ１０４は、ｉ個目の画像行中の２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像を取得する。ここで、Ｊは、ｉ個目の画像行中の前記複数のスプライシング対象画像の数である。

ステップＳ７２０において、プロセッサ１０４は、２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像のそれぞれに対応する第１関心領域を取得し、それに基づいて、２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像を少なくとも１つの第１類画像と少なくとも１つの第２類画像に区分する。１つの実施形態において、各第１類画像に対応する第１関心領域は、対応する第１画像特徴を含むと識別され、各第２類画像に対応する第１関心領域は、対応する第１画像特徴を含まないと識別される。

ステップＳ７３０において、プロセッサ１０４は、各第２類画像に対応する第２領域において対応する第１画像特徴を見つけ、それに基づいて、各第２類画像に対応する第１関心領域を更新する。

ステップＳ７４０において、プロセッサ１０４は、各第２類画像に対応する更新された第１関心領域に基づいて、各第２類画像と対応する第１参照画像の重ね合わせ方式を調整することにより、ｉ個目の第１水平画像をキャリブレーションしてｉ個目の第２水平画像とする。

図７の概念をより理解しやすくするため、以下に、図８Ａおよび図８Ｂを例として補足説明を行う。図８Ａおよび図８Ｂは、本発明の第４実施形態に係る第２水平画像を生成するときの概略図である。

図８Ａの状況では、考慮される前記複数のスプライシング対象画像のｉ個目の画像行が図示されている画像８１０、８２０、８３０、８４０、８５０、８６０、８７０を含むと仮定する。また、プロセッサ１０４は、上述した実施形態の教示に基づいて、既にこれらの画像をつなぎ合わせて対応する第１水平画像（すなわち、ｉ個目の画像行に対応するｉ個目の第１水平画像）としているが、この第１水平画像も既に他の画像行に対応する第１水平画像とつなぎ合わされて対応する第１全体画像を形成している。

この状況において、プロセッサ１０４は、図８Ａに示したｉ個目の画像行に対して図７のフローを実行することができる。具体的な説明は、以下の通りである。

ステップＳ７１０において、プロセッサ１０４は、ｉ個目の画像行中の２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像を取得する。図８の状況では、考慮されるｉ個目の画像行が７枚の画像を含んでいるため、Ｊ値は、７であるが、本発明はこれに限定されない。これに対応して、プロセッサ１０４は、ステップＳ７１０において、画像８２０、８３０、８４０、８５０、８６０、８７０を取得することができる。

ステップＳ７２０において、プロセッサ１０４は、２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像にそれぞれ対応する第１関心領域を取得し、それに基づいて、２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像を少なくとも１つの第１類画像と少なくとも１つの第２類画像に区分する。１つの実施形態において、各第１類画像に対応する第１関心領域は、対応する第１画像特徴を含むと識別され、各第２類画像に対応する第１関心領域は、対応する第１画像特徴を含まないと識別される。

本実施形態において、画像８２０、８３０、８４０、８５０、８６０、８７０に対応する第１関心領域（すなわち、前に水平スプライシングプロセスを実行したときに判定した第１関心領域）がそれぞれ図示されている第１関心領域８２１ａ、８３１ａ、８４１ａ、８５１ａ、８６１ａ、８７１ａであると仮定するが、本発明はこれに限定されない。

その後、プロセッサ１０４は、第１関心領域８２１ａ、８３１ａ、８４１ａ、８５１ａ、８６１ａ、８７１ａに基づいて、画像８２０、８３０、８４０、８５０、８６０、８７０を少なくとも１つの第１類画像と少なくとも１つの第２類画像に区分することができる。

図８Ａの状況では、考慮される第１画像特徴が第１関心領域８２１ａ、８３１ａ、８４１ａ、８５１ａに存在する線分８９９であると仮定するが、本発明はこれに限定されない。

この状況において、プロセッサ１０４は、第１関心領域８２１ａ、８３１ａ、８４１ａ、８５１ａに対応する画像８２０、８３０、８４０、８５０が第１類画像であると判定することができる。

また、第１関心領域８６１ａ、８７１ａは、考慮される第１画像特徴（例えば、線分８９９）を含んでいないため、プロセッサ１０４は、第１関心領域８６１ａ、８７１ａに対応する画像８６０、８７０が第２類画像であると判定することができる。

ステップＳ７３０において、プロセッサ１０４は、各第２類画像に対応する第２領域において対応する第１画像特徴を見つけ、それに基づいて、各第２類画像に対応する第１関心領域を更新する。

図８Ａにおいて、考慮される第２類画像は画像８６０、８７０であるため、プロセッサ１０４は、画像８６０、８７０にそれぞれ対応する第２領域８６１、８７１（すなわち、前に水平スプライシングプロセスを実行したときに判定した第２領域）において対応する第１画像特徴（例えば、線分８９９）を見つけることができる。

その後、プロセッサ１０４は、第２領域８６１、８７１における第１画像特徴に基づいて、画像８６０、８７０に対応する第１関心領域を更新することができる。

１つの実施形態において、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第２領域８６１において所定の幅（第２領域８６１の幅より小さい）、所定の高さ（第２領域８６１の高さより小さい）を有する矩形領域を定義してから、第２領域８６１内の線分８９９に基づいて、この矩形領域の位置を調整することができる。

例えば、プロセッサ１０４は、第２領域８６１における線分８９９上に基準点を判定してから、この基準点を前記矩形領域の中心点とし、それに基づいて、更新後の第１関心領域８６１ａ’（例えば、第１関心領域８６１ａよりやや下方にある）を判定することができるが、本発明はこれに限定されない。

同様に、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第２領域８７１において所定の幅（第２領域８７１の幅より小さい）、所定の高さ（第２領域８７１の高さより小さい）を有する矩形領域を定義してから、第２領域８７１内の線分８９９に基づいて、この矩形領域の位置を調整することができる。

例えば、プロセッサ１０４は、第２領域８７１における線分８９９上に基準点を判定してから、この基準点を前記矩形領域の中心点とし、それに基づいて、更新後の第１関心領域８７１ａ’（例えば、第１関心領域８７１ａよりやや下方にある）を判定することができるが、本発明はこれに限定されない。

ステップＳ７４０において、プロセッサ１０４は、各第２類画像に対応する更新された第１関心領域に基づいて、各第２類画像と対応する第１参照画像の重ね合わせ方式を調整することにより、ｉ個目の第１水平画像をキャリブレーションしてｉ個目の第２水平画像とする。

図８Ａの状況では、画像８６０、８７０に対応する第１関心領域が既にそれぞれ第１関心領域８６１ａ’、８７１ａ’に更新されているため、プロセッサ１０４は、それに基づいて、先に紹介した水平スプライシングプロセスを実行することができるが、関連する詳細については、上述した実施形態の説明を参照することができるため、ここでは繰り返し説明しない。

これにより、図８Ａに示した第１水平画像８００をキャリブレーションして図８Ｂに示した第２水平画像８００’とすることができる。

図８Ｂからわかるように、更新された第１関心領域８６１ａ’、８７１ａ’は、いずれも対応する第１画像特徴（例えば、線分８９９）を含むため、より優れたスプライシング品質を有する第２水平画像８００’を生成することができる。

例を挙げて説明すると、第１水平画像８００において、線分８９９は、画像８６０、８７０の関連スプライシング位置が悪いことによって、つなぎ合わせた部分に不連続な状況が現れている。これに対し、第２水平画像８００’において、線分８９９は、画像８６０、８７０の関連スプライシング位置が改善されたため、より優れた画像品質を提供することができる。

第４実施形態において、考慮されるスプライシング対象画像は、さらに、他の画像行を含むことができ、プロセッサ１０４は、図７、図８Ａ、図８Ｂの関連するメカニズム／原則に基づいて、これらの画像行に対して同じ操作を実行し、スプライシング位置の改善により優れた画像品質の取得を試みることができる。

再度図２を参照すると、各画像行のスプライシン位置の改善が完了して各画像行に対応する第２水平画像を取得した後、プロセッサ１０４は、続いてステップＳ２５０を実行し、前記少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることができる。

１つの実施形態において、プロセッサ１０４は、前記少なくとも１つの第２水平画像に対して図５に類似するメカニズムを適用し、前記少なくとも１つの第２水平画像をつなぎ合わせて対応する第２全体画像とすることができる。

１つの実施形態において、上述した第２全体画像は、つなぎ合わせることによって得られたものであると説明されているが、第２全体画像は、考慮されるスプライシング対象画像を適切な相対位置に配置する／重ね合わせることによって、全体が一枚の画像のように見えるようにしたものであると理解することができる。この場合、第２全体画像における各スプライシング対象画像は、依然として独立した画像であり、各スプライシング対象画像の第２全体画像における位置は、依然として調整／移動が可能である。つまり、第２全体画像は、つなぎ合わせることによって得られたものであるが、その中の各スプライシング対象画像の相対位置は、依然として調整が可能である。ただし、本発明はこれに限定されない。

図９を参照すると、図９は、図８Ａ、図８Ｂに基づいて、第２水平画像をつなぎ合わせて第２全体画像とするときの概略図である。

図９では、考慮されるスプライシング対象画像が２つの画像行を有すると仮定する。ここで、１個目の画像行は、図８Ａの画像８１０、８２０、８３０、８４０、８５０、８６０、８７０を含み、２個目の画像行は、図示されている画像９１０、９２０、９３０、９４０、９５０、９６０、９７０を含む。

本実施形態において、プロセッサ１０４が既に第１画像行に対して図７のメカニズムを適用し、対応する第２水平画像８００’を生成していると仮定する。

また、２個目の画像行についても、プロセッサ１０４が既に図７に示したメカニズムを適用し、対応する第２水平画像９００’（すなわち、スプライシン位置が改善された画像）を生成していると仮定する。

この場合、プロセッサ１０４は、第２水平画像８００’、９００’に基づいてステップＳ２５０を実行し、第２水平画像８００’、９００’をつなぎ合わせて第２全体画像９９０とすることができる。

先に述べたように、プロセッサ１０４は、図５に類似するメカニズムに基づいて、第２水平画像８００’、９００’をつなぎ合わせて第２全体画像９９０とすることができる。例えば、プロセッサ１０４は、第２水平画像８００’ において第３領域８１０’を定義し、第２水平画像９００’ において第４領域９１０’を定義することができる。その後、プロセッサ１０４は、第４領域９１０’ において第２関心領域９１０ａ’を定義し、先に述べた比較メカニズムにより第３領域８１０’の中から第２指定候補領域（例えば、第２候補領域８１０ａ’）を選択してから、第２関心領域９１０ａ’と第２候補領域８１０ａ’を重ね合わせて、対応する第２全体画像９９０を生成することができる。関連する詳細については、図５の説明を参照することができるため、ここでは繰り返し説明しない。

再度図２を参照すると、第２全体画像を生成した後、プロセッサ１０４は、続いてステップＳ２６０においてエッジアライメントプロセスを実行することにより第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成する。

１つの実施形態において、プロセッサ１０４は、さらに、第２全体画像に対してエッジアライメントプロセスを実行し、第２全体画像内の複数のエッジ画像の位置を調整することができる。前記エッジ画像とは、第２全体画像の境界領域やスプライシングシーム領域に位置する画像部分、またはスプライシングプロセス中の重複範囲が少なく、アライメント誤差が大きい画像部分を指すことができる。

当該エッジアライメントプロセスは、エッジ画像とその隣接領域の幾何学的エッジ特徴、輝度勾配、テクスチャ方向などの情報を分析することによって、その相対位置と角度を調整し、全体画像のエッジをより平滑で、連続性があり、且つ自然なものにすることができる。いくつかの実施形態において、当該プロセスは、部分変形補正、境界線形アライメント、または継ぎ目誤差を最小化するための最適化アルゴリズムの採用を含むことができる。

１つの実施形態において、プロセッサ１０４は、図１０に示したフローを適用してステップＳ２６０を実現することができる。

図１０を参照すると、図１０は、本発明の１つの実施形態に係るエッジアライメントプロセスのフローチャートである。

本発明の実施形態において、前記複数のエッジ画像は、第２全体画像の指定エッジに位置し、前記指定エッジは、第２全体画像のいずれかのエッジ（例えば、上端、下端、右端、左端など）であってもよい。

ステップＳ１０１０において、プロセッサ１０４は、前記複数のエッジ画像中のｍ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｍ個目のエッジ画像において第１参照画像領域を定義する。ここで、ｍは、インデックス値であり、ｍの初期値は、１である。

ステップＳ１０２０において、プロセッサ１０４は、前記複数のエッジ画像中のｎ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｎ個目の参照画像において第２参照画像領域を定義する。ここで、ｎは、インデックス値であり、ｎの初期値は、２である。

ステップＳ１０３０において、プロセッサ１０４は、前記第２参照画像領域において第３関心領域を判定し、前記第１参照画像領域において複数の第３候補領域を判定する。ここで、各前記第３候補領域のサイズは、前記第３関心領域に対応する。

ステップＳ１０４０において、プロセッサ１０４は、各前記第３候補領域と前記第３関心領域の間の比較結果を判定し、それに基づいて、前記複数の第３候補領域の中から第３指定候補領域を選択する。

ステップＳ１０５０において、プロセッサ１０４は、前記ｍ個目のエッジ画像中の前記第３指定候補領域と前記ｎ個目のエッジ画像中の前記第３関心領域を重ね合わせて、前記ｍ個目のエッジ画像と前記ｎ個目のエッジ画像のスプライシング位置を更新する。

ステップＳ１０６０において、プロセッサ１０４は、ｎが前記複数のエッジ画像の数より小さいかどうかを判断する。そうである場合、プロセッサ１０４は、続いてステップＳ１０７０を実行し、ｍ、ｎを累加して、ステップＳ１０１０に戻る。そうでない場合、プロセッサ１０４は、ステップＳ１０８０において、第２全体画像の前記指定エッジの部分更新プロセスが完了したと判定する。

図１０の概念をより理解しやすくするため、以下に、図１１を例として補足説明を行う。ここで、図１１は、本発明の第５実施形態に係る指定されたエッジに対して実行する部分更新プロセスのフローチャートである。

図１１の状況では、考慮されるスプライシング対象画像が９ｘ８の画像マトリックスとして配列され、既に先に紹介した様々なメカニズムによりつなぎ合わされて第２全体画像１１００になっていると仮定する。この状況において、プロセッサ１０４は、第２全体画像１１００のいずれか１つのエッジを指定エッジとみなし、この指定エッジに対して相応の部分更新プロセスを実行することができる。

理解しやすくするため、以下では、第２全体画像１１００の下端を考慮される特定エッジとみなし、下端に位置する画像１１１０、１１２０、１１３０、１１４０、１１５０、１１６０、１１７０、１１８０が考慮されるエッジ画像であると理解することができるが、本発明はこれに限定されない。

ステップＳ１０１０において、プロセッサ１０４は、前記複数のエッジ画像中のｍ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｍ個目のエッジ画像において第１参照画像領域を定義する。ここで、ｍは、インデックス値であり、ｍの初期値は、１である。

図１１の状況において、プロセッサ１０４が取得するｍ個目（ｍは１）のエッジ画像は、例えば、画像１１１０であり、プロセッサ１０４は、画像１１１０において第１参照画像領域１１１１ａを定義することができる。

１つの実施形態において、プロセッサ１０４は、例えば、画像１１１０に対応する第１領域１１１１において第１参照画像領域１１１１ａを定義することができる。ここで、第１領域１１１１は、例えば、先に述べた所定の最大重複面積比率に基づいて定められたものであるが、関連する概念については、図３の関連説明を参照することができるため、ここでは繰り返し説明しない。

１つの実施形態において、プロセッサ１０４は、例えば、考慮される特定エッジと第２全体画像１１００の相対位置に基づいて、第１参照画像領域１１１１ａを決定することができる。図１１を例とすると、考慮される特定エッジは下端であるため、プロセッサ１０４は、例えば、第１参照画像領域１１１１ａが第１領域１１１１の底部に位置すると判定することができる。

また、プロセッサ１０４は、所定の比率に基づいて、第１参照画像領域１１１１ａが第１領域１１１１に占める面積比率を決定することができる。理解しやすくするため、以下では、前記所定の比率が１０％であると仮定するが、本発明はこれに限定されない。この状況において、判定された第１参照画像領域１１１１ａは、第１領域１１１１の底部に位置し、その面積は、例えば、第１領域１１１１の１０％であるが、本発明はこれに限定されない。

他の実施形態において、考慮される特定エッジが上端／左端／右端である場合、プロセッサ１０４は、例えば、それに対応して、第１参照画像領域が対応する第１領域の上部／左側／右側に位置すると判定することができる。

また、前記所定の比率の数値は、必要に応じて定めることもできるため、上述した例に限定されるものではない。

ステップＳ１０２０において、プロセッサ１０４は、前記複数のエッジ画像中のｎ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｎ個目の参照画像において第２参照画像領域を定義する。ここで、ｎは、インデックス値であり、ｎの初期値は、２である。

図１１の状況において、プロセッサ１０４が取得するｎ個目（ｎは２）のエッジ画像は、例えば、画像１１２０であり、プロセッサ１０４は、画像１１２０において第２参照画像領域１１２１ａを定義することができる。

１つの実施形態において、プロセッサ１０４は、例えば、画像１１１０に対応する第２領域１１２１において第２参照画像領域１１２１ａを定義することができる。ここで、第２領域１１２１は、例えば、先に述べた所定の最大重複面積比率に基づいて定められるが、関連する概念については、図３の関連説明を参照することができるため、ここでは繰り返し説明しない。

１つの実施形態において、プロセッサ１０４は、例えば、考慮される特定エッジと第２全体画像１１００の相対位置に基づいて、第２参照画像領域１１２１ａを決定することができる。図１１を例とすると、考慮される特定エッジは下端であるため、プロセッサ１０４は、例えば、第２参照画像領域１１２１ａが第２領域１１２１の底部に位置すると判定することができる。

また、プロセッサ１０４は、所定の比率に基づいて、第２参照画像領域１１２１ａが第２領域１１２１に占める面積比率を決定することができる。理解しやすくするため、以下では、前記所定の比率が１０％であると仮定するが、本発明はこれに限定されない。この状況において、判定された第２参照画像領域１１２１ａは、第２領域１１２１の底部に位置し、その面積は、例えば、第２領域１１２１の１０％であるが、本発明はこれに限定されない。

ステップＳ１０３０において、プロセッサ１０４は、前記第２参照画像領域１１２１ａにおいて第３関心領域１１２１ａ’を判定し、前記第１参照画像領域１１１１ａにおいて複数の第３候補領域を判定する。ここで、各第３候補領域のサイズは、第３関心領域１１２１ａ’に対応する。

１つの実施形態において、プロセッサ１０４は、例えば、所定のサイズおよび所定の相対位置に基づいて、第２参照画像領域１１２１ａにおいて第３関心領域１１２１ａ’を判定することができる。例を挙げて説明すると、プロセッサ１０４は、例えば、第２参照画像領域１１２１ａにおいて所定の幅（第２参照画像領域１１２１ａの幅より小さい）、所定の高さ（第２参照画像領域１１２１ａの高さより小さい）を有する矩形領域を定義してから、第２参照画像領域１１２１ａ内の参照位置（例えば、中心点または他の合理的な位置）をこの矩形領域の中心点とすることにより、第３関心領域１１２１ａ’を判定することができるが、本発明はこれに限定されない。

図１１の状況において、図示されている第３候補領域１１１１ａ’は、例えば、プロセッサ１０４がステップＳ１０３０において判定した複数の第３候補領域のうちの１つであるが、他の第３候補領域（第１参照画像領域１１１１ａに分布し、第３関心領域１１２１ａ’と同じサイズを有する）については、図面を簡潔にするために１つ１つ図示していない。

ステップＳ１０４０において、プロセッサ１０４は、各第３候補領域と第３関心領域１１２１ａ’の間の比較結果を判定し、それに基づいて、複数の第３候補領域の中から第３指定候補領域を選択する。

１つの実施形態において、前記比較結果は、例えば、先に述べた画像類似度である。

第３候補領域１１１１ａ’を例とすると、プロセッサ１０４は、第３候補領域１１１１ａ’と第３関心領域１１２１ａ’の間の画像類似度を判定し、第３候補領域１１１１ａ’と第３関心領域１１２１ａ’の間の比較結果とすることができるが、本発明はこれに限定されない。

類似原則に基づいて、プロセッサ１０４は、第３関心領域１１２１ａ’と各第３候補領域の間の画像類似度を判定することができ、プロセッサ１０４は、それに基づいて、前記複数の第３候補領域の中から第３指定候補領域を選択することができる。

１つの実施形態において、第３指定候補領域は、例えば、前記複数の第３候補領域のうち第３関心領域１１２１ａ’と画像類似度が最も高い一者であるが、本発明はこれに限定されない。他の実施形態において、プロセッサ１０４は、設計者の要求に応じて、第３指定候補領域を選択する原則を変更してもよい（例えば、前記複数の第３候補領域のうち第３関心領域１１２１ａ’と画像類似度が２番目に高い一者を第３指定候補領域として選択する）。

理解しやすくするため、以下では、選択された第３指定候補領域が図示されている第３候補領域１１１１ａ’であると仮定するが、本発明はこれに限定されない。

ステップＳ１０５０において、プロセッサ１０４は、前記ｍ個目のエッジ画像中の第３指定候補領域（例えば、第３候補領域１１１１ａ’）と前記ｎ個目のエッジ画像中の第３関心領域１１２１ａ’を重ね合わせて、前記ｍ個目のエッジ画像と前記ｎ個目のエッジ画像のスプライシング位置を更新する。

ステップＳ１０６０において、プロセッサ１０４は、ｎが前記複数のエッジ画像の数より小さいかどうかを判断する。図１１の状況において、画像１１１０、１１２０、１１３０、１１４０、１１５０、１１６０、１１７０、１１８０の数は８であり、現在のｎは２であるため、プロセッサ１０４は、ｎが前記複数のエッジ画像の数より小さくないと判定することができ、続いてステップＳ１０８０を実行し、ｍ、ｎを累加して、ステップＳ１０１０に戻る。

ｍ、ｎを累加した後、ｍ、ｎの現在の値は、それぞれ２、３であるため、プロセッサ１０４は、それに対応して、画像１１２０、１１３０をそれぞれステップＳ１０１０におけるｍ個目のエッジ画像およびステップＳ１０２０におけるｎ個目のエッジ画像とみなすことができる。その後、プロセッサ１０４は、先に紹介したメカニズムに基づいてステップＳ１０１０～ステップＳ１０７０を繰り返し実行し、ｎが累加されて前記複数のエッジ画像の数より小さくなくなるまで、画像１１２０、１１３０、１１４０、１１５０、１１６０、１１７０、１１８０中の隣接する画像間のスプライシング位置を調整することができる。

１つの実施形態において、ｎが累加されて前記複数のエッジ画像の数より小さくなくなったとき、プロセッサ１０４は、ステップＳ１０６０を実行した後、続いてステップＳ１０８０を実行し、第２全体画像１１００の指定エッジ（例えば、下端）の部分更新プロセスが完了したと判定することができる。

本発明の実施形態において、プロセッサ１０４は、第２全体画像１１００の各エッジに対してそれぞれの部分更新プロセスを実行し、第３全体画像１１９０を生成することができるが、本発明はこれに限定されない。

以上のように、本発明の実施形態が提供する画像スプライシング方法は、画像を手動でつなぎ合わせる必要があり、処理が煩雑で、且つ効率が低いという従来技術の問題を効果的に解決することができる。画像比率校正、特徴アライメント、水平および垂直スプライシングなどのプロセスを自動的に実行することにより、本発明は、大量の画像データの処理効率を大幅に向上させ、人的操作の必要性を著しく減らし、高解像度または大きいサイズの画像のスプライシングアプリケーションに適用することができ、高い拡張性およびシステム計算効率を備える。

また、本発明は、特徴に基づいたスプライシング技術およびエッジ最適化メカニズムにより、画像のアライメント精度と継ぎ目の平滑度を向上させ、パノラマ画像の全体的な品質および視覚的連続性をさらに改善することができる。統合された後の全体画像は、ユーザーが大型のサンプルや機構の完全な外観を迅速に理解するのに役立ち、実験観察、検査判読、または展示アプリケーションにおける情報の可視化効果を向上させ、実用性および産業応用価値を備える。

本発明を上記の実施形態により開示したが、これらは本発明を限定するためのものではなく、当該技術分野において通常の知識を有する者であれば、本発明の精神および範囲から逸脱しない範囲で、いくつかの変更および修正を行うことができるため、本発明の保護範囲は、添付の特許請求の範囲により定義されるものとする。

本発明の実施形態の画像スプライシング方法は、画像処理装置およびそれに関連する画像処理方法に利用することができる。

１００ 画像処理装置
１０２ 記憶回路
１０４ プロセッサ
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０、Ｓ３１０、Ｓ３２０、Ｓ３３０、Ｓ３４０、Ｓ３５０、Ｓ３６０、Ｓ３７０、Ｓ３８０、Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０、Ｓ５６０、Ｓ５７０、Ｓ５８０、Ｓ７１０、Ｓ７２０、Ｓ７３０、Ｓ７４０、Ｓ１０１０、Ｓ１０２０、Ｓ１０３０、Ｓ１０４０、Ｓ１０５０、Ｓ１０６０、Ｓ１０７０、Ｓ１０８０ ステップ
４１０、４２０、４３０、６１０、８１０、８２０、８６０、９１０、１１１０、１１２０ 画像
４００ 画像行
４１０’、４２０’ 第１参照画像
４１１、４１１’、１１１１ 第１領域
１１１１ａ 第１参照画像領域
１１２１ａ 第２参照画像領域
４２１、４３１、８６１、８７１、１１２１ 第２領域
４２１ａ、４３１ａ、８２１ａ、８６１ａ、８６１ａ’、８７１ａ、８７１ａ’ 第１関心領域
４１１ａ、４１１ａ’、６１１ａ 第１候補領域
６２０、８００ 第１水平画像
６１０’ 第２参照画像
６１１、８１０’ 第３領域
６２１、９１０’ 第４領域
６２１ａ、９１０ａ’ 第２関心領域
８９９ 線分
８００’、９００ 第２水平画像
９９０、１１００ 第２全体画像
８１０ａ’ 第２候補領域
１１２１ａ’ 第３関心領域
１１１１ａ’ 第３候補領域
１１９０ 全体画像

Claims (8)

1. 画像処理装置によって実行される画像スプライシング方法であって、
   少なくとも１つの画像行を含む複数のスプライシング対象画像を取得することと、
   各前記画像行中の前記複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、前記少なくとも１つの画像行に対応する少なくとも１つの第１水平画像を生成することと、
   前記少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とすることと、
   前記全体画像中の各前記第１水平画像において対応する第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とすることと、
   前記少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることと、
   エッジアライメントプロセスを実行することにより前記第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成することと、
   を含む方法。
2. 前記少なくとも１つの画像行が、ｉ個目の画像行を含み、前記少なくとも１つの第１水平画像が、前記ｉ個目の画像行に対応するｉ個目の第１水平画像を含み、且つ前記ｉ個目の画像行に対して、前記水平スプライシングプロセスが、
   （ａ１）前記ｉ個目の画像行中の１個目のスプライシング対象画像を第１参照画像とすることと、
   （ａ２）前記第１参照画像において第１領域を定義し、前記ｉ個目の画像行中のｊ個目のスプライシング対象画像において第２領域を定義し、ｉ、ｊが、インデックス値であり、ｊの初期値が、２であることと、
   （ａ３）前記第２領域において第１関心領域を判定し、前記第１領域において複数の第１候補領域を判定し、各前記第１候補領域のサイズが、前記第１関心領域に対応することと、
   （ａ４）各前記第１候補領域と前記第１関心領域の間の比較結果を判定し、それに基づいて、前記複数の第１候補領域の中から第１指定候補領域を選択することと、
   （ａ５）前記第１参照画像中の前記第１指定候補領域と前記ｊ個目のスプライシング対象画像中の前記第１関心領域を重ね合わせて、新しい前記第１参照画像を生成することと、
   （ａ６）ｊが、前記ｉ個目の画像行中の前記複数のスプライシング対象画像の数より小さいかどうかを判定し、
   ｊが前記ｉ個目の画像行中の前記複数のスプライシング対象画像の数より小さいと判定すると、それに応じて、ｊを累加し、ステップ（ａ２）に戻ることと、
   ｊが前記ｉ個目の画像行中の前記複数のスプライシング対象画像の前記数より小さくないと判定すると、それに応じて、新しい前記第１参照画像が前記ｉ個目の第１水平画像であると判定することと、
   を含む請求項１に記載の方法。
3. 前記少なくとも１つの画像行が、ｉ個目の画像行を含み、前記少なくとも１つの第１水平画像が、前記ｉ個目の画像行に対応するｉ個目の第１水平画像を含み、且つ前記少なくとも１つの第１水平画像をつなぎ合わせて前記第１全体画像とすることが、
   （ｂ１）前記少なくとも１つの水平画像中の１個目の第１水平画像を第２参照画像とすることと、
   （ｂ２）前記第２参照画像において第３領域を定義し、前記少なくとも１つの第１水平画像中のｋ個目の第１水平画像において第４領域を定義し、ｉ、ｋが、インデックス値であり、ｋの初期値が、２であることと、
   （ｂ３）前記第４領域において第２関心領域を判定し、前記第３領域において複数の第２候補領域を判定し、各前記第２候補領域のサイズが、前記第２関心領域に対応することと、
   （ｂ４）各前記第２候補領域と前記第２関心領域の間の比較結果を判定し、それに基づいて、前記複数の第２候補領域の中から第２指定候補領域を選択することと、
   （ｂ５）前記第２参照画像中の前記第２指定候補領域と前記ｋ個目のスプライシング対象画像中の前記第２関心領域を重ね合わせて、新しい前記第２参照画像を生成することと、
   （ｂ６）ｋが前記少なくとも１つの第１水平画像の数より小さいかどうかを判定し、
   ｋが前記少なくとも１つの第１水平画像の前記数より小さいと判定すると、それに応じて、ｋを累加し、ステップ（ｂ２）に戻ることと、
   ｋが前記少なくとも１つの第１水平画像の前記数より小さくないと判定すると、それに応じて、新しい前記第２参照画像が前記第１全体画像であると判定することと、
   を含む請求項１に記載の方法。
4. 前記少なくとも１つの第２水平画像が、前記ｉ個目の第１水平画像に対応するｉ個目の第２水平画像を含み、且つ前記第１全体画像中の各前記第１水平画像において対応する前記第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する前記少なくとも１つの第２水平画像とすることが、
   （ｃ１）前記ｉ個目の画像行中の２個目のスプライシング対象画像～Ｊ個目のスプライシング対象画像を取得し、Ｊが、前記ｉ個目の画像行中の前記複数のスプライシング対象画像の前記数であることと、
   （ｃ２）前記２個目のスプライシング対象画像～前記Ｊ個目のスプライシング対象画像のそれぞれに対応する前記第１関心領域を取得し、それに基づいて、前記２個目のスプライシング対象画像～前記Ｊ個目のスプライシング対象画像を少なくとも１つの第１類画像と少なくとも１つの第２類画像に区分し、各前記第１類画像に対応する前記第１関心領域が、対応する前記第１画像特徴を含むと識別され、且つ各前記第２類画像に対応する前記第１関心領域が、対応する前記第１画像特徴を含まないと識別されることと、
   （ｃ３）各前記第２類画像に対応する前記第２領域において対応する前記第１画像特徴を見つけ、それに基づいて、各前記第２類画像に対応する前記第１関心領域を更新することと、
   （ｃ４）各前記第２類画像に対応する更新された前記第１関心領域に基づいて、各前記第２類画像と対応する前記第１参照画像の重ね合わせ方式を調整することにより、前記ｉ個目の第１水平画像をキャリブレーションして前記ｉ個目の第２水平画像とすることと、
   を含む請求項２に記載の方法。
5. 前記複数のエッジ画像が、前記第２全体画像の指定エッジに位置し、且つ前記エッジアライメントプロセスが、
   （ｄ１）前記複数のエッジ画像中のｍ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｍ個目のエッジ画像において第１参照画像領域を定義し、ｍが、インデックス値であり、ｍの初期値が、１であることと、
   （ｄ２）前記複数のエッジ画像中のｎ個目のエッジ画像を取得し、前記指定エッジに基づいて、前記ｎ個目の参照画像において第２参照画像領域を定義し、ｎが、インデックス値であり、ｎの初期値が、２であることと、
   （ｄ３）前記第２参照画像領域において第３関心領域を判定し、前記第１参照画像領域において複数の第３候補領域を判定し、各前記第３候補領域のサイズが、前記第３関心領域に対応することと、
   （ｄ４）各前記第３候補領域と前記第３関心領域の間の比較結果を判定し、それに基づいて、前記複数の第３候補領域の中から第３指定候補領域を選択することと、
   （ｄ５）前記ｍ個目のエッジ画像中の前記第３指定候補領域と前記ｎ個目のエッジ画像中の前記第３関心領域を重ね合わせて、前記ｍ個目のエッジ画像と前記ｎ個目のエッジ画像のスプライシング位置を更新することと、
   （ｄ６）ｎが前記複数のエッジ画像の数より小さいかどうかを判定し、
   ｎが前記複数のエッジ画像の数より小さいと判定すると、それに応じて、ｍ、ｎを累加し、ステップ（ｄ１）に戻ることと、
   ｎが前記複数のエッジ画像の前記数より小さくないと判定すると、それに応じて、前記第２全体画像の前記指定エッジの部分更新プロセスが完了したと判定することと、
   を含む請求項１に記載の方法。
6. 前記第２全体画像が、複数のエッジを含み、且つ前記エッジアライメントプロセスが、
   各前記エッジに対応する前記部分更新プロセスを完了し、前記第３全体画像を判定することをさらに含む請求項５に記載の方法。
7. 前記水平スプライシングプロセスを実行する前に、各前記スプライシング対象画像の画像比率が一致しないと判定すると、それに応じて、各前記スプライシング対象画像の前記画像比率を一致するように校正し、校正後の前記複数のスプライシング対象画像に基づいて、前記水平スプライシングプロセスを実行することをさらに含む請求項１に記載の方法。
8. プログラムコードを格納する記憶回路と、
   前記記憶回路に結合され、前記プログラムコードにアクセスして、
   少なくとも１つの画像行を含む複数のスプライシング対象画像を取得することと、
   各前記画像行中の前記複数のスプライシング対象画像に対して水平スプライシングプロセスを実行し、前記少なくとも１つの画像行に対応する少なくとも１つの第１水平画像を生成することと、
   前記少なくとも１つの第１水平画像をつなぎ合わせて第１全体画像とすることと、
   前記第１全体画像中の各前記第１水平画像において対応する第１画像特徴を識別し、それに基づいて、前記少なくとも１つの第１水平画像をキャリブレーションして対応する少なくとも１つの第２水平画像とすることと、
   前記少なくとも１つの第２水平画像をつなぎ合わせて第２全体画像とすることと、
   エッジアライメントプロセスを実行することにより前記第２全体画像内の複数のエッジ画像の位置を調整し、第３全体画像を生成することと、
   を実行するプロセッサと、
   を含む画像処理装置。