JP3328934B2 - 像を融合する方法およびその装置 - Google Patents
像を融合する方法およびその装置Info
- Publication number
- JP3328934B2 JP3328934B2 JP50272794A JP50272794A JP3328934B2 JP 3328934 B2 JP3328934 B2 JP 3328934B2 JP 50272794 A JP50272794 A JP 50272794A JP 50272794 A JP50272794 A JP 50272794A JP 3328934 B2 JP3328934 B2 JP 3328934B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- patterns
- pyramid
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 69
- 239000002131 composite material Substances 0.000 claims description 105
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 57
- 230000004927 fusion Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 30
- 238000007499 fusion processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100246550 Caenorhabditis elegans pyr-1 gene Proteins 0.000 description 1
- 244000042038 Tropaeolum tuberosum Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
【発明の詳細な説明】 この出願は、1992年５月15日出願の原出願番号第07/8
84098号の一部継続出願である。
84098号の一部継続出願である。
本発明は、拡張された情報内容で複合像を形成するた
めに２または２以上のソース像を融合する改良された方
法および上記ソース像からの複合像を形成する装置に関
するものである。
めに２または２以上のソース像を融合する改良された方
法および上記ソース像からの複合像を形成する装置に関
するものである。
発明の背景 像融合は、拡張された情報内容で単一複合像を形成す
るために、２または２以上のソース像を結合する操作で
ある。一般に異なるセンサ、例えば赤外線および可視光
線カメラ，コンピュータ援用断層写真（CAT）および磁
気共鳴結像（MRI）装置からの像は、複合像を形成する
ために結合される。可視光および赤外カメラのようなセ
ンサの異なる形式で撮られる所定場面の多重像、または
所定形式のセンサおよび場面であるが、異なる場面照明
またはカメラ焦点のような異なる結像条件で撮られる像
も結合することができる。像融合は下記の程度まで成功
している：（１）複合像は、ソース像からのすべての有
益な情報を記憶しており，（２）複合像は、融合操作に
より発生する人工歪を一切含むことなく，そして（３）
複合像は、人間または機械による通常の視覚による認識
を通して容易に判断できるように自然に見える。複合像
の使用者により決定されるものとして、役立つ情報項
は、異なるソース像のどの特徴が、複合像内包含物に対
して選択されるかを決定する。
るために、２または２以上のソース像を結合する操作で
ある。一般に異なるセンサ、例えば赤外線および可視光
線カメラ，コンピュータ援用断層写真（CAT）および磁
気共鳴結像（MRI）装置からの像は、複合像を形成する
ために結合される。可視光および赤外カメラのようなセ
ンサの異なる形式で撮られる所定場面の多重像、または
所定形式のセンサおよび場面であるが、異なる場面照明
またはカメラ焦点のような異なる結像条件で撮られる像
も結合することができる。像融合は下記の程度まで成功
している：（１）複合像は、ソース像からのすべての有
益な情報を記憶しており，（２）複合像は、融合操作に
より発生する人工歪を一切含むことなく，そして（３）
複合像は、人間または機械による通常の視覚による認識
を通して容易に判断できるように自然に見える。複合像
の使用者により決定されるものとして、役立つ情報項
は、異なるソース像のどの特徴が、複合像内包含物に対
して選択されるかを決定する。
当技術において既知の、融合に最も直接的なアプロー
チは、各画素位置において像を横切り、ソース像を整列
させ、次に合計しまたは平均をとることである。このよ
うなそして他の画素に基づくアプローチは、複合像内の
個々のソース特徴が減少したコントラストで現われ、ま
たは写真の二重露光におけるように寄せ集めで現われる
ゆえに、しばしば不満足な結果となる。
チは、各画素位置において像を横切り、ソース像を整列
させ、次に合計しまたは平均をとることである。このよ
うなそして他の画素に基づくアプローチは、複合像内の
個々のソース特徴が減少したコントラストで現われ、ま
たは写真の二重露光におけるように寄せ集めで現われる
ゆえに、しばしば不満足な結果となる。
既知パターン選択像融合は、上記ソース像内の目立っ
た特徴を識別し、そしてこれらの特徴を十分なコントラ
ストの複合に保つことにより、これらの欠点を克服しよ
うと試みる。各ソース像は最初基本パターン素子の組に
分解される。上記複合像の１組のパターン素子は、次に
ソース像の基本パターン素子から特徴パターンを選択す
ることにより組立られる。最後に複合像は基本パターン
素子のその組から構成される。
た特徴を識別し、そしてこれらの特徴を十分なコントラ
ストの複合に保つことにより、これらの欠点を克服しよ
うと試みる。各ソース像は最初基本パターン素子の組に
分解される。上記複合像の１組のパターン素子は、次に
ソース像の基本パターン素子から特徴パターンを選択す
ることにより組立られる。最後に複合像は基本パターン
素子のその組から構成される。
多重分解能像処理と分析 V.16 ページ20−51,1981
におけるバート（Burt in Multiresolution Image
Processing And Analysis,V.16,pages20−51,1981）
（以下「バート」と呼ぶ）および像分解技術に関する教
示のため参考までにここに編入した米国特許第4,692,80
6号におけるアンダーソン（Anderson）その他は、画素
の第１ナンバーから成るオリジナルの比較的高分解能像
が、上記第１所定ナンバーよりも小さい画素の第２ナン
バーからなる広い視界の低い分解能像を導出するために
処理される像分解技術を開示している。より低い分解能
の像を作るため像を分解する処理は、ガウシアンロール
オフをもつ異なるバンド幅の複数の低域フィルタを用い
て通常行なわれる。参考までにここに編入した米国特許
第4,703,514号は像の分析のピラミッド処理を実行する
手段を開示している。
におけるバート（Burt in Multiresolution Image
Processing And Analysis,V.16,pages20−51,1981）
（以下「バート」と呼ぶ）および像分解技術に関する教
示のため参考までにここに編入した米国特許第4,692,80
6号におけるアンダーソン（Anderson）その他は、画素
の第１ナンバーから成るオリジナルの比較的高分解能像
が、上記第１所定ナンバーよりも小さい画素の第２ナン
バーからなる広い視界の低い分解能像を導出するために
処理される像分解技術を開示している。より低い分解能
の像を作るため像を分解する処理は、ガウシアンロール
オフをもつ異なるバンド幅の複数の低域フィルタを用い
て通常行なわれる。参考までにここに編入した米国特許
第4,703,514号は像の分析のピラミッド処理を実行する
手段を開示している。
像融合へのラプラスピラミッドアプローチはおそらく
最良の既知パターン選択方法である。バートは、人間の
視覚における両眼融合に対するラプラスピラミッドを基
にした像融合技術の使用を最初に開示した。米国特許第
4,661,986号は、固定カメラでしかし異なる焦点調節で
撮った１組の像から拡張された被写体深度のある像の構
成をするラプラス技法の使用について開示している。機
械視覚と応用 V3 ページ１−11,1990（Vision and
Applications,V.3,pagesl−11,1990）においてトーイト
（Toet）は、監視に応用する可視と赤外の像の結合に用
いられてきた変形されたラプラスピラミッドを開示して
いる。さらに最近、大気宇宙空間における計算に関す
る、米国航空宇宙局工学協会会議の議事録 V.8,バルチ
モア,1991年10月（Proceedings of the ALAA Confe
rence on Computing in Aerospace,V.8,Baltimore,
October 1991）においてエム・パベル（M.Pavel）その
他は、航空機着陸の補助として、カメラ像を図式結像と
結合するラプラシアンピラミッドを開示した。図式に関
する米国計算器学会会報 V.2 ページ217−236,1983年
（ACM Trans,on Graphics,V.2,pages217−236（198
3）），および写真光学器具エンジニヤ協会の議事録
V.575 ページ173−181,1985年（Proceeding of SPI
E,V575,pages173−181,（1985））においてバートその
他は、様々な応用に対しモザイク内に像を併合するた
め、関連したラプラシアンピラミッド技法を開発した。
最良の既知パターン選択方法である。バートは、人間の
視覚における両眼融合に対するラプラスピラミッドを基
にした像融合技術の使用を最初に開示した。米国特許第
4,661,986号は、固定カメラでしかし異なる焦点調節で
撮った１組の像から拡張された被写体深度のある像の構
成をするラプラス技法の使用について開示している。機
械視覚と応用 V3 ページ１−11,1990（Vision and
Applications,V.3,pagesl−11,1990）においてトーイト
（Toet）は、監視に応用する可視と赤外の像の結合に用
いられてきた変形されたラプラスピラミッドを開示して
いる。さらに最近、大気宇宙空間における計算に関す
る、米国航空宇宙局工学協会会議の議事録 V.8,バルチ
モア,1991年10月（Proceedings of the ALAA Confe
rence on Computing in Aerospace,V.8,Baltimore,
October 1991）においてエム・パベル（M.Pavel）その
他は、航空機着陸の補助として、カメラ像を図式結像と
結合するラプラシアンピラミッドを開示した。図式に関
する米国計算器学会会報 V.2 ページ217−236,1983年
（ACM Trans,on Graphics,V.2,pages217−236（198
3）），および写真光学器具エンジニヤ協会の議事録
V.575 ページ173−181,1985年（Proceeding of SPI
E,V575,pages173−181,（1985））においてバートその
他は、様々な応用に対しモザイク内に像を併合するた
め、関連したラプラシアンピラミッド技法を開発した。
事実、ラプラス変換は多くのサイズのガウス状基底関
数の正規配列に各ソース像を分解するのに用いられる。
これらのパターンは時々、ピラミッド変換の基底関数と
して、またはさざ波として呼ばれる。ソース像の多重分
解能ピラミッドは、粗の特徴を低分解能で分析可能、か
つ精の特徴を高分解能で分析可能にする。ピラミッドの
各サンプル値は対応基底関数に関連する振幅を表わす。
上記融合へのラプラシアンピラミッドアプローチにおい
て、上記結合処理は融合像内の包含物に対するソース像
からのこれらのパターンのうち最も目立つものを選択す
る。ソースピラミッドは複合ピラミッドを形成するため
に、サンプル基底によりサンプルに関する選択を通して
結合される。現用手順は、この選択において「最大値選
択ルール」を用いることにあり：すなわちピラミッドソ
ース像内各サンプル位置において、最大値を持つソース
像サンプルは、複合ピラミッド内の対応サンプルとなる
ためコピーされる。もしも所定サンプル位置に、最大値
をもつサンプルと同一値を作動可能にする、他のソース
像サンプルがあれば、これらは複合ピラミッドの対応サ
ンプルを得るために平均される。最後に複合像は、複合
ピラミッドから、逆ラプラス変換を経て回復する。例と
して、米国特許第4,661,986号に開示されたアプローチ
において、最大値をもつそれぞれのソース像サンプル
は，各ピラミッドレベルでコピーされ、一層焦点が合う
ソース像の一つのサンプルに応答する。
数の正規配列に各ソース像を分解するのに用いられる。
これらのパターンは時々、ピラミッド変換の基底関数と
して、またはさざ波として呼ばれる。ソース像の多重分
解能ピラミッドは、粗の特徴を低分解能で分析可能、か
つ精の特徴を高分解能で分析可能にする。ピラミッドの
各サンプル値は対応基底関数に関連する振幅を表わす。
上記融合へのラプラシアンピラミッドアプローチにおい
て、上記結合処理は融合像内の包含物に対するソース像
からのこれらのパターンのうち最も目立つものを選択す
る。ソースピラミッドは複合ピラミッドを形成するため
に、サンプル基底によりサンプルに関する選択を通して
結合される。現用手順は、この選択において「最大値選
択ルール」を用いることにあり：すなわちピラミッドソ
ース像内各サンプル位置において、最大値を持つソース
像サンプルは、複合ピラミッド内の対応サンプルとなる
ためコピーされる。もしも所定サンプル位置に、最大値
をもつサンプルと同一値を作動可能にする、他のソース
像サンプルがあれば、これらは複合ピラミッドの対応サ
ンプルを得るために平均される。最後に複合像は、複合
ピラミッドから、逆ラプラス変換を経て回復する。例と
して、米国特許第4,661,986号に開示されたアプローチ
において、最大値をもつそれぞれのソース像サンプル
は，各ピラミッドレベルでコピーされ、一層焦点が合う
ソース像の一つのサンプルに応答する。
ラプラス変換の場合に、構成要素パターンは環状対称
形のガウシアン状強度関数の形式をとる。所定ケースの
構成要素パターンは、そのスケールについての像内の独
特な特徴がある大振幅をもつ傾向がある。ほとんどの像
パターンはエッジ状原線から作られるものと記載され
る。エッジは次に構成要素パターンの集合によりピラミ
ッド内に示される。
形のガウシアン状強度関数の形式をとる。所定ケースの
構成要素パターンは、そのスケールについての像内の独
特な特徴がある大振幅をもつ傾向がある。ほとんどの像
パターンはエッジ状原線から作られるものと記載され
る。エッジは次に構成要素パターンの集合によりピラミ
ッド内に示される。
一方ラプラシアンピラミッド技法は好結果をもたらす
ことが解ったが、時々可視人工歪が複合像内に導入され
る。これらは、例えば上記高レベルパターンは、むしろ
間接的にラプラシアンピラミッドに表わされるという事
実にもとづき、場面内拡張された外形に沿って起きるこ
ともある。強度エッジは、ガウシアンパターンでラプラ
シアンピラミッド内に、エッジの明るい側を正値，暗い
側を負値，そしてエッジ自体の位置においてゼロ，をも
つすべてのスケールで表わされる。もしもこれらの原線
のすべてが選択処理を続けさせるとは限らないならば、
外形は完全には複合に反映されない。付加的な欠点はガ
ウシアン状構成要素パターンはゼロでない平均値をもっ
ているという事実による。選択処理における誤差は、場
面の局所領域内の平均像強度における変化に到る。これ
らの人工歪は、複合像または融合像が順に表示される時
に特に顕著である。選択処理は真性の２進であり、一方
または他方のソース像からの基底関数が選ばれる。もし
も基底関数の大きさが、例えば像またはセンサ動作の雑
音のために変化するならば、選択処置は異なるソース像
から基底関数を交互に選択することもある。これはちら
つきおよび這いまわり（crawlers）のような過度に認知
される人工歪に到る。
ことが解ったが、時々可視人工歪が複合像内に導入され
る。これらは、例えば上記高レベルパターンは、むしろ
間接的にラプラシアンピラミッドに表わされるという事
実にもとづき、場面内拡張された外形に沿って起きるこ
ともある。強度エッジは、ガウシアンパターンでラプラ
シアンピラミッド内に、エッジの明るい側を正値，暗い
側を負値，そしてエッジ自体の位置においてゼロ，をも
つすべてのスケールで表わされる。もしもこれらの原線
のすべてが選択処理を続けさせるとは限らないならば、
外形は完全には複合に反映されない。付加的な欠点はガ
ウシアン状構成要素パターンはゼロでない平均値をもっ
ているという事実による。選択処理における誤差は、場
面の局所領域内の平均像強度における変化に到る。これ
らの人工歪は、複合像または融合像が順に表示される時
に特に顕著である。選択処理は真性の２進であり、一方
または他方のソース像からの基底関数が選ばれる。もし
も基底関数の大きさが、例えば像またはセンサ動作の雑
音のために変化するならば、選択処置は異なるソース像
から基底関数を交互に選択することもある。これはちら
つきおよび這いまわり（crawlers）のような過度に認知
される人工歪に到る。
さらに、従来技術は融合した複合像自体の誘導に色を
用いることもあるが、融合した複合像内の特定表示情報
に寄与するそれらのソース像の識別を保つことが、従来
技術にはない。例えば、監視応用において監視者が明る
い特徴のあるソースがあれば、高温物体を表わす、赤外
カメラソース像から来るもの、もしくは明るい色彩の、
または強く照明される物体を表わす、可視光カメラソー
スからくるもの、と複合像内に見たいと思われる。
用いることもあるが、融合した複合像内の特定表示情報
に寄与するそれらのソース像の識別を保つことが、従来
技術にはない。例えば、監視応用において監視者が明る
い特徴のあるソースがあれば、高温物体を表わす、赤外
カメラソース像から来るもの、もしくは明るい色彩の、
または強く照明される物体を表わす、可視光カメラソー
スからくるもの、と複合像内に見たいと思われる。
従って、従来技術のこれらの欠点を克服する像融合の
改良方法（平均または「最大値選択ルール」選択、およ
び色彩の使用の従来方法に加え）および良い像の質を与
えおよび／または特に複合像の順序が表示される時に、
像融合処置により形成される複合像内の特徴を使用者に
対し提供する必要がある。
改良方法（平均または「最大値選択ルール」選択、およ
び色彩の使用の従来方法に加え）および良い像の質を与
えおよび／または特に複合像の順序が表示される時に、
像融合処置により形成される複合像内の特徴を使用者に
対し提供する必要がある。
発明の摘要 Ｎソース像から、ここでＮは１よりも大きい、複合像
を形成する本発明の方法は、各ソース像In,n＝１〜N,を
複数Ｌの組の有向構成要素パターンPn（m,l）に分解す
ること；各構成要素パターンPn（m,l）に対する特徴測
度Sn（m,l）を計算すること；複合像の１組の有向構成
要素パターンPc（m,l）を形成するため、特徴測度S
n（m,l）を用いる上記構成要素パターン組Pn（m,l）か
ら構成要素パターンを選択すること；および有向構成要
素パターンPc（m,l）の組から複合像を構成すること；
のステップからなるものである。
を形成する本発明の方法は、各ソース像In,n＝１〜N,を
複数Ｌの組の有向構成要素パターンPn（m,l）に分解す
ること；各構成要素パターンPn（m,l）に対する特徴測
度Sn（m,l）を計算すること；複合像の１組の有向構成
要素パターンPc（m,l）を形成するため、特徴測度S
n（m,l）を用いる上記構成要素パターン組Pn（m,l）か
ら構成要素パターンを選択すること；および有向構成要
素パターンPc（m,l）の組から複合像を構成すること；
のステップからなるものである。
本発明は、また複数のソース像から複合像を形成する
装置であって、各ソース像を複数組の有向構成要素パタ
ーンに分解する手段（装置）；各構成要素パターンの特
徴測度を計算する手段（装置）；複合像の１組の有向構
成要素パターンを形成するため上記特徴測度を用いる構
成要素パターン組から構成要素パターンを選択する手段
（装置）；および有向構成要素パターンの組から上記複
合像を構成する手段（装置）からなるものである。
装置であって、各ソース像を複数組の有向構成要素パタ
ーンに分解する手段（装置）；各構成要素パターンの特
徴測度を計算する手段（装置）；複合像の１組の有向構
成要素パターンを形成するため上記特徴測度を用いる構
成要素パターン組から構成要素パターンを選択する手段
（装置）；および有向構成要素パターンの組から上記複
合像を構成する手段（装置）からなるものである。
図面の簡単な説明 図１は、パターンに基礎をおく像融合の従来方法を示
す流れ図である。
す流れ図である。
図２は、ガウシアンピラミッドおよびラプラシアンピ
ラミッドを形成する方法を略示する。
ラミッドを形成する方法を略示する。
図３は、ラプラシアンピラミッドからもとの像を再構
成する方法を略示する。
成する方法を略示する。
図４は、本発明のパターンに基礎をおく像融合の方法
を略示する。
を略示する。
図４（ａ）は、特徴および一致の両方を使うパターン
に基礎をおく像融合の方法を略示する。
に基礎をおく像融合の方法を略示する。
図５は、実時間デジタル像処理ハーアドウエアにおけ
る本発明の方法の実施を示す。
る本発明の方法の実施を示す。
図６は、回路P5およびP6の略示回路図である。
図７は、回路P7の略示回路図である。
図８（ａ），（ｃ），（ｄ）および（ｅ）は、重み関
数を実施する異なる回路の略示線図である。
数を実施する異なる回路の略示線図である。
図８（ｂ）は、特定重み関数のグラフ図である。
図９は、各種の像およびピラミッドレベルが、入力／
出力フレームストア、および仮定インタレース入力／出
力のあるシステム内で計算できる時のタイミング線図で
ある。
出力フレームストア、および仮定インタレース入力／出
力のあるシステム内で計算できる時のタイミング線図で
ある。
図10（ａ）は、標準可視光線カメラからのソース像の
写真である。
写真である。
図10（ｂ）は、赤外線カメラからのソース像の写真で
ある。
ある。
図10（ｃ）は、本発明の方法を用いて得られた融合像
の写真である。
の写真である。
図11は、２個の分離した単色ソース像を融合複合着色
像に変換する説明的実施例のブロック図ある。
像に変換する説明的実施例のブロック図ある。
図12は、図11に示された融合処理の一例を略示するブ
ロック図である。
ロック図である。
詳細な説明 従来技術のパターンベース像融合の流れ図が図１に示
される。上記ソース像は融合ステップに入る前に整列さ
れると仮定される。融合方法は各ソース像を特徴ベース
表現に変換するステップを含み、各像Inが１組の構成要
素パターンPn（ｍ）に分解され、ここでｎ＝1,2,…,Nは
ソース像の数，そしてｍ＝1,2,…,Mはｎソース像に対す
る組内パターン数である。ソース像からの特徴は、ソー
ス像パターン組内のパターンから組立られた複合像を表
わす１組の構成要素パターンPc（ｍ）を形成するために
結合される。上記複合像Icは次にその構成要素パターン
Pc（ｍ）から構成される。
される。上記ソース像は融合ステップに入る前に整列さ
れると仮定される。融合方法は各ソース像を特徴ベース
表現に変換するステップを含み、各像Inが１組の構成要
素パターンPn（ｍ）に分解され、ここでｎ＝1,2,…,Nは
ソース像の数，そしてｍ＝1,2,…,Mはｎソース像に対す
る組内パターン数である。ソース像からの特徴は、ソー
ス像パターン組内のパターンから組立られた複合像を表
わす１組の構成要素パターンPc（ｍ）を形成するために
結合される。上記複合像Icは次にその構成要素パターン
Pc（ｍ）から構成される。
像融合のラプラシアンピラミッド法は、この構成で記
載できる。ラプラシアン（ラプラス）変換を行なうこと
は、各ソース像を１組のほぼ環状の対称のガウシアン状
構成要素パターンに分解するのに役立つ。上記ピラミッ
ドは構成要素の固定された組に正規分解される。この組
は、ピラミッドレベルにより表される異なるスケースで
のパターン、およびピラミッドレベル内のサンプル位置
で表される像内の異なる位置からなる。像ｎに対するピ
ラミッドレベルｋの位置（i,j）におけるラプラス値をL
n（i,j,k）とする。この値はガウシアン状関数である対
応構成要素Pn（i,j,k）の振幅を表わす。
載できる。ラプラシアン（ラプラス）変換を行なうこと
は、各ソース像を１組のほぼ環状の対称のガウシアン状
構成要素パターンに分解するのに役立つ。上記ピラミッ
ドは構成要素の固定された組に正規分解される。この組
は、ピラミッドレベルにより表される異なるスケースで
のパターン、およびピラミッドレベル内のサンプル位置
で表される像内の異なる位置からなる。像ｎに対するピ
ラミッドレベルｋの位置（i,j）におけるラプラス値をL
n（i,j,k）とする。この値はガウシアン状関数である対
応構成要素Pn（i,j,k）の振幅を表わす。
ソース像のガウシアンおよびラプラシアンピラミッド
の生成の流れ図が図２に示される。ガウシアンＧ（０）
はソース像である。ガウシアンＧ（０）は、ガウシアン
ロールオフをもつ低域フィルタF1で次に濾過され、各行
および交互行の交互画素を、F2によって二段抽出し、第
１レベルガウシアンＧ（１）を形成する。低レベルガウ
シアンＧ（ｎ）が同様にして連続形成される。ピラミッ
ドの各レベルにおいてガウシアンに対応するラプラシア
ンＬ（ｎ）は、ガウシアンピラミッドの次の最低レベル
に二段抽出（サブサンプル）されたデータを復元するこ
とにより（所定サンプルF2間にゼロ値サンプルを挿入し
補間フィルタF1を付加することにより）そして所定レベ
ルのガウシアンから減じることにより形成される。この
ように形成されたラプラシアンはレデユスエクスパンド
（RE）ラプラシアンとして知られている。一方、ラプラ
シアンは図２破線により示されるように、二段抽出およ
び再補間なしに形成できる。これはフィルタ−サブトラ
クト−デシメイト（FSD）ラプラシアンと呼ばれる。図
３にラプラシアンピラミッドからの像を再構成する方法
が示されている。この方法において、ラプラシアンがも
との像を再生すべく（すなわち逆REラプラシアンピラミ
ッド変換）補間されかつ合計される。
の生成の流れ図が図２に示される。ガウシアンＧ（０）
はソース像である。ガウシアンＧ（０）は、ガウシアン
ロールオフをもつ低域フィルタF1で次に濾過され、各行
および交互行の交互画素を、F2によって二段抽出し、第
１レベルガウシアンＧ（１）を形成する。低レベルガウ
シアンＧ（ｎ）が同様にして連続形成される。ピラミッ
ドの各レベルにおいてガウシアンに対応するラプラシア
ンＬ（ｎ）は、ガウシアンピラミッドの次の最低レベル
に二段抽出（サブサンプル）されたデータを復元するこ
とにより（所定サンプルF2間にゼロ値サンプルを挿入し
補間フィルタF1を付加することにより）そして所定レベ
ルのガウシアンから減じることにより形成される。この
ように形成されたラプラシアンはレデユスエクスパンド
（RE）ラプラシアンとして知られている。一方、ラプラ
シアンは図２破線により示されるように、二段抽出およ
び再補間なしに形成できる。これはフィルタ−サブトラ
クト−デシメイト（FSD）ラプラシアンと呼ばれる。図
３にラプラシアンピラミッドからの像を再構成する方法
が示されている。この方法において、ラプラシアンがも
との像を再生すべく（すなわち逆REラプラシアンピラミ
ッド変換）補間されかつ合計される。
図１構成要素パターン結合のステップは、最大選択ル
ールを用い、すなわち、複合像のため構成されたピラミ
ッドは、下記ソース像ラプラシアン値から、サンプル基
底によりサンプルに関して形成される： Lc（i,j,k）＝max〔L1（i,j,k）,L2（i,j,k），…LN（i,j,k）〕 ここに関数max〔 〕は最大絶対値をもつその引き数
の一つの値をもつ。複合像Icは、バート及び米国特許第
4,692,806号に開示されたような逆ピラミッド変換を通
してラプラシアンピラミッド表現Pcから回復される。
ールを用い、すなわち、複合像のため構成されたピラミ
ッドは、下記ソース像ラプラシアン値から、サンプル基
底によりサンプルに関して形成される： Lc（i,j,k）＝max〔L1（i,j,k）,L2（i,j,k），…LN（i,j,k）〕 ここに関数max〔 〕は最大絶対値をもつその引き数
の一つの値をもつ。複合像Icは、バート及び米国特許第
4,692,806号に開示されたような逆ピラミッド変換を通
してラプラシアンピラミッド表現Pcから回復される。
図４に示されるように、複数のソース像から複合像を
形成する本発明の方法は、各ソース像Inを、複数の有向
関数を用いて一組の構成要素パターンPn（ｍ）内に分解
することにより、ソース像を特徴ベース表現に変換する
こと；各構成要素パターンに対する特徴測度を計算する
こと；各種ソース像に関連する特徴測度Sn（ｍ）により
案内されるソース像パターン組Pn（ｍ）からのパターン
を組立てることにより、ソース像からの特徴測度を結合
すること；およびその構成要素パターンPc（ｍ）から逆
変換を通して複合像Icを構成することのステップからな
る。特徴推定処理は、各パターンの特徴測度Sn（ｍ）を
決定するため、個々に構成要素パターンPn（ｍ）の各セ
ットに応用される。一般に、特徴は像データInに直接的
に基づき、および／または構成要素パターン表現P
n（ｍ）に頼り、および／または他のソースからの情報
を考慮に入れることができる。上記特徴測度は、ソース
像の特徴の知覚区別性に関連し、または融合が行なわれ
る（例えば、監視に興味ある目標）適用に特有の他の基
準に関連する。
形成する本発明の方法は、各ソース像Inを、複数の有向
関数を用いて一組の構成要素パターンPn（ｍ）内に分解
することにより、ソース像を特徴ベース表現に変換する
こと；各構成要素パターンに対する特徴測度を計算する
こと；各種ソース像に関連する特徴測度Sn（ｍ）により
案内されるソース像パターン組Pn（ｍ）からのパターン
を組立てることにより、ソース像からの特徴測度を結合
すること；およびその構成要素パターンPc（ｍ）から逆
変換を通して複合像Icを構成することのステップからな
る。特徴推定処理は、各パターンの特徴測度Sn（ｍ）を
決定するため、個々に構成要素パターンPn（ｍ）の各セ
ットに応用される。一般に、特徴は像データInに直接的
に基づき、および／または構成要素パターン表現P
n（ｍ）に頼り、および／または他のソースからの情報
を考慮に入れることができる。上記特徴測度は、ソース
像の特徴の知覚区別性に関連し、または融合が行なわれ
る（例えば、監視に興味ある目標）適用に特有の他の基
準に関連する。
本発明は、像および従来技術の欠点を克服し、著しく
増した性能を与える有向ピラミッドアプローチを表現す
るため、有向関数（構成要素パターン）の使用に基づい
たパターン選択像融合方法である。各ソース像は通常異
なる分解能（像のピラミッド）の複数の像に分解され、
次にこれらの像が複数組の有向構成要素パターンに分解
される。有向構成要素パターンは、通常有向ピラミッド
を用いる、多種の寸法と方向付けのあるエッジパターン
要素である。有向ピラミッドを使用すると、複合像内エ
ッジ状ソース像パターンを保持することが改良される。
ピラミッドはゼロ（またはゼロに近い）平均値をもつ構
成要素に使用される。これは構成要素パターンの偽の包
含または排除による人工歪が過度に見えないことを保証
する。構成要素パターンは通常簡単な選択処理ではなく
重み付き平均を通して結合される。これらのパターンの
最高点は各スケールおよび方向付けにおいて、複合像内
に含まれるもの対して選択される。特徴はソース像内の
局所エッジエネルギー（または他のタスク−特定測度）
に基づくことができる。局所特徴分析は構成要素組合せ
に用いられる重みを決定するため各ソース像に関して行
なわれる。選択は特徴測度Sn（ｍ）に基づいている。融
合像Icは逆ピラミッド変換を経てPcから再生される。
増した性能を与える有向ピラミッドアプローチを表現す
るため、有向関数（構成要素パターン）の使用に基づい
たパターン選択像融合方法である。各ソース像は通常異
なる分解能（像のピラミッド）の複数の像に分解され、
次にこれらの像が複数組の有向構成要素パターンに分解
される。有向構成要素パターンは、通常有向ピラミッド
を用いる、多種の寸法と方向付けのあるエッジパターン
要素である。有向ピラミッドを使用すると、複合像内エ
ッジ状ソース像パターンを保持することが改良される。
ピラミッドはゼロ（またはゼロに近い）平均値をもつ構
成要素に使用される。これは構成要素パターンの偽の包
含または排除による人工歪が過度に見えないことを保証
する。構成要素パターンは通常簡単な選択処理ではなく
重み付き平均を通して結合される。これらのパターンの
最高点は各スケールおよび方向付けにおいて、複合像内
に含まれるもの対して選択される。特徴はソース像内の
局所エッジエネルギー（または他のタスク−特定測度）
に基づくことができる。局所特徴分析は構成要素組合せ
に用いられる重みを決定するため各ソース像に関して行
なわれる。選択は特徴測度Sn（ｍ）に基づいている。融
合像Icは逆ピラミッド変換を経てPcから再生される。
このアプローチは、画素ベース融合およびラプラシア
ンピラミッド内パターン選択融合において観測された人
工歪を克服する。重みは特徴測度の非線形Ｓ字形関数と
して得られる。傾斜ピラミッドを用いる像融合は、ラプ
ラシアンピラミッドに基づく像融合が人工歪を導入する
ところでさえも、優れた成果を与えることが解った。
ンピラミッド内パターン選択融合において観測された人
工歪を克服する。重みは特徴測度の非線形Ｓ字形関数と
して得られる。傾斜ピラミッドを用いる像融合は、ラプ
ラシアンピラミッドに基づく像融合が人工歪を導入する
ところでさえも、優れた成果を与えることが解った。
本発明の別法は、像構成要素パターンPn1（m,l）およ
びパターンPn2（m,l）で表わされる像の各対間の一致測
度Mn1n2（m,l）を計算する。これらの一致測度は、複合
像の構成要素パターンPc（m,l）の組の形成において、
特徴測度Sn（m,l）に加えて用いられる。この方法はソ
ース像が、有向でないラプラシアン構成要素パターン
（Ｌ＝１）に分解される時にも用いられる。
びパターンPn2（m,l）で表わされる像の各対間の一致測
度Mn1n2（m,l）を計算する。これらの一致測度は、複合
像の構成要素パターンPc（m,l）の組の形成において、
特徴測度Sn（m,l）に加えて用いられる。この方法はソ
ース像が、有向でないラプラシアン構成要素パターン
（Ｌ＝１）に分解される時にも用いられる。
種々の既知の有向像変換は、構成要素パターンが方向
付けられかつゼロ平均の要求を満たすものである。傾い
たピラミッドは多数サイズの基底関数をもつが、ラプラ
シアンピラミッドとは異なり、これらは方向付けられ
て、ゼロ平均である。構成要素パターンPn（ｍ）の傾き
ピラミッドの組は、Pn（i,j,k,l）として表現され、こ
こでｋはピラミッドレベル（またはスケール）,lは方向
付け，そしてi,jはk,l配列内索引位置を示す。傾きピラ
ミッド値Dn（i,j,k,l）はパターンPn（i,j,k,l）に関連
する振幅である。傾きピラミッドは多くのスケールおよ
び方向付けのガウシアン基底関数の傾きによって像を表
わすことが解った。このような基底関数はピラミッドの
各サンプルに関連している。これらがサンプル値によっ
て振幅で基準化され、加算される時に、もとの像が正確
に回復される。基準化と加算は逆ピラミッド変換に内在
するものである。高次導関数演算子を含む、傾き以外の
方向付けが演算子も用いられ、しかもこの演算子が振幅
以外の像特徴に応用できることを理解すべきである。
付けられかつゼロ平均の要求を満たすものである。傾い
たピラミッドは多数サイズの基底関数をもつが、ラプラ
シアンピラミッドとは異なり、これらは方向付けられ
て、ゼロ平均である。構成要素パターンPn（ｍ）の傾き
ピラミッドの組は、Pn（i,j,k,l）として表現され、こ
こでｋはピラミッドレベル（またはスケール）,lは方向
付け，そしてi,jはk,l配列内索引位置を示す。傾きピラ
ミッド値Dn（i,j,k,l）はパターンPn（i,j,k,l）に関連
する振幅である。傾きピラミッドは多くのスケールおよ
び方向付けのガウシアン基底関数の傾きによって像を表
わすことが解った。このような基底関数はピラミッドの
各サンプルに関連している。これらがサンプル値によっ
て振幅で基準化され、加算される時に、もとの像が正確
に回復される。基準化と加算は逆ピラミッド変換に内在
するものである。高次導関数演算子を含む、傾き以外の
方向付けが演算子も用いられ、しかもこの演算子が振幅
以外の像特徴に応用できることを理解すべきである。
像分析の別法として、さざ波（ウェーブレット）（wa
velet）像表現を用いることがある。例えば電気電子学
会信号処理雑誌 1991,10月，ページ14−38（IEEE Sig
nal Processing Magazine,October,1991,pages14−3
8）にリウール（Rioul）その他により発表されたよう
に、さざ波（ウェーブレット）像表現は、有向空間関数
で線形組合せが像を形成するために用いられる。さざ波
（ウェーブレット）表現の場合に、異なる方向付けのた
め少なくとも２組のさざ波（ウェーブレット）がある。
通常３組のさざ波（ウェーブレット）基底関数は、１組
の水平方向付け関数,1組の垂直方向付け関数，および右
と左の斜め方向付けさざ波（ウェーブレット）から導出
された線形組合せ関数である。一たび、ソース像を形成
する方向付け基底関数の組が得られると、複合用の方向
付け基底関数の組が、上記傾き演算子を用いて生じた基
底関数と同様にして選定され、そして複合像がそれらか
ら再構成される。
velet）像表現を用いることがある。例えば電気電子学
会信号処理雑誌 1991,10月，ページ14−38（IEEE Sig
nal Processing Magazine,October,1991,pages14−3
8）にリウール（Rioul）その他により発表されたよう
に、さざ波（ウェーブレット）像表現は、有向空間関数
で線形組合せが像を形成するために用いられる。さざ波
（ウェーブレット）表現の場合に、異なる方向付けのた
め少なくとも２組のさざ波（ウェーブレット）がある。
通常３組のさざ波（ウェーブレット）基底関数は、１組
の水平方向付け関数,1組の垂直方向付け関数，および右
と左の斜め方向付けさざ波（ウェーブレット）から導出
された線形組合せ関数である。一たび、ソース像を形成
する方向付け基底関数の組が得られると、複合用の方向
付け基底関数の組が、上記傾き演算子を用いて生じた基
底関数と同様にして選定され、そして複合像がそれらか
ら再構成される。
像Ｉに対する傾きピラミッドは、付録１に記載された
ように、そのガウシアンピラミッドＧ（ｎ）の各レベル
に、傾き演算子を印加することによって得られる。この
ような４個の傾き演算子が像の水平，垂直，および直交
の斜めの方向付けにそれぞれ用いられる。上記４個の傾
き演算子は、複合像の傾きピラミッド表現を形成するた
めに用いられる構成要素を選定するために、特徴のよう
な選択規準を用いて融合される。その傾きピラミッド表
現から複合像を再構成するために、４個の方向付け２次
導関数ピラミッドを形成すべく２度印加される。これら
はピラミッドの各レベルにおいて加算され、標準ラプラ
シアンピラミッドを形成し、これから通常の拡張および
加算の逆ラプラシアンピラミッド変換を経て、複合像が
再構成される。
ように、そのガウシアンピラミッドＧ（ｎ）の各レベル
に、傾き演算子を印加することによって得られる。この
ような４個の傾き演算子が像の水平，垂直，および直交
の斜めの方向付けにそれぞれ用いられる。上記４個の傾
き演算子は、複合像の傾きピラミッド表現を形成するた
めに用いられる構成要素を選定するために、特徴のよう
な選択規準を用いて融合される。その傾きピラミッド表
現から複合像を再構成するために、４個の方向付け２次
導関数ピラミッドを形成すべく２度印加される。これら
はピラミッドの各レベルにおいて加算され、標準ラプラ
シアンピラミッドを形成し、これから通常の拡張および
加算の逆ラプラシアンピラミッド変換を経て、複合像が
再構成される。
パターンは、もしも像を判断するのに有用な情報をも
っておれば特徴のあるものである。一般に特徴は複合像
を構成する目的に依存し、特徴のどんな測度もタスク依
存である。しかし、特徴は基本パターンの振幅と共に一
般に増加する。Sn（i,j,k,l）がPn（i,j,k,l）に対応す
る特徴値とすると、構成要素パターンの顕著な部分と共
に増加する特徴測度はその振幅により表示できる。
っておれば特徴のあるものである。一般に特徴は複合像
を構成する目的に依存し、特徴のどんな測度もタスク依
存である。しかし、特徴は基本パターンの振幅と共に一
般に増加する。Sn（i,j,k,l）がPn（i,j,k,l）に対応す
る特徴値とすると、構成要素パターンの顕著な部分と共
に増加する特徴測度はその振幅により表示できる。
Sn（i,j,k,l）＝|Dn（i,j,k,l）｜ ここでDn（i,j,k,l）は、傾きピラミッドのレベルｋで
方向付けｌの位置（i,j）におけるパターンPn（i,j,k,
l）に関連する振幅である。代りに、上記構成要素およ
び局所に隣接している他の構成要素の顕著な部分によっ
て示すこともできる。この隣接は重み関数ｗ（ｉ′,
j′）で示される： Sn(i,j,k,l)＝〔Ｓｉ′ｊ′ｗ(ｉ′,j′)Dn(ｉ−ｉ′,j−ｊ′,k,l)２〕
（1/2） 一般に使われる隣接物は対象の特定構成要素に最も近い
構成要素の３×３配列、または対象の画素を包囲する画
素の３×３配列に対する構成要素パターンであって、構
成要素が索引される方法に依存している。例えば、３×
３配列ｗ（ｉ′,j′）は次に等しくセットされる： 他の一つの測度は、像中の目標のような特定のパターン
の存在に関する特徴に基づいている。例えばＳは、各サ
ンプル位置における目標パターンに一致する、ソース像
のフィルタに対する相関関係に関することもある。
方向付けｌの位置（i,j）におけるパターンPn（i,j,k,
l）に関連する振幅である。代りに、上記構成要素およ
び局所に隣接している他の構成要素の顕著な部分によっ
て示すこともできる。この隣接は重み関数ｗ（ｉ′,
j′）で示される： Sn(i,j,k,l)＝〔Ｓｉ′ｊ′ｗ(ｉ′,j′)Dn(ｉ−ｉ′,j−ｊ′,k,l)２〕
（1/2） 一般に使われる隣接物は対象の特定構成要素に最も近い
構成要素の３×３配列、または対象の画素を包囲する画
素の３×３配列に対する構成要素パターンであって、構
成要素が索引される方法に依存している。例えば、３×
３配列ｗ（ｉ′,j′）は次に等しくセットされる： 他の一つの測度は、像中の目標のような特定のパターン
の存在に関する特徴に基づいている。例えばＳは、各サ
ンプル位置における目標パターンに一致する、ソース像
のフィルタに対する相関関係に関することもある。
複合像Icに対する傾きピラミッドは、有向関数の各組
に対するソースピラミッド基底関数Pnからの構成要素選
択により得られる。選択は上記特徴測度に基づき各サン
プル位置において反復される。現在の実用的な通常使わ
れる選択ルールは、「最大選択」すなわち最大振幅をも
つソース像サンプルを選択することである。しかし「ソ
フトスイッチ」が厳密な選択には望ましい；すなわち全
く異なる特徴をもつ２つの構成要素パターン間で選択が
行なわれる時には、大きな特徴をもつ方が選択される
が、同等の特徴をもつ構成要素間では、複合サンプル値
は、ソースサンプルの加重平均が採られる。
に対するソースピラミッド基底関数Pnからの構成要素選
択により得られる。選択は上記特徴測度に基づき各サン
プル位置において反復される。現在の実用的な通常使わ
れる選択ルールは、「最大選択」すなわち最大振幅をも
つソース像サンプルを選択することである。しかし「ソ
フトスイッチ」が厳密な選択には望ましい；すなわち全
く異なる特徴をもつ２つの構成要素パターン間で選択が
行なわれる時には、大きな特徴をもつ方が選択される
が、同等の特徴をもつ構成要素間では、複合サンプル値
は、ソースサンプルの加重平均が採られる。
組合せ処置は、複合パターン素子が、各方向付けｌに
対するソースパターン素子の振幅の加重平均として計算
されるものであり、 Dc（i,j,k,l）＝｛SnWn（i,j,k,l）Dn（i,j,k,l）｝／｛SnWn（i,j,k,l）｝ この平均に用いられる重みは、ソース像を通して相対
的特徴測度に基づいている。重みは、高度の特徴をもつ
像構成要素が不相応に高い重みを得るように規定され
る。例としてＡを所定位置における全特徴とすると Ａ（i,j,k,l）＝SnSn（i,j,k,l） ここでＮはソース像の数である。
対するソースパターン素子の振幅の加重平均として計算
されるものであり、 Dc（i,j,k,l）＝｛SnWn（i,j,k,l）Dn（i,j,k,l）｝／｛SnWn（i,j,k,l）｝ この平均に用いられる重みは、ソース像を通して相対
的特徴測度に基づいている。重みは、高度の特徴をもつ
像構成要素が不相応に高い重みを得るように規定され
る。例としてＡを所定位置における全特徴とすると Ａ（i,j,k,l）＝SnSn（i,j,k,l） ここでＮはソース像の数である。
適当に選択された定数ａおよびb,0＜ａ＜ｂ＜1,とす
る Tn＜ａとすると Wn（i,j,k,l）＝０ ａ＜Tn＜ｂにおいて Wn（i,j,k,l）＝（ｓ−ａ）／（ｂ−ａ） ｂ＜Tnにおいて Wn（i,j,k,l）＝１ ここでTn＝｛Sn（i,j,k,l）/A（i,j,k,l）｝は位置
（i,j）における、ｎソース像に対する、ｋピラミッド
レベルのｌ方向付けの正規化特徴である。
る Tn＜ａとすると Wn（i,j,k,l）＝０ ａ＜Tn＜ｂにおいて Wn（i,j,k,l）＝（ｓ−ａ）／（ｂ−ａ） ｂ＜Tnにおいて Wn（i,j,k,l）＝１ ここでTn＝｛Sn（i,j,k,l）/A（i,j,k,l）｝は位置
（i,j）における、ｎソース像に対する、ｋピラミッド
レベルのｌ方向付けの正規化特徴である。
このＳ形（シグモイド）関数は、ほぼ平均の特徴をも
つ素子の重みの間の差を強調する一方で、その特徴が著
しく平均よりも下方または上方にあれば、それぞれに所
定素子の重みをほぼゼロまたはほぼ１に固定する。
つ素子の重みの間の差を強調する一方で、その特徴が著
しく平均よりも下方または上方にあれば、それぞれに所
定素子の重みをほぼゼロまたはほぼ１に固定する。
複合像Icを形成する最終ステップは、その傾きピラミ
ッド表現Pcからの再構成である。上記逆傾きピラミッド
変換の計算の細部は付録１に挙げられている。
ッド表現Pcからの再構成である。上記逆傾きピラミッド
変換の計算の細部は付録１に挙げられている。
本発明の複数のソース像から複合像を形成する別の方
法が図４（ａ）に示される。この場合融合は２個のソー
ス像について示されているが、この方法は２個よりも多
いソース像に一般化することができる。この方法におけ
る一致測度のM12（i,j,k,l）は、局所隣接ｗ（ｉ′,
j′）内ソース像間で計算される。通常この隣接重み関
数は、上記特徴測度Sn（i,j,k,l）の計算に用いるもの
と同じである。上記一致測度は、例えば局所相関C
12（i,j,k,l）に基づくことができる： C12(i,j,k,l)＝Σｉ′ｊ′{w(ｉ′,j′)D1(i-i′,j -j′,k,l)XD2(i-i′,j-j′,k,l)} −１と＋１との間で正規化された一致測度は次に示され
る M12（i,j,k,l）＝2C12（i,j,k,l）／｛Ｓ（i,j,k,l）＋S2（i,j,k,l）｝ 複合像パターン構成要素は、再度重み付け平均として送
られる。２つのソース像の場合 Dc（i,j,k,l）＝w1（i,j,k,l）D1（i,j,k,l）＋w2D2（i,j,k,l） この実行において、重みw1およびw2は一致測度と特徴測
度との両方に基づいている。例として所定パターン素子
を仮定 S1（i,j,k,l）＞S2（i,j,k,l） M12（i,j,k,l）＜ａならばw1＝1,w2＝０、 他に、M12（i,j,k,l）＞ａならば W1＝1/2＋1/2〔(１−Ｍ)／(１−ａ)〕そしてW2＝１−W1 ここで「ａ」は−１と＋１との間にセットできる融合処
理のパラメータである。上例でS1（i,j,k,l）＜S2（i,
j,k,l）のときは、W1およびW2に割当てられた値は交換
される。本発明のこの別の実行においては、ラプラシア
ンピラミッドのパターンのような非有向構成要素パター
ンと、同様に傾きピラミッドのパターンのような有向パ
ターンと共に用いることができる。
法が図４（ａ）に示される。この場合融合は２個のソー
ス像について示されているが、この方法は２個よりも多
いソース像に一般化することができる。この方法におけ
る一致測度のM12（i,j,k,l）は、局所隣接ｗ（ｉ′,
j′）内ソース像間で計算される。通常この隣接重み関
数は、上記特徴測度Sn（i,j,k,l）の計算に用いるもの
と同じである。上記一致測度は、例えば局所相関C
12（i,j,k,l）に基づくことができる： C12(i,j,k,l)＝Σｉ′ｊ′{w(ｉ′,j′)D1(i-i′,j -j′,k,l)XD2(i-i′,j-j′,k,l)} −１と＋１との間で正規化された一致測度は次に示され
る M12（i,j,k,l）＝2C12（i,j,k,l）／｛Ｓ（i,j,k,l）＋S2（i,j,k,l）｝ 複合像パターン構成要素は、再度重み付け平均として送
られる。２つのソース像の場合 Dc（i,j,k,l）＝w1（i,j,k,l）D1（i,j,k,l）＋w2D2（i,j,k,l） この実行において、重みw1およびw2は一致測度と特徴測
度との両方に基づいている。例として所定パターン素子
を仮定 S1（i,j,k,l）＞S2（i,j,k,l） M12（i,j,k,l）＜ａならばw1＝1,w2＝０、 他に、M12（i,j,k,l）＞ａならば W1＝1/2＋1/2〔(１−Ｍ)／(１−ａ)〕そしてW2＝１−W1 ここで「ａ」は−１と＋１との間にセットできる融合処
理のパラメータである。上例でS1（i,j,k,l）＜S2（i,
j,k,l）のときは、W1およびW2に割当てられた値は交換
される。本発明のこの別の実行においては、ラプラシア
ンピラミッドのパターンのような非有向構成要素パター
ンと、同様に傾きピラミッドのパターンのような有向パ
ターンと共に用いることができる。
本発明はまた複数のソース像から複合像を形成する装
置であって、各ソース像Inを複数の有向関数を用いて１
組の構成要素パターンPn（ｍ）に分解することにより、
ソース像を特徴ベース表現に変換する手段（装置）；各
構成要素パターンの特徴測度を計算する手段（装置）；
各種ソース像に関連する特徴測度Sn（ｍ）により案内さ
れるソース像パターン組Pn（ｍ）からパターンを組立て
ることにより複合像の構成要素パターンPc（ｍ）を形成
する手段（装置）；およびその構成要素パターンP
c（ｍ）から逆変換を通して複合像を構成する手段（装
置）；を前記複合像形成装置は含んでいる。
置であって、各ソース像Inを複数の有向関数を用いて１
組の構成要素パターンPn（ｍ）に分解することにより、
ソース像を特徴ベース表現に変換する手段（装置）；各
構成要素パターンの特徴測度を計算する手段（装置）；
各種ソース像に関連する特徴測度Sn（ｍ）により案内さ
れるソース像パターン組Pn（ｍ）からパターンを組立て
ることにより複合像の構成要素パターンPc（ｍ）を形成
する手段（装置）；およびその構成要素パターンP
c（ｍ）から逆変換を通して複合像を構成する手段（装
置）；を前記複合像形成装置は含んでいる。
本発明の方法を実施する装置は図５〜８に示される。
上記装置は２つのソース像によって示されているが、装
置の適当な変更で任意数のソース像が使用できることを
理解すべきである。
上記装置は２つのソース像によって示されているが、装
置の適当な変更で任意数のソース像が使用できることを
理解すべきである。
もし必要ならば、フレームストアFS1とFS2が、インタ
レース書式に生成した入力ソース像を、連続処理用プロ
グレシブ走査書式に交換しかつタイミング調整に用いら
れる。テレビジョンカメラは一般にインタレース書式で
ある。
レース書式に生成した入力ソース像を、連続処理用プロ
グレシブ走査書式に交換しかつタイミング調整に用いら
れる。テレビジョンカメラは一般にインタレース書式で
ある。
ピラミッド回路P1およびフレームストアFP3は入力ソ
ース像Iaのｋレベルガウシアンピラミッド表現Ga（ｋ）
を計算するのに用いられ、そして回路P2とフレームスト
アFS4は入力ソース像Ibのｎレベルガウシアンピラミッ
ド表現Gb（ｋ）を計算するのに用いられる。上記回路P1
およびP2は、低域フィルタにガウシアンロールオフと画
素の二段抽出（サブサンプリング）（各行および濾波し
た像の各行の交替の画素の除外／デシメーション）を提
供する。
ース像Iaのｋレベルガウシアンピラミッド表現Ga（ｋ）
を計算するのに用いられ、そして回路P2とフレームスト
アFS4は入力ソース像Ibのｎレベルガウシアンピラミッ
ド表現Gb（ｋ）を計算するのに用いられる。上記回路P1
およびP2は、低域フィルタにガウシアンロールオフと画
素の二段抽出（サブサンプリング）（各行および濾波し
た像の各行の交替の画素の除外／デシメーション）を提
供する。
ガウシアンピラミッドＧ（ｋ）の各レベルに関する次
の操作は、Ga f（ｋ）およびGb f（ｋ）を形成するため、
それぞれに回路P3および回路P4により実行されるフィル
タ（１＋ｗ′）である。このプレフィルタP3およびポス
トフィルタP8の目的は、傾きピラミッド変換およびラプ
ラシアン変換における中間結果の間の正確な対応を提供
するため、フィルタ特性全体を調整することにある。選
択的にこのフィルタは変換ステップの順序内で他の点に
適用することもできる。他の同様なフィルタが類似の結
果を得るため使用できる。
の操作は、Ga f（ｋ）およびGb f（ｋ）を形成するため、
それぞれに回路P3および回路P4により実行されるフィル
タ（１＋ｗ′）である。このプレフィルタP3およびポス
トフィルタP8の目的は、傾きピラミッド変換およびラプ
ラシアン変換における中間結果の間の正確な対応を提供
するため、フィルタ特性全体を調整することにある。選
択的にこのフィルタは変換ステップの順序内で他の点に
適用することもできる。他の同様なフィルタが類似の結
果を得るため使用できる。
ｗ′は３×３二項式のフィルタである。
そして上記フィルタP3は下の形式をとる： 次の濾過されたガウシアンピラミッドGa f（ｋ）およ
びGb f（ｋ）のおのおのは、水平dh,垂直dv,右斜めdrd,
および左斜めd1dフィルタをそれぞれ表現する、４個の
有向傾きフィルタで濾過される。
びGb f（ｋ）のおのおのは、水平dh,垂直dv,右斜めdrd,
および左斜めd1dフィルタをそれぞれ表現する、４個の
有向傾きフィルタで濾過される。
これらの操作は回路P5およびP6で実行され、８個の傾
きピラミッドDa（k,h）,Da（k,rd）,Da（k,v）,Da（k,r
d）,Db（k,h）,Db（k,rd）,Db（k,v）,Db（k,rd）を生
じる。ここに示された傾き演算子は、特定方向の２個の
最も近い隣接サンプルを用いているが、多数の隣接サン
プルが、傾き計算に使用できることを理解すべきであ
る。
きピラミッドDa（k,h）,Da（k,rd）,Da（k,v）,Da（k,r
d）,Db（k,h）,Db（k,rd）,Db（k,v）,Db（k,rd）を生
じる。ここに示された傾き演算子は、特定方向の２個の
最も近い隣接サンプルを用いているが、多数の隣接サン
プルが、傾き計算に使用できることを理解すべきであ
る。
図６において、回路P5およびP6は、４個の減算器61,6
2,63および64からなる。入力信号は、直接減算器61の入
力端に、そして単一画素遅延65を経て、減算器61の第２
入力端に接続される。減算器61の出力はdhである。入力
信号は、直接に、減算器62の入力端に接続され、そして
単一線路遅延66を経て減算器62の第２入力端に接続され
る。減算器62の出力はdvである。入力信号は、画素遅延
65を経て、減算器63の入力端に接続され、そして線路遅
延66を経て、減算器63の第２入力端に接続される。減算
器61の出力はdrdである。入力信号は、直接減算器64の
入力端に接続され、そして線路遅延66および画素遅延65
を経て減算器64の第２入力端に接続される。減算器61の
出力はd1dである。P5およびP6は、市販のカリフォルニ
ア、サンノゼ、キシリンクス社製 XC3042のようなフィ
ールドプログラマブルゲートアレイ回路（Field Progr
ammable Gate Array circuit（FPGA）XC3042 manuf
actured by Xilinx,Inc.,San Jose,CA95124）を用い
て実行できる。
2,63および64からなる。入力信号は、直接減算器61の入
力端に、そして単一画素遅延65を経て、減算器61の第２
入力端に接続される。減算器61の出力はdhである。入力
信号は、直接に、減算器62の入力端に接続され、そして
単一線路遅延66を経て減算器62の第２入力端に接続され
る。減算器62の出力はdvである。入力信号は、画素遅延
65を経て、減算器63の入力端に接続され、そして線路遅
延66を経て、減算器63の第２入力端に接続される。減算
器61の出力はdrdである。入力信号は、直接減算器64の
入力端に接続され、そして線路遅延66および画素遅延65
を経て減算器64の第２入力端に接続される。減算器61の
出力はd1dである。P5およびP6は、市販のカリフォルニ
ア、サンノゼ、キシリンクス社製 XC3042のようなフィ
ールドプログラマブルゲートアレイ回路（Field Progr
ammable Gate Array circuit（FPGA）XC3042 manuf
actured by Xilinx,Inc.,San Jose,CA95124）を用い
て実行できる。
融合関数は、図８（ａ）に略示されるように、２また
はそれ以上の像が複合像に結合される。ここで融合関数
は、上記ソース像の４個の有向傾きピラミッドに関して
計算される。それはラプラシアンピラミッドに直接印加
することもできるが、余り効果がない。
はそれ以上の像が複合像に結合される。ここで融合関数
は、上記ソース像の４個の有向傾きピラミッドに関して
計算される。それはラプラシアンピラミッドに直接印加
することもできるが、余り効果がない。
ソース像In aに対する全特徴Ａの関数依存性Wnが、２
入力像の場合に対して図８（ｂ）に示される。この関
数： ｛Sn（i,j,k,l）/A（i,j,k,l）｝＜ａとすると Wn（i,j,k,l）＝０ ａ＜｛Sn（i,j,k,l）/A（i,j,k,l）｝＜ｂにおいて Wn（i,j,k,l）＝（ｓ−ａ）／（ｂ−ａ） ｂ＜｛Sn（i,j,k,l）/A（i,j,k,l）｝において Wn（i,j,k,l）＝１ もしも入力像および出力像が、図８（ｃ）に示すよう
に８ビットであるなら、サイズ64K×８の単一参照用テ
ーブル（LUT）で実行できる。
入力像の場合に対して図８（ｂ）に示される。この関
数： ｛Sn（i,j,k,l）/A（i,j,k,l）｝＜ａとすると Wn（i,j,k,l）＝０ ａ＜｛Sn（i,j,k,l）/A（i,j,k,l）｝＜ｂにおいて Wn（i,j,k,l）＝（ｓ−ａ）／（ｂ−ａ） ｂ＜｛Sn（i,j,k,l）/A（i,j,k,l）｝において Wn（i,j,k,l）＝１ もしも入力像および出力像が、図８（ｃ）に示すよう
に８ビットであるなら、サイズ64K×８の単一参照用テ
ーブル（LUT）で実行できる。
例として、特徴は、絶対サンプル値または局所実効平
均値に基礎を置くことができ、ここで Sn(i,j,k,l)＝〔Ｓｉ′ｊ′ｗ(i′,j′)Dn(i-i′,j −ｊ′,k,l)２〕（1/2） 図８（ｅ）には、図４（ａ）に示されるような、局所
平均値法の実行が示される。一致測度M12（i,j,k,l）
が、局所隣接ｗ（ｉ′,j′）内のソース像D1（i,j,k,
l）およびD2（i,j,k,l）の間で計算される。通常この隣
接重み関数は、特徴測度Sn（i,j,k,l）を計算するのに
用いられるものと同じである。複合像パターン素子は重
み付け平均として再び送られる。２ソース像の場合 Dc（i,j,k,l）＝w1（i,j,k,l）D1（i,j,k,l）＋w2D2（i,j,k,l） 局所相関は、C12（i,j,k,l）である。
均値に基礎を置くことができ、ここで Sn(i,j,k,l)＝〔Ｓｉ′ｊ′ｗ(i′,j′)Dn(i-i′,j −ｊ′,k,l)２〕（1/2） 図８（ｅ）には、図４（ａ）に示されるような、局所
平均値法の実行が示される。一致測度M12（i,j,k,l）
が、局所隣接ｗ（ｉ′,j′）内のソース像D1（i,j,k,
l）およびD2（i,j,k,l）の間で計算される。通常この隣
接重み関数は、特徴測度Sn（i,j,k,l）を計算するのに
用いられるものと同じである。複合像パターン素子は重
み付け平均として再び送られる。２ソース像の場合 Dc（i,j,k,l）＝w1（i,j,k,l）D1（i,j,k,l）＋w2D2（i,j,k,l） 局所相関は、C12（i,j,k,l）である。
C12（i,j,k,l）＝Σｉ′ｊ′｛ｗ（ｉ′,j′）D1（ｉ −ｉ′,j−ｊ′,k,l）XD2（ｉ−ｉ′,j−ｊ′,k,l）｝ そして上記一致測度は次のとおりである。
M12（i,j,k,l）＝2C12（i,j,k,l）／｛S1（i,j,k,l）＋S2（i,j,k,l）｝ 適当な重み関数が、次にIF関数の参照用テーブルから
選択される。上記重みは通常次のように選択される。
選択される。上記重みは通常次のように選択される。
所定パターン素子に対し、もしS1（i,j,k,l）＞S
2（i,j,k,l）ならば、そしてM12（i,j,k,l）＜ａなら
ば、w1＝１そしてw2＝０。
2（i,j,k,l）ならば、そしてM12（i,j,k,l）＜ａなら
ば、w1＝１そしてw2＝０。
他に、M12（i,j,k,l）＞ａならば、 W1＝1/2＋1/2〔（１−Ｍ）／（１−ａ）〕そしてW2＝
１−W1 ここで「ａ」は−１と＋１との間にセットできる融合処
理のパラメータである。上記の例でS1（i,j,k,l）＜S2
（i,j,k,l）ならばW1およびW2に割当てられる値は交換
できる。
１−W1 ここで「ａ」は−１と＋１との間にセットできる融合処
理のパラメータである。上記の例でS1（i,j,k,l）＜S2
（i,j,k,l）ならばW1およびW2に割当てられる値は交換
できる。
次に、有向傾きピラミッドの重み付け合計は、別々に
方向付けのおのおのに計算され、４個の複合有向傾きピ
ラミッドDc（k,h）,Dc（k,rd）,Dc（k,v）,Dc（k,rd）
となる。
方向付けのおのおのに計算され、４個の複合有向傾きピ
ラミッドDc（k,h）,Dc（k,rd）,Dc（k,v）,Dc（k,rd）
となる。
上記複合有向傾きピラミッドDc（k,h）,Dc（k,rd）,D
c（k,v）,Dc（k,rd）は、次に再び同じ４個の有向傾き
フィルタdh,dv,drdおよびd1dで濾過され、そして相互に
加算されて複合ラプラシアンピラミッドLc（ｋ）を生じ
る。この計算は回路P7で行なわれる。図７において、回
路P7は４個の減算器71,72,73および74,そして３個の加
算器75,76および77を含む。入力信号dhは、直接に減算
器71の入力端に接続され、そして単一画素遅延78を経
て、減算器71の第２入力端に接続される。入力信号d
vは、直接に減算器72の入力端に接続され、そして単一
線路遅延79を経て、減算器72の第２入力端に接続され
る。入力信号drdは単一画素遅延80を経て減算器73の入
力端に接続され、そして単一線路遅延81を経て減算器73
の第２入力端に接続される。入力信号d1dは、減算器74
の入力端に直接接続され、そして単一線路遅延82および
単一画素遅延83を経て減算器74の第２入力端に接続され
る。減算器73および74の出力は加算器76の入力端に接続
される。加算器75の出力および加算器76の出力は、２分
割され加算器77の入力端に接続される。P7は市販のカリ
フォルニア、サンノゼ、キシリンクス社製 XC3042のよ
うなフィールドプログラマブルゲートアレイ回路（Fiel
d Programmable Gate Array circuit（FPGA）XC304
2 by Xilinx,Inc.,San Jose,CA95124）を用いて実行
できる。
c（k,v）,Dc（k,rd）は、次に再び同じ４個の有向傾き
フィルタdh,dv,drdおよびd1dで濾過され、そして相互に
加算されて複合ラプラシアンピラミッドLc（ｋ）を生じ
る。この計算は回路P7で行なわれる。図７において、回
路P7は４個の減算器71,72,73および74,そして３個の加
算器75,76および77を含む。入力信号dhは、直接に減算
器71の入力端に接続され、そして単一画素遅延78を経
て、減算器71の第２入力端に接続される。入力信号d
vは、直接に減算器72の入力端に接続され、そして単一
線路遅延79を経て、減算器72の第２入力端に接続され
る。入力信号drdは単一画素遅延80を経て減算器73の入
力端に接続され、そして単一線路遅延81を経て減算器73
の第２入力端に接続される。入力信号d1dは、減算器74
の入力端に直接接続され、そして単一線路遅延82および
単一画素遅延83を経て減算器74の第２入力端に接続され
る。減算器73および74の出力は加算器76の入力端に接続
される。加算器75の出力および加算器76の出力は、２分
割され加算器77の入力端に接続される。P7は市販のカリ
フォルニア、サンノゼ、キシリンクス社製 XC3042のよ
うなフィールドプログラマブルゲートアレイ回路（Fiel
d Programmable Gate Array circuit（FPGA）XC304
2 by Xilinx,Inc.,San Jose,CA95124）を用いて実行
できる。
複合ラプラシアンピラミッドLc（ｋ）は、米国特許第
4,692,806号に開示されたFSDラプラシアンピラミッドと
等価であってPS5に記憶される。上記ピラミッドL
c（ｋ）は、次に回路P8で濾過されLFc（ｋ）を生じる。
上記フィルタP8は形（１＋Ｗ）を有し、ここでｗは５×
５二項式フィルタである。
4,692,806号に開示されたFSDラプラシアンピラミッドと
等価であってPS5に記憶される。上記ピラミッドL
c（ｋ）は、次に回路P8で濾過されLFc（ｋ）を生じる。
上記フィルタP8は形（１＋Ｗ）を有し、ここでｗは５×
５二項式フィルタである。
斜め傾きフィルタ内 ファクタは、P7処理関数内斜め構成要素内単一（1/2）
ファクタ内に、図５に示すように結合できる。
ファクタ内に、図５に示すように結合できる。
複合像Icは、回路P9と、ピラミッドの最低レベルで始
まるバート（BURT）により開示された方法を用いるフレ
ームストアFS6との結合を利用する、複合REラプラシア
ンピラミッドLFc（ｋ）から再構成される。図６におい
て、回路P9はP1およびP2と同じである。処理は剰余G
c（ｋ）で開始し、次の高い分解能レベルGc（ｋ−１）
を次の関数を用いて計算する： Gc（ｋ−１）＝LFC（ｋ−１）＋ｗ＊Gc e（ｋ） 図４に示されるように、ここでGc e（ｋ）は、所定サン
プル間にゼロ値サンプルを挿入し、かつｗで濾過するこ
とにより、Gc（ｋ）が次のピラミッド分解能レベルまで
拡張されたものである。結果Gc（ｋ−１）はFS6に記憶
される。その次に高い分解能レベルGc（ｋ−２）は同様
にして計算され、Gc e-1（ｋ−１）およびLc（ｋ−２）
を結合する。この処理はGc（０）が計算されFS7に記憶
されるまで反復される。FS7はタイミングを調整し、か
つ像表示手段による使用要求があれば、複合像を順次走
査から飛越し走査へ変換するのに用いられる。
まるバート（BURT）により開示された方法を用いるフレ
ームストアFS6との結合を利用する、複合REラプラシア
ンピラミッドLFc（ｋ）から再構成される。図６におい
て、回路P9はP1およびP2と同じである。処理は剰余G
c（ｋ）で開始し、次の高い分解能レベルGc（ｋ−１）
を次の関数を用いて計算する： Gc（ｋ−１）＝LFC（ｋ−１）＋ｗ＊Gc e（ｋ） 図４に示されるように、ここでGc e（ｋ）は、所定サン
プル間にゼロ値サンプルを挿入し、かつｗで濾過するこ
とにより、Gc（ｋ）が次のピラミッド分解能レベルまで
拡張されたものである。結果Gc（ｋ−１）はFS6に記憶
される。その次に高い分解能レベルGc（ｋ−２）は同様
にして計算され、Gc e-1（ｋ−１）およびLc（ｋ−２）
を結合する。この処理はGc（０）が計算されFS7に記憶
されるまで反復される。FS7はタイミングを調整し、か
つ像表示手段による使用要求があれば、複合像を順次走
査から飛越し走査へ変換するのに用いられる。
詳細に説明すると、最初の処理パス（レベル０）で、
入力フレームストアFS1およびFS2からのソース像G
a（０）およびGb（０）は、P1およびP2関数により濾過
され、二段抽出（サブサンプル）形Ga（０）およびG
b（０）でFS3およびFS4に記憶される。同時に、G
a（０）およびGb（０）は、回路P3〜P7および４個の融
合回路で処理され、FS5に記憶されるLc（０）を生じ
る。この動作が完了すると、第２処理パス（レベル１）
が始動され、ここで像Ga（１）およびGb（１）（FS3お
よびFS4から）が、回路P1およびP2により濾過され、そ
して二段抽出（サブサンプル）形Ga（２）およびG
b（２）でFS3およびFS4に記憶される。同時にGa（１）
およびGb（１）は回路P3〜P7および４個の融合回路によ
り処理されて、FS5に記憶されるLc（１）を生じる。こ
の手順は所要数のピラミッドレベルが計算されるまで繰
返される。最終パス（例えばレベルｋ）中の処理は異な
る。その時処理は、FS3およびFS4からの読取りGa（ｋ）
およびGb（ｋ）を含むだけで、異なる関数で像を融合
し、その結果Gc（ｋ）をFS5に記憶する。これはラプラ
シアンピラミッドLc（ｎ）の剰余すなわちDC構成要素で
ある。図５にこれが、P3〜P7を包囲するバイパス路およ
び融合回路として略示されている。剰余の融合（図５の
DC融合）はできるだけ簡単に平均を計算できる。
入力フレームストアFS1およびFS2からのソース像G
a（０）およびGb（０）は、P1およびP2関数により濾過
され、二段抽出（サブサンプル）形Ga（０）およびG
b（０）でFS3およびFS4に記憶される。同時に、G
a（０）およびGb（０）は、回路P3〜P7および４個の融
合回路で処理され、FS5に記憶されるLc（０）を生じ
る。この動作が完了すると、第２処理パス（レベル１）
が始動され、ここで像Ga（１）およびGb（１）（FS3お
よびFS4から）が、回路P1およびP2により濾過され、そ
して二段抽出（サブサンプル）形Ga（２）およびG
b（２）でFS3およびFS4に記憶される。同時にGa（１）
およびGb（１）は回路P3〜P7および４個の融合回路によ
り処理されて、FS5に記憶されるLc（１）を生じる。こ
の手順は所要数のピラミッドレベルが計算されるまで繰
返される。最終パス（例えばレベルｋ）中の処理は異な
る。その時処理は、FS3およびFS4からの読取りGa（ｋ）
およびGb（ｋ）を含むだけで、異なる関数で像を融合
し、その結果Gc（ｋ）をFS5に記憶する。これはラプラ
シアンピラミッドLc（ｎ）の剰余すなわちDC構成要素で
ある。図５にこれが、P3〜P7を包囲するバイパス路およ
び融合回路として略示されている。剰余の融合（図５の
DC融合）はできるだけ簡単に平均を計算できる。
多くの処理関数が2Dフィルタを含む。2Dフィルタで上
記像のエッジにおける処理は定まらない。大きな像に対
してこれは問題でないかも知れない、というのはエッジ
データの放棄は像の全体に余り影響しないからである。
しかしピラミッドの構成および再構成時に、ピラミッド
の低分解能レベルのエッジにおける処理は、著しい程度
にまで最終再構成像に影響を及ぼす。例えば、もしも像
のエッジの計算が正確に実施されていなければ、ピラミ
ッドの５レベルが用いられても像を取り巻く64画素の境
界は適正に再構成されない。画素の再構成は、行の興味
ある画素に隣接する４画素からの情報を含む。１エッジ
画素に対してこれらの隣接画素中の２つが欠け、そして
行の次の隣接画素に対してこの隣接画素中の１つが欠け
ている。これを修正する最も簡単な方法は、画素値のマ
トリックス内に定数値を挿入することである。別法とし
て、欠けた画素の値が興味ある画素の値に等しくセット
される。エッジ処理を実行するための好適方法として
は、像のエッジにおける画素データを反映すなわち外挿
することである。例えば、像の左エッジにおいて、問題
のエッジ画素の右へ２画素が欠けた画素に代らせる。
記像のエッジにおける処理は定まらない。大きな像に対
してこれは問題でないかも知れない、というのはエッジ
データの放棄は像の全体に余り影響しないからである。
しかしピラミッドの構成および再構成時に、ピラミッド
の低分解能レベルのエッジにおける処理は、著しい程度
にまで最終再構成像に影響を及ぼす。例えば、もしも像
のエッジの計算が正確に実施されていなければ、ピラミ
ッドの５レベルが用いられても像を取り巻く64画素の境
界は適正に再構成されない。画素の再構成は、行の興味
ある画素に隣接する４画素からの情報を含む。１エッジ
画素に対してこれらの隣接画素中の２つが欠け、そして
行の次の隣接画素に対してこの隣接画素中の１つが欠け
ている。これを修正する最も簡単な方法は、画素値のマ
トリックス内に定数値を挿入することである。別法とし
て、欠けた画素の値が興味ある画素の値に等しくセット
される。エッジ処理を実行するための好適方法として
は、像のエッジにおける画素データを反映すなわち外挿
することである。例えば、像の左エッジにおいて、問題
のエッジ画素の右へ２画素が欠けた画素に代らせる。
ここに記載したような構成と処理は、関数ごとにそし
てピラミッドレベルごとに処理装置を用いることができ
て、ここで処理装置は各後続低分解能において、クロッ
ク速度の半分で動作する。明らかにもっと有効な実施
は、関数ごとに処理装置を用いることであり、ここで各
処理装置は、前に引用し参考までにここに編入した米国
特許第07/805149号に開示されたように、順次に全ピラ
ミッドレベルを計算しすなわち処理する。これは、中間
結果を記憶し、必要な付加処理時間に順応するため、タ
イミングを調整しおよび／またはクロックを処理する柔
軟なフレームストア（FS3,FS4およびFS5）を用いること
によって達成できる。単一処理装置による全ピラミッド
レベルの処理には、完全な１分解能像の処理に必要な演
算の数の通常4/3倍必要である。入力像の帰線消去時間
を有効に使用することによって、所要処理の増加に順応
するために、実際のクロック速度は、いやしくも大きく
増加すべきではない。
てピラミッドレベルごとに処理装置を用いることができ
て、ここで処理装置は各後続低分解能において、クロッ
ク速度の半分で動作する。明らかにもっと有効な実施
は、関数ごとに処理装置を用いることであり、ここで各
処理装置は、前に引用し参考までにここに編入した米国
特許第07/805149号に開示されたように、順次に全ピラ
ミッドレベルを計算しすなわち処理する。これは、中間
結果を記憶し、必要な付加処理時間に順応するため、タ
イミングを調整しおよび／またはクロックを処理する柔
軟なフレームストア（FS3,FS4およびFS5）を用いること
によって達成できる。単一処理装置による全ピラミッド
レベルの処理には、完全な１分解能像の処理に必要な演
算の数の通常4/3倍必要である。入力像の帰線消去時間
を有効に使用することによって、所要処理の増加に順応
するために、実際のクロック速度は、いやしくも大きく
増加すべきではない。
上記システムの各入力および出力に対する、インタフ
ェースフレームストアが図５に示される。これらはFS1,
FS2,およびFS7である。これらは、融合処理書式と入力
／出力像書式との間のタイミングの差の調整に用いられ
る。そのような差の一つは、順次にピラミッドレベルの
処理に要するタイミングによるものである。もう一つの
差は、像の入力／出力がインタフェース書式である一方
で、融合処理中、像は順次走査書式を用いて計算される
ということである。
ェースフレームストアが図５に示される。これらはFS1,
FS2,およびFS7である。これらは、融合処理書式と入力
／出力像書式との間のタイミングの差の調整に用いられ
る。そのような差の一つは、順次にピラミッドレベルの
処理に要するタイミングによるものである。もう一つの
差は、像の入力／出力がインタフェース書式である一方
で、融合処理中、像は順次走査書式を用いて計算される
ということである。
図９は、各種像およびピラミッドレベルが、入力／出
力フレームストアで、像の順序に対しインタレース入力
／出力を仮定し、システム内にて計算されるのを示す。
第１の時間線は、垂直帰線消去期間だけ一定間隔離れて
配置された奇−偶フィールド（例えば3eと3o）をもつ連
続インタレースフレームに対するものである。第２の時
間線、上記フレームの奇数フィールドが受信されるとす
ぐ開始できる、第３フレームのためのピラミッドのゼロ
レベルガウシアンのピラミッド構成を示す。第３フレー
ムピラミッドの全レベルの計算は、第４フレームのゼロ
レベルガウシアンのピラミッド構成の開始以前に完了さ
れねばならない。第３時間線は、第３フレームのための
ピラミッド複合像再構成と同時に、第４フレームのピラ
ミッド構成の開始を示す。第３フレームの定様式出力開
始と同時に第５フレームが受信される。従って所定フレ
ームのための完全なサイクルは２フレーム時間内に達成
できる。もしも処理のクロック速度が入力／出力のクロ
ック速度よりも僅かに速いものが要求されると、第１−
入力，第１−出力バッファが、入力／出力（I/O）フレ
ームストアFS1,FS2およびFS7と結合して用いられる。融
合処理用クロックを増すことの別法は、融合処理が実施
されている像サイズを減少させることである。
力フレームストアで、像の順序に対しインタレース入力
／出力を仮定し、システム内にて計算されるのを示す。
第１の時間線は、垂直帰線消去期間だけ一定間隔離れて
配置された奇−偶フィールド（例えば3eと3o）をもつ連
続インタレースフレームに対するものである。第２の時
間線、上記フレームの奇数フィールドが受信されるとす
ぐ開始できる、第３フレームのためのピラミッドのゼロ
レベルガウシアンのピラミッド構成を示す。第３フレー
ムピラミッドの全レベルの計算は、第４フレームのゼロ
レベルガウシアンのピラミッド構成の開始以前に完了さ
れねばならない。第３時間線は、第３フレームのための
ピラミッド複合像再構成と同時に、第４フレームのピラ
ミッド構成の開始を示す。第３フレームの定様式出力開
始と同時に第５フレームが受信される。従って所定フレ
ームのための完全なサイクルは２フレーム時間内に達成
できる。もしも処理のクロック速度が入力／出力のクロ
ック速度よりも僅かに速いものが要求されると、第１−
入力，第１−出力バッファが、入力／出力（I/O）フレ
ームストアFS1,FS2およびFS7と結合して用いられる。融
合処理用クロックを増すことの別法は、融合処理が実施
されている像サイズを減少させることである。
実施における処理関数（P1,P2,P3,P4,P8およびP9）の
多くが、５×５タップ（P1,P2,P8,P9）付き、または３
×３タップ（P3,P4）付き2Dフィルタである。２倍密度
ピラミッド構成に用いられるこれらのフィルタの「拡張
タップ」版も使用できる。これらのすべては、米国特許
出願第07/805149号1991年12月11日出願で参考までにこ
こに編入したもの，および機械視覚の実習室（Workshop
For Machine Vision）パリ、1991年12月，および全
般に米国特許第4,703,514号に記載され、そしてデヴィ
ッド・サーンオフ・リサーチ・センター社、プリンスト
ン、ニュージャージー州（David Sarnoff Research
Center,Inc.,Princeton,NJ 08540）で売られるPYR−１
回路を用いて有効に実行される。上記PYR−１回路は、
必要とするフィルタのすべてを実施することができて、
所要水平線路遅延，適当な加算器および多重関数および
像の自動境界制御を含む。他の2Dフィルタ回路は市場で
入手できるが、ここに示した方法を実行するには、全関
数を組み入れるために著しい付加回路を必要とする。
多くが、５×５タップ（P1,P2,P8,P9）付き、または３
×３タップ（P3,P4）付き2Dフィルタである。２倍密度
ピラミッド構成に用いられるこれらのフィルタの「拡張
タップ」版も使用できる。これらのすべては、米国特許
出願第07/805149号1991年12月11日出願で参考までにこ
こに編入したもの，および機械視覚の実習室（Workshop
For Machine Vision）パリ、1991年12月，および全
般に米国特許第4,703,514号に記載され、そしてデヴィ
ッド・サーンオフ・リサーチ・センター社、プリンスト
ン、ニュージャージー州（David Sarnoff Research
Center,Inc.,Princeton,NJ 08540）で売られるPYR−１
回路を用いて有効に実行される。上記PYR−１回路は、
必要とするフィルタのすべてを実施することができて、
所要水平線路遅延，適当な加算器および多重関数および
像の自動境界制御を含む。他の2Dフィルタ回路は市場で
入手できるが、ここに示した方法を実行するには、全関
数を組み入れるために著しい付加回路を必要とする。
可視ソース像および赤外ソース像から形成される複合
像の一例が、図10に示される。標準可視光カメラからの
ソース像が図10（ａ）に示され、そして赤外カメラから
のソース像が図10（ｂ）に示される。図10（ｃ）に示さ
れる融合像は、前記傾きピラミッドおよび特徴および結
合ルールを用いて得られた。
像の一例が、図10に示される。標準可視光カメラからの
ソース像が図10（ａ）に示され、そして赤外カメラから
のソース像が図10（ｂ）に示される。図10（ｃ）に示さ
れる融合像は、前記傾きピラミッドおよび特徴および結
合ルールを用いて得られた。
傾き像ピラミッドは、パターン選択像融合のため有効
なフレームワーク（framework）を提供する。融合のた
めのピラミッド変換の利点は、簡単なフィルタ演算を経
てエッジ状構成要素パターン（基底関数）に像を分解す
る事実，および再構成が基準化，方向付け，および継目
なし様式の位置を通してパターン素子を混ぜ、人工歪を
避ける事実を含んでいる。これらの利点は、ラプラシア
ンピラミッドに基づく処理と比較して、著しく改良され
た像融合を提供する。
なフレームワーク（framework）を提供する。融合のた
めのピラミッド変換の利点は、簡単なフィルタ演算を経
てエッジ状構成要素パターン（基底関数）に像を分解す
る事実，および再構成が基準化，方向付け，および継目
なし様式の位置を通してパターン素子を混ぜ、人工歪を
避ける事実を含んでいる。これらの利点は、ラプラシア
ンピラミッドに基づく処理と比較して、著しく改良され
た像融合を提供する。
結果は、傾きピラミッド内融合が観察条件の広範囲に
わたって著しく有効であることが解った。特にテストの
識別セットが運動中の対象物を収めた拡張されたビデオ
順序の融合を包含した。これらのテストで、傾きピラミ
ッドとラプラシアンピラミッドの像融合を比較した。ラ
プラシアンベース融合は、可視で動的な変化，高コント
ラスト外形に沿う人工歪をもつ傾向にあるとの結果が出
た。傾きピラミッドは人工歪が大幅になくなったとの結
果であった。
わたって著しく有効であることが解った。特にテストの
識別セットが運動中の対象物を収めた拡張されたビデオ
順序の融合を包含した。これらのテストで、傾きピラミ
ッドとラプラシアンピラミッドの像融合を比較した。ラ
プラシアンベース融合は、可視で動的な変化，高コント
ラスト外形に沿う人工歪をもつ傾向にあるとの結果が出
た。傾きピラミッドは人工歪が大幅になくなったとの結
果であった。
性能において観察された差は、各種ファクタに寄与で
きた。最も重大なことは、傾き表現が場面内エッジの位
置において値が局所最大を有するが、一方ラプラシアン
表現はエッジでゼロ値，エッジの両側で大きな値を有す
るという事実である。サンプル値の振幅は、この例の特
徴測度として用いられてきたので、エッジ特徴はラプラ
シアンにおけるよりも傾きピラミッドにおいて一層確実
にとらえられる。さらに、ビデオの雑音は場面のある点
において、一ソース像からの他のソース像へ、フレーム
からフレームへ切換える選択をさせる。発生するちらつ
きは、傾きベース融合におけるよりも、ラプラシアンに
おける方が一層多く見える。人間は、低い空間周波数内
容をもつパターンの暫時のちらつきに最も敏感である。
上記傾きピラミッドのガウシアンベース関数の傾きは、
ラプラシアンピラミッドのガウシアン状ベース関数より
も、低い空間周波数の著しく少ない信号エネルギーをも
った高帯域パス特性をもっている。
きた。最も重大なことは、傾き表現が場面内エッジの位
置において値が局所最大を有するが、一方ラプラシアン
表現はエッジでゼロ値，エッジの両側で大きな値を有す
るという事実である。サンプル値の振幅は、この例の特
徴測度として用いられてきたので、エッジ特徴はラプラ
シアンにおけるよりも傾きピラミッドにおいて一層確実
にとらえられる。さらに、ビデオの雑音は場面のある点
において、一ソース像からの他のソース像へ、フレーム
からフレームへ切換える選択をさせる。発生するちらつ
きは、傾きベース融合におけるよりも、ラプラシアンに
おける方が一層多く見える。人間は、低い空間周波数内
容をもつパターンの暫時のちらつきに最も敏感である。
上記傾きピラミッドのガウシアンベース関数の傾きは、
ラプラシアンピラミッドのガウシアン状ベース関数より
も、低い空間周波数の著しく少ない信号エネルギーをも
った高帯域パス特性をもっている。
ここに開示した像融合技術の応用は、可視光および赤
外カメラのような多重センサ形式またはスペクトル帯域
からの像を用いる監視；夜間または悪天候におけるドラ
イバまたはパイロットに対する援助として、多重センサ
形式（可視，赤外…）を用いる輸送機関誘導；拡張され
た被写体深度で複合を達成するため、像から像へ変化し
たカメラの焦点で撮った複合像；美術または他の特殊効
果を得るために、異なる場面の多重像を用いるビデオ特
殊効果；異なる照明下で撮った像およびカメラ設定（速
度，絞り、その他）が、影のハイライトを消すために結
合される工業的検査；大きな動的範囲の像（例えば12ビ
ットの医学的像）および制限された動的範囲（例えば陰
極線管（CRT）または液晶ディスプレイ（LCD））だけを
示し得る表示の、もとの制限された範囲を表わす１組の
像を生じ、次にこれらの像を最終表示のため融合を経て
結合する、像表示用動的範囲圧縮，を含む。
外カメラのような多重センサ形式またはスペクトル帯域
からの像を用いる監視；夜間または悪天候におけるドラ
イバまたはパイロットに対する援助として、多重センサ
形式（可視，赤外…）を用いる輸送機関誘導；拡張され
た被写体深度で複合を達成するため、像から像へ変化し
たカメラの焦点で撮った複合像；美術または他の特殊効
果を得るために、異なる場面の多重像を用いるビデオ特
殊効果；異なる照明下で撮った像およびカメラ設定（速
度，絞り、その他）が、影のハイライトを消すために結
合される工業的検査；大きな動的範囲の像（例えば12ビ
ットの医学的像）および制限された動的範囲（例えば陰
極線管（CRT）または液晶ディスプレイ（LCD））だけを
示し得る表示の、もとの制限された範囲を表わす１組の
像を生じ、次にこれらの像を最終表示のため融合を経て
結合する、像表示用動的範囲圧縮，を含む。
着色される融合された複合像は、従来技術において公
知である。特に、従来技術における各分離したソース像
は、赤R,緑G,および青Ｂのような異なる色が割当てら
れ、そして融合した複合像自体は、これらの分離した着
色ソース像から導出される。本発明は、融合された複合
像の表示に、付加情報を加えるために、色を使用する異
なる様式を提案するものであり、上記付加情報は、融合
した複合像に対する各ソース像の寄与の相対的重みの表
示である。
知である。特に、従来技術における各分離したソース像
は、赤R,緑G,および青Ｂのような異なる色が割当てら
れ、そして融合した複合像自体は、これらの分離した着
色ソース像から導出される。本発明は、融合された複合
像の表示に、付加情報を加えるために、色を使用する異
なる様式を提案するものであり、上記付加情報は、融合
した複合像に対する各ソース像の寄与の相対的重みの表
示である。
特に、着色していない融合した複合像に対する、各ソ
ース像の一致および／または相対的寄与を保持すること
が極めて望ましい場合がある。例えば、監視の応用で、
観察者は融合複合像内に見る輝く特徴のソースは、赤外
カメラからきて、そのため高温対象物を表わしているの
か、または可視光カメラからきて、そのため明色または
強く照明された対象物を表わしているのかを知りたいで
あろう。本発明は、表示された融合複合像の各画素（通
常上記様式で導出される）の、明るさの値（すなわち、
ナショナルテレビジョンシステムコミティNTSCビデオ像
の場合Ｙチャネルの値）を定義する輝度だけに用いる、
そして表示された融合複合像の各画素の各ソース像（す
なわちNTSCビデオ像の場合ＩアンドＱ反対カラーチャネ
ルのそれぞれの値）の相対的寄与を定義するクロミナン
スだけに用いることにより、そのような目的のための色
彩情報を用いる。第１例として、表示された融合複合像
に寄与するそれぞれのソース像は、そのもとの高分解能
の第１ソース像（例えば、赤外カメラ像）、およびその
もとの高分解能の第２ソース像（例えば可視光カメラ
像）である。別に、第２例として、表示された融合複合
像に寄与するそれぞれのソース像は、所定ソース像のピ
ラミッド導出高分解能構成要素を形成する第１像および
同じ所定のもとのソース像のピラミッド導出低分解能構
成要素を形成する第２像である。
ース像の一致および／または相対的寄与を保持すること
が極めて望ましい場合がある。例えば、監視の応用で、
観察者は融合複合像内に見る輝く特徴のソースは、赤外
カメラからきて、そのため高温対象物を表わしているの
か、または可視光カメラからきて、そのため明色または
強く照明された対象物を表わしているのかを知りたいで
あろう。本発明は、表示された融合複合像の各画素（通
常上記様式で導出される）の、明るさの値（すなわち、
ナショナルテレビジョンシステムコミティNTSCビデオ像
の場合Ｙチャネルの値）を定義する輝度だけに用いる、
そして表示された融合複合像の各画素の各ソース像（す
なわちNTSCビデオ像の場合ＩアンドＱ反対カラーチャネ
ルのそれぞれの値）の相対的寄与を定義するクロミナン
スだけに用いることにより、そのような目的のための色
彩情報を用いる。第１例として、表示された融合複合像
に寄与するそれぞれのソース像は、そのもとの高分解能
の第１ソース像（例えば、赤外カメラ像）、およびその
もとの高分解能の第２ソース像（例えば可視光カメラ
像）である。別に、第２例として、表示された融合複合
像に寄与するそれぞれのソース像は、所定ソース像のピ
ラミッド導出高分解能構成要素を形成する第１像および
同じ所定のもとのソース像のピラミッド導出低分解能構
成要素を形成する第２像である。
図11において、分離ソース像Ａおよび像Ｂに応答し、
入力として印加される融合処理、そしてこれからそれぞ
れ出力として単色融合複合像C,第１重み像W1および第２
重み像W2が示される。第１重み像W1および第２重み像W2
の各画素サンプルは、０と１との間のある値をもってい
る。NTSCビデオ像のＩクロミナンスチャネルを提供する
ため上記第１重み像W1のそれぞれの画素サンプル値のお
のおのは、まずそれから1/2値を減算し、次にスカラ量
係数cAを乗算する。同様にNTSCビデオ像のＱクロミナン
スチャネルを提供するため上記第２重み像W2のそれぞれ
の画素サンプル値のおのおのは、まずそれから1/2値を
減算し、次にスカラ量係数cBを乗算する。単色融合複合
像Ｃのそれぞれの画素サンプル値は、NTSCビデオ像のＹ
ルミナンスチャネルからなる。
入力として印加される融合処理、そしてこれからそれぞ
れ出力として単色融合複合像C,第１重み像W1および第２
重み像W2が示される。第１重み像W1および第２重み像W2
の各画素サンプルは、０と１との間のある値をもってい
る。NTSCビデオ像のＩクロミナンスチャネルを提供する
ため上記第１重み像W1のそれぞれの画素サンプル値のお
のおのは、まずそれから1/2値を減算し、次にスカラ量
係数cAを乗算する。同様にNTSCビデオ像のＱクロミナン
スチャネルを提供するため上記第２重み像W2のそれぞれ
の画素サンプル値のおのおのは、まずそれから1/2値を
減算し、次にスカラ量係数cBを乗算する。単色融合複合
像Ｃのそれぞれの画素サンプル値は、NTSCビデオ像のＹ
ルミナンスチャネルからなる。
図11に示される融合処理のラプラシアンピラミッド実
行において、結合像ピラミッドに対する各画素サンプル
値Lc（i,j,k）は、ソース像ピラミッドの画素サンプル
値の重み付け平均LA（i,j,k）およびLB（i,j,k）であ
り、ここで、i,j,およびｋはそれぞれに画素サンプル水
平位置，画素サンプル垂直位置，およびＲレベルピラミ
ッドのピラミッドレベル表示であり；したがって Lc（i,j,k）＝wA（i,j,k）LA（i,j,k）＋wB（i,j,k）LB（i,j,k） 重みwAおよびwBは、位置の隣接で計算される特徴測度か
ら各画素サンプル位置に対して決定される。これらの重
みは通常正規化され；したがって wA（i,j,k）＋wB（i,j,k）＝１ 図11に示される融合処理の傾きピラミッドにおける実
行において、結合像ピラミッドに対する各画素サンプル
値DC（i,j,k,l）は、ソース像ピラミッドの画素サンプ
ル値の重み付け平均DA（i,j,k,l）およびDB（i,j,k,l）
でありここで１は画素サンプルの傾き方向付け索引であ
り；したがって DC（i,j,k,l）＝wA（i,j,k,l）DA（i,j,k,l）＋wB（i,j,k,l）DB（i,j,k,l） 図12には、図11の一例ソース像Ａの応用画素サンプル
値から導出された３つの下降サンプル密度ピラミッドレ
ベルLA（０）,LA（１）およびLA（２）からなる、ラプ
ラシアンピラミッドLAを用いる融合処理が示される。同
様な３レベルラプラシアンピラミッドLBがソース像Ｂの
応用画素サンプル値から導出される。単色融合複合像Ｃ
が従来技術の公知様式でラプラシアンピラミッドLAおよ
びLBから導出される。特に、相対重みファクタwAおよび
wBが、特徴測度に従って、ラプラシアンピラミッドLAお
よびLBのそれぞれの画素サンプルに対し計算され；ラプ
ラシアンピラミッドLAの各画素サンプルの値にその重み
ファクタwAが掛けられ；ラプラシアンピラミッドLBの各
画素サンプルの値にその重みファクタwBが掛けられ；そ
して各レベルのピラミッドLAおよびLBの対応位置重み付
け画素サンプルのそれぞれの値が合計され，その後それ
らは、３つの上昇サンプル密度ピラミッドレベルL
c（２）,Lc（１）およびLc（０）からなる、ラプラシア
ン再構成ピラミッドLcに入力として印加される。ラプラ
シアン再構成ピラミッドLcは、REラプラシアンまたはFS
Dラプラシアンのどれかで実行される。ラプラシアン再
構成ピラミッドLcの出力は，図11の単色融合複合像Ｃで
あって，これは高Ｌ（０）密度の画素サンプルからなる
高分解能を含む。
行において、結合像ピラミッドに対する各画素サンプル
値Lc（i,j,k）は、ソース像ピラミッドの画素サンプル
値の重み付け平均LA（i,j,k）およびLB（i,j,k）であ
り、ここで、i,j,およびｋはそれぞれに画素サンプル水
平位置，画素サンプル垂直位置，およびＲレベルピラミ
ッドのピラミッドレベル表示であり；したがって Lc（i,j,k）＝wA（i,j,k）LA（i,j,k）＋wB（i,j,k）LB（i,j,k） 重みwAおよびwBは、位置の隣接で計算される特徴測度か
ら各画素サンプル位置に対して決定される。これらの重
みは通常正規化され；したがって wA（i,j,k）＋wB（i,j,k）＝１ 図11に示される融合処理の傾きピラミッドにおける実
行において、結合像ピラミッドに対する各画素サンプル
値DC（i,j,k,l）は、ソース像ピラミッドの画素サンプ
ル値の重み付け平均DA（i,j,k,l）およびDB（i,j,k,l）
でありここで１は画素サンプルの傾き方向付け索引であ
り；したがって DC（i,j,k,l）＝wA（i,j,k,l）DA（i,j,k,l）＋wB（i,j,k,l）DB（i,j,k,l） 図12には、図11の一例ソース像Ａの応用画素サンプル
値から導出された３つの下降サンプル密度ピラミッドレ
ベルLA（０）,LA（１）およびLA（２）からなる、ラプ
ラシアンピラミッドLAを用いる融合処理が示される。同
様な３レベルラプラシアンピラミッドLBがソース像Ｂの
応用画素サンプル値から導出される。単色融合複合像Ｃ
が従来技術の公知様式でラプラシアンピラミッドLAおよ
びLBから導出される。特に、相対重みファクタwAおよび
wBが、特徴測度に従って、ラプラシアンピラミッドLAお
よびLBのそれぞれの画素サンプルに対し計算され；ラプ
ラシアンピラミッドLAの各画素サンプルの値にその重み
ファクタwAが掛けられ；ラプラシアンピラミッドLBの各
画素サンプルの値にその重みファクタwBが掛けられ；そ
して各レベルのピラミッドLAおよびLBの対応位置重み付
け画素サンプルのそれぞれの値が合計され，その後それ
らは、３つの上昇サンプル密度ピラミッドレベルL
c（２）,Lc（１）およびLc（０）からなる、ラプラシア
ン再構成ピラミッドLcに入力として印加される。ラプラ
シアン再構成ピラミッドLcは、REラプラシアンまたはFS
Dラプラシアンのどれかで実行される。ラプラシアン再
構成ピラミッドLcの出力は，図11の単色融合複合像Ｃで
あって，これは高Ｌ（０）密度の画素サンプルからなる
高分解能を含む。
融合処理のラプラシアンピラミッド実行の場合に対
し、図12はまた、図11の重み像W1およびW2を導出のた
め、計算された重みファクタwAおよびwB（単色融合複合
像Ｃの上記導出に用いた）を用いる融合処理を示す。前
記のように、像重み関数W1およびW2の各画素サンプルは
０と１との間の値をもっている。これらの画素サンプル
値は、ラプラシアンピラミッドの全レベルにわたり複合
像Ｃに対し、ソース像ＡおよびＢの相対的寄与を表現
し、またはその代りに下記に詳細説明するように複合像
Ｃに対する、ソース像ＡおよびＢの選択された一つの、
２つの異なるラプラシアンピラミッドレベルの相対的寄
与を表現することもできる。さらに、ラプラシアンピラ
ミッドの各画素サンプル位置（i,j,k）における重みｗ
（i,j,k）は、ピラミッドサンプルＬ（i,j,k）における
基底関数の大きさと同一単位で測れる領域にわたって像
重み関数W1およびW2に寄与する。
し、図12はまた、図11の重み像W1およびW2を導出のた
め、計算された重みファクタwAおよびwB（単色融合複合
像Ｃの上記導出に用いた）を用いる融合処理を示す。前
記のように、像重み関数W1およびW2の各画素サンプルは
０と１との間の値をもっている。これらの画素サンプル
値は、ラプラシアンピラミッドの全レベルにわたり複合
像Ｃに対し、ソース像ＡおよびＢの相対的寄与を表現
し、またはその代りに下記に詳細説明するように複合像
Ｃに対する、ソース像ＡおよびＢの選択された一つの、
２つの異なるラプラシアンピラミッドレベルの相対的寄
与を表現することもできる。さらに、ラプラシアンピラ
ミッドの各画素サンプル位置（i,j,k）における重みｗ
（i,j,k）は、ピラミッドサンプルＬ（i,j,k）における
基底関数の大きさと同一単位で測れる領域にわたって像
重み関数W1およびW2に寄与する。
図12において、上記融合処理は、第１構成要素重み再
構成ピラミッドHW1および第２構成要素重み再構成ピラ
ミッドHW2を含む。図12のラプラシアンピラミッドの場
合構成要素重みピラミッドHW1およびHW2のおのおのは、
ピラミッドレベルHn（２）,Hn（１），およびHn（０）
からなるガウシアン再構成ピラミッド（下記に詳細に記
載）である。計算した重みwAおよびwAの結合は、その結
合が選択可能な、構成要素重みピラミッドHW1およびHW2
のおのおのに利用できる。ラプラシアンピラミッドの全
レベルにわたり複合像Ｃに対するソース像ＡおよびＢの
相対的寄与を、サンプル値が表現する第１の場合におい
て、これらのレベル全体にわたる重みwA（または代りに
wB）は第１構成要素重み再構成ピラミッドHW1に送ら
れ、そしてHW2はゼロ重みすなわち無視される。第２の
場合において、複合像Ｃに対するソース像ＡおよびＢの
選択された一つの、２つの異なるラプラシアンピラミッ
ドレベルの相対的寄与を、サンプル値が表現し、複合像
Ｃのこれらの２つの異なるレベルの第１の再構成に用い
られる重みwA（または代りに重みwB）の値の第１の結
合、ここで選択されたソース像はＡ（または、代りに
Ｂ）であり、第１の構成要素重み再構成ピラミッドHW1
に送られ、そして複合像Ｃの２つの異なるレベルの第２
の再構成に用いられる選択されたソース像のこれらの重
みの第２の結合は、第２の構成要素重み再構成ピラミッ
ドHW2に送られる。
構成ピラミッドHW1および第２構成要素重み再構成ピラ
ミッドHW2を含む。図12のラプラシアンピラミッドの場
合構成要素重みピラミッドHW1およびHW2のおのおのは、
ピラミッドレベルHn（２）,Hn（１），およびHn（０）
からなるガウシアン再構成ピラミッド（下記に詳細に記
載）である。計算した重みwAおよびwAの結合は、その結
合が選択可能な、構成要素重みピラミッドHW1およびHW2
のおのおのに利用できる。ラプラシアンピラミッドの全
レベルにわたり複合像Ｃに対するソース像ＡおよびＢの
相対的寄与を、サンプル値が表現する第１の場合におい
て、これらのレベル全体にわたる重みwA（または代りに
wB）は第１構成要素重み再構成ピラミッドHW1に送ら
れ、そしてHW2はゼロ重みすなわち無視される。第２の
場合において、複合像Ｃに対するソース像ＡおよびＢの
選択された一つの、２つの異なるラプラシアンピラミッ
ドレベルの相対的寄与を、サンプル値が表現し、複合像
Ｃのこれらの２つの異なるレベルの第１の再構成に用い
られる重みwA（または代りに重みwB）の値の第１の結
合、ここで選択されたソース像はＡ（または、代りに
Ｂ）であり、第１の構成要素重み再構成ピラミッドHW1
に送られ、そして複合像Ｃの２つの異なるレベルの第２
の再構成に用いられる選択されたソース像のこれらの重
みの第２の結合は、第２の構成要素重み再構成ピラミッ
ドHW2に送られる。
総合すると、第１の場合、ピラミッドレベルｋ＝0,1,
…,K;従ってHW1（i,j,k）＝wA（i,j,k）の組にわたって
複合像Ｃに対するソース像Ａの相対的寄与を関数W1が反
映する。ピラミッドHW1は、ガウシアンピラミッドG1で
あり、同じ拡張を通して再構成され、そしてラプラシア
ンピラミッド表現（すなわち再帰的に生成「トップダウ
ン」）から１つの像を再構成するのに用いられる手順を
付加し、 G1（Ｋ）＝WW1（Ｋ）およびG1（ｋ）＝G1（ｋ＋1:1）（ｋ），ここで G1（ｋ＋1:1）はG1（ｋ＋１）の拡張または補間を示
し G1（ｋ）の大きさに一致する。
…,K;従ってHW1（i,j,k）＝wA（i,j,k）の組にわたって
複合像Ｃに対するソース像Ａの相対的寄与を関数W1が反
映する。ピラミッドHW1は、ガウシアンピラミッドG1で
あり、同じ拡張を通して再構成され、そしてラプラシア
ンピラミッド表現（すなわち再帰的に生成「トップダウ
ン」）から１つの像を再構成するのに用いられる手順を
付加し、 G1（Ｋ）＝WW1（Ｋ）およびG1（ｋ）＝G1（ｋ＋1:1）（ｋ），ここで G1（ｋ＋1:1）はG1（ｋ＋１）の拡張または補間を示
し G1（ｋ）の大きさに一致する。
もしもHW1の各レベルが０と１との間の値をもてば、G1
の基底レベルは、０と（Ｋ＋１）との間の値をもち、こ
れはW1を形成するためのユニット間隔に正規化され、 従って、W1＝G1（０）／（Ｋ＋１） 第２の場合において、W1はその低分解能ピラミッドレ
ベルにわたる、選択されたソース像Ａの相対的寄与を表
わし、そしてW2はその高分解能ピラミッドレベルにわた
る選択されたソース像Ａの相対的寄与を示し、H
W1（ｋ）＝kWA（ｋ）およびHW2（ｋ）＝（Ｋ−ｋ）W
A（ｋ）。再構成されたガウシアンピラミッドW1およびW
2は、前記第１の場合の説明のように、HW1およびHW2か
ら得られる。従って正規化後は， W1＝2G1（０）／（Ｋ（Ｋ＋１））およびW2＝2G2（０）／（Ｋ（Ｋ＋１）） 僅かな変更によって、融合処理の上記記載のラプラシ
アンピラミッド実行が、傾きピラミッド実行に応用でき
る。上記説明のように、１つの像が４ステップの順序を
経て、その傾きピラミッド表現から回復される。第１
に、対応する有向２次微分ピラミッドＬ（k,l）を得る
ために、各方向付けl,傾きピラミッドＤ（k,l）のレベ
ル（ｋ）に対し、対応傾きフィルタｄ（１）と共にくり
こまれる。第２に、有向２次導関数ピラミッドが、FSD
ラプラシアンを得るために付加される。第３に、REラプ
ラシアンが、変換フィルタの適用を通してFSDから回復
される。最後に、像は、標準拡張および付加手順を経
て、REラプラシアンから回復される。
の基底レベルは、０と（Ｋ＋１）との間の値をもち、こ
れはW1を形成するためのユニット間隔に正規化され、 従って、W1＝G1（０）／（Ｋ＋１） 第２の場合において、W1はその低分解能ピラミッドレ
ベルにわたる、選択されたソース像Ａの相対的寄与を表
わし、そしてW2はその高分解能ピラミッドレベルにわた
る選択されたソース像Ａの相対的寄与を示し、H
W1（ｋ）＝kWA（ｋ）およびHW2（ｋ）＝（Ｋ−ｋ）W
A（ｋ）。再構成されたガウシアンピラミッドW1およびW
2は、前記第１の場合の説明のように、HW1およびHW2か
ら得られる。従って正規化後は， W1＝2G1（０）／（Ｋ（Ｋ＋１））およびW2＝2G2（０）／（Ｋ（Ｋ＋１）） 僅かな変更によって、融合処理の上記記載のラプラシ
アンピラミッド実行が、傾きピラミッド実行に応用でき
る。上記説明のように、１つの像が４ステップの順序を
経て、その傾きピラミッド表現から回復される。第１
に、対応する有向２次微分ピラミッドＬ（k,l）を得る
ために、各方向付けl,傾きピラミッドＤ（k,l）のレベ
ル（ｋ）に対し、対応傾きフィルタｄ（１）と共にくり
こまれる。第２に、有向２次導関数ピラミッドが、FSD
ラプラシアンを得るために付加される。第３に、REラプ
ラシアンが、変換フィルタの適用を通してFSDから回復
される。最後に、像は、標準拡張および付加手順を経
て、REラプラシアンから回復される。
この手順は、重みwAおよびwBから重み像W1およびW2を
回復するために変更できる。例えば、全レベルおよび方
向付け（ラプラシアンピラミッドについての最初の手順
概要に類似）にわたり複合像Ｃに対する像Ａの相対寄与
を表わすW1を得るために、有向構成要素重みピラミッド
HW1はHW1（i,j,k,l）＝wA（i,j,k,l）として定義され
る。再構成ガウシアンG1は、上記概説の４ステップ手順
を経てHW1から構成され、ただし微分フィルタｄ（１）
が、手順の第１ステップの対応２タップ平均フィルタｂ
（１）に取り替えられることを除き、従って水平の場合
ｄ（０）＝〔1,−１〕がｂ（０）＝〔1,1〕に取り替え
られる。この変更は傾きピラミッドＤを形成する像の再
構成の傾き基底陰関数を、同一大きさの有向ガウシアン
基底関数に変換する。再構成ガウシアンGW1（０）は、
重み関数W1を形成するため正規化される。
回復するために変更できる。例えば、全レベルおよび方
向付け（ラプラシアンピラミッドについての最初の手順
概要に類似）にわたり複合像Ｃに対する像Ａの相対寄与
を表わすW1を得るために、有向構成要素重みピラミッド
HW1はHW1（i,j,k,l）＝wA（i,j,k,l）として定義され
る。再構成ガウシアンG1は、上記概説の４ステップ手順
を経てHW1から構成され、ただし微分フィルタｄ（１）
が、手順の第１ステップの対応２タップ平均フィルタｂ
（１）に取り替えられることを除き、従って水平の場合
ｄ（０）＝〔1,−１〕がｂ（０）＝〔1,1〕に取り替え
られる。この変更は傾きピラミッドＤを形成する像の再
構成の傾き基底陰関数を、同一大きさの有向ガウシアン
基底関数に変換する。再構成ガウシアンGW1（０）は、
重み関数W1を形成するため正規化される。
ラプラシアンピラミッドの場合に記載した手順に類似
のこの手順変更は、低分解能ピラミッドレベルにおける
ソース像の相対的寄与を表わすW1、および高分解能ピラ
ミッドレベルにおけるソース像の相対的寄与を表わすW2
をつくるために用いられる。
のこの手順変更は、低分解能ピラミッドレベルにおける
ソース像の相対的寄与を表わすW1、および高分解能ピラ
ミッドレベルにおけるソース像の相対的寄与を表わすW2
をつくるために用いられる。
NTSC像のY,I,およびＱビデオチャネルを導出するピラ
ミッド技法を用いる、２反対色で２融合ソース像の単色
複合像を増補する上記好適実施例であるけれども、ピラ
ミッド技法より外にこの目的が使用され、また２反対色
以上を用いることもできる。例えば、３融合ソース像の
単色複合像は、３反対色赤，緑および青を用いて色増補
できる。
ミッド技法を用いる、２反対色で２融合ソース像の単色
複合像を増補する上記好適実施例であるけれども、ピラ
ミッド技法より外にこの目的が使用され、また２反対色
以上を用いることもできる。例えば、３融合ソース像の
単色複合像は、３反対色赤，緑および青を用いて色増補
できる。
さらに、明細書で教示したオペレーションの装置およ
び方法は本発明の解説であることを理解すべきである。
本発明の精神または範囲から逸脱することなく、当業者
には変更が容易に工夫できるものである。ここに示した
方法は、複合像に用いるべき局所場面特徴として、多く
の寸法および方向付けのエッジ状パターン素子を利用し
た。像内特徴測定のための他の指向性に敏感な技法は、
本発明の方法に用いることもできる。ピラミッド処理法
以外の方法及び異なる寸法の像を提供する装置が使用で
きることも理解すべきである。
び方法は本発明の解説であることを理解すべきである。
本発明の精神または範囲から逸脱することなく、当業者
には変更が容易に工夫できるものである。ここに示した
方法は、複合像に用いるべき局所場面特徴として、多く
の寸法および方向付けのエッジ状パターン素子を利用し
た。像内特徴測定のための他の指向性に敏感な技法は、
本発明の方法に用いることもできる。ピラミッド処理法
以外の方法及び異なる寸法の像を提供する装置が使用で
きることも理解すべきである。
像Ｉに対する傾きピラミッドは、傾き演算子をそのガ
ウシアンピラミッド表現の各レベルに印加することによ
り得られる。像は４個のそのような傾きピラミッドの組
により完全に表現でき、各１個の水平方向導関数，垂直
方向導関数，および２個の斜方向導関数である。
ウシアンピラミッド表現の各レベルに印加することによ
り得られる。像は４個のそのような傾きピラミッドの組
により完全に表現でき、各１個の水平方向導関数，垂直
方向導関数，および２個の斜方向導関数である。
GkをＩについてガウシアンピラミッドのｋレベルとす
る。
る。
G0（i,j）＝Ｉ（i,j）そしてｋ＞０において、GK＝〔ｗ＊Gk-1〕２ ここでｗは核となり、そして表示〔…〕２は、括弧内像
の配列が、水平方向と垂直方向の両方２により二段抽出
（サブサンプル）（down sampled）を示す。
の配列が、水平方向と垂直方向の両方２により二段抽出
（サブサンプル）（down sampled）を示す。
Dk1は傾きフィルタd1でくりこみを経てGkから得ら
れ： Dk1＝d1 ＊〔Gk＋ｗ′＊Gk〕 ここでDk1はピラミッドのｋレベル、そして方向付け
１、そしてｗは前記５×５二項式フィルタである。
れ： Dk1＝d1 ＊〔Gk＋ｗ′＊Gk〕 ここでDk1はピラミッドのｋレベル、そして方向付け
１、そしてｗは前記５×５二項式フィルタである。
その傾きピラミッド表現から像を再構成する方法は： （ａ）各傾きピラミッドレベルDk1を、傾きフィルタの
２回適用を経て、対応２次導関数ピラミッド（または方
向付けラプラシアン）レベルLk1に変換すること、Lk1＝
−｛d1 ＊Dk1｝｛1/8｝； （ｂ）FSD（フィルタ サブトラクト デジメイト）ラ
プラシアンピラミッドを形成するため、有向ラプラシア
ンピラミッドを加算すること、 Lk＝Ｓ１＝１ ４ Lk1; （ｃ）上記FSDラプラシアンLkを、バート（BURT）によ
り示されたようなフィルタくりこみを経て、レデュスエ
クスパンド（RE）ラプラシアン Lk＝Lk＋ｗ＊Lkに変換すること； （ｄ）内挿を経て、さらにREラプラシアンの全レベル、
と同様にガウシアンのトップレベルGN＝GN、そしてｋ＜
ＮにおいてGk＝Lk＋4w＊〔GK+1〕≠２、を用いる手順を
加える、レデュスエクスパンドラプラシアンから、再構
成ガウシアンＧを得ること、ここで表示〔…〕≠２は、
像の各行と列間に（ｎ−１）ゼロ値行と列を挿入するこ
とにより、括弧内像の配列がアップサンプル（up samp
led）されることを示す。
２回適用を経て、対応２次導関数ピラミッド（または方
向付けラプラシアン）レベルLk1に変換すること、Lk1＝
−｛d1 ＊Dk1｝｛1/8｝； （ｂ）FSD（フィルタ サブトラクト デジメイト）ラ
プラシアンピラミッドを形成するため、有向ラプラシア
ンピラミッドを加算すること、 Lk＝Ｓ１＝１ ４ Lk1; （ｃ）上記FSDラプラシアンLkを、バート（BURT）によ
り示されたようなフィルタくりこみを経て、レデュスエ
クスパンド（RE）ラプラシアン Lk＝Lk＋ｗ＊Lkに変換すること； （ｄ）内挿を経て、さらにREラプラシアンの全レベル、
と同様にガウシアンのトップレベルGN＝GN、そしてｋ＜
ＮにおいてGk＝Lk＋4w＊〔GK+1〕≠２、を用いる手順を
加える、レデュスエクスパンドラプラシアンから、再構
成ガウシアンＧを得ること、ここで表示〔…〕≠２は、
像の各行と列間に（ｎ−１）ゼロ値行と列を挿入するこ
とにより、括弧内像の配列がアップサンプル（up samp
led）されることを示す。
この手順の繰返し適用はＧ（０）を生じ、オリジナル
像Ｇ（０）の再構成様式であり、 のステップを含む。
像Ｇ（０）の再構成様式であり、 のステップを含む。
フロントページの続き (72)発明者 コルシンスキー，レイモンド アメリカ合衆国ニユージヤージー州 08610、トレントン、エドワード・アヴ エニユウ 166 (72)発明者 ウアン・デア・ヴアル，ゴーイツエン・ ジーメム アメリカ合衆国ニユージヤージー州 08525、ホープウエル、ウエスト・プロ スペクト・ストリート 105 審査官 ▲広▼島 明芳 (56)参考文献 特開 平２−120986（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 3/00 H04N 1/40 H04N 1/46 H04N 7/18
Claims (11)
- 【請求項１】Ｎ個のソース像から複合像を形成する方法
であって、ここでＮは１より大きく、 （ａ）各ソース像Inを複数Ｌ組の構成要素パターンP
n（m,l）に分解するステップを備え、ここで、２≦ｎ≦
Ｎであり、２≦ｌ≦Ｌであり、ｍは、ｎ番目のソース像
のもつ構成要素パターンの各組におけるパターン数であ
り、 （ｂ）各構成要素パターンPn（m,l）に対する特徴測度S
n（m,l）を計算するステップと、 （ｃ）前記特徴測度Sn（m,l）を用いて前記複数Ｌ組の
構成要素パターンPn（m,l）から構成要素パターンを選
択して、該複合像のための一組の構成要素パターンP
c（m,l）をつくるステップと、 （ｄ）前記一組の構成要素パターンPc（m,l）から複合
像を構成するステップと、 を備え、 前記ステップ（ａ）により各ソース像Inが分解された前
記複数Ｌ組の構成要素パターンPn（m,l）は、有向構成
要素パターンであり、 これにより、該有向構成要素パターンは、前記一組の構
成要素パターンPc（ｍ、ｌ）を形成するために前記ステ
ップ（ｃ）により選択されて、前記一組の構成要素パタ
ーンPc（ｍ、ｌ）からステップ（ｄ）により該複合像が
構成される、方法。 - 【請求項２】前記ステップ（ｃ）は、ｍおよびｌの各値
に関して最大特徴を有する構成要素パターンを選択する
ステップを含む、請求項１に記載の方法。 - 【請求項３】一対の構成要素パターンPn（m,l）に対し
て一致測度Ｍn1,n2（m,l）を計算すると共に、該構成要
素パターンに割当てられるべき重みを該一致測度Ｍ
n1,n2（m,l）および前記特徴測度Sn（m,l）から決定す
るステップを更に備える、請求項１の方法。 - 【請求項４】請求項１の方法であって、 前記ステップ（ａ）は、異なる分解能の複数Ｋ個の像In
（ｋ）に各ソース像を分解すると共に、前記像In（ｋ）
の各々を複数Ｌ組の有向構成要素パターンPn（m,k,l）
に分解するステップをさらに含み、ここで２≦ｋ≦Ｋで
あり、 前記ステップ（ｂ）は、前記複数Ｌ組の有向構成要素パ
ターンPn（m,k,l）の各々に対する特徴測度Sn（m,K,l）
を計算するステップを含み、 前記ステップ（ｃ）は、各有向構成要素パターンに対す
る前記特徴測度Sn（m,k,l）を用いて前記複数Ｌ組の有
向構成要素パターンPn（m,K,l）から構成要素パターン
を選択して、該複合像のための一組の有向構成要素パタ
ーンPc（m,k,l）をつくるステップを含み、 前記ステップ（ｄ）は、前記一組の有向構成要素パター
ンPc（m,k,l）から該複合像を構成するステップを含
む、方法。 - 【請求項５】前記ステップ（ｃ）は、ｍおよびｌの各値
に関して最大特徴を有する構成要素パターンを選択する
ステップを含む、請求項４に記載の方法。 - 【請求項６】Ｎ個のソース像から複合像を形成する方法
であって、ここで、Ｎは１より大きく、 （ａ）異なる分解能の複数Ｋ個の像In（ｋ）に各ソース
像を分解すると共に、該複数Ｋ個の像In（ｋ）の各々を
複数Ｌ組の有向構成要素パターンPn（m,K,l）に分解す
るステップを備え、ここで２≦ｋ≦Ｋであり、２≦ｎ≦
Ｎであり、２≦ｌ≦Ｌであり、ｍは、ｎ番目のソース像
のもつ構成要素パターンの各組におけるパターン数であ
り、 （ｂ）各分解能レベルｋにおいて各像In（ｋ）の各有向
構成要素パターンPn（m,k,l）に対する特徴測度Sn（m,
k,l）を計算するステップと、 （ｃ）各構成要素パターンのための前記特徴測度Sn（m,
k,l）を用いて該複数Ｌ組の有向構成要素パターンP
n（m,k,l）から構成要素パターンを選択して、該複合像
のための一組の有向構成要素パターンPc（m,k,l）をつ
くるステップと、 （ｄ）該一組の有向構成要素パターンPc（m,k,l）から
該複合像を構成するステップと、 を備える方法。 - 【請求項７】前記ステップ（ｃ）は、ｍおよびｌの各値
に関して最大特徴を有する構成要素パターンを選択する
ステップを含む請求項６の方法。 - 【請求項８】前記ステップ（ｃ）は、前記ソース像の該
構成要素パターンの振幅の重み付き平均を選択するステ
ップを含み、 前記ソース像の該構成要素パターンの振幅の前記重み付
き平均に対する正規化された重み寄与に従って、ソース
像の第１の構成要素パターンに反対色のうちの第１の反
対色の振幅を割り当てるステップと、 前記ソース像の該構成要素パターンの振幅の前記重み付
き平均に対する正規化された重み寄与に従って、ソース
像の第２の構成要素パターンに前記反対色のうちの第２
の反対色の振幅を割り当てるステップと、 前記第１および第２の反対色で前記複合像を増補するス
テップと、 更に備える請求項１の方法。 - 【請求項９】複数Ｎ個のソース像から複合像を形成する
ための装置であって、 前記ソース像Inの各々を複数Ｌ組の有向構成要素パター
ンPn（m,l）に分解するための分解手段を備え、ここ
で、２≦ｎ≦Ｎであり、２≦ｌ≦Ｌであり、ｍは、ｎ番
目のソース像のもつ構成要素パターンの各組におけるパ
ターン数であり、 該分解手段に接続され、各有向構成要素パターンPn（m,
l）に対する特徴測度Sn（m,l）を計算するための計算手
段を備え、 該有向構成要素パターンのための該特徴測度Sn（m,l）
を用いて、前記複数Ｌ組の構成要素パターンPn（m,l）
から構成要素パターンを選択して、前記複合像のための
一組の有向構成要素パターンPc（m,L）をつくるための
手段を備え、 前記一組の有向構成要素パターンPc（m,l）から複合像
を構成するための手段を備える、装置。 - 【請求項１０】前記ソース像Inの各々を異なる分解能の
複数Ｋの像In（ｋ）に分解し、前記分解手段に複数Ｋの
像In（ｋ）を提供するための手段を更に備える、請求項
９の装置。 - 【請求項１１】Ｎ個のソース像から複合像を形成する方
法であって、ここでＮは１より大きく、 （ａ）前記Ｎ個のソース像Inの各々を複数Ｌ組の構成要
素パターンPn（m,l）に分解するステップと、ここで、
２≦ｎ≦Ｎであり、２≦ｌ≦Ｌであり、ｍは、ｎ番目の
ソース像のもつ構成要素パターンの各組におけるパター
ン数であり、 （ｂ）該ソース像に対する一致測度Ｍn1,n2（m,l）を計
算するステップと； （ｃ）前記複数Ｌ組の構成要素パターンPn（m,l）に対
する特徴測度Sn（m,l）を計算するステップと、 （ｄ）前記一致測度Ｍn1,n2（m,l）および前記特徴測度
Sn（m,l）を用いて、前記複数Ｌ組の構成要素パターンP
n（m,l）から構成要素パターンを選択して、該複合像の
ための一組の構成要素パターンPc（m,l）を作るステッ
プと、 （ｅ）前記一組の構成要素パターンPc（m,l）から該複
合像を構成するステップと、 を備える方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/884,098 US5325449A (en) | 1992-05-15 | 1992-05-15 | Method for fusing images and apparatus therefor |
| US884,098 | 1992-05-15 | ||
| PCT/US1993/004315 WO1993023823A1 (en) | 1992-05-15 | 1993-05-12 | Method for fusing images and apparatus therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07508111A JPH07508111A (ja) | 1995-09-07 |
| JP3328934B2 true JP3328934B2 (ja) | 2002-09-30 |
Family
ID=25383948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50272794A Expired - Lifetime JP3328934B2 (ja) | 1992-05-15 | 1993-05-12 | 像を融合する方法およびその装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5325449A (ja) |
| EP (1) | EP0640232B1 (ja) |
| JP (1) | JP3328934B2 (ja) |
| DE (1) | DE69333846T2 (ja) |
| WO (1) | WO1993023823A1 (ja) |
Families Citing this family (321)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07115534A (ja) * | 1993-10-15 | 1995-05-02 | Minolta Co Ltd | 画像読取装置 |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JP3184639B2 (ja) * | 1992-11-16 | 2001-07-09 | キヤノン株式会社 | 画像処理装置及び方法 |
| EP0610602B2 (en) * | 1993-02-11 | 2010-11-24 | Agfa HealthCare N.V. | Method of displaying (a) radiographic image(s) |
| JP3499254B2 (ja) * | 1993-06-04 | 2004-02-23 | 富士写真フイルム株式会社 | 画像データ圧縮処理方法 |
| US5754692A (en) * | 1993-07-31 | 1998-05-19 | Sony Corporation | Picture coincidence detecting apparatus and method |
| EP0644684B1 (en) * | 1993-09-17 | 2000-02-02 | Eastman Kodak Company | Digital resampling integrated circuit for fast image resizing applications |
| DE69425416T2 (de) * | 1993-11-26 | 2001-03-15 | Koninkl Philips Electronics Nv | Verfahren zur Bildzusammensetzung und Bilderzeugungsvorrichtung zur Durchführung dieses Verfahrens |
| JPH07200833A (ja) * | 1993-12-08 | 1995-08-04 | Nec Corp | 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法 |
| US5489782A (en) * | 1994-03-24 | 1996-02-06 | Imaging Laboratory, Inc. | Method and apparatus for quantum-limited data acquisition |
| DE69530887T2 (de) * | 1994-03-31 | 2004-03-11 | Fuji Photo Film Co., Ltd., Minami-Ashigara | Verfahren zur Bearbeitung von Überlagerungsbildern |
| US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
| US5572596A (en) * | 1994-09-02 | 1996-11-05 | David Sarnoff Research Center, Inc. | Automated, non-invasive iris recognition system and method |
| US5767987A (en) * | 1994-09-26 | 1998-06-16 | Ricoh Corporation | Method and apparatus for combining multiple image scans for enhanced resolution |
| US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| GB2295936B (en) * | 1994-12-05 | 1997-02-05 | Microsoft Corp | Progressive image transmission using discrete wavelet transforms |
| US5594853A (en) * | 1995-01-03 | 1997-01-14 | University Of Washington | Method and system for editing the general sweep and detail of a figure with a curve |
| US5666475A (en) * | 1995-01-03 | 1997-09-09 | University Of Washington | Method and system for editing multiresolution images at fractional-levels of resolution using a wavelet representation |
| JP3361643B2 (ja) * | 1995-02-14 | 2003-01-07 | 富士通株式会社 | 画像処理システム |
| DE19517028A1 (de) * | 1995-05-10 | 1996-11-14 | Bosch Gmbh Robert | Verfahren zur Erstellung einer Objektmaske für Videoüberwachungsanlagen |
| US5854856A (en) * | 1995-07-19 | 1998-12-29 | Carnegie Mellon University | Content based video compression system |
| US5710835A (en) * | 1995-11-14 | 1998-01-20 | The Regents Of The University Of California, Office Of Technology Transfer | Storage and retrieval of large digital images |
| US6201879B1 (en) * | 1996-02-09 | 2001-03-13 | Massachusetts Institute Of Technology | Method and apparatus for logo hiding in images |
| US5917934A (en) * | 1996-03-15 | 1999-06-29 | Sony Corporation | Automated visual inspection apparatus for detecting defects and for measuring defect size |
| US6078681A (en) * | 1996-03-18 | 2000-06-20 | Marine Biological Laboratory | Analytical imaging system and process |
| US5963675A (en) * | 1996-04-17 | 1999-10-05 | Sarnoff Corporation | Pipelined pyramid processor for image processing systems |
| US6567564B1 (en) | 1996-04-17 | 2003-05-20 | Sarnoff Corporation | Pipelined pyramid processor for image processing systems |
| US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US5999679A (en) | 1997-07-14 | 1999-12-07 | Corning Incorporated | Dispersion compensating single mode waveguide |
| US6175655B1 (en) * | 1996-09-19 | 2001-01-16 | Integrated Medical Systems, Inc. | Medical imaging system for displaying, manipulating and analyzing three-dimensional images |
| US5917961A (en) * | 1996-10-30 | 1999-06-29 | Hewlett-Packard Co. | Image convolution using pre-calculated lookup tables |
| JP2000509873A (ja) * | 1997-02-21 | 2000-08-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ画像を記録し及び再生する方法及び装置 |
| US6269195B1 (en) | 1997-04-04 | 2001-07-31 | Avid Technology, Inc. | Apparatus and methods for selectively feathering a composite image |
| US6137919A (en) * | 1997-04-04 | 2000-10-24 | Avid Technology, Inc. | Apparatus and methods for feathering a composite image |
| US6128001A (en) * | 1997-04-04 | 2000-10-03 | Avid Technology, Inc. | Methods and apparatus for changing a color of an image |
| US6160907A (en) * | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
| US6084590A (en) * | 1997-04-07 | 2000-07-04 | Synapix, Inc. | Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage |
| US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| US6097854A (en) * | 1997-08-01 | 2000-08-01 | Microsoft Corporation | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping |
| US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
| US6128108A (en) | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
| JP3695084B2 (ja) * | 1997-09-19 | 2005-09-14 | コニカミノルタビジネステクノロジーズ株式会社 | 類似画像検索装置および類似画像の検索方法およびプログラム記憶媒体 |
| US6141459A (en) * | 1997-09-24 | 2000-10-31 | Sarnoff Corporation | Method and apparatus for processing image pyramid borders |
| JP2001508986A (ja) * | 1997-09-30 | 2001-07-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像混合方法および表示装置 |
| US6088470A (en) * | 1998-01-27 | 2000-07-11 | Sensar, Inc. | Method and apparatus for removal of bright or dark spots by the fusion of multiple images |
| AT406724B (de) * | 1998-02-06 | 2000-08-25 | Oesterr Forsch Seibersdorf | Verfahren und anordnung zur aufnahme und auswertung von bildern eines gegenstandes |
| JPH11296666A (ja) * | 1998-02-16 | 1999-10-29 | Sony Corp | 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体 |
| US6266068B1 (en) * | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| KR20010074470A (ko) | 1998-04-02 | 2001-08-04 | 추후보정 | 카메라의 어레이를 이용한 가항성 텔레프레즌스 방법과시스템 |
| US6522325B1 (en) | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| US6351557B1 (en) | 1998-04-03 | 2002-02-26 | Avid Technology, Inc. | Method and apparatus for color manipulation |
| US6266053B1 (en) | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
| US6297825B1 (en) | 1998-04-06 | 2001-10-02 | Synapix, Inc. | Temporal smoothing of scene analysis data for image sequence generation |
| US6249285B1 (en) | 1998-04-06 | 2001-06-19 | Synapix, Inc. | Computer assisted mark-up and parameterization for scene analysis |
| US6404431B1 (en) | 1998-04-13 | 2002-06-11 | Northrop Grumman Corporation | Virtual map store/cartographic processor |
| US6584235B1 (en) * | 1998-04-23 | 2003-06-24 | Micron Technology, Inc. | Wide dynamic range fusion using memory look-up |
| US6208765B1 (en) | 1998-06-19 | 2001-03-27 | Sarnoff Corporation | Method and apparatus for improving image resolution |
| US6633685B1 (en) * | 1998-08-05 | 2003-10-14 | Canon Kabushiki Kaisha | Method, apparatus, and storage media for image processing |
| US6782132B1 (en) | 1998-08-12 | 2004-08-24 | Pixonics, Inc. | Video coding and reconstruction apparatus and methods |
| EP1110381B1 (en) * | 1998-08-28 | 2003-07-16 | Sarnoff Corporation | Method and apparatus for electronically enhancing images |
| US6469710B1 (en) * | 1998-09-25 | 2002-10-22 | Microsoft Corporation | Inverse texture mapping using weighted pyramid blending |
| US6201899B1 (en) | 1998-10-09 | 2001-03-13 | Sarnoff Corporation | Method and apparatus for extended depth of field imaging |
| DE19848765C2 (de) * | 1998-10-22 | 2000-12-21 | Brainlab Med Computersyst Gmbh | Positionsverifizierung in Kamerabildern |
| US6466624B1 (en) | 1998-10-28 | 2002-10-15 | Pixonics, Llc | Video decoder with bit stream based enhancements |
| US8085342B2 (en) * | 1998-12-22 | 2011-12-27 | California Institute Of Technology | Highly miniaturized, battery operated, digital wireless camera using programmable single chip active pixel sensor (APS) digital camera chip |
| US7382927B2 (en) * | 1999-01-08 | 2008-06-03 | Sharp Laboratories Of America, Inc. | System for constructing mosaic images |
| US6950139B2 (en) * | 1999-01-22 | 2005-09-27 | Nikon Corporation | Image reading device and storage medium storing control procedure for image reading device |
| US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
| US6417891B1 (en) | 1999-04-16 | 2002-07-09 | Avid Technology, Inc. | Color modification on a digital nonlinear editing system |
| US6571255B1 (en) | 1999-04-16 | 2003-05-27 | Robert Gonsalves | Modification of media with common attributes on a digital nonlinear editing system |
| US6847373B1 (en) | 1999-04-16 | 2005-01-25 | Avid Technology, Inc. | Natural color matching in a video editing system |
| US6552731B1 (en) | 1999-04-16 | 2003-04-22 | Avid Technology, Inc. | Multi-tone representation of a digital image on a digital nonlinear editing system |
| US6396940B1 (en) | 1999-05-27 | 2002-05-28 | Litton Systems, Inc. | Optical correlator based automated pathologic region of interest selector for integrated 3D ultrasound and digital mammography |
| US6633657B1 (en) * | 1999-07-15 | 2003-10-14 | General Electric Company | Method and apparatus for controlling a dynamic range of a digital diagnostic image |
| US6647151B1 (en) | 1999-08-18 | 2003-11-11 | Hewlett-Packard Development Company, L.P. | Coalescence of device independent bitmaps for artifact avoidance |
| US7292261B1 (en) * | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
| AU2119201A (en) | 1999-10-20 | 2001-04-30 | Trustees Of The University Of Pennsylvania, The | Mosaicing and enhancement of images for ophthalmic diagnosis and documentation |
| US6694064B1 (en) | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
| FR2802653B1 (fr) * | 1999-12-21 | 2003-01-24 | Poseidon | Procede et systeme pour detecter un objet devant un fond |
| US6738424B1 (en) | 1999-12-27 | 2004-05-18 | Objectvideo, Inc. | Scene model generation from video for use in video processing |
| US6516087B1 (en) | 2000-01-10 | 2003-02-04 | Sensar, Inc. | Method for real time correlation of stereo images |
| US20010013895A1 (en) * | 2000-02-04 | 2001-08-16 | Kiyoharu Aizawa | Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein |
| JP4209061B2 (ja) * | 2000-02-09 | 2009-01-14 | 富士フイルム株式会社 | 画像処理符号復号化方法および画像処理符号復号化システム、画像処理符号化装置および画像処理復号化装置、並びに記録媒体 |
| US6993719B1 (en) | 2000-02-11 | 2006-01-31 | Sony Corporation | System and method for animated character photo-editing interface and cross-platform education icon |
| US7136528B2 (en) | 2000-02-11 | 2006-11-14 | Sony Corporation | System and method for editing digital images |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| US20010036322A1 (en) * | 2000-03-10 | 2001-11-01 | Bloomfield John F. | Image processing system using an array processor |
| US6477271B1 (en) | 2000-04-07 | 2002-11-05 | Avid Technology, Inc. | Secondary color modification of a digital image |
| US6928187B2 (en) * | 2000-04-07 | 2005-08-09 | Avid Technology, Inc. | Secondary color modification of a digital image |
| AU2001253518A1 (en) * | 2000-04-27 | 2001-11-12 | Litton Systems Inc. | Method and system for fusing images |
| US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
| JP2002027393A (ja) * | 2000-07-04 | 2002-01-25 | Teac Corp | 画像処理装置、画像記録装置および画像再生装置 |
| US6731825B1 (en) | 2000-07-11 | 2004-05-04 | Sarnoff Corporation | Apparatus and method for producing images using digitally stored dynamic background sets |
| US6778207B1 (en) * | 2000-08-07 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Fast digital pan tilt zoom video |
| US7398275B2 (en) * | 2000-10-20 | 2008-07-08 | Sony Corporation | Efficient binary coding scheme for multimedia content descriptions |
| ATE552572T1 (de) * | 2000-12-01 | 2012-04-15 | Imax Corp | Verfahren und vorrichtung zum erzeugen hochauflösender bilder |
| JP2002224982A (ja) * | 2000-12-01 | 2002-08-13 | Yaskawa Electric Corp | 薄型基板搬送用ロボットおよび薄型基板検出方法 |
| SE518050C2 (sv) * | 2000-12-22 | 2002-08-20 | Afsenius Sven Aake | Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild |
| EP1368689B1 (en) * | 2001-02-02 | 2006-06-14 | Cellomics, Inc. | Method for estimating the best initial focus position |
| US20020118301A1 (en) * | 2001-02-27 | 2002-08-29 | Michael Persiantsev | Digital video effects created from spatial frequency banded frames |
| US7689901B2 (en) * | 2001-03-01 | 2010-03-30 | Sony Corporation | Multiple updates to content descriptions using a single command |
| US7240285B2 (en) * | 2001-03-01 | 2007-07-03 | Sony Corporation | Encoding and distribution of schema for multimedia content descriptions |
| US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
| US6816627B2 (en) | 2001-04-12 | 2004-11-09 | Lockheed Martin Corporation | System for morphological image fusion and change detection |
| US6996287B1 (en) * | 2001-04-20 | 2006-02-07 | Adobe Systems, Inc. | Method and apparatus for texture cloning |
| JP2002345800A (ja) * | 2001-05-23 | 2002-12-03 | Konica Corp | 医用画像処理装置及び医用ネットワークシステム |
| US7734997B2 (en) * | 2001-05-29 | 2010-06-08 | Sony Corporation | Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions |
| US7058233B2 (en) * | 2001-05-30 | 2006-06-06 | Mitutoyo Corporation | Systems and methods for constructing an image having an extended depth of field |
| US20020181739A1 (en) * | 2001-06-04 | 2002-12-05 | Massachusetts Institute Of Technology | Video system for monitoring and reporting weather conditions |
| JP2003016429A (ja) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
| US20080036886A1 (en) * | 2001-06-29 | 2008-02-14 | Hannigan Brett T | Methods For Generating Enhanced Digital Images |
| FR2828054B1 (fr) * | 2001-07-27 | 2003-11-28 | Thomson Licensing Sa | Procede et dispositif de codage d'une scene |
| US20030110297A1 (en) * | 2001-12-12 | 2003-06-12 | Tabatabai Ali J. | Transforming multimedia data for delivery to multiple heterogeneous devices |
| US7856055B2 (en) * | 2002-03-13 | 2010-12-21 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
| AU2003226047A1 (en) * | 2002-04-10 | 2003-10-27 | Pan-X Imaging, Inc. | A digital imaging system |
| US7218332B2 (en) * | 2002-04-30 | 2007-05-15 | Xerox Corporation | Method and apparatus for windowing and image rendition |
| US7181086B2 (en) * | 2002-06-06 | 2007-02-20 | Eastman Kodak Company | Multiresolution method of spatially filtering a digital image |
| US7671871B2 (en) * | 2002-06-21 | 2010-03-02 | Avid Technology, Inc. | Graphical user interface for color correction using curves |
| US7226426B2 (en) * | 2002-07-25 | 2007-06-05 | Thomson Paul E | Apparatus and method for the detection and quantification of joint and tissue inflammation |
| US6898331B2 (en) | 2002-08-28 | 2005-05-24 | Bae Systems Aircraft Controls, Inc. | Image fusion system and method |
| US7171057B1 (en) * | 2002-10-16 | 2007-01-30 | Adobe Systems Incorporated | Image blending using non-affine interpolation |
| US7738725B2 (en) * | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
| JP2004334843A (ja) * | 2003-04-15 | 2004-11-25 | Seiko Epson Corp | 複数の画像から画像を合成する方法 |
| JP2005039785A (ja) * | 2003-06-30 | 2005-02-10 | Seiko Epson Corp | 画像処理装置、方法及びプログラム |
| US7312725B2 (en) * | 2003-07-08 | 2007-12-25 | Supersonic Aerospace International, Llc | Display system for operating a device with reduced out-the-window visibility |
| US20050091279A1 (en) * | 2003-09-29 | 2005-04-28 | Rising Hawley K.Iii | Use of transform technology in construction of semantic descriptions |
| DE102004003323A1 (de) * | 2004-01-22 | 2005-08-18 | Infineon Technologies Ag | Halbleiterspeichervorrichtung und Schaltungsanordnung |
| WO2005072431A2 (en) * | 2004-01-27 | 2005-08-11 | Sarnoff Corporation | A method and apparatus for combining a plurality of images |
| JP4127537B2 (ja) * | 2004-02-04 | 2008-07-30 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| WO2005088572A1 (en) * | 2004-03-11 | 2005-09-22 | Ultrawaves Design Holding B.V. | Transmitter and receiver for a surveillance system |
| US7620265B1 (en) | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
| US7352919B2 (en) * | 2004-04-28 | 2008-04-01 | Seiko Epson Corporation | Method and system of generating a high-resolution image from a set of low-resolution images |
| WO2006083277A2 (en) * | 2004-05-25 | 2006-08-10 | Sarnoff Corporation | Low latency pyramid processor for image processing systems |
| WO2006003612A1 (en) * | 2004-07-02 | 2006-01-12 | Koninklijke Philips Electronics N.V. | Face detection and/or recognition |
| WO2006017233A1 (en) * | 2004-07-12 | 2006-02-16 | Lehigh University | Image fusion methods and apparatus |
| WO2006017670A1 (en) * | 2004-08-04 | 2006-02-16 | Intergraph Software Technologies Company | Method of preparing a composite image with non-uniform resolution |
| JP2008511080A (ja) * | 2004-08-23 | 2008-04-10 | サーノフ コーポレーション | 融合画像を形成するための方法および装置 |
| US8265354B2 (en) * | 2004-08-24 | 2012-09-11 | Siemens Medical Solutions Usa, Inc. | Feature-based composing for 3D MR angiography images |
| US7512260B2 (en) * | 2004-09-06 | 2009-03-31 | Omron Corporation | Substrate inspection method and apparatus |
| US7535002B2 (en) * | 2004-12-03 | 2009-05-19 | Fluke Corporation | Camera with visible light and infrared image blending |
| WO2006060746A2 (en) * | 2004-12-03 | 2006-06-08 | Infrared Solutions, Inc. | Visible light and ir combined image camera with a laser pointer |
| US8531562B2 (en) | 2004-12-03 | 2013-09-10 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
| US20080152251A1 (en) * | 2005-01-31 | 2008-06-26 | Koninklijke Philips Electronics, N.V. | Pyramidal Decomposition for Multi-Resolution Image Filtering |
| US7471417B1 (en) | 2005-03-17 | 2008-12-30 | Adobe Systems Incorporated | Method and apparatus for locating a source point for an image-retouching tool |
| US7760962B2 (en) * | 2005-03-30 | 2010-07-20 | Casio Computer Co., Ltd. | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced |
| US7733961B2 (en) * | 2005-04-15 | 2010-06-08 | Mississippi State University Research And Technology Corporation | Remote sensing imagery accuracy analysis method and apparatus |
| US7978925B1 (en) | 2005-04-16 | 2011-07-12 | Apple Inc. | Smoothing and/or locking operations in video editing |
| US20060239579A1 (en) * | 2005-04-22 | 2006-10-26 | Ritter Bradford A | Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images |
| US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
| WO2007032082A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
| US7903850B2 (en) * | 2005-10-14 | 2011-03-08 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for pre-processing scans by combining enhancement and denoising as a preparation for segmenting the same |
| US7539349B2 (en) * | 2005-10-25 | 2009-05-26 | Hewlett-Packard Development Company, L.P. | Clear image using pixel voting |
| ITMI20052060A1 (it) * | 2005-10-28 | 2007-04-29 | Sintesi S C P A | Apparecchiatura per la movimentazione di organi chirurgici |
| US7912337B2 (en) | 2005-11-02 | 2011-03-22 | Apple Inc. | Spatial and temporal alignment of video sequences |
| EP1977395B1 (en) * | 2006-01-27 | 2018-10-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| JP4085337B2 (ja) * | 2006-02-13 | 2008-05-14 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置 |
| JP2007221282A (ja) * | 2006-02-15 | 2007-08-30 | Konica Minolta Business Technologies Inc | 画像処理装置 |
| EP2022008A4 (en) * | 2006-05-09 | 2012-02-01 | Technion Res & Dev Foundation | PICTURE SYSTEMS AND METHOD FOR RESTORING THE OBJECTIBILITY |
| US7885469B2 (en) * | 2006-05-22 | 2011-02-08 | Microsoft Corporation | Encoded high dynamic range textures |
| CN102685533B (zh) | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
| US7636098B2 (en) * | 2006-09-28 | 2009-12-22 | Microsoft Corporation | Salience preserving image fusion |
| KR100801088B1 (ko) * | 2006-10-02 | 2008-02-05 | 삼성전자주식회사 | 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 |
| US8049685B2 (en) * | 2006-11-09 | 2011-11-01 | Global Oled Technology Llc | Passive matrix thin-film electro-luminescent display |
| US8155462B2 (en) * | 2006-12-29 | 2012-04-10 | Fastvdo, Llc | System of master reconstruction schemes for pyramid decomposition |
| US9229230B2 (en) | 2007-02-28 | 2016-01-05 | Science Applications International Corporation | System and method for video image registration and/or providing supplemental data in a heads up display |
| EP2160716A1 (en) * | 2007-06-08 | 2010-03-10 | Thomson Licensing | Method and apparatus for multi-lattice sparsity-based filtering |
| EP2160901A1 (en) * | 2007-06-08 | 2010-03-10 | Thomson Licensing | Methods and apparatus for in-loop de-artifacting filtering based on multi-lattice sparsity-based filtering |
| US7953275B1 (en) | 2007-08-20 | 2011-05-31 | Adobe Systems Incorporated | Image shader for digital image modification |
| US8019182B1 (en) | 2007-08-20 | 2011-09-13 | Adobe Systems Incorporated | Digital image modification using pyramid vignettes |
| TWI431608B (zh) * | 2007-09-12 | 2014-03-21 | Quanta Comp Inc | 影像處理方法及電腦可讀取媒介 |
| US8270691B2 (en) * | 2007-10-09 | 2012-09-18 | Siemens Aktiengesellschaft | Method for fusing images acquired from a plurality of different image acquiring modalities |
| US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
| US20090160936A1 (en) * | 2007-12-21 | 2009-06-25 | Mccormack Kenneth | Methods and apparatus for operating a video camera assembly |
| US20090244301A1 (en) * | 2008-04-01 | 2009-10-01 | Border John N | Controlling multiple-image capture |
| US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| EP3328048B1 (en) | 2008-05-20 | 2021-04-21 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| ES2517915T3 (es) | 2008-06-02 | 2014-11-04 | Lightlab Imaging, Inc. | Métodos cuantitativos para obtener características de un tejido a partir de imágenes de tomografía por coherencia óptica |
| US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
| US20100091127A1 (en) * | 2008-09-30 | 2010-04-15 | University Of Victoria Innovation And Development Corporation | Image reconstruction method for a gradient camera |
| EP2344020B1 (en) * | 2008-10-14 | 2020-05-20 | Lightlab Imaging, Inc. | Stent strut detection and related measurement and display using optical coherence tomography |
| US9171361B2 (en) * | 2010-04-23 | 2015-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| US8520970B2 (en) * | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| WO2010116368A1 (en) * | 2009-04-07 | 2010-10-14 | Nextvision Stabilized Systems Ltd | Methods for compensating for light distortions related noise in a camera system having multiple image sensors |
| US8321422B1 (en) | 2009-04-23 | 2012-11-27 | Google Inc. | Fast covariance matrix generation |
| US8611695B1 (en) | 2009-04-27 | 2013-12-17 | Google Inc. | Large scale patch search |
| US8396325B1 (en) * | 2009-04-27 | 2013-03-12 | Google Inc. | Image enhancement through discrete patch optimization |
| US8391634B1 (en) | 2009-04-28 | 2013-03-05 | Google Inc. | Illumination estimation for images |
| US8385662B1 (en) | 2009-04-30 | 2013-02-26 | Google Inc. | Principal component analysis based seed generation for clustering analysis |
| US10044946B2 (en) | 2009-06-03 | 2018-08-07 | Flir Systems Ab | Facilitating analysis and interpretation of associated visible light and infrared (IR) image information |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| JP5643315B2 (ja) | 2009-09-23 | 2014-12-17 | ライトラボ・イメージング・インコーポレーテッド | 光干渉断層撮影プローブの作動方法、コンピュータシステム、及び光干渉断層撮影データ収集システム |
| WO2011038044A2 (en) * | 2009-09-23 | 2011-03-31 | Lightlab Imaging, Inc. | Lumen morphology and vascular resistance measurements data collection systems, apparatus and methods |
| EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
| US8884989B2 (en) * | 2009-12-23 | 2014-11-11 | Indian Institute Of Technology Bombay | System and method for fusing images |
| US8558913B2 (en) * | 2010-02-08 | 2013-10-15 | Apple Inc. | Capture condition selection from brightness and motion |
| US9105115B2 (en) * | 2010-03-16 | 2015-08-11 | Honeywell International Inc. | Display systems and methods for displaying enhanced vision and synthetic images |
| US8340415B2 (en) * | 2010-04-05 | 2012-12-25 | Microsoft Corporation | Generation of multi-resolution image pyramids |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| SG10201503516VA (en) | 2010-05-12 | 2015-06-29 | Pelican Imaging Corp | Architectures for imager arrays and array cameras |
| US8760537B2 (en) | 2010-07-05 | 2014-06-24 | Apple Inc. | Capturing and rendering high dynamic range images |
| US8363984B1 (en) | 2010-07-13 | 2013-01-29 | Google Inc. | Method and system for automatically cropping images |
| US9070182B1 (en) | 2010-07-13 | 2015-06-30 | Google Inc. | Method and system for automatically cropping images |
| US8830360B1 (en) | 2010-08-25 | 2014-09-09 | Sri International | Method and apparatus for optimizing image quality based on scene content |
| US20120076403A1 (en) * | 2010-09-23 | 2012-03-29 | Oscar Nestares | System and method for all-in-focus imaging from multiple images acquired with hand-held camera |
| DE202010017860U1 (de) * | 2010-10-06 | 2013-01-15 | Testo Ag | Wärmebildkamera |
| US11880178B1 (en) | 2010-11-16 | 2024-01-23 | Ectoscan Systems, Llc | Surface data, acquisition, storage, and assessment system |
| US9599461B2 (en) | 2010-11-16 | 2017-03-21 | Ectoscan Systems, Llc | Surface data acquisition, storage, and assessment system |
| US8798393B2 (en) | 2010-12-01 | 2014-08-05 | Google Inc. | Removing illumination variation from images |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| EP3457354B1 (en) | 2011-04-08 | 2020-02-19 | Dolby Laboratories Licensing Corporation | Definition of global image transformations |
| KR101973822B1 (ko) | 2011-05-11 | 2019-04-29 | 포토네이션 케이맨 리미티드 | 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들 |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| WO2013027138A1 (en) * | 2011-08-19 | 2013-02-28 | Koninklijke Philips Electronics N.V. | Frequency dependent combination of x-ray images of different modalities |
| WO2013043751A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| IN2014CN02708A (ja) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
| US8831321B1 (en) | 2011-11-07 | 2014-09-09 | Lightlab Imaging, Inc. | Side branch detection methods, systems and devices |
| JP6101706B2 (ja) | 2011-12-23 | 2017-03-22 | 株式会社ミツトヨ | マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作 |
| WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| US8938119B1 (en) | 2012-05-01 | 2015-01-20 | Google Inc. | Facade illumination removal |
| EP2670130B1 (en) * | 2012-06-01 | 2019-03-27 | Alcatel Lucent | Method and apparatus for mixing a first video signal and a second video signal |
| WO2014005123A1 (en) | 2012-06-28 | 2014-01-03 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays, optic arrays, and sensors |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| WO2014031795A1 (en) | 2012-08-21 | 2014-02-27 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
| US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| JP6137800B2 (ja) * | 2012-09-26 | 2017-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
| EP2901671A4 (en) | 2012-09-28 | 2016-08-24 | Pelican Imaging Corp | CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW |
| WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| EP3272282A3 (en) | 2012-12-12 | 2018-05-02 | Lightlab Imaging, Inc. | Apparatus for automated determination of a lumen contour of a blood vessel |
| KR101429365B1 (ko) * | 2012-12-26 | 2014-08-13 | 중앙대학교 산학협력단 | 라플라시안 피라미드를 이용한 다중 해상도 예제 기반 인페인팅 방법 및 장치 |
| US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9374512B2 (en) | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
| US9173591B2 (en) | 2013-03-08 | 2015-11-03 | Lightlab Imaging, Inc. | Stent visualization and malapposition detection systems, devices, and methods |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
| US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
| EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US9299130B2 (en) * | 2013-03-15 | 2016-03-29 | Trustees Of Tufts College | Methods and apparatus for image processing and analysis |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US9681066B2 (en) * | 2013-07-08 | 2017-06-13 | Flir Systems Ab | Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement |
| US9053558B2 (en) | 2013-07-26 | 2015-06-09 | Rui Shen | Method and system for fusing multiple images |
| US9633433B1 (en) | 2013-08-08 | 2017-04-25 | Intellimed Systems, Llc | Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| US9245365B2 (en) * | 2013-11-08 | 2016-01-26 | Adobe Systems Incorporated | Dynamic digital image compositing using image templates |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| WO2015080716A1 (en) | 2013-11-27 | 2015-06-04 | Analogic Corporation | Multi-imaging modality navigation system |
| US9807372B2 (en) * | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
| EP3622884A1 (en) | 2014-07-24 | 2020-03-18 | Lightlab Imaging, Inc. | Stent and vessel visualization and diagnostic systems, devices, and methods |
| CN104268847B (zh) * | 2014-09-23 | 2017-04-05 | 西安电子科技大学 | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 |
| US9396394B1 (en) * | 2014-09-25 | 2016-07-19 | Amazon Technologies, Inc. | Iris image data processing for template iris pattern generation |
| JP2017531976A (ja) | 2014-09-29 | 2017-10-26 | フォトネイション ケイマン リミテッド | アレイカメラを動的に較正するためのシステム及び方法 |
| ES2864714T3 (es) | 2014-12-12 | 2021-10-14 | Lightlab Imaging Inc | Método para detectar y representar visualmente características endovasculares |
| US11505292B2 (en) | 2014-12-31 | 2022-11-22 | FLIR Belgium BVBA | Perimeter ranging sensor systems and methods |
| CN106033418B (zh) | 2015-03-10 | 2020-01-31 | 阿里巴巴集团控股有限公司 | 语音添加、播放方法及装置、图片分类、检索方法及装置 |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| CN107534734B (zh) | 2015-04-27 | 2020-03-10 | 菲力尔系统公司 | 具有热成像能力的湿度测量装置及相关方法 |
| EP3295377A4 (en) * | 2015-05-14 | 2019-01-09 | SRI International | OPTIMAL IMAGE SELECTION FROM MOBILE DEVICE CAPTURES |
| US9996921B2 (en) | 2015-05-17 | 2018-06-12 | LIGHTLAB IMAGING, lNC. | Detection of metal stent struts |
| US10222956B2 (en) | 2015-05-17 | 2019-03-05 | Lightlab Imaging, Inc. | Intravascular imaging user interface systems and methods |
| US10109058B2 (en) | 2015-05-17 | 2018-10-23 | Lightlab Imaging, Inc. | Intravascular imaging system interfaces and stent detection methods |
| US10646198B2 (en) | 2015-05-17 | 2020-05-12 | Lightlab Imaging, Inc. | Intravascular imaging and guide catheter detection methods and systems |
| US10140712B2 (en) | 2015-05-17 | 2018-11-27 | Lightlab Imaging, Inc. | Detection of stent struts relative to side branches |
| US9792485B2 (en) | 2015-06-30 | 2017-10-17 | Synaptics Incorporated | Systems and methods for coarse-to-fine ridge-based biometric image alignment |
| EP3324830B1 (en) | 2015-07-25 | 2023-01-04 | Lightlab Imaging, Inc. | Intravascular data visualization method and device |
| US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
| WO2017087477A1 (en) | 2015-11-18 | 2017-05-26 | Lightlab Imaging, Inc. | Detection of stent struts relative to side branches |
| CN115998310A (zh) | 2015-11-23 | 2023-04-25 | 光学实验室成像公司 | 血管内图像中的阴影的检测与验证 |
| DK3391038T3 (da) * | 2015-12-18 | 2022-04-19 | Radiometer Medical Aps | Fremgangsmåde til drift af en ionselektiv elektrode med blandede ionoforer til forbedret detektering af urinstof i blod |
| FR3048800B1 (fr) * | 2016-03-11 | 2018-04-06 | Bertin Technologies | Procede de traitement d'images |
| JP7027331B2 (ja) | 2016-04-14 | 2022-03-01 | ライトラボ・イメージング・インコーポレーテッド | 血管の分枝の識別 |
| ES2854729T3 (es) | 2016-05-16 | 2021-09-22 | Lightlab Imaging Inc | Método y sistema para la detección de endoprótesis autoexpansible, o stent, intravascular absorbible |
| US11132611B2 (en) | 2016-05-27 | 2021-09-28 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method for determining presence probability of object |
| US11222438B2 (en) * | 2016-05-27 | 2022-01-11 | Kabushiki Kaisha Toshiba | Information processing apparatus, vehicle, and information processing method for presence probability of object |
| US10198654B2 (en) * | 2016-06-24 | 2019-02-05 | Ebay Inc. | Automated saliency map estimation |
| US9785819B1 (en) | 2016-06-30 | 2017-10-10 | Synaptics Incorporated | Systems and methods for biometric image alignment |
| US10151962B2 (en) * | 2016-09-29 | 2018-12-11 | Mitutoyo Corporation | Variable focal length lens system with focus monitoring and control |
| US10275855B2 (en) | 2017-01-11 | 2019-04-30 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
| US10339631B2 (en) | 2017-01-11 | 2019-07-02 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| EP3706874A4 (en) | 2017-12-06 | 2021-12-29 | Ectoscan Systems, LLC | Performance scanning system and method for improving athletic performance |
| US10846924B2 (en) | 2018-04-04 | 2020-11-24 | Flir Detection, Inc. | Threat source mapping systems and methods |
| CN108717689B (zh) * | 2018-05-16 | 2021-03-16 | 北京理工大学 | 海天背景下舰船检测的中长波红外图像融合方法及装置 |
| GB201818647D0 (en) * | 2018-11-15 | 2019-01-02 | Spectral Edge Ltd | Image enhancement system and method |
| CN110428389B (zh) * | 2018-12-26 | 2023-03-24 | 西安电子科技大学 | 基于msr理论和曝光融合的微光图像增强方法 |
| US20200342623A1 (en) * | 2019-04-23 | 2020-10-29 | Apple Inc. | Systems and methods for resolving hidden features in a field of view |
| MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
| DE112020004813B4 (de) | 2019-10-07 | 2023-02-09 | Boston Polarimetrics, Inc. | System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation |
| KR20210059457A (ko) * | 2019-11-15 | 2021-05-25 | 엘지전자 주식회사 | 이동 단말기 |
| US11270448B2 (en) | 2019-11-26 | 2022-03-08 | Microsoft Technology Licensing, Llc | Using machine learning to selectively overlay image content |
| US11321939B2 (en) * | 2019-11-26 | 2022-05-03 | Microsoft Technology Licensing, Llc | Using machine learning to transform image styles |
| CN114787648B (zh) | 2019-11-30 | 2023-11-10 | 波士顿偏振测定公司 | 用于使用偏振提示进行透明对象分段的系统和方法 |
| US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
| JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
| CN111462028B (zh) * | 2020-03-16 | 2023-06-27 | 中国地质大学（武汉） | 基于相位一致性和目标增强的红外和可见光图像融合方法 |
| CN111401477B (zh) * | 2020-04-17 | 2023-11-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| KR20220018748A (ko) * | 2020-08-07 | 2022-02-15 | 삼성전자주식회사 | 안개 제거를 위한 영상 처리 방법 및 장치 |
| US20220335578A1 (en) * | 2021-04-14 | 2022-10-20 | Microsoft Technology Licensing, Llc | Colorization To Show Contribution of Different Camera Modalities |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| CN113607684A (zh) * | 2021-08-18 | 2021-11-05 | 燕山大学 | 基于gaf图像和四元数卷积的光谱定性建模方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8317407D0 (en) * | 1983-06-27 | 1983-07-27 | Rca Corp | Image transform techniques |
| JPS6076881A (ja) * | 1983-10-03 | 1985-05-01 | Sharp Corp | ス−パ−インポ−ズ装置 |
| GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| US4849746A (en) * | 1986-04-07 | 1989-07-18 | Dubner Computer Systems, Inc. | Digital video generator |
| US5140416A (en) * | 1990-09-18 | 1992-08-18 | Texas Instruments Incorporated | System and method for fusing video imagery from multiple sources in real time |
| US5210799A (en) * | 1991-03-28 | 1993-05-11 | Texas Instruments Incorporated | System and method for ranking and extracting salient contours for target recognition |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
-
1992
- 1992-05-15 US US07/884,098 patent/US5325449A/en not_active Expired - Lifetime
-
1993
- 1993-05-12 JP JP50272794A patent/JP3328934B2/ja not_active Expired - Lifetime
- 1993-05-12 EP EP93911126A patent/EP0640232B1/en not_active Expired - Lifetime
- 1993-05-12 DE DE69333846T patent/DE69333846T2/de not_active Expired - Fee Related
- 1993-05-12 WO PCT/US1993/004315 patent/WO1993023823A1/en active IP Right Grant
- 1993-05-12 US US08/059,610 patent/US5488674A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5488674A (en) | 1996-01-30 |
| DE69333846D1 (de) | 2005-09-01 |
| US5325449A (en) | 1994-06-28 |
| DE69333846T2 (de) | 2006-05-24 |
| WO1993023823A1 (en) | 1993-11-25 |
| EP0640232A1 (en) | 1995-03-01 |
| EP0640232A4 (en) | 1995-01-05 |
| EP0640232B1 (en) | 2005-07-27 |
| JPH07508111A (ja) | 1995-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3328934B2 (ja) | 像を融合する方法およびその装置 | |
| Rockinger | Image sequence fusion using a shift-invariant wavelet transform | |
| US6181376B1 (en) | Method of determining missing color values for pixels in a color filter array | |
| US6151420A (en) | Minimizing blocking artifacts in a filtered image | |
| EP0731600A2 (en) | System for creating a high resolution image from a sequence of lower resolution motion images | |
| EP1313312A2 (en) | Method of edge based interpolation | |
| Nagabhushana | Computer vision and image processing | |
| DE69909635T2 (de) | Gerät und verfahren zur elektronischen bildverbesserung | |
| JPH0884321A (ja) | ビデオデータ処理方法 | |
| CA2285925A1 (en) | Method and apparatus for assessing the visibility of differences between two signal sequences | |
| JPH10243407A (ja) | 画像信号処理装置及び画像入力処理装置 | |
| US20080159649A1 (en) | Directional fir filtering for image artifacts reduction | |
| TW201446009A (zh) | 利用全彩影像之雜訊減低彩色影像 | |
| US20040264799A1 (en) | Method of processing an image to form an image pyramid | |
| CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和系统 | |
| US7679676B2 (en) | Spatial signal conversion | |
| Martinez et al. | Spatial interpolation of interlaced television pictures | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP3731741B2 (ja) | カラー動画像処理方法および処理装置 | |
| JP2007151094A (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
| Biemond et al. | Image and video processing | |
| CN106651815B (zh) | 用于处理Bayer格式视频图像的方法及装置 | |
| Lamb et al. | Image Quality Assessment Database for Demosaicing Artifacts | |
| JP4450516B2 (ja) | ２つの信号配列間の視程差を評価するための方法及び装置 | |
| Krupinski et al. | MTF correction for optimizing softcopy display of digital mammograms: use of a vision model for predicting observer performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |