JP6020471B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP6020471B2 JP6020471B2 JP2013553216A JP2013553216A JP6020471B2 JP 6020471 B2 JP6020471 B2 JP 6020471B2 JP 2013553216 A JP2013553216 A JP 2013553216A JP 2013553216 A JP2013553216 A JP 2013553216A JP 6020471 B2 JP6020471 B2 JP 6020471B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- density value
- density
- histogram
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 114
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 212
- 230000001186 cumulative effect Effects 0.000 claims description 113
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 description 134
- 230000006870 function Effects 0.000 description 81
- 230000008569 process Effects 0.000 description 81
- 238000012937 correction Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 28
- 238000013500 data storage Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 108091006503 SLC26A1 Proteins 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
Description
例えば、特開2010−16803号公報(特許文献1)に開示される色調整装置は、2台のカメラAおよびBのうち一方のカメラAによるRGB色空間で表される撮影画像を基準画像Saとし、他方のカメラBによるRGB色空間で表される撮影画像を調整対象画像Sbとする。調整対象画像Sbは、色調整装置内の色調整部によって、色空間変換を施され、この色空間変換後のそれぞれの成分ごとに、基準画像Saの同成分Ha(k)を基準として、累積ヒストグラムマッチング処理を施される。そして、この累積ヒストグラムマッチング処理後に、元のRGB空間に戻され、これによって、基準画像Saと同じ色合いの調整後画像Sb’が生成される。
好ましくは、決定ステップは、第1画像に含まれるすべての濃度値と第2画像に含まれる対応する濃度値との間の距離の総和が最小となるように、濃度値についての対応関係を決定するステップを含む。
本発明の別の一つの局面に従う画像処理方法は、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。算出ステップは、距離の算出にあたり、空間におけるヒストグラム度数に対応する軸方向の距離に応じた重みを設定するステップを含む。
本発明のさらに別の一つの局面に従う画像処理方法は、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。算出ステップは、距離の算出にあたり、空間における濃度値に対応する軸方向の距離に応じた重みを設定するステップを含む。
好ましくは、算出ステップは、第1ヒストグラムおよび第2ヒストグラムの少なくとも一方を空間において平行移動した上で、距離を算出するステップを含む。
好ましくは、算出ステップは、対象とする濃度値の範囲を限定した上で、距離を算出するステップを含む。
好ましくは、算出ステップは、第1ヒストグラムおよび第2ヒストグラムのうち、限定した濃度値の範囲のヒストグラムを拡張した上で、距離を算出するステップを含む。
本発明のさらに別の一つの局面に従う画像処理方法は、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。決定ステップは、変換関数において所定の制限範囲を超える変化が存在している場合に、当該変換関数を変更するステップを含む。
本発明のさらに別の一つの局面に従う画像処理方法は、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを含む。決定ステップは、第1ヒストグラムおよび第2ヒストグラムの少なくとも一方において色飽和の発生が検知された場合に、当該変換関数を変更するステップを含む。
好ましくは、第1画像および第2画像に含まれる画素の各々は、複数のチャネルの濃度値で定義されており、算出ステップは、チャネルごとに濃度値間の距離を算出するステップを含む。
好ましくは、生成ステップは、第1画像および第2画像のそれぞれに設定される部分領域から累積ヒストグラムを生成するステップを含む。
好ましくは、第1画像の部分領域と第2画像の部分領域は、両者の一致度に基づいて設定される。
好ましくは、第1画像の部分領域と第2画像の部分領域は、オクルージョン領域を除外するように設定される。
本発明のさらに別の一つの局面に従う画像処理装置は、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成手段と、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出手段と、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定手段とを含む。決定手段は、第1画像に含まれる第1濃度値が第2画像に含まれる第2濃度値に対応している場合に、第1画像に含まれる第1濃度値より大きな第3濃度値についての対応関係を、第2画像に含まれる第2濃度値以上の濃度値を探索対象として決定する。
本発明のさらに別の一つの局面に従う画像処理プログラムは、コンピューターに、少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、第1画像から生成された第1ヒストグラム上の濃度値と第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、算出した濃度値間の距離に基づいて、第1画像に含まれる濃度値と第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から第1画像と第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを実行させる。決定ステップは、第1画像に含まれる第1濃度値が第2画像に含まれる第2濃度値に対応している場合に、第1画像に含まれる第1濃度値より大きな第3濃度値についての対応関係を、第2画像に含まれる第2濃度値以上の濃度値を探索対象として決定するステップを含む。
本発明の実施の形態は、少なくとも第1画像と第2画像との間で濃度値を補正するための変換関数を決定する画像処理方法に向けられている。これらの画像は、同一の被写体を撮像した画像を意味し、3つ以上の画像であってもよい。このような複数の画像は、典型的には、複数の撮像装置(カメラ)を用いて同一の被写体を異なる視点から撮像することで得られる。より具体的には、所定距離だけ離して配置された複数のカメラ(典型的には、ステレオカメラ)によって同一の被写体を撮像することでそれぞれの画像が得られる。
<B.システム構成>
まず、本発明の実施の形態に従う変換関数生成処理を実現する画像処理装置の実装例について説明する。
図2は、本発明の実施の形態に従う変換関数生成処理をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
図3は、本発明の実施の形態に従う変換関数生成処理をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも1つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末(パーソナルコンピューターやスマートフォンなど)を用いて、少なくとも2つの処理対象画像をサーバー装置(クラウド側)へ送信し、当該送信された処理対象画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能(処理)を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。
まず、本実施の形態に従う変換関数生成処理を説明する前に、関連技術について説明する。
まず、本実施の形態に従う画像処理方法の全体手順について説明する。
次に、本実施の形態に従う画像処理装置および/または画像処理プログラムの機能構成について説明する。
まず、実施の形態1として、濃度値についての累積ヒストグラムと、DP(Dynamic Programming:動的計画法)マッチング方法とを用いて、変換関数(濃度値変換テーブル22)を決定する方法について説明する。
次に、実施の形態2として、空間において画像の濃度値間の距離を算出する際に、重みを用いる構成について説明する。なお、実施の形態2は、距離算出部18(図10)における距離の算出方法が実施の形態1と異なっているのみであり、その他の処理および構成については、実施の形態1と同様であるので、共通部分についての詳細な説明は繰り返さない。
(f1:それぞれの軸方向に付与される重み)
まず、上述の(1)式において定義される距離dist(m,n)において、それぞれの軸成分に重みwhおよびwcをそれぞれ設定することを考える。この場合、上述の(1)式は、(3)式のように変形できる。
次に、注目している濃度値のヒストグラム度数に基づいて、重みを変化させる処理について説明する。上述の図13に示すように、ヒストグラム度数の大きさに応じて、濃度値間の対応関係を探索すべき方向は変化することになる。そこで、探索対象の濃度値におけるヒストグラム度数に応じて、重み係数を変化させることで、適切な探索方向を動的に設定することができる。
次に、注目している濃度値に基づいて、重みを変化させる処理について説明する。空間における濃度値間の距離が相対的に小さくとも、濃度値の変換処理において変換前後の濃度値の差が大きいと、画像の品質上の問題が生じ得る。そのため、ヒストグラム度数の軸方向を重点的に探索を行なうことが好ましい。そこで、注目している濃度値に応じて、重み係数を変化させることで、適切な探索方向を動的に設定することができる。
次に、ヒストグラム度数および濃度値に基づいて、重みを変化させる処理について説明する。より具体的には、注目している濃度値についての、ヒストグラム度数およびその濃度値の大きさに基づいて、当該注目している濃度値にける累積ヒストグラムの傾きを算出し、当該算出した傾きに基づいて重みを決定する。このような累積ヒストグラムの傾きを用いることで、累積ヒストグラムの傾きが急峻な範囲では、濃度値の軸方向に探索を行ない、累積ヒストグラムの傾きが緩やかな範囲では、ヒストグラム度数の軸方向に探索を行なうことになる。このような方法で重み係数を変化させることで、適切な探索方向を動的に設定することができる。
次に、実施の形態3として、濃度値の間の対応関係を探索する場合に、空間においてヒストグラム同士が交差している場合には、対応関係を誤って決定する可能性がある。そこで、このようなヒストグラムの交差の発生による、対応関係を誤って決定することを防止できる構成について説明する。なお、実施の形態3は、決定処理部16および距離算出部18(図10)における距離の算出方法が実施の形態1と異なっているのみであり、その他の処理および構成については、実施の形態1と同様であるので、共通部分についての詳細な説明は繰り返さない。
シンプルな方法として、2つの累積ヒストグラムについての、同一の濃度値に対応するヒストグラム度数の差に基づいて、ヒストグラムの交差の有無を判断することができる。すなわち、濃度値nにおける累積ヒストグラム度数の差を順次算出するとともに、すべての濃度値のうち、最も小さくなる累積ヒストグラム度数の差の最小値Hdistminを算出する。すなわち、以下の(8)式に沿って、最小値Hdistminを算出できる。
上述の方法では、各チャネルにおいてヒストグラムの交差が発生しないように移動量を決定するものであるが、画像に含まれる各画素が複数のチャネルの濃度値で定義されている場合には、チャネル間におけるヒストグラムの移動量などを平均化することが好ましい。以下、このような方法によって、各チャネルにおけるヒストグラムの移動量を決定する方法について説明する。
次に、実施の形態4として、濃度値の間の対応関係を探索する場合に、画像に含まれるすべての濃度値のうち、一部の有効な濃度値のみを対象とすることで、対応関係の探索処理に要する時間および計算コストを低減できる。そこで、本実施の形態においては、対象とする濃度値の範囲を限定した上で、距離を算出する構成について説明する。なお、実施の形態4は、決定処理部16(図10)における対応関係の探索処理、および、距離算出部18(図10)における距離の算出方法が実施の形態1と異なっているのみであり、その他の処理および構成については、実施の形態1と同様であるので、共通部分についての詳細な説明は繰り返さない。
次に、濃度値についての単純ヒストグラムと、最小二乗法とを用いて、変換関数(濃度値変換テーブル22)を決定する参考例について説明する。
上述の実施の形態1〜4に示す方法によって、変換関数(濃度値変換テーブル)を生成することができる。しかしながら、入力画像に含まれる濃度値のヒストグラム形状によっては、常に正しい濃度値についての対応関係が得られるとは限らない。そこで、実施の形態5として、生成された変換関数(濃度値変換テーブル)を事後的に補正する処理について説明する。
(1)濃度値変換テーブルの傾きの平均値
(19)式に示すように、補正基準値corrthとして、濃度値変換テーブルの傾きの平均値を採用してもよい。すなわち、(19)式は、濃度値変換テーブルの両端についての傾きを算出し、この傾きを用いて補正基準値corrthを決定する。
(20)式に示すように、補正基準値corrthとして、現在の濃度値近傍における濃度値変換テーブルの傾きを採用してもよい。すなわち、(20)式は、注目している濃度値mの近傍における濃度値変換テーブルの傾きを算出し、この傾きを用いて補正基準値corrthを決定する。
(21)式に示すように、補正基準値corrthとして、中心の濃度値からの濃度値変換テーブルの傾きを採用してもよい。すなわち、(21)式は、濃度値変換テーブルの中心と端との間の傾きを算出し、この傾きを用いて補正基準値corrthを決定する。
(1)濃度値変換テーブルの傾きの平均値
(22)式または(23)式に示すように、補正値corrreplとして、濃度値変換テーブルの傾きの平均値を採用してもよい。すなわち、(22)式および(23)式は、濃度値変換テーブルの両端についての傾きを算出し、この傾きを用いて補正値corrreplを決定する。
(24)式に示すように、補正値corrreplとして、現在の濃度値近傍における濃度値変換テーブルの傾きを採用してもよい。すなわち、(24)式は、注目している濃度値mの近傍における濃度値変換テーブルの傾きを算出し、この傾きを用いて補正値corrreplを決定する。
(25)式に示すように、補正値corrreplとして、中心の濃度値からの濃度値変換テーブルの傾きを採用してもよい。すなわち、(25)式は、濃度値変換テーブルの中心と端との間の傾きを算出し、この傾きを用いて補正値corrreplを決定する。
入力された画像1と画像2との間でダイナミックレンジが異なる場合には、その補正が必要になる。そこで、実施の形態6として、色飽和などが生じた場合に、変換関数(濃度値変換テーブル)を事後的に補正する処理について説明する。
上述の実施の形態1〜6に示す方法では、主として、入力された画像の全体を用いて変換関数(濃度値変換テーブル)を生成する場合を想定しているが、異なる視点から撮像して得られる画像間では、被写体の画像が全く同一ではない。そのため、画像間に生じる視差量によっては、入力された画像にそれぞれ設定される部分領域を用いて、変換関数(濃度値変換テーブル)を生成することが好ましい場合もある。そこで、実施の形態7として、複数の画像にそれぞれ設定される部分領域から生成される累積ヒストグラムを用いて、変換関数(濃度値変換テーブル)を生成する処理について説明する。すなわち、画像1と画像2との間で共通領域を特定した上で、画像間の濃度値補正(色補正)する。
パターンマッチングを用いて共通領域を探索および設定する処理としては、画像1および画像2にそれぞれ部分領域を順次設定していき、それぞれ設定された部分領域の間で一致度(類似度)を評価する。そして、一致度が最大になる部分領域が共通領域として設定される。すなわち、パターンマッチングにより、画素が最も適合する位置を探索する。上述したように、共通領域とは、同一の被写体の共通する部分が写っている範囲に相当し、原理的には、画像1に設定された共通領域に対応する部分領域と、画像2に設定された共通領域に対応する部分領域との間は、ほぼ一致することになる。
上述のパターンマッチングに代えて、光学的な補正を行なう、ステレオキャリブレーションを採用してもよい。具体的には、例えば、ステレオカメラを用いて画像1および画像2を取得する場合には、画像1および画像2における歪みの補正や平行化などの処理を行なった上で、ピンホールカメラモデルなどを用いたカメラキャリブレーションを行ない、共通領域を設定してもよい。
ステレオカメラを用いて異なる視点から被写体を撮像した場合には、画像間に視差が存在するため、オクルージョンにより、画像間に対応する画像部分が存在しない領域が存在し得る。この場合には、パターンマッチングなどの対応点探索を用いて、オクルージョン領域を特定し、当該特定したオクルージョン領域を除外した上で、濃度値変換テーブルなどの作成を行なうことが好ましい。
本実施の形態によれば、複数の画像間で被写体の画像が異なっている場合であっても、濃度値を補正するための変換関数をより適切に生成できる。
本発明の実施の形態としては、以下のような態様を含む。
さらに好ましくは、距離算出ステップでは、ヒストグラム度数に基づいて重みを設定する。
好ましくは、対応関係決定ステップでは、距離算出を行なう濃度値の範囲を限定して対応を決定する。
好ましくは、ヒストグラム生成ステップでは、画像の部分領域からヒストグラムを生成する。
Claims (15)
- 少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備え、
前記決定ステップは、前記第1画像に含まれる第1濃度値が前記第2画像に含まれる第2濃度値に対応している場合に、前記第1画像に含まれる前記第1濃度値より大きな第3濃度値についての対応関係を、前記第2画像に含まれる前記第2濃度値以上の濃度値を探索対象として決定するステップを含む、画像処理方法。 - 前記決定ステップは、前記第1画像に含まれるすべての濃度値と前記第2画像に含まれる対応する濃度値との間の距離の総和が最小となるように、濃度値についての対応関係を決定するステップを含む、請求項1に記載の画像処理方法。
- 少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備え、
前記算出ステップは、前記距離の算出にあたり、前記空間におけるヒストグラム度数に対応する軸方向の距離に応じた重みを設定するステップを含む、画像処理方法。 - 少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備え、
前記算出ステップは、前記距離の算出にあたり、前記空間における濃度値に対応する軸方向の距離に応じた重みを設定するステップを含む、画像処理方法。 - 前記算出ステップは、前記第1ヒストグラムおよび前記第2ヒストグラムの少なくとも一方を前記空間において平行移動した上で、前記距離を算出するステップを含む、請求項1〜4のいずれか1項に記載の画像処理方法。
- 前記算出ステップは、対象とする濃度値の範囲を限定した上で、前記距離を算出するステップを含む、請求項1〜5のいずれか1項に記載の画像処理方法。
- 前記算出ステップは、前記第1ヒストグラムおよび前記第2ヒストグラムのうち、限定した濃度値の範囲のヒストグラムを拡張した上で、前記距離を算出するステップを含む、請求項6に記載の画像処理方法。
- 少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備え、
前記決定ステップは、前記変換関数において所定の制限範囲を超える変化が存在している場合に、当該変換関数を変更するステップを含む、画像処理方法。 - 少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを備え、
前記決定ステップは、前記第1ヒストグラムおよび前記第2ヒストグラムの少なくとも一方において色飽和の発生が検知された場合に、当該変換関数を変更するステップを含む、画像処理方法。 - 前記第1画像および前記第2画像に含まれる画素の各々は、複数のチャネルの濃度値で定義されており、
前記算出ステップは、チャネルごとに濃度値間の距離を算出するステップを含む、請求項1〜9のいずれか1項に記載の画像処理方法。 - 前記生成ステップは、前記第1画像および前記第2画像のそれぞれに設定される部分領域から累積ヒストグラムを生成するステップを含む、請求項1〜10のいずれか1項に記載の画像処理方法。
- 前記第1画像の部分領域と前記第2画像の部分領域は、両者の一致度に基づいて設定される、請求項11に記載の画像処理方法。
- 前記第1画像の部分領域と前記第2画像の部分領域は、オクルージョン領域を除外するように設定される、請求項11に記載の画像処理方法。
- 画像処理装置であって、
少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成手段と、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出手段と、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定手段とを備え、
前記決定手段は、前記第1画像に含まれる第1濃度値が前記第2画像に含まれる第2濃度値に対応している場合に、前記第1画像に含まれる前記第1濃度値より大きな第3濃度値についての対応関係を、前記第2画像に含まれる前記第2濃度値以上の濃度値を探索対象として決定する、画像処理装置。 - 画像処理プログラムであって、コンピューターに、
少なくとも第1画像および第2画像に含まれる画素の濃度値についての累積ヒストグラムをそれぞれ生成する生成ステップと、
累積ヒストグラムのヒストグラム度数および濃度値を含んで定義される空間において、前記第1画像から生成された第1ヒストグラム上の濃度値と前記第2画像から生成された第2ヒストグラム上の濃度値との間の距離を算出する算出ステップと、
算出した濃度値間の距離に基づいて、前記第1画像に含まれる濃度値と前記第2画像に含まれる濃度値との対応関係を決定するとともに、決定した対応関係から前記第1画像と前記第2画像との間で濃度値を補正するための変換関数を決定する決定ステップとを実行させ、
前記決定ステップは、前記第1画像に含まれる第1濃度値が前記第2画像に含まれる第2濃度値に対応している場合に、前記第1画像に含まれる前記第1濃度値より大きな第3濃度値についての対応関係を、前記第2画像に含まれる前記第2濃度値以上の濃度値を探索対象として決定するステップを含む、画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002417 | 2012-01-10 | ||
JP2012002417 | 2012-01-10 | ||
PCT/JP2012/082016 WO2013105381A1 (ja) | 2012-01-10 | 2012-12-11 | 画像処理方法、画像処理装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013105381A1 JPWO2013105381A1 (ja) | 2015-05-11 |
JP6020471B2 true JP6020471B2 (ja) | 2016-11-02 |
Family
ID=48781341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013553216A Expired - Fee Related JP6020471B2 (ja) | 2012-01-10 | 2012-12-11 | 画像処理方法、画像処理装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9542733B2 (ja) |
EP (1) | EP2804369A4 (ja) |
JP (1) | JP6020471B2 (ja) |
WO (1) | WO2013105381A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015158728A (ja) * | 2014-02-21 | 2015-09-03 | 東芝テック株式会社 | 情報閲覧装置、及び、情報閲覧プログラム |
TWI552600B (zh) * | 2014-12-25 | 2016-10-01 | 晶睿通訊股份有限公司 | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 |
JP2016189946A (ja) * | 2015-03-31 | 2016-11-10 | 富士フイルム株式会社 | 医用画像位置合わせ装置および方法並びにプログラム |
EP3493538B1 (en) * | 2016-07-27 | 2023-05-03 | Toppan Printing Co., Ltd. | Color calibration device, color calibration system, color calibration hologram, color calibration method, and program |
JP6740177B2 (ja) * | 2017-06-14 | 2020-08-12 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6982419B2 (ja) * | 2017-06-30 | 2021-12-17 | 三菱スペース・ソフトウエア株式会社 | 画像比較装置、画像比較プログラムおよび画像比較方法 |
US10579880B2 (en) * | 2017-08-31 | 2020-03-03 | Konica Minolta Laboratory U.S.A., Inc. | Real-time object re-identification in a multi-camera system using edge computing |
US20190281215A1 (en) * | 2018-03-06 | 2019-09-12 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Method for High-Quality Panorama Generation with Color, Luminance, and Sharpness Balancing |
CN109314773A (zh) * | 2018-03-06 | 2019-02-05 | 香港应用科技研究院有限公司 | 具有颜色、亮度和清晰度平衡的高品质全景图的生成方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004343483A (ja) * | 2003-05-16 | 2004-12-02 | Acutelogic Corp | 手振れ補正装置および方法、手振れ検出装置 |
US7328111B2 (en) * | 2003-11-07 | 2008-02-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarities between data sequences using cross-correlation matrices and deformation functions |
KR100770019B1 (ko) | 2004-12-06 | 2007-10-25 | 한국전자통신연구원 | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 |
US7986351B2 (en) | 2005-01-27 | 2011-07-26 | Qualcomm Incorporated | Luma adaptation for digital image processing |
DE602006019481D1 (de) * | 2005-11-29 | 2011-02-17 | Nec Corp | Mustererkennungsvorrichtung, mustererkennungsverfahren und mustererkennungsprogramm |
US7796812B2 (en) * | 2006-10-17 | 2010-09-14 | Greenparrotpictures, Limited | Method for matching color in images |
JP4864835B2 (ja) | 2007-08-21 | 2012-02-01 | Kddi株式会社 | 色補正装置、方法及びプログラム |
JP5367455B2 (ja) | 2008-06-04 | 2013-12-11 | Toa株式会社 | 複数のカラーカメラ間の色調整装置および方法 |
JP5336325B2 (ja) | 2009-10-30 | 2013-11-06 | 大日本スクリーン製造株式会社 | 画像処理方法 |
EP2320378A1 (en) * | 2009-11-06 | 2011-05-11 | Nxp B.V. | Colour image enhancement |
-
2012
- 2012-12-11 EP EP12864866.4A patent/EP2804369A4/en not_active Withdrawn
- 2012-12-11 WO PCT/JP2012/082016 patent/WO2013105381A1/ja active Application Filing
- 2012-12-11 JP JP2013553216A patent/JP6020471B2/ja not_active Expired - Fee Related
- 2012-12-11 US US14/370,944 patent/US9542733B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2013105381A1 (ja) | 2015-05-11 |
WO2013105381A1 (ja) | 2013-07-18 |
US9542733B2 (en) | 2017-01-10 |
EP2804369A4 (en) | 2016-03-09 |
EP2804369A1 (en) | 2014-11-19 |
US20150043817A1 (en) | 2015-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6020471B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
US9251589B2 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
US20160307324A1 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
WO2015146230A1 (ja) | 映像表示装置および映像表示システム | |
US20120001902A1 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6452360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
WO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
WO2014030630A1 (ja) | 視差マップを生成する装置及びその方法 | |
JP5747797B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101875532B1 (ko) | 계층적 스테레오 매칭 장치 및 방법 | |
EP3189493A1 (en) | Depth map based perspective correction in digital photos | |
KR101281003B1 (ko) | 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 | |
JP6579764B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2010154323A (ja) | 画像処理装置、画像抽出方法、および、プログラム | |
KR101804157B1 (ko) | 개선된 sgm 기반한 시차 맵 생성 방법 | |
CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
JP5751117B2 (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP6234200B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2016062447A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP6097597B2 (ja) | 画像処理装置及びその制御方法 | |
JP2014142781A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6020471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |