JP4774857B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP4774857B2 JP4774857B2 JP2005233121A JP2005233121A JP4774857B2 JP 4774857 B2 JP4774857 B2 JP 4774857B2 JP 2005233121 A JP2005233121 A JP 2005233121A JP 2005233121 A JP2005233121 A JP 2005233121A JP 4774857 B2 JP4774857 B2 JP 4774857B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- images
- luminance change
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 85
- 230000008859 change Effects 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 44
- 238000005286 illumination Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 50
- 230000003287 optical effect Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
ここで、本来、合成される2つの画像(フレーム)において、対応する特定の画素どうしの輝度はほぼ等しくなるはずであるが、例えば、蛍光灯などの時間に応じて照度が変動する光源(照明)下にて撮像されると、フレームのサンプリング間隔にもよるが、対応する画素どうしの輝度が異なる場合がある。この場合に、式(1)をそのまま用いると、特徴点の勾配法による追跡の精度が低下してしまう虞があり、2つの画像の合成を適正に行うことができないといった問題がある。
grad(p)・v=−(∂f/∂t)p(p∈U) (1)
〔式(1)中、vはオプティカルフローであり、tは時間であり、fは画像(画素の位置(x、y)と時間tの関数として、f(x、y、t)と表される。)であり、pは画像中の所定の特徴点の画素であり、Uは特徴点の近傍の領域である。〕
複数の画像の画像情報に基づいて、2つの画像間の追跡を行う第一の画像追跡手段と、
前記第一の画像追跡手段の追跡結果に基づいて、前記2つの画像間の照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段と、
前記輝度変化情報を参照しながら前記2つの画像間の追跡をさらに行う第二の画像追跡手段と、
を備え、
前記第一の画像追跡手段による追跡方法は、前記第二の画像追跡手段による追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段(例えば、図2のオプティカルフロー検出部131等)を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴としている。
前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段(例えば、図2のオプティカルフロー検出部131等)を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴としている。
画像処理装置に、
複数の画像の画像情報に基づいて、2つの画像間の追跡を行う第一の画像追跡処理に係る機能と、
前記第一の画像追跡処理の追跡結果に基づいて、前記2つの画像間の照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報を参照しながら前記2つの画像間の追跡をさらに行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による追跡方法は、前記第二の画像追跡処理による追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴としている。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
ここで、図1は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置100の要部構成を示すブロック図である。また、図2は、撮像装置100の映像信号処理部13を模式的に示した図である。
即ち、CPUによるピラミッド階層構造化プログラム72aの実行に基づいて、映像信号処理部13のオプティカルフロー検出部131が、低解像度画像作成手段として、複数の画像信号に基づいて当該画像信号に係る画像の解像度を低減させた低解像度画像を作成するようになっている。
より具体的には、オプティカルフロー検出部131は、画像信号のピラミッド階層構造化処理により作成される最も解像度の低いレイヤGnの中で略中心近傍の所定の特徴点を特徴点包含領域Rに基づいて、グローバルマッチングにより画像の追跡を行うようになっている(図4(a)及び図4(b)参照)。即ち、グローバルマッチングは、合成される複数の画像におけるそれぞれの最も解像度の低いレイヤGnに対して、一の画像に係るレイヤの中心近傍の特徴点包含領域Rとほぼ等しくなる領域を他の画像に係るレイヤG全体の中で探索するものである。
具体的には、CPUによる第二の画像追跡プログラム72dの実行に基づいて、例えば、映像信号処理部13のオプティカルフロー検出部131が、特徴点抽出処理にて特徴点が抽出された一の画像と異なる他の画像における、第一の画像追跡処理にて画像が追跡(探索)された特徴点包含領域Rに相当する領域内にて、所定の特徴点の追跡を勾配法により行うようになっている。より具体的には、第二の画像追跡処理に係る勾配法にあっては、オプティカルフロー検出部131は、例えば、ピラミッド階層構造化された画像(レイヤ)G1〜Gnのうち、最も解像度が低いものGnの次に解像度が高いレイヤGn−1の画像から解像度が高い方に順次勾配法により特徴点の追跡を行うようになっている(図3参照)。
なお、勾配法による特徴点の追跡は、解像度が最も高い実際に合成される元の画像G1に対してまで行う必要はなく、ある段階のレイヤに対する特徴点の追跡により推定されたオプティカルフローを画像合成に用いるようにしても良い。
即ち、合成される複数の画像は、撮像環境によっては照明変動が生じることにより当該画像間において輝度が異なる照明変動による輝度変化が生じている場合があり、この場合には、式(2)を用いた特徴点の勾配法による画像の追跡の精度が低下してしまう虞がある。
grad(p)・v=−(∂f/∂t)p(p∈U) (2)
そこで、輝度変化値ktを画素の位置には関係しない時間の関数として、当該輝度変化値ktを用いて上記式(2)を下記式(3)のように変形することで、照明変動による輝度変化を考慮した勾配法により画像の追跡を行うことができることとなる。
grad(p)・v=−(∂f/∂t)p+kt(p∈U) (3)
以下に、輝度変化値ktの算出方法について具体的に説明する。
即ち、例えば、デジタルカメラにより撮像された連続画像の一枚目の指定領域内での位置(x、y)の輝度をY(x、y、0)=f(x、y、0)とすると、二枚目で対応する位置の輝度については、Y(x、y、1)=f(x、y、1)+ktとなり、kt=Y(x、y、1)−Y(x、y、0)と求めることができる。
そして、上記の演算処理は、指定領域内の一点についてだけでは信頼性に欠けるので、例えば、指定領域全体について行うと、輝度変化値ktは、下記式(4)のように指定領域間の輝度差の合計を指定領域の画素数Prで除算した値となる。
kt=Σ(|Yt−Yt−1|)/Pr (4)
具体的には、CPUによる輝度調整プログラム72fの実行に基づいて、例えば、映像信号処理部13のオプティカルフロー検出部131が、輝度変化情報算出処理にて算出された輝度変化値ktを式(3)に代入することで、第二の画像追跡処理にて輝度調整が行われた画像信号を用いて勾配法による追跡を行うことができるようになっている。
これらフォーカス駆動部21、ズーム駆動部22及びストロボ駆動部24は、例えば、撮影制御部15に接続され、撮影制御部15の制御下にて駆動するようになっている。
ここで、図5は、撮像装置100による画像追跡処理に係る動作の一例を示すフローチャートである。
続けて、映像信号処理部13は、CPUによる第一の画像追跡プログラム72cの実行に基づいて、ピラミッド階層構造化処理により作成された最も解像度の低いレイヤGnの中で所定の特徴点包含領域Rに対してグローバルマッチング(第一の画像追跡処理)を行う(ステップS4;図4(a)及び図4(b)参照))。
次に、映像信号処理部13は、CPUによる輝度調整プログラム72fの実行に基づいて、輝度変化情報算出処理にて算出された輝度変化値ktを上記式(3)に代入し、続けて、CPUによる第二の画像追跡プログラム72dの実行に基づいて、残りのレイヤG1〜Gn−1に対して上記式(3)を用いて勾配法により特徴点の追跡を行う(ステップS6)。具体的には、映像信号処理部13は、先ず、第一の画像追跡処理に用いられた最も解像度が低いものの次に解像度が高いレイヤGn−1に対して上記式(3)により特徴点の勾配法による追跡を行った後、当該追跡結果を参考にして、次に解像度が高いレイヤGn−2に対して特徴点の追跡を行うように、各レイヤG1〜Gn−1に対して順次勾配法により特徴点の追跡を行う。
その後、映像信号処理部13は、全ての特徴点について特徴点対応表を作成し、続けて、映像信号処理部13のRANSAC処理部132は、特徴点対応表からの特徴点のランダムな選択及びこれらの特徴点を用いた射影変換を繰り返し行った後、画像合成部133は、特徴点どうしが対応する画像どうしを合成する処理を行うようになっている。
従って、複数の画像間にて照明変動による輝度変化が生じた場合であっても画像の追跡を精度良く、且つ、より高速に行うことができる。
このように、デジタルカメラ等の撮像装置100に現実に適用することができる画像追跡方法を提供することができる。
さらに、特徴点包含領域Rに係る画像信号に基づいて輝度変化値ktを算出して、当該輝度変化値ktに基づいて複数の画像における特徴点包含領域Rの輝度を調整し、当該特徴点包含領域Rに基づいて特徴点の追跡を勾配法により行うことができる。つまり、第二段階の処理に係る勾配法による特徴点の追跡に必要な領域Rの輝度を調整することができることとなり、第二段階の処理による画像の追跡の精度をより高めることができるとともに、その処理速度をより高速化することができる。
例えば、特徴点包含領域Rに係る画像信号を用いて、複数の画像間における照明変動による輝度変化に係る輝度変化値ktを算出して、当該輝度変化値ktに基づいて、複数の画像の輝度を調整するようにしたが、これに限られるものではなく、特徴点近傍領域R内の特徴点の近傍の領域のみを用いて輝度変化値ktを算出しても良い。これにより、輝度調整に係る処理の高速化を図り、結果として、画像の追跡処理の速度をより高速化することができる。
また、第一段階の画像追跡処理は、グローバルマッチングに限られるものではなく、第二段階の画像追跡処理よりも複数の画像間における照明変動による輝度変化の影響を受け難い方法であれば如何なる方法であっても良く、また、第二段階の画像追跡処理は、勾配法に限られるものではない。
1 撮像部
12 電子撮像部
13 映像信号処理部
131 オプティカルフロー検出部(第一の画像追跡手段、輝度変化情報算出手段、輝度調整手段、第二の画像追跡手段、低解像度画像作成手段、特徴点抽出手段)
132 RANSAC処理部
133 画像合成部
15 撮影制御部
7 制御部
71 制御回路
72 プログラムメモリ
R 特徴点包含領域
Claims (5)
- 複数の画像の画像情報に基づいて、2つの画像間の追跡を行う第一の画像追跡手段と、
前記第一の画像追跡手段の追跡結果に基づいて、前記2つの画像間の照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出手段と、
前記輝度変化情報を参照しながら前記2つの画像間の追跡をさらに行う第二の画像追跡手段と、
を備え、
前記第一の画像追跡手段による追跡方法は、前記第二の画像追跡手段による追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とする画像処理装置。 - 前記第一の画像追跡手段は、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記複数の画像情報に基づいて、当該画像情報に係る画像の解像度を低減させた低解像度画像を作成する低解像度画像作成手段を備え、
前記第一の画像追跡手段は、前記低解像度画像作成手段により作成された前記低解像度画像に基づいて、グローバルマッチングにより前記画像の追跡を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記複数の画像のうち、少なくとも何れか一の画像の特徴点を抽出する特徴点抽出手段を備え、
前記第一の画像追跡手段は、前記低解像度画像においての前記特徴点抽出手段により抽出された前記特徴点を含む特徴点包含領域に基づいてグローバルマッチングを行い、
前記輝度変化情報算出手段は、前記第一の画像追跡手段により追跡された前記特徴点包含領域に係る画像情報に基づいて、前記輝度変化情報を算出し、
前記輝度調整手段は、前記輝度変化情報算出手段により算出された前記輝度変化情報に基づいて、前記複数の画像における前記特徴点包含領域の輝度を調整し、
前記第二の画像追跡手段は、前記複数の画像のうち、前記一の画像と異なる他の画像に係り、前記輝度調整手段により輝度が調整された前記特徴点包含領域に基づいて、前記特徴点を勾配法により追跡することを特徴とする請求項3に記載の画像処理装置。 - 画像処理装置に、
複数の画像の画像情報に基づいて、2つの画像間の追跡を行う第一の画像追跡処理に係る機能と、
前記第一の画像追跡処理の追跡結果に基づいて、前記2つの画像間の照明変動による輝度変化に係る輝度変化情報を算出する輝度変化情報算出処理に係る機能と、
前記輝度変化情報を参照しながら前記2つの画像間の追跡をさらに行う第二の画像追跡処理に係る機能と、
を実現させるためのプログラムであって、
前記第一の画像追跡処理による追跡方法は、前記第二の画像追跡処理による追跡方法よりも前記照明変動による輝度変化の影響を受け難い方法であることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005233121A JP4774857B2 (ja) | 2005-08-11 | 2005-08-11 | 画像処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005233121A JP4774857B2 (ja) | 2005-08-11 | 2005-08-11 | 画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007048122A JP2007048122A (ja) | 2007-02-22 |
JP4774857B2 true JP4774857B2 (ja) | 2011-09-14 |
Family
ID=37850886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005233121A Expired - Fee Related JP4774857B2 (ja) | 2005-08-11 | 2005-08-11 | 画像処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4774857B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5860298B2 (ja) * | 2012-02-07 | 2016-02-16 | 日本放送協会 | 画像処理装置及びプログラム |
JP5413625B2 (ja) * | 2012-03-09 | 2014-02-12 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
US10268901B2 (en) * | 2015-12-04 | 2019-04-23 | Texas Instruments Incorporated | Quasi-parametric optical flow estimation |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3384764B2 (ja) * | 1999-02-05 | 2003-03-10 | 三洋電機株式会社 | 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004139219A (ja) * | 2002-10-16 | 2004-05-13 | Seiko Instruments Inc | 画像処理方法および画像処理装置 |
-
2005
- 2005-08-11 JP JP2005233121A patent/JP4774857B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007048122A (ja) | 2007-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4887275B2 (ja) | 撮像装置及びそのシャッタ駆動モード選択方法 | |
JP5347890B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4254969B2 (ja) | 撮像装置 | |
JP2007135056A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2008109336A (ja) | 画像処理装置および撮像装置 | |
JP2010062952A (ja) | 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP5156991B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2009213114A (ja) | 撮像装置及びプログラム | |
WO2016067529A1 (ja) | 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム | |
JP2007274504A (ja) | デジタルカメラ | |
JP4774857B2 (ja) | 画像処理装置及びプログラム | |
JP4952574B2 (ja) | 画像合成装置及びプログラム | |
JP4613710B2 (ja) | 画像処理装置及びプログラム | |
JP5413625B2 (ja) | 画像合成装置及びプログラム | |
JP4807194B2 (ja) | 画像処理装置及びプログラム | |
JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007011054A (ja) | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム | |
JP5392336B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2010273268A (ja) | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム | |
JP5910613B2 (ja) | 画像合成装置及びプログラム | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2010154390A (ja) | 撮像装置及び撮像方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101104 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4774857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |