JPWO2010098054A1 - 画像補正装置及び画像補正方法 - Google Patents

画像補正装置及び画像補正方法 Download PDF

Info

Publication number
JPWO2010098054A1
JPWO2010098054A1 JP2010533363A JP2010533363A JPWO2010098054A1 JP WO2010098054 A1 JPWO2010098054 A1 JP WO2010098054A1 JP 2010533363 A JP2010533363 A JP 2010533363A JP 2010533363 A JP2010533363 A JP 2010533363A JP WO2010098054 A1 JPWO2010098054 A1 JP WO2010098054A1
Authority
JP
Japan
Prior art keywords
region
point spread
psf
image
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010533363A
Other languages
English (en)
Other versions
JP5331816B2 (ja
Inventor
育規 石井
育規 石井
物部　祐亮
祐亮 物部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010533363A priority Critical patent/JP5331816B2/ja
Publication of JPWO2010098054A1 publication Critical patent/JPWO2010098054A1/ja
Application granted granted Critical
Publication of JP5331816B2 publication Critical patent/JP5331816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

複数の画像を用いることなく、複数のブレを含む入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する画像補正装置（１００）であって、入力画像を構成する画素の画素値に応じて、入力画像を複数の適応的領域に分割する適応的領域分割部（１１０）と、分割された複数の適応的領域ごとに算出される、画像のブレの特徴を示すＰＳＦを用いて、複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素のＰＳＦを補間するＰＳＦ補間部（１２０）と、補間後のＰＳＦを用いて入力画像を補正することにより、目的画像を生成する画像補正部（１３０）とを備える。

Description

本発明は、デジタルスチルカメラ、セキュリティカメラ等を用いて撮影された画像を補正する画像補正装置に関し、特に画像のブレを補正する画像補正装置に関する。
ユーザがカメラを用いて被写体を撮影した場合、撮影した画像にブレが生じるときがある。この画像に生じるブレは、大きく分けて、手ブレ（ｈａｎｄ ｓｈａｋｅ ｂｌｕｒ）及び被写体ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）の２種類に分類される。手ブレとは、シャッタを押すときなどにカメラが動いてしまうことに起因して生じる画像のブレである。また、被写体ブレとは、被写体が撮影中に動くことに起因して生じる画像のブレである。
このような手ブレ及び被写体ブレの特徴を示す関数として点広がり関数（以下、「ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」という。）がある。ＰＳＦとは、点像がブレあるいはピンぼけによりぼけたときの強度分布を表す関数である。図１４Ａ及び図１４Ｂは、ＰＳＦを説明するための図である。例えば、図１４Ａに示すように、ぼけのない画像１００１からピンぼけ画像１００２への劣化を表すＰＳＦは、画像１００３により表現される。また、図１４Ｂに示すように、ブレのない画像１００４からｘ方向へブレた画像１００５への劣化を表すＰＳＦは、画像１００６により表現される。
ところで、近年、手ブレを補正する技術（例えば、電子式手ブレ補正、光学式手ブレ補正など）が実用化されている。具体的には、光学式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて撮影時の手の動きを推定する。そして、推定した動きに応じてレンズ機構又は受光部センサを制御することにより、手ブレの補正を実現する。また、電子式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて、ＰＳＦを算出する。そして、算出したＰＳＦを用いて画像を補正することにより、手ブレの補正を実現している。手ブレの場合、ＰＳＦは、撮影時の手の動きに対応するため、画像全体でほぼ同一となる。
一方、被写体ブレの場合、ＰＳＦは、被写体の動きに対応するため、画像の領域ごとに異なることが多い。したがって、手ブレの補正と同じ方法により被写体ブレを補正することは難しい。
そこで、被写体ブレを補正する技術として、高速シャッタを用いて撮影された低解像度の画像列と、低速シャッタを用いて撮影された高解像度の画像とを用いる方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法では、ブレの少ない低解像度高速シャッタの画像列に含まれる複数の画像間において画素を対応付けることにより、被写体像の動きを推定する。そして、推定した被写体像の動きを用いて、ブレの大きい低速シャッタの画像を補正することにより、被写体ブレが補正された高解像度の画像を得る。
また、被写体ブレを補正する別の技術として、連続的に撮影された複数の画像を用いて補正する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、非特許文献１の方法と同様に、連続的に撮影された複数の画像に基づいて被写体の動き（軌跡）を求めることにより、対象画像のすべての画素位置における劣化特性を示す１つの劣化関数（例えば、ＰＳＦ）を求める。そして、このように算出した劣化関数を用いて、対象画像からブレのない画像を生成する。
特開２００１−１９７３５５号公報
Ｉｍａｇｅ／Ｖｉｄｅｏ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ ａ Ｈｙｂｒｉｄ Ｃａｍｅｒａ （Ｙｕ−Ｗｉｎｇ Ｔａｉ、Ｈａｏ Ｄｕ、Ｍ．Ｓ．Ｂｒｏｗｎ、Ｓ．Ｌｉｎ ＣＶＰＲ２００８）
しかしながら、非特許文献１に記載の方法は、高速シャッタを利用できない環境の場合、被写体ブレを補正できないという課題がある。例えば、低照度環境において、高速シャッタにより画像が撮影された場合、光量が不足するので暗い画像しか得られない。このような暗い画像を用いる場合、画像間における画素の対応付けの精度が低下する。また、低照度環境における光量不足を解消するために感度を上げた場合、暗電流ノイズ及び熱ノイズなどの撮像デバイスに起因するノイズ信号が増幅されるため、画像間における画素の対応付けの精度が低下する。このように非特許文献１に記載の方法では、被写体ブレが発生する機会の多い低照度環境において、画像間における画素の対応付けの精度が低下するため、被写体ブレを高精度に補正することができない。
また、特許文献１に記載の方法では、非特許文献１に記載の方法と同様に、連続的に撮影された複数の画像が必要となるため、低照度環境において、被写体ブレを高精度に補正することができない。また、特許文献１には、対象画像のすべての画素位置における劣化関数を、対象画像の複数の領域に基づいて算出される劣化関数に基づいて算出する旨の記載があるが、具体的方法については記載されていない。
そこで、本発明は、上記課題を鑑みてなされたものであり、複数のブレを含む入力画像を、入力画像よりもブレの少ない目的画像へ高精度に補正することができる画像補正装置を提供することを目的とする。
上記目的を達成するために、本発明に係る画像補正装置は、入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える。
この構成により、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の領域に適応的に分割することができる。その結果、ブレが共通する領域ごとに点広がり関数を用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、領域ごとに算出される点広がり関数を用いて代表画素間に位置する画素の点広がり関数を補間することができるので、分割された領域の境界において点広がり関数が不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。
また、前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
この構成により、ブレの共通性を点広がり関数の類似性に基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
また、前記適応的領域分割部は、前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、前記初期領域を保持領域として保持する領域保持部と、前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出することが好ましい。
この構成により、点広がり関数が類似する領域が１つの領域となるような適応的領域に入力画像を適応的に分割することができるので、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した適応的領域に分割することが可能となる。すなわち、被写体像ごとのブレ方向に合致した点広がり関数を用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、前記第１点広がり関数算出部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
この構成により、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
この構成により、ブレの共通性を単一のブレ方向であるか否かに基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
また、前記適応的領域分割部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
この構成により、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数の対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が直線で表現される場合、容易に点広がり関数を補間することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が直線で表現されない場合であっても、点広がり関数を補間することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が互いに類似しない適応的領域に対しては、点広がり関数が補間されないので、互いに異なる動きをしている被写体像の境界に対して点広がり関数を補間する可能性を低減させることが可能となる。すなわち、実際の被写体の動きとは異なる動きに対応する点広がり関数を補間する可能性を低減させることが可能となる。
なお、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部を備える集積回路として実現することもできる。
また、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部の動作をステップとする画像補正方法として実現することもできる。さらに、本発明は、画像補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明に係る画像補正装置は、ブレが共通する領域が１つの適応的領域となるように、複数のブレを含む入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置は、ブレが共通する領域ごとに入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。
図１は、本発明の実施の形態１及び２に係る画像補正装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係るプログラム格納部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１及び２に係る画像補正装置の全体的な処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１に係る適応的領域分割部による処理の流れを示すフローチャートである。 図５は、本発明の実施の形態１に係る適応的領域分割部による領域分割の処理の流れを説明するための図である。 図６は、本発明の実施の形態１及び２に係るＰＳＦ補間部による処理の流れを示すフローチャートである。 図７は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図８は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを示すフローチャートである。 図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを説明するための図である。 図１１は、本発明の実施の形態２に係るプログラム格納部の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る適応的領域分割部の処理の流れを示すフローチャートである。 図１３は、本発明に係るシステムＬＳＩの機能構成を示すブロック図である。 図１４Ａは、ＰＳＦを説明するための図である。 図１４Ｂは、ＰＳＦを説明するための図である。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像補正装置１００の機能構成を示すブロック図である。
図１に示すように、画像補正装置１００は、演算制御部１０１、メモリ部１０２、表示部１０３、入力部１０４、通信Ｉ／Ｆ（インタフェース）部１０５、データ記憶部１０６、及びプログラム格納部１０７を備える。これらの各構成部１０１〜１０７は、バス１０８を介して接続されている。
演算制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、数値プロセッサ等であり、ユーザからの指示等に従ってプログラム格納部１０７からメモリ部１０２に必要なプログラムをロードして実行し、その実行結果に従って、各構成部１０２〜１０７を制御する。
メモリ部１０２は、演算制御部１０１による作業領域を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
表示部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等である。また、入力部１０４はキーボード、マウス等である。そして、これらの表示部１０３及び入力部１０４は、演算制御部１０１による制御の下で、画像補正装置１００とユーザとが対話する等のために用いられる。
通信Ｉ／Ｆ部１０５は、ＬＡＮアダプタ等であり、画像補正装置１００とカメラ４００等との通信に用いられる。
データ記憶部１０６は、カメラ４００等により取得された入力画像、及び入力画像を補正することにより得られる目的画像などを格納するハードディスク、フラッシュメモリ等である。
プログラム格納部１０７は、画像補正装置１００の機能を実現する各種プログラムを格納しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。
図２は、本発明の実施の形態１に係るプログラム格納部１０７の機能構成を示すブロック図である。図２に示すように、プログラム格納部１０７は、機能的に（演算制御部１０１によって実行された場合に機能する処理部として）、適応的領域分割部１１０、ＰＳＦ補間部１２０及び画像補正部１３０を有する。
適応的領域分割部１１０は、入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、入力画像を複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、分割した適応的領域ごとに、ＰＳＦを算出する。具体的には、適応的領域分割部１１０は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
図２に示すように、適応的領域分割部１１０は、第１ＰＳＦ算出部１１１と、領域保持部１１２と、第２ＰＳＦ算出部１１３と、類似度判定部１１４と、適応的領域決定部１１５とを備える。
第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域のＰＳＦを第１ＰＳＦとして算出する。具体的には、第１ＰＳＦ算出部１１１は、候補領域選択部１１１ａと、ブレ方向判定部１１１ｂと、初期領域決定部１１１ｃとを備える。そして、第１ＰＳＦ算出部１１１は、初期領域決定部１１１ｃにより決定された初期領域のＰＳＦを第１ＰＳＦとして算出する。
候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する。また、候補領域選択部１１１ａは、ブレ方向判定部１１１ｂにより単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
ブレ方向判定部１１１ｂは、候補領域選択部１１１ａにより選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
初期領域決定部１１１ｃは、ブレ方向判定部１１１ｂにより単一のブレ方向であると判定された場合、候補領域を初期領域として決定する。
領域保持部１１２は、初期領域を保持領域として保持する。また、領域保持部１１２は、後述する類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を保持領域として保持する。
第２ＰＳＦ算出部１１３は、初期領域を含む領域であって初期領域よりも大きな領域である評価領域のＰＳＦを第２ＰＳＦとして算出する。また、第２ＰＳＦ算出部１１３は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を含む領域であって評価領域より大きな領域である新たな評価領域のＰＳＦを第２ＰＳＦとして算出する。
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似するか否かを判定する。
適応的領域決定部１１５は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似しないと判定された場合、領域保持部１１２に最後に保持された保持領域を適応的領域として決定する。つまり、適応的領域決定部１１５は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
ＰＳＦ補間部１２０は、算出されたＰＳＦを用いて、代表画素間に位置する画素のＰＳＦを補間する。ここで代表画素とは、複数の領域のそれぞれを代表する画素である。例えば、代表画素は、各領域の中心、重心などの画素である。
具体的には、ＰＳＦ補間部１２０は、例えば、適応的領域ごとに算出されたＰＳＦを動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（以下、「ＤＰマッチング」という。）を用いて互いに対応付ける。そして、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該ＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
なお、ＰＳＦ補間部１２０は、例えば、算出されたＰＳＦのうち少なくとも２つのＰＳＦが直線で表現される場合、当該少なくとも２つのＰＳＦを、分割して対応付けてもよい。具体的には、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該少なくとも２つのＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間してもよい。
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似するか否かを判定し、互いに類似すると判定されたＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
画像補正部１３０は、ＰＳＦ用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。
次に、以上のように構成された画像補正装置１００における各種動作について説明する。
図３は、本発明の実施の形態１に係る画像補正装置１００の全体的な処理の流れを示すフローチャートである。
まず、適応的領域分割部１１０は、データ記憶部１０６に格納された入力画像を構成する画素の画素値に応じて、入力画像を適応的な大きさの複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、適応的領域ごとにＰＳＦを算出する（Ｓ１０１）。続いて、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、各適応的領域の代表画素間に位置する画素のＰＳＦを補間する（Ｓ１０２）。
最後に、画像補正部１３０は、補間後の画素ごとのＰＳＦを用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する（Ｓ１０３）。例えば、画像補正部１３０は、下式（１）に示すリチャードソン・ルーシー法を用いて、ステップＳ１０１及びステップＳ１０２の処理に基づき得られる画素ごとのＰＳＦを用いて、入力画像を補正する。
Figure 2010098054
ここで、Ｉは補正後の画像（目的画像）を示す。また、ＫはＰＳＦを示す。また、Ｂは入力画像を示す。
なお、本実施の形態では、画像補正部１３０は、リチャードソン・ルーシー法を用いて入力画像を補正するが、フーリエ・ログ法、マキシマム・エントロピー法などの他の方法を用いて入力画像を補正してもよい。
次に、適応的領域分割部１１０による領域分割の詳細について説明する。
図４は、本発明の実施の形態１に係る適応的領域分割部１１０による処理（Ｓ１０１）の流れを示すフローチャートである。
まず、第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域を決定する（Ｓ２０１）。初期領域を決定する処理の詳細については後述する。
続いて、第１ＰＳＦ算出部１１１は、決定した初期領域のＰＳＦを第１ＰＳＦとして算出する（Ｓ２０２）。具体的には、第１ＰＳＦ算出部１１１は、１枚の画像からＰＳＦを算出する方法（例えば、非特許文献２「Ｒｅｍｏｖｉｎｇ Ｃａｍｅｒａ Ｓｈａｋｅ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ（Ｒｏｂ Ｆｅｒｇｕｓ ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００６）」参照）を用いて、ＰＳＦを算出する。
非特許文献２に記載の方法を用いる場合、データ記憶部１０６には、ブレのない一般的な自然画像に表れる画像勾配の分布が予め格納される。そして、第１ＰＳＦ算出部１１１は、所与のＰＳＦを用いて初期領域を補正したときに得られる画像勾配の分布と、データ記憶部１０６に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が一致又は類似するようなＰＳＦを探索する。そして、第１ＰＳＦ算出部１１１は、このように探索した結果得られるＰＳＦを第１ＰＳＦとして算出する。
次に、領域保持部１１２は、第１ＰＳＦ算出部１１１により決定された初期領域を保持領域として保持する（Ｓ２０３）。
続いて、第２ＰＳＦ算出部１１３は、評価領域を選択する（Ｓ２０４）。この評価領域は、初期領域を含む領域であり、かつ、初期領域よりも大きな領域である。例えば、初期領域が矩形の領域である場合、第２ＰＳＦ算出部１１３は、初期領域よりもｘ方向に１画素、ｙ方向に１画素大きい領域を評価領域として選択する。そして、第２ＰＳＦ算出部１１３は、選択した評価領域のＰＳＦを第２ＰＳＦとして算出する（Ｓ２０５）。
なお、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の両方とも初期領域より大きい領域を評価領域として決定する必要はない。例えば、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の一方のみについて、初期領域より広げた領域を評価領域として決定してもよい。さらに、第２ＰＳＦ算出部１１３は、例えば、初期領域の外縁の一部についてのみ、ｘ方向又はｙ方向に広げた領域を、評価領域として決定してもよい。これらにより、第２ＰＳＦ算出部１１３は、柔軟に評価領域を選択することができるので、同じ動きをする被写体の像を一つの領域として選択する可能性を高めることができる。
次に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似しているか否かを判定する（Ｓ２０６）。具体的には、類似度判定部１１４は、第１ＰＳＦ及び第２ＰＳＦを画像として表現したときの画像間距離を、ＰＳＦの類似度合いを示す類似度として算出する。例えば、類似度判定部１１４は、下式（２）により算出されるＬ１ノルムを類似度として算出する。なお、Ｌ１ノルムは、値が小さいほど類似度合いが高いことを示す。
Figure 2010098054
ここで、Ｐ１ｉｊは、第１ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。また、Ｐ２ｉｊは、第２ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値より小さい場合、第１ＰＳＦと第２ＰＳＦとが類似していると判定する。逆に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値以上の場合、第１ＰＳＦと第２ＰＳＦとが類似していないと判定する。
なお、本実施の形態において、類似度判定部１１４は、Ｌ１ノルムを類似度として算出しているが、他の画像間の類似度判定方法を用いて類似度を算出してもよい。例えば、類似度判定部１１４は、Ｌ２ノルムを類似度として算出してもよい。
ここで、第１ＰＳＦと第２ＰＳＦとが類似していると判定された場合（Ｓ２０６のＹｅｓ）、領域保持部１１２は評価領域を保持領域として保持する（Ｓ２０７）。さらに、第２ＰＳＦ算出部１１３は、新たな評価領域を選択する（Ｓ２０４）。この新たな評価領域は、ステップＳ２０７において保持された保持領域を含む領域であって、ステップＳ２０７において保持された保持領域より大きな領域である。そして、新たな評価領域を用いて、ステップＳ２０５及びステップＳ２０６の処理が実行される。このように、ステップＳ２０６において第１ＰＳＦと第２ＰＳＦとが類似していないと判定されるまで、ステップＳ２０４〜Ｓ２０７の処理が繰り返される。
一方、第１ＰＳＦと第２ＰＳＦとが類似していないと判定された場合（Ｓ２０６のＮｏ）、適応的領域決定部１１５は、ステップＳ２０７において最後に保持された保持領域を適応的領域として決定する（Ｓ２０８）。
続いて、第１ＰＳＦ算出部１１１は、入力画像のすべての画素が既に決定された適応的領域に含まれるか否かを判定する（Ｓ２０９）。
ここで、入力画像のすべての画素が既に決定された適応的領域に含まれていない場合（Ｓ２０９のＮｏ）、第１ＰＳＦ算出部１１１は、まだ適応的領域に含まれていない画素のみを含む領域を初期領域として決定する（Ｓ２０１）。例えば、第１ＰＳＦ算出部１１１は、決定された適応的領域の右端又は下端に隣接する画素を含むように初期領域を決定する。なお、第１ＰＳＦ算出部１１１は、隣接する画素ではなく、先見的知識により決められた画素数だけ離れた画素を含むように初期領域を決定してもよい。また、第１ＰＳＦ算出部１１１は、入力部１０４により受け付けられたユーザからの入力値により示された画素数だけ離れた画素を含むように初期領域を決定してもよい。
一方、入力画像のすべての画素が既に決定された適応的領域に含まれている場合（Ｓ２０９のＹｅｓ）、図３のステップＳ１０２の処理が実行される。
適応的領域分割部１１０は、上記のステップＳ２０１からステップＳ２０９までの処理を繰り返すことにより、入力画像を複数の適応的領域に分割する。
このように、ＰＳＦが類似する領域が１つの領域となるように入力画像を分割することにより、異なる動きをする被写体の像の境界と領域の境界とを一致させることが可能となる。
次に、上記の適応的領域分割部１１０による領域分割の処理の流れを、図５を用いて具体的に説明する。
図５は、本発明の実施の形態１に係る適応的領域分割部１１０による領域分割の処理の流れを説明するための図である。
まず、図５（ａ）に示すように、第１ＰＳＦ算出部１１１は、初期領域５０１を決定する。そして、第１ＰＳＦ算出部１１１は、初期領域５０１のＰＳＦである第１ＰＳＦ５０２（Ｐ１）を算出する。なお、ここでは初期領域５０１は矩形であるが、必ずしも初期領域５０１は矩形である必要はない。例えば、初期領域５０１は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
次に、図５（ｂ）に示すように、第２ＰＳＦ算出部１１３は、初期領域５０１を含む領域であり、かつ、初期領域５０１よりも大きな領域を評価領域５０３として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０３のＰＳＦを第２ＰＳＦ５０４（Ｐ２）として算出する。なお、ここでは評価領域５０３は矩形であるが、必ずしも評価領域５０３は矩形である必要はない。例えば、評価領域５０３は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨより小さいので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していると判定する。したがって、領域保持部１１２は、評価領域５０３を保持する。
次に、第２ＰＳＦ算出部１１３は、図５（ｃ）に示すように、評価領域５０３を含む領域であり、かつ、評価領域５０３よりも大きな領域を評価領域５０５として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０５のＰＳＦを第２ＰＳＦ５０６（Ｐ３）として算出する。
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０６とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨ以上であるので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していないと判定する。したがって、適応的領域決定部１１５は、領域保持部１１２により最後に保持された評価領域５０３を適応的領域として決定する。
次に、図５（ｅ）に示すように、第１ＰＳＦ算出部１１１は、決定された適応的領域に隣接する領域を初期領域５０７として決定する。
このように、初期領域の決定から適応的領域の決定までの処理を繰り返すことにより、適応的領域分割部１１０は、図５（ｆ）に示すように、入力画像を複数の適応的領域に分割する。
次に、ＰＳＦ補間部１２０によるＰＳＦを補間する処理の詳細について説明する。分割した領域間でＰＳＦのずれが生じる場合、ブレの境界ができてしまうため、補正後の目的画像は違和感のある画像となってしまう。そこで、ＰＳＦ補間部１２０は、補正後の目的画像の違和感を低減するために、以下に示すようにＰＳＦを補間する。
図６は、本発明の実施の形態１に係るＰＳＦ補間部１２０による処理（Ｓ１０２）の流れを示すフローチャートである。
まず、ＰＳＦ補間部１２０は、適応的領域分割部１１０により分割された複数の適応的領域ごとに算出される複数のＰＳＦの中から、少なくとも２つのＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。例えば、ＰＳＦ補間部１２０は、互いに隣接する２つの適応的領域のＰＳＦを選択する。
続いて、ＰＳＦ補間部１２０は、選択されたＰＳＦ群に含まれるＰＳＦ間において、対応する点である対応点を探索する（Ｓ３０２）。例えば、図７に示すように、２つのＰＳＦのそれぞれが１つの直線で表現される場合、ＰＳＦ補間部１２０は、２つのＰＳＦのそれぞれをＮ等分（Ｎは正の整数）する。そして、ＰＳＦ補間部１２０は、２つのＰＳＦ間において、Ｎ等分したＰＳＦを互いに対応付けることにより対応点を探索する。また、例えば、図８に示すように、２つのＰＳＦの少なくとも一方が１つの直線で表現されない場合、ＤＰマッチングにより対応点を探索すればよい。なお、ここで探索された対応点の組み合わせを対応関係と呼ぶ。
次に、ＰＳＦ補間部１２０は、探索された対応点間の距離を算出する（Ｓ３０３）。具体的には、ＰＳＦ補間部１２０は、図５のステップＳ２０６と同様に、例えばＬ１ノルム等を距離として算出する。Ｌ１ノルムを距離として算出する場合、Ｌ１ノルムが小さいほど類似度合いが高いことを示す。
次に、ＰＳＦ補間部１２０は、算出した距離が予め定められた閾値より小さいか否かを判定する（Ｓ３０４）。つまり、ＰＳＦ補間部１２０は、ＰＳＦ群に含まれるＰＳＦが互いに類似するか否かを判定する。
ここで、距離が予め定められた閾値以上であると判定された場合（Ｓ３０４のＮｏ）、ＰＳＦ補間部１２０は、ステップＳ３０６の処理を実行する。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しないと判定された場合、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間しない。すなわち、適応的領域内の各画素のＰＳＦは、当該適応的領域に対して算出されたＰＳＦで一様となる。
このように、ＰＳＦが互いに類似しないと判定された場合にＰＳＦ補間部１２０がＰＳＦを補間しないのは、互いに類似しないＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、それぞれ異なる動きをしている被写体の像である可能性が高いからである。すなわち、このように異なる被写体の像を含む複数の適応的領域においてＰＳＦが補間された場合、本来ありえない被写体の動きに対応するＰＳＦを補間することになりかねないからである。
一方、距離が予め定められた閾値より小さいと判定された場合（Ｓ３０２のＹｅｓ）、ＰＳＦ補間部１２０は、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する（Ｓ３０５）。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合、適応的領域の代表画素間に位置する画素のＰＳＦを補間する。つまり、ＰＳＦ補間部１２０は、各適応的領域内外の画素であって代表画素以外の画素のＰＳＦを、代表画素から距離及びＰＳＦの対応関係に基づいて補間する。具体的には、ＰＳＦ補間部１２０は、補間したい画素の位置と各代表画素との距離に応じて、ＰＳＦの対応関係に基づいた新たなＰＳＦを算出し、算出したＰＳＦを当該画素のＰＳＦとして補間する。
すなわち、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合にのみ、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する。これは、ＰＳＦが類似する場合、当該ＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、同様の動きをしている１つの被写体の像である可能性が高いからである。このように１つの被写体の像を含む複数の適応的領域間において、ＰＳＦ補間部１２０がＰＳＦを補間することにより、目的画像において、適応的領域の境界に生じる違和感を減少させることが可能となる。なお、ＰＳＦ補間部１２０は、線形補間、多項式補間又はスプライン補間等のいずれの補間方法により、ＰＳＦを補間してもよい。
続いて、ＰＳＦ補間部１２０は、すべてのＰＳＦがすでに選択されたか否かを判定する（Ｓ３０６）。ここで、ＰＳＦのいずれか１つでも選択されていない場合（Ｓ３０６のＮｏ）、ＰＳＦ補間部１２０は、まだ選択されていないＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。一方、すべてのＰＳＦが選択されている場合（Ｓ３０６のＹｅｓ）、図３のステップＳ１０３の処理が実行される。
このように、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、適応的領域のそれぞれを代表する画素間に位置する画素のＰＳＦを補間する。その結果、ＰＳＦ補間部１２０は、隣接する適応的領域の境界において、不自然にＰＳＦが大きく変化することを抑制することが可能となる。すなわち、画像補正部１３０は、適応的領域の境界において違和感のない目的画像を生成することが可能となる。
次に、第１ＰＳＦ算出部１１１による初期領域の決定に関する方法について説明する。初期領域が小さすぎる場合、第１ＰＳＦ算出部１１１は、テクスチャであるのか、又は、ブレであるのかを区別することが難しいため、ＰＳＦを算出することが難しい。一方、初期領域が大きすぎる場合、異なる動きをする被写体の像が初期領域に含まれる可能性が高いため、第１ＰＳＦ算出部１１１は、被写体の動きに応じたＰＳＦを算出することが難しい。そこで以下に、異なる動きをする複数の被写体の像が含まれないように、大きな領域から順に縮小しながら初期領域を決定する方法について説明する。
図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理（Ｓ２０１）の流れを示すフローチャートである。
まず、候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ４０１）。続いて、ブレ方向判定部１１１ｂは、選択した候補領域の画素値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等を用いて周波数空間に変換する（Ｓ４０２）。
そして、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ４０３）。画像空間において矩形波だったものは、周波数空間ではｓｉｎｃ関数（式（３））で表現される。
Figure 2010098054
したがって、画像のブレが単一方向である場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現される。逆に、画像のブレが単一方向でない場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現されずに複数の周波数成分が集合した周波数分布として表現される。そこで、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数を用いて表現できるか否かを判定することにより、候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
具体的には、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部１１１ｂは、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
そして、ブレ方向判定部１１１ｂは、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数で表現できないと判定する。
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、初期領域決定部１１１ｃは、候補領域を初期領域として決定する（Ｓ４０５）。
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、初期領域決定部１１１ｃは、候補領域を初期領域として決定しない。そこで、ブレ方向判定部１１１ｂは、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ４０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値であればよい。
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ４０４のＮｏ）、候補領域選択部１１１ａは、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ４０１）。
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ４０４のＹｅｓ）、初期領域決定部１１１ｃは、現在選択されている候補領域を初期領域として決定する（Ｓ４０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた被写体の像と考えられるので、初期領域決定部１１１ｃは、候補領域をさらに小さくすることなく、現在選択されている候補領域を初期領域として決定する。
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数で表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら初期領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない小さな領域を初期領域として決定することができる。
次に、上記の第１ＰＳＦ算出部１１１による初期領域を決定する処理の流れを、図１０を用いて具体的に説明する。
図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理の流れを説明するための図である。
まず、候補領域選択部１１１ａは、図１０（ａ）に示すように、まだ適応的領域として決定されていない領域であって、比較的大きな領域を候補領域６０１として選択する。なお、候補領域選択部１１１ａは、画像の全部を候補領域と選択してもよい。
次に、ブレ方向判定部１１１ｂは、候補領域６０１の画素値を離散フーリエ変換等により周波数成分に変換する。図１０（ｂ）は、変換された周波数成分を表す画像６０２を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｃ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換により得られた周波数成分を表す画像６０２との相関値を算出する。
候補領域６０１は複数のブレ方向を含むので、図１０（ｂ）に示す画像６０２は、周波数成分を示す点が縦横に広がった画像となっている。したがって、画像６０２とｓｉｎｃ関数に対応する画像との相関値は小さい。つまり、画像６０２と類似する、ｓｉｎｃ関数に対応する画像は存在しない。
したがって、ブレ方向判定部１１１ｂは、候補領域６０１のブレ方向は単一のブレ方向でないと判定する。そして、候補領域選択部１１１ａは、図１０（ｄ）に示すように、候補領域６０１より小さい領域を新たな候補領域６０３として選択する。そして、ブレ方向判定部１１１ｂは、候補領域６０３の画素値を離散フーリエ変換等を用いて周波数成分に変換する。図１０（ｅ）は、変換された周波数成分を表す画像６０４を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｆ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換を用いて得られた周波数成分を表す画像６０４との相関値を算出する。
候補領域６０３のブレ方向は単一のブレ方向であるので、図１０（ｅ）に示す画像６０４は、周波数成分を示す点が１つの直線に並んだ画像となっている。したがって、画像６０４とｓｉｎｃ関数に対応する画像との相関値は大きい。つまり、画像６０４と類似するｓｉｎｃ関数に対応する画像が存在する。したがって、ブレ方向判定部１１１ｂは、候補領域６０３のブレ方向が単一のブレ方向であると判定する。そして、初期領域決定部１１１ｃは、候補領域６０３を初期領域として決定する。
このように、第１ＰＳＦ算出部１１１は、ｓｉｎｃ関数で表現できるか否かを判断基準として初期領域を決定することにより、テクスチャによるグラデーションであるのか、又はブレによるグラデーションであるのかを判定することが可能となる。
以上のように、本実施の形態に係る画像補正装置１００は、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置１００は、ブレが共通する領域ごとにＰＳＦを用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、画像補正装置１００は、領域ごとに算出されるＰＳＦを用いて代表画素間に位置する画素のＰＳＦを補間することができるので、分割された領域の境界においてＰＳＦが不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。また、画像補正装置１００は、入力画像以外の画像を用いなくても、入力画像を補正することが可能となる。
また、画像補正装置１００は、ＰＳＦが類似する領域が１つの適応的領域となるように入力画像を適応的領域に分割することができる。したがって、画像補正装置１００は、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した領域に分割することが可能となる。すなわち、画像補正部１３０が被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、画像補正装置１００は、よりブレの少ない目的画像を生成することが可能となる。
また、画像補正装置１００は、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、画像補正装置１００は、被写体像のブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しない適応的領域に対してＰＳＦを補間しない。したがって、ＰＳＦ補間部１２０は、互いに異なる動きをしている被写体像の境界に対してＰＳＦを補間する可能性を低減させることが可能となる。すなわち、ＰＳＦ補間部１２０は、実際の被写体の動きとは異なる動きに対応するＰＳＦを補間する可能性を低減させることが可能となる。
なお、本実施の形態において、適応的領域分割部１１０は、ＰＳＦが類似する領域が１つの領域となるように適応的領域を決定していたが、本発明が適用される画像補正装置１００は、このような画像補正装置に限定されるものではない。例えば、適応的領域分割部１１０は、類似するテクスチャは同じ動きをする可能性が高いという先見的知識を利用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。また、適応的領域分割部１１０は、例えば、コンピュータビジョン分野において利用される領域分割手法（例えばグラフカットなど）も併用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。これにより、適応的領域分割部１１０は、柔軟なテクスチャ分割が可能になる。
また、複数枚の画像において動きが小さいなどの入力画像の特性がわかっている場合（集合写真のように動きが少ない場合）、画像補正装置１００は、露光時間を長くして撮影された複数枚の画像から動きのある領域のみを画像間差分などを用いて抽出し、抽出した領域についてのみ上述したＰＳＦ補間及び画像補正を行ってもよい。これにより、画像補正装置１００は、トータルの計算コスト、メモリコスト等を削減できる。
また、本実施の形態において、第１ＰＳＦ算出部１１１は、候補領域を縮小しながら初期領域を決定していたが、例えば、入力画像の露光時間に対応する、予め定められた大きさの領域を、初期領域として決定してもよい。この場合、データ記憶部１０６には、露光時間と領域の大きさとを対応付けたテーブルが格納されていることが好ましい。そして、第１ＰＳＦ算出部１１１は、データ記憶部１０６に格納されたテーブルを参照することにより、入力画像の露光時間に対応した領域の大きさを取得し、取得した大きさの領域を初期領域として決定することが好ましい。
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
実施の形態２に係る画像補正装置２００と実施の形態１に係る画像補正装置１００とは、プログラム格納部１０７が備える適応的領域分割部の構成が異なるが、他の構成要素については同じである。したがって、以下において、実施の形態１と同一の構成となるブロック図及び同一の処理の流れのとなるフローチャートについては、図示及び説明を省略する。また、実施の形態１の構成要素と同一の機能を有する構成要素には同一の符号を付し、説明を省略する。
図１１は、本発明の実施の形態２に係るプログラム格納部１０７の機能構成を示すブロック図である。
本実施の形態に係る適応的領域分割部２１０は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。図１１に示すように、適応的領域分割部２１０は、候補領域選択部２１１と、ブレ方向判定部２１２と、適応的領域決定部２１３と、ＰＳＦ算出部２１４とを備える。
候補領域選択部２１１は、入力画像の全部又は一部の領域である候補領域を決定する。また、候補領域選択部２１１は、ブレ方向判定部２１２により単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
ブレ方向判定部２１２は、候補領域選択部２１１により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
適応的領域決定部２１３は、ブレ方向判定部２１２により単一のブレ方向であると判定された場合、候補領域を適応的領域として決定する。つまり、適応的領域決定部２１３は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。
ＰＳＦ算出部２１４は、適応的領域決定部２１３により決定された適応的領域のＰＳＦを算出する。
次に、以上のように構成された適応的領域分割部２１０の動作について説明する。
図１２は、本発明の実施の形態２に係る適応的領域分割部２１０の処理（Ｓ１０１）の流れを示すフローチャートである。
まず、候補領域選択部２１１は、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ５０１）。続いて、ブレ方向判定部２１２は、選択した候補領域の画素値を離散フーリエ変換等により周波数空間に変換する（Ｓ５０２）。
そして、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ５０３）。つまり、ブレ方向判定部２１２は、候補領域においてブレ方向が単一であるか否かを判定する。
具体的には、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部２１２は、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
そして、ブレ方向判定部２１２は、複数のｓｉｎｃ関数のうち、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できないと判定する。
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、適応的領域決定部２１３は、候補領域を適応的領域として決定する（Ｓ５０５）。
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、適応的領域決定部２１３は、候補領域を適応的領域として決定しない。そこで、ブレ方向判定部２１２は、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ５０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値を利用すればよい。
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ５０４のＮｏ）、候補領域選択部２１１は、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ５０１）。
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ５０４のＹｅｓ）、適応的領域決定部２１３は、現在選択されている候補領域を適応的領域として決定する（Ｓ５０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた単一の被写体の像と考えられるので、適応的領域決定部２１３は、候補領域をさらに小さくすることなく、現在選択されている候補領域を適応的領域として決定する。
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数を用いて表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら適応的領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない領域を適応的領域として決定することができる。
なお、上記のように領域を縮小しながら適応的領域を決定する際に、単一のブレ方向であるか否かを判断基準に用いるのは、初めに比較的大きな領域を候補領域として選択するため、動く方向が異なる複数の被写体の像が領域内に含まれている可能性が高いからである。すなわち、領域を縮小しながら適応的領域を決定する際にＰＳＦの類似度を判断基準に適応的領域を決定した場合、異なるブレ方向のＰＳＦを含む領域を適応的領域として決定してしまう可能性が高いからである。
以上のように、本実施の形態に係る画像補正装置２００は、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、画像補正装置２００は、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
以上、本発明に係る画像補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態に係る画像補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。具体的には、システムＬＳＩは、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。さらに具体的には、例えば、図１３に示すように、適応的領域分割部１１０、ＰＳＦ補間部１２０、画像補正部１３０は、１個のシステムＬＳＩ３００から構成されてもよい。
また、本発明は、上記実施の形態に係る画像補正装置と、光学系及び撮像素子等からなる撮影部とを備える画像撮影装置として実現されてもよい。
本発明に係る画像補正装置等は、高精度の被写体ブレ補正機能を有し、デジタルスチルカメラ又はセキュリティカメラの高感度化を実現できるため、夜間での撮影、暗環境におけるカメラによる警備等として有用である。
１００、２００ 画像補正装置
１０１ 演算制御部
１０２ メモリ部
１０３ 表示部
１０４ 入力部
１０５ 通信Ｉ／Ｆ部
１０６ データ記憶部
１０７ プログラム格納部
１０８ バス
１１０、２１０ 適応的領域分割部
１１１ 第１ＰＳＦ算出部
１１１ａ、２１１ 候補領域選択部
１１１ｂ、２１２ ブレ方向判定部
１１１ｃ 初期領域決定部
１１２ 領域保持部
１１３ 第２ＰＳＦ算出部
１１４ 類似度判定部
１１５、２１３ 適応的領域決定部
１２０ ＰＳＦ補間部
１３０ 画像補正部
２１４ ＰＳＦ算出部
３００ システムＬＳＩ
４００ カメラ
本発明は、デジタルスチルカメラ、セキュリティカメラ等を用いて撮影された画像を補正する画像補正装置に関し、特に画像のブレを補正する画像補正装置に関する。
ユーザがカメラを用いて被写体を撮影した場合、撮影した画像にブレが生じるときがある。この画像に生じるブレは、大きく分けて、手ブレ（ｈａｎｄ ｓｈａｋｅ ｂｌｕｒ）及び被写体ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）の２種類に分類される。手ブレとは、シャッタを押すときなどにカメラが動いてしまうことに起因して生じる画像のブレである。また、被写体ブレとは、被写体が撮影中に動くことに起因して生じる画像のブレである。
このような手ブレ及び被写体ブレの特徴を示す関数として点広がり関数（以下、「ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」という。）がある。ＰＳＦとは、点像がブレあるいはピンぼけによりぼけたときの強度分布を表す関数である。図１４Ａ及び図１４Ｂは、ＰＳＦを説明するための図である。例えば、図１４Ａに示すように、ぼけのない画像１００１からピンぼけ画像１００２への劣化を表すＰＳＦは、画像１００３により表現される。また、図１４Ｂに示すように、ブレのない画像１００４からｘ方向へブレた画像１００５への劣化を表すＰＳＦは、画像１００６により表現される。
ところで、近年、手ブレを補正する技術（例えば、電子式手ブレ補正、光学式手ブレ補正など）が実用化されている。具体的には、光学式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて撮影時の手の動きを推定する。そして、推定した動きに応じてレンズ機構又は受光部センサを制御することにより、手ブレの補正を実現する。また、電子式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて、ＰＳＦを算出する。そして、算出したＰＳＦを用いて画像を補正することにより、手ブレの補正を実現している。手ブレの場合、ＰＳＦは、撮影時の手の動きに対応するため、画像全体でほぼ同一となる。
一方、被写体ブレの場合、ＰＳＦは、被写体の動きに対応するため、画像の領域ごとに異なることが多い。したがって、手ブレの補正と同じ方法により被写体ブレを補正することは難しい。
そこで、被写体ブレを補正する技術として、高速シャッタを用いて撮影された低解像度の画像列と、低速シャッタを用いて撮影された高解像度の画像とを用いる方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法では、ブレの少ない低解像度高速シャッタの画像列に含まれる複数の画像間において画素を対応付けることにより、被写体像の動きを推定する。そして、推定した被写体像の動きを用いて、ブレの大きい低速シャッタの画像を補正することにより、被写体ブレが補正された高解像度の画像を得る。
また、被写体ブレを補正する別の技術として、連続的に撮影された複数の画像を用いて補正する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、非特許文献１の方法と同様に、連続的に撮影された複数の画像に基づいて被写体の動き（軌跡）を求めることにより、対象画像のすべての画素位置における劣化特性を示す１つの劣化関数（例えば、ＰＳＦ）を求める。そして、このように算出した劣化関数を用いて、対象画像からブレのない画像を生成する。
特開２００１−１９７３５５号公報
Ｉｍａｇｅ／Ｖｉｄｅｏ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ ａ Ｈｙｂｒｉｄ Ｃａｍｅｒａ （Ｙｕ−Ｗｉｎｇ Ｔａｉ、Ｈａｏ Ｄｕ、Ｍ．Ｓ．Ｂｒｏｗｎ、Ｓ．Ｌｉｎ ＣＶＰＲ２００８）
しかしながら、非特許文献１に記載の方法は、高速シャッタを利用できない環境の場合、被写体ブレを補正できないという課題がある。例えば、低照度環境において、高速シャッタにより画像が撮影された場合、光量が不足するので暗い画像しか得られない。このような暗い画像を用いる場合、画像間における画素の対応付けの精度が低下する。また、低照度環境における光量不足を解消するために感度を上げた場合、暗電流ノイズ及び熱ノイズなどの撮像デバイスに起因するノイズ信号が増幅されるため、画像間における画素の対応付けの精度が低下する。このように非特許文献１に記載の方法では、被写体ブレが発生する機会の多い低照度環境において、画像間における画素の対応付けの精度が低下するため、被写体ブレを高精度に補正することができない。
また、特許文献１に記載の方法では、非特許文献１に記載の方法と同様に、連続的に撮影された複数の画像が必要となるため、低照度環境において、被写体ブレを高精度に補正することができない。また、特許文献１には、対象画像のすべての画素位置における劣化関数を、対象画像の複数の領域に基づいて算出される劣化関数に基づいて算出する旨の記載があるが、具体的方法については記載されていない。
そこで、本発明は、上記課題を鑑みてなされたものであり、複数のブレを含む入力画像を、入力画像よりもブレの少ない目的画像へ高精度に補正することができる画像補正装置を提供することを目的とする。
上記目的を達成するために、本発明に係る画像補正装置は、入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える。
この構成により、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の領域に適応的に分割することができる。その結果、ブレが共通する領域ごとに点広がり関数を用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、領域ごとに算出される点広がり関数を用いて代表画素間に位置する画素の点広がり関数を補間することができるので、分割された領域の境界において点広がり関数が不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。
また、前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
この構成により、ブレの共通性を点広がり関数の類似性に基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
また、前記適応的領域分割部は、前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、前記初期領域を保持領域として保持する領域保持部と、前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出することが好ましい。
この構成により、点広がり関数が類似する領域が１つの領域となるような適応的領域に入力画像を適応的に分割することができるので、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した適応的領域に分割することが可能となる。すなわち、被写体像ごとのブレ方向に合致した点広がり関数を用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、前記第１点広がり関数算出部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
この構成により、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
この構成により、ブレの共通性を単一のブレ方向であるか否かに基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
また、前記適応的領域分割部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
この構成により、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数の対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が直線で表現される場合、容易に点広がり関数を補間することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が直線で表現されない場合であっても、点広がり関数を補間することが可能となる。
また、前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
この構成により、点広がり関数が互いに類似しない適応的領域に対しては、点広がり関数が補間されないので、互いに異なる動きをしている被写体像の境界に対して点広がり関数を補間する可能性を低減させることが可能となる。すなわち、実際の被写体の動きとは異なる動きに対応する点広がり関数を補間する可能性を低減させることが可能となる。
なお、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部を備える集積回路として実現することもできる。
また、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部の動作をステップとする画像補正方法として実現することもできる。さらに、本発明は、画像補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明に係る画像補正装置は、ブレが共通する領域が１つの適応的領域となるように、複数のブレを含む入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置は、ブレが共通する領域ごとに入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。
図１は、本発明の実施の形態１及び２に係る画像補正装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係るプログラム格納部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１及び２に係る画像補正装置の全体的な処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１に係る適応的領域分割部による処理の流れを示すフローチャートである。 図５は、本発明の実施の形態１に係る適応的領域分割部による領域分割の処理の流れを説明するための図である。 図６は、本発明の実施の形態１及び２に係るＰＳＦ補間部による処理の流れを示すフローチャートである。 図７は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図８は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを示すフローチャートである。 図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを説明するための図である。 図１１は、本発明の実施の形態２に係るプログラム格納部の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る適応的領域分割部の処理の流れを示すフローチャートである。 図１３は、本発明に係るシステムＬＳＩの機能構成を示すブロック図である。 図１４Ａは、ＰＳＦを説明するための図である。 図１４Ｂは、ＰＳＦを説明するための図である。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像補正装置１００の機能構成を示すブロック図である。
図１に示すように、画像補正装置１００は、演算制御部１０１、メモリ部１０２、表示部１０３、入力部１０４、通信Ｉ／Ｆ（インタフェース）部１０５、データ記憶部１０６、及びプログラム格納部１０７を備える。これらの各構成部１０１〜１０７は、バス１０８を介して接続されている。
演算制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、数値プロセッサ等であり、ユーザからの指示等に従ってプログラム格納部１０７からメモリ部１０２に必要なプログラムをロードして実行し、その実行結果に従って、各構成部１０２〜１０７を制御する。
メモリ部１０２は、演算制御部１０１による作業領域を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
表示部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等である。また、入力部１０４はキーボード、マウス等である。そして、これらの表示部１０３及び入力部１０４は、演算制御部１０１による制御の下で、画像補正装置１００とユーザとが対話する等のために用いられる。
通信Ｉ／Ｆ部１０５は、ＬＡＮアダプタ等であり、画像補正装置１００とカメラ４００等との通信に用いられる。
データ記憶部１０６は、カメラ４００等により取得された入力画像、及び入力画像を補正することにより得られる目的画像などを格納するハードディスク、フラッシュメモリ等である。
プログラム格納部１０７は、画像補正装置１００の機能を実現する各種プログラムを格納しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。
図２は、本発明の実施の形態１に係るプログラム格納部１０７の機能構成を示すブロック図である。図２に示すように、プログラム格納部１０７は、機能的に（演算制御部１０１によって実行された場合に機能する処理部として）、適応的領域分割部１１０、ＰＳＦ補間部１２０及び画像補正部１３０を有する。
適応的領域分割部１１０は、入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、入力画像を複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、分割した適応的領域ごとに、ＰＳＦを算出する。具体的には、適応的領域分割部１１０は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
図２に示すように、適応的領域分割部１１０は、第１ＰＳＦ算出部１１１と、領域保持部１１２と、第２ＰＳＦ算出部１１３と、類似度判定部１１４と、適応的領域決定部１１５とを備える。
第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域のＰＳＦを第１ＰＳＦとして算出する。具体的には、第１ＰＳＦ算出部１１１は、候補領域選択部１１１ａと、ブレ方向判定部１１１ｂと、初期領域決定部１１１ｃとを備える。そして、第１ＰＳＦ算出部１１１は、初期領域決定部１１１ｃにより決定された初期領域のＰＳＦを第１ＰＳＦとして算出する。
候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する。また、候補領域選択部１１１ａは、ブレ方向判定部１１１ｂにより単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
ブレ方向判定部１１１ｂは、候補領域選択部１１１ａにより選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
初期領域決定部１１１ｃは、ブレ方向判定部１１１ｂにより単一のブレ方向であると判定された場合、候補領域を初期領域として決定する。
領域保持部１１２は、初期領域を保持領域として保持する。また、領域保持部１１２は、後述する類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を保持領域として保持する。
第２ＰＳＦ算出部１１３は、初期領域を含む領域であって初期領域よりも大きな領域である評価領域のＰＳＦを第２ＰＳＦとして算出する。また、第２ＰＳＦ算出部１１３は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を含む領域であって評価領域より大きな領域である新たな評価領域のＰＳＦを第２ＰＳＦとして算出する。
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似するか否かを判定する。
適応的領域決定部１１５は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似しないと判定された場合、領域保持部１１２に最後に保持された保持領域を適応的領域として決定する。つまり、適応的領域決定部１１５は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
ＰＳＦ補間部１２０は、算出されたＰＳＦを用いて、代表画素間に位置する画素のＰＳＦを補間する。ここで代表画素とは、複数の領域のそれぞれを代表する画素である。例えば、代表画素は、各領域の中心、重心などの画素である。
具体的には、ＰＳＦ補間部１２０は、例えば、適応的領域ごとに算出されたＰＳＦを動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（以下、「ＤＰマッチング」という。）を用いて互いに対応付ける。そして、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該ＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
なお、ＰＳＦ補間部１２０は、例えば、算出されたＰＳＦのうち少なくとも２つのＰＳＦが直線で表現される場合、当該少なくとも２つのＰＳＦを、分割して対応付けてもよい。具体的には、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該少なくとも２つのＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間してもよい。
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似するか否かを判定し、互いに類似すると判定されたＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
画像補正部１３０は、ＰＳＦ用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。
次に、以上のように構成された画像補正装置１００における各種動作について説明する。
図３は、本発明の実施の形態１に係る画像補正装置１００の全体的な処理の流れを示すフローチャートである。
まず、適応的領域分割部１１０は、データ記憶部１０６に格納された入力画像を構成する画素の画素値に応じて、入力画像を適応的な大きさの複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、適応的領域ごとにＰＳＦを算出する（Ｓ１０１）。続いて、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、各適応的領域の代表画素間に位置する画素のＰＳＦを補間する（Ｓ１０２）。
最後に、画像補正部１３０は、補間後の画素ごとのＰＳＦを用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する（Ｓ１０３）。例えば、画像補正部１３０は、下式（１）に示すリチャードソン・ルーシー法を用いて、ステップＳ１０１及びステップＳ１０２の処理に基づき得られる画素ごとのＰＳＦを用いて、入力画像を補正する。
Figure 2010098054
ここで、Ｉは補正後の画像（目的画像）を示す。また、ＫはＰＳＦを示す。また、Ｂは入力画像を示す。
なお、本実施の形態では、画像補正部１３０は、リチャードソン・ルーシー法を用いて入力画像を補正するが、フーリエ・ログ法、マキシマム・エントロピー法などの他の方法を用いて入力画像を補正してもよい。
次に、適応的領域分割部１１０による領域分割の詳細について説明する。
図４は、本発明の実施の形態１に係る適応的領域分割部１１０による処理（Ｓ１０１）の流れを示すフローチャートである。
まず、第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域を決定する（Ｓ２０１）。初期領域を決定する処理の詳細については後述する。
続いて、第１ＰＳＦ算出部１１１は、決定した初期領域のＰＳＦを第１ＰＳＦとして算出する（Ｓ２０２）。具体的には、第１ＰＳＦ算出部１１１は、１枚の画像からＰＳＦを算出する方法（例えば、非特許文献２「Ｒｅｍｏｖｉｎｇ Ｃａｍｅｒａ Ｓｈａｋｅ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ（Ｒｏｂ Ｆｅｒｇｕｓ ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００６）」参照）を用いて、ＰＳＦを算出する。
非特許文献２に記載の方法を用いる場合、データ記憶部１０６には、ブレのない一般的な自然画像に表れる画像勾配の分布が予め格納される。そして、第１ＰＳＦ算出部１１１は、所与のＰＳＦを用いて初期領域を補正したときに得られる画像勾配の分布と、データ記憶部１０６に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が一致又は類似するようなＰＳＦを探索する。そして、第１ＰＳＦ算出部１１１は、このように探索した結果得られるＰＳＦを第１ＰＳＦとして算出する。
次に、領域保持部１１２は、第１ＰＳＦ算出部１１１により決定された初期領域を保持領域として保持する（Ｓ２０３）。
続いて、第２ＰＳＦ算出部１１３は、評価領域を選択する（Ｓ２０４）。この評価領域は、初期領域を含む領域であり、かつ、初期領域よりも大きな領域である。例えば、初期領域が矩形の領域である場合、第２ＰＳＦ算出部１１３は、初期領域よりもｘ方向に１画素、ｙ方向に１画素大きい領域を評価領域として選択する。そして、第２ＰＳＦ算出部１１３は、選択した評価領域のＰＳＦを第２ＰＳＦとして算出する（Ｓ２０５）。
なお、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の両方とも初期領域より大きい領域を評価領域として決定する必要はない。例えば、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の一方のみについて、初期領域より広げた領域を評価領域として決定してもよい。さらに、第２ＰＳＦ算出部１１３は、例えば、初期領域の外縁の一部についてのみ、ｘ方向又はｙ方向に広げた領域を、評価領域として決定してもよい。これらにより、第２ＰＳＦ算出部１１３は、柔軟に評価領域を選択することができるので、同じ動きをする被写体の像を一つの領域として選択する可能性を高めることができる。
次に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似しているか否かを判定する（Ｓ２０６）。具体的には、類似度判定部１１４は、第１ＰＳＦ及び第２ＰＳＦを画像として表現したときの画像間距離を、ＰＳＦの類似度合いを示す類似度として算出する。例えば、類似度判定部１１４は、下式（２）により算出されるＬ１ノルムを類似度として算出する。なお、Ｌ１ノルムは、値が小さいほど類似度合いが高いことを示す。
Figure 2010098054
ここで、Ｐ１ｉｊは、第１ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。また、Ｐ２ｉｊは、第２ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値より小さい場合、第１ＰＳＦと第２ＰＳＦとが類似していると判定する。逆に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値以上の場合、第１ＰＳＦと第２ＰＳＦとが類似していないと判定する。
なお、本実施の形態において、類似度判定部１１４は、Ｌ１ノルムを類似度として算出しているが、他の画像間の類似度判定方法を用いて類似度を算出してもよい。例えば、類似度判定部１１４は、Ｌ２ノルムを類似度として算出してもよい。
ここで、第１ＰＳＦと第２ＰＳＦとが類似していると判定された場合（Ｓ２０６のＹｅｓ）、領域保持部１１２は評価領域を保持領域として保持する（Ｓ２０７）。さらに、第２ＰＳＦ算出部１１３は、新たな評価領域を選択する（Ｓ２０４）。この新たな評価領域は、ステップＳ２０７において保持された保持領域を含む領域であって、ステップＳ２０７において保持された保持領域より大きな領域である。そして、新たな評価領域を用いて、ステップＳ２０５及びステップＳ２０６の処理が実行される。このように、ステップＳ２０６において第１ＰＳＦと第２ＰＳＦとが類似していないと判定されるまで、ステップＳ２０４〜Ｓ２０７の処理が繰り返される。
一方、第１ＰＳＦと第２ＰＳＦとが類似していないと判定された場合（Ｓ２０６のＮｏ）、適応的領域決定部１１５は、ステップＳ２０７において最後に保持された保持領域を適応的領域として決定する（Ｓ２０８）。
続いて、第１ＰＳＦ算出部１１１は、入力画像のすべての画素が既に決定された適応的領域に含まれるか否かを判定する（Ｓ２０９）。
ここで、入力画像のすべての画素が既に決定された適応的領域に含まれていない場合（Ｓ２０９のＮｏ）、第１ＰＳＦ算出部１１１は、まだ適応的領域に含まれていない画素のみを含む領域を初期領域として決定する（Ｓ２０１）。例えば、第１ＰＳＦ算出部１１１は、決定された適応的領域の右端又は下端に隣接する画素を含むように初期領域を決定する。なお、第１ＰＳＦ算出部１１１は、隣接する画素ではなく、先見的知識により決められた画素数だけ離れた画素を含むように初期領域を決定してもよい。また、第１ＰＳＦ算出部１１１は、入力部１０４により受け付けられたユーザからの入力値により示された画素数だけ離れた画素を含むように初期領域を決定してもよい。
一方、入力画像のすべての画素が既に決定された適応的領域に含まれている場合（Ｓ２０９のＹｅｓ）、図３のステップＳ１０２の処理が実行される。
適応的領域分割部１１０は、上記のステップＳ２０１からステップＳ２０９までの処理を繰り返すことにより、入力画像を複数の適応的領域に分割する。
このように、ＰＳＦが類似する領域が１つの領域となるように入力画像を分割することにより、異なる動きをする被写体の像の境界と領域の境界とを一致させることが可能となる。
次に、上記の適応的領域分割部１１０による領域分割の処理の流れを、図５を用いて具体的に説明する。
図５は、本発明の実施の形態１に係る適応的領域分割部１１０による領域分割の処理の流れを説明するための図である。
まず、図５（ａ）に示すように、第１ＰＳＦ算出部１１１は、初期領域５０１を決定する。そして、第１ＰＳＦ算出部１１１は、初期領域５０１のＰＳＦである第１ＰＳＦ５０２（Ｐ１）を算出する。なお、ここでは初期領域５０１は矩形であるが、必ずしも初期領域５０１は矩形である必要はない。例えば、初期領域５０１は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
次に、図５（ｂ）に示すように、第２ＰＳＦ算出部１１３は、初期領域５０１を含む領域であり、かつ、初期領域５０１よりも大きな領域を評価領域５０３として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０３のＰＳＦを第２ＰＳＦ５０４（Ｐ２）として算出する。なお、ここでは評価領域５０３は矩形であるが、必ずしも評価領域５０３は矩形である必要はない。例えば、評価領域５０３は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨより小さいので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していると判定する。したがって、領域保持部１１２は、評価領域５０３を保持する。
次に、第２ＰＳＦ算出部１１３は、図５（ｃ）に示すように、評価領域５０３を含む領域であり、かつ、評価領域５０３よりも大きな領域を評価領域５０５として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０５のＰＳＦを第２ＰＳＦ５０６（Ｐ３）として算出する。
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０６とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨ以上であるので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していないと判定する。したがって、適応的領域決定部１１５は、領域保持部１１２により最後に保持された評価領域５０３を適応的領域として決定する。
次に、図５（ｅ）に示すように、第１ＰＳＦ算出部１１１は、決定された適応的領域に隣接する領域を初期領域５０７として決定する。
このように、初期領域の決定から適応的領域の決定までの処理を繰り返すことにより、適応的領域分割部１１０は、図５（ｆ）に示すように、入力画像を複数の適応的領域に分割する。
次に、ＰＳＦ補間部１２０によるＰＳＦを補間する処理の詳細について説明する。分割した領域間でＰＳＦのずれが生じる場合、ブレの境界ができてしまうため、補正後の目的画像は違和感のある画像となってしまう。そこで、ＰＳＦ補間部１２０は、補正後の目的画像の違和感を低減するために、以下に示すようにＰＳＦを補間する。
図６は、本発明の実施の形態１に係るＰＳＦ補間部１２０による処理（Ｓ１０２）の流れを示すフローチャートである。
まず、ＰＳＦ補間部１２０は、適応的領域分割部１１０により分割された複数の適応的領域ごとに算出される複数のＰＳＦの中から、少なくとも２つのＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。例えば、ＰＳＦ補間部１２０は、互いに隣接する２つの適応的領域のＰＳＦを選択する。
続いて、ＰＳＦ補間部１２０は、選択されたＰＳＦ群に含まれるＰＳＦ間において、対応する点である対応点を探索する（Ｓ３０２）。例えば、図７に示すように、２つのＰＳＦのそれぞれが１つの直線で表現される場合、ＰＳＦ補間部１２０は、２つのＰＳＦのそれぞれをＮ等分（Ｎは正の整数）する。そして、ＰＳＦ補間部１２０は、２つのＰＳＦ間において、Ｎ等分したＰＳＦを互いに対応付けることにより対応点を探索する。また、例えば、図８に示すように、２つのＰＳＦの少なくとも一方が１つの直線で表現されない場合、ＤＰマッチングにより対応点を探索すればよい。なお、ここで探索された対応点の組み合わせを対応関係と呼ぶ。
次に、ＰＳＦ補間部１２０は、探索された対応点間の距離を算出する（Ｓ３０３）。具体的には、ＰＳＦ補間部１２０は、図５のステップＳ２０６と同様に、例えばＬ１ノルム等を距離として算出する。Ｌ１ノルムを距離として算出する場合、Ｌ１ノルムが小さいほど類似度合いが高いことを示す。
次に、ＰＳＦ補間部１２０は、算出した距離が予め定められた閾値より小さいか否かを判定する（Ｓ３０４）。つまり、ＰＳＦ補間部１２０は、ＰＳＦ群に含まれるＰＳＦが互いに類似するか否かを判定する。
ここで、距離が予め定められた閾値以上であると判定された場合（Ｓ３０４のＮｏ）、ＰＳＦ補間部１２０は、ステップＳ３０６の処理を実行する。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しないと判定された場合、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間しない。すなわち、適応的領域内の各画素のＰＳＦは、当該適応的領域に対して算出されたＰＳＦで一様となる。
このように、ＰＳＦが互いに類似しないと判定された場合にＰＳＦ補間部１２０がＰＳＦを補間しないのは、互いに類似しないＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、それぞれ異なる動きをしている被写体の像である可能性が高いからである。すなわち、このように異なる被写体の像を含む複数の適応的領域においてＰＳＦが補間された場合、本来ありえない被写体の動きに対応するＰＳＦを補間することになりかねないからである。
一方、距離が予め定められた閾値より小さいと判定された場合（Ｓ３０２のＹｅｓ）、ＰＳＦ補間部１２０は、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する（Ｓ３０５）。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合、適応的領域の代表画素間に位置する画素のＰＳＦを補間する。つまり、ＰＳＦ補間部１２０は、各適応的領域内外の画素であって代表画素以外の画素のＰＳＦを、代表画素から距離及びＰＳＦの対応関係に基づいて補間する。具体的には、ＰＳＦ補間部１２０は、補間したい画素の位置と各代表画素との距離に応じて、ＰＳＦの対応関係に基づいた新たなＰＳＦを算出し、算出したＰＳＦを当該画素のＰＳＦとして補間する。
すなわち、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合にのみ、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する。これは、ＰＳＦが類似する場合、当該ＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、同様の動きをしている１つの被写体の像である可能性が高いからである。このように１つの被写体の像を含む複数の適応的領域間において、ＰＳＦ補間部１２０がＰＳＦを補間することにより、目的画像において、適応的領域の境界に生じる違和感を減少させることが可能となる。なお、ＰＳＦ補間部１２０は、線形補間、多項式補間又はスプライン補間等のいずれの補間方法により、ＰＳＦを補間してもよい。
続いて、ＰＳＦ補間部１２０は、すべてのＰＳＦがすでに選択されたか否かを判定する（Ｓ３０６）。ここで、ＰＳＦのいずれか１つでも選択されていない場合（Ｓ３０６のＮｏ）、ＰＳＦ補間部１２０は、まだ選択されていないＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。一方、すべてのＰＳＦが選択されている場合（Ｓ３０６のＹｅｓ）、図３のステップＳ１０３の処理が実行される。
このように、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、適応的領域のそれぞれを代表する画素間に位置する画素のＰＳＦを補間する。その結果、ＰＳＦ補間部１２０は、隣接する適応的領域の境界において、不自然にＰＳＦが大きく変化することを抑制することが可能となる。すなわち、画像補正部１３０は、適応的領域の境界において違和感のない目的画像を生成することが可能となる。
次に、第１ＰＳＦ算出部１１１による初期領域の決定に関する方法について説明する。初期領域が小さすぎる場合、第１ＰＳＦ算出部１１１は、テクスチャであるのか、又は、ブレであるのかを区別することが難しいため、ＰＳＦを算出することが難しい。一方、初期領域が大きすぎる場合、異なる動きをする被写体の像が初期領域に含まれる可能性が高いため、第１ＰＳＦ算出部１１１は、被写体の動きに応じたＰＳＦを算出することが難しい。そこで以下に、異なる動きをする複数の被写体の像が含まれないように、大きな領域から順に縮小しながら初期領域を決定する方法について説明する。
図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理（Ｓ２０１）の流れを示すフローチャートである。
まず、候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ４０１）。続いて、ブレ方向判定部１１１ｂは、選択した候補領域の画素値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等を用いて周波数空間に変換する（Ｓ４０２）。
そして、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ４０３）。画像空間において矩形波だったものは、周波数空間ではｓｉｎｃ関数（式（３））で表現される。
Figure 2010098054
したがって、画像のブレが単一方向である場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現される。逆に、画像のブレが単一方向でない場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現されずに複数の周波数成分が集合した周波数分布として表現される。そこで、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数を用いて表現できるか否かを判定することにより、候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
具体的には、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部１１１ｂは、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
そして、ブレ方向判定部１１１ｂは、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数で表現できないと判定する。
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、初期領域決定部１１１ｃは、候補領域を初期領域として決定する（Ｓ４０５）。
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、初期領域決定部１１１ｃは、候補領域を初期領域として決定しない。そこで、ブレ方向判定部１１１ｂは、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ４０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値であればよい。
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ４０４のＮｏ）、候補領域選択部１１１ａは、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ４０１）。
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ４０４のＹｅｓ）、初期領域決定部１１１ｃは、現在選択されている候補領域を初期領域として決定する（Ｓ４０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた被写体の像と考えられるので、初期領域決定部１１１ｃは、候補領域をさらに小さくすることなく、現在選択されている候補領域を初期領域として決定する。
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数で表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら初期領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない小さな領域を初期領域として決定することができる。
次に、上記の第１ＰＳＦ算出部１１１による初期領域を決定する処理の流れを、図１０を用いて具体的に説明する。
図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理の流れを説明するための図である。
まず、候補領域選択部１１１ａは、図１０（ａ）に示すように、まだ適応的領域として決定されていない領域であって、比較的大きな領域を候補領域６０１として選択する。なお、候補領域選択部１１１ａは、画像の全部を候補領域と選択してもよい。
次に、ブレ方向判定部１１１ｂは、候補領域６０１の画素値を離散フーリエ変換等により周波数成分に変換する。図１０（ｂ）は、変換された周波数成分を表す画像６０２を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｃ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換により得られた周波数成分を表す画像６０２との相関値を算出する。
候補領域６０１は複数のブレ方向を含むので、図１０（ｂ）に示す画像６０２は、周波数成分を示す点が縦横に広がった画像となっている。したがって、画像６０２とｓｉｎｃ関数に対応する画像との相関値は小さい。つまり、画像６０２と類似する、ｓｉｎｃ関数に対応する画像は存在しない。
したがって、ブレ方向判定部１１１ｂは、候補領域６０１のブレ方向は単一のブレ方向でないと判定する。そして、候補領域選択部１１１ａは、図１０（ｄ）に示すように、候補領域６０１より小さい領域を新たな候補領域６０３として選択する。そして、ブレ方向判定部１１１ｂは、候補領域６０３の画素値を離散フーリエ変換等を用いて周波数成分に変換する。図１０（ｅ）は、変換された周波数成分を表す画像６０４を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｆ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換を用いて得られた周波数成分を表す画像６０４との相関値を算出する。
候補領域６０３のブレ方向は単一のブレ方向であるので、図１０（ｅ）に示す画像６０４は、周波数成分を示す点が１つの直線に並んだ画像となっている。したがって、画像６０４とｓｉｎｃ関数に対応する画像との相関値は大きい。つまり、画像６０４と類似するｓｉｎｃ関数に対応する画像が存在する。したがって、ブレ方向判定部１１１ｂは、候補領域６０３のブレ方向が単一のブレ方向であると判定する。そして、初期領域決定部１１１ｃは、候補領域６０３を初期領域として決定する。
このように、第１ＰＳＦ算出部１１１は、ｓｉｎｃ関数で表現できるか否かを判断基準として初期領域を決定することにより、テクスチャによるグラデーションであるのか、又はブレによるグラデーションであるのかを判定することが可能となる。
以上のように、本実施の形態に係る画像補正装置１００は、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置１００は、ブレが共通する領域ごとにＰＳＦを用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、画像補正装置１００は、領域ごとに算出されるＰＳＦを用いて代表画素間に位置する画素のＰＳＦを補間することができるので、分割された領域の境界においてＰＳＦが不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。また、画像補正装置１００は、入力画像以外の画像を用いなくても、入力画像を補正することが可能となる。
また、画像補正装置１００は、ＰＳＦが類似する領域が１つの適応的領域となるように入力画像を適応的領域に分割することができる。したがって、画像補正装置１００は、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した領域に分割することが可能となる。すなわち、画像補正部１３０が被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、画像補正装置１００は、よりブレの少ない目的画像を生成することが可能となる。
また、画像補正装置１００は、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、画像補正装置１００は、被写体像のブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しない適応的領域に対してＰＳＦを補間しない。したがって、ＰＳＦ補間部１２０は、互いに異なる動きをしている被写体像の境界に対してＰＳＦを補間する可能性を低減させることが可能となる。すなわち、ＰＳＦ補間部１２０は、実際の被写体の動きとは異なる動きに対応するＰＳＦを補間する可能性を低減させることが可能となる。
なお、本実施の形態において、適応的領域分割部１１０は、ＰＳＦが類似する領域が１つの領域となるように適応的領域を決定していたが、本発明が適用される画像補正装置１００は、このような画像補正装置に限定されるものではない。例えば、適応的領域分割部１１０は、類似するテクスチャは同じ動きをする可能性が高いという先見的知識を利用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。また、適応的領域分割部１１０は、例えば、コンピュータビジョン分野において利用される領域分割手法（例えばグラフカットなど）も併用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。これにより、適応的領域分割部１１０は、柔軟なテクスチャ分割が可能になる。
また、複数枚の画像において動きが小さいなどの入力画像の特性がわかっている場合（集合写真のように動きが少ない場合）、画像補正装置１００は、露光時間を長くして撮影された複数枚の画像から動きのある領域のみを画像間差分などを用いて抽出し、抽出した領域についてのみ上述したＰＳＦ補間及び画像補正を行ってもよい。これにより、画像補正装置１００は、トータルの計算コスト、メモリコスト等を削減できる。
また、本実施の形態において、第１ＰＳＦ算出部１１１は、候補領域を縮小しながら初期領域を決定していたが、例えば、入力画像の露光時間に対応する、予め定められた大きさの領域を、初期領域として決定してもよい。この場合、データ記憶部１０６には、露光時間と領域の大きさとを対応付けたテーブルが格納されていることが好ましい。そして、第１ＰＳＦ算出部１１１は、データ記憶部１０６に格納されたテーブルを参照することにより、入力画像の露光時間に対応した領域の大きさを取得し、取得した大きさの領域を初期領域として決定することが好ましい。
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
実施の形態２に係る画像補正装置２００と実施の形態１に係る画像補正装置１００とは、プログラム格納部１０７が備える適応的領域分割部の構成が異なるが、他の構成要素については同じである。したがって、以下において、実施の形態１と同一の構成となるブロック図及び同一の処理の流れのとなるフローチャートについては、図示及び説明を省略する。また、実施の形態１の構成要素と同一の機能を有する構成要素には同一の符号を付し、説明を省略する。
図１１は、本発明の実施の形態２に係るプログラム格納部１０７の機能構成を示すブロック図である。
本実施の形態に係る適応的領域分割部２１０は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。図１１に示すように、適応的領域分割部２１０は、候補領域選択部２１１と、ブレ方向判定部２１２と、適応的領域決定部２１３と、ＰＳＦ算出部２１４とを備える。
候補領域選択部２１１は、入力画像の全部又は一部の領域である候補領域を決定する。また、候補領域選択部２１１は、ブレ方向判定部２１２により単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
ブレ方向判定部２１２は、候補領域選択部２１１により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
適応的領域決定部２１３は、ブレ方向判定部２１２により単一のブレ方向であると判定された場合、候補領域を適応的領域として決定する。つまり、適応的領域決定部２１３は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。
ＰＳＦ算出部２１４は、適応的領域決定部２１３により決定された適応的領域のＰＳＦを算出する。
次に、以上のように構成された適応的領域分割部２１０の動作について説明する。
図１２は、本発明の実施の形態２に係る適応的領域分割部２１０の処理（Ｓ１０１）の流れを示すフローチャートである。
まず、候補領域選択部２１１は、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ５０１）。続いて、ブレ方向判定部２１２は、選択した候補領域の画素値を離散フーリエ変換等により周波数空間に変換する（Ｓ５０２）。
そして、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ５０３）。つまり、ブレ方向判定部２１２は、候補領域においてブレ方向が単一であるか否かを判定する。
具体的には、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部２１２は、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
そして、ブレ方向判定部２１２は、複数のｓｉｎｃ関数のうち、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できないと判定する。
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、適応的領域決定部２１３は、候補領域を適応的領域として決定する（Ｓ５０５）。
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、適応的領域決定部２１３は、候補領域を適応的領域として決定しない。そこで、ブレ方向判定部２１２は、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ５０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値を利用すればよい。
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ５０４のＮｏ）、候補領域選択部２１１は、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ５０１）。
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ５０４のＹｅｓ）、適応的領域決定部２１３は、現在選択されている候補領域を適応的領域として決定する（Ｓ５０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた単一の被写体の像と考えられるので、適応的領域決定部２１３は、候補領域をさらに小さくすることなく、現在選択されている候補領域を適応的領域として決定する。
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数を用いて表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら適応的領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない領域を適応的領域として決定することができる。
なお、上記のように領域を縮小しながら適応的領域を決定する際に、単一のブレ方向であるか否かを判断基準に用いるのは、初めに比較的大きな領域を候補領域として選択するため、動く方向が異なる複数の被写体の像が領域内に含まれている可能性が高いからである。すなわち、領域を縮小しながら適応的領域を決定する際にＰＳＦの類似度を判断基準に適応的領域を決定した場合、異なるブレ方向のＰＳＦを含む領域を適応的領域として決定してしまう可能性が高いからである。
以上のように、本実施の形態に係る画像補正装置２００は、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、画像補正装置２００は、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
以上、本発明に係る画像補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態に係る画像補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。具体的には、システムＬＳＩは、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。さらに具体的には、例えば、図１３に示すように、適応的領域分割部１１０、ＰＳＦ補間部１２０、画像補正部１３０は、１個のシステムＬＳＩ３００から構成されてもよい。
また、本発明は、上記実施の形態に係る画像補正装置と、光学系及び撮像素子等からなる撮影部とを備える画像撮影装置として実現されてもよい。
本発明に係る画像補正装置等は、高精度の被写体ブレ補正機能を有し、デジタルスチルカメラ又はセキュリティカメラの高感度化を実現できるため、夜間での撮影、暗環境におけるカメラによる警備等として有用である。
１００、２００ 画像補正装置
１０１ 演算制御部
１０２ メモリ部
１０３ 表示部
１０４ 入力部
１０５ 通信Ｉ／Ｆ部
１０６ データ記憶部
１０７ プログラム格納部
１０８ バス
１１０、２１０ 適応的領域分割部
１１１ 第１ＰＳＦ算出部
１１１ａ、２１１ 候補領域選択部
１１１ｂ、２１２ ブレ方向判定部
１１１ｃ 初期領域決定部
１１２ 領域保持部
１１３ 第２ＰＳＦ算出部
１１４ 類似度判定部
１１５、２１３ 適応的領域決定部
１２０ ＰＳＦ補間部
１３０ 画像補正部
２１４ ＰＳＦ算出部
３００ システムＬＳＩ
４００ カメラ

Claims (13)

  1. 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、
    前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
    算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
    補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
    画像補正装置。
  2. 前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する
    請求項１に記載の画像補正装置。
  3. 前記適応的領域分割部は、
    前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、
    前記初期領域を保持領域として保持する領域保持部と、
    前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、
    前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、
    前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
    前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、
    前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出する
    請求項２に記載の画像補正装置。
  4. 前記第１点広がり関数算出部は、
    前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
    前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
    前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、
    前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
    請求項３に記載の画像補正装置。
  5. 前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する
    請求項１に記載の画像補正装置。
  6. 前記適応的領域分割部は、
    前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
    前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
    前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
    前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
    請求項５に記載の画像補正装置。
  7. 前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数を用いて当該少なくとも２つの点広がり関数を互いに対応付けることにより得られる対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    請求項１に記載の画像補正装置。
  8. 前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    請求項７に記載の画像補正装置。
  9. 前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    請求項１に記載の画像補正装置。
  10. 前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    請求項９に記載の画像補正装置。
  11. 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正方法であって、
    前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割ステップと、
    算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間ステップと、
    補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正ステップとを含む
    画像補正方法。
  12. 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する集積回路であって、
    前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
    算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
    補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
    集積回路。
  13. 請求項１１に記載の画像補正方法をコンピュータに実行させるためのプログラム。
JP2010533363A 2009-02-25 2010-02-22 画像補正装置及び画像補正方法 Active JP5331816B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010533363A JP5331816B2 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009042741 2009-02-25
JP2009042741 2009-02-25
PCT/JP2010/001115 WO2010098054A1 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法
JP2010533363A JP5331816B2 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法

Publications (2)

Publication Number Publication Date
JPWO2010098054A1 true JPWO2010098054A1 (ja) 2012-08-30
JP5331816B2 JP5331816B2 (ja) 2013-10-30

Family

ID=42665272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010533363A Active JP5331816B2 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法

Country Status (5)

Country Link
US (1) US8422827B2 (ja)
EP (1) EP2403235B1 (ja)
JP (1) JP5331816B2 (ja)
CN (1) CN102017607B (ja)
WO (1) WO2010098054A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155456A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法
JP5674532B2 (ja) * 2011-03-31 2015-02-25 富士フイルム株式会社 撮像装置、画像処理方法及び画像処理装置
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
JP2013005258A (ja) * 2011-06-17 2013-01-07 Panasonic Corp ブレ補正装置、ブレ補正方法及び帳票
US9124797B2 (en) 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
US20160213353A1 (en) * 2011-10-28 2016-07-28 Hironari Masui Ultrasound imaging apparatus, ultrasound imaging method and ultrasound imaging program
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
CN102789574B (zh) * 2012-07-02 2015-07-29 湖北微驾技术有限公司 基于三棱镜光学传感器的指纹图像几何矫正算法
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
US9589328B2 (en) * 2012-11-09 2017-03-07 Nikon Corporation Globally dominant point spread function estimation
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템
US10165263B2 (en) * 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
US11282176B2 (en) * 2017-01-12 2022-03-22 Intel Corporation Image refocusing
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN111476746A (zh) * 2020-03-19 2020-07-31 航天信德智图（北京）科技有限公司 一种基于ihs变换与自适应区域特征的遥感图像融合方法
US20230319401A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
JP2001197355A (ja) 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
EP1708136A1 (en) 2004-01-15 2006-10-04 Matsushita Electric Industrial Co., Ltd. Measuring method for optical transfer function, image restoring method, and digital imaging device
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006221347A (ja) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology ぶれ情報検出方法
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
US7991240B2 (en) * 2007-09-17 2011-08-02 Aptina Imaging Corporation Methods, systems and apparatuses for modeling optical images
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality

Also Published As

Publication number Publication date
US8422827B2 (en) 2013-04-16
CN102017607A (zh) 2011-04-13
EP2403235B1 (en) 2014-07-09
US20110033132A1 (en) 2011-02-10
JP5331816B2 (ja) 2013-10-30
WO2010098054A1 (ja) 2010-09-02
EP2403235A1 (en) 2012-01-04
EP2403235A4 (en) 2013-01-16
CN102017607B (zh) 2013-12-25

Similar Documents

Publication Publication Date Title
JP5331816B2 (ja) 画像補正装置及び画像補正方法
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2008176735A (ja) 画像処理装置及び方法
JP2011119802A (ja) 画像処理装置、画像処理方法
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5388072B2 (ja) モーションブラー制御装置、方法、及びプログラム
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP2022180569A (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2010016470A (ja) 画像復元方法、画像復元プログラム、および画像復元装置
JP2016184888A (ja) 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6381212B2 (ja) 撮像装置及びその制御方法
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP4763415B2 (ja) 画像処理装置
JP2018180964A (ja) 画像処理装置及び画像処理方法
JP6566780B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6194793B2 (ja) 画像補正装置、画像補正方法及び画像補正プログラム
JP2021096460A (ja) 像ブレ補正装置及びその制御方法、プログラム
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5331816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250