JP5013491B2

JP5013491B2 - 画像処理装置、画像処理方法、記録媒体

Info

Publication number: JP5013491B2
Application number: JP2009033952A
Authority: JP
Inventors: 圭介布施
Original assignee: ソーバル株式会社
Priority date: 2009-02-17
Filing date: 2009-02-17
Publication date: 2012-08-29
Anticipated expiration: 2029-02-17
Also published as: JP2010191587A

Description

本発明は、ブレ補正によって生じた擬似輪郭を検出し、軽減させる装置に関する。

カメラ等の撮影装置で撮影すると、撮影装置が動くことによる手ブレや被写体が動くことによる被写体ブレなどが生じることがある。これらのブレを事後的に補正する手段としては、例えば特許文献１に開示されているように、ブレ補正アルゴリズムによってブレ方向やブレ幅を検出して、ブレ画像を補正する方法がある。

特開２００６−９３９９２

しかし、コンピュータ等の離散化処理やアルゴリズムで用いられる仮定条件に起因して、視覚的に不自然な部分が画像上の一部に生じてしまうことがある。特に画素値が周囲の画素値よりも極端に大きい画素や小さい画素が一定方向に連なっている場合は擬似輪郭であると認識されてしまう。よって、これらのブレ補正に起因する擬似輪郭を事後的に取り除くことが課題としてあった。

以上の課題を解決するため、本発明は、ブレ補正を行った画像の信号を取得する一次補正画像信号取得部と、前記ブレ補正を行った際に利用したブレ方向及びブレ幅などの情報であるブレ補正情報を取得するブレ補正情報取得部と、前記ブレ補正における演算処理に起因して一定周期で発生する擬似輪郭を前記ブレ補正情報を利用して検出する擬似輪郭検出部と、前記擬似輪郭を構成する画素である擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる擬似輪郭軽減部と、前記擬似輪郭軽減部による処理が行われた後の画像を出力する二次補正画像出力部と、を有する画像処理装置を提供する。

本発明の画像処理装置により、ブレ補正によって生じてしまった擬似輪郭を検出し、軽減させることが可能になる。

実施例１に係る画像処理装置の概要を示す図実施例１に係る画像処理装置の機能ブロックの一例を示す図擬似輪郭が発生するプロセスの一例を示す図実施例１に係る画像処理装置により擬似輪郭を軽減する処理の概要を示す図実施例１に係る画像処理装置のハードウェア構成の一例を示す概略図実施例１に係る画像処理装置における処理の流れの一例を示す図実施例２に係る画像処理装置の機能ブロックの一例を示す図ブレ方向で画素値が極値的になる画素である極値画素の一例を示す図実施例２に係る画像処理装置における擬似輪郭検出ステップの一例を示す図実施例３に係る画像処理装置の機能ブロックの一例を示す図実施例３に係る画像処理装置における擬似輪郭検出ステップの一例を示す図実施例４に係る画像処理装置の機能ブロックの一例を示す図実施例４に係る画像処理装置における擬似輪郭検出ステップの一例を示す図実施例５に係る画像処理装置の機能ブロックの一例を示す図真の輪郭に部分的に沿って発生する擬似輪郭画素の一例を示す図実施例５に係る画像処理装置における擬似輪郭検出ステップの一例を示す図実施例６に係る画像処理装置の機能ブロックの一例を示す図実施例６に係る画像処理装置における擬似輪郭軽減ステップの一例を示す図

以下に、本発明の実施例を説明する。実施例と請求項の相互の関係は、以下のとおりである。実施例１、２は主に請求項１、請求項６、請求項１１などに関し、実施例３は主に請求項２、請求項７、請求項１２などに関し、実施例４は主に請求項３、請求項８、請求項１３などに関し、実施例５は主に請求項４、請求項９、請求項１４などに関し、実施例６は主に請求項５、請求項１０、請求項１５などに関する。なお、本発明はこれら実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施しうる。

<概要>
図１では、高速で飛び立つジェット機を撮影した際のブレ画像と、当該ブレ画像に対してブレ補正を行った後のブレ補正画像を示している。ブレ補正によって、ブレの影響は少なくなったものの、本来存在しないはずの擬似輪郭がジェット機の輪郭の一部に沿って生じている。当該擬似輪郭はブレ補正に伴う演算処理によって副次的に発生するものであり、取り除くことが好ましい。本実施例の画像処理装置は、ブレ補正を行った画像における擬似輪郭を検出し、擬似輪郭を軽減させる機能を有するものである。

<構成>
図２は、本実施例の画像処理装置の機能ブロックの一例を示す図である。本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両者、のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メインメモリ、バス、インターフェイス、周辺機器などから構成されるハードウェアと、これらのハードウェア上にて実現可能なソフトウェアを挙げることができる。具体的には、メインメモリ上に展開されたプログラムを順次実行することで、メインメモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。

同図において、本実施例の「画像処理装置」０２００は、「一次補正画像信号取得部」０２０１と、「ブレ補正情報取得部」０２０２と、「擬似輪郭検出部」０２０３と、「擬似輪郭軽減部」０２０４と、「二次補正画像出力部」０２０５とからなる。なお、本発明は、装置として実現できるのみでなく、方法としても実現可能である。（本明細書の全体を通して同様である。）

「一次補正画像信号取得部」は、ブレ補正を行った画像の信号を取得するように構成されている。ここで、画像の信号には、例えば画素数や各画素における画素値の信号が含まれる。画素値としては、光の三原色（赤、青、緑）や色の三原色（シアン、マゼンタ、イエロー）の輝度値の他に、彩度、透明度等も同様に考えられる。
画像の信号を取得する方法としては、デジタルデータ化された画像信号をインターフェイスを介して受け付け、ビデオメモリ等の記憶装置に格納する方法が考えられる。
なお、一次補正画像信号が、画像処理装置の内部の記憶装置に既に存在する場合は、当該内部の記憶装置から取得する。また、一次補正画像信号と合わせてブレ補正前の画像信号を取得する構成とすることも可能である。
ここで、ブレ補正を行った画像の信号を取得することができない場合は、ディスプレイ等を介して画像信号の入力を促す処理を行うことも可能である。

「ブレ補正情報取得部」は、前記ブレ補正を行った際に利用したブレ方向及びブレ幅などの情報であるブレ補正情報を取得するように構成されている。当該ブレ補正情報は、計算処理によって算出された情報であってもよいし、ユーザによって入力させた情報であってもよい。また、ブレ補正情報には、ブレ補正後からブレ補正前の画素値の差である一次補正値の情報を含む構成とすることも可能である。
ブレ方向及びブレ幅の情報としては、例えば手ブレ等による画像全体の一様なブレの情報として、「ブレ方向＝４５°、ブレ幅＝８ピクセル、範囲＝全領域」といったものが考えられる。また、複数の被写体ブレのブレ方向、ブレ幅の情報等も同様に考えられる。また、ブレ方向、ブレ幅を算出する際に用いられる種々のパラメータの情報を含む構成も可能である。

「擬似輪郭検出部」は、前記ブレ補正における演算処理に起因して一定周期で発生する擬似輪郭を前記ブレ補正情報を利用して検出するように構成されている。
ここで、擬似輪郭が発生する際のプロセスの一例を図３にて示した。この概念図は、横軸をブレ方向の座標、縦軸を画素値で表している。図３（Ａ）はブレ補正前の画像、図３（Ｂ）は理想的なブレ補正を行った画像、図３（Ｃ）は現実のブレ補正を行った画像を示している。図３（Ｃ）ではブレ幅を大きく見積もりすぎたため、実際に存在する輪郭部分の画素値を理想値よりも小さい値として算出し、右に続く第一の谷、第二の谷においても画素値が理想値より小さい値となっている。つまり、これらの部分の画素は周囲の画素との画素値の差が大きいため輪郭として認識されることになる。また、ブレ補正において補正値の拡散パラメータ（周囲の画素に対して補正値を拡散させる程度）が画像に適していない場合にも、実際に存在する輪郭部分の画素値が理想値よりも小さい値となり、複数の輪郭が隣接して発生することになる。

これらの波成分はブレ補正によって生じるものであるため、ブレ補正の逆演算（ブレ画像に戻す処理）を行うと打ち消し合って、画像上では認識されないものである。当該波の特徴として、ブレ補正の逆演算によって消滅する成分であることから、ブレ幅の周期又はブレ幅を整数で割った長さの周期を有するものである。

上記のブレ幅周期等の波が本来の画像の画素値の情報を示しているならば問題ないが、ブレ補正によって生じてしまう擬似的なものである場合は取り除く必要がある。

ブレ補正情報を利用して擬似輪郭を検出する方法としては、例えばブレ方向で画素値が極値的になる極値画素とブレ方向の近隣画素との差分値が所定の閾値よりも大きいか否か判定条件とする方法が考えられる（実施例２にて詳述する）。また、極値画素のブレ方向の発生周期がブレ補正を行う際に利用した特徴値と関連するか否かを判定条件として加える方法が考えられる（実施例３にて詳述する）。また、ブレ方向以外に極値画素が連続的に存在する場合は真の輪郭を構成する画素の可能性が高いため、擬似輪郭の候補から除外し、検出精度を向上させることも可能である（実施例４にて詳述する）。さらに、擬似輪郭は真の輪郭に沿って発生する可能性が高いため、極値画素が真の輪郭に沿って非連続的に発生するか否かを判定条件として加える方法も考えられる（実施例５にて詳述する）。

「擬似輪郭軽減部」は、前記擬似輪郭を構成する画素である擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させるように構成されている。
ここで、擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる処理としては、例えば、図４に示すように擬似輪郭として検出される谷及び山の部分の幅を減らすように平均化処理を行うことが考えられる。当該平均化処理によって、擬似輪郭として認識される程度が低くなる。また、ブレ補正を行った際に利用したブレ補正情報を用いて平滑化処理を行うことも可能である（実施例６にて詳述する）。

「二次補正画像出力部」は、前記擬似輪郭軽減部による処理が行われた後の画像を出力するように構成されている。画像を出力する構成としては、例えばディスプレイ等の表示装置に画像信号を出力する構成や、フラッシュメモリ等の記憶装置に種々のファイル形式で出力する構成も可能である。また、画像を出力する際に、擬似輪郭の検出処理、軽減処理等の情報を合わせて出力する構成も可能である。また、検出処理の情報をユーザに対してディスプレイ等を介して提示し、軽減処理を行う必要のない部分の入力を受け付ける構成とすることも可能である。この場合、当該入力情報に基づいて、擬似輪郭軽減部は再処理を行うことになる。

<具体的な構成>
次に、本実施例の画像処理装置のそれぞれのハードウェア構成部の働きについて説明する。図５は、本実施例の装置のハードウェア構成の一例を示す概略図である。この図を利用して、画像処理装置のそれぞれのハードウェア構成部の働きについて説明する。
この図にあるように、画像処理装置は、「ＣＰＵ」０５０１と「メインメモリ」０５０２を備え、一次補正画像信号取得部やブレ補正情報取得部、擬似輪郭検出部、擬似輪郭軽減部、二次補正画像出力部としての機能を有する。また、プログラム等を保持するための「記憶装置」０５００３を備えている。また、外部からのデータ信号の入力を受け付ける「インターフェイス」０５０４を備える。また、受付けた入力画像をメインメモリで処理可能なデータに変換する「ビデオメモリ」０５０５、画像を出力表示可能な「ディスプレイ」０５０６を備える。これらは「システムバス」０５０７などによって相互に接続され、情報の送受信や処理を行う。

記憶装置はＣＰＵによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがＣＰＵによって実行される際の作業領域であるワーク領域を提供する。また、このメインメモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、ＣＰＵで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。また、以下の説明では、プログラムは予めメインメモリのワーク領域に展開して常駐させておく構成としているが、必要な場合に記憶装置から適宜呼び出す構成とすることも可能である。

ＣＰＵは一次補正画像信号取得プログラムを実行し、ブレ補正を行った画像の信号がメインメモリ上に存在するか否か判断する。ここで、メインメモリ上に存在しない場合は内部の記憶装置から取得可能か否か判断する。内部の記憶装置からブレ補正後の画像信号が取得可能な場合はメインメモリの所定のアドレスに格納する。また、内部の記憶装置にも取得可能なブレ補正後の画像信号が存在しない場合は、インターフェイスを介して外部の機器等から取得可能か否か判断する。外部の機器等からブレ補正後の画像信号を取得可能と判断した場合は、メインメモリの所定のアドレスに格納する。また、ブレ補正後の画像信号が取得可能でないと判断した場合は、ディスプレイ等を介して画像信号の入力を促すための処理を行う。

次にＣＰＵはブレ補正情報取得プログラムを実行し、取得したブレ補正後の画像信号と関連づけられたブレ補正情報がメインメモリ上に存在するか否か判断する。ここで、メインメモリ上に存在しない場合は内部の記憶装置から取得可能か否か判断する。内部の記憶装置から当該ブレ補正情報が取得可能な場合はメインメモリの所定のアドレスに格納する。また、内部の記憶装置にも取得可能な上記ブレ補正情報が存在しない場合は、インターフェイスを介して外部の機器等から取得可能か否か判断する。外部の機器等からブレ補正情報を取得可能と判断した場合は、メインメモリの所定のアドレスに格納する。また、ブレ補正情報が取得可能でないと判断した場合は、ディスプレイ等を介してブレ補正情報の入力を促すための処理を行う。

次にＣＰＵは擬似輪郭検出プログラムを実行し、ブレ方向及びブレ幅の情報を利用して、ブレ方向についてブレ幅周期又はブレ幅を整数で割った長さの周期で発生する画素値の極小値の部分を検出し、処理結果をメインメモリの所定のアドレスに格納する。

次にＣＰＵは擬似輪郭軽減プログラムを実行し、擬似輪郭検出プログラムで検出されたブレ幅周期等を有する画素値の波の山と谷の画素値の幅が少なくさせるための処理を行う。ここで、当該平滑化処理を行う際に、画素値の総和が変化しないような制限を設ける構成とすることも可能である。

次にＣＰＵは二次補正画像出力プログラムを実行し、擬似輪郭が軽減された画像を出力するための処理を行い、処理結果をディスプレイに出力する。具体的には、出力データをビデオメモリに伝送し、ビデオメモリにおいてディスプレイで表示可能な信号に変換する。

<処理の流れ>
図６に示すのは、本実施例の画像処理装置における処理の流れの一例を説明するためのフローチャート図である。同図の処理の流れは以下のステップからなる。最初に、ステップＳ０６０１では、ブレ補正を行った画像の信号を取得可能か否か判断する。ここでの判断が、取得可能との判断である場合は、ステップＳ０６０２に進む。ここでの判断が、取得可能でないとの判断である場合は、待機する。ステップＳ０６０２では、ブレ補正を行った画像の信号を取得する。この処理は、主に一次補正画像信号取得部によって実行される。ステップＳ０６０３では、ブレ補正情報を取得可能か否か判断する。ここでの判断が、取得可能との判断である場合は、ステップＳ０６０４に進む。ここでの判断が、取得可能でないとの判断である場合は、待機する。ステップＳ０６０４では、ブレ補正情報を取得する。この処理は、主にブレ補正情報取得部によって実行される。ステップＳ０６０５では、一定周期で発生する擬似輪郭をブレ補正情報を利用して検出する。この処理は、主に擬似輪郭検出部によって実行される。ステップＳ０６０６では、擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる。この処理は、主に擬似輪郭軽減部によって実行される。ステップＳ０６０７では、擬似輪郭を軽減する処理が行われた画像を出力する。この処理は、主に二次補正画像出力部によって実行される。

以上の処理は、方法、計算機に実行させるためのプログラム、またはこのプログラムが記録された読み取り可能な記録媒体として実施され得る（本明細書の全体を通して同様である）。

<効果>
以上のように、本実施例の画像処理装置は、ブレ補正後の画像について、ブレ補正によって生じる擬似輪郭を検出し、その輪郭を軽減させることが可能である。

<概要>
本実施例の画像処理装置は、実施例１と同様に、ブレ補正後の画像について、ブレ補正によって副次的に発生してしまう擬似輪郭を検出し、その輪郭を軽減させることが可能である。さらに、本実施例の画像処理装置は、ブレ方向で画素値が極値的になる画素とその近隣画素との差分値の絶対値に基づいて擬似輪郭を検出することを特徴とする。

<構成>
図７は、本実施例の画像処理装置の機能ブロックの一例を示す図である。同図において、本実施例の「画像処理装置」０７００は、「一次補正画像信号取得部」０７０１と、「ブレ補正情報取得部」０７０２と、「擬似輪郭検出部」０７０３と、「擬似輪郭軽減部」０７０４と、「二次補正画像出力部」０７０５とからなり、「擬似輪郭検出部」は、「差分値算出手段」と「絶対値判定手段」と、「第一次擬似輪郭画素選出手段」を有する。構成は基本的に実施例１に記載の装置の構成と同じであるため、相違点となる差分値算出手段と、絶対値判定手段と、第一次擬似輪郭画素選出手段について以下詳述する。

「差分値算出手段」は、ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出するように構成されている。
図８は、ブレ方向の座標を横軸として縦軸に画素値を表したものである。ブレ方向で画素値が極値的になる画素とは、極大値又は極小値に対応する画素値を有する画素である。つまり、ブレ方向における所定の画素範囲内で画素値が最大値又は最小値となる画素である。

極値画素とブレ方向の近隣画素との差分値は、例えば極値画素と隣接する両隣の画素との差分値を算出する構成も可能であるし、左右それぞれ３ピクセル離れた画素との差分値を算出する構成や左右複数の画素との差分値を算出する構成も可能である。例えば、精度の高い画像の場合は左右それぞれ３ピクセル離れた位置にある画素との差分値を算出し、精度の低い画像の場合は左右に隣接する画素との差分値を算出するといったものである。
当該構成は適宜画像に合わせて変更可能な構成とすることも可能であるし、画像の精度に合わせて自動的に設定される構成とすることも可能である。

「絶対値判定手段」は、前記差分値の絶対値が所定の閾値よりも大きいか否か判定するように構成されている。一般的に極値画素とブレ方向の近隣画素との差分値の絶対値が大きい場合は、極値画素は暗い輪郭又は明るい輪郭と視覚的に認識されることになる。
ここで、所定の閾値としては、差分値を算出する画素間の距離によって変化させる構成が可能である。例えば、画素間の距離が長いほど大きな閾値を設定し、画素間の距離が短いほど小さな閾値を設定するといったものである。また、極値画素と左右両方の近隣画素との差分値の絶対値が所定の閾値よりも大きいことを条件としても良いし、いずれか一方の近隣画素との差分値の絶対値が所定の閾値よりも大きいことを条件とすることも可能である。なお、擬似輪郭の高い検出精度を得るために前者の判定条件を用いることが好ましい。

「第一次擬似輪郭画素選出手段」は、前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出するように構成されている。
図８の例で説明すると、極小値にあたる部分の画素と近隣画素との差分値の絶対値は所定の閾値よりも大きいため第一次擬似輪郭画素として選出され、極大値にあたる部分の画素と近隣画素との差分値の絶対値は所定の閾値よりも小さいため第一次擬似輪郭画素としては選出されない、といったものである。
選出された第一次擬似輪郭画素に対して実施例１で説明する擬似輪郭軽減部による処理を行う。なお、さらに条件を加えて絞り込んだ擬似輪郭画素に対して擬似輪郭軽減部による処理を行うことも可能である（実施例３、４、５にて詳述する）。

<具体的な構成>
本実施例の画像処理装置のハードウェア構成は、基本的に図５を用いて説明した実施例１の装置のハードウェア構成と共通する。ただし、本実施例の画像処理装置は、擬似輪郭検出プログラムが差分値算出ルーチンと絶対値判定ルーチンと第一次擬似輪郭画素選出ルーチンを有する点を特徴とする。以下、当該特徴点について詳述する。

ＣＰＵは差分値算出ルーチンを実行し、各画素の画素値データを参照して、ブレ方向における極値画素を探索し、極値画素とブレ方向の近隣画素との差分値を算出して、処理結果をメインメモリの所定のアドレスに格納する。

次にＣＰＵは絶対値判定ルーチンを実行し、差分値算出ルーチンの処理結果により得られた差分値データを参照して、各差分値の絶対値が所定の閾値よりも大きいか否かを判定し、処理結果をメインメモリの所定のアドレスに格納する。

次にＣＰＵは第一次擬似輪郭画素選出ルーチンを実行し、絶対値判定ルーチンの処理結果のデータを参照して、判定条件を満たす極値画素を第一次擬似輪郭画素として配列化し、処理結果をメインメモリの所定のアドレスに格納する。

<処理の流れ>
本実施例の画像処理装置における処理の流れは図６で説明した実施例１の処理の流れと同様である。ただし、本実施例の画像処理装置の擬似輪郭を検出する処理（図６のステップＳ０６０５）は、図９に示すように、差分値算出サブステップと、絶対値判定サブステップと、第一次擬似輪郭画素選出サブステップとからなる。差分値算出サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する。絶対値判定サブステップでは、前記差分値の絶対値が所定の閾値よりも大きいか否か判定する。第一次擬似輪郭画素選出サブステップでは、前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する。

<効果>
以上のように、本実施例の画像処理装置は、実施例１と同様に、ブレ補正を行った画像に対して、ブレ補正によって副次的に発生してしまう擬似輪郭を検出し、その輪郭を軽減させることが可能である。さらに、本実施例の画像処理装置は、ブレ方向で画素値が極値的になる画素とその近隣画素との差分値の絶対値に基づいて擬似輪郭を検出するため、より高い検出精度が期待できる。

<概要>
本実施例の画像処理装置は、実施例２と同様に、ブレ補正を行った画像に対して、極値画素とブレ方向の近隣画素との差分値に基づいて、高い精度で擬似輪郭を検出することが可能である。さらに、本実施例の画像処理装置は、上記で選出された第一次擬似輪郭画素のうち、ブレ幅等の特徴値と関連するものを第二次擬似輪郭画素として選出することが可能になるため、さらに高い精度で擬似輪郭を検出することが可能になる。

<構成>
図１０は、本実施例の画像処理装置の機能ブロックの一例を示す図である。同図において、本実施例の「画像処理装置」１０００は、「一次補正画像信号取得部」１００１と、「ブレ補正情報取得部」１００２と、「擬似輪郭検出部」１００３と、「擬似輪郭軽減部」１００４と、「二次補正画像出力部」１００５とからなり、「擬似輪郭検出部」は、「差分値算出手段」と「絶対値判定手段」と、「第一次擬似輪郭画素選出手段」と、「発生周期算出手段」と、「発生周期判定手段」と、「第二次擬似輪郭画素選出手段」とを有する。構成は基本的に実施例１に記載の装置の構成と同じであるため、相違点となる発生周期算出手段と、発生周期判定手段と、第二次擬似輪郭画素選出手段について以下詳述する。

「発生周期算出手段」は、前記第一次擬似輪郭画素のブレ方向の発生周期を算出するように構成されている。具体的には、ブレ方向の第一次擬似輪郭画素間の距離を算出することが考えられる。なお、第一次擬似輪郭画素のうち、近隣画素に対する画素値の比率が所定範囲内で近似する画素に限って画素間の距離を算出する構成とすることも可能である。

「発生周期判定手段」は、前記発生周期が前記ブレ補正を行う際に利用した特徴値と関連するか否かをブレ補正情報を利用して判定するように構成されている。ここで、ブレ補正を行う際に利用した特徴値としてはブレ幅又はブレ幅を整数値で割った値等が挙げられる。実施例１で説明したように、ブレ幅又はブレ幅を整数で割った値の周期を有する波はブレ補正の逆演算を行うと打ち消される成分であるため、ブレ補正において一定の自由度を有する成分であるといえる。よって、第一次擬似輪郭画素のうち、ブレ方向の発生周期がブレ幅又はブレ幅を整数で割った値である場合は、擬似輪郭を構成する画素である可能性が高い。

「第二次擬似輪郭画素選出手段」は、前記発生周期が前記特徴値と関連する第一次擬似輪郭画素を第二次擬似輪郭画素として選出するように構成されている。選出された第二次擬似輪郭画素に対して実施例１で説明する擬似輪郭軽減部による処理を行う。なお、さらに条件を加えて絞り込んだ擬似輪郭画素に対して擬似輪郭軽減部による処理を行うことも可能である（実施例４、５にて詳述する）。

<具体的な構成>
本実施例の画像処理装置のハードウェア構成は、基本的に図５を用いて説明した実施例１の装置のハードウェア構成と共通する。ただし、本実施例の画像処理装置は、擬似輪郭検出プログラムが差分値算出ルーチンと絶対値判定ルーチンと第一次擬似輪郭画素選出ルーチンと、発生周期算出ルーチンと、発生周期判定ルーチンと、第二次擬似輪郭画素選出ルーチンを有する点を特徴とする。以下、実施例２との相違点である発生周期算出ルーチンと、発生周期判定ルーチンと、第二次擬似輪郭画素選出ルーチンについて詳述する。

ＣＰＵは発生周期算出ルーチンを実行し、ブレ方向にある第一次擬似輪郭画素を探索し、第一次擬似輪郭画素間の距離を算出して、処理結果をメインメモリの所定のアドレスに格納する。探索処理は、ブレ方向から所定範囲内（例えば５°）に画素中心がある画素を含める構成とすることが可能である。

次にＣＰＵは発生周期判定ルーチンを実行し、発生周期算出ルーチンの処理結果により得られた第一次擬似輪郭画素間の距離データを参照して、ブレ幅の値と近似する距離間を有する複数の第一次擬似輪郭画素を抽出し、処理結果をメインメモリの所定のアドレスに格納する。ここで、ブレ幅を整数で割った値と近似する距離間を有する複数の第一次擬似輪郭画素も合わせて抽出することも可能である。

次にＣＰＵは第二次擬似輪郭画素選出ルーチンを実行し、発生周期判定ルーチンの処理結果のデータを参照して、判定条件を満たす第一次擬似輪郭画素を第二次擬似輪郭画素として配列化し、処理結果をメインメモリの所定のアドレスに格納する。

<処理の流れ>
本実施例の画像処理装置における処理の流れは図６で説明した実施例１の処理の流れと同様である。ただし、本実施例の画像処理装置の擬似輪郭を検出する処理（図６のステップＳ０６０５）は、図１１に示すように、差分値算出サブステップと、絶対値判定サブステップと、第一次擬似輪郭画素選出サブステップと、発生周期算出サブステップと、発生周期判定サブステップと、第二次擬似輪郭画素選出サブステップとからなる。差分値算出サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する。絶対値判定ステップでは、前記差分値の絶対値が所定の閾値よりも大きいか否か判定する。第一次擬似輪郭画素選出サブステップでは、前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する。発生周期算出サブステップでは、前記第一次擬似輪郭画素のブレ方向の発生周期を算出する。発生周期判定サブステップでは、前記発生周期が前記ブレ補正を行う際に利用した特徴値と関連するか否かをブレ補正情報を利用して判定する。第二次擬似輪郭画素選出サブステップでは、前記発生周期が前記特徴値と関連する第一次擬似輪郭画素を第二次擬似輪郭画素として選出する。

<効果>
以上のように、本実施例の画像処理装置は、実施例２と同様に、ブレ補正を行った画像に対して、極値画素とブレ方向の近隣画素との差分値に基づいて、高い精度で擬似輪郭を検出することが可能である。さらに、本実施例の画像処理装置は、上記で選出された第一次擬似輪郭画素のうち、ブレ幅等の特徴値と関連するものを第二次擬似輪郭画素として選出することが可能になるため、さらに高い精度で擬似輪郭を検出することが可能になる。

<概要>
本実施例の画像処理装置は、実施例２又は３と同様に、ブレ補正を行った画像に対して、極値画素とブレ方向の近隣画素との差分値に基づいて、高い精度で擬似輪郭を検出することが可能である。さらに、本実施例の画像処理装置は、真の輪郭を構成する画素を擬似輪郭画素から除外することが可能になるため、真の輪郭を軽減してしまうことを防止できる。

<構成>
図１２は、本実施例の画像処理装置の機能ブロックの一例を示す図である。同図において、本実施例の「画像処理装置」１２００は、「一次補正画像信号取得部」１２０１と、「ブレ補正情報取得部」１２０２と、「擬似輪郭検出部」１２０３と、「擬似輪郭軽減部」１２０４と、「二次補正画像出力部」１２０５とからなり、「擬似輪郭検出部」は、「差分値算出手段」と「絶対値判定手段」と、「第一次擬似輪郭画素選出手段」と、「連続性判定手段」と、「真輪郭除外手段」と、「第三次擬似輪郭選出手段」を有する。構成は基本的に実施例２に記載の装置の構成と同じであるため、相違点となる連続性判定手段と、真輪郭除外手段と、第三次擬似輪郭画素選出手段について以下詳述する。

「連続性判定手段」は、ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定するように構成されている。ここで、ブレ方向以外とは、ブレ方向から所定の角度範囲内にないことをいい、当該角度の設定は適宜変更可能なものである。また、連続的に存在するとは、所定の距離範囲内に極値画素が存在することをいう。例えば、ある極値画素を起点として、ブレ方向から５°以上外れた方向で、かつ２ピクセル以内に他の極値画素が存在する場合は連続的であると判定することが可能である。また、連続する極値画素の数が所定数以上であることを条件として加えることも可能である。当該連続性の判定条件は画像の画素数等に基づいて適宜変更可能な構成とすることも可能である。

「真輪郭除外手段」は、前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素又は前記第二次擬似輪郭画素から除外するように構成されている。ブレ方向以外に連続的に存在する極値画素は、ブレ及びブレ補正に起因する可能性が低いため、擬似輪郭である可能性は低い。よって、ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として、擬似輪郭画素から除外するものである。なお、除外する際に真の輪郭として識別可能なように識データを付する構成も可能である。当該構成とすることにより、真の輪郭に沿って発生する擬似輪郭を検出することが容易になる（実施例５にて詳述する）。

「第三次擬似輪郭画素選出手段」は、前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として選出するように構成されている。当該構成とすることで、真の輪郭を軽減することなく、擬似輪郭のみを軽減することが可能になる。選出された第三次擬似輪郭画素に対して実施例１で説明する擬似輪郭軽減部による処理を行う。なお、さらに条件を加えて絞り込んだ擬似輪郭画素に対して擬似輪郭軽減部による処理を行うことも可能である（実施例５にて詳述する）。

<具体的な構成>
本実施例の画像処理装置のハードウェア構成は、基本的に実施例２又は実施例３の装置のハードウェア構成と共通する。ただし、本実施例の画像処理装置は、擬似輪郭検出プログラムが連続性判定ルーチンと、真輪郭除外ルーチンと、第三次擬似輪郭画素選出ルーチンを有する点を特徴とする。以下、当該特徴点について詳述する。

ＣＰＵは連続性判定ルーチンを実行し、一の極値画素を起点として、ブレ方向から５°以上外れた方向で、かつ、２ピクセル以内に画素中心を有する極値画素を探索し、連続性を有する極値画素が存在するか否かを判定し、処理結果をメインメモリの所定のアドレスに格納する。ここで、連続する極値画素の数が５以上であることを連続性の条件として加える構成を可能である。

次にＣＰＵは真輪郭除外ルーチンを実行し、連続性判定ルーチンの処理結果により得られた連続性を有する極値画素のデータを参照して、第一次擬似輪郭画素又は第二次擬似輪郭画素から除外し、処理結果をメインメモリの所定のアドレスに格納する。同時に連続性を有する極値画素に識別ＩＤを付して配列化し、メインメモリの所定のアドレスに格納する。

次にＣＰＵは第三次擬似輪郭画素選出ルーチンを実行し、真輪郭除外ルーチンの処理結果のデータを参照して、判定条件を満たす第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として配列化し、処理結果をメインメモリの所定のアドレスに格納する。

<処理の流れ>
本実施例の画像処理装置における処理の流れは図６で説明した実施例１の処理の流れと同様である。ただし、本実施例の画像処理装置の擬似輪郭を検出する処理（図６のステップＳ０６０５）は、図１３に示すように、差分値算出サブステップと、絶対値判定サブステップと、第一次擬似輪郭画素選出サブステップと、連続性判定サブステップと、真輪郭除外サブステップと、第三次擬似輪郭画素選出サブステップとからなる。差分値算出サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する。絶対値判定ステップでは、前記差分値の絶対値が所定の閾値よりも大きいか否か判定する。第一次擬似輪郭画素選出サブステップでは、前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する。連続性判定サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定する。真輪郭除外サブステップでは、前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素から除外する。第三次擬似輪郭画素選出サブステップでは、前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素を第三次擬似輪郭画素として選出する。
なお、実施例３の処理の流れで説明した発生周期算出サブステップと、発生周期判定サブステップと、第二次擬似輪郭画素選出サブステップとを連続性判定サブステップの前に加える構成も可能である。

<効果>
以上のように、本実施例の画像処理装置は、実施例２又は３と同様に、ブレ補正を行った画像に対して、極値画素とブレ方向の近隣画素との差分値に基づいて、高い精度で擬似輪郭を検出することが可能である。さらに、本実施例の画像処理装置は、真の輪郭を構成する画素を擬似輪郭画素から除外することが可能になるため、真の輪郭を軽減してしまうことを防止できる。

<概要>
本実施例の画像処理装置は、実施例４と同様に、真の輪郭を構成する画素を擬似輪郭画素から除外して、精度良く擬似輪郭を検出し、軽減することが可能になる。さらに、本実施例の画像処理装置は、擬似輪郭が真の輪郭に沿って発生しやすいという性質を利用して擬似輪郭を検出し、軽減することが可能になる。

<構成>
図１４は、本実施例の画像処理装置の機能ブロックの一例を示す図である。同図において、本実施例の「画像処理装置」１４００は、「一次補正画像信号取得部」１４０１と、「ブレ補正情報取得部」１４０２と、「擬似輪郭検出部」１４０３と、「擬似輪郭軽減部」１４０４と、「二次補正画像出力部」１４０５とからなり、「擬似輪郭検出部」は、「差分値手段」と「絶対値判定手段」と、「第一次擬似輪郭画素選出手段」と、「連続性判定手段」と、「真輪郭除外手段」と、「第三次擬似輪郭選出手段」と、「相関極値画素探索手段」と、「第四次擬似輪郭画素選出手段」とを有する。構成は基本的に実施例４に記載の装置の構成と同じであるため、相違点となる相関極値画素探索手段と、第四次擬似輪郭画素選出手段について以下詳述する。

「相関極値画素探索手段」は、前記真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索するように構成されている。
ここで、真の輪郭と相関を持つ輪郭とは、例えば真の輪郭に沿って発生する輪郭が考えられる。ここで、擬似輪郭は真の輪郭と異なり非連続的であるため、限られた範囲内で相関する輪郭も擬似輪郭の候補として選出することが好ましい。また、判断基準となる相関値レベルを適宜変更可能な構成とすることも可能である。
例えば図１５に示すように、真の輪郭画素が実施例４で説明した連続性判定手段により検出されている場合、当該真の輪郭に部分的に沿って発生する輪郭を相関極値画素探索手段は擬似輪郭として検出することになる。

「第四次擬似輪郭画素選出手段」は、前記真の輪郭と相関を持つ輪郭を構成する極値画素を第四次擬似輪郭画素として選出するように構成されている。上述のように、真の輪郭と相関を持つ輪郭は擬似輪郭である可能性が高いため、より精度の高い検出処理を行うことが可能になる。選出された第三次擬似輪郭画素に対して実施例１で説明する擬似輪郭軽減部による処理を行う。

<具体的な構成>
本実施例の画像処理装置のハードウェア構成は、基本的に実施例４の装置のハードウェア構成と共通する。ただし、本実施例の画像処理装置は、擬似輪郭検出プログラムが相関極値画素探索ルーチンと第四次擬似輪郭画素選出ルーチンを有する点を特徴とする。以下、当該特徴点について詳述する。

ＣＰＵは相関極値画素探索ルーチンを実行し、真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索するための処理を行う。具体的には、真の輪郭に沿って隣接画素との差分値を複数算出し、当該差分値と近似する（又は相似的な）差分値が算出される輪郭を近隣で探索する処理を行い、処理結果をメインメモリの所定のアドレスに格納する。ここで、擬似輪郭は真の輪郭と異なり非連続的であるため、限られた範囲内で相関する輪郭も擬似輪郭の候補として選出することが好ましい。

次にＣＰＵは第四次擬似輪郭画素選出ルーチンを実行し、相関極値画素探索ルーチンの処理結果のデータを参照して、判定条件を満たす第三次擬似輪郭候補を第四次擬似輪郭画素として配列化し、処理結果をメインメモリの所定のアドレスに格納する。

<処理の流れ>
本実施例の画像処理装置における処理の流れは図６で説明した実施例１の処理の流れと同様である。ただし、本実施例の画像処理装置の擬似輪郭を検出する処理（図６のステップＳ０６０５）は、図１６に示すように、差分値算出サブステップと、絶対値判定サブステップと、第一次擬似輪郭画素選出サブステップと、連続性判定サブステップと、真輪郭除外サブステップと、第三次擬似輪郭画素選出サブステップと、相関極値画素探索サブステップと、第四次擬似輪郭画素選出サブステップとからなる。差分値算出サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する。絶対値判定ステップでは、前記差分値の絶対値が所定の閾値よりも大きいか否か判定する。第一次擬似輪郭画素選出サブステップでは、前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する。連続性判定サブステップでは、ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定する。真輪郭除外サブステップでは、前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素又は前記第二次擬似輪郭画素から除外する。第三次擬似輪郭画素選出サブステップでは、前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として選出する。相関極値画素探索サブステップでは、前記真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索する。第四次擬似輪郭画素選出サブステップでは、前記真の輪郭と相関を持つ輪郭を構成する極値画素を第四次擬似輪郭画素として選出する。
なお、実施例３の処理の流れで説明した発生周期算出サブステップと、発生周期判定サブステップと、第二次擬似輪郭画素選出サブステップとを連続性判定サブステップの前に加える処理も可能である。

<効果>
本実施例の画像処理装置は、実施例４と同様に、真の輪郭を構成する画素を擬似輪郭画素から除外して、精度良く擬似輪郭を検出し、軽減することが可能になる。さらに、本実施例の画像処理装置は、擬似輪郭が真の輪郭に沿って発生しやすいという性質を利用して擬似輪郭を検出し、軽減することが可能になる。

<概要>
本実施例の画像処理装置は、実施例１と同様に、ブレ補正を行った画像に対して、ブレ補正によって副次的に発生してしまう擬似輪郭を検出し、その輪郭を軽減させることが可能である。特に、本実施例の画像処理装置は、擬似輪郭に係るブレ補正値をブレ補正に寄与した画素の範囲に各画素の寄与率に応じて拡散させ、擬似輪郭を軽減させることを特徴とする。

<構成>
図１７は、本実施例の画像処理装置の機能ブロックの一例を示す図である。同図において、本実施例の「画像処理装置」１７００は、「一次補正画像信号取得部」１７０１と、「ブレ補正情報取得部」１７０２と、「擬似輪郭検出部」１７０３と、「擬似輪郭軽減部」１７０４と、「二次補正画像出力部」１７０５とからなり、「擬似輪郭軽減部」は、「一次補正値取得手段」と、「拡散範囲決定手段」と、「拡散率決定手段」と、「拡散手段」とを有する。構成は基本的に実施例１に記載の装置の構成と同じであるため、相違点となる一次補正値取得手段と、拡散範囲決定手段、拡散率決定手段、拡散手段について以下詳述する。

「一次補正値取得手段」は、前記擬似輪郭画素のブレ補正後からブレ補正前の画素値の差である一次補正値を前記ブレ補正情報から取得するように構成されている。
つまり、擬似輪郭画素Ｎのブレ補正後の画素値をR(N)、ブレ補正前の画素値をB(N)とした場合、当該一次補正値は(R(N)-B(N))と表わされる。
なお、ブレ補正前の画像の信号を合わせて取得し、ブレ補正前とブレ補正後の画素値の差分値を算出することで、一次補正値を取得する構成とすることも可能である。

「拡散範囲決定手段」は、前記一次補正値を拡散させる画素の範囲である拡散範囲を前記擬似輪郭画素ごとに前記ブレ補正の演算に際に利用された画素の範囲に基づいて決定するように構成されている。
例えば、擬似輪郭画素に係るブレ補正後の画素値が他の(Ｎ−１)個の画素値を利用して算出された場合は、擬似輪郭画素を含むＮ個の画素範囲が拡散範囲となる、といったものである。ここで、利用された画素の範囲が二次元にわたる場合は、拡散範囲も二次元状に広がることになる。具体的な拡散範囲の決定方法としては、ブレ補正情報から、利用された画素の画素ＩＤを取得して決定する方法が考えられる。

「拡散率決定手段」は、前記一次補正値の拡散率を前記拡散範囲に含まれる画素ごとに前記ブレ補正の演算における各画素の寄与率から決定するように構成されている。
ブレ補正の演算における各画素の寄与率を取得する具体的な方法としては、ブレ補正後の擬似輪郭画素の画素値と拡散範囲の他の画素値との関係式における各係数の絶対値から決定する方法が考えられる。例えばブレ補正後の画素Ｎの画素値と画素１から画素Ｎ−１までの画素値(R(1),R(2),・・・,R(N-1),R(N))が以下の関係式で表わされる場合を考える。ここで、B(N)は、ブレ補正前の画素Ｎの画素値であり、ブレ補正情報から取得される定数値である。
（数１）B(N)×N=R(1)+R(2)+・・・+R(N)
この場合、R(1)からR(N)に係る係数は、全て１である。よって、各画素の寄与率は1/Nとなる。なお、上記のように寄与率を決定するための処理を行う構成とすることも可能であるが、予め拡散率が記載されたデータを参照して決定する構成とすることも可能である。

「拡散手段」は、前記一次補正値に各拡散率を乗算して得た値を前記擬似輪郭画素の画素値から引算して拡散範囲の各画素の画素値に加算するように構成されている。
例えば上記の式１の例では、画素１から画素Ｎ−１の(Ｎ−１)個の画素値に対して、一次補正値(R(N)-B(N))に各拡散率(1/N)を乗算した値(R(N)-B(N))/Nを加算し、加算値の総和(R(N)-B(N))×(N-1)/Nを擬似輪郭画素の画素値から引算することになる。
つまり、擬似輪郭画素の一次補正値を拡散範囲の各画素の画素値に振り分けることで、拡散範囲にある画素との画素値の差を少なくし、平滑化させることが可能になる。

<具体的な構成>
本実施例の画像処理装置のハードウェア構成は、基本的に実施例１の装置のハードウェア構成と共通する。ただし、本実施例の画像処理装置は、擬似輪郭軽減プログラムが一次補正値取得ルーチンと拡散範囲決定ルーチンと拡散率決定ルーチンと拡散ルーチンを有する点を特徴とする。以下、当該特徴点について詳述する。

ＣＰＵは一次補正値取得ルーチンを実行し、ブレ補正情報を参照し、一次補正値に関するデータを取得する処理を行う。一次補正値に関するデータは、各擬似輪郭画素の画素ＩＤと関連づけてメインメモリの所定のアドレスに格納する。

次にＣＰＵは拡散範囲決定ルーチンを実行し、ブレ補正情報を参照し、擬似輪郭画素ごとにブレ補正の演算の際に利用された画素の画素ＩＤを取得して、拡散範囲を決定するための処理を行い、処理結果をメインメモリの所定のアドレスに格納する。

次にＣＰＵは拡散率決定ルーチンを実行し、ブレ補正情報を参照し、擬似輪郭画素のブレ補正後の画素値と拡散範囲の他の画素値との関係式における各係数値を取得し、当該係数値から寄与率を算出する処理を行う。当該処理結果は、擬似輪郭画素ごとに各画素と寄与率を関連づけてメインメモリの所定のアドレスに格納する。

次にＣＰＵは拡散ルーチンを実行し、上記３つのルーチンの処理結果を参照して、一次補正値に各拡散率を乗算して得た値を拡散範囲の各画素の画素値に加算し、加算した総和値を擬似輪郭画素の画素値から引算する処理を行い、処理結果をメインメモリの所定のアドレスに格納する処理を行う。

<処理の流れ>
本実施例の画像処理装置における処理の流れは図６で説明した実施例１の処理の流れと同様である。ただし、本実施例の画像処理装置の擬似輪郭を軽減する処理（図６のステップＳ０６０６）は、図１８に示すように、一次補正値取得サブステップと、拡散範囲決定サブステップと、拡散率決定サブステップと、拡散サブステップとからなる。一次補正値取得サブステップでは、前記擬似輪郭画素のブレ補正後からブレ補正前の画素値の差である一次補正値を前記ブレ補正情報から取得する。拡散範囲決定サブステップでは、前記一次補正値を拡散させる画素の範囲である拡散範囲を前記擬似輪郭画素ごとに前記ブレ補正の演算に際に利用された画素の範囲に基づいて決定する。拡散率決定サブステップでは、前記一次補正値の拡散率を前記拡散範囲に含まれる画素ごとに前記ブレ補正の演算における各画素の寄与率から決定する。拡散サブステップでは、前記一次補正値に各拡散率を乗算して得た値を前記擬似輪郭画素の画素値から引算して拡散範囲の各画素の画素値に加算する。

<効果>
本実施例の画像処理装置は、実施例１と同様に、ブレ補正を行った画像に対して、ブレ補正によって副次的に発生してしまう擬似輪郭を検出し、その輪郭を軽減させることが可能である。特に、本実施例の画像処理装置は、擬似輪郭に係るブレ補正値をブレ補正の演算に利用された画素範囲に各画素の寄与率に応じて拡散させ、擬似輪郭を軽減させることが可能である。

０２００画像処理装置
０２０１一次補正画像信号取得部
０２０２ブレ補正情報取得部
０２０３擬似輪郭検出部
０２０４擬似輪郭軽減部
０２０５二次補正画像出力部

Claims

ブレ補正を行った画像の信号を取得する一次補正画像信号取得部と、
前記ブレ補正を行った際に利用したブレ方向及びブレ幅などの情報であるブレ補正情報を取得するブレ補正情報取得部と、
前記ブレ補正における演算処理に起因して一定周期で発生する擬似輪郭を前記ブレ補正情報を利用して検出する擬似輪郭検出部と、
前記擬似輪郭を構成する画素である擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる擬似輪郭軽減部と、
前記擬似輪郭軽減部による処理が行われた後の画像を出力する二次補正画像出力部と、
を有する画像処理装置であって、
前記擬似輪郭検出部は、
ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する差分値算出手段と、
前記差分値の絶対値が所定の閾値よりも大きいか否か判定する絶対値判定手段と、
前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する第一次擬似輪郭画素選出手段と、
を有することを特徴とする画像処理装置。
前記擬似輪郭検出部は、
前記第一次擬似輪郭画素のブレ方向の発生周期を算出する発生周期算出手段と、
前記発生周期が前記ブレ補正を行う際に利用した特徴値と関連するか否かをブレ補正情報を利用して判定する発生周期判定手段と、
前記発生周期が前記特徴値と関連する第一次擬似輪郭画素を第二次擬似輪郭画素として選出する第二次擬似輪郭画素選出手段と、
をさらに有する請求項１に記載の画像処理装置。
前記擬似輪郭検出部は、
ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定する連続性判定手段と、
前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素又は前記第二次擬似輪郭画素から除外する真輪郭除外手段と、
前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として選出する第三次擬似輪郭画素選出手段と、
を有する請求項１又は２に記載の画像処理装置。
前記擬似輪郭検出部は、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索する相関極値画素探索手段と、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第四次擬似輪郭画素として選出する第四次擬似輪郭画素選出手段と、
を有する請求項３に記載の画像処理装置。
前記擬似輪郭軽減部は、
前記擬似輪郭画素のブレ補正後からブレ補正前の画素値の差である一次補正値を前記ブレ補正情報から取得する一次補正値取得手段と、
前記一次補正値を拡散させる画素の範囲である拡散範囲を前記擬似輪郭画素ごとに前記ブレ補正の演算に際に利用された画素の範囲に基づいて決定する拡散範囲決定手段と、
前記一次補正値の拡散率を前記拡散範囲に含まれる画素ごとに前記ブレ補正の演算における各画素の寄与率から決定する拡散率決定手段と、
前記一次補正値に各拡散率を乗算して得た値を前記擬似輪郭画素の画素値から引算して拡散範囲の各画素の画素値に加算する拡散手段と、
を有する請求項１から４のいずれか一に記載の画像処理装置。
ブレ補正を行った画像の信号を取得する一次補正画像信号取得ステップと、
前記ブレ補正を行った際に利用したブレ方向及びブレ幅などの情報であるブレ補正情報を取得するブレ補正情報取得ステップと、
前記ブレ補正における演算処理に起因して一定周期で発生する擬似輪郭を前記ブレ補正情報を利用して検出する擬似輪郭検出ステップと、
前記擬似輪郭を構成する画素である擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる擬似輪郭軽減ステップと、
前記擬似輪郭軽減ステップによる処理が行われた後の画像を出力する二次補正画像出力ステップと、
を計算機において実行する画像処理方法であって、
前記擬似輪郭検出ステップは、
ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する差分値算出サブステップと、
前記差分値の絶対値が所定の閾値よりも大きいか否か判定する絶対値判定サブステップと、
前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する第一次擬似輪郭画素選出サブステップと、
を有することを特徴とする画像処理方法。
前記擬似輪郭検出ステップは、
前記第一次擬似輪郭画素のブレ方向の発生周期を算出する発生周期算出サブステップと、
前記発生周期が前記ブレ補正を行う際に利用した特徴値と関連するか否かをブレ補正情報を利用して判定する発生周期判定サブステップと、
前記発生周期が前記特徴値と関連する第一次擬似輪郭画素を第二次擬似輪郭画素として選出する第二次擬似輪郭画素選出サブステップと、
をさらに有する請求項６に記載の画像処理方法。
前記擬似輪郭検出ステップは、
ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定する連続性判定サブステップと、
前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素又は前記第二次擬似輪郭画素から除外する真輪郭除外サブステップと、
前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として選出する第三次擬似輪郭画素選出サブステップと、
を有する請求項６又は７に記載の画像処理方法。
前記擬似輪郭検出ステップは、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索する相関極値画素探索サブステップと、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第四次擬似輪郭画素として選出する第四次擬似輪郭画素選出サブステップと、
をさらに有する請求項８に記載の画像処理方法。
前記擬似輪郭軽減ステップは、
前記擬似輪郭画素のブレ補正後からブレ補正前の画素値の差である一次補正値を前記ブレ補正情報から取得する一次補正値取得サブステップと、
前記一次補正値を拡散させる画素の範囲である拡散範囲を前記擬似輪郭画素ごとに前記ブレ補正の演算に際に利用された画素の範囲に基づいて決定する拡散範囲決定サブステップと、
前記一次補正値の拡散率を前記拡散範囲に含まれる画素ごとに前記ブレ補正の演算における各画素の寄与率から決定する拡散率決定サブステップと、
前記一次補正値に各拡散率を乗算して得た値を前記擬似輪郭画素の画素値から引算して拡散範囲の各画素の画素値に加算する拡散サブステップと、
を有する請求項６から９のいずれか一に記載の画像処理方法。
ブレ補正を行った画像の信号を取得する一次補正画像信号取得ステップと、
前記ブレ補正を行った際に利用したブレ方向及びブレ幅などの情報であるブレ補正情報を取得するブレ補正情報取得ステップと、
前記ブレ補正における演算処理に起因して一定周期で発生する擬似輪郭を前記ブレ補正情報を利用して検出する擬似輪郭検出ステップと、
前記擬似輪郭を構成する画素である擬似輪郭画素とブレ方向の近隣画素の画素値を平滑化させる擬似輪郭軽減ステップと、
前記擬似輪郭軽減ステップによる処理が行われた後の画像を出力する二次補正画像出力ステップと、
を計算機に実行させるためのプログラムを計算機に読み取り可能に記録した記録媒体であって、
前記擬似輪郭検出ステップは、
ブレ方向で画素値が極値的になる画素である極値画素とブレ方向の近隣画素との差分値を算出する差分値算出サブステップと、
前記差分値の絶対値が所定の閾値よりも大きいか否か判定する絶対値判定サブステップと、
前記絶対値が所定の閾値よりも大きい場合に該当する極値画素を第一次擬似輪郭画素として選出する第一次擬似輪郭画素選出サブステップと、
を有することを特徴とする記録媒体。
前記擬似輪郭検出ステップは、
前記第一次擬似輪郭画素のブレ方向の発生周期を算出する発生周期算出サブステップと、
前記発生周期が前記ブレ補正を行う際に利用した特徴値と関連するか否かをブレ補正情報を利用して判定する発生周期判定サブステップと、
前記発生周期が前記特徴値と関連する第一次擬似輪郭画素を第二次擬似輪郭画素として選出する第二次擬似輪郭画素選出サブステップと、
をさらに有する請求項１１に記載の記録媒体。
前記擬似輪郭検出ステップは、
ブレ方向で画素値が極値的になる画素である極値画素がブレ方向以外に連続的に存在するか否か判定する連続性判定サブステップと、
前記ブレ方向以外に連続的に存在すると判定された極値画素を真の輪郭を構成する画素として前記第一次擬似輪郭画素又は前記第二次擬似輪郭画素から除外する真輪郭除外サブステップと、
前記真の輪郭を構成する画素が除外された第一次擬似輪郭画素又は第二次擬似輪郭画素を第三次擬似輪郭画素として選出する第三次擬似輪郭画素選出サブステップと、
を有する請求項１１又は１２に記載の記録媒体。
前記擬似輪郭検出ステップは、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第三次擬似輪郭画素から探索する相関極値画素探索サブステップと、
前記真の輪郭と相関を持つ輪郭を構成する極値画素を第四次擬似輪郭画素として選出する第四次擬似輪郭画素選出サブステップと、
をさらに有する請求項１３に記載の記録媒体。
前記擬似輪郭軽減ステップは、
前記擬似輪郭画素のブレ補正後からブレ補正前の画素値の差である一次補正値を前記ブレ補正情報から取得する一次補正値取得サブステップと、
前記一次補正値を拡散させる画素の範囲である拡散範囲を前記擬似輪郭画素ごとに前記ブレ補正の演算に際に利用された画素の範囲に基づいて決定する拡散範囲決定サブステップと、
前記一次補正値の拡散率を前記拡散範囲に含まれる画素ごとに前記ブレ補正の演算における各画素の寄与率から決定する拡散率決定サブステップと、
前記一次補正値に各拡散率を乗算して得た値を前記擬似輪郭画素の画素値から引算して拡散範囲の各画素の画素値に加算する拡散サブステップと、
を有する請求項１１から１４のいずれか一に記載の記録媒体。