JP4475143B2 - 画像補正装置 - Google Patents

画像補正装置 Download PDF

Info

Publication number
JP4475143B2
JP4475143B2 JP2005057451A JP2005057451A JP4475143B2 JP 4475143 B2 JP4475143 B2 JP 4475143B2 JP 2005057451 A JP2005057451 A JP 2005057451A JP 2005057451 A JP2005057451 A JP 2005057451A JP 4475143 B2 JP4475143 B2 JP 4475143B2
Authority
JP
Japan
Prior art keywords
image
camera shake
image information
corrected
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005057451A
Other languages
English (en)
Other versions
JP2006180445A (ja
Inventor
めぐみ 神田
プーン ユニス
クラーク イアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005057451A priority Critical patent/JP4475143B2/ja
Priority to US11/283,673 priority patent/US7593039B2/en
Publication of JP2006180445A publication Critical patent/JP2006180445A/ja
Application granted granted Critical
Publication of JP4475143B2 publication Critical patent/JP4475143B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement

Description

本発明は、撮影装置による撮影で生成された画像情報を補正するための画像補正装置、画像補正機能を有する撮影装置、及び、画像補正装置用のコンピュータプログラムに関する。
被撮影物(被写体)の光学画像を電気的な画像情報に変換し、不揮発性メモリに格納する撮影装置としては、例えばデジタルカメラがある。この種の撮影装置では、手ぶれやピンぼけ等によって画質が損なわれてしまうことがある。損なわれた画質を撮影後に改善するため、画像補正装置が提案されている(例えば、特許文献1を参照。)。この画像補正装置では、画像メモリに記憶された画像情報とぶれの軌跡データとに基づき、フーリエ変換及び逆フーリエ変換を用いて画像情報の補正を行っている。
特開平5−323444号公報
前述した画像補正装置では、補正後の画像を画像表示部で表示させている。ここで、撮影装置によって得られた画像情報では、補正の効果が顕著に現れる部分と、そうではない部分とが存在しがちである。このため、操作者は、補正の効果が顕著に現れる部分を自ら探す必要があり、作業が煩わしいものとなっていた。また、デジタルカメラのような小さい画面を有する撮影装置では、補正の効果が顕著に現れる部分を探すことが難しく、作業がより煩わしいものとなっていた。
本発明は、かかる課題に鑑みてなされたものであり、その目的は、補正による効果を的確に知らせることができる画像補正装置、撮影装置、及び、画像補正装置用のコンピュータプログラムを実現することにある。
前記目的を達成するための主たる発明は、
(A)画像を表示する画像表示部と、
(B1)補正の対象となる原画像情報を取得し、
(B2)補正の効果を確認するための確認対象範囲を前記原画像情報に基づいて設定し、
(B3)前記確認対象範囲の原画像情報を補正することで補正画像情報を生成し、
(B4)前記原画像情報に基づく原画像、及び前記補正画像情報に基づく補正画像を、前記画像表示部に表示させるコントローラと、
(C)操作者が手ぶれ方向を入力する手ぶれ方向入力部であって、入力された手ぶれ方向に基づいて前記手ぶれ方向情報を出力する手ぶれ方向入力部と、
を有し、
(D)前記コントローラは、
前記原画像情報を複数のブロックに分割し、
前記手ぶれ方向情報の示す前記手ぶれ方向のエッジを前記原画像情報から検出し、
前記検出されたエッジの量が最大のブロックが含まれるように、前記確認対象範囲を設定し、
前記確認対象範囲の原画像情報の手ぶれを補正することで、前記補正画像情報を生成し、
前記補正画像を前記画像表示部に表示させた後に、前記手ぶれ方向情報の修正の要否を確認する、
画像補正装置である。
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。
===開示の概要===
本明細書の記載、及び添付図面の記載により、少なくとも次のことが明らかにされる。
すなわち、画像を表示する画像表示部と、補正の対象となる原画像情報を取得し、補正の効果を確認するための確認対象範囲を前記原画像情報に基づいて設定し、前記確認対象範囲の原画像情報を補正することで補正画像情報を生成し、前記原画像情報に基づく原画像、及び前記補正画像情報に基づく補正画像を、前記画像表示部に表示させるコントローラと、を有する画像補正装置が実現できること。
このような画像補正装置によれば、コントローラによって設定された確認対象範囲について補正画像が生成され、この補正画像が画像表示部に表示されるので、補正による効果を的確に知らせることができる。
かかる画像補正装置であって、前記コントローラは、前記原画像情報からエッジを検出し、検出されたエッジの量に基づいて、前記確認対象範囲を設定すること。
このような画像補正装置によれば、確認対象範囲が原画像情報におけるエッジの量に基づいて設定されるので、補正による効果をより的確に知らせることができる。
かかる画像補正装置であって、前記コントローラは、前記原画像情報を複数のブロックに分割し、前記検出されたエッジの量が最大のブロックが含まれるように、前記確認対象範囲を設定すること。
このような画像補正装置によれば、確認対象範囲がブロックに基づいて定められるので、処理の高速化に適する。
かかる画像補正装置であって、前記コントローラは、手ぶれ方向を示す手ぶれ方向情報に基づいて、前記エッジを検出し、前記確認対象範囲の原画像情報の手ぶれを補正することで、前記補正画像情報を生成すること。
このような画像補正装置によれば、撮影装置で生じ易い手ぶれについて、補正による効果を的確に知らせることができる。
かかる画像補正装置であって、入力された手ぶれ方向に基づいて、前記手ぶれ方向情報を出力する手ぶれ方向入力部を有し、前記コントローラは、前記手ぶれ方向入力部から出力された手ぶれ方向情報に基づいて、前記エッジを検出すること。
このような画像補正装置によれば、手ぶれ方向を入力できるので、入力された手ぶれ方向と補正の効果の関係を容易に把握できる。
かかる画像補正装置であって、前記コントローラは、前記原画像情報から前記手ぶれ方向情報を求め、該手ぶれ方向情報に基づいて、前記エッジを検出すること。
このような画像補正装置によれば、コントローラが手ぶれ方向を求めるので、操作の簡略化が図れ、使い勝手の向上が図れる。
かかる画像補正装置であって、前記コントローラは、前記補正画像を前記画像表示部に表示させた後に、前記手ぶれ方向情報の修正の要否を確認すること。
このような画像補正装置によれば、定められた手ぶれ方向情報について修正の機会が与えられるので、所望の補正が効率よく行える。
かかる画像補正装置であって、前記コントローラは、前記手ぶれ方向情報が修正された場合に、修正時点よりも前に設定されていた前記確認対象範囲の前記原画像情報を補正すること。
このような画像補正装置によれば、確認対象範囲が固定されるので、修正前と修正後における補正の効果の比較が容易に行える。
かかる画像補正装置であって、前記コントローラは、前記原画像を、前記画像表示部が有する原画像表示領域に表示させ、前記補正画像を、前記画像表示部が有する補正画像表示領域に表示させること。
このような画像補正装置によれば、原画像表示領域に表示された原画像と、補正画像表示領域に表示された補正画像とを対比させることができ、補正の効果を容易に視認させることができる。
かかる画像補正装置であって、前記コントローラは、前記原画像と前記補正画像とを切り替えて、前記画像表示部に表示させること。
このような画像補正装置によれば、原画像を考慮することなく、補正画像の表示が行える。例えば、確認対象範囲の補正画像を拡大表示することができる。このため、補正画像の表示を最適化できる。
また、画像を表示する画像表示部と、入力された手ぶれ方向に基づいて、手ぶれ方向情報を出力する手ぶれ方向入力部と、補正の対象となる原画像情報を取得し、前記原画像情報を複数のブロックに分割するとともに、前記手ぶれ方向入力部から出力された前記手ぶれ方向情報、或いは、前記原画像情報から求められた前記手ぶれ方向情報に基づいて、前記原画像情報からエッジを検出し、検出されたエッジの量が最大のブロックが含まれるように、補正の効果を確認するための確認対象範囲を設定し、前記確認対象範囲の原画像情報の手ぶれを補正することで、補正画像情報を生成し、前記原画像情報に基づく原画像を、前記画像表示部が有する原画像表示領域に表示させると共に、前記補正画像情報に基づく補正画像を、前記画像表示部が有する補正画像表示領域に表示させ、又は、前記原画像と前記補正画像とを切り替えて、前記画像表示部に表示させ、前記補正画像を前記画像表示部に表示させた後に、前記手ぶれ方向情報の修正の要否を確認し、前記手ぶれ方向情報が修正された場合に、修正時点よりも前に設定されていた前記確認対象範囲の前記原画像情報を補正する、コントローラと、を有する画像補正装置を実現することもできる。
このような画像補正装置によれば、既述のほぼ全ての効果を奏するので、本発明の目的を最も有効に達成することができる。
また、被撮影物の光学画像を電気的な画像情報に変換する光電変換部と、画像を表示する画像表示部と、前記画像情報を不揮発性メモリへ記憶させる際に所定の操作が行われるシャッター操作部と、前記不揮発性メモリから補正の対象となる原画像情報を取得し、補正の効果を確認するための確認対象範囲を前記原画像情報に基づいて設定し、前記確認対象範囲の原画像情報を補正することで補正画像情報を生成し、前記原画像情報に基づく原画像、及び前記補正画像情報に基づく補正画像を、前記画像表示部に表示させるコントローラと、を有する撮影装置を実現することができる。
また、画像補正装置を構成するコンピュータに、補正の対象となる原画像情報を、記憶媒体から取得するステップと、補正の効果を確認するための確認対象範囲を前記原画像情報に基づいて設定するステップと、前記確認対象範囲の原画像情報を補正することで補正画像情報を生成するステップと、前記原画像情報に基づく原画像、及び前記補正画像情報に基づく補正画像を、画像表示部に表示させるステップと、を実行させるためのコンピュータプログラムを実現することができる。
===説明の対象===
画像補正装置は、様々な形態で実現することができる。例えば、画像修正用のアプリケーションプログラム(レタッチソフト等)がインストールされたパーソナルコンピュータ、デジタルカメラ等の撮影装置、インクジェットプリンタ等の印刷装置によって実現することができる。そして、画像補正装置の全ての形態について説明することは困難である。このため、本明細書では、撮影装置の一種であるデジタルカメラ1を例に挙げて説明する。
===デジタルカメラ1===
<デジタルカメラ1の外観について>
まず、デジタルカメラ1の外観について説明する。ここで、図1Aは、デジタルカメラ1の外観を示す斜視図である。図1Bは、デジタルカメラ1の背面図である。図2は、デジタルカメラ1の制御系CSを説明するブロック図である。
図1A及び図1Bに示されるデジタルカメラ1は、制御系CSを構成する部品を内部に収納するための、筐体10を有している。筐体10の正面には、レンズ11と、セルフタイマー点灯部12と、ストロボ13が設けられている。そして、このレンズ11と、レンズ11に設けられた絞り及びシャッター(何れも図示せず。)とにより、光学系OS(図2を参照。)が構成されている。セルフタイマー点灯部12は、セルフタイマーが動作中であることを示すものである。ストロボ13は、暗所や逆光時等に用いられる光源である。筐体10の上面には、モードダイヤル14と、電源ボタン15と、シャッターボタン16が設けられている。モードダイヤル14は、デジタルカメラ1におけるモード(撮影モードや補正モード等)を選択する際に操作されるものである。このモードダイヤル14は、ダイヤル式の切り替えスイッチによって構成されている。電源ボタン15は、デジタルカメラ1の電源をオン/オフする際に操作される。この電源ボタン15は、モードダイヤル14の内側に配置されている。
シャッターボタン16は、画像情報を記憶させるため撮影者によって操作されるボタンである。すなわち、このシャッターボタン16に対して所定の操作がなされると、操作時点における画像情報が外部フラッシュメモリMOや内部フラッシュメモリMIに記憶される。従って、このシャッターボタン16は、シャッター操作部に相当する。そして、例示したシャッターボタン16は、プッシュボタン式のものであり、最深部まで押されることで画像情報が外部フラッシュメモリMOや内部フラッシュメモリMIに記憶される。従って、このシャッターボタン16では、最深部まで押されることが「所定の操作」に相当する。また、このシャッターボタン16では、深さ方向の途中まで押された状態(所謂半押しの状態)で、画像情報を記憶させる動作とは異なる動作を行わせることができる。例えば、半押しの状態で、ピント合わせを行わせたり、露光条件(シャッタースピードや絞り)の設定を行わせたりすることができる。
外部フラッシュメモリMOは、デジタルカメラ1から取り外すことのできる不揮発性メモリである。また、内部フラッシュメモリMIは、デジタルカメラ1に内蔵されている不揮発性メモリである。そして、画像情報を記憶する機能は、外部フラッシュメモリMOも内部フラッシュメモリMIも共通である。このため、以下の説明は、画像情報が外部フラッシュメモリMOに記憶される場合について行うことにする。
筐体10の背面には、画像表示部17と、各種のボタンが設けられている。画像表示部17は、例えば液晶ディスプレイによって構成される。そして、この画像表示部17には、種々の画像が表示される。例えば、画像情報を外部フラッシュメモリMOに記憶させることができる撮影モードでは、被写体の画像情報に基づくプレビュー画像が表示される。ここで、被写体の画像情報とは、光電変換部OEで変換された電気的な情報のことである。また、シャッターボタン16が押され、画像情報が外部フラッシュメモリMOに記憶された直後において、画像表示部17には、記憶された画像情報に基づく画像が表示される。また、補正モードにおいて、画像表示部17には、補正の対象となる画像情報(便宜上、原画像情報ともいう。)に基づく原画像と、補正後の画像情報(便宜上、補正画像情報ともいう。)に基づく補正画像とが表示される。なお、この補正モードは、外部フラッシュメモリMOに記憶された画像情報を補正して更新する処理である。そして、この補正モードについては、後で説明する。この他に、デジタルカメラ1における各種設定を行う設定モードにおいて、画像表示部17には、設定用のメニューが表示される。
前述したボタンとしては、印刷ボタン18と、ズームボタン19と、メニューボタン20と、ディスプレイボタン21と、レビューボタン22と、4方向ボタン23と、選択ボタン24がある。そして、これらのボタンと、前述した電源ボタン15及びシャッターボタン16とにより、操作用ボタン群BTが構成される。
印刷ボタン18は、外部フラッシュメモリMOに記憶された画像情報を、プリンタ等の印刷装置に印刷させる際に用いられるものである。ズームボタン19は、レンズ11のズーム機構(図示せず)を駆動させる際に用いられる。そして、このズームボタン19は、広角側に駆動させる際に操作されるWボタン19aと、望遠側に駆動させる際に操作されるTボタン19bから構成されている。メニューボタン20は、各種のメニューを表示させる際に操作されるものである。ディスプレイボタン21は、画像表示部17の表示若しくは非表示を切り替える際に操作されるものである。レビューボタン22は、外部フラッシュメモリMOに記憶されている画像情報を、画像表示部17に表示させる際に操作されるものである。4方向ボタン23や選択ボタン24は、メニューの選択、決定、取り消し等を行う際に操作されるものである。そして、この4方向ボタン23は、補正モードにおいて操作者が手ぶれ方向を入力する際にも用いられる。すなわち、手ぶれ方向の入力時において、4方向ボタン23からの出力は、手ぶれ方向を示す手ぶれ方向情報に相当する。従って、4方向ボタン23は、入力された手ぶれ方向に基づいて手ぶれ方向情報を出力する手ぶれ方向入力部(または、手ぶれ方向情報出力部)に相当する。
<デジタルカメラ1の制御系CSについて>
次に、デジタルカメラ1の制御系CSについて説明する。図2に示すように、このデジタルカメラ1は、前述した構成に加えて、画像生成部30と、コントローラ40と、USB(Universal Serial Bus)接続端子UTとを有する。
画像生成部30は、イメージセンサ31と、アナログフロントエンド部(AFE部)32と、デジタル画像処理部33と、圧縮伸張部34とを有している。イメージセンサ31は、画素数に応じた多数のセル(cell)を有し、露光量に応じた電気信号をセル毎に出力するものである。このイメージセンサ31には、例えば、CCD(charge-coupled device)やCMOS(complementary metal-oxide semiconductor)が用いられる。アナログフロントエンド部32は、イメージセンサ31から出力される電気信号を量子化してデジタル信号に変換するものである。このアナログフロントエンド部32では、利得制御やアナログデジタル変換等が行われる。
デジタル画像処理部33は、イメージセンサ31から出力される電気信号から画像情報を形成する画像形成処理を行うものである。この画像形成処理では、例えば、R(Red),G(Green),B(Blue)の各色に対応した電気信号が取得され、取得された各色の電気信号から素画像情報が形成される。さらに、デジタル画像処理部33は、形成した素画像情報に対して、ホワイトバランス補正,γ補正,色空間変換等を施し、R,G,Bの階調値やY,Cb,Crの階調値などを表す画像情報(デジタル画像)を生成する。なお、本実施形態では、R,G,Bの階調値からなる画像情報が生成される。
圧縮伸張部34は、デジタル画像処理部33で生成された画像情報を圧縮したり、圧縮された画像情報を伸張したりする。画像情報の圧縮に際しては、例えば、デジタル画像の系列変換(離散コサイン変換やウェーブレット変換等)、及びエントロピー符号化(ハフマン符号化等)が行われる。一方、圧縮された画像情報の伸張に際しては、例えば、これらの逆変換が施される。
このような構成の画像生成部30において、イメージセンサ31、アナログフロントエンド部32、及びデジタル画像処理部33は、光電変換部OEを構成する。そして、この光電変換部OEでは、レンズ11等の光学系OSによって結像された被写体の光学画像を、電気的な画像情報に変換する。
コントローラ40は、CPU41と、ROM42と、ワークメモリ43と、センサコントローラ44と、ディスプレイコントローラ45と、入出力インタフェース46と、USBホストコントローラ47と、USBデバイスコントローラ48とを有している。CPU41は、中央演算装置として機能し、ROM42に格納された動作用プログラムに従って種々の制御動作を行う。この動作用プログラムは、制御動作を実現させるためのコードを有している。ROM42には、動作用プログラムや制御用のパラメータが記憶されている。ワークメモリ43には、データが一時的に記憶される。本実施形態において、このワークメモリ43は、CPU41、デジタル画像処理部33、及び、圧縮伸張部34のそれぞれからアクセスできる。このため、CPU41は、デジタル画像処理部33で生成された画像情報や圧縮伸張部34で圧縮された画像情報を、ワークメモリ43を介して取得することができる。また、圧縮された画像情報を伸張された状態で取得することもできる。さらに、補正モードにおいて、このワークメモリ43には、補正の対象となる原画像情報の他、種々の情報が記憶される。このように、CPU41とROM42とワークメモリ43とを有するコントローラ40は、所謂コンピュータとして機能するものである。
センサコントローラ44は、前述したイメージセンサ31を動作させるための動作用回路である。すなわち、イメージセンサ31は、センサコントローラ44からの制御用信号に従って動作をする。例えば、読み出し対象となるセルを切り替える等の動作が行われる。ディスプレイコントローラ45は、画像表示部17を動作させて画像を表示させるものである。このディスプレイコントローラ45には、画像表示部17に表示させるための画像情報を記憶可能なフレームメモリFMが設けられている。撮影時において、フレームメモリFMには、プレビュー用の画像情報が記憶される。また、画像情報の補正時において、フレームメモリFMには、原画像情報や補正画像情報が記憶される。
入出力インタフェース46には、前述したモードダイヤル14、操作用ボタン群BT、外部フラッシュメモリMOが電気的に接続されている。そして、入出力インタフェース46は、モードダイヤル14からの設定信号、操作用ボタン群BTを構成する各ボタン(電源ボタン15,シャッターボタン16,印刷ボタン18,ズームボタン19,メニューボタン20,ディスプレイボタン21,レビューボタン22,4方向ボタン23,選択ボタン24)からの操作信号を受信する。また、入出力インタフェース46は、画像情報を外部フラッシュメモリMOに記憶させたり、外部フラッシュメモリMOに記憶された画像情報を読み出したりする。そして、画像情報を外部フラッシュメモリMOに記憶させるにあたり、CPU41は、ワークメモリ43に記憶された画像情報に対し、識別情報としてのファイル名を付与する。
<デジタルカメラ1における動作の概略について>
次に、このデジタルカメラ1における動作の概略について説明する。ここで、図3は、デジタルカメラ1における動作の概略を示すフローチャートである。このデジタルカメラ1は、選択されたモードに応じた動作を行う。例えば、メニューボタン20で撮影モードが選択された場合には(S10)、画像情報の取得やフラッシュメモリへの書き込みといった撮影動作が行われる(S12)。また、印刷ボタン18が押されて印刷モードが選択された場合には(S14)、画像情報がプリンタ等の印刷装置に転送される(S16)。これにより、画像情報の印刷が行われる。また、メニューボタン20で補正モードが選択された場合には(S18)、画像情報の補正が行われる(S20)。なお、この画像情報の補正については、後で説明する。さらに、その他のモードが選択された場合には、選択されたモードに応じた動作が実行される(S22)。例えば、セットアップ動作や外部フラッシュメモリMOのフォーマット等が行われる。前述したように、このデジタルカメラ1の動作は、ROM42に格納された動作用プログラムに従い、CPU41によって制御される。
===本実施形態の概要===
<背景と主要部について>
ところで、このデジタルカメラ1では、手ぶれやピンぼけが含まれる画像情報を、撮影後に補正することができる。このように、画像情報の補正が撮影後に行えると、撮り直しのできない画像ついて画質を高めることができて好ましい。そして、この補正がデジタルカメラ1で行えると、パーソナルコンピュータ等の特別な装置がなくても補正が行えるので、使い勝手の向上が図れる。加えて、補正後の画像情報を補正対象の画像情報(原画像情報)に上書きする前に補正の効果を確認できれば、補正の失敗を未然に防止できるのでより好ましい。この場合、補正後の画像情報を画像表示部17で表示して操作者に確認させ、確認させた後に補正後の画像情報を原画像情報に上書きすることが考えられる。ここで、画像情報においては、補正の効果が顕著に現れる部分と、そうではない部分とが存在しがちである。このため、操作者は、補正の効果が顕著に現れる部分を自ら探す必要がある。このとき、補正の効果が現れ難い場所を選んでしまうと、操作者は、補正の効果が得られ難いと判断してしまい、補正の条件を変えてしまう場合があり得る。その結果、補正の条件が、適正なものから外れてしまう可能性がある。
このような事情に鑑み、本実施形態では、補正の効果を確認するのに適した範囲(以下、確認対象範囲CFともいう。図9を参照。)を、コントローラ40に設定させている。そして、コントローラ40は、確認対象範囲CFの原画像情報について補正を行って補正画像情報を取得する。また、コントローラ40は、取得した補正画像情報に基づく補正画像を画像表示部17に表示させる。このような構成を採ることにより、コントローラ40によって設定された確認対象範囲CFについて補正画像が生成され、この補正画像が画像表示部17に表示されるので、補正による効果を的確に知らせることができる。すなわち、補正の対象となる原画像情報の中から、補正の確認に適した部分が選択され、その部分の補正画像が表示されるので、補正の効果を的確に知らせることができる。
===画像情報の補正について===
以下、画像情報の補正について詳細に説明する。ここで、図4は、画像情報の補正処理(S20)の具体的内容を説明するためのフローチャートであり、手ぶれ補正の例を説明するものである。また、図5は、画像表示部17に表示された原画像OI及び指標画像IDを、模式的に説明する図である。
補正対象となる原画像情報が指定されると、コントローラ40は、指定された原画像情報に基づく原画像OIを、画像表示部17に表示させる(S40)。このとき、コントローラ40では、まず、補正の対象となる原画像情報を、外部フラッシュメモリMO(記憶媒体)から取得する。そして、この原画像情報は、ワークメモリ43に記憶される。そして、原画像OIを表示させるための情報(便宜上、表示用原画像情報ともいう。)が原画像情報から生成される。そして、生成された表示用原画像情報が、フレームメモリFMに記憶される。これにより、原画像OIが画像表示部17に表示される。図5に例示した原画像OIは、建物におけるガラス製の壁部を撮影したものである。この原画像OIにおいて、斜線で示した部分はガラスに映された陰の部分である。また、壁部の上部右側には「EPS」の文字が描かれたプレートPLが撮影されている。このプレートPLには、白地に青文字で「EPS」の文字が描かれている。
原画像OIを表示させたならば、コントローラ40は、原画像情報に基づいて、確認対象範囲CFを設定する(S42〜S48)。確認対象範囲CFを設定する理由は、前述したように、補正の効果が判りやすい範囲を示すことで、補正の効果を的確に知らせるためである。この確認対象範囲CFの設定は、手ぶれ方向を利用して行う。以下、その理由について簡単に説明する。ここで、図6は、手ぶれ画像と、この手ぶれ画像における符号Aで示す部分の輝度とを示す図である。
手ぶれは、露光時におけるカメラの動きによって生じ、カメラの動く方向に被写体が流された状態で露光される現象をいう。このため、ぶれ画像は、ぶれの方向に重なった複数の画像によって構成されているとも考えられる。図6に示した文字「E」の画像は、2つの文字「E」が上下方向に少しずれた状態となっている。ここで、文字「E」が青色であり、背景が白色であるとすると、背景部分は白色であるので、輝度はこの画像の中で最も高い値となる。そして、上側の画像と下側の画像とが重なっている部分、すなわち、図において濃色で示す部分は、背景部分による影響を受け難いので、輝度はこの画像の中で最も低い値となる。つまり、青色に対応する輝度となる。また、上側のぶれ画像或いは下側のぶれ画像のみの部分、すなわち、図において中間色で示す部分は、背景部分の影響を受けて水色となる。このため、輝度は、背景部分よりも低く、ぶれ画像の重なり部分よりも高くなる。その結果、手ぶれが生じたことにより、背景部分と上側のぶれ画像との間、及び、背景部分と下側のぶれ画像のみの部分には、手ぶれ方向のエッジが現れる。同様に、上側のぶれ画像のみの部分とぶれ画像の重なり部分との間、及び、下側のぶれ画像のみの部分とぶれ画像の重なり部分との間にも、手ぶれ方向のエッジが現れる。そして、手ぶれ補正に関する効果の確認は、エッジに基づいて行われることが通例である。従って、手ぶれ方向を取得し、その手ぶれ方向のエッジが多く存在する部分を確認対象範囲CFに設定することで、補正の効果をより的確に知らせることができる。
以下、確認対象範囲CFの設定について詳細に説明する。確認対象範囲CFの設定では、まず操作者に手ぶれ方向を入力させる(S42)。ここで、コントローラ40は、手ぶれ方向の入力を促すメッセージを操作者に伝える。例えば、その旨を示すメッセージを、画像表示部17に表示させる。次に、操作者は、原画像OIの目視により確認した手ぶれの方向を入力する。この手ぶれ方向の入力は、例えば4方向ボタン23によって行われる。コントローラ40は、4方向ボタン23からの出力(手ぶれ方向情報に相当する。)に基づき、入力された手ぶれ方向を認識する。そして、コントローラ40は、認識した手ぶれ方向を示す指標画像IDを画像表示装置に表示させる。例示された指標画像IDは、円と、手ぶれ方向を示す矢印とから構成されている。この矢印の方向は、入力された手ぶれ方向に応じて定められる。例えば、入力された手ぶれ方向が垂直方向であれば、図5に示すように矢印の方向は垂直方向になる。また、入力された手ぶれ方向が水平方向であれば、矢印の方向は水平方向になる。なお、この実施形態では、原画像OIに対して指標画像IDがスーパーインポーズされているが、この態様に限られない。例えば、指標画像ID用の表示領域と、原画像OI用の表示領域とを画像表示部17に定め、指標画像IDと原画像OIとを各表示領域に表示させてもよい。要するに、手ぶれ方向と原画像OIとが対応付けされた状態で表示されていればよい。
手ぶれ方向が入力されたならば、コントローラ40は、原画像情報を複数の矩形状のブロックBKに分割する(S44)。ここで、図7は、原画像情報とブロックBKの関係を模式的に説明する図である。原画像OIを複数のブロックBKに分割する主な理由は、処理の高速化である。すなわち、本実施形態では、エッジの量をブロックBK毎で量子化(数量化)するので、エッジ量の比較が容易となる。また、ブロックBKを基準にして確認対象範囲CFを定めるので、範囲の確定が容易になる。ブロックBKの数は適宜に定めることができる。例えば、原画像情報を、縦方向に32等分、横方向に32等分することで、1024個のブロックBKに分割することができる。なお、図示の都合上、図7には、縦方向に16等分、横方向に16等分されたブロックBKを、全体範囲の一部分について示している。
次に、コントローラ40は、手ぶれ方向のエッジ強度EをブロックBK毎に算出する(S46)。ここで、図8Aは、エッジ勾配dxの生成に使用されるX方向のソーベルフィルタを説明する図である。図8Bは、エッジ勾配dyの生成に使用されるY方向のソーベルフィルタを説明する図である。図8Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する模式図である。
エッジ強度Eとはエッジである度合いを示す指標であり、エッジ勾配dx,dy(水平方向のエッジ勾配dx,垂直方向のエッジ勾配dy)に基づいて定められる。このため、エッジ強度Eの取得に先立って、輝度画像情報の取得、及びエッジ勾配dx,dyの取得が行われる。輝度画像情報の取得は、RGBの階調値で示される原画像情報を、YIQの色空間で表現される画像情報に変換し、輝度を示すYチャネルの情報を取得することで行われる。すなわち、得られたYチャネルの情報が輝度画像情報となる。エッジ勾配dx,dyの取得は、輝度画像情報に基づいて行われる。このため、コントローラ40は、得られた輝度画像情報に対し、水平方向(X方向)のソーベルフィルタ(図8A)、及び、垂直方向(Y方向)のソーベルフィルタ(図8B)を適用する。ソーベルフィルタは3×3の9要素からなる行列である。
このようなソーベルフィルタを適用することにより、エッジ勾配dx,dyが得られる。言い換えると、水平方向について輝度Yの変化の大きい画素を示す画像と、垂直方向について輝度Yの変化の大きい画素を示す画像とが得られる。ここで、ソーベルフィルタの適用について簡単に説明する。例えば、図8Cに示す画素P(i,j)にソーベルフィルタを適用するということは、その画素Pの近傍に存在する3×3画素の輝度Y(i−1,j−1)〜Y(i+1,j+1)に対して、ソーベルフィルタの対応する要素との積を算出し、得られた9個の積について和を求めるということである。画素P(i,j)に対してX方向のソーベルフィルタを適用した場合、適用結果としてのエッジ勾配dx(i,j)は、次の式(1)によって表すことができる。
エッジ勾配が得られたならば、手ぶれ方向に対するエッジ強度Eを算出する。エッジ強度Eは次の式(2)で表され、角度毎に算出される。この式(2)より、角度θに対するエッジ強度E(θ)は、cosθ・dx+sinθ・dyの絶対値(ABS)の和で示され、手ぶれ方向に対するエッジ勾配dx,dyの総和であることが判る。
そして、コントローラ40は、この式(2)の演算をブロックBK毎に行う。これにより、手ぶれ方向のエッジ強度Eが、ブロックBKごとに算出される。ここで、図9は、エッジ強度EとブロックBKとの関係を模式的に示す図である。なお、図示の都合上、この図も16×16個からなる256個のブロックBKで示している。また、エッジ強度Eは3段階で示している。すなわち、エッジが多いブロックBKは白で示され、エッジが少ないブロックBKは黒で示される。また、エッジの量が中間のブロックBKは中間調で示されている。この図から、壁部の上部右側に位置するプレートPLの部分にエッジが多いこと、及び、陰の部分(暗部)にエッジが少ないことが判る。
手ぶれ方向のエッジ強度EをブロックBKごとに算出したならば、コントローラ40は、算出されたエッジ強度Eが最大のブロックBKを特定し、確認対象範囲CFを設定する(S48)。この処理においてコントローラ40は、まず、エッジ強度Eが最大のブロックBKを特定する。このブロックBKを特定したならば、コントローラ40は、確認対象範囲CFを設定する。ここで、確認対象範囲CFは、次の条件を満たすようにして定められる。1つ目の条件は、特定したブロックBKが含まれるように、確認対象範囲CFを定めることである。2つ目の条件は、確認対象範囲CFをブロックBK単位で定めることである。3つ目の条件は、原画像OIの縦横比を保つことである。4つ目の条件は、確認対象範囲CFを補正画像表示領域17b(図12を参照。)のサイズに収めることである。
ここで、1つ目の条件と4つめの条件について補足する。1つ目の条件に関し、確認対象範囲CFは、原則として、特定したブロックBKが中央に位置するように定められる。しかし、特定したブロックBKを確認対象範囲CFの中央に位置させることが困難な場合、例えば、特定したブロックBKが画像表示部17の隅角の位置に存在する場合には、確認対象範囲CFは、特定したブロックBKが含まれるように定められる。4つ目の条件に関し、補正画像表示領域17bは、補正画像を表示するための領域であり、画像表示部17に定められる。なお、図12に示すように、本実施形態の補正画像表示領域17bは、画像表示部17の16分の1のサイズとされ、画像表示部17における右下の隅部に設けられている。
コントローラ40は、以上の条件を考慮して確認対象範囲CFを設定する。図9の例では、太線の枠で示すように、プレートPLの文字「E」の部分を中心とする4×4のブロックBKの範囲が確認対象範囲CFとして設定される。
確認対象範囲CFを設定したならば、コントローラ40は、確認対象範囲CFの画像情報を原画像情報から抽出して補正する(S50)。すなわち、確認対象範囲CFの原画像情報を補正することで補正画像情報を生成している。ここで、図10は、画素と輝度Yの関数f(n)を説明する図である。図11は、自己相関関数を説明するための模式図である。この例では、手ぶれについて補正を行う。ここでは、確認対象範囲CFの画像情報について手ぶれ量を求め、入力された手ぶれ方向と求めた手ぶれ量とに基づく補正を行う。前述したように、手ぶれは、被写体が流された状態で露光される現象であるため、被写体における或る点は、手ぶれ量に相当する範囲に亘って線として撮される。そして、この線は、被写体における同じ点であるため、色に関して高い相関性がある。本実施形態では、この相関性に着目して手ぶれ量を求めている。まず、コントローラ40は、図10に示すように、手ぶれ方向に沿って画素と輝度Yの関数f(n)を求める。そして、求めた関数f(n)について、次の式(3)に示される自己相関関数ACFk(τ)を求め、この自己相関関数ACFk(τ)が最も低い値となる変位τを手ぶれ量とする。すなわち、コントローラ40は、求めた関数f(n)について手ぶれ方向に画素をずらしながら自己相関関数ACFk(τ)を算出することで、手ぶれ量を取得している。
この式(3)から、手ぶれ量は、自己相関関数ACFk(τ)が最も低くなる変位τと考えられる。すなわち、自己相関関数ACFk(τ)は、元となる関数f(n)と、この関数を変位τだけシフトさせた関数f(n+τ)との積を、N個の画素(つまり、n=0〜N−1の画素)のそれぞれについて算出し、その平均値(1/N)として得られる。ここで、変位τが0であるとすると、関数f(n)の各画素と関数f(n+τ)の各画素とが一致しているため、自己相関関数ACFk(τ)が最も高くなる。そして、変位τが1,2…と増えていく毎に、関数f(n+τ)が関数f(n)からずれていく。これにより、関数f(n)の画素と関数f(n+τ)の画素との一致度合いが低くなる。その結果、変位τが増える毎に、自己相関関数ACFk(τ)も低くなる。そして、手ぶれ量に相当する変位τが設定されると、図10に点線で示すように、関数f(n+τ)が関数f(n)と重ならなくなるので、自己相関関数ACFk(τ)が最低値を示す。さらに変位τを増やすと、関数f(n)と関数f(n+τ)との相関はなくなるので、自己相関関数ACFk(τ)は、前述した最低値よりは高い値を示すが定まらない値となる。
例えば、図11に示すように、水平方向に3画素分の手ぶれが生じた場合には、その画素の輝度Yは、或る画素P(i,j)から3画素隣の画素P(i+3,j)に亘って、同じような値を示す。この場合、変位τが4(画素)になると、関数f(n)のぶれ部分と関数f(n+τ)のぶれ部分とが重ならなくなるので、自己相関関数ACFf(τ)が最低値を示す。このように、自己相関関数ACFf(τ)において、最低値を示す変位τは、手ぶれ量を示すといえる。
なお、手ぶれ量の検出精度を上げるために、複数のサンプルラインを定め、各サンプルラインで求められた自己相関関数ACFk(τ)に基づいて、手ぶれ量を取得してもよい。このようにすると、円弧軌跡に沿って手ぶれが生じた場合等において、手ぶれ量を精度良く取得することができる。
このようにして手ぶれ量を取得したならば、入力された手ぶれ方向に画素をずらす等して、確認対象範囲CFの画像情報に対する手ぶれの補正を行う。これにより、確認用の補正画像情報が生成される。このとき、確認対象範囲CFは、原画像情報で規定される範囲(便宜上、全範囲ともいう。)よりも小さいサイズであるので、処理を高速化できる。
確認用の補正画像情報を生成したならば、コントローラ40は、確認用の補正画像CIと、原画像OIとを画像表示部17に表示させる(S52)。ここで、確認用の補正画像CIとは確認用の補正画像情報に基づく画像である。また、図12は、確認用の補正画像CIと原画像OIの表示例である。前述したように、本実施形態では、画像表示部17の右下の隅部に補正画像表示領域17bが定められている。このため、確認用の補正画像CIは、この補正画像表示領域17bに表示される。そして、原画像OIは、画像表示部17における補正画像表示領域17bを除いた領域(以下、原画像表示領域17aともいう。)に表示される。つまり、確認用の補正画像CIと原画像OIとが同時に表示される。本実施形態では、このような構成により、原画像表示領域17aに表示された原画像OIと、補正画像表示領域17bに表示された確認用の補正画像CIとを対比させることができ、補正の効果を容易に視認させることができる。
確認用の補正画像CIと原画像OIとを表示させたならば、コントローラ40は、定められた条件(手ぶれ方向,手ぶれ量)で補正された画像情報を、原画像情報に上書きするか否かを確認する(S54)。ここで、コントローラ40は、上書きするか否かについて、操作者に確認を促す。例えば、確認を促すためのメッセージを画像表示部17に表示させる。そして、操作者が、上書きする旨の指示をした場合には、原画像情報の全体を補正し、補正後の原画像情報を外部フラッシュメモリMOに上書きする(S56)。なお、原画像情報に対する補正の方法は、前述した方法と同じであるので、説明は省略する。一方、操作者が、上書きする旨の指示をしなかった場合には、手ぶれ方向の入力(S42)に戻って、手ぶれ方向を修正(再入力)させる。そして、修正された手ぶれ方向に基づき、前述した処理を繰り返す(S44〜S54)。このように、本実施形態では、入力された手ぶれ方向に関して修正の機会を設けているので、先に入力した手ぶれ方向による補正結果が十分でなかった場合であっても、所望の補正が効率よく行える。
ところで、このフローチャートに従えば、修正された手ぶれ方向に基づき、確認対象範囲CFが再設定されることになる。しかし、2回目以降の処理においては、既に設定されている確認対象範囲CFをそのまま使用する構成が好ましい。これは、確認対象範囲CFを、既に設定されている範囲に固定することで、前回補正条件との比較が容易になるからである。つまり、同じ確認対象範囲CFで比較することにより、修正前と修正後における補正の効果がより明確になる。この処理を行う場合には、2回目以降の処理において、ステップS42で手ぶれ方向を入力した後、点線の矢印で示すように、ステップS50に移行して確認対象範囲CFの画像を補正する。その後は、ステップS52にて確認用の補正画像CIと原画像OIを画像表示部17に表示させ、ステップS54にて上書きするか否かを確認する。
補正後の原画像情報を、外部フラッシュメモリMOに上書きしたならば、コントローラ40は、補正対象となる他の画像があるか否かを確認する(S58)。そして、他の画像がある場合には、補正対象となる他の画像を表示させ(S40)、以後は前述した処理を繰り返す。一方、他の画像がない場合には、画像情報の補正処理(S20)を終了し、設定されたモードに基づく処理を行う(S10〜S22,図3を参照)。
===第2実施形態===
ところで、前述した第1実施形態は、手ぶれ方向入力部としての4方向ボタン23を用いて、手ぶれ方向を入力するようにしていた。この構成では、手ぶれ方向を入力できるので、入力された手ぶれ方向と補正の効果の関係を容易に把握できるという利点がある。しかし、手ぶれ方向を原画像情報から求めることもできる。以下、このように構成した第2実施形態について説明する。ここで、図13は、第2実施形態における処理の主要部を説明するフローチャートである。図14は、最大エッジ強度Eの方向(θmax)と、手ぶれ方向(θmax+π/2)の関係を説明する模式図である。
この第2実施形態において、コントローラ40は、原画像情報から手ぶれ方向情報を求め、求めた手ぶれ方向情報に基づいて確認対象範囲CFを設定する。このため、コントローラ40は、図13のフローチャートに示すように、原画像OIの表示(S40)を行った後、手ぶれ方向を決定し(S41)、原画像情報の分割(S44)を行う。その後は、前述した第1実施形態と同じ処理を行う。要するに、第2実施形態では、第1実施形態における手ぶれ方向の入力処理(S42)に代えて、手ぶれ方向の決定処理(S41)を行っている。以下、手ぶれ方向の決定処理について説明する。
手ぶれ方向は、前述したエッジ強度Eに基づいて決定される。すなわち、最もエッジ強度Eの強い角度θmaxは、原画像OIにおいて、最も多くエッジが現れている角度ということができる。仮に、露光時に手ぶれが生じていたとすると、手ぶれと同じ方向のエッジは、手ぶれと同じ方向に流されてぼやけてしまう。しかし、手ぶれ方向と垂直な方向のエッジは、手ぶれと同じ方向に流されたとしてもエッジとして残り易い。これらのことから、最もエッジ強度Eの強い角度θmaxとは、手ぶれ方向と垂直な方向であるということができる。このような観点から、この第2実施形態では、エッジ強度Eの強い角度θmaxを求め、この角度θmaxに垂直な方向を手ぶれ方向としている。
以下、手順について説明する。コントローラ40は、まず原画像情報をYIQの画像情報に変換する。そして、変換したYIQの画像情報におけるYチャネルの画像情報に対して水平方向のソーベルフィルタ(図8A)、及び、垂直方向のソーベルフィルタ(図8B)を適用し、水平方向のエッジ勾配dxと垂直方向のエッジ勾配dyを得る。エッジ勾配dx,dyが得られたならば、これらのエッジ勾配dx,dyから最もエッジが明確に現れている角度を判断する。ここで、コントローラ40は、図14に示す1/2円について、判定角度θn(n:1〜32)毎に、エッジ強度E(θn)を算出する。すなわち、前述した式(2)に基づき、角度θをπ/32ずつ変更しながらエッジ強度E(θ)を算出する。そして、得られた各エッジ強度E(θ)に基づき、最もエッジ強度Eの強い角度θmaxを取得する。この角度θmaxは、最も多くエッジが現れている方向といえるので、この角度θmaxに垂直な角度θmax+π/2は、手ぶれ方向に相当する。
このようにして手ぶれ方向を決定したならば、コントローラ40は、前述した処理(S44〜)を実行する。そして、このようなデジタルカメラ1によれば、原画像情報に基づいて、コントローラ40が手ぶれ方向を求めるので、操作の簡略化が図れ、使い勝手の向上が図れる。なお、この実施形態において、コントローラ40によって決定された手ぶれ方向を、4方向ボタン23を用いて修正するようにしてもよい。このように構成することで、第1実施形態と同様に、所望の補正が効率よく行えるようになる。
===その他の実施形態===
以上の説明はデジタルカメラ1の実施形態についてなされているが、この説明の中には、コンピュータシステム、プログラム、及びプログラムを記憶した記憶媒体の開示が含まれている。また、一実施形態として、デジタルカメラ1について説明したが、この実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、この趣旨を逸脱することなく、変更、改良され得る。また、本発明には、その等価物も含まれる。特に、以下に述べる実施形態であっても、本発明に含まれる。
<補正の対象について>
前述した実施形態では、手ぶれの補正について説明したが、補正の対象は手ぶれに限定されるものではない。例えば、ピンぼけであってもよい。そして、前述した実施形態のように、手ぶれを補正の対象にすることで、デジタルカメラ1等の撮影装置で生じ易い手ぶれについて、補正による効果を的確に知らせることができる。また、エッジの量に基づいて特定された確認対象範囲CFを用いることで、手ぶれの補正効果を判りやすく知らせることができる。
<確認用の補正画像CIの表示方法について>
前述した実施形態では、図12で説明したように、画像表示部17の一部を、確認用の補正画像CIが表示される補正画像表示領域17bとして用い、他の一部を、原画像OIが表示される原画像表示領域17aとして用いていた。この構成は、確認用の補正画像CIと原画像OIとが同時に表示されるので、対比が容易であるという利点を有する。しかし、確認用の補正画像CIと原画像OIの表示形態は、この形態に限定されるものではない。例えば、原画像OIと確認用の補正画像CIとを切り替えて表示させるようにしてもよい。この場合、コントローラ40は、原画像情報と確認対象範囲CFの補正画像情報とに基づき、原画像OIと確認用の補正画像CIとを画像表示部17に表示させる。この場合、原画像OIと確認用の補正画像CIとを所定時間毎(例えば、数秒間隔)で切り替えてもよいし、4方向ボタン23等の切り替え操作部からの出力に基づき切り替えてもよい。そして、この構成では、原画像OIを考慮することなく、補正画像の表示が行える。例えば、確認対象範囲CFの補正画像を拡大して表示することができる。このため、補正画像の表示を最適化できるという利点がある。特に、デジタルカメラ1等、画像表示部17の表示面積が小さい撮影装置ではこのような表示形態も有効である。
<適用対象について>
前述の実施形態では、デジタルカメラ1の実施形態について説明されていたが、この実施形態に限定されるものではない。画像表示部17とコントローラ40(或いは、コンピュータ)とを有し、補正対象となる原画像情報を取得可能なシステムであれば、本発明の適用対象となる。このようなシステムとしては、例えば、レタッチソフトをインストールしたパーソナルコンピュータや、外部フラッシュメモリMOに記憶された画像情報を印刷可能な印刷装置がある。
図1Aは、デジタルカメラ1の外観を示す斜視図である。図1Bは、デジタルカメラ1の背面図である。 デジタルカメラ1の制御系CSを説明するブロック図である。 デジタルカメラ1における動作の概略を示すフローチャートである。 画像情報の補正処理(S20)の具体的内容を説明するためのフローチャートである。 画像表示部17に表示された原画像OI及び指標画像IDを、模式的に説明する図である。 手ぶれ画像と、この手ぶれ画像における符号Aで示す部分の輝度とを示す図である。 原画像情報とブロックBKの関係を模式的に説明する図である。 図8Aは、エッジ勾配dxの生成に使用されるX方向のソーベルフィルタを説明する図である。図8Bは、エッジ勾配dyの生成に使用されるY方向のソーベルフィルタを説明する図である。図8Cは、或る画素P(i,j)を中心とする3×3画素の範囲、及び、この範囲内の画素Pの輝度Yを説明する模式図である。 エッジ強度EとブロックBKとの関係を模式的に示す図である。 画素と輝度Yの関数f(n)を説明する図である。 自己相関関数を説明するための模式図である。 確認用の補正画像CIと原画像OIの表示例である。 第2実施形態における処理の主要部を説明するフローチャートである。 最大エッジ強度Eの方向(θmax)と、手ぶれ方向(θmax+π/2)の関係を説明する模式図である。
符号の説明
1 デジタルカメラ,10 筐体,11 レンズ,12 セルフタイマー点灯部,
13 ストロボ,14 モードダイヤル,15 電源ボタン,16 シャッターボタン,
17 画像表示部,18 印刷ボタン,19 ズームボタン,20 メニューボタン,
21 ディスプレイボタン,22 レビューボタン,23 4方向ボタン,
24 選択ボタン,31 イメージセンサ,32 アナログフロントエンド部,
33 デジタル画像処理部,34 圧縮伸張部,41 CPU,42 ROM,
43 ワークメモリ,44 センサコントローラ,45 ディスプレイコントローラ,
46 入出力インタフェース,47 USBホストコントローラ,
48 USBデバイスコントローラ,CS 制御系,OS 光学系,
MO 外部フラッシュメモリ,MI 内部フラッシュメモリ,BT 操作用ボタン群,
OE 光電変換部,FM フレームメモリ,OI 原画像,CI 確認用の補正画像,
ID 指標画像,PL プレート,BK ブロック,E エッジ強度,
CF 確認対象範囲

Claims (4)

  1. (A)画像を表示する画像表示部と、
    (B1)補正の対象となる原画像情報を取得し、
    (B2)補正の効果を確認するための確認対象範囲を前記原画像情報に基づいて設定し、
    (B3)前記確認対象範囲の原画像情報を補正することで補正画像情報を生成し、
    (B4)前記原画像情報に基づく原画像、及び前記補正画像情報に基づく補正画像を、前記画像表示部に表示させるコントローラと、
    (C)操作者が手ぶれ方向を入力する手ぶれ方向入力部であって、入力された手ぶれ方向に基づいて前記手ぶれ方向情報を出力する手ぶれ方向入力部と、
    を有し、
    (D)前記コントローラは、
    前記原画像情報を複数のブロックに分割し、
    前記手ぶれ方向情報の示す前記手ぶれ方向のエッジを前記原画像情報から検出し、
    前記検出されたエッジの量が最大のブロックが含まれるように、前記確認対象範囲を設定し、
    前記確認対象範囲の原画像情報の手ぶれを補正することで、前記補正画像情報を生成し、
    前記補正画像を前記画像表示部に表示させた後に、前記手ぶれ方向情報の修正の要否を確認する、
    画像補正装置。
  2. 請求項1に記載の画像補正装置であって、
    前記コントローラは、
    前記手ぶれ方向情報が修正された場合に、修正時点よりも前に設定されていた前記確認対象範囲は変えずに、修正後の手ぶれ方向情報で前記確認対象範囲の前記原画像情報を補正する、画像補正装置。
  3. 請求項1又は請求項2に記載の画像補正装置であって、
    前記コントローラは、
    前記原画像を、前記画像表示部が有する原画像表示領域に表示させ、前記補正画像を、前記画像表示部が有する補正画像表示領域に表示させる、画像補正装置。
  4. 請求項1から請求項3の何れかに記載の画像補正装置であって、
    前記コントローラは、
    前記原画像と前記補正画像とを切り替えて、前記画像表示部に表示させる、画像補正装置。
JP2005057451A 2004-11-29 2005-03-02 画像補正装置 Expired - Fee Related JP4475143B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005057451A JP4475143B2 (ja) 2004-11-29 2005-03-02 画像補正装置
US11/283,673 US7593039B2 (en) 2004-11-29 2005-11-22 Image correcting method, image correcting apparatus, and storage medium having program stored thereon

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004344545 2004-11-29
JP2005057451A JP4475143B2 (ja) 2004-11-29 2005-03-02 画像補正装置

Publications (2)

Publication Number Publication Date
JP2006180445A JP2006180445A (ja) 2006-07-06
JP4475143B2 true JP4475143B2 (ja) 2010-06-09

Family

ID=36734086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005057451A Expired - Fee Related JP4475143B2 (ja) 2004-11-29 2005-03-02 画像補正装置

Country Status (2)

Country Link
US (1) US7593039B2 (ja)
JP (1) JP4475143B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5159374B2 (ja) * 2008-03-06 2013-03-06 三洋電機株式会社 撮像装置
JP5158202B2 (ja) * 2008-08-19 2013-03-06 富士通株式会社 画像補正装置および画像補正方法
JP2010134700A (ja) * 2008-12-04 2010-06-17 Toshiba Corp 画像評価装置および画像評価方法
JP5188651B2 (ja) * 2010-03-31 2013-04-24 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN101908241B (zh) * 2010-08-03 2012-05-16 广州广电运通金融电子股份有限公司 有价文件识别方法及其识别系统
KR20140028959A (ko) * 2012-08-31 2014-03-10 삼성전자주식회사 화상형성장치 및 화상형성방법
JP6171371B2 (ja) * 2013-02-05 2017-08-02 ノーリツプレシジョン株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
JP7098745B2 (ja) * 2018-10-01 2022-07-11 オリンパス株式会社 観察装置および観察方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4788596A (en) * 1985-04-26 1988-11-29 Canon Kabushiki Kaisha Image stabilizing device
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JP3096521B2 (ja) 1992-05-21 2000-10-10 オリンパス光学工業株式会社 ぶれ画像復元装置
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
US6046768A (en) * 1994-06-15 2000-04-04 Canon Kabushiki Kaisha Apparatus used for image blur prevention
JP3812770B2 (ja) 1997-07-07 2006-08-23 株式会社リコー 手ぶれパラメータ検出方法及び情報記録媒体
JP2000115631A (ja) 1998-10-08 2000-04-21 Canon Inc 画像再生機能付きカメラ
JP2001211295A (ja) 2000-01-25 2001-08-03 Canon Inc 画像読取方法及び装置並びに記憶媒体
US6765206B2 (en) * 1999-05-12 2004-07-20 Canon Kabushiki Kaisha Image reading apparatus
JP2003087442A (ja) 2001-09-14 2003-03-20 Fuji Photo Film Co Ltd 画像評価方法および装置並びにプログラム

Also Published As

Publication number Publication date
US20060210188A1 (en) 2006-09-21
US7593039B2 (en) 2009-09-22
JP2006180445A (ja) 2006-07-06

Similar Documents

Publication Publication Date Title
JP4475143B2 (ja) 画像補正装置
US7424217B2 (en) Method of evaluating image information, photographing device, and storage medium having program stored thereon
EP3499863B1 (en) Method and device for image processing
US7978247B2 (en) Focusing information visualization device, and corresponding method, program and recording medium
JP4165220B2 (ja) 画像処理方法、プログラムおよび画像処理装置
US8023743B2 (en) Image processing apparatus and image processing method
EP1922693B1 (en) Image processing apparatus and image processing method
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2003061105A (ja) 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ
JP2005056374A (ja) 映像処理におけるエッジ強調のための装置および方法
JP5589660B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP3809818B2 (ja) 画像処理方法、記録媒体および画像処理装置
JP2009027223A (ja) 画像表示装置、画像表示方法、およびプログラム
JP4306687B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP2019176302A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2578409B2 (ja) 画像処理装置
JP2009044757A (ja) 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2006174253A (ja) 撮像装置
JP5018828B2 (ja) 画像撮影装置及び画像撮影プログラム
JP5338248B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2005333587A (ja) 撮影装置およびこの制御方法
CN110169044B (zh) 图像处理装置、图像处理方法及存储有程序的记录介质
KR101014104B1 (ko) 영상처리장치 및 그 동작 방법
WO2017191717A1 (ja) 制御装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100301

R150 Certificate of patent or registration of utility model

Ref document number: 4475143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees