JP5158069B2 - 画像処理装置、及び、画像加工プログラム - Google Patents

画像処理装置、及び、画像加工プログラム Download PDF

Info

Publication number
JP5158069B2
JP5158069B2 JP2009297120A JP2009297120A JP5158069B2 JP 5158069 B2 JP5158069 B2 JP 5158069B2 JP 2009297120 A JP2009297120 A JP 2009297120A JP 2009297120 A JP2009297120 A JP 2009297120A JP 5158069 B2 JP5158069 B2 JP 5158069B2
Authority
JP
Japan
Prior art keywords
image
image quality
image data
conversion
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009297120A
Other languages
English (en)
Other versions
JP2011138272A (ja
Inventor
孝行 小金
純人 篠原
祐人 布川
哲也 半田
公靖 水野
岳浩 相原
一志 雨谷
直隆 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009297120A priority Critical patent/JP5158069B2/ja
Publication of JP2011138272A publication Critical patent/JP2011138272A/ja
Application granted granted Critical
Publication of JP5158069B2 publication Critical patent/JP5158069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像処理装置、及び、画像加工プログラムに関する。
近年、デジタルフォトフレーム(Digital Photo Frame)と呼ばれる電子機器(画像処理装置)が広く普及している。このデジタルフォトフレームは、例えば、装着されたメモリカード等から画像データを読み出して、あたかも通常の写真立てように、画像(画像データが表す画像)を表示できるようになっている。
ユーザは、パーソナルコンピュータ等を用いることなく、このようなデジタルフォトフレームだけで、手軽に画像を鑑賞することができる。
ところで、デジタルフォトフレームにて表示される画像は、通常、ユーザがデジタルカメラ等にて撮影されたものが使用される。そのため、そのような画像の中には、撮影に失敗した画像も含まれ得る。つまり、手振れ(シャッタを押す時にカメラが動いてしまうこと等により生じる画像のぶれ)や、ピンぼけ(被写体に対してピントが合っていない状態で撮影された画像のぼけ)等のような、撮影に失敗した画像(以下、失敗画像と呼ぶ)が含まれる場合も多い。
このような失敗画像がデジタルフォトフレームにて表示された際には、見栄えがあまり良くないため、ユーザによっては、そのような失敗画像をスキップ対象(表示をスキップさせる対象)に設定し、以降の表示が行われないようにすることもある。
また、このような失敗画像に関する技術として、例えば、特許文献1には、ピンぼけ等の生じている画像を高速に検出できる技術が開示されている。
特開2007−128342号公報
しかしながら、そもそも失敗画像の中には、被写体の構図や雰囲気が気に入っている画像や、記念に残るような重要な画像といった、ユーザにとって思い入れの強い画像が含まれる場合も多い。そのため、そのような失敗画像を表示対象から除外することなく、見栄え等を良くして活用することが求められていた。
上記点に鑑み、本発明は、撮影に失敗した画像を適切に加工することのできる画像処理装置、及び、画像加工プログラムを提供することを目的とする。
本発明の第一の観点に係る画像処理装置は、
画像データが表す画像における画質劣化の有無を判定する画質判定手段と、
前記画質判定手段により画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする。
本発明の第二の観点に係る画像処理装置は、
画像データが表す画像における画質劣化の度合いを判定する画質判定手段と、
前記画質判定手段が判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定手段と、
前記決定手段が画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正手段と、
前記決定手段が画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする。
本発明の第三の観点に係る画像加工プログラムは、
コンピュータに、
画像データが表す画像における画質劣化の有無を判定する画質判定ステップと、
前記画質判定ステップにより画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする。
本発明の第四の観点に係る画像加工プログラムは、
コンピュータに、
画像データが表す画像における画質劣化の度合いを判定する画質判定ステップと、
前記画質判定ステップが判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定ステップと、
前記決定ステップが画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正ステップと、
前記決定ステップが画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする。
本発明に係る画像処理装置、及び、画像加工プログラムによれば、撮影に失敗した画像を適切に加工することができる。
本発明の実施形態に係る画像処理装置のハードウェア構成を示す模式図である。 本発明の第1実施形態に係る画像処理装置の機能構成を示すブロック図である。 (a)がピンぼけ画像の一例を示す図であり、(b)が絵画調(油絵風)に変換した画像の一例を示す図である。 本発明の第1実施形態に係る画像変換処理の流れを示すフローチャートである。 第1実施形態の変形例に係る画像処理装置の機能構成を示すブロック図である。 第1実施形態の変形例に係る画像変換処理の流れを示すフローチャートである。 本発明の第2実施形態に係る画像処理装置の機能構成を示すブロック図である。 (a)がピンぼけの度合いが小さい画像の一例を示す図であり、(b)が画像補正した画像の一例を示す図であり、(c)がピンぼけの度合いが大きい画像の一例を示す図であり、(d)が絵画調(色鉛筆風)に変換した画像の一例を示す図である。 本発明の第2実施形態に係る補正・変換処理の流れを示すフローチャートである。 第2実施形態の変形例に係る画像処理装置の機能構成を示すブロック図である。 第2実施形態の変形例に係る補正・変換処理の流れを示すフローチャートである。
以下、本発明の画像処理装置について説明する。なお、発明の理解を容易にするため、以下では、デジタルフォトフレームに本発明が適用される実施形態を説明するが、本発明の画像処理装置は、デジタルフォトフレームに限られず適用可能である。例えば、各種のコンピュータ、PDA、携帯電話、デジタルカメラ、プリンタなどの電子機器においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
(共通のハードウェア構成)
図1は、本発明の実施形態に係る画像処理装置1のハードウェア構成の一例を示す模式図である。なお、後述する第1実施形態及び、第2実施形態における画像処理装置1は、以下のハードウェア構成によって実現される。
図示するように、画像処理装置1は、CPU(Central Processing Unit)10と、ROM(Read Only Memory)20と、RAM(Random Access Memory)30と、外部記憶装置40と、入力装置50と、表示装置60と、印刷装置70と、通信I/F80と、を備えている。
CPU10は、ROM20内に記憶されているプログラム21をロードし、RAM30を作業用メモリとしつつ、各種の演算処理や制御処理を実行する。
ROM20には、各処理(後述する画像変換処理等)の内容を規定するプログラム21が予め書き込まれている。
このようなプログラム21は、ROM20以外に記録されていてもよい。例えば、持ち運び可能な記憶媒体等に記録されていてもよい。
この記憶媒体は、一例として、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、ハードディスクドライブ、又は、フラッシュメモリ等からなる。
また、プログラム21は、持ち運び可能な記憶媒体から各種の読取装置を介して画像処理装置1にインストールされてもよい。また、プログラム21は、インターネット等のネットワークから通信I/F80を介して画像処理装置1にダウンロード及びインストールされてもよい。更に、プログラム21は、画像処理装置1と通信可能なサーバ等の記憶装置に格納されて、CPU10への指示を行ってもよい。
このようなプログラム21を記憶した読み取り可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品となる。
RAM30には、CPU10により各処理が実行される際に、ROM20や外部記憶装置40から読み出された各種データが格納される。
外部記憶装置40は、例えば、所定規格のメモリカードやHDD(Hard Disk Drive)等の記憶媒体であり、画像データ41が保存されている。
画像データ41は、例えば、デジタルカメラ等で撮影された人物や風景等が写った画像のデータであり、JPEG(Joint Photographic Experts Group)等のファイル形式にて保存されている。
入力装置50は、例えば、スイッチやタッチパネル等であり、ユーザの操作入力を受け取る。
表示装置60は、例えば、液晶表示ユニット等であり、外部記憶装置40から画像データ41が読み出され、必要に応じて絵画調に変換された画像等を表示する。
印刷装置70は、例えば、昇華型印刷ユニット等であり、外部記憶装置40から画像データ41が読み出され、必要に応じて絵画調に変換された画像等を印刷する。
通信I/F(インタフェース:interface)80は、例えば、無線通信ユニット等であり、必要に応じて所定のネットワークに接続し、外部のサーバ等との通信を行う。
このようなハードウェア構成の画像処理装置1は、表示や印刷対象の画像(画像データ41が表す画像)について、手振れやピンぼけ等を起因とする画質劣化の有無を判定し、画質劣化があると判定されると、その画像を絵画調の画像に変換する機能を有している。つまり、画像処理装置1は、画質が劣化している画像を、絵画調の画像に変換して出力(表示や印刷)する。
(第1実施形態)
以下、このような画質が劣化している画像を絵画調の画像に変換して出力等することを特徴とする画像処理装置1について、図面を参照して説明する。図2は、本発明の第1実施形態に係る画像処理装置1の機能構成を示すブロック図である。
図2に示すように、画像処理装置1は、画像データ記憶部100、画像データ読み出し部200と、画質判定部300と、加工内容決定部400と、画像変換部500と、画像出力部600と、を備えている。
画像データ記憶部100は、上述した外部記憶装置40からなり、画像データ41を記憶している。つまり、画像データ記憶部100は、画像データ41が表す画像に人物や風景等が写っている、上述した画像データ41を複数記憶している。これらの画像データ41の中には、撮影に失敗し、画像データ41が表す画像に手振れやピンぼけ等が生じているものも含まれているものとする。
画像データ読み出し部200は、上述したCPU10(より詳細には、外部記憶装置40を制御するドライバプログラム)等からなり、画像データ記憶部100に記憶された画像データ41を適宜読み出す。例えば、画像データ読み出し部200は、画像データ記憶部100に記憶された画像データ41を所定の順番、又は、ランダムに読み出す。また、ユーザにより選択された画像データ41を画像データ記憶部100から読み出してもよい。
画質判定部300は、上述したCPU10(より詳細には、後述する画質判定処理を実行するCPU10)等からなり、画像データ読み出し部200が読み出した画像データ41が表す画像について、画質劣化の有無を判定する。例えば、画質判定部300は、画像データ41が表す画像を画像解析し、手振れ、ピンぼけ、及び、露出不足の何れかが発生している場合に、画像データ41が表す画像に画質劣化があると判定する。一例として、画質判定部300は、特開2007−295181号公報に記載された手法を用いて、手振れ、ピンぼけ、及び、露出不足が発生しているかどうかを判定する。
まず、手振れについて、画質判定部300は、画像データ41が表す画像から高周波成分を抽出し、抽出した高周波成分を所定の閾値で二値化処理することによりエッジ画素を検出する。そして、検出したエッジ画素数をエッジ量として導出する。画質判定部300は、導出したエッジ量に基づいて、手振れの発生を判定する。
また、ピンぼけについて、画質判定部300は、例えば、画像データ41が表す画像から中心付近の画像を抽出し、抽出した画像のエッジ量を同様に導出する。画質判定部300は、導出したエッジ量に基づいて、ピンぼけの発生を判定する。
また、露出不足について、画質判定部300は、画像データ41が表す画像から、濃度のダイナミックレンジ及び最小濃度点を導出する。なお、ダイナミックレンジは、濃度の最大濃度点と最小濃度点との差異を示している。画質判定部300は、導出したダイナミックレンジが所定の閾値未満の場合で、かつ、導出した最小濃度点が所定の閾値未満である場合に、露出不足が発生していると判定する。
更に、画質判定部300は、撮影時に画像データ41へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の発生を判定してもよい。例えば、デジタルカメラによっては、手振れ等を検出するためのジャイロセンサが内蔵されている機種もある。その種のデジタルカメラでは、ジャイロセンサによって、撮影時(露光中)に本体がどの方向にどの程度動いたか(ぶれたか)を検出すると、撮影した画像データ41へ手振れに関する情報を付加する。
具体的には、画像データ41に付加されるExif(Exchangeable Image File Format)データ内に、手振れに関する情報を含めて格納する。また、Exifデータには、シッャター速度、焦点距離、合焦距離、露出モード、及び、露出補正値等の情報も格納可能である。そのため、画質判定部300は、画像データ41に付加されるExifデータを読み出して、手振れに関する情報や、シッャター速度、焦点距離、合焦距離等の情報から、手振れ、ピンぼけ、及び、露出不足の発生を判定してもよい。
加工内容決定部400は、画質判定部300によって画像データ41が表す画像に画質劣化がある(つまり、手振れ、ピンぼけ、露出不足の何れかが発生している)と判定されると、アート加工の加工内容を決定する。例えば、加工内容決定部400は、油絵風、水彩画風、色鉛筆画風等といった絵画調の画像へ変換するための加工内容を決定する。なお、加工内容は、これれらに限られず、鉛筆スケッチ画風、似顔絵風、コミック風など種々の絵画調の画像へ変換が行えるようにしてもよい。また、同じ種類の絵画調の画像への変換でも、その絵画調におけるタッチ(筆触)の粗さ等も適宜決定できる。例えば、鉛筆スケッチ画風に変換する際に、粗く書くか、又は、細かく書くか等を変更することでも、変換後の画像の雰囲気を変えることができる。
加工内容決定部400は、このような加工内容について、予めユーザから指定されたものを決定してもよく、また、固定で定められていてもよく、また、ランダムに決定してもよい。更に、発生している手振れ、ピンぼけ、及び、露出不足に応じて、対応する加工内容をそれぞれ異なるように決定してもよい。
画像変換部500は、上述したCPU10(より詳細には、後述する絵画調変換処理を実行するCPU10)等からなり、画質判定部300によって画像データ41が表す画像に画質劣化があると判定された場合に、加工内容決定部400が決定した加工内容に従って、その画像データ41が表す画像を絵画調の画像に変換する。つまり、画像変換部500は、画像データ41が表す画像に、手振れ、ピンぼけ、又は、露出不足が生じている場合に、その画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部500は、画像の輪郭成分の画素値を平均化して、滑らかな模様を有する画像にするための平均化処理、陰影を強調するための暗度強調処理、及び、輝度の階調の中間調を少なくし、画像の濃淡の差を強調する輝度補正処理等を行い、画像データ41が表す画像を絵画調の画像に変換する。なお、これらの処理は、画像処理におけるフィルタ演算(フィルタを用いた演算)により行われる。そして、フィルタのパラメータは、変換する絵画調の種類に応じて適宜設定されている。
このようなフィルタによる画像変換は、一例として、アドビ・システムズ社のPHOTOSHOP(登録商標)における各種フィルタ(色鉛筆、水彩画、・・・)と同様の処理を行っている。そのため、加工内容が油絵風と決定されている場合に、画像変換部500は、画像データ41が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部500は、画像データ41が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
画像出力部600は、上述した表示装置60又は印刷装置70からなり、画像データ41が表す画像、又は、画像変換部500が絵画調に変換した画像を出力する。つまり、絵画調に変換等された画像を表示し、又は、印刷する。例えば、図3(a)に示すようなピンぼけが生じている画像であれば、画像変換部500により絵画調の画像に変換されるため、画像出力部600は、図3(b)に示すような絵画調(一例として、油絵風)に変換された画像を出力する。
このように、画像データ41が表す画像に手振れ、ピンぼけ、又は、露出不足が生じている場合には、絵画調の画像に変換されて出力される。なお、一般的に、絵画は写真に比べて、にじみや混じり等があるのが前提であるため、このような絵画調の画像に変換することで、手振れやピンぼけを意識させずに、より見栄えのよい画像として出力可能となる。
以下、このような構成の第1実施形態に係る画像処理装置1の動作について、図面を参照して説明する。図4は、本発明の第1実施形態に係る画像処理装置1の画像変換処理の流れを示すフローチャートである。
なお、この画像変換処理は、上述したROM20内のプログラム21として予め記憶されており、CPU10がプログラム21を読み出して実行することで、実際の処理が行われるものとする。
(画像変換処理)
図4の画像変換処理は、第1実施形態に係る画像処理装置1が実行する処理であり、例えば、ユーザによる入力装置50への操作を契機として開始される。
まず、画像処理装置1は、ユーザの操作に応じて出力する画像を選択する(ステップS11)。例えば、各画像データ41が表す画像についてのサムネイル画像(視認性を高めるために縮小させた画像)を表示装置60に表示した状態で、入力装置50を介したユーザの操作に基づいて、出力する画像を選択する。何れかの画像がユーザにより選択されると、画像データ読み出し部200は、画像データ記憶部100から選択された画像データ41を読み出す。
続いて、画質判定部300は、選択された画像について、画質判定処理を行う(ステップS12)。つまり、画質判定部300は、画像データ41が表す画像を画像解析し、上述したように、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定する。また、上述したように、画質判定部300は、撮影時に画像データ41へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定してもよい。
続いて、画像処理装置1は、画質判定処理の判定結果に応じて、画質劣化の有無を判別する(ステップS13)。つまり、画像データ41が表す画像に手振れ、ピンぼけ、又は、露出不足が生じていたかどうかを判別する。ここで、画質劣化がないと判別すると(ステップS13;No)、画像処理装置1は、後述するステップS15に処理を進める。
一方、画質劣化があると判別した場合(ステップS13;Yes)に、画像変換部500は、絵画調変換処理を行う(ステップS14)。つまり、加工内容決定部400が加工内容を決定し、画像変換部500は、その加工内容に従って、画像データ41が表す画像を絵画調の画像に変換する。すなわち、手振れやピンぼけ等が生じている画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部500は、上述したように、フィルタ演算によって画像データ41が表す画像を絵画調の画像に変換する。例えば、加工内容が油絵風と決定されている場合に、画像変換部500は、画像データ41が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部500は、画像データ41が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
そして、画像出力部600は、画像データ41が表す画像、又は、画像変換部500が絵画調に変換した画像を出力する(ステップS15)。すなわち、上述したステップS13にて画質劣化がないと判別された場合には、画像出力部600は、画像データ41が表す画像をそのまま出力する。また、上述したステップS14にて絵画調変換処理がなされている場合に、画像出力部600は、絵画調に変換された画像を出力する。
例えば、上述した図3(a)のようなピンぼけが生じている画像は、画像変換部500により絵画調の画像に変換されるため、画像出力部600は、上述した図3(b)のような絵画調(一例として、油絵風)の画像を出力する。
このように、撮影に失敗した画像(画像データ41が表す画像に手振れ、ピンぼけ、又は、露出不足が生じている場合)は、画像変換処理等によって、絵画調の画像に変換されて出力される。なお、一般的に、絵画は写真に比べて、にじみや混じり等があるのが前提であるため、このような絵画調の画像に変換することで、手振れやピンぼけを意識させず
この結果、撮影に失敗した画像を適切に加工することができる。
(第1実施形態の変形例)
上記の第1実施形態では、デジタルフォトフレームに本願発明が適用された場合について説明したが、他の電子機器にも適宜適用可能である。例えば、デジタルカメラに本発明を適用してもよい。以下、第1実施形態の変形例として、デジタルカメラに本発明を適用した場合について説明する。図5は、本発明の第1実施形態の変形例に係る画像処理装置1の機能構成を示すブロック図である。
図5に示すように、画像処理装置1は、撮像部700と、画像データ記憶部100、画像データ読み出し部200と、画質判定部300と、加工内容決定部400と、画像変換部500と、画像出力部600と、を備えている。つまり、上述した図2に示す画像処理装置1に撮像部700を加えた構成となっている。
撮像部700は、レンズ及びCCD(Charge Coupled Device)等のイメージセンサを備え、被写体となる人物等を含んだ画像を撮影する。なお、撮影した画像は、画像データ41として、画像データ記憶部100に格納される。
このような図5に示す構成の画像処理装置1は、撮影した画像について、画像変換処理を行う。具体的には、図6に示す画像変換処理を行う。この画像変換処理において、上述した図4の画像変換処理と同じ処理内容には、同じ参照符号を付している。つまり、図6に示す画像変換処理では、ステップS21及び、ステップS25を、図4の画像変換処理から変更している。
ステップS21では、撮像部700が、撮影を行い画像データ41を生成して画像データ記憶部100に格納する。その後のステップS12からステップ14までの処理は、図4の画像変換処理と同様である。つまり、画質劣化があると判定した場合に、画像変換部500が絵画調変換処理を行う。
そして、ステップS25では、画像データ41が表す画像、又は、画像変換部500が絵画調に変換した画像を格納する。なお、絵画調に変換する場合に、変換前の画像データも併せて格納するようにしてもよい。この場合、両方の画像を見比べることができ、また、ピンぼけ等により撮影に失敗した画像についても後で使用できる。
このように、デジタルカメラに本発明を適用した場合には、撮影した画像に画質劣化(手振れやピンぼけ等)がある場合に、絵画調に変換した画像を格納することができる。このため、撮影に失敗した画像であっても、適宜加工された画像が記録される。
(第2実施形態)
上記の第1実施形態では、画像データ41が表す画像に画質劣化があれば、その画質劣化の度合いに拘わらず、その画像を全て絵画調の画像に変換する場合について説明した。しかしながら、画質劣化の度合いが小さい場合には、画質を向上させる画像補正を行うことも可能となる。
以下、画像データ41が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とを切り替えることを特徴とする画像処理装置1について、図面を参照して説明する。図7は、本発明の第2実施形態に係る画像処理装置1の機能構成を示すブロック図である。
図7に示すように、画像処理装置1は、画像データ記憶部110、画像データ読み出し部210と、画質判定部310と、補正・変換決定部410と、画像補正部510と、画像変換部520と、画像出力部610と、を備えている。
画像データ記憶部110は、上述した外部記憶装置40からなり、画像データ41を記憶している。つまり、画像データ記憶部110は、画像データ41が表す画像に人物や風景等が写っている、上述した画像データ41を複数記憶している。これらの画像データ41の中には、撮影に失敗し、画像データ41が表す画像にピンぼけや露出不足等が生じているものも含まれているものとする。
画像データ読み出し部210は、上述したCPU10(より詳細には、外部記憶装置40を制御するドライバプログラム)等からなり、画像データ記憶部110に記憶された画像データ41を適宜読み出す。例えば、画像データ読み出し部210は、画像データ記憶部110に記憶された画像データ41を所定の順番、又は、ランダムに読み出す。また、ユーザにより選択された画像データ41を画像データ記憶部110から読み出してもよい。
画質判定部310は、上述したCPU10(より詳細には、後述する画質判定処理を実行するCPU10)等からなり、画像データ読み出し部210が読み出した画像データ41が表す画像について、画質劣化の有無及び、画質劣化の度合いを判定する。例えば、画質判定部310は、画像データ41が表す画像を画像解析し、手振れ、ピンぼけ、及び、露出不足の何れかが発生している場合に、画像データ41が表す画像に画質劣化があると判定し、また、その画質劣化の度合いも判定する。一例として、画質判定部310は、上述した第1実施形態と同様に、特開2007−295181号公報に記載された手法を用いて、手振れ、ピンぼけ、及び、露出不足が発生しているかどうか、及び、それぞれの度合いを判定する。
更に、画質判定部310は、上述した第1実施形態と同様に、撮影時に画像データ41へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の発生及び、その度合いを判定してもよい。
補正・変換決定部410は、画質判定部310によって画質劣化があると判定されると、その画質劣化の度合いに基づいて、画質補正又は、画像変換を決定する。例えば、補正・変換決定部410は、算定された画質劣化の度合いと予め定められた閾値とを比較し、画質劣化の度合いが閾値よりも小さい場合に、画質補正を決定し、逆に、画質劣化の度合いが閾値以上であれば、画像変換を決定する。なお、画像変換を決定する際には、上述したような油絵風、水彩画風、色鉛筆画風等といった加工内容も決定する。
画像補正部510は、上述したCPU10(より詳細には、後述する画像補正処理を実行するCPU10)等からなり、補正・変換決定部410によって画像補正が決定された場合に、その画像データ41が表す画像に対して、画像補正を行う。つまり、画像データ41が表す画像についての画質劣化の度合いが比較的小さい場合に、画像補正部510は、その画像について画質を向上させるための画像補正を行う。一例として、画像補正部510は、特開2007−129491号公報に記載された手法を用いて、手振れを補正し、また、特開2006−279359号公報に記載された手法を用いて、露出不足を補正する。
まず、手振れの場合に、画像補正部510は、画像データ41が表す画像に対してフーリエ変換や逆フーリエ変換を行って劣化成分を推定し、その劣化成分を基にデコンボリューション演算(逆畳み込み積分)を行うことによって、手振れを補正する。
また、露出不足の場合に、画像補正部510は、輝度分布の変換処理により露出不足を補正する。つまり、画像補正部510は、画像データ41が表す画像の輝度分布ヒストグラム(輝度分布図)を、線形若しくは非線形の変換式によって、出力輝度分布ヒストグラムに変換して、露出不足を補正する。
また、ピンぼけの場合に、画像補正部510は、例えば、フィルタ演算によってピンぼけを補正する。つまり、アンシャープ用のパラメータが設定されたフィルタ演算を行い、画像データ41が表す画像を補正する。
画像変換部520は、上述したCPU10(より詳細には、後述する画像変換処理を実行するCPU10)等からなり、補正・変換決定部410によって画像変換が決定された場合に、その画像データ41が表す画像を絵画調の画像に変換する。つまり、画像変換部520は、画像データ41が表す画像についての画質劣化の度合いが比較的大きい場合に、上述した第1実施形態と同様に、その画像データ41が表す画像を、油絵風や水彩画風等の絵画調の画像に変換する。
例えば、加工内容が油絵風と決定されている場合に、画像変換部520は、画像データ41が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部520は、画像データ41が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
画像出力部610は、上述した表示装置60又は印刷装置70からなり、画像補正部510が画像補正した画像や、画像変換部520が画像変換した画像を出力する。つまり、絵画調に変換等された画像を表示し、又は、印刷する。例えば、図8(a)に示すような比較的程度が小さいピンぼけが生じている画像であれば、画像補正部510により画像補正がされるため、画像出力部610は、図8(b)に示すような補正後の画像を出力する。また、図8(c)に示すような比較的程度が大きいピンぼけが生じている画像であれば、画像変換部520により画像変換されるため、画像出力部610は、図8(d)に示すような変換後(一例として、色鉛筆風の絵画調に変換された後)の画像を出力する。
このように、画像データ41が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とが切り替えられるため、より適切な加工がなされた画像が出力される。
以下、このような構成の第2実施形態に係る画像処理装置1の動作について、図面を参照して説明する。図9は、本発明の第2実施形態に係る画像処理装置1の補正・変換処理の流れを示すフローチャートである。
なお、この補正・変換処理は、上述したROM20内のプログラム21として予め記憶されており、CPU10がプログラム21を読み出して実行することで、実際の処理が行われるものとする。
(画像変換処理)
図9の画像変換処理は、第2実施形態に係る画像処理装置1が実行する処理であり、例えば、ユーザによる入力装置50への操作を契機として開始される。
まず、画像処理装置1は、画像処理の対象となる新たな画像を選択する(ステップS31)。例えば、各画像データ41が表す画像についてのサムネイル画像(視認性を高めるために縮小させた画像)を表示装置60に表示した状態で、入力装置50を介したユーザの操作に基づいて、画像処理する画像を選択する。何れかの画像がユーザにより選択されると、画像データ読み出し部210は、画像データ記憶部110から選択された画像データ41を読み出す。
続いて、画質判定部310は、選択された画像において画質劣化があるか否かを判別する(ステップS32)。つまり、画質判定部310は、画像データ41が表す画像を画像解析し、上述したように、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定する。また、上述したように、画質判定部310は、撮影時に画像データ41へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定してもよい。
ここで、画像処理装置1は、選択された画像に画質劣化がないと判別すると(ステップS32;No)、後述するステップS39に処理を進める。
一方、選択された画像に画質劣化があると判別した場合(ステップS32;Yes)に、画質判定部310は、画質劣化の度合いを算出する(ステップS33)。つまり、発生している手振れ、ピンぼけ、及び、露出不足の何れかの度合いを算出する。
続いて、画像処理装置1は、算出された画質劣化の度合いが予め定められた閾値以上であるか否かを判別する(ステップS34)。ここで、画質劣化の度合いが閾値未満であると判別すると(ステップS34;No)、画像補正部510は、画像補正処理を行う(ステップS35)。つまり、画像補正部510は、閾値未満である手振れ、露出不足、及び、ピンぼけの何れかに応じて、画像データ41が表す画像の画質を向上させる画像補正を行う。例えば、手振れの場合に、画像補正部510は、画像データ41が表す画像に対してフーリエ変換や逆フーリエ変換を行って劣化成分を推定し、その劣化成分を基にデコンボリューション演算(逆畳み込み積分)を行うことによって、手振れを補正する。
一方、算出された画質劣化の度合いが閾値以上であると判別した場合(ステップS34;Yes)に、画像変換部520は、画像変換処理を行う(ステップS36)。つまり、画像変換部520は、補正・変換決定部410が決定した加工内容に従って、画像データ41が表す画像を絵画調の画像に変換する。すなわち、手振れやピンぼけ等が生じている画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部520は、上述したように、フィルタ演算によって画像データ41が表す画像を絵画調の画像に変換する。例えば、加工内容が油絵風と決定されている場合に、画像変換部520は、画像データ41が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部520は、画像データ41が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
画像出力部610は、画像補正部510により画像補正された画像、又は、画像変換部520により画像変換された画像を出力する(ステップS37)。例えば、図8(a)に示すような比較的程度が小さいピンぼけが生じている画像であれば、画像補正部510により画像補正がされるため、画像出力部610は、図8(b)に示すような補正後の画像を出力する。また、図8(c)に示すような比較的程度が大きいピンぼけが生じている画像であれば、画像変換部520により画像変換されるため、画像出力部610は、図8(d)に示すような変換後(一例として、色鉛筆風の絵画調に変換された後)の画像を出力する。
画像処理装置1は、ユーザの操作に応じて、画像補正後又は、画像変換後の画像を保存する(ステップS38)。つまり、ユーザが図8(b)に示すような画像補正後の画像図8(d)に示すような画像変換後の画像を保存したい場合に、その保存を指示する操作に応じて、画像処理装置1は、画像補正後又は、画像変換後の画像についての画像データを、画像データ記憶部110に保存する。その際、元の画像データ41に上書きしてもよく、また、上書きせずに別名で保存してもよい。
画像処理装置1は、終了指示を検出したか否かを判別する(ステップS39)。つまり、上述した入力装置50を介して、補正・変換処理の終了が指示されたかどうかを判別する。ここで、終了指示が検出されなかったと判別すると(ステップS39;No)、画像処理装置1は、ステップS31に処理を戻し、上述したステップS31〜S39の処理を再度実行する。
一方、終了指示が検出された判別した場合(ステップS39;Yes)に、画像処理装置1は、補正・変換処理を終える。
このように、画像変換処理等によって、画像データ41が表す画像に、比較的度合いの小さな手振れやピンぼけ等が生じている場合には、画質を向上させるための画像補正がなされる。一方、画像データ41が表す画像に、比較的度合いの大きな手振れやピンぼけ等が生じている場合には、絵画調の画像に変換する画像変換がなされる。
このため、画像データ41が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とを切り替えることができ、より適切に画像を加工することができる。
(第2実施形態の変形例)
上記の第2実施形態では、デジタルフォトフレームに本願発明が適用された場合について説明したが、他の電子機器にも適宜適用可能である。例えば、デジタルカメラに本発明を適用してもよい。以下、第2実施形態の変形例として、デジタルカメラに本発明を適用した場合について説明する。図10は、本発明の第2実施形態の変形例に係る画像処理装置1の機能構成を示すブロック図である。
図10に示すように、画像処理装置1は、撮像部710と、画像データ記憶部110、画像データ読み出し部210と、画質判定部310と、補正・変換決定部410と、画像補正部510と、画像変換部520と、画像出力部610と、を備えている。つまり、上述した図7に示す画像処理装置1に撮像部710を加えた構成となっている。
撮像部710は、レンズ及びCCD(Charge Coupled Device)等のイメージセンサを備え、被写体となる人物等を含んだ画像を撮影する。なお、撮影した画像は、画像データ41として、画像データ記憶部110に格納される。
このような図10に示す構成の画像処理装置1は、撮影した画像について、補正・変換処理を行う。具体的には、図11に示す補正・変換処理を行う。この補正・変換処理において、上述した図9の補正・変換処理と同じ処理内容には、同じ参照符号を付している。つまり、図11に示す画像変換処理では、ステップS41を、図9の補正・変換処理から変更している。なお、撮影毎に補正・変換を行うため、ステップS39は、省いている。
ステップS41では、撮像部710が、撮影を行い画像データ41を生成して画像データ記憶部110に格納する。その後のステップS32からステップ38までの処理は、図9の補正・変換処理と同様である。つまり、画質劣化の度合いに応じて、画像補正処理又は、画像変換処理が行われる。
このように、デジタルカメラに本発明を適用した場合には、撮影した画像に画質劣化(手振れやピンぼけ等)がある場合に、その画質劣化の度合いに応じて、画像補正後又は、画像変換後の画像を格納することができる。このため、撮影に失敗した画像であっても、適宜加工された画像が記録される。
(他の変形例)
上述した実施形態では、画像データ41が表す画像について、画質劣化(手振れやピンぼけ等)の有無を判定して、絵画調変換等する場合について説明したが、他の条件に基づいて、絵画調変換等してもよい。例えば、連写機能を有するデジタルカメラにて撮影された一連の画像データ41がある場合に、それらの画像データ41が表す連写画像群の中から少なくとも1つの画像を選択し、その画像について、絵画調変換してもよい。
例えば、このような連写機能が用いられる際には、ある程度余裕を持って撮影を開始する(早めに撮影を開始する)場合が多い。そのため、一番最初に撮影された画像等は、ユーザにとったあまり重要でないものとなる可能性が高い。そこで、連写画像群の最初の画像について、絵画調変換を行ってもよい。
以上説明したように、本発明によれば、撮影に失敗した画像を適切に加工することができる画像処理装置、及び、画像加工プログラムを提供することができる。
1・・・画像処理装置、10・・・CPU、20・・・ROM、21・・・プログラム、30・・・RAM、40・・・外部記憶装置、41・・・画像データ、50・・・入力装置、60・・・表示装置、70・・・印刷装置、80・・・通信I/F、100,110・・・画像データ記憶部、200,210・・・画像データ読み出し部、300,310・・・画質判定部、400・・・加工内容決定部、410・・・補正・変換決定部、500,520・・・画像変換部,510・・・画像補正部、600,610・・・画像出力部、700,710・・・撮像部

Claims (6)

  1. 画像データが表す画像における画質劣化の有無を判定する画質判定手段と、
    前記画質判定手段により画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画質判定手段は、手振れ、ピンぼけ、及び、露出不足のうち少なくとも何れか1つを起因とする画質劣化の有無を判定する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 画像データが表す画像における画質劣化の度合いを判定する画質判定手段と、
    前記画質判定手段が判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定手段と、
    前記決定手段が画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正手段と、
    前記決定手段が画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換手段と、
    を備えることを特徴とする画像処理装置。
  4. 前記画質判定手段は、手振れ、ピンぼけ、及び、露出不足のうち少なくとも何れか1つを起因とする画質劣化の度合いを判定し、
    前記決定手段は、前記画質判定手段が判定した画質劣化の度合いを予め定められた閾値と比較して、画質劣化の度合いが閾値よりも小さい場合に画像補正を決定し、画質劣化の度合いが閾値よりも大きい場合に画像変換を決定する、
    ことを特徴とする請求項3に記載の画像処理装置。
  5. コンピュータに、
    画像データが表す画像における画質劣化の有無を判定する画質判定ステップと、
    前記画質判定ステップにより画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換ステップと、
    を行わせることを特徴とする画像加工プログラム。
  6. コンピュータに、
    画像データが表す画像における画質劣化の度合いを判定する画質判定ステップと、
    前記画質判定ステップが判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定ステップと、
    前記決定ステップが画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正ステップと、
    前記決定ステップが画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換ステップと、
    を行わせることを特徴とする画像加工プログラム。
JP2009297120A 2009-12-28 2009-12-28 画像処理装置、及び、画像加工プログラム Expired - Fee Related JP5158069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009297120A JP5158069B2 (ja) 2009-12-28 2009-12-28 画像処理装置、及び、画像加工プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009297120A JP5158069B2 (ja) 2009-12-28 2009-12-28 画像処理装置、及び、画像加工プログラム

Publications (2)

Publication Number Publication Date
JP2011138272A JP2011138272A (ja) 2011-07-14
JP5158069B2 true JP5158069B2 (ja) 2013-03-06

Family

ID=44349658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009297120A Expired - Fee Related JP5158069B2 (ja) 2009-12-28 2009-12-28 画像処理装置、及び、画像加工プログラム

Country Status (1)

Country Link
JP (1) JP5158069B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5434582B2 (ja) * 2009-12-28 2014-03-05 カシオ計算機株式会社 画像処理装置、及び、画像加工プログラム
JP5787147B2 (ja) * 2011-08-02 2015-09-30 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP6034529B1 (ja) * 2016-06-14 2016-11-30 九州電力株式会社 表面状態診断装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197477A (ja) * 2000-12-25 2002-07-12 You Kokoku Kobo:Kk 電子画像処理配信システム
JP2008005517A (ja) * 2003-07-31 2008-01-10 Seiko Epson Corp 画像生成装置
JP2008085839A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 撮像装置のエラー通知方法及び撮像装置
JP4337857B2 (ja) * 2006-09-28 2009-09-30 ソニー株式会社 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置
JP4841582B2 (ja) * 2008-03-18 2011-12-21 富士通株式会社 画像補正プログラムおよび画像補正装置

Also Published As

Publication number Publication date
JP2011138272A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
KR101041366B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US9898807B2 (en) Image processing device, imaging device, image processing method, and program
KR101023946B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
JP5897776B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2006024193A (ja) 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
US8391646B2 (en) Image processing device and method that performs image quality adjustment and resize processing on image data
US20110285871A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP2002344989A (ja) 画像ファイルの出力画像調整
JP2005309559A (ja) 画像処理方法および装置並びにプログラム
JP2005332383A (ja) 画像処理方法および装置並びにプログラム
JP6613697B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP2005309560A (ja) 画像処理方法および装置並びにプログラム
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
JP5157678B2 (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
EP3179716B1 (en) Image processing method, computer storage medium, device, and terminal
JP2005332381A (ja) 画像処理方法および装置並びにプログラム
JP2006343863A (ja) 画像処理装置及びその方法
JP5158069B2 (ja) 画像処理装置、及び、画像加工プログラム
JP2003244620A (ja) 画像処理方法および装置並びにプログラム
JP2009065224A (ja) 画像データ解析装置、画像データ解析方法、およびプログラム
JP2009027223A (ja) 画像表示装置、画像表示方法、およびプログラム
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5157760B2 (ja) 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
JP4527439B2 (ja) 画像処理方法および装置並びにプログラム
JP4665802B2 (ja) 明度補正処理装置および明度補正判別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

R150 Certificate of patent or registration of utility model

Ref document number: 5158069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees