JP5499818B2 - 画像処理装置及び方法、並びにプログラム - Google Patents

画像処理装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP5499818B2
JP5499818B2 JP2010069041A JP2010069041A JP5499818B2 JP 5499818 B2 JP5499818 B2 JP 5499818B2 JP 2010069041 A JP2010069041 A JP 2010069041A JP 2010069041 A JP2010069041 A JP 2010069041A JP 5499818 B2 JP5499818 B2 JP 5499818B2
Authority
JP
Japan
Prior art keywords
image
evaluation
feature
composition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010069041A
Other languages
English (en)
Other versions
JP2011205267A5 (ja
JP2011205267A (ja
Inventor
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010069041A priority Critical patent/JP5499818B2/ja
Publication of JP2011205267A publication Critical patent/JP2011205267A/ja
Publication of JP2011205267A5 publication Critical patent/JP2011205267A5/ja
Application granted granted Critical
Publication of JP5499818B2 publication Critical patent/JP5499818B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、多種多様なシーンの画像として、美術絵画風の画像を得ることが可能な技術に関する。
従来、ユーザが、カメラを用いて所定のシーンを撮像する場合、自己の判断で適切な構図取りをすることは困難であることが多いため、意図しない撮像画像が得られることがあった。
そこで、適切な構図に近づくように構図取りをガイドする手法として、幾つかの手法が特許文献1乃至5において提案されている。
特開平04−67133号公報 特開2001−126070号公報 特開平04−73731号公報 特開2003−274226号公報 特開2008−35246号公報
しかしながら、特許文献1乃至5に記載の手法を適用した場合、特定のシーンにとって適切な構図に近づくように構図取りをガイドすることができるのみであり、多種多様のシーンが与えられた場合、それらのシーンの全てにとって適切な構図に近づくように構図取りをガイドすることはできない。
一方で、近年、芸術的又は美しいと評価されている美術絵画風の構図を、「適切な構図」として、多種多様なシーンを適切な構図で撮像したいという要望が挙げられている。即ち、多種多様なシーンの画像として、美術絵画風の画像を得たいという要望が挙げられている。
多種多様のシーンに対応しきれない特許文献1乃至5を含む従来の手法では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な手法の実現が求められている。
本発明は、このような状況に鑑みてなされたものであり、多種多様なシーンについて、美術絵画風の画像のデータを得ることを目的とする。
本発明の一態様によると、
評価の指標となる所定の単位に属する1以上の美術絵画に共通な特徴を、構図の点からの特徴である所定の美術絵画相当の構図特徴と、美術絵画全体の点からの特徴である所定の美術絵画相当の画像特徴として保持する保持手段と、
評価の対象となる画像のデータを、評価画像のデータとして取得する取得手段と、
前記取得手段に取得された前記評価画像のデータに基づいて、構図の点から前記評価画像の構図特徴を解析する構図特徴解析手段と、前記取得手段に取得された前記評価画像のデータに基づいて、画像全体の点から前記評価画像の画像特徴を解析する画像特徴解析手段と、を有する解析手段と、
前記構図特徴解析手段により解析された前記評価画像の構図特徴について、前記保持手段に保持された前記所定の美術絵画相当の構図特徴との類似度合を評価する構図特徴評価手段と、前記画像特徴解析手段により解析された前記評価画像の画像特徴について、前記保持手段に保持された前記所定の美術絵画相当の画像特徴との類似度合を評価する画像特徴評価手段と、を有する評価手段と、
を備える画像処理装置を提供する。
本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
本発明によれば、多種多様なシーンの画像として、美術絵画風の画像を得ることができる。
本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図1の撮像装置が有する機能のうち、美術絵画観点評価処理を実現する機能についての機能的構成を示す機能ブロック図である。 図2の撮像装置が実行する油美術絵画観点評価処理を模式的に説明する図である。 図3の油美術絵画観点評価処理のうち、構図特徴解析処理及び構図特徴評価処理の内容を説明する図である。 図1の撮像装置が実行する、図3の油美術絵画観点評価処理を含む撮像画像処理の流れを説明するフローチャートである。 ユーザが、所定の美術絵画相当の構図特徴や画像特徴について、種類の選択、重み付け、設定条件等をカスタマイズするための操作画面の一例を示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明に係る画像処理装置の一実施形態としての撮像装置1のハードウェアの構成を示すブロック図である。撮像装置1は、例えばデジタルカメラにより構成することができる。
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、操作部17と、表示部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラムにしたがって各種の処理を実行する。又は、CPU11は、記憶部19からRAM13にロードされたプログラムにしたがって各種の処理を実行する。
RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
例えば本実施形態では、後述する図2の評価画像取得部51乃至評価結果利用部58の各機能を実現するプログラムが、ROM12や記憶部19に記憶されている。したがって、CPU11が、これらのプログラムにしたがった処理を実行することで、後述する図2の評価画像取得部51乃至評価結果利用部58の各機能を実現することができる。
CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、操作部17、表示部18、記憶部19、及び通信部20が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮像)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
なお、以下、撮像部16の出力信号を、「撮像画像のデータ」と呼ぶ。したがって、撮像部16からは撮像画像のデータが出力されて、CPU11等に適宜供給される。
操作部17は、レリーズ釦41を含む各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部18は、各種画像を表示する。
記憶部19は、DRAM(Dynamic Random Access Memory)等で構成され、撮像部16から出力された撮像画像のデータを一時記憶する。また、記憶部19は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
入出力インターフェース15にはまた、必要に応じてドライブ21が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア31が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像データ等の各種データも、記憶部19と同様に記憶することができる。
図2は、撮像装置1が有する機能のうち、美術絵画観点評価処理を実現する機能についての機能的構成を示す機能ブロック図である。
ここで、美術絵画観点評価処理とは、芸術的又は美しいと一般的に評価されている1以上の美術絵画に共通の特徴(以下、「美術絵画相当の特徴」と呼ぶ)を用いて、美術絵画の観点から画像を評価する処理をいう。
なお、年代や画家等が異なると、美術絵画の特徴も異なる場合がある。そこで、このような場合を考慮して、1以上の美術絵画は、任意に選択するのではなく、年代や画家といった所定の単位に属するものを選択すると好適である。即ち、複数の単位毎に美術絵画相当の特徴をそれぞれ取得して、美術絵画観点評価処理に用いるとよい。
このような美術絵画観点評価処理の結果は、各種各様の処理に用いることができる。例えば、美術絵画の観点から、被写体やシーンの選択をガイドしたり、構図取りをガイドしたり、構図を自動調整して記録したり等、各種処理を実行する場合に、美術絵画観点評価処理の結果を用いることができる。このような美術絵画観点評価処理の結果を用いた処理を実行することで、ユーザは、所定の美術絵画風のシーンの画像のデータを容易に得ることが可能になる。
図2に示すように、撮像装置1は、美術絵画観点評価処理を実現すべく、評価画像取得部51と、主要被写体検出部52と、構図特徴解析部53と、構図特徴評価部54と、画像特徴解析部55と、画像特徴評価部56と、美術絵画相当特徴記憶部57と、を備えている。また、美術絵画観点評価処理の結果を利用すべく、評価結果利用部58も撮像装置1に設けられている。
本実施形態では、評価画像取得部51乃至画像特徴評価部56及び評価結果利用部58の各々は、図1に示す構成のうち、CPU11というハードウェアと、ROM12等に記憶されたプログラム(ソフトウェア)との組み合わせとして構成されている。
また、美術絵画相当特徴記憶部57は、図1に示す構成のうち、撮像装置1のRAM13若しくは記憶部19、又はリムーバブルメディア31内の一領域として構成されている。
このような評価画像取得部51乃至評価結果利用部58の各々の詳細にについて、図3を適宜参照しつつ説明する。
図3は、図2の撮像装置1が実行する美術絵画観点評価処理を模式的に説明する図である。
図3に示すように、ステップS1において、評価画像取得部51は、評価画像取得処理を実行する。
評価画像取得処理とは、美術絵画観点評価処理の対象となる画像(以下、「評価画像」と呼ぶ)のデータを取得する処理をいう。
例えば図3の例では、フルサイズの撮像画像101のデータのうち一部の領域のデータが、評価画像102のデータとして取得されている。この場合、評価画像102のデータを処理対象として、後述するステップS2乃至S6の処理が実行されることで、評価画像102が所定の美術絵画風の画像として最適か否かが評価される。
なお、評価画像は、当然ながら評価画像102に限定されず、任意の画像でよい。例えば、評価画像取得部51は、撮像画像101全体のデータを、評価画像のデータとして取得することもできる。また例えば、評価画像取得部51は、他の装置から送信されて通信部20に受信された画像のデータや、リムーバブルメディア31からドライブ21によって読み出された画像のデータ等からも、評価画像のデータを取得することができる。
ステップS2において、主要被写体検出部52は、主要被写体抽出処理を実行する。
主要被写体抽出処理とは、評価画像の中から主要被写体を抽出する処理をいう。
主要被写体の抽出手法は、特に限定されず、各種各様の抽出手法を採用することができる。例えば、評価画像に人物の顔が含まれる場合には、任意の顔検出手法を採用することで、評価画像の中から検出された人物の顔を、主要被写体とすることができる。また例えば、任意の特徴点抽出手法を採用することで、評価画像の中から抽出された注目点領域を、主要被写体とすることができる。
例えば図3の例では、評価画像102の中から、主要被写体103が抽出されている。
ステップS3において、構図特徴解析部53は、構図特徴解析処理を実行する。
ステップS4において、構図特徴評価部54は、構図特徴評価処理を実行する。
ここで、構図特徴とは、画像の構図上の特徴をいい、美術絵画の持つそれらと対比されるものであり、例えば次のような種類が存在する。
例えば、構図特徴として、画像の画角(水平画角や垂直画角)、画角に相当する焦点距離やズーム倍率、アスペクト比(画像の縦横比)、及び、画像を作成する際の視点方向(カメラの撮像方向)の傾斜角(俯角、水平角、仰角等)、といった種類が存在する。また例えば、構図特徴として、主要被写体と視点(画像の中央)と距離又は角度、画像の構成(画像内での主要被写体の配置)や分割、及び、空間構成(画像内に占める主要被写体の面積比率等)や余白、といった種類が存在する。また例えば、構図特徴として、左右対称性(画像内における主要被写体の形状や配置、面積の対称性)、及び、構図や線情報の粗密や複雑さ(線情報画像のフラクタル次元等)、といった種類が存在する。
ここで、「画像」を「美術絵画そのもの」と読み替え、「被写体」を当該美術絵画に含まれる人物等の「対象物(オブジェクト)」と読み替えれば、これらが美術絵画のもつ特徴と容易に対比できることが判る。
なお、ここで挙げた構図特徴の種類は例示であり、当然ながらその他任意の種類を採用することができる。
ステップS3の構図特徴解析処理とは、評価画像の構図特徴を解析する処理をいう。
ステップS4の構図特徴評価処理とは、評価画像の構図特徴について、所定の美術絵画相当の構図特徴との類似度合を評価する処理をいう。即ち、評価画像の構図特徴と、所定の美術絵画相当の構図特徴とを比較することによって、構図特徴の点から、評価画像が所定の美術絵画風の画像として最適か否かを評価する処理が、構図特徴評価処理である。
以下さらに、図4を参照して、構図特徴解析処理及び構図特徴評価処理について詳細に説明する。
図4は、構図特徴解析処理及び構図特徴評価処理の内容を説明する図である。
構図特徴解析処理及び構図特徴評価処理は、図4に示す「評価種類」の項目毎に、処理内容が異なっている。
「評価種類」の項目には、評価画像が所定の美術絵画風の画像として構図特徴の点から最適か否かを評価する場合における、その評価の種類(以下、「構図特徴評価種類」と呼ぶ)が示されている。具体的には、「評価種類」の項目には、構図特徴の種類に応じて分類される構図特徴評価種類が示されている。即ち、図4において、所定の行(横方向の項目)には、所定の1つの構図特徴評価種類が対応付けられている。
所定の行の「解析内容」の項目には、当該行に対応する構図特徴評価種類についての、構図特徴解析処理の内容が示されている。
所定の行の「評価条件」の項目には、当該行に対応する構図特徴評価種類についての、構図特徴評価処理において判断される評価条件が示されている。
以下、構図特徴評価種類毎に、構図特徴解析処理及び構図特徴評価処理の内容について個々に説明する。
先ず、1行目の「評価種類」の項目に示す「画角の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、1行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、主要被写体の距離、及び主要被写体の画角内の大きさ等を解析することで、評価画像の画角を求める。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、1行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた評価画像の画角が、所定の美術絵画相当の画角の範囲内であるか否かを判定する。
例えば、所定の美術絵画相当の画角の範囲が15度乃至70度の範囲である場合には、構図特徴評価部54は、評価画像の画角が15度乃至70度の範囲内であるか否かを判定する。
なお、ここでいう画角とは、画角そのものの他、画角に相当する焦点距離やズーム倍率も含む。
ここで、本実施形態では、所定の美術絵画相当の画角を示すデータは、所定の美術絵画相当の各種構図特徴の各々を示すデータの集合体(以下、「所定の美術絵画相当の構図特徴データ群」と呼ぶ)の一部として、図2の美術絵画相当特徴記憶部57に記憶されている。即ち、所定の美術絵画について、各種構図特徴が予め解析され、それらの解析結果を示すデータ群が、所定の美術絵画相当の構図特徴データ群として、美術絵画相当特徴記憶部57に記憶されている。
なお、所定の美術絵画は、特に1枚に限定されず、複数枚でもよい。複数枚の場合には、美術絵画1枚を単位としたり、或いはまた、同一画家の美術絵画の集合体や同一画風の美術絵画の集合体等を1単位とすることができる。そして、このような単位毎に、各種構図特徴が予め解析され、それらの解析結果を示すデータ群が、各々の単位の美術絵画相当の構図特徴データ群として、美術絵画相当特徴記憶部57に記憶される。
ステップS4の構図特徴評価処理では、これらの単位の中から所定の単位が予め選択された状態で、所定の美術絵画相当の構図特徴データ群の中から、構図特徴評価種類に対応する構図特徴のデータが、構図特徴評価部54によって読み出される。
例えば、上述の例では、画角の評価が行われるため、所定の美術絵画相当の画角を示すデータが、構図特徴評価部54によって読み出されて、ステップS4の構図特徴評価処理で用いられる。
なお、以下、このような構図特徴評価部54が美術絵画相当特徴記憶部57から読み出す処理については、その説明を省略する。
次に、2行目の「評価種類」の項目に示す「視点方向の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、2行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、評価画像の視点方向(撮影方向)を解析する。
例えば図示はしないが、傾斜センサが撮像装置1に設けられている場合には、構図特徴解析部53は、評価画像のデータが撮像された時の傾斜センサの検出結果を解析することで、視点方向を示す傾斜角度を求めることができる。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、2行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた評価画像の視点方向(傾斜角度)が、所定の美術絵画相当の傾斜角度の範囲内であるか否かを判定する。
ここで、所定の美術絵画相当の傾斜角度としては、水平の角度、俯角、仰角等が存在する。例えば、所定の美術絵画相当の傾斜角度が、水平0度乃至仰角14度の範囲である場合には、構図特徴評価部54は、評価画像の視点方向(傾斜角度)が水平0度乃至仰角14度の範囲内であるか否かを判定する。
次に、3行目の「評価種類」の項目に示す「構図の複雑さの評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
ここで、本実施形態では、構図の複雑さとして、線情報画像のフラクタル次元を採用するものとする。というのも、曲線や輪郭線等線状の図形において、フラクタル次元が1.0に近いと直線的であり、2.0に近づくにつれ、平面を充填するような面的な形状となることが知られており、構図の複雑さの指標として好適であるからである。例えば、実際の海岸線のフラクタル次元は1.1乃至1.4程度である。一般に美しいと評価される風景画の殆どでは、その線情報画像のフラクタル次元は、およそ1.4乃至1.6程度に分布する。特に、印象派の風景画(ゴッホ、ルノワール、モネの9枚の美術絵画)の線情報画像のフラクタル次元は、1.52乃至1.59と1.55付近に集中している。
そこで、構図特徴解析部53は、ステップS3の構図特徴解析処理として、3行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、評価画像の線情報画像のフラクタル次元を解析する。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、3行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた評価画像の線情報画像のフラクタル次元が、所定の美術絵画相当の範囲内であるか否かを判定する。
例えば、所定の美術絵画相当のフラクタル次元の範囲が、1.5乃至1.6である場合には、構図特徴評価部54は、評価画像の線情報画像のフラクタル次元が1.5乃至1.6の範囲内であるか否かを判定する。
次に、4行目の「評価種類」の項目に示す「主要被写体の見込み角度の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、4行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、主要被写体の見込み角度を解析する。
見込み角度とは、画像内での被写体の大きさを示す角度であって、画像内の水平方向の見込み角度(以下、「水平見込み角度」と呼ぶ)と、画像内の垂直方向の見込み角度(以下、「垂直見込み角度」と呼ぶ)とが存在する。見込み角度は、画像内の被写体の幅や高さに基づいて求めることができる。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、4行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた見込み角度が、所定の美術絵画相当の範囲内であるか否かを判定する。
例えば、所定の美術絵画相当の水平見込み角度の範囲と垂直見込み角度の範囲とが共に10乃至405度の範囲である場合には、構図特徴評価部54は、主要被写体の水平見込み角度と垂直見込み角度との各々が10度乃至405度の範囲内であるか否かを判定する。
次に、5行目の「評価種類」の項目に示す「主要被写体の距離及び主要被写体の視点との角度の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、5行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、主要被写体の距離、及び、当該主要被写体の距離に応じた、主要被写体の視点との角度を解析する。
例えば、構図特徴解析部53は、評価画像における主要被写体の領域について、合焦距離や被写体距離の計測データに基づいて主要被写体の距離を求め、当該主要被写体の距離に応じた、主要被写体の視点との角度を求める。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、5行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた主要被写体の距離に応じた主要被写体の視点との角度が、所定の美術絵画相当の範囲内であるか否かを判定する。
例えば、所定の美術絵画相当の対象物の視点との角度の範囲として、対象物の距離が150m以内であるとして、正面の角度の範囲、具体的には例えば0乃至20度の範囲が採用されているとする。この場合、評価画像における主要被写体の距離が150m以内であるときには、構図特徴評価部54は、主要被写体の視点の角度が正面の角度の範囲内、即ち0乃至20度の範囲内であるか否かを判定する。
次に、6行目の「評価種類」の項目に示す「画面構成及び画面分割の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、6行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、主要被写体の評価画像内の位置、具体的には例えば、主要被写体の画面に対する位置関係や、複数の主要被写体同士の位置関係を解析する。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、6行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた主要被写体の評価画像内の位置が、所定の美術絵画相当の比例関係を満たしているか否か、又は、所定の美術絵画相当の画面分割位置と一致しているか否かをそれぞれ判定する。
例えば、所定の美術絵画相当の比例関係としては、いわゆる黄金比(1:1.618)の関係、1:√2の関係、1:√3の関係、1:√5の関係等を採用することができる。また、所定の美術絵画相当の画面分割位置としては、2等分線の位置、3等分線の位置、4等分線の位置、6等分線の位置等を採用することができる。
具体的には例えば、所定の美術絵画相当の比例関係が1:√2の関係である場合、構図特徴評価部54は、主要被写体の評価画像内の位置関係が1:√2の関係を満たすか否かを判定する。
次に、7行目の「評価種類」の項目に示す「左右対称や非対象の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、7行目の「解析内容」の項目に示されるように、評価画像のデータに基づいて、主要被写体の形状、及び、主要被写体の評価画像内の配置状態を解析する。具体的には例えば、構図特徴解析部53は、主要被写体の輪郭についての形状やその画角内の配置を求める。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、7行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた主要被写の形状や主要被写体の画角内の配置が、所定の美術絵画相当の左右若しくは上下対象となっているか否か、又は、所定の美術絵画相当の非対象となっているか否かを判定する。
所定の美術絵画相当の左右対象とは、所定の美術絵画相当の構図が左右対称(シンメトリー)となっている構図特徴をいう。所定の美術絵画相当の上下対象とは、所定の美術絵画の構図が上下対称となっている構図特徴をいう。所定の美術絵画相当の非対象とは、所定の美術絵画の構図が非対称となっている構図特徴をいう。
例えば所定の美術絵画相当の構図が左右対称となっている場合には、構図特徴評価部54は、主要被写の形状や主要被写体の画角内の配置が、所定の美術絵画相当の左右対象となっているか否かを判定する。
次に、8行目の「評価種類」の項目に示す「空間構成及び余白の評価」が行われる場合における、構図特徴解析処理及び構図特徴評価処理の内容について説明する。
構図特徴解析部53は、ステップS3の構図特徴解析処理として、8行目の「解析内容」の項目に示されように、評価画像のデータに基づいて、評価画像の画素総数に対する主要被写体の領域の画素数の割合(画素比率)を解析し、当該画素比率に基づいて、主要被写体の領域の評価画像に対する面積比率を求める。
次に、構図特徴評価部54は、ステップS4の構図特徴評価処理として、8行目の「評価条件」の項目に示されるように、構図特徴解析部53によって求められた主要被写の領域の評価画像に対する面積比率が、所定の美術絵画相当の範囲内であるか否かを判定する。
例えば所定の美術絵画相当の、人物等の対象物の絵画全体に対する面積比率の範囲が、55乃至70%の範囲内である場合、構図特徴評価部54は、主要被写の領域の評価画像に対する面積比率が55乃至70%の範囲内であるか否かを判定する。
以上、図4を参照して、8つの構図特徴評価種類毎に、構図特徴解析処理及び構図特徴評価処理についてそれぞれ説明した。
なお、構図特徴評価種類は、図4の「評価種類」の各項目に示すものに特に限定されず、任意の種類を採用することができる。
また、構図特徴解析処理及び構図特徴評価処理において用いる構図特徴評価種類の数も、特に1種類に限定されず、複数種類であってもよい。即ち、複数の構図特徴評価種類毎に、構図特徴解析処理及び構図特徴評価処理をそれぞれ実行することが可能である。この場合、複数の構図特徴評価種類の評価条件の全てを満たしたときに、構図特徴の点で、評価画像が所定の美術絵画風の画像として最適であると判断してもよいし、複数の構図特徴評価種類の評価条件の一部を満たしたときに、構図特徴の点で評価画像が所定の美術絵画風の画像として最適であると判断してもよい。
また、例えば、所定の美術絵画相当の構図特徴の中には、他の特徴と互いに相関性が高い特徴も存在する。そこで、このような相関性に基づいて、構図特徴解析処理及び構図特徴評価処理を実行してもよい。
図3に戻り、このようなステップS4の構図特徴評価処理の結果、例えば図3の例では評価画像102に対する構図特徴評価処理結果104が、構図特徴の点で、評価画像が所定の美術絵画風の画像として不適であるという結果の場合、即ち図3中「評価NG」となった場合、処理はステップS1に戻され、それ以降の処理が繰り返される。
即ち、ステップS4の構図特徴評価処理で、構図特徴の点で、評価画像が所定の美術絵画風の画像として不適であると判断されると、ステップS1の処理で、フルサイズの撮像画像101の別の領域のデータが、別の評価画像のデータとして取得される。次に、ステップS2の処理で、別の評価画像から主要被写体が抽出される。そして、別の評価画像を処理対象として、ステップS3の構図特徴解析処理及びステップS4の構図特徴評価処理が実行される。
このようなステップS1乃至S4のループ処理の繰り返しの結果、構図特徴の点で、所定の評価画像が所定の美術絵画風の画像として最適であると判断された場合。即ち図3中「評価YES」となった場合、処理はステップS5に進む。
ステップS5において、画像特徴解析部55は、画像特徴解析処理を実行する。
ステップS6において、画像特徴評価部56は、画像特徴評価処理を実行する。
ここで、画像特徴とは、画像全体の特徴、例えば画像における、明度(輝度)、色、構成要素等の特徴をいい、美術絵画の持つそれらと対比されるものであって、例えば次のような種類が存在する。
例えば、画像特徴として、輪郭線等線情報の粗密や複雑さを示す特徴、具体的には例えば、1次元の線情報画像のフラクタル次元等の種類が存在する。また例えば、画像特徴として、画像の明度(輝度)変化の複雑さを示す特徴、具体的には例えば、2次元の明度変化のフラクタル次元等の種類が存在する。また例えば、画像特徴として、色彩分布のまとまり具合や複雑さ、即ち色彩分布のエントロピーや冗長度等の種類が存在する。また例えば、画像特徴として、色彩の数や、色相の数が存在する。
ここで、「画像」を「美術絵画そのもの」と読み替え、「1次元の線情報」を当該美術絵画の筆遣い、「色彩分布のまとまり具合や複雑さ」を当該美術絵画の色遣い、と読み替えれば、これらが美術絵画のもつ特徴と容易に対比できることが判る。
なお、ここで挙げた画像特徴の種類は例示であり、当然ながら任意の種類を採用することができる。
ステップS5の画像特徴解析処理とは、評価画像の画像特徴を解析する処理をいう。
ステップS6の画像特徴評価処理とは、評価画像の画像特徴について、所定の美術絵画相当の画像特徴との類似度合を評価する処理をいう。即ち、評価画像の画像特徴と、所定の美術絵画相当の画像特徴とを比較することによって、画像特徴の点から、評価画像が所定の美術絵画風の画像として最適か否かを評価する処理が、画像特徴評価処理である。
図3の例では、画像特徴として、1次元の線情報画像のフラクタル次元(図3においては「線情報のフラクタル次元」と略記されている)と、2次元の明度変化のフラクタル次元と、色相の数と、色相の冗長度といった種類が採用されている。
そこで、以下、これらの画像特徴の種類毎に、画像特徴解析処理及び画像評価処理の内容について個々に説明する。
先ず、線情報画像のフラクタル次元についての画像特徴解析処理及び画像特徴評価処理の内容について説明する。
画像特徴解析部55は、ステップS5の画像特徴解析処理として、次のような処理を実行する。
即ち、画像特徴解析部55は、評価画像のデータから、白黒画像のデータを生成する。次に、構図特徴解析部53は、白黒画像のデータに対して2値化処理を施し、その結果得られる2値化白黒画像のデータに対して輪郭抽出フィルタ処理を施すことで、線情報画像のデータを生成する。例えば図3の例では、評価画像102のデータから2値化白黒画像105のデータが生成され、さらに、当該2値化白黒画像105のデータから線情報画像106のデータが生成されている。
そして、画像特徴解析部55は、線情報画像のデータを用いて、ボックスカウンティング法等の適当な手法にしたがって、当該線情報画像のフラクタル次元を求める。
次に、画像特徴評価部56は、ステップS6の画像特徴評価処理として、画像特徴解析部55によって求められた評価画像の線情報画像のフラクタル次元が、所定の美術絵画相当の線情報画像のフラクタル次元の範囲内であるか否かを判定する。
なお、線情報画像のフラクタル次元は、このように画像特徴として用いることもできるし、上述したように、構図の複雑さの指標として構図特徴として用いることもできる。
ここで、本実施形態では、所定の美術絵画相当の線情報画像のフラクタル次元の範囲を示すデータは、所定の美術絵画相当の各種画像特徴の各々を示すデータの集合体(以下、「所定の美術絵画相当の画像特徴データ群」と呼ぶ)の一部として、図2の美術絵画相当特徴記憶部57に記憶されている。即ち、所定の美術絵画について、各種画像特徴が予め解析され、それらの解析結果を示すデータ群が、所定の美術絵画相当の画像特徴データ群として、美術絵画相当特徴記憶部57に記憶されている。
なお、上述したように、所定の美術絵画は、特に1枚に限定されず、複数枚でもよい。複数枚の場合には、美術絵画1枚を単位としたり、或いはまた、同一画家の美術絵画の集合体や同一画風の美術絵画の集合体等を1単位とすることができる。そして、このような単位毎に、各種画像特徴が予め解析され、それらの解析結果を示すデータ群が、各々の単位の美術絵画相当の画像特徴データ群として、美術絵画相当特徴記憶部57に記憶される。
この場合、さらに、各々の単位毎に、美術絵画相当の画像特徴データ群と、上述した美術絵画相当の構図特徴データ群とが対応付けられて、美術絵画相当特徴記憶部57に記憶される。
ステップS6の画像特徴評価処理では、これらの単位の中から所定の単位が予め選択された状態で、所定の美術絵画相当の画像特徴データ群の中から、処理対象の画像特徴のデータが、画像特徴評価部56によって読み出される。
例えば、上述の例では、処理対象の画像特徴が線情報画像のフラクタル次元であるため、所定の美術絵画相当の線情報画像のフラクタル次元の範囲を示すデータが、画像特徴評価部56によって読み出されて、ステップS6の構図特徴評価処理で用いられる。
なお、以下、このような画像特徴評価部56が美術絵画相当特徴記憶部57から読み出す処理については、その説明を省略する。
次に、2次元の明度変化のフラクタル次元についての画像特徴解析処理及び画像特徴評価処理の内容について説明する。
画像特徴解析部55は、ステップS5の画像特徴解析処理として、次のような処理を実行する。
即ち、画像特徴解析部55は、評価画像のデータを、カラー領域画像のデータに変換する。具体的には、評価画像のデータは、明度(輝度)情報と色彩情報とが分離されていない色空間座標(RGB空間やXYZ空間)の各画素の色情報の集合体である。そこで、画像特徴解析部55は、評価画像のデータを構成する各画素の色情報を、明度(輝度)情報と色彩情報とが分離された色空間(HSV空間、YCrCb空間、L*a*b*空間等)の色情報に変換する。このような明度情報と色彩情報とが分離された色空間の各画素の色情報の集合体を、ここでは「カラー領域画像のデータ」と呼称している。
画像特徴解析部55は、カラー領域画像のデータから、各画素の明度情報の集合体(以下、「明度画像」のデータと呼ぶ)を生成する。
例えば図3の例では、評価画像102のデータからカラー領域画像107のデータが生成され、さらに、当該カラー領域画像107のデータから明度画像108のデータが生成されている。
そして、画像特徴解析部55は、明度画像のデータに基づいて、2次元関数の明度変化を求め、2次元関数のフラクタル次元の算出法等の適当な手法にしたがって、評価画像全体の明度変化のフラクタル次元を求める。
次に、画像特徴評価部56は、ステップS6の画像特徴評価処理として、画像特徴解析部55によって求められた評価画像全体の明度変化のフラクタル次元が、所定の美術絵画相当の濃淡変化のフラクタル次元の範囲内か否か判定する。
例えば、印象派の絵画(ミレー、ゴッホ、及びセザンヌの3点の美術絵画)の絵画全体の濃淡変化のフラクタル次元は、2.32乃至2.40と計測されている。また、浮世絵(葛飾北斎の3点の美術絵画)の絵画全体の濃淡変化のフラクタル次元は、2.36乃至2.53と計測されている。そこで例えば、所定の美術絵画相当の濃淡変化のフラクタル次元の範囲として、2.3乃至2.4の範囲が設定されているとする。
この場合、画像特徴評価部56は、評価画像全体の明度変化のフラクタル次元が2.3乃至2.4の範囲内であるか否かを判定する。
次に、色相の数についての画像特徴解析処理及び画像特徴評価処理の内容について説明する。
画像特徴解析部55は、ステップS5の画像特徴解析処理として、次のような処理を実行する。
即ち、画像特徴解析部55は、評価画像のデータを、カラー領域画像のデータに変換する。画像特徴解析部55は、カラー領域画像のデータから、各画素の色相情報の集合体(以下、「色相画像」のデータと呼ぶ)を生成する。
例えば図3の例では、評価画像102のデータからカラー領域画像107のデータが生成され、さらに、当該カラー領域画像107のデータから色相画像109のデータが生成されている。なお、図3において、出願のフォーマットの都合上、色相画像109は、あたかも白黒画像のようにみえるが、実際にはカラー画像である。
画像特徴解析部55は、色相画像のデータに基づいて、出現する色相の種類数を計数する。
次に、画像特徴評価部56は、ステップS6の画像特徴評価処理として、画像特徴解析部55によって計測された色相の種類数が、所定の美術絵画相当の色相の種類数の範囲内か否か判定する。
例えば、所定の美術絵画相当の色相の種類数の範囲が5乃至15色の範囲内である場合、画像特徴評価部56は、評価画像の色相画像における色相の種類数が5乃至15の範囲内であるか否かを判定する。
次に、色相分布の冗長度についての画像特徴解析処理及び画像特徴評価処理の内容について説明する。
画像特徴解析部55は、ステップS5の画像特徴解析処理として、次のような処理を実行する。
即ち、画像特徴解析部55は、色相の数の場合と同様に、評価画像のデータに基づいて、色相画像のデータを生成する。次に、画像特徴解析部55は、色相画像のデータを用いて、色相の出現数をカウントし、その出現確率を算出する。画像特徴解析部55は、算出された色相の出現確率から、エントロピー最大値とエントロピー値を求めることによって、色相の冗長度を算出する。
なお、冗長度とは、ある物事についての情報がどの程度存在するのかを、情報のエントロピー概念を用いて表わす指標をいう。
次に、画像特徴評価部56は、ステップS6の画像特徴評価処理として、画像特徴解析部55によって算出された色相の冗長度が、所定の美術絵画相当の色相の冗長度の範囲内か否か判定する。
例えば、所定の美術絵画相当の色相の冗長度の範囲が0.4乃至0.5の範囲内である場合、画像特徴評価部56は、評価画像の色相画像における色相の冗長度が0.4乃至0.5の範囲内であるか否かを判定する。
以上、画像特徴解析処理及び画像特徴評価処理について説明した。
なお、画像特徴は、上述した例に特に限定されず、任意の種類を採用することができる。
例えば、画像特徴として、彩度の数や、彩度分布の冗長度を採用することができる。この場合、カラー領域画像のデータから、各画素の彩度情報の集合体(以下、「彩度画像」のデータと呼ぶ)を生成する処理以外は、上述した色相の数や、色相分布の冗長度についての画像特徴解析処理及び画像特徴評価処理と基本的に同様の処理となる。
また、画像特徴解析処理及び画像特徴評価処理において用いる画像特徴の種類数は、特に1種類に限定されず、複数種類であってもよい。即ち、複数種類の画像特徴毎に、画像特徴解析処理及び画像特徴評価処理をそれぞれ実行することが可能である。この場合、1以上の画像特徴についての評価条件の全てを満たしたときに、評価画像が所定の美術絵画風の画像として画像特徴の点で最適であると判断してもよいし、1以上の画像特徴についての評価条件の一部を満たしたときに、評価画像が所定の美術絵画風の画像として画像特徴の点で最適であると判断してもよい。
また、例えば、所定の美術絵画相当の画像特徴の中には、他の特徴と互いに相関性が高い特徴も存在する。そこで、このような相関性に基づいて、画像特徴解析処理及び画像特徴評価処理を実行することもできる。
このようなステップS6の画像特徴評価処理の結果が、画像特徴の点で、評価画像が所定の美術絵画風の画像として不適であるという結果の場合、即ち図3中「評価NG」となった場合、処理はステップS1に戻され、それ以降の処理が繰り返される。
即ち、ステップS1乃至S6のループ処理が繰り返し実行されて、フルサイズの撮像画像101のデータの様々な領域のデータが、逐次、評価画像のデータとなり、構図特徴及び画像特徴の両者の点で、当該評価画像が所定の美術絵画風の画像として最適であるか否かがそれぞれ判断される。
そして、構図特徴及び画像特徴の両者の点で、所定評価画像が所定の美術絵画風の画像として最適であると判断された場合、即ち図3中「評価YES」となった場合、美術絵画観点評価処理全体が終了となる。
以上、図2乃至図4を参照して、美術絵画観点評価処理について説明した。
図2の評価結果利用部58は、このような美術絵画観点評価処理の結果を用いて、各種各様の処理を実行することができる。
例えば、評価結果利用部58は、構図特徴評価部54や画像特徴評価部56の評価結果を利用して、各種撮影条件を制限する処理、被写体やシーンの選択をガイドしたり構図取りをガイドするガイド情報を提示する処理、構図の自動調整をして記録する処理等を実行することができる。
具体的には例えば図3の例では、評価結果利用部58は、美術絵画観点評価処理の結果を用いて、撮像画像110の中から、所定の美術絵画風の画像として最適であると判断される領域111を特定する。そして、CPU11は、撮像画像110の領域111のデータをトリミングする(切り抜く)。これにより、部分画像112のデータが得られる。なお、このような一連の処理を、以下、「部分画像の切取り処理」と呼ぶ。
このような部分画像の切取り処理の結果得られた部分画像112のデータは、例えばリムーバブルメディア31等に記録される。
次に、図5を参照して、図1のハードウェア構成の撮像装置1が実行する処理のうち、撮像画像のデータを記録するまでの一連の処理(以下、「撮像処理」と呼ぶ)について説明する。当該撮像処理では、美術絵画観点評価処理が適宜実行される。
図5は、本発明が適用される撮像処理の流れを示すフローチャートである。
撮像処理は、例えばユーザが撮像を指示する操作を操作部17に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。
ステップS1において、CPU11は、スルー撮像とスルー表示を行う。
即ち、CPU11は、撮像部16による撮像動作を継続させ、その間に所定時間間隔毎に撮像部16から順次出力される撮像画像(以下、「フレーム画像」と適宜呼ぶ)のデータを、RAM13や記憶部19等のメモリに一時的に記憶させる。このようなCPU11の一連の処理が、ここでいう「スルー撮像」である。
また、CPU11は、スルー撮像時にメモリに一時的に記録された各フレーム画像のデータを順次読み出して、それぞれに対応するフレーム画像を表示部18に順次表示させる。このようなCPU11の一連の処理が、ここでいう「スルー表示」である。なお、スルー表示されているフレーム画像を、以下、「スルー画像」と呼ぶ。
ステップS2において、CPU11は、美術絵画相当の条件を設定する。
即ち、上述したように、美術絵画1枚を単位としたり、或いはまた、同一画家の美術絵画の集合体や同一画風の美術絵画の集合体等を1単位として、各々の単位毎に、美術絵画相当の特徴のデータが美術絵画相当特徴記憶部57に記憶されている。
このため、本実施形態では、CPU11は、このような単位のうち何れの単位の美術絵画相当の特徴を使用するのかを設定する。さらに、CPU11は、美術絵画相当の構図特徴の複数の種類のうち何れの種類を使用するのかを設定する。同様に、CPU11は、美術絵画相当の画像特徴の複数の種類のうち何れの種類を使用するのかを設定する。
このようにして、美術絵画相当の単位、美術絵画相当の構図特徴、及び美術絵画相当の画像特徴が、美術絵画相当の条件の少なくとも一部として設定される。
さらに、本実施形態では、このような美術絵画相当の構図特徴や画像特徴を用いて美術絵画観点評価処理を実行する際に適切な評価画像が得られるように、撮像装置1の撮像条件も設定される。このような撮像装置1の条件としては、カメラの撮影画角の条件や、傾斜角度の条件等が存在する。カメラの撮影画角の条件は、撮影画角そのものを規定する条件であってもよいし、撮影画角を規定したことと等価になる条件、例えば、焦点距離、ズーム倍率、縦横比等を規定する条件であってもよい。傾斜角度の条件は、例えば撮影方向、光軸方向、又は画面中央の方向の水平角、俯角、仰角等を規定する条件である。これらの撮像装置1の撮像条件が所定の設定範囲に制限又は調整されることも、美術絵画相当の条件の設定の一部に含まれる。
ステップS3において、CPU11は、レリーズ釦41(図1)が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦41を半押ししていない場合、ステップS3においてNOであると判定され、処理はステップS3に戻される。即ち、ユーザがレリーズ釦41を半押しするまでの間、ステップS3の判定処理が繰り返されて、撮像処理は待機状態になる。
その後、ユーザがレリーズ釦41を半押しすると、ステップS3においてYESであると判定されて、処理はステップS4に進む。
ステップS4において、CPU11は、撮影条件等に基づいてAF処理(Automatic Focus処理:オートフォーカス処理)等を実行する。
ステップS5において、CPU11は、スルー画像のデータを用いて、美術絵画観点評価処理(図3)を実行する。
ステップS6において、CPU11は、ステップS5の美術絵画観点評価処理の結果に基づいて、構図等のガイド情報を生成し、スルー画像の上に合成表示させる。
例えば、CPU11は、美術絵画観点評価処理の結果に基づいて、ステップS2の処理で設定された所定の美術絵画相当の構図特徴や画像特徴の設定値に近づくように又は設定範囲に入るように、構図の移動すべき方向を算出する。そして、CPU11は、構図取り(フレーミング)をガイドするガイド情報を生成し、スルー画像の上に合成表示させる。
即ち、所定の美術絵画相当の構図特徴や画像特徴を満足するような構図の領域が決定され、当該領域を示すための各種ガイド情報が生成され、スルー画像の上に合成表示される。ガイド情報としては、例えば、構図ガイド枠、補助線、分割線、構図の移動すべき方向を示す矢印等が存在する。
さらに、CPU11は、ガイド情報の他、評価画像の構図特徴や画像特徴の評価値等の解析評価情報や、ステップS2の処理で設定された美術絵画相当の条件から逸脱したことを報知する報知情報等を、スルー画像の上に合成表示してもよい。
ステップS7において、CPU11は、レリーズ釦41が全押しの状態であるか否かを判定する。
ユーザがレリーズ釦41を全押ししていない場合、ステップS7においてNOであると判定され、処理はステップS8に進む。
ステップS8において、CPU11は、レリーズ釦41が解除されたか否かを判定する。
ユーザの指等がレリーズ釦41から離された場合、ステップS8においてYESであると判定されて、撮像処理は終了となる。
これに対して、ユーザの指等がレリーズ釦41から離されていない場合、ステップS8においてNOであると判定されて、処理はステップS4に戻され、それ以降の処理が繰り返される。即ち、レリーズ釦41の半押し状態が継続している限り、ステップS4乃至S6,S7NO,S8NOのループ処理が繰り返し実行される。
その後、ユーザがレリーズ釦41を全押しすると、ステップS7においてYESであると判定されて、処理はステップS9に進む。
ステップS9において、CPU11は、撮像部16を制御して、撮像画像のデータを取得する。取得された撮像画像のデータは、RAM13や記憶部19等のメモリに一時的に記憶される。
ステップS10において、CPU11は、ステップS9の処理で取得した撮像画像のデータを用いて、美術絵画観点評価処理(図3)を実行する。
ステップS11において、CPU11は、ステップS10の美術絵画観点評価処理の結果に基づいて、部分画像の切取り処理を実行する。
例えば、CPU11は、美術絵画観点評価処理の結果に基づいて、ステップS2の処理で設定された所定の美術絵画相当の構図特徴や画像特徴の設定値に近づくような又は設定範囲に入るような領域を、フルサイズの撮像画像から特定する。そして、CPU11は、撮像画像内の特定した領域を部分画像として、撮像画像のデータから部分画像のデータをトリミング(切取り)する。
即ち、図3を用いて上述したように、撮像画像110の一部の領域111が特定されて、領域111に対応する部分画像112のデータがトリミングされる処理が、部分画像の切取り処理の一例である。
ステップS12において、CPU11は、ステップS9の処理で取得した撮像画像のデータ、及び、ステップS11の部分画像の切取り処理の結果得られた部分画像のデータを、リムーバブルメディア31等に記録する処理(以下、「画像記録処理」と呼ぶ)を実行する。
これにより、撮像処理は終了となる。
なお、図示はしないが、ステップS10及びS11、並びにステップS12のうち部分画像のデータを記録する処理は、このような撮像処理時だけでは無く、再生や編集の際にも実行されるようにしてもよい。
以上説明したように、本実施形態の撮像装置1は、評価の指標となる所定の単位に属する1以上の美術絵画から予め取得された特徴を、所定の美術絵画相当の特徴として保持する機能と、評価の対象となる画像のデータを評価画像のデータとして取得する機能と、取得された評価画像のデータに基づいて評価画像の特徴を解析する機能と、解析された評価画像の特徴について、保持された所定の美術絵画相当の特徴との類似度合を評価する機能と、を有している。
このような機能の実現により得られた評価の結果(以下、「美術絵画観点評価結果」と呼ぶ)を用いて、撮像条件を自動的に制限したり、撮像時に構図取りをガイドしたり、構図を自動的に調整した画像のデータを記録する等、各種処理の実行が可能になる。
これにより、例えば、次の(1)乃至(3)に示す効果を奏することが可能になる。
(1)美術絵画そのものと評価画像そのものとを比較するのではなく、各々の構図特徴や画像特徴を比較して、評価画像が評価される。そして、このような構図特徴や画像特徴としては、構図の粗密や複雑さ、明度変化の分布の複雑さ、色彩の分布のまとまり具合や複雑さ等、各種各様の種類を採用することができる。
これにより、形状、絵柄、配置の構図等が、サンプルとなる美術絵画と同一又は類似するシーンを対象とするだけでなく、形状、絵柄、配置の構図等がサンプルとは異なるシーンを対象としても、適切な美術絵画観点評価結果が得られる。即ち、人物以外の被写体を含むシーン、人物を含まない風景等のシーン、多様な被写体や分布のシーン等、多種多様なシーンについて、適切な美術界画観点評価結果が得られる。
これにより、ユーザは、多種多様なシーンの画像として、サンプルの美術絵画風の画像を得ることができる。このように、本実施形態の撮像装置1は、多種多様なシーンにも汎用的に適用できる。
できる。
(2)美術絵画観点評価結果に基づいて、撮像条件が自動的に制限されたり、撮像時に構図取りがガイドされたり、構図を自動的に調整した画像のデータが記録される。このため、ユーザは、たとえ初心者であっても、簡単かつ手軽な操作で、美術絵画風のシーンや構図の画像を得ることができる。
(3)また、撮像装置1は、既存の多数の美術絵画をサンプルとして、それらサンプルの画像のデータを記憶しておく必要は無く、画家や年代といった所定の単位に属する1以上の美術絵画に共通な特徴を、所定の美術絵画相当の特徴として記憶することができる。これにより、撮像装置1の記憶容量を削減でき、ひいては製造コストを抑制することができる。
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、前記実施形態では、構図特徴評価部54が利用する所定の美術絵画相当の構図特徴や、画像特徴評価部56が利用する所定の美術絵画相当の画像特徴については、その種類や、その値若しくは範囲は、CPU11により設定されていた(図5のステップS2)。しかしながら、特に前記実施形態に限定されない。
例えば、所定の美術絵画相当の構図特徴や画像特徴として、何れの種類を用いるのか(種類の選択)、どの種類を優先するのか(重み付け等)、どのような値や範囲とするのか(設定条件)等を、ユーザの好みに応じて、カスタマイズできるようにしてもよい。
図6は、ユーザが、所定の美術絵画相当の構図特徴や画像特徴について、種類の選択、重み付け、設定条件等をカスタマイズするための操作画面の一例を示している。
図6(A)は、撮影設定のメニュー画面の一例を示している。
ユーザは、図6(A)のメニュー画面が表示部18(図1)に表示されている状態で、操作部17(図1)を操作して、「絵画風撮影の設定」という項目を選択することによって、図6(B)のメニュー画面を表示部18に表示させることができる。
図6(B)は、絵画風撮影の設定画面の一例を示している。
ユーザは、図6(B)のメニュー画面が表示部18に表示されている状態で、操作部17を操作して、「絵画風の画像特徴」という項目を選択することによって、図6(C)乃至図6(F)のうちの何れかのメニュー画面を表示部18に表示させることができる。
また、ユーザは、図6(C)乃至図6(F)のうちの何れかのメニュー画面が表示部18に表示されている状態で、操作部17を操作することによって、図6(C)乃至図6(F)のうちの任意の別のメニュー画面を表示部18に表示させることもできる。
図6(C)乃至図6(F)は、所定の美術絵画相当の構図特徴や画像特徴について、種類の選択、重み付け、設定条件等をカスタマイズするためのメニュー画面の一例を示している。
例えば、撮像装置1は、図6(E)や図6(F)に示すようなメニュー画面を表示し、即ち、複数種類の構図特徴や画像特徴を示す項目、例えば図6(E)では「画角の広さ」や「被写体との視点の角度」等の項目を選択肢として表示し、ユーザに対して、所望する種類の選択肢を選択操作させるようにしてもよい。この場合、ユーザが選択可能な種類数は、特に図6(E)や図6(F)の例に限定されず、1種類であってもよいし、複数種類であってもよい。さらに、撮像装置1は、図6(E)や図6(F)に示すようなメニュー画面を表示し、即ち、選択された種類の構図特徴や画像特徴の値や範囲を設定する項目、例えば図6(F)では「構図の複雑さ」の範囲として「1.5〜1.6」を設定しようとしている項目を表示し、ユーザに対して、所望する値や範囲を設定操作させるようにしてもよい。
また例えば、撮像装置1は、ユーザに対して、図6(C)や図6(D)に示すようなメニュー画面を表示し、即ち、構図特徴や画像特徴の種類を逐一細かく設定操作させる代りに、特定の画家の名前や特定の絵画作品等の典型例(図6(C)や図6(D)に表示されている絵参照)を選択肢として表示し、ユーザに所望の典型例(選択肢)を指定操作させるようにしてもよい。これにより、美術絵画に疎いユーザでも、簡単にカスタマイズの設定が可能になる。
また、美術絵画は、作風が似ている作品群として分類できる場合がある。例えば、同じ画家の同じ時期の作品群は、一般的に作風が似ている。また、19世紀西洋絵画の「印象派」の作品群等、芸術上の有名な、運動、主義、思潮、流派等によって分類される作品群は、一般的に作風が似ている。したがって、撮像装置1は、美術史の分類や、美術絵画の時代的又は地域的に基づく分類に従って、各単位をそれぞれ決定して、各単位毎に、所定の美術絵画相当の構図特徴や画像特徴を保持するようにしてもよい。この場合、撮像装置1は、ユーザに対して、所望の単位を示す選択肢を表示し、例えば図6(C)に示すように「印象派」という単位を示す選択肢を表示したり、図6(D)に示すように「20世紀絵画」という単位を示す選択肢を表示することによって、ユーザに対して、所望の単位(選択肢)を指定する指定操作させるようにしてもよい。
このように、所定の美術絵画相当の構図特徴や画像特徴について、種類の選択、重み付け、設定条件等を、ユーザの好みに応じてカスタマイズできるようにすることで、次のような効果を奏することができる。即ち、撮像装置1を操作するユーザは、たとえ初心者であっても、簡単かつ手軽な操作で、自己が所望する美術絵画風の構図により近づいた画像を得ることができる。
また例えば、前記実施形態では、所定の美術絵画相当の構図特徴と画像特徴とは明確に区別して用いられていた。
しかしながら、所定の美術絵画相当の構図特徴と画像特徴との間に相関性がある場合も存在する。このような場合には、構図特徴解析処理及び構図特徴評価処理と、画像特徴解析処理及び画像特徴評価処理とを個々に実行するのではなく、ひとまとまりの処理として実行してもよい。
また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
1・・・撮像装置、11・・・CPU、12・・・ROM、13・・・RAM、16・・・撮像部、17・・・操作部、18・・・表示部、19・・・記憶部、20・・・通信部、21・・・ドライブ、31・・・リムーバブルメディア、51・・・評価画像取得部、52・・・主要被写体検出部、53・・・構図特徴解析部、54・・・構図特徴評価部、55・・・画像特徴解析部、56・・・画像特徴評価部、57・・・美術絵画相当特徴記憶部、58・・・評価結果利用部

Claims (11)

  1. 評価の指標となる所定の単位に属する1以上の美術絵画に共通な特徴を、構図の点からの特徴である所定の美術絵画相当の構図特徴と、美術絵画全体の点からの特徴である所定の美術絵画相当の画像特徴として保持する保持手段と、
    評価の対象となる画像のデータを、評価画像のデータとして取得する取得手段と、
    前記取得手段に取得された前記評価画像のデータに基づいて、構図の点から前記評価画像の構図特徴を解析する構図特徴解析手段と、前記取得手段に取得された前記評価画像のデータに基づいて、画像全体の点から前記評価画像の画像特徴を解析する画像特徴解析手段と、を有する解析手段と、
    前記構図特徴解析手段により解析された前記評価画像の構図特徴について、前記保持手段に保持された前記所定の美術絵画相当の構図特徴との類似度合を評価する構図特徴評価手段と、前記画像特徴解析手段により解析された前記評価画像の画像特徴について、前記保持手段に保持された前記所定の美術絵画相当の画像特徴との類似度合を評価する画像特徴評価手段と、を有する評価手段と、
    を備える画像処理装置。
  2. 前記評価の指標となる所定の単位に属する1以上の美術絵画から特徴を取得し、共通な特徴を前記保持手段に保持させる共通特徴取得手段、
    をさらに備える請求項1記載の画像処理装置。
  3. 前記評価手段による評価結果を利用して、所定の処理を実行する評価結果利用手段、
    をさらに備える請求項1又は2に記載の画像処理装置。
  4. 所定のシーンを撮像することによって、撮像画像のデータを出力する撮像手段をさらに備え、
    前記評価結果利用手段は、前記評価手段による評価結果を利用して、前記撮像手段が出力するデータであって、前記類似度合いの高いと評価された領域のデータを、記録する処理を実行する、
    請求項に記載の画像処理装置。
  5. 所定のシーンを撮像することによって、撮像画像のデータを出力する撮像手段をさらに備え、
    前記取得手段は、前記撮像画像のデータのうち一領域のデータを、前記評価画像のデータとして取得して、
    前記評価結果利用手段は、前記評価手段による評価結果を利用して、構図取りを案内する情報を少なくとも提示する処理を実行する、
    請求項に記載の画像処理装置。
  6. 前記保持手段には、複数の前記美術絵画相当の特徴が保持されており、
    前記複数の美術絵画相当の特徴の少なくとも1つに係わる、複数の選択肢を提示する提示手段と、
    前記提示手段により提示された前記複数の選択肢の中から、1以上の選択肢をユーザが選択する操作を受け付ける操作手段と、
    をさらに備え、
    前記評価手段は、前記解析手段により解析された前記評価画像の特徴について、前記ユーザにより選択されて前記操作手段によって受け付けられた前記1以上の選択肢に係わる前記美術絵画相当の特徴との類似度合を評価する、
    請求項1乃至の何れか1項に記載の画像処理装置。
  7. 前記選択肢は、美術史の分類で用いられているものである、
    請求項に記載の画像処理装置。
  8. 前記選択肢は、美術絵画を時代的又は地域的に分類する際に用いるものである、
    請求項に記載の画像処理装置。
  9. 前記選択肢は、画家の名前である、
    請求項に記載の画像処理装置。
  10. 評価の指標となる所定の単位に属する複数の美術絵画に共通な特徴を、構図の点からの特徴である所定の美術絵画相当の構図特徴と、美術絵画全体の点からの特徴である所定の美術絵画相当の画像特徴として保持する保持手段を有する画像処理装置が、画像の評価を行う画像処理方法において、
    評価の対象となる画像のデータを、評価画像のデータとして取得する取得ステップと、
    前記取得ステップに取得された前記評価画像のデータに基づいて、構図の点から前記評価画像の構図特徴を解析する構図特徴解析ステップと、前記取得ステップに取得された前記評価画像のデータに基づいて、画像全体の点から前記評価画像の画像特徴を解析する画像特徴解析ステップと、を有する解析ステップと、
    前記構図特徴解析ステップにより解析された前記評価画像の構図特徴について、前記保持手段に保持された前記所定の美術絵画相当の構図特徴との類似度合を評価する構図特徴評価ステップと、前記画像特徴解析ステップにより解析された前記評価画像の画像特徴について、前記保持手段に保持された前記所定の美術絵画相当の画像特徴との類似度合を評価する画像特徴評価ステップと、を有する評価ステップと、
    を含む画像処理方法。
  11. 評価の指標となる所定の単位に属する1以上の美術絵画に共通な特徴を、構図の点からの特徴である所定の美術絵画相当の構図特徴と、美術絵画全体の点からの特徴である所定の美術絵画相当の画像特徴として保持する保持手段を有する画像処理装置に対して、画像の評価処理の実行を制御するコンピュータに、
    評価の対象となる画像のデータを、評価画像のデータとして取得する取得機能と、
    前記取得機能に取得された前記評価画像のデータに基づいて、構図の点から前記評価画像の構図特徴を解析する構図特徴解析機能と、前記取得機能に取得された前記評価画像のデータに基づいて、画像全体の点から前記評価画像の画像特徴を解析する画像特徴解析機能と、からなる解析機能と、
    前記構図特徴解析機能により解析された前記評価画像の構図特徴について、前記保持手段に保持された前記所定の美術絵画相当の構図特徴との類似度合を評価する構図特徴評価機能と、前記画像特徴解析機能により解析された前記評価画像の画像特徴について、前記保持手段に保持された前記所定の美術絵画相当の画像特徴との類似度合を評価する画像特徴評価機能と、からなる評価機能と、
    を実現させるプログラム。
JP2010069041A 2010-03-25 2010-03-25 画像処理装置及び方法、並びにプログラム Expired - Fee Related JP5499818B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010069041A JP5499818B2 (ja) 2010-03-25 2010-03-25 画像処理装置及び方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010069041A JP5499818B2 (ja) 2010-03-25 2010-03-25 画像処理装置及び方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2011205267A JP2011205267A (ja) 2011-10-13
JP2011205267A5 JP2011205267A5 (ja) 2013-02-14
JP5499818B2 true JP5499818B2 (ja) 2014-05-21

Family

ID=44881470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010069041A Expired - Fee Related JP5499818B2 (ja) 2010-03-25 2010-03-25 画像処理装置及び方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP5499818B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3482923B2 (ja) * 1999-10-28 2004-01-06 セイコーエプソン株式会社 自動構図決定装置
JP2002189902A (ja) * 2000-12-20 2002-07-05 Fiirudosan:Kk インターネット利用による書画類の複製・配送システム
JP2007060265A (ja) * 2005-08-24 2007-03-08 Canon Inc 自動トリミング機能とそのui
JP2007295203A (ja) * 2006-04-24 2007-11-08 Olympus Imaging Corp 画像編集装置
JP2009212804A (ja) * 2008-03-04 2009-09-17 Fujifilm Corp 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法

Also Published As

Publication number Publication date
JP2011205267A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
US9854149B2 (en) Image processing apparatus capable of obtaining an image focused on a plurality of subjects at different distances and control method thereof
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
KR100839772B1 (ko) 대상 결정 장치 및 촬상 장치
US8977053B2 (en) Image processing device and image processing method
CN104580878B (zh) 电子装置以及自动决定影像效果的方法
JP5744437B2 (ja) 追尾装置、追尾方法及びプログラム
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2004520735A (ja) 電子画像の自動クロッピング方法および装置
JP6074954B2 (ja) 合焦評価装置、撮像装置およびプログラム
KR20160095060A (ko) 시야의 가리움에 기초한 카메라 선택
JP2011010275A (ja) 画像再生装置及び撮像装置
JP5601407B2 (ja) 画像分類プログラム、画像分類装置および電子カメラ
KR20110053348A (ko) 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법
JPWO2009020047A1 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
CN110447223A (zh) 成像元件以及摄像装置
JP6611531B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP4672587B2 (ja) 画像出力方法および装置ならびにプログラム
JP4349380B2 (ja) 撮像装置、画像を取得する方法
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2007258923A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP5499818B2 (ja) 画像処理装置及び方法、並びにプログラム
US11763538B2 (en) Image processing apparatus and electronic apparatus
JP6590681B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007316892A (ja) 自動トリミング方法および装置ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R150 Certificate of patent or registration of utility model

Ref document number: 5499818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees