以下、本発明の一実施の形態を図に従って説明する。
(第1の実施の形態)
図1は、各実施の形態に共通する電子カメラ1の概略的回路構成を示すブロック図である。この電子カメラ1は、主制御部2と撮影制御部3とを備えている。主制御部2は、CPU、CPUが各部を制御するためのプログラムを格納したプログラムROMとその周辺回路、及びCPUの作業用メモリであるRAM等から構成されるマイクロコンピュータであり、ユーザにより操作されるキー等を有する操作部6とLCD及びその駆動回路等で構成される表示モニタ7が接続されている。主制御部2は、表示モニタ7を制御するとともに操作部6からの操作情報を取り込むGIU制御手段4として機能し、このGIU制御手段4からの操作情報に基づき、画像補正条件/画像編集条件設定データ8を送出する補正/撮影条件設定手段5等として機能する。
なお、この補正/撮影条件設定手段5には、後述する図2のフローチャートにおけるステップS106〜109で用いるカスタム登録メモリと、ステップS110〜113で用いるシーン別撮影プログラムメモリとが含まれる。カスタム登録メモリは、各見本画像と関連付けて当該見本画像の撮影条件、補正条件、編集条件のデータが記憶されており、シーン別撮影プログラムメモリには、撮影シーン毎に見本画像と撮影条件を含む撮影プログラムが記憶されている。
前記撮影制御部3は、GIU制御手段4からの操作情報に基づき撮影モードを設定する撮影モード設定手段11を具備するとともに、この撮影モード設定手段11を介して入力される操作情報と、センサ9からの検出信号とに基づき、測光、測距、合焦検出を行う測光/測距/合焦検出手段10として機能する。また、撮影制御部3は、撮影モード設定手段11からの出力と測光/測距/合焦検出手段10からの出力に基づき、撮影条件設定データ12を生成するものであって、この撮影条件設定データ12としては、図示のように、ストロボ設定データ、ズーム/AFデータ、露出条件データ、撮影感度データ、WB設定データ、色彩補正データ、コントランスデータ、シャープネスデータ等が含まれる。
一方、撮影光学系13の光軸上には、絞り14、シャッタ15及びCCDからなる撮像素子16が配置されている。撮影光学系13は光学系制御部17により制御され、絞り14とシャッタ15とは、絞り/シャッタ駆動部18により、撮像素子16はCCD駆動回路19により、それぞれ駆動される。映像信号処理回路20は、撮影時の画像補正手段として機能するものであって、撮像素子16からのアナログ信号を処理するとともにデジタル信号に変換する処理等を行う回路であり、CDS21、Amp22、AD変換部23、WB補正部24、カラー補間/カラー補正部25、ガンマ補正部26、輪郭強調部27、及びマトリクス28を有している。この映像信号処理回路20からのデジタル画像データは、バッファメモリ29に一時的に格納される。このバッファメモリ29から出力されるデジタル画像データは、バッファメモリ32に与えられるとともに、前記表示モニタ7に与えられてスルー画像として表示される。
また、画像補正ブロック30及び画像編集ブロック31は、バッファメモリ29からのデジタル画像データであって撮影後のデジタル画像データを補正、編集処理する撮影後の補正/編集手段として機能するものであって、この補正編集処理された撮影後のデジタル画像データは、前記バッファメモリ31に一時的に格納される。画像CODEC33は、圧縮/符号化部34と伸張/復号化部35とを有する。圧縮/符号化部34は、バッファメモリ32から出力されたデジタル画像データ及び前記画像補正条件/画像編集条件設定データ8を圧縮するとともに符号化し、この圧縮及び符号化されたデータは、画像記録/入出力部36を介してメモリ媒体37に各々ファイル名が付された画像データファイルとして記録される。したがって、この画像データファイルには、画像データとともに、当該画像の撮影条件、補正条件、編集条件が記録される。伸張/復号化部35は、メモリ媒体37から画像記録/入出力部36を介して読み出された画像データファイルに記録されている画像データ、当該画像の撮影条件、補正条件、編集条件データを伸張するとともに復号化し、この伸張及び復号化されたデータは、バッファメモリ29に出力されるとともに、画像補正ブロック30及び画像編集ブロック31に与えられる。
なお、前記撮影制御部3にはストロボ38が接続されており、画像記録/入出力部36には、プリンタ39を接続することが可能である。
以上の構成に係る本実施の形態において、主制御部2が前記プログラムに基づき各部を制御することにより、電子カメラ1は図2〜図4に示す一連のフローチャートに示すように動作する。先ず、ユーザによる操作部6での操作によって撮影モードが設定されたか否かを判断し(ステップS101)、撮影モードが設定されていない場合には、後述する図4のフローチャートに進む。撮影モードが設定されている場合には、ユーザによる操作部6での操作によって「記録済みの画像から見本画像を選択」するが選択されたか否かを判断する(ステップS102)。
「記録済みの画像から見本画像を選択」が選択された場合には、記録済みの画像データのリスト又はサムネイル画像の一覧を表示させる(ステップS103)。つまり、前記メモリ媒体37に記録されている各画像データファイルのファイル名のリスト、又は各画像データファイル中の画像データを抽出して作成したサムネイル画像、若しくは各画像データファイルに予め記憶してあるサムネイル画像の一覧を表示モニタ7に表示させる。次に、ユーザによる操作部6での操作に応じて、記録済みの画像データ、すなわちこの表示させたリスト又はサムネイル画像の一覧から、見本画像を選択する(ステップS104)。さらに、この選択された画像データ及びこの画像データとともに画像データファイルに記録されている当該画像の撮影条件、補正条件、編集条件のデータを読み出して、今回撮影時における撮影条件、補正条件、編集条件として設定する(ステップS105)。
また、ステップS102での判断の結果、「記録済みの画像から見本画像を選択」が選択されなかった場合には、「カスタム登録された撮影プログラムから選択」が選択されたか否かを判断する(ステップS106)。「カスタム登録された撮影プログラムから選択」が選択された場合には、前記カスタム登録メモリに登録されている撮影プログラムの見本画像又はプログラム名称の一覧を表示モニタ7に表示させる(ステップS107)。次に、ユーザによる操作部6での操作に応じて、前記見本画像又はプログラム名称に対応する撮影、補正、編集プログラムを選択する(ステップS108)。さらに、この選択された撮影プログラム毎の撮影条件、補正条件、編集条件のデータを読み出して、今回撮影時における撮影条件、補正条件、編集条件として設定する(ステップS109)。
また、ステップS106での判断の結果、「カスタム登録された撮影プログラムから選択」が選択されなかった場合には、「シーン別撮影プログラムから選択」が選択されたか否かを判断する(ステップS110)。「シーン別撮影プログラムから選択」が選択された場合には、前記シーン別プログラムメモリ登録されている見本画像又はシーン名称の一覧を表示モニタ7に表示させる(ステップS111)。次に、ユーザによる操作部6での操作に応じて、シーン別プログラム又はオートプログラムを選択する(ステップS112)。さらに、この選択された撮影プログラム毎の撮影条件、今回撮影時における撮影条件として設定する(ステップS113)。
また、ステップS110での判断の結果、「シーン別撮影プログラムから選択」が選択されなかった場合には、ユーザによる操作部6でのマニュアル操作に応じて、今回撮影時における撮影条件を設定する(ステップS114)。
そして、前記ステップS105、S109、S113及びS114のいずれかに続く図3のステップS115においては、ズーム処理、AF処理、測光処理を実行し、被写体像のスルー画像を表示モニタ7に表示させる(ステップS116)。したがって、ユーザはこの表示モニタ7に表示されたスルー画像を見ながら、この電子カメラ1の向きを調整する等してシャッタチャンスを窺う。次に、操作部6に設けられているレリーズ釦が半押しされたか否かを判断し(ステップS117)、半押しされない場合には、その他のキー処理を実行する(ステップS119)。
レリーズ釦が半押しされた場合には、再度当該時点で測光処理を実行し(ステップS118)、前記ステップS105、S109、S113、S114のいずれかで設定された撮影条件と、このステップS118での測光処理により得られた測光値とに応じて、露出条件(絞り値とシャッタスピード)を設定する(ステップS120)。次に、レリーズ釦が全押しされたか(又は、操作部6で所定の撮影操作がなされたか)否かを判断し(ステップS121)、全押しされたならば、設定された撮影条件と露出条件に基づいて、露出、撮影動作を行い、撮影画像(撮影画像データ)を取得する(ステップS122)。
引き続き、前記ステップS105又はS109の処理が実行されることにより、補正条件が設定されているか否かを判断する(ステップS123)。そして、前記ステップS105又はS109の処理が実行されることなく、ステップS113又はS114の処理が実行されることにより、補正条件が設定されていない場合には、ステップS113又はS114で選択されたシーン又は撮影条件に応じて、ステップS122で取得した撮影画像に対して所定の補正処理を施す(ステップS125)。これとは逆に、前記ステップS105又はS109の処理が実行されることにより、補正条件が設定されている場合には、ステップステップS105又はS109で設定された補正条件に基づいて、ステップS122で取得した撮影画像に対して画像補正処理を施す(ステップS124)。
また、前記ステップS105又はS109の処理が実行されることにより、編集条件が設定されているか否かを判断する(ステップS126)。そして、前記ステップS105又はS109の処理が実行されることなく、ステップS113又はS114の処理が実行されることにより、編集条件が設定されていない場合には、ステップS113又はS114で選択されたシーン又は撮影条件に応じて、ステップS122で取得した撮影画像に対して所定の編集処理を施す(ステップS128)。これとは逆に、前記ステップS105又はS109の処理が実行されることにより、編集条件が設定されている場合には、ステップステップS105又はS109で設定された編集条件に基づいて、ステップS122で取得した撮影画像に対して画像編集処理を施す(ステップS127)。
そして、前記ステップS112で取得した撮影画像データ又は(又は/及び)補正、編集された画像データを圧縮、符号化処理する(ステップS129)。さらに、この圧縮、符号化処理した撮影画像データ又は(又は/及び)補正、編集された画像データを、それぞれの撮影条件、補正条件、編集条件データとともに同一画像データファイルに記録し、ファイル名を付してメモリ媒体37に記録する(ステップS130)。このとき、撮影画像データのサムネイルを作成して画像データファイルに記録する。また、撮影された画像、又は補正、編集された画像を表示モニタ7にレビュー表示する(ステップS131)
他方図2のステップS101での判断の結果、撮影モードが設定されていない場合には、図4のステップS132に進み再生モードが設定されているか否かを判断する(ステップS132)。再生モードも設定されていない場合には、その他のモード処理に移行する(ステップS133)。再生モードが設定されている場合には、画像の一覧表示が選択されたか否かを判断し(ステップS134)、選択された場合には、画像データの一覧リスト、又は画像データのサムネイル画像の一覧を表示させる(ステップS135)。つまり、前記メモリ媒体37に記録されている各画像データファイルのファイル名のリスト、又は各画像データファイル中の画像データを抽出して作成したサムネイル画像、若しくは各画像データファイルに予め記憶してあるサムネイル画像の一覧を表示モニタ7に表示させる。
次に、画像の選択操作があったか否かを判断し(ステップS138)、選択操作がなされた場合には、操作入力に応じて、再生する画像を選択する(ステップS139)。そして、この選択された画像を伸張及び復号して、画像表示部(表示モニタ7)に表示する(ステップS140)。また、ステップS134で画像の一覧表示が選択されなかった場合には、この再生モードに移行する前の前回撮影モードで撮影した前回撮影画像、又は再生モードにおいて前回選択された前回選択画像を再生する画像として選択する(ステップS136)。そして、この選択された画像を伸張及び復号して、画像表示部(表示モニタ7)に表示する(ステップS137)。
また、ステップS138での判断の結果、画像の選択操作がない場合には、メニュー選択の操作があったか否かを判断し(ステップS141)、メニュー選択の操作もなかった場合には、その他のキー処理に移行する(ステップS142)。メニュー選択の操作があった場合には、画像再生、画像補正、画像編集モードを選択する為のメニュー画面を表示モニタ7に表示する(ステップS143)。また、このメニュー画面から、ユーザによる操作部6での操作入力に応じて、画像再生、画像補正、画像編集各モードのいずれかを選択する(ステップS144)。引き続き、この選択されたモードが画像補正モードであるか否かを判断する(ステップS145)。
画像補正モードである場合には、前記ステップS137又はステップS140で表示モニタ7に表示されている再生画像とともに(又は、これに重ねて)、該当する画像補正の操作画面を表示する(ステップS146)。引き続き、ユーザによる操作部6での操作入力に応じて、補正入力情報を表示し、補正条件データを設定する(ステップS147)。そして、該当する補正処理を実行し(ステップS148)、補正処理された画像を表示モニタ7にプレビュー表示する(ステップS149)。この補正処理画像がプレビュー表示した状態で、ユーザによる操作部6での操作により補正処理された画像を記録する指示(OK)があったか否かを判断し(ステップS150)、指示(OK)がなかった場合にはリターンする。
また、プレビュー表示された補正処理画像を見たユーザがこれに満足し、記録する指示(OK)を行った場合には、ステップS150からステップS151に進み、当該補正処理された画像の画像データを圧縮して符号化する(ステップS151)。引き続き、元の画像データとは別ファイルにして、補正された画像データを、撮影条件、補正条件、編集条件データとともに、ファイル名を付してメモリ媒体37に記録する(ステップS152)。このとき、補正処理された画像データのサムネイルを作成して画像データファイルに記録する。また、ユーザによる操作部6での操作により、撮影プログラムとしてカスタム登録する指示があったか否かを判断し(ステップS153)、指示があった場合には、前記カスタム登録メモリに、当該画像の撮影条件、補正条件、編集条件データを見本画像(当該画像)又は説明を付けて、撮影プログラムとして追加登録する(ステップS154)。
また、ステップS145での判断の結果、選択されたモードが画像補正モードでなかった場合には、画像編集モードであるか否かを判断し(ステップS155)、画像編集モードでもなかった場合には、その他の再生モード処理に移行する(ステップS156)。画像編集モードである場合には、前記ステップS137又はステップS140で表示モニタ7に表示されている再生画像とともに(又は、これに重ねて)、該当する画像編集の操作画面を表示する(ステップS157)。
引き続き、ユーザによる操作部6での操作入力に応じて、編集入力情報を表示し、編集条件データを設定する(ステップS158)。そして、該当する編集処理を実行し(ステップS159)、編集処理された画像を表示モニタ7にプレビュー表示する(ステップS160)。この編集処理画像がプレビュー表示した状態で、ユーザによる操作部6での操作により編集処理された画像を記録する指示(OK)があったか否かを判断し(ステップS161)、指示(OK)がなかった場合にはリターンする。また、プレビュー表示された編集処理画像を見たユーザがこれに満足し、記録する指示(OK)を行った場合には、ステップS161からステップS151に進み、前述したステップS150〜S154の処理を実行する。
図5〜図7は、以上に説明した本実施の形態における処理を示す説明図であり、図5は、通常の撮影時の処理を示す説明図である。図示のように、通常の撮影時(ステップS114の処理が行われた場合)においては、設定操作に予め撮影条件を設定し(A1)、撮影操作があったならば、被写体像を設定された撮影条件で撮影処理(A2)するとともに、信号処理(A2)して撮影画像(A4)を得る。そして、この撮影画像の画像データと撮影条件データ(A5)とを圧縮及び符号化し(A6)、同一の画像データファイル(A7)に符号化された画像データを記録するとともに、ヘッダー情報として撮影条件データなどを記録する。なお、この画像データファイル(A7)には、サムネイル画像データも記憶する。
図6は、撮影後のユーザ操作による補正及び編集時の処理を示す説明図である。画像の選択操作により選択された画像データファイル(B1)を画像再生手段(B2)により再生し、伸張及び符号化(B3)して、復号再生画像(B4)を表示させる。また、マニュアル操作に応じて、補正条件を設定するとともに(B5)、編集条件を設定する(B6)。そして、復号再生画像(B4)を補正条件に従って画像補正処理(B7)するとともに、編集条件に従って画像編集処理(B8)する。そして、この補正、編集処理された画像(B9)と補正条件データ(B10)及び編集条件データ(B11)を圧縮及び符号化し(A6)、同一の画像データファイル(B13)に符号化された画像データを記録するとともに、ヘッダー情報として撮影条件データ、補正条件データ、編集条件データを記録する。なお、この画像データファイル(B13)には、サムネイル画像データも記憶する。
図7は、補正、編集の見本画像を選択してから、撮影して自動補正、編集するときの処理を示す説明図である。編集処理の見本画像の設定(C1)する際に、見本画像の選択操作により補正、編集済の画像データファイル(C2)のいずれかを選択し、この選択した補正、編集済の画像データファイル(C2)を復号する(C3)。この復号により、当該補正、編集済の画像データファイル(C2)のヘッダ情報として記録されていた撮影条件データ(C4)、補正条件データ(C5)、編集条件データ(C6)を得る。撮影条件データ(C4)は、前記ステップS114での処理(マニュアル設定)が行われなかった場合には、撮影条件として設定され(C7)、また、補正条件データ(C5)は補正条件として設定され(C8)、編集条件データ(C6)は編集条件として設定される(C9)。
一方、撮影操作があったならば、被写体像をマニュアル設定された撮影条件又は撮影条件データ(C4)に基づく撮影条件で撮影処理(C10)するとともに、信号処理(C11)して撮影画像(C12)を得る。そして、この撮影画像を設定された補正条件(C9)に従って画像補正処理(C13)するとともに、設定された編集条件(C9)に従って画像編集処理する(C14)。次に、この自動補正、編集処理された撮影画像(C15)と、撮影に用いた撮影条件データ(C16)、補正処理に用いた補正条件データ(C17)、編集処理に用いた編集条件データ(C17)を圧縮及び符号化し(C18)、同一の補正/編集後の撮影画像のデータファイル(C19)に記録する。
なお、この画像データファイル(C17)には、サムネイル画像データも記憶する。また、前述したフローチャートにおいては示されていないが、補正、編集前の画像データも、補正/編集前の撮影画像のデータファイル(C20)にして記録する。この補正/編集前の撮影画像のデータファイル(C20)には、補正、編集前の撮影画像データのみを記録してもよいし、該撮影画像データとともにヘッダ情報として撮影条件データを記録してもよい。
図8は、前記ステップS124、S148、及び後述する図16のフローチャートにおけるステップS416において実行される画像補正処理の詳細を示すサブルーチンである。対象の撮影画像データ又は記録済み画像データを複製(コピー)して読み込み(ステップS201)、補正入力情報又は設定された補正条件データを読み込む(ステップS202)。次に、この読み込んだ補正入力情報又は設定された補正条件データが、ノイズ除去補正処理であるか否かを判断し(ステップS203)、ノイズ除去補正処理である場合には補正入力情報又は補正条件データに従って、ノイズ除去処理を実行する(ステップS204)。また、レベル補正処理であるか否かを判断し(ステップS205)、レベル補正処理である場合には補正入力情報又は補正条件データに従って、レベルの補正処理を実行する(ステップS206)。また、色相、彩度補正処理であるか否かを判断し(ステップS207)、色相、彩度補正処理である場合には補正入力情報又は補正条件データに従って、色相、彩度の補正処理を実行する(ステップS208)。
また、その他のフィルタ補正処理であるか否かを判断し(ステップS209)、その他のフィルタ補正処理である場合には補正入力情報又は補正条件データに従って、該当するフィルタ処理を実行する(ステップS210)。また、トーンカーブ補正処理であるか否かを判断し(ステップS211)、トーンカーブ補正処理である場合には補正入力情報又は補正条件データに従って、トーンカーブ補正若しくは階調補正処理を実行する(ステップS212)。また、シャープネス補正処理であるか否かを判断し(ステップS213)、シャープネス補正処理である場合には補正入力情報又は補正条件データに従って、シャープネス補正若しくは鮮鋭化処理を実行する(ステップS214)。そして、以上により補正された補正後の画像データとともに、各補正条件の設定データを出力する(ステップS215)。
図9及び図10は、図8のフロー中に示した各画像補正処理の概略と補正条件データの例を示す一連の図である。例えば、
(a)ノイズ除去処理では、ノイズ除去フィルタの演算係数など、設定されたノイズ除去に関する補正条件データに従って、入力画像の各画素値(輝度値、色差値)に対して、周囲の局所領域の画素値等を用いて、平均値フィルタや中央値フィルタなどノイズ除去フィルタ処理演算を行いノイズ除去補正を行うことができる。
(b)輝度信号又は色差信号のレベル補正処理では、入出力変換式など設定されたレベル補正に関する補正条件データに従って、入力画像の各画素値に対し、例えば、
y=u(x<aのとき)、y={(V−u)/(b−a)}{x−a}+u(a≦x≦bのとき)、y=V(x>bのとき)
などの変換式を設定して、レベル変換演算を行い、輝度レベルや色差レベルの分布を変換し、ダイナミックレンジを広げたり、露出補正や白飛びや黒つぶれなどを補正する。
(c)同様に、色相/彩度の補正では、色相や彩度の補正値など、色相や彩度に間する補正条件データに従って、入力画像の各画素値のRGB成分など色差成分のバランスや比率などを操作して、各面素値の色相や彩度を補正することができる。あるいは、RGB系の色空間座標を所定の変換式でYUV系やL*a*b*系、HSB系(H:色相/S:彩度/B:明度)など他の色空間に変換して色空間座標値に対し補正操作を加えて、色相や彩度、明度などを調整することができる。
(d)その他フィルタ処理では、補正条件データに従って、入力画像の各画素値に対して、カラー強調フィルタ、色変換フィルタ、2値化フィルタなど、各種の補正フィルタによる演算を施し、入力画像に所定の色強調補正を行ったり、モノクロ画像やセピア画像、イラスト風画像等に変換したりすることができる。
(e)トーンカーブ補正処理では、補正条件データに従って、非線形の入出力変換式や変換カーブ(曲線)等を設定して、人力画像のガンマ特性や輝度分布ヒストグラムなどを補正して、中間階調やコントラストなどを補正することができる。
(f)シャープネス補正処理では、シャープネス補正フィルタの演算係数など、設定された補正条件データに従って、入力画像の各画素値(輝度値、色差値)に対して、周囲の局所領域の画素値等を用いて、一次微分フィルタや二次微分フィルタ、ラプラシアン(Lapaciant)フィルタなど、各種の補正フィルタ処理演算を行い、シャープネス補正や輪郭強調を行うことができる。
図11は、前記ステップS127、S159、及び後述する図16のフローチャートおけるステップS417において実行される画像編集処理の詳細を示すサブルーチンである。対象の撮影画像データ又は記録済み画像データを複製(コピー)して読み込み(ステップS301)、編集入力情報又は設定された編集条件データを読み込む(ステップS302)。次に、この読み込んだ編集入力情報又は設定された編集条件データが、回転、拡大、縮小処理であるか否かを判断し(ステップS303)、回転、拡大、縮小処理である場合には編集入力情報又は編集条件データに従って、回転、拡大、縮小処理を実行する(ステップS304)。また、画像特徴の抽出、認識処理であるか否かを判断し(ステップS305)、画像特徴の抽出、認識処理である場合には編集入力情報又は編集条件データに従って、画像特徴の抽出、認識処理を実行する(ステップS306)。また、トリミング処理であるか否かを判断し(ステップS307)、トリミング処理である場合には編集入力情報又は編集条件データに従って、トリミングやクロッピング処理を実行する(ステップS308)。
また、画像合成処理であるか否かを判断し(ステップS309)、画像合成処理である場合には編集入力情報又は編集条件データに従って、画像合成処理を実行する(ステップS310)。また、リサイズ処理であるか否かを判断し(ステップS311)、リサイズ処理である場合には編集入力情報又は編集条件データに従って、リサイズ(画像サイズ、解像度の変換)処理を実行する(ステップS312)。また、レイアウト編集処理であるか否かを判断し(ステップS313)、レイアウト編集処理である場合には編集入力情報又は編集条件データに従って、レイアウト編集処理を実行する(ステップS314)。そして、以上により編集された編集後の画像データとともに、各編集条件の設定データを出力する(ステップS315)。
図12及び図13は、図8のフロー中に示した各画像編集処理の概略と編集条件データの例を示す一連の図である。例えば、
(g)画像の回転、拡大、縮小処理では、設定された編集条件データに従って、画像の向きや縦横を変換したり、拡大や縮小処理をしたり、縦横比やアスペクト比等を変換したりする。
(h)画像の特徴抽出、画像領域の抽出、画像認識処理では、設定された編集条件データに従って、入力画像の所定の領域から輝度値や色差値、HSB値、移動ベクトルなどの特微量を抽出したり、又は、抽出された特微量に応じて領域画像を抽出したり、画像の特徴量から被写体の種別やシーンなどを認識処理したりする。
(i)トリミングでは、トリミングする位置座標や範囲の指定データなど編集条件データに従って、入力画像の中から所定領域の画像を切り取るなど、トリミング(クロッピング)処理を行う。
(j)画像合成処理では、合成する画像又は背景画像の指定データ、各画像の拡大縮小率や合成位置の座標、前面、背面など重なり優先順位の指定データなど、設定された編集条件データに従って、複数の入力画像から合成処理された画像を出力する。
(k)リサイズでは、リサイズ前、後の画像サイズの指定データや、リサイズ率の指定データなど、編集条件データに従って、画像サイズの変換や解像度の変換を行う。また、画像サイズ変換に伴い、サイズを小さく場合には、所定の間引き処理又は周囲領域画素との画素混合や画素加算処理、サイズを大きくする場合には、所定の画素補間又は画素混合処理、又は、間引きや補間に伴う画質劣化を抑制する為の輪郭強調やスムージング処理などを合わせて行ってもよい。
(l)レイアウト編集処理では、主に、画像をプリントしたり、文書に貼付したりするために、配置する画像や背景画像の指定データ、拡大縮小率、配置位置の座標、重なり優先順位の指定データなど、設定された編集条件データに従って、レイアウト編集された画像を1枚のプリント用画像などに合成して出力する。また、それら操作に伴って、上述のトリミングや画像領域の抽出、回転、拡大、縮小、画像合成など、その他編集処理を組合せて行ってもよい。
図14は、撮影プログラム、あるいは、記録画像における、その撮影条件、補正条件、編集条件データの例を示す図である。図に示すように、撮影条件としては、EVシフト、ストロボ、ホワイトバランス(WB)、ISO感度、AFエリア等、撮影時の補正条件としてはフィルタ、色強調、彩度、シャープネス等、撮影後の補正条件としては、レベル補正、彩度、シャープネス等、撮影後の編集条件としては、拡大/縮小、画像合成、レイアウト編集等である
図15は、撮影条件、補正条件、編集条件データをヘッダ情報部などに記録する際の構成を、EXIF JPEG画像データファイルに準拠したヘッダ情報の例で示す図である。無論、その他ファイル形式やデータ形式、独自の形式等で記録するように構成してもよい。
しかして、以上に説明した第1の実施の形態によれば、
(1)以前にマニュアル操作で所望の画像補正や画像編集を行って記録された画像の中から画像補正や画像編集の手本となる画像データを選択し、今回の被写体像を撮影するだけで、撮影された画像に対して、選択された記録済画像の補正条件や編集条件に基づいて、同様の処理を施し、補正や編集された画像データが自動的に記録することができる。よって、所望の微妙な画像補正や細かな画像編集を、簡単かつ撮影時に自動的に行うことができる。
(2)撮影後に画像データをパソコンに転送したり、レタッチソフトで画像補正作業したりする手間が不要となり、撮影後すぐに、補正や編集済の画像をダイレクトプリンタで印刷することがでる。
(3)補正条件や編集条件を撮影条件とともに組みデータとして、カスタム設定の撮影プログラムとして登録できるようにしたので、シーン撮影モードと同様の操作で、登録された撮影プログラムや見本画像を選択して撮影するだけで、所望の撮影処理かつ所望の補正処理、編集処理の一連の処理を施した画像データを容易に撮影し記録することができる。
(4)メーカーや専門家が補正や編集した見本の画像データ、若しくは、その組データによる撮影プログラムを、多数記憶や登録しておくと、他人や専門家の上手な補正や編集のノウハウや技術を、簡単に共用や再利用することができる。
なお、補正や編集する画像データは、撮影画像データから複製された画像データに補正や編集処理を行い、補正や編集を施さない元の画像データを残したまま、別に保存記録できるようにすることが好ましい。また、前述の画像補正では、ノイズ除去、レベル補正、色相/彩度の補正、各種フィルタ処理、階調補正、輪郭強調などの画像補正処理を例に挙げたが、ブレ補正、ボケ補正、補色補正、歪曲補正、レンズ収差の補正、赤眼の補正、肌色補正などの補正処理を行うようにしてもよい。また、前述の画像編集では、回転、拡大/縮小、画像抽出/画像認識、トリミング、画像合成、リサイズ、レイアウト編集などを例に挙げたが、他の編集処理や印刷設定、画像処理などを行うようにしてもよい。さらに、静止画像だけでなく動画像の補正処理や編集処理、印刷レイアウト編集、あるいは、音声データの補正や編集処理なども同時に行えるようにしてもよい。
(第2の実施の形態)
図16及び図17は、本発明の第2の実施の形態における動作を示すフローチャートであり、主制御部2が前記プログラムに基づき各部を制御することにより、電子カメラ1はこのフローチャートに示すように動作する。先ず、ユーザによる操作部6での操作によって撮影モードと自動補正/編集モードとが設定されたか否かを判断し(ステップS401)、撮影モードと自動補正/編集モードとが設定されていない場合には、他のモード処理に移行する。撮影モードと自動補正/編集モードとが設定されている場合には、ユーザによる操作部6での操作によって、「補正/編集後の見本画像を選択」が選択されたか否かを判断し(ステップS402)、選択されなかった場合には、後述する図17のステップS421に進む。
「補正/編集後の見本画像を選択」が選択された場合には、ユーザによる操作部6での操作入力に応じて、補正、編集項目を選択する(ステップS403)。また、操作入力に応じて、メモリ媒体37に記録済みの画像データから補正又は編集後の見本画像(A)を選択する(ステップS404)。そして、この補正又は編集後の見本画像データ(A)とともに記録されている撮影条件データを撮影条件として設定する(ステップS405)。また、選択された画像データ(A)を復号し、選択された補正、編集項目に応じて画像の特徴量F(A)を抽出する(ステップS406)。
引き続き、ズーム処理、AF処理、WB処理を実行し(ステップS407)、被写体像のスルー画像を表示モニタ7に表示させる(ステップS408)。したがって、ユーザはこの表示モニタ7に表示されたスルー画像を見ながら、この電子カメラ1の向きを調整する等してシャッタチャンスを窺う。次に、操作部6に設けられているレリーズ釦が半押しされたか否かを判断し(ステップS409)、半押しされるまで、ステップS407からの処理を繰り返す。
レリーズ釦が半押しされたならば、測光処理を実行し(ステップS410)、前記ステップS405で設定された撮影条件と、このステップS410での測光処理により得られた測光値とに応じて、露出条件(絞り値とシャッタスピード)を設定する(ステップS411)。次に、レリーズ釦が全押しされたか(又は、操作部6で所定の撮影操作がなされたか)否かを判断し(ステップS412)、全押しされたならば、設定された撮影条件と露出条件に基づいて、露出、撮影動作を行い、撮影画像(B1)を取得する(ステップS413)。そして、前記ステップS403で選択された補正、編集項目に応じて、撮影画像(B1)の特徴量F(B1)を抽出する(ステップS414)。
次に、前記ステップS406で抽出した見本画像(A)の特徴量F(A)と、ステップS414で抽出した撮影画像(B1)の特徴量F(B1)とから、当該補正、編集項目の補正量、編集量若しくは補正式、編集式を算出し、補正条件、編集条件として設定する(ステップS415)。引き続き、このステップS415で設定で設定された撮影条件に基づいて、撮影画像に画像補正処理を施すとともに(ステップS416)、同設定された編集条件に基づいて、撮影画像に画像編集処理を施す(ステップS417)。
そして、撮影画像データ(B1)、及び補正/編集された画像データ(B2)を圧縮、符号化処理する(ステップS418)。さらに、この圧縮、符号化処理した撮影画像データ(B1)、及び補正/編集された画像データ(B2)を、それぞれの撮影条件、補正条件、編集条件データとともに同一画像データファイルに記録し、ファイル名を付してメモリ媒体37に記録する(ステップS419)。また、撮影された画像、及び/又は補正、編集された画像を表示モニタ7にレビュー表示する(ステップS420)。
図18は、以上に説明した第2の実施の形態における図16のフローにより実行される撮影処理、画像補正処理(補正項目と補正後の見本画像(A)を選択して自動補正撮影)の手順を示す説明図である。操作入力に応じて、メモリ媒体に記録済みの画像データから補正又は編集後の見本画像(A)の画像データファイル(D1)を選択する。この補正又は編集後の見本画像データ(A)とともに記録されている撮影条件データ(D2)を撮影条件として設定する(D3)。また、選択された画像データ(A)を伸張、復号し(D4)、選択された補正、編集項目に応じて画像の特徴量F(A)を抽出する(D5)。撮影操作がなされると、撮影処理(D6)、信号処理(D7)を行って、撮影画像(B1)を取得する(D8)。そして、撮影画像(B1)の特徴量F(B1)を抽出する(D9)。
見本画像(A)の特徴量F(A)と、撮影画像(B1)の特徴量F(B1)とから、当該補正、編集項目の補正量、編集量若しくは補正式、編集式を算出し(D10)、補正条件データ(D11)、編集条件データ(D12)として設定し(D13、D14)、撮影画像に画像補正処理(D15)と画像編集処理(D16)とを施す。補正/編集された画像データ(B2)を圧縮、符号化処理し(D17)、撮影条件データ(D18)、補正条件データ(D19)、編集条件データ(D20)とともに同一画像データファイル(D21)に記録する。
図19は、前述した第2の実施の形態における図16のフローにより実行される画像補正処理の例(輝度レベル変換)の手順を示す説明図である。補正後の見本画像Aと撮影画像B1とから、特徴抽出され(E1,E3)、輝度レベルが取得され(E2,E4)、補正利用の算出又は変換式の推定がなされる(E5,E6,E7)。この補正量(E6)又は変換式(E7)が補正条件として設定され(E8)、撮影画像B1が有する輝度レベル(E9)は、設定された補正条件(E8)に基づく画像補正処理(E10)によって、補正後の輝度レベル(E11)を有する自動補正された撮影画像B2が生成されることとなる。
つまり、 本例では、(第1実施例のように記録済み画像に記録された補正条件データ等を用いる代りに、)ユーザによる操作入力に応じて、補正したい補正項目を選択し、また、記録済み画像の中から、画像補正のための見本とする画像(A)を選択して、撮影操作が入力されると、撮影動作を行うとともに、見本画像における補正項目に関する特徴量F(A)と、撮影画像(BI)における当該特徴量F(B1)とをそれぞれ検出し、F(BI)とF(A)との(比または差、関係式などの)比較結果等に基づいて、当該補正項目の補正量若しくは補正式などを求める。そして、撮影画像データ(B1)に対して、求めた補正量若しくは補正式などに基づいて当該項目の画像補正を自動的に実行し、補正された画像データ(B2)を生成して、圧縮/符号化してメモリ媒体等に記録できるように制御するものである。
例えば、撮影画像(B1)の各画素のRGBやYUVなど色差信号の色差値や輝度値(階調値)をx、階調値毎の頻度値をP(x)とすると、その分布における階調値(x)の最小値(x=a)及び最大値(x=b)と、見本画像(A)の各画素の同じく階調値(y)の分布における最小値(y=u)及び最大値(y=V)とから、撮影画像(B1)の分布を見本画像(A)の分布に近づけるように補正した撮影画像(B2)を得るために、撮影画像(B1)の階調値(x)を補正画像(B2)の階調値(y)に変換する次式、
y=u(x<aのとき)、y={(V−u)/(b−a)}{x−a}+u(a≦x≦bのとき)、y=V(x>bのとき)
など、所定の補正式や補正パラメータを補正条件として設定して、色差信号や輝度信号のレベル補正を行う。この場合も、撮影され補正された画像データ(B2)を圧縮符号化/若しくは/符号化して記録する際には、撮影時に補正処理の際の補正条件を補正条件データとして、画像データに対応付けてメモリ媒体に記録するようにして、当該撮影記録された画像データを他の撮影における見本画像として再度利用できるようにするのが好ましい。また、補正前の撮影画像データ(BI)と補正後の画像データ(B2)とを別にそれぞれメモリ媒体に記録するように制御してもよい。
しかして、本実施の形態によれば、補正したい撮影項目と撮影時における画像補正の見本画像とを選択して、撮影操作をするだけで、今回の撮影画像に対して、見本画像と略同じ特性となるように自動的に画像補正処理が施されて記録されるので、ユーザ所望に近い微妙な補正処理が施された撮影画像が、初心者でも簡単な操作で得られる。
また、画像データとともに記録された補正条件データなどを用いる代わりに、見本画像を選択するだけでよいので、アバウトに「この画像のような感じになるように補正したい」などの微妙であいまいな要望に対しでも、略要望に近い補正処理が自動的に行える。また、他のデータ形式を用いて記録された画像データや、他のカメラで撮影された画像データや、補正条件データなどが記録されていない画像データをも、補正処理の見本画像として利用できる利点がある。
他方、図16のフローチャートにおいて、ステップS402で「補正/編集後の見本画像を選択」が選択されなかった場合には、図17のステップS421に進み「補正又編集前、後の見本画像を選択する」が選択されたか否かを判断し、選択されなかった場合には、その他の撮影条件の設定処理に移行する(S422)。「補正又編集前、後の見本画像を選択する」が選択された場合には、ユーザによる操作部6での操作入力に応じて、補正、編集項目を選択する(ステップS423)。また、操作入力に応じて、メモリ媒体37に記録済みの画像データから、補正又は編集前、後の見本画像(A1)(A2)を選択する(ステップS424)。そして、この補正又は編集前の見本画像データ(A1)とともに記録されている撮影条件データを撮影条件として設定する(ステップS405)。また、この補正又は編集前の画像データ(A1)を復号し、選択された補正、編集項目に応じて画像の特徴量F(A1)を抽出するとともに(ステップS426)、前記補正又は編集後の画像データ(A2)を復号し、選択された補正、編集項目に応じて画像の特徴量F(A2)を抽出する(ステップS427)。さらに、前記ステップS426で抽出した補正、編集前の見本画像(A1)の特徴量F(A1)と、ステップS427で抽出した補正、編集後の見本画像(A2)の特徴量F(A2)とから、当該補正、編集項目の補正量、編集量若しくは補正式、編集式を算出し、補正条件、編集条件として設定する(ステップS428)。
引き続き、ズーム処理、AF処理、WB処理を実行し(ステップS429)、被写体像のスルー画像を表示モニタ7に表示させる(ステップS430)。したがって、ユーザはこの表示モニタ7に表示されたスルー画像を見ながら、この電子カメラ1の向きを調整する等してシャッタチャンスを窺う。次に、操作部6に設けられているレリーズ釦が半押しされたか否かを判断し(ステップS431)、半押しされるまで、ステップS407からの処理を繰り返す。
レリーズ釦が半押しされたならば、測光処理を実行し(ステップS431)、前記ステップS425で設定された撮影条件と、このステップS431での測光処理により得られた測光値とに応じて、露出条件(絞り値とシャッタスピード)を設定する(ステップS433)。次に、レリーズ釦が全押しされたか(又は、操作部6で所定の撮影操作がなされたか)否かを判断し(ステップS434)、全押しされたならば、設定された撮影条件と露出条件に基づいて、露出、撮影動作を行い、撮影画像(B1)を取得する(ステップS413)。しかる後に、前述した図16のフローチャートにおけるステップS416以降の処理を実行する。
図20は、以上に説明した第2の実施の形態における図17のフローにより実行される撮影処理、画像補正処理(補正項目と補正前/後の見本画像A1,A2を選択して自動補正撮影)の手順を示す説明図である。記録済みの画像データファイル(F1)から、補正又は編集前、後の見本画像(A1)(A2)を選択し、この補正又は編集前の見本画像データ(A1)とともに記録されている撮影条件データ(F2)を撮影条件として設定する(F3)。編集前の画像データ(A1)を復号し(F4)、選択された補正、編集項目に応じて画像の特徴量を抽出し(F5)、補正又は編集後の画像データ(A2)を復号し(F4)、選択された補正、編集項目に応じて画像の特徴量を抽出する(F6)。編集前の見本画像(A1)の特徴量と、編集後の見本画像(A2)の特徴量F(A2)とから、当該補正、編集項目の補正量、編集量若しくは補正式、編集式を算出し(F7)、補正条件データ(F8)、編集条件データ(F9)として設定する(F13、F14)。
撮影操作がなされ撮影操作がなされると、撮影処理(F10)、信号処理(F11)を行って、撮影画像(B1)を取得し(F12)、補正条件データ(F8)、編集条件データ(F9)により)、撮影画像に画像補正処理(F15)と画像編集処理(F16)とを施す。補正/編集された画像データ(B2)を圧縮、符号化処理し(F17)、撮影条件データ(F2)、補正条件データ(F8)、編集条件データ(F9)とともに同一画像データファイル(F18)に記録する。
図21は、前述した第2の実施の形態における図17のフローにより実行される画像補正処理の例(輝度レベル変換)の手順を示す説明図である。対応する補正前の見本画像A1と補正後の見本画像A2とから、特徴抽出され(G1,G3)、輝度レベルが取得され(G2,G4)、補正利用の算出又は変換式の推定がなされる(G5,G6,G7)。この補正量(G6)又は変換式(G7)が補正条件として設定され(G8)、撮影画像B1が有する輝度レベル(G9)は、設定された補正条件(G8)に基づく画像補正処理(G10)によって、補正後の輝度レベル(G11)を有する自動補正された撮影画像B2が生成されることとなる。
つまり、本例ではカメラの制御部では、ユーザによる操作入力部の操作入力に応じて、補正項目を選択し、また、記録済み画像の中から、補正前に相当する見本画像(A1)と、補正後に相当する見本画像(A2)とを選択すると、補正前/後の見本画像における補正項目に関する特徴量F(A1)、F(A2)をそれぞれ検出し、補正前/後の見本画像における特徴量F(A1)、F(A2)の(比または差、関係式などの)比較結果等に基づいて、当該補正項目の補正量もしくは補正式を演算もしくは推定演算して求める。また、選択された補正項目と求めた補正量もしくは補正式とをカメラの補正条件として設定するように制御する。そして、レリーズ釦等による撮影操作が入力されると、撮影動作を行うとともに、撮影画像(B1)に対して、求めた補正量もしくは補正式に基づいて当該項目の画像補正処理を自動的に実行し、補正された画像データ(B2)をメモリ媒体に記録できるようにしたものである。
例えば、補正前の画像(A1)の各画素のRGBやYUVなど各色差信号や輝度信号の階調値をx、各階調値毎の頻度値をP(x)とすると、階調値(x)の分布における最小値(x=a)及び最大値(x=b)と、補正後の見本画像(A2)の各画素の階調値(y)の分布における最小値(y=u)及び最大値(y=V)とから、見本画像における次のような変換式、
y=u(x<aのとき)、y={(V−u)/(b−a)}{x−a}+u(a≦x≦bのとき)、y=V(x>bのとき)
など、所定の補正式や補正パラメータを補正条件として設定する。そして、見本画像(A1)から見本画像(A2)への変換と同様の変換を、撮影画像(B1)の階調値分布に対して行い、撮影画像(B1)の階調値(x)を補正画像(B2)の階調値(y)に変換して、色差信号や輝度信号のレベル補正処理を行う。この場合も、撮影され補正された画像データを圧縮符号化/もしくは/符号化して記録する際には、撮影時に補正処理の際の補正条件を補正条件データとして、画像データに対応付けてメモリ媒体に記録するようにして、当該撮影記録された画像データを他の撮影における見本画像として再度利用できるようにすることが好ましい。また、補正前の撮影画像データ(B1)と補正後の画像データ(B2)とを、それぞれ別にメモリ媒体に記録するように制御してもよい。
しかして、本実施の形態によれば、補正したい撮影項目を選択し、また、記録済みの画像の中から、撮影時における画像補正の補正前/後の見本画像を選択して、撮影操作をするだけで、今回の撮影画像に対して、補正前の見本画像が補正後の見本画像に補正されるのと略同様の補正処理になるように、自動的に補正された撮影画像が得られて記録されるので、ユーザ所望に近い微妙な補正処理が施された撮影画像も、初心者でも簡単な操作で撮影記録できる。また、画像データとともに記録された補正条件データなどを用いる代わりに、補正前後の見本画像を選択するだけでよいので、アバウトに「この画像があの画像に補正されるような感じで補正したい」などの微妙であいまいな要望に対しでも、所望に略近い補正処理を行うことができる。
なお、画像編集ソフトを用いてパソコンで画像を編集すると編集画像と編集条件データとが対応付けて記憶されパソコンに記憶される。したがって、この記憶された編集画像と対応する編集条件データからなる記憶データをメモリカードやUSBケーブルを使ってカメラのメモリに記憶させ、この記憶データを用いて前述したように撮影画像を編集、補正処理するようにしてもよい。これにより、カメラ側ではキーが少ない、モニタの解像度が悪いといった理由により通常出来ないような編集をカメラで行うことができるようになる。