JP4336186B2 - 画像修正装置および撮像装置 - Google Patents

Description

本発明は、画像中の赤目部分や金目部分などといった目に関する所定の不具合を検出し、検出された不具合を修正する画像修正装置および撮像装置に関する。

従来より、閃光を発する発光部を有する閃光装置を備えたカメラが知られている。ここで、人物や動物の目は、暗所においては瞳孔が大きく開かれることによってより多くの光が取り入れられるような構造となっている。従って、暗所において瞳孔が大きく開かれた状態の人物や動物を、カメラに備えられた閃光装置を用いて写真撮影すると、大きく開かれた瞳孔を通して閃光装置の発光部で発せられた閃光が眼球内に入射し、その閃光が眼球の内面を覆う網膜の毛細血管によって反射されることによって、人物や動物の瞳孔部分が赤く再現される、いわゆる赤目現象が起きる場合がある。また、カメラに備えられた閃光装置を用いて写真撮影すると、閃光装置で発せられた閃光が眼球に対して入射する入射角によっては、眼球の最外層をとりまく強膜や角膜でその閃光が反射することによって、人物や動物の瞳孔部分が白みを帯びたように再現される、いわゆる金目現象が起きる場合もある。

近年のデジタル処理技術の発達に伴い、上述したような、人物や動物の瞳孔部分が赤く再現されたり白みを帯びたように再現される写真を表す画像データを取得し、取得された画像データにより表わされる画像中の赤目部分や金目部分を検出し、検出された赤目部分や金目部分を修正する画像処理装置や電子カメラが提案されている（例えば、特許文献１参照）。
特開２０００−３０５１４１号公報

上述した特許文献１に提案された、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラは、上述したような、写真撮影された人物や動物の画像中の赤目部分を検出し、検出された赤目部分を修正する画像処理装置の機能が搭載されたものである。また、この特許文献１に提案された電子カメラには、画像を表示する画像表示装置が備えられており、赤目部分が検出されることによって画像表示装置に人物や動物の目が赤目に再現された画像が表示され、表示に基づいて撮影者等のユーザは写真撮影で得られた画像中の赤目部分を確認し、赤目部分の修正を行うか否かを判断する。判断の結果、赤目部分の修正を指示した場合には、赤目部分が修正された後の画像が画像表示装置に表示されることによって、正確に修正されたか否かを確認する。従って、この特許文献１に提案された電子カメラでのユーザによる確認作業は、赤目部分が検出された場合、および赤目部分が検出され修正された場合の２回必要であるため、ユーザにとって煩わしく手間のかかるものである。

また、電子カメラに備えられる画像表示装置は、一般に画面の小さなものであるため、このような画面の小さな画像表示装置で赤目部分を目視で確認することは困難である。

このような問題点を解消する手段として、画像表示装置に表示された画像中の赤目部分を拡大表示することによって目視による赤目部分の確認を容易にする手段が知られているが、複数の目が赤目に再現された画像では、確認作業が煩雑となる。

上記の問題は、カメラや写真の分野に限らず、例えばＷＥＢ上から取り込んだ画像などといった任意の画像に対して画像処理を施す場合など、画像処理分野で一般的に生じる。

本発明は、上記事情に鑑み、画像中の赤目部分や金目部分などといった目の不具合の確認が、容易な操作で実現される画像修正装置および撮像装置を提供することを目的とする。

上記目的を達成する本発明の画像修正装置は、
画像を表す画像データを取得する画像取得部と、
画像取得部により取得された画像データにより表わされる画像中の目の不具合を検出し、検出された不具合を修正する修正部と、
画像データに基づく画像を表示する画像表示部とを備え、
画像表示部は、画像取得部によって画像データが取得されたときに、修正部により不具合が修正された後の修正後画像を表示するものであることを特徴とする。

本発明の画像修正装置は、画像中の目の不具合を検出して検出された不具合を修正し、不具合が修正された後の修正後画像を表示するものであるため、検出された不具合と修正された不具合とをその修正後画像によって同時に１回で確認することができ、画像中の目の不具合の確認が、容易な操作で実現される。

ここで、本発明の画像修正装置において、上記修正部は、画像中の不具合を検出するとともに、不具合が見つかった箇所に所定の基準で優先順位を付けるものであり、
画像表示部は、修正後画像を表示するにあたって、修正部によって付けられた優先順位が高い箇所を優先して表示するものであることが好ましい。

例えば、撮影画角の中央に写っている被写体や、顔部分が大きく写っている被写体などに高い優先順位をつけ、それ以外の被写体に低い優先順位をつけることによって、主要な被写体を優先して確認し、通行人などのような不要な被写体の確認作業を省くことができる。

また、本発明の画像修正装置において、上記画像表示部は、修正後画像を表示するにあたって、修正部によって不具合が検出された箇所の一覧を表示するものであることが好ましい。

不具合が検出された箇所の一覧を表示することによって、不具合が見つかった箇所を一度に確認することができる。

また、本発明の画像修正装置において、上記画像表示部は、修正後画像を表示するにあたって、修正部によって不具合が検出された箇所を拡大しない通常画像と、箇所を拡大した拡大画像とを表示するものであることが好適である。

この好適な画像修正装置によると、通常画像全体を確認しながら、不具合が検出された箇所の細部や位置を確認することができる。

また、本発明の画像修正装置は、上記画像表示部に表示された修正後画像中の、修正部により修正された不具合を、操作に応じて、修正部による修正の前の状態に戻す修正取消部を備えたものであることが好ましい。

このような修正取消部を備えた画像修正装置は、修正部による不具合の検出あるいは修正が不適切なものであった場合に、不具合が修正される前の状態に戻すことができる。

また、本発明の画像修正装置において、上記画像表示部は、修正後画像を表示するにあたって、修正部により修正された不具合を強調して表示するものであることも好ましい形態である。

このように、修正後画像中の目の不具合が強調して表示されれば、画像中の目の不具合の確認が、より一層容易である。

また、本発明の画像修正装置において、上記修正部は、画像中の赤目部分を検出し、検出された赤目部分を修正するものであって、
画像表示部は、画像取得部によって画像データが取得されたときに、修正部により赤目部分が修正された後の修正後画像を表示するものであることがさらに好ましい。

目の不具合のうち特に赤目は、心理的な違和感が強いのに対し、視覚的には確認が困難であるため、このような、画像中の赤目部分に対する修正確認が容易な画像修正装置は特に有用である。

また、上記目的を達成する本発明の撮像装置は、
撮影光学系を経由してきた被写体光による被写体像を固体撮像素子上に結像させて該被写体像を表す画像データを得る撮像装置において、
画像データに基づく画像を表示する画像表示部と、
被写体像中の目の不具合を検出し、検出された不具合を修正する修正部とを備え、
画像表示部は、被写体像を表す画像データが得られたときに、修正部により不具合が修正された後の修正後画像を表示するものであることを特徴とする。

“発明が解決しようとする課題”で説明したように、撮像装置に備えられる画像表示装置は、一般に画面の小さなものであるが、本発明の撮像装置のように、被写体像中の目の不具合を検出して検出された不具合を修正し、不具合が修正された後の修正後画像を表示するものであれば、検出された不具合と修正された不具合とをその修正後画像によって同時に１回で確認することができる。また、一般的に撮像装置に備えられるスイッチ類の操作性は決し良くないが、本発明の撮像装置は、不具合が修正された後の修正後画像によって赤目部分を確認するものであるため確認の操作数が少なく、操作性の悪いスイッチ類であっても、画像中の目の不具合を容易に確認することができる。

ここで、本発明の撮像装置において、上記修正部は、画像中の不具合を検出するとともに、不具合が見つかった箇所に所定の基準で優先順位を付けるものであり、
画像表示部は、修正後画像を表示するにあたって、修正部によって付けられた優先順位が高い箇所を優先して表示するものであることが好ましい。

不具合が見つかった箇所に優先順位を付けることによって、効率よく確認作業を行うことができる。

また、本発明の撮像装置において、上記画像表示部は、修正後画像を表示するにあたって、修正部によって不具合が検出された箇所の一覧を表示するものであることが好ましい。

不具合が検出された箇所の一覧を表示することによって、不具合が検出された箇所を一度に確認することができる。

また、本発明の撮像装置において、上記画像表示部は、修正後画像を表示するにあたって、修正部によって不具合が検出された箇所を拡大しない通常画像と、箇所を拡大した拡大画像とを表示するものであることが好適である。

この好適な撮像装置によると、通常画像による全体像と、不具合が検出された箇所の細部や位置とを同時に確認することができる。

また、本発明の撮像装置は、上記画像表示部に表示された修正後画像中の、上記修正部により修正された不具合を、操作に応じて、その修正部による修正の前の状態に戻す修正取消部を備えたものであることが好ましい。

このような修正取消部を備えた撮像装置は、修正部による不具合の検出あるいは修正が不適切なものであった場合に、不具合が修正される前の状態に戻すことができる。

さらに、本発明の撮像装置において、上記画像表示部は、上記修正後画像を表示するにあたって、上記修正部により修正された不具合を強調して表示するものであることも好ましい形態である。

このように、修正後画像中の目の不具合が強調して表示されれば、画像中の目の不具合の確認が、より一層容易である。

本発明によれば、画像中の赤目部分や金目部分などといった目の不具合の確認が、容易な操作で実現される画像修正装置および撮像装置が提供される。

以下、本発明の実施形態について説明する。

ここでは、本発明を、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラに適用した実施形態について説明する。

図１は、本発明の一実施形態の電子カメラを前面斜め上から見た外観斜視図である。ここでは、まず図１〜図３を参照して、電子カメラの一般的な構成について説明する。尚、本実施形態の電子カメラにおける本発明としての特徴は、後述する“自動赤目補正処理”モードの処理動作にあるが、このモードの動作説明については後で詳細に行う。

このカメラ１００の前面には、撮影レンズ１０１ａを内部に備えたレンズ鏡胴１０１が備えられている。この撮影レンズ１０１ａは、入射した被写体光を、内部に配置されたＣＣＤ固体撮像素子（ここでは図示せず）の撮影面上に結像させ、そのＣＣＤ固体撮像素子で被写体を表す画像データが生成される。

また、このカメラ１００の前面には、レンズ鏡胴１０１の左斜め上にフラッシュ調光窓１０２、フラッシュ調光窓１０２の左隣にフラッシュ発光窓１０３、フラッシュ発光窓１０３の下にセルフタイマＬＥＤ１１５、およびレンズ鏡胴１０１の右斜め上に光学式ファインダ対物窓１０４ａが備えられている。

また、このカメラ１００の上面の右端には、シャッタレリーズボタン１０５が備えられている。尚、背面上部に備えられ、上面に一部が突出して配置された撮影モードダイヤル１１２については、図２を参照して説明する。

さらに、このカメラ１００の左側面の下方には、上から順に、写真撮影によって得られた画像データをパーソナルコンピュータなどに送信する際に使用されるＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）ケーブルが接続されるＵＳＢ端子１０６、およびカメラ１００に外部電源を供給する際に使用される電源ケーブルが接続される電源入力端子１０７が備えられている。

図２は、図１に示すカメラを背面斜め上から見た外観斜視図である。

このカメラ１００の背面には、光学式ファインダ接眼窓１０４ｂ、画像や日時を表示する液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）パネル１０８、ＬＣＤパネル１０８による画像表示をオン／オフするためのＬＣＤパネル起動ボタン１０９、バリエーションの選択およびズームを行なう際に操作される十字キー１１０、例えば日付や日時の設定などといったメニューをＬＣＤパネル１０８上に表示させたり、そのメニューを確定する際に使用されるメニュー／ＯＫスイッチ１１１、各種操作によって変更された設定を無効にする際に使用されるキャンセルスイッチ１１６、後述する各種モードを選択する際に使用される撮影モードダイヤル１１２、写真撮影を行う“撮影記録”機能と、写真撮影されて記録された画像データを再生する“画像データ再生”機能とのうちのいずれかの機能を選択する際に使用される機能選択レバー１１３、および、機能選択レバー１１３の軸上に設けられたメインスイッチ１１４が備えられている。また、このカメラ１００では、十字キー１１０による操作に応じて、被写体像中の赤目部分を検出して検出された赤目部分を修正する“自動赤目補正処理”モードを選択することができる。尚、この自動赤目補正処理モードの詳細な説明は後述する。ここで、ＬＣＤパネル１０８は、本発明にいう画像表示部の一例に相当するものである。

このカメラ１００では、機能選択レバー１１３を“撮影記録”側１１３ａに合わせることによって“撮影記録”機能が選択され、機能選択レバー１１３を“画像データ再生”側１１３ｂに合わせることによって“画像データ再生”機能が選択される。また、この機能選択レバー１１３によって“撮影記録”機能が選択されている場合には、撮影モードダイヤル１１２を回転させることによって、人物を撮影するのに適した“人物撮影”モード、風景を撮影するのに適した“風景撮影”モード、動きの速い被写体を撮影するのに適した“スポーツ”モード、シャッタレリーズボタン１０５が押下されてから実際に撮影されるまでに時差を与える“セルフタイマ”モード、および撮影者自身を撮影するのに適した“自己撮影”モードのうちのいずれかのモードを選択することができる。

図３は、図１，図２に示すカメラの内部に配備された信号処理部の構成ブロック図である。

この図３に示す構成ブロック図を参照してカメラ１００内に配備された信号処理部の構成を説明する。

図１，図２に示すカメラ１００では、すべての処理がＣＰＵ２１１によって制御されており、このＣＰＵ２１１の入力部には、図３に示す各種スイッチが接続されている。

これら各種スイッチのそれぞれの接続状況をまず説明する。

撮影の開始指示を行うシャッタレリーズボタン１０５（図１，図２参照）には、このシャッタレリーズボタン１０５の押下に同期して作動するシャッタスイッチ１０５ａが設けられている。このシャッタスイッチ１０５ａのオンオフ信号がＣＰＵ２１１へ入力される。ＣＰＵ２１１ではシャッタスイッチ１０５ａのオン信号を撮影開始の合図として受け取る。このときには、機能選択レバー１１３が”画像記録”側１１３ａに切り替えられており、撮影を行うことがＣＰＵ２１１で検知されている。

十字キー１１０ではＬＣＤパネル１０８に表示される選択メニューの、複数の項目の中のいずれかが選択できるようになっている。図３には十字キー１１０の接点１１０１〜１１０４が示されている。たとえば接点１１０１が押下されたら上方向へカーソルが移動する。また１１０２が押下されたら右方向へ移動するようになっている。そして、いずれかの接点１１０１〜１１０４が接続されてオンオフ信号がＣＰＵ２１１に入力されるとＣＰＵ２１１ではその移動指示に基づいてバス２２０を介してＬＣＤパネル１０８へカーソルの移動指示を転送する。そうすると複数表示されている項目の中のいずれかにカーソルが移動する。従って、ＬＣＤパネル１０８に表示されるカーソルに基づいて、ユーザは選択メニューの中の複数の項目のいずれかを、十字キー１１０によって選択することができる。ここで電子ズームが選択されると被写体の中央を中心として撮影画角内の一部領域が切り出され、電子ズームが行われる。このときには切り出しを行う領域のサイズの指定も行えるような構成になっている。

また、機能選択レバー１１３が”画像データ再生”側１１３ｂに切り替えられると記録メディア２４０からの再生が行われる。このときには撮影を行うための指示を行うシャッタスイッチ１０５ａなどからの信号が入力されても処理は行われない。

以上が、図３に示されているＣＰＵ２１１の入力部の説明である。

次にＣＰＵ２１１の出力部を説明する。

この出力部には、タイミングジェネレータ２１２、フォーカスレンズ２１６を駆動するためのモータドライバ２１７、光量調整装置３００に備えられたモータを駆動するためのモータドライバ２１４、およびＣＤＳＡＭＰ２１３が接続されている。

まずユーザが撮影を行うときにＣＰＵ２１１の出力部からどのような信号が出力されるかを説明する。撮影を行うときにはＬＣＤパネル１０８上に被写体像が被写体の動きにあわせて表示されている。この表示されている被写体の像を見ながら、ユーザはフレーミングを行い、シャッタレリーズボタン１０５を押下して撮影を行う。このときにシャッタレリーズボタン１０５に同期して作動するシャッタスイッチ１０５ａがオンされることによってＣＰＵ２１１では撮影開始の指示がユーザから送られたことを知る。そこでＣＰＵ２１１では撮影開始を指示する信号をタイミングジェネレータ２１２へ出力する。タイミングジェネレータ２１２ではこの指示を受けてＣＣＤ固体撮像素子２１０へシャッタレリーズボタン１０５が押下されたことを知らせる信号を供給する。この信号を受けてＣＣＤ固体撮像素子２１０ではシャッタレリーズボタン１０５が押されたときにＣＣＤ固体撮像素子２１０によって撮像されていた画像データをＲＧＢ信号として出力する。このときＣＣＤ固体撮像素子２１０から読み出されたＲＧＢ信号は雑音が多いので、ＣＰＵ２１１ではこの雑音を低減するためＣＤＳＡＭＰ２１３へも雑音低減処理を行うタイミング信号を出力する。

図１，図２に示す各種スイッチからの入力信号に応じてＣＰＵ２１１から出力される信号は以上のとおりである。

ここからはＣＣＤ固体撮像素子２１０で撮像された撮像信号がどのように処理されるかを順を追って説明する。

図２に示す機能選択レバー１１３が”画像記録”側１１３ａになっているときにシャッタレリーズボタン１０５が押下された場合を説明する。

機能選択レバー１１３が”画像記録”側１１３ａに合わせられた状態で、シャッタレリーズボタン１０５が押下されると、ＣＰＵ２１１ではシャッタレリーズボタン１０５の押下が検知され、ＣＰＵ２１１からタイミングジェネレータ２１２に対して撮影の開始指示が行われる。この開始指示を受けてＣＣＤ固体撮像撮像素子２１０はＲＧＢ信号を出力する。

シャッタレリーズボタンが押されていなくても、画像表示装置２２７のＬＣＤパネル１０８には撮影レンズが向けられた方向の被写体像が常に表示されている。この表示されている被写体像は、ＣＣＤ固体撮像素子２１０から所定の時間間隔ごとに読み出されるＲＧＢ信号から成る画像データを画像信号処理回路２２２でＹＣ信号に変換し、そのＹＣ信号をＶｉｄｅｏＥｎｃｏｒｄｅｒ２２６を経由させて画像表示装置２２７に供給して得られるものである。このような被写体像の表示が行われているときにＡＥ＆ＡＷＢ検出回路２３１では露出調節が、ＡＦ検出回路２３０ではコントラストの検出が絶えず行われている。ここで、画像信号処理回路２２２は、本発明にいう修正部や修正取消部の機能の一例を担うものであり、後述するように、撮影時には撮影画像中の赤目部分の検出と修正を行う。

露出調節にあってはＣＣＤ固体撮像素子２１０から所定の時間間隔ごとに読み出されるＲＧＢ信号の輝度情報に基づいてＡＥ＆ＡＷＢ検出回路２３１で露出調整が行われる。ＡＥ＆ＡＷＢ検出回路２３１で露出調整が行われるとＣＰＵ２１１にその結果が伝えられ、ＣＰＵ２１１ではその結果に基づいてモータドライバ２１４に指示を出し、適正な露出となるような光量が得られるように、光量調整装置３００に備えられたモータが駆動される。また焦点調節にあってはＡＦ検出回路２３０でフォーカスレンズ２１６を移動させ、所定の時間間隔ごとにＡＦ検出回路２３０でＲＧＢ信号のコントラストの検出を行って焦点調節が行われる。ＡＦ検出回路２３０でコントラストの検出が行われるとＣＰＵ２１１にその結果が伝えられ、ＣＰＵ２１１ではその結果に基づいてモータドライバ２１７にフォーカスレンズ２１６の駆動指示を出し、検出されたコントラスが最大となる合焦点位置にフォーカスレンズ２１６が駆動される。そしてフォーカスレンズ２１６が合焦点位置に配置されたら、ＣＰＵ２１１から画像取り込みの信号がタイミングジェネレータ２１２へ供給され、タイミングジェネレータ２１２から撮影開始信号がＣＣＤ固体撮像素子２１０に供給され、ＣＣＤ固体撮像素子２１０に蓄積された電荷がタイミングジェネレータ２１２の読み出し信号によってＲＧＢ信号としてＣＤＳＡＭＰ２１３側へ読み出される。

この読み出されたＲＧＢ信号が供給されたＣＤＳＡＭＰ２１３では、雑音低減の処理が行われて、雑音が除去されたＲＧＢ信号がＡ／Ｄ変換回路２１８へと供給される。Ａ／Ｄ変換回路２１８ではアナログのＲＧＢ信号がＡ／Ｄ変換されてデジタル信号のＲＧＢ信号に変換される。

なおＣＰＵ２１１と画像入力コントローラ２１９、メモリ（ＳＤＲＡＭ）２２１、画像信号処理回路２２２、圧縮処理回路２２３、メディアコントローラ２２４、ＵＳＢｃｏｎｔｒｏｌｌｅｒ２２５、ＶｉｄｅｏＥｎｃｏｒｄｅｒ２２６、ＡＦ検出回路２３０、ＡＥ＆ＡＷＢ検出回路２３１とはバス２２０によって接続されており、このバス２２０を介してアドレス、データなどの授受が行われる。そのバス２２０を介してデータの授受を行うためのレジスタがＣＰＵ２１１内には各種用意されていてこれらのレジスタの内容が各処理部の処理の進行状況に応じて書き換えられる。ＣＰＵ２１１内ではこのレジスタの内容を判読して処理が行われる。

デジタル信号に変換されたＲＧＢ信号は画像入力コントローラ２１９によってバス２２０側へ導かれてＣＰＵ２１１によって制御され、メモリ（ＳＤＲＡＭ）２２１に書き込まれる。ここで、画像入力コントローラ２１９は、本発明にいう画像取得部の一例に相当するものである。そしてＲＧＢ信号の取り込みが完了したら、今度はメモリ（ＳＤＲＡＭ）２２１からＲＧＢ信号が読み出されてバス２２０を経て画像信号処理回路２２２に供給される。画像信号処理回路２２２ではＲＧＢ信号からＹＣ信号への変換が行なわれ、さらに圧縮処理回路２２３で圧縮された画像データがメディアコントローラ２２４を介して記録メディア２４０にＪＰＥＧファイルとして記録される。

なお、ＵＳＢｃｏｎｔｒｏｌｌｅｒ２２５も図１，図２に示すカメラには備えられており、ＵＳＢ規格準拠の外部機器との接続も可能な構成になっている。

以上が図１，図２に示すカメラ１００で撮影が行われるときに記録メディア２４０に記録されるまでの画像データの流れである。

図４は、“自動赤目補正処理”モードが選択される場合における操作の流れを説明するフローチャートである。

まず、図２に示す機能選択レバー１１３を“撮影記録”側１１３ａにもっていくことによって“撮影記録”機能を選択し、撮影モードダイヤル１１２を回転させることによって所望の撮影モードを選択し、更に十字キー１１０による操作に応じて“自動赤目補正処理”モードを選択した後にシャッタレリーズボタン１０５を押下することによって撮影が行われる（ステップＳ１）。

ここで、図５は、ステップＳ１によって撮影された撮影画像の一例を示す図である。

ここでは、図２に示す撮影モードダイヤル１１２によって“人物撮影”モードが選択され、更に十字キー１１０による操作に応じて“自動赤目補正処理”モードが選択された後にシャッタレリーズボタン１０５が押下され、３人の人物４１０，４２０，４３０が撮影された撮影画像の例が示されている。

次に、図２に示す十字キー１１０による操作に応じて“自動赤目補正処理”モードを選択されていることを受けて、ステップＳ１によって撮影されて得られた撮影画像中の赤目部分を検出して検出された赤目部分を修正する自動赤目補正処理が開始される（ステップＳ２）。

次に、ステップＳ２による撮影画像中の赤目部分の検出で、赤目部分が検出されていた場合には（ステップＳ３：ＹＥＳ）、自動赤目補正処理が施された後の赤目補正結果画像が、図２に示すＬＣＤパネル１０８に表示される（ステップＳ４）。また、ステップＳ２による撮影画像中の赤目部分の検出で、赤目部分が検出されなかった場合には（ステップＳ３：ＮＯ）、撮影画像を表す画像データが、図３に示すメディアコントローラ２２４を介して記録メディア２４０にＪＰＥＧファイルとして記録される（ステップＳ１２）。

ここで、図６は、ステップＳ４によって自動赤目補正処理が施された後の赤目補正結果画像がＬＣＤパネルに表示された表示例を示す図である。

ここでは、図５に示す撮影画像に対して自動赤目補正処理が施された後の赤目補正結果画像が、自動赤目補正処理によって修正された人物４１１，４２１，４３１の顔４１１ａ，４２１ａ，４３１ａが実線の丸５１０，５２０，５３０で囲われるように強調されて、図２に示すＬＣＤパネル１０８に表示された例が示されている。この図６に示す例では、３人の人物４１１，４２１，４３１すべてに対し赤目が検出され修正されたことが示されている。

このように、赤目補正結果画像中の赤目部分を有する顔が強調されて表示されると、赤目補正結果画像中の赤目部分の確認が、より一層容易である。

次に、ステップＳ４によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図２に示すメニュー／ＯＫスイッチ１１１を押下することによって（ステップＳ５：ＹＥＳ）、その赤目補正結果画像を表す画像データが、図３に示すメディアコントローラ２２４を介して記録メディア２４０にＪＰＥＧファイルとして記録される（ステップＳ１２）。

このように、本実施形態のカメラ１００は、シャッタレリーズボタン１０５を押下して撮影が行われた後、ステップＳ５でメニュー／ＯＫスイッチ１１１を押下する１操作のみで確認操作が終了するため、赤目部分の確認操作が極めて簡単である。

また、ステップＳ４によって自動赤目補正処理が施された後の赤目補正結果画像による赤目部分の確認の結果、自動赤目補正処理によって修正された人物の顔を拡大して赤目部分を確認したい場合には、図２に示すキャンセルスイッチ１１６を押下することによって（ステップＳ５：ＮＯ）、図２に示す十字キー１１０による顔の選択が可能となる（ステップＳ６）。

ここで、図７は、ステップＳ６によって十字キーによる顔の選択が可能な赤目補正結果画像がＬＣＤパネルに表示された表示例を示す図である。

ここでは、図２に示す十字キー１１０によって顔が選択された人物４１１の顔４１１ａが実線の丸５１１で囲われ、十字キー１１０による顔の選択が可能な他の人物４２１，４３１の顔４２１ａ，４３１ａが破線の丸５２１，５３１で囲われた赤目補正結果画像が、図２に示すＬＣＤパネル１０８に表示された例が示されている。十字キー１１０による操作に応じて実線の丸５１０が別の人物の顔に移動して、所望の人物４１１，４２１，４３１の顔４１１ａ，４２１ａ，４３１ａを選択することができる。

また、図８は、ステップＳ６によって顔の選択が可能な赤目補正結果画像における、図７とは別の表示例を示す図である。

図８のパート（Ａ）には、十字キー１１０によって選択が可能な、図７に示す顔４１１ａ，４２１ａ，４３１ａに対応する顔５４１，５４２，５４３が、赤目補正結果画像の下に並べて一覧表示された表示例が示されており、パート（Ｂ）には、パート（Ａ）に示す赤目補正結果画像が表示されずに、顔５４１，５４２，５４３のみが一覧表示された表示例が示されている。十字キー１１０による操作に応じてポインタ５４０が移動して、一覧表示された顔５４１，５４２，５４３のなかから所望の顔を選択することができる。このように、自動赤目補正処理によって修正された人物の顔５４１，５４２，５４３を一覧表示することによって、それらの顔５４１，５４２，５４３を一度に確認することができる。本実施形態においては、ステップＳ６において、図７に示すように赤目補正結果画像が表示される例について説明を続ける。

次に、図２に示す十字キー１１０による操作に応じて所望の人物の顔を選択した後に、メニュー／ＯＫスイッチ１１１を押下することによって、選択された人物の顔が拡大されて、図２に示すＬＣＤパネル１０８に表示される（ステップＳ７）。

ここで、図９は、ステップＳ７によって拡大された顔がＬＣＤパネルに表示された表示例を示す図である。

ここでは、図７に示す赤目補正結果画像の中の、顔が実線の丸５１０で囲われた人物４１１の顔４１１ａを選択した後に、メニュー／ＯＫスイッチ１１１を押下することによって、その顔４１１ａが拡大されて、図２に示すＬＣＤパネル１０８に表示された例が示されている。

また、図１０は、拡大された顔における、図９とは異なる表示例を示す図である。

図１０のパート（Ａ）では、ＬＣＤパネル１０８が２つの領域１０８＿１，１０８＿２に分割されており、赤目補正結果画像が第１の領域１０８＿１に表示され、選択された顔４１１ａが拡大されて第２の領域１０８＿２に表示されている。このように、赤目補正結果画像と、拡大された顔とを並べて表示することによって、赤目補正が施された位置などを容易に確認することができる。また、ＬＣＤパネルを２つ以上備えている場合には、パート（Ｂ）に示すように、１つのパネル１０８Ａに撮影画像を表示し、他のパネル１０８Ｂに拡大された顔を表示してもよい。本実施形態においては、ステップＳ７によって、拡大された顔が図９に示す表示方法で表示される例について説明する。

次に、ステップＳ７によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図２に示すメニュー／ＯＫスイッチ１１１を押下することによって（ステップＳ８：ＹＥＳ）、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、ステップＳ４に戻って画像の全体が、図２に示すＬＣＤパネル１０８に表示される。その後は、自動赤目補正処理が確定された人物以外の人物の選択が、上記と同様の手順で可能となる。

また、ステップＳ７によって拡大された顔による、自動赤目補正処理が施された後の赤目部分の確認の結果、拡大された顔の目部分を更に拡大して赤目部分を確認したい場合には、図２に示すキャンセルスイッチ１１６を押下することによって（ステップＳ８：ＮＯ）、拡大された目部分が、図２に示すＬＣＤパネル１０８に表示される（ステップＳ９）。

ここで、図１１は、ステップＳ９によって拡大された目部分がＬＣＤパネルに表示された表示例を示す図である。

ここでは、図９に示す拡大された顔４１１ａの目部分４１１ｂが拡大されて、図２に示すＬＣＤパネル１０８に表示された例が示されている。

尚、本実施形態の説明では、目部分が拡大表示される例として両目が拡大表示される例を示したが、片目ずつ拡大表示するものであってもよい。

次に、ステップＳ９によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分が適切に検出され適切に修正されたものであるとユーザが判断した場合には、図２に示すメニュー／ＯＫスイッチ１１１を押下することによって（ステップＳ１０：ＹＥＳ）、その拡大された顔の赤目部分に対する自動赤目補正処理が確定され、ステップＳ４に戻って画像の全体が、図２に示すＬＣＤパネル１０８に表示される。その後は、自動赤目補正処理が確定された人物以外の人物の選択が、上記と同様の手順で可能となる。

また、ステップＳ９によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分の検出や修正において誤った検出や不適切な修正が施されたものであるとユーザが判断した場合には、図２に示すキャンセルスイッチ１１６を押下することによって（ステップＳ１０：ＮＯ）、その拡大された目に対する赤目部分の検出や修正が取り消され（ステップＳ１１）、ステップＳ４に戻って画像の全体が、図２に示すＬＣＤパネル１０８に表示される。その後は、自動赤目補正処理が確定され、あるいは取り消された人物以外の人物の選択が、上記と同様の手順で可能となる。

尚、ここでは、赤目部分の検出や修正において誤った検出や不適切な修正が施されたものであるとユーザが判断した場合には、その検出や修正が取り消される例を示したが、本発明は、これに限られるものではなく、修正された赤目部分を手動で再修正するものであってもよい。

上述した実施形態によれば、撮影画像中の赤目部分を検出して検出された赤目部分を修正し、赤目部分が修正された後の赤目補正結果画像を表示するものであるため、検出された赤目部分と修正された赤目部分とをその赤目補正結果画像によって同時に１回で確認することができる。また、一般的に電子カメラに備えられるスイッチ類の操作性は決して良くないが、本実施形態の電子カメラは、赤目部分が修正された後の赤目補正結果画像によって赤目部分を確認するものであるため確認の操作数が少なく、操作性の悪いスイッチ類であっても、画像中の赤目部分を容易に確認することができる。

以上で、本発明における第１実施形態の説明を終了し、本発明の第２実施形態の説明を行う。本実施形態のカメラは、図１から図３に示す第１実施形態のカメラ１００と同様の構成を有しており、これら図１から図３を本実施形態の説明でも用いて、第１実施形態との相違点に注目して説明する。

図１２は、本実施形態のカメラで被写体を撮影して、撮影画像を保存するまでの一連の処理を示すフローチャートである。

まず、ユーザは、図４のステップＳ１と同様にして、図２に示す機能選択レバー１１３を使って“撮影記録”機能を選択し、撮影モードダイヤル１１２を使って所望の撮影モードを選択し、十字キー１１０を使って“自動赤目補正処理”モードを選択し、シャッタレリーズボタン１０５を押下して撮影を開始する（ステップＳ２１）。

ユーザによって“自動赤目補正処理”モードが選択されていることを受けて、カメラの内部では、図４のステップＳ２と同様な赤目補正処理が行われる（ステップＳ２２）。

ステップＳ２２による撮影画像中の赤目部分の検出で、赤目部分が検出されなかった場合には（ステップＳ２３：ＮＯ）、撮影画像を表す画像データが、図３に示すメディアコントローラ２２４を介して記録メディア２４０にＪＰＥＧファイルとして記録される（ステップＳ２６）。

また、撮影画像中の赤目部分が検出されていた場合には（ステップＳ２３：ＹＥＳ）、図３の画像信号処理回路２２２において、ステップＳ２２で自動赤目補正処理が施された赤目部分に、確認の際の優先順位が付される。本実施形態においては、まず、「赤目部分のうち撮影画角の中央から近いもの」ほど優先順位が高く、続いて、「赤目部分の面積が広いもの」ほど優先順位が高くなるように優先順位が付される（ステップＳ２４）。優先順位が付されると、自動赤目補正処理が施された後の赤目補正結果画像のうち、優先順位が最も高い赤目部分の画像が、図２に示すＬＣＤパネル１０８に拡大表示される（ステップＳ２５、ステップＳ２７）。

ユーザは、ＬＣＤパネル１０８に拡大された顔の赤目部分を確認し、その赤目部分が適切に検出され適切に修正されたものであると判断した場合には、図２に示すメニュー／ＯＫスイッチ１１１を押下する。メニュー／ＯＫスイッチ１１１が押下されると、その拡大された顔の赤目部分に対する自動赤目補正処理が確定される（ステップＳ２８：ＹＥＳ）。

また、ステップＳ２７によって拡大された目部分による、自動赤目補正処理が施された後の赤目部分の確認の結果、赤目部分の検出や修正において誤った検出や不適切な修正が施されたものであるとユーザが判断した場合には、図２に示すキャンセルスイッチ１１６を押下する（ステップＳ２５：ＮＯ）。キャンセルスイッチ１１６が押下されると、その拡大された顔に対する赤目部分の検出や修正が取り消される（ステップＳ２９）。

自動赤目補正処理が確定／取消されると、ステップＳ２５に戻り、自動赤目補正処理が確定／取消された人物以外に、ステップＳ２２によって自動赤目補正処理が施された人物が存在する場合には（ステップＳ２５：ＹＥＳ）、自動赤目補正処理が確定／取消された人物以外の人物のうち、最も優先順位の高い赤目部分を有する人物の顔が拡大されて、図２に示すＬＣＤパネル１０８に表示される（ステップＳ２７）。

以下、ステップＳ２７、ステップＳ２８、ステップＳ２９の処理が、ステップＳ２２によって自動赤目補正処理が施された全ての人物に対して、その自動赤目補正処理が確定／取消されるまで続けられる（ステップＳ２５：ＮＯ）。全ての自動赤目補正処理の確定／取消が終了すると、赤目補正結果画像を表す画像データが、図３に示すメディアコントローラ２２４を介して記録メディア２４０にＪＰＥＧファイルとして記録される（ステップＳ２１３）。

ここで、自動赤目補正処理が確定／取消された人物が増えるごとに、ＬＣＤパネル１０８に拡大表示される人物の顔における赤目部分の優先順位が低くなる。したがって、ステップＳ２７、ステップＳ２８、ステップＳ２９の処理を繰り返して、拡大された顔の赤目部分が重要ではなくなったと判断した場合には、ユーザが図２に示すキャンセルスイッチ１１６を押下することによって、ステップＳ２５からステップＳ２６の処理に進み、赤目補正結果画像を記録することができる。

このように、人物の目における不具合に優先順位をつけておき、その優先順位が高い不具合から確認を行うことによって、重要な不具合のみを確認し、通行人の目などに生じている優先度の低い不具合の確認作業を省くことができる。

尚、本実施形態では、ＣＣＤ固体撮像素子上に被写体の像を結像させて、その被写体を表す画像データを信号として取り込む電子カメラに本発明を適用した例で説明したが、本発明は、これに限られるものではなく、取得された画像データにより表わされる画像中の赤目部分を検出し、検出された赤目部分を修正し、赤目部分が修正された後の修正後画像を表示する、例えばパーソナルコンピュータなどで実現される画像修正装置にも適用することができる。

また、本実施形態の説明では、“自動赤目補正処理”モードを選択されていることを受けて自動赤目補正処理が施される例を示したが、撮影後に必ず自動赤目補正処理が施されるものや、フラッシュを用いた撮影後に必ず自動赤目補正処理が施されるものであってもよい。

また、本実施形態の説明では、撮影画像中の赤目部分を検出し、検出された赤目部分を修正する機能と、修正された赤目部分が拡大されることによって強調される機能と、修正された赤目部分を修正の前の状態に戻す機能とが組み込まれた電子カメラの例を示したが、本発明は、これに限られるものではなく、これら３つの機能のうちの任意の機能の組み合わせが組み込まれたものや、これら３つの機能のうちの１つの機能が組み込まれたものであってもよい。

さらに、本実施形態の説明では、撮影画像中の赤目部分を検出し、検出された赤目部分を修正する例を示したが、本発明は、これに限られるものではなく、例えば金目部分などといった目に関する所定の不具合を検出し、検出された不具合を修正するものであってもよい。

また、上記説明では、撮影後すぐに赤目補正処理やその確認作業が行われる例について説明したが、本発明の画像修正装置および撮像装置は、撮影画像の取得、赤目補正処理、および修正後画像の表示までの一連の処理を複数の撮影画像に対して行っておき、それらの確認作業は後でまとめて行うものであってもよい。赤目補正処理の確認作業のみ後でまとめて行う場合、元の撮影画像と赤目補正後の修正後画像とを保存しておき、確認作業後に不要な画像を消去する。また、この場合、画像全体を保存しておくのではなく、不具合が生じている画像部分のみ保存するものであってもよく、画像ではなく補正情報などを保存するものであってもよい。この補正情報は、画像よりもデータサイズが小さいため、記憶媒体の容量を圧迫しにくいという利点がある。補正情報の保存方法としては、例えば、不具合が生じている目部分にタグ情報として埋め込んだり、画像が配置されていない余白部分に埋め込んだり、電子透かしとして画像中に埋め込むことが考えられる。

本発明の第１実施形態のカメラを前面斜め上から見た外観斜視図である。 図１に示すカメラを背面斜め上から見た外観斜視図である。 図１，図２に示すカメラの内部に配備された信号処理部の構成ブロック図である。 “自動赤目補正処理”モードが選択される場合における操作の流れを説明するフローチャートである。 ステップＳ１によって撮影された撮影画像の一例を示す図である。 ステップＳ４によって自動赤目補正処理が施された後の赤目補正結果画像がＬＣＤパネルに表示された表示例を示す図である。 ステップＳ６によって十字キーによる顔の選択が可能な赤目補正結果画像がＬＣＤパネルに表示された表示例を示す図である。 ステップＳ６によって顔の選択が可能な赤目補正結果画像における、図７とは別の表示例を示す図である。 ステップＳ７によって拡大された顔がＬＣＤパネルに表示された表示例を示す図である。 拡大された顔における、図９とは異なる表示例を示す図である。 ステップＳ９によって拡大された目部分がＬＣＤパネルに表示された表示例を示す図である。 本実施形態のカメラで被写体を撮影して、撮影画像を保存するまでの一連の処理を示すフローチャートである。

符号の説明

１００ カメラ
１０１ レンズ鏡胴
１０１ａ 撮影レンズ
１０２ フラッシュ調光窓
１０３ フラッシュ発光窓
１０４ａ 光学式ファインダ対物窓
１０４ｂ 光学式ファインダ接眼窓
１０５ シャッタレリーズボタン
１０５ａ シャッタスイッチ
１０６ ＵＳＢ端子
１０７ 電源入力端子
１０８ ＬＣＤパネル
１０９ ＬＣＤパネル起動ボタン
１１０ 十字キー
１１１ メニュー／ＯＫスイッチ
１１２ 撮影モードダイヤル
１１３ 機能選択レバー
１１３ａ “撮影記録”側
１１３ｂ “画像データ再生”側
１１４ メインスイッチ
１１５ セルフタイマＬＥＤ
１１６ キャンセルスイッチ
２１０ ＣＣＤ固体撮像素子
２１１ ＣＰＵ
２１２ タイミングジェネレータ
２１３ ＣＤＳＡＭＰ
２１４，２１７ モータドライバ
２１６ フォーカスレンズ
２１８ Ａ／Ｄ変換回路
２１９ 画像コントーラ
２２０ バス
２２１ メモリ（ＳＤＲＡＭ）
２２２ 画像信号処理回路
２２３ 圧縮処理回路
２２４ メディアコントローラ
２２５ ＵＳＢｃｏｎｔｒｏｌｌｅｒ
２２６ ＶｉｄｅｏＥｎｃｏｒｄｅｒ
２２７ 画像表示装置
２３０ ＡＥ検出回路
２３１ ＡＥ＆ＡＷＢ検出回路
２４０ 記録メディア
３００ 光量調整装置
４１０，４１１，４２０，４２１，４３０，４３１ 人物
４１１ａ，４２１ａ，４３１ａ 顔
４１１ｂ 目部分
５１０，５１１，５２０，５２１，５３０，５３１ 丸

Claims (7)

1. 画像を表す画像データを取得する画像取得部と、
   前記画像取得部により取得された画像データにより表わされる画像中の目の不具合を検出し、検出された不具合を修正する修正部と、
   画像データに基づく画像を表示する画像表示部とを備え、
   前記修正部は、前記画像中の不具合を検出するとともに、該不具合が見つかった箇所に所定の基準で優先順位を付けるものであり、
   前記画像表示部は、前記画像取得部によって画像データが取得されたときに、前記修正部により不具合が修正された後の修正後画像を表示するものであり、該修正後画像を表示するにあたって、前記修正部によって付けられた優先順位が高い箇所を優先して表示するものであることを特徴とする画像修正装置。
2. 前記画像表示部は、前記修正後画像を表示するにあたって、前記修正部によって不具合が検出された箇所の一覧を表示するものであることを特徴とする請求項１記載の画像修正装置。
3. 前記画像表示部は、前記修正後画像を表示するにあたって、前記修正部によって不具合が検出された箇所を拡大しない通常画像と、該箇所を拡大した拡大画像とを表示するものであることを特徴とする請求項１記載の画像修正装置。
4. 前記画像表示部に表示された修正後画像中の、前記修正部により修正された不具合を、操作に応じて、該修正部による修正の前の状態に戻す修正取消部を備えたことを特徴とする請求項１記載の画像修正装置。
5. 前記画像表示部は、前記修正後画像を表示するにあたって、前記修正部により修正された不具合を強調して表示するものであることを特徴とする請求項１記載の画像修正装置。
6. 前記修正部は、前記画像中の赤目部分を検出し、検出された赤目部分を修正するものであって、
   前記画像表示部は、前記画像取得部によって画像データが取得されたときに、前記修正部により赤目部分が修正された後の修正後画像を表示するものであることを特徴とする請求項１記載の画像修正装置。
7. 撮影光学系を経由してきた被写体光による被写体像を固体撮像素子上に結像させて該被写体像を表す画像データを得る撮像装置において、
   画像データに基づく画像を表示する画像表示部と、
   前記被写体像中の目の不具合を検出し、検出された不具合を修正する修正部とを備え、
   前記修正部は、前記画像中の不具合を検出するとともに、該不具合が見つかった箇所に所定の基準で優先順位を付けるものであり、
   前記画像表示部は、前記画像取得部によって画像データが取得されたときに、前記修正部により不具合が修正された後の修正後画像を表示するものであり、該修正後画像を表示するにあたって、前記修正部によって付けられた優先順位が高い箇所を優先して表示するものであることを特徴とする撮像装置。

Images