JP6616573B2 - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 - Google Patents

Description

本発明は、色の視認性又は再現性を向上させるようにした画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮像装置の操作を容易にしたものもある。

また、撮像装置においては、撮影時の種々の設定が自動化されたものがある。例えば、デジタルカメラ等には、ピント合わせを自動化したＡＦ機能や、露出を自動化した自動露出（ＡＥ）機能を搭載したものがある。また、撮像装置においては、ホワイトバランス補正を自動化したオートホワイトバランス機能を搭載したものもある。例えば、特許文献１においては、光源の種類を判別してホワイトバランス制御を行うことで、被写体の色の再現性を向上させた装置が開示されている。

特開２０１０−５０７４０号公報

しかしながら、従来、撮像装置は、被写体や露出の状態によっては、色等の再現性が低下してしまうことがある。撮像装置は、撮影範囲の平均的な反射光量や注目被写体からの反射光量等を測定して露出を制御している。従って、撮影範囲内の明るさの分布によっては、撮影範囲の全域で適切な露出が得られるとは限らない。例えば、暗い背景や建物と明るいネオンや窓とが混在した夜景を撮影する場合には、ネオンや明るい窓等の光源部分と他の部分との輝度差が大きいことから、光源部分が白く飽和して撮影されることがある。また、光源部分は、にじんだりぼけたりして、形状が明瞭ではなく、更に、サイズも大きく、しかも色は全く再現できないこともある。同様の事は、スポット的に光が当たったところや、光が届かないところなどでも起こる。

なお、夜景のシーンに限らず、撮影範囲の全域において適正露出が得られないシーンを撮影する場合もあり、露出の状態によっては、色や形状を正しく再現することができないことがあるという問題があった。

本発明は、適正露出が得られないシーンにおいても、色についての視認性又は再現性を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。

本発明に係る画像処理装置は、同一被写体について明るさが異なる複数の画像を取得する画像取得部と、上記複数の画像を蓄積する画像蓄積部と、上記画像蓄積部に蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定部と、上記画像蓄積部に蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定部と、上記第１及び第２判定部の判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正部と、を具備する。

また、本発明に係る撮像装置は、同一被写体について明るさが異なる複数の画像を撮像可能な撮像部と、上記撮像部からの上記複数の画像を蓄積する画像蓄積部と、上記画像蓄積部に蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定部と、上記画像蓄積部に蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定部と、上記第１及び第２判定部の判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正部と、を具備する。

また、本発明に係る画像処理方法は、同一被写体について明るさが異なる複数の画像を取得する画像取得ステップと、上記複数の画像を蓄積する画像蓄積ステップと、上記画像蓄積ステップにおいて蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定ステップと、上記画像蓄積ステップにおいて蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定ステップと、上記第１及び第２判定ステップの判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正ステップと、を具備する。

また、本発明に係る画像処理プログラムは、コンピュータに、同一被写体について明るさが異なる複数の画像を取得する画像取得ステップと、上記複数の画像を蓄積する画像蓄積ステップと、上記画像蓄積ステップにおいて蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定ステップと、上記画像蓄積ステップにおいて蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定ステップと、上記第１及び第２判定ステップの判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正ステップと、を実行させる。

本発明によれば、画像各部の輝度差が大きいシーンにおいても、色についての視認性又は再現性を向上させることができるという効果を有する。

本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図。 本実施の形態における色の判定及び形状の判定方法の概要を説明するための説明図。 本実施の形態における色の判定及び形状の判定方法の概要を説明するための説明図。 画像処理装置２０の処理を説明するためのフローチャート。 画像処理装置２０の処理を説明するためのフローチャート。 光点についての撮像装置１における色判定及び領域判定の処理を説明するためのフローチャート。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。 本発明の第３の実施の形態において採用される動作フローを示すフローチャート。 本実施の形態を説明するための説明図である。 本実施の形態を説明するための説明図である。 本実施の形態を説明するための説明図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図である。本実施の形態における撮像装置１は、同一被写体について露出を変化させながら撮像して得られる複数の画像（以下、露出が異なる画像という）又は同一被写体について明るさが異なる複数の画像を取得し、露出又は明るさが異なる各画像から画像中の一部の色や形状を判定可能な画像を選択して色や形状の判定を行い、判定結果に基づいて画像合成を行うことで画像全域に亘って色の再現性又は視認性、形状の再現性を向上させた画像を得るものである。

色は、ＲＧＢ信号の比率や信号量によって決まるが、本明細書では特に取得時に失われると再現できないＲＧＢ信号の比率を「色」または「色成分」と表現しており、その情報さえあれば、信号量の方は増幅などの補正、置き換えによって再現の自由度は大きいと考えて説明している。また、色は、スペクトル成分の比率を求めることで判定でき、明細書中における「色」、または「色成分」は、ＲＧＢ信号だけでなくその他のスペクトル成分の比率を得る各種信号によって得られるものを意味する。画面の特徴や画像の状況に応じて、色再現時の信号量に関しては、標準的な信号量や色ごとに見栄えの良い信号量に補正してもよい。分かりやすい例で言えば、表示画面で警告や指示やスイッチ類を示すアイコンや字幕等で採用した信号量でもよい。スーパーインポーズなどでアイコンや字幕の表示をすると、背景などによっては見栄えが悪くなることが知られているが、この場合、アイコンも明るさ調整などを行う事がある。

先ず、図２及び図３の説明図を参照して本実施の形態における色の判定（上述のように特にＲＧＢ比だが、信号量も判定してもよい）及び形状の判定方法の概要を説明する。
図２は所定の露出量で夜景を撮影して得られた撮像画像を示している。画像４１は、空の画像部分４２、星印で示す星の画像部分４３、建物の画像部分４４及び建物の窓等から漏れる明かりやネオン等による光点の画像部分４５を含む。比較的暗い夜景においては、画像全体を表現するのにふさわしい適正な露出量（例えば夜景に対する適正露出量）と、画像の個々の位置の色を表現するのに適正な露出量との差が比較的大きい。例えば、デジタルカメラにおける夜景モードでは、建物等の形状を視認可能なように、比較的大きな露出量で撮影が行われる。この結果、明るい光点の画像部分４５は、像信号が飽和し、実際の光の色に拘わらず白くなると共に、にじみが生じてサイズも実際より大きくなり、形状も判別不能となる。

なお、光点は、例えば部屋を照らすランプの光が窓から漏れて光った点（部分）であるが、ランプからの照明光が直接撮像される場合もあり、この場合には、光点は光源そのものである。

図３は横軸に所定時間間隔毎の時間をとり縦軸に電荷蓄積量をとって、図２の画像４１を得るデジタルカメラの撮像素子の電荷蓄積量の変化を示すものである。図３（ａ）は画像４１中の所定の光点の画像部分の中心部分に対応し、図３（ｂ）は図３（ａ）の光点の画像部分の周辺部分に対応する。図３は露出量Ａ〜Ｄにて示す４つの時間における色成分ＲＧＢ毎の電荷蓄積量を示している。

各色成分ＲＧＢは、時間の経過と共に電荷蓄積量が増大して明るさは変化するが、色は色成分ＲＧＢ相互間の比率から求めることができる。色成分ＲＧＢの比率が正しく得られない場合には、色を正しく再現することはできない。なお、実際には、ＲＧＢの比率だけでは色が正しいとは言えず、明るさといった信号量も再現する必要があるが、単純化して標準的な信号量での色（ＲＧＢ信号比）を想定している。図３（ａ）の例では、光点におけるＲ成分の電荷蓄積量は、露出量Ｄの時間において撮像素子に許容された飽和量を超えていることを示している。このため、露出量Ｄの時間では、撮像素子によって得られる色成分ＲＧＢ相互間の比率が崩れて、本来の色を再現することはできない。言い換えると、色成分ＲＧＢの蓄積電荷量のいずれも飽和量に達していなければ、光点であっても色を判定することができる。そこで、本実施の形態においては、色再現のために、例えば、比較的低い露出量の画像を選択して色の判定を行う。例えば、露出量Ｃの時点において色成分ＲＧＢの成分比率を求めることで、その光点特有の色を判定することができる。なお、ノイズの影響を考慮すると、所定の露出量以上の露出量で色の判定を行った方がよい。

なお、彩度によってＲＧＢの比は変化するが、彩度が一定でも露出量が変わると同じ色でも明るかったり暗かったりして印象が異なるので、色合いにふさわしい露出量、あるいは信号量（標準信号量）も合わせて判定するようにしても良い。仮に露出に応じて彩度が変わる場合は、例えば最も高い彩度、即ち、色成分ＲＧＢの比が最も大きい場合の露出量において求めた色成分ＲＧＢの比率によって、色を判定してもよいし、ノイズレベルからの差が最も大きい露出量でのＲＧＢの比率によってもよい。もちろん、他の部位の彩度や露出を参照して色判定（色成分判定）してもよく、このような工夫によって、ムラの少ない画像表現が可能となる。

本実施の形態においては、判定した色を元の画像部分に適用することで、色の再現性を向上させる。例えば、判定した色による塗り潰し（標準信号量で、または、周りの信号量、露出量に合わせるレベルで）を行ってもよく、また、元の画像部分の周辺に向かうに従ってグラデーションを掛けてもよい。

また、光点の画像部分に、判定した色を適用するためには、判定した色を適用すべき領域、即ち、光点の画像部分の画像中における領域（以下、光点領域という）を判定する必要がある。光点領域の検出のためには、形状を認識するのに適した露出又は明るさの画像が必要となる。

シーンによっては、光点領域においては明るさは、一様ではなく所定の分布を有する。光点領域中の比較的暗い領域では、色判定（色成分判定）に用いた露出量では十分な明るさが得られず、形状を判定することができないことが考えられる。図３（ｂ）はこのような光点領域中の周辺領域の電荷蓄積量を示しており、露出量（信号量）Ｃでは、形状を正確に判定できるほど十分な電荷蓄積量が得られていないことを示している。

光点中心は比較的明るいのに対し、中心からずれるに従って次第に暗くなり、周辺領域は必ずしも明るくないことがある。このため、露出量が低すぎると、光点中心近傍のみが検出され、光点の全体が検出されないことが考えられる。このように、露出量が比較的低い画像では、形が正しく現れないことが考えられる。光点の形状（光点領域）の検出のためには、光点中心部分の電荷蓄積量は飽和していてもよいので、十分に高い露出量で撮像された画像を選択する。例えば、図３の例では、光点領域の判定には、十分な電荷蓄積量が得られる露出量Ｄにおける画像を用いる。

なお、露出量が高過ぎる場合には、光点の画像部分が実際よりも広がって検出されたり、他の光点部分と重複した領域に検出されたりすることがあるので、光点領域を判定する場合にも適宜の露出量を設定する必要がある。

以上のように、図３の例では、色判定（色成分判定）のために露出量Ｃの画像を用い、光点領域判定のためには露出量Ｄの画像を用いる。例えば、露出量Ｄの画像から光点領域を判定し、画像全体として適正な露出量の画像の光点領域に、露出量Ｃの画像を用いて判定した色を適用する。これにより、画像全体として比較的鮮明で且つ光点における色及び形状も明瞭な画像を得ることができる。

上述した説明は、デジタルカメラの撮像時に適用することができるだけでなく、外部から取り込んだ画像の編集時にも適用可能である。即ち、同一被写体について露出量が異なる複数の画像を撮像して取得するのではなく、同一被写体について異なる明るさの画像を取得すればよい。例えば、比較的暗い画像から光点部分のＲＧＢ成分の比率に基づいて色を判定することができ、比較的明るい画像から光点部分の領域を判定することができる。こうして、判定した色を光点領域の画像部分に見栄えの良い明るさ（標準信号量でも画像の他の部分とのバランスで決まる信号量でも良い）で埋め込むことで、光点領域の色及び形状を再現した画像を得ることができる。

図１において、撮像装置１は画像処理装置２０及び撮像部１０を含む。画像処理装置２０には撮像部１０からの撮像画像が与えられる。画像取得部２１は撮像部１０からの画像を取り込むようになっている。画像取得部２１には撮像制御部２２が設けられており、撮像制御部２２は撮像部１０を制御する。

撮像部１０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。

撮像制御部２２は、撮像部１０の撮像素子及び光学系を駆動制御する。例えば、撮像制御部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮像制御部２２は、撮像部１０の撮像素子を駆動制御して、撮像素子からの撮像画像を取得することができるようになっている。また、撮像制御部２２は、撮像素子からの画素信号の読み出しに際して、画素信号を必要に応じて加算したり間引いたりして出力することもできる。

更に、本実施の形態においては、撮像制御部２２は、撮像素子のシャッタスピード、露光時間等を制御して、同一被写体について異なる露出量で撮像された露出量が異なる複数の撮像画像を撮像部１０に撮像させることができるようになっている。こうして、画像取得部２１は、露出量が異なる複数の撮像画像を取得する。なお、シャッタスピード、露光時間を一定にした場合でも、画素加算の有無等によっても得られる画像の明るさは異なり、本実施の形態はこのような場合も含むものである。撮像素子によっては、感度切換機能を有するものもあるが、このような手法を利用しても良い。

なお、上述したように、画像処理装置２０は同一被写体について異なる明るさの複数の画像を取得することができればよく、例えば異なる露出量で撮像された複数の画像を図示しない通信部やメモリ等から取得するようになっていてもよい。この場合には、図１の撮像部１０は省略することができ、撮像部１０を制御する撮像制御部２２を省略した画像処理装置のみによって、本実施の形態を構成することができる。

画像取得部２１が取得した複数の画像は画像蓄積部２３に与えられる。画像蓄積部２３は、入力された複数の画像を蓄積する。即ち、画像蓄積部２３は、同一被写体について、露出量又は明るさが異なる複数の画像を蓄積することができる。画像蓄積部２３は、蓄積した画像を第１判定部２４及び第２判定部２５に出力すると共に、画像補正部２７にも出力する。なお、異なる露出量で撮像して得られた画像は結果的に明るさが異なるので、以後、明るさが異なる画像は露出量が異なる画像を含むものとして、露出量が異なる画像の記載又は明るさが異なる画像の記載を省略することがある。

画像処理装置２０には、制御部２６が設けられている。制御部２６は、例えば、図示しないメモリに記憶されたプログラムに従って制御を行う図示しないＣＰＵ等のプロセッサによって構成することができ、画像処理装置２０の各部を制御するようになっている。また、画像処理装置２０の他の各回路部も、図示しない１つ又は複数のプロセッサによって構成してもよい。

画像補正部２７は、入力された画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うこともできる。画像補正部２７は、入力された撮像画像に対して後述する画像合成（画像補正）処理を行って表示制御部２９に出力することができる。なお、画像補正部２７は、入力された画像に対して画像補正を行うことなくそのまま表示制御部２９に与えることもできる。

表示制御部２９は、表示に関する各種処理を実行する。表示制御部２９は、与えられた画像を表示部３１に与えて表示させることができる。表示部３１は、ＬＣＤ等の表示画面を有しており、表示制御部２９から与えられた画像を表示する。また、表示制御部２９は、各種メニュー表示等を表示部３１の表示画面に表示させることもできるようになっている。

なお、表示部３１の表示画面は撮像装置１の筐体の背面に沿って設けられており、撮影者は、撮影時に表示部３１の表示画面上に表示されたスルー画等を確認することができ、スルー画等を確認しながら撮影操作を行うこともできる。

操作判定部２８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部３２に対するユーザ操作を受け付けるようになっている。また、表示部３１の表示画面上には、タッチパネル３１ａが設けられている。タッチパネル３１ａは、ユーザが指で指し示した表示画面上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も操作判定部２８に供給される。操作判定部２８は操作部３２及びタッチパネル３１ａに対する操作を判定して、判定結果を制御部２６に与える。こうして、制御部２６はユーザの指示に従って画像補正処理を含む各部の制御を行うことができる。

本実施の形態においては、第１判定部２４は、入力された画像の各部について色判定（色成分判定）を行って判定結果を画像補正部２７に出力するようになっている。また、第２判定部２５は、入力された画像の各部について形状判定を行って、画像中の当該形状部分の領域（以下、対象領域という）を示す判定結果を画像補正部２７に出力するようになっている。例えば、第１判定部２４は、光点の色判定を行って判定結果を出力し、第２判定部２５は、光点領域の領域判定を行って判定結果を出力する。

例えば、第１及び第２判定部２４，２５は、画像蓄積部２３からの画像中の露出が適正でない画像部分又は明るさが適正でない画像部分について、当該画像部分の色及び形状の判定に適した露出量又は明るさの画像を用いて判定を行う。なお、第１及び第２判定部２４，２５は、判定に適した露出量又は明るさの画像を、例えばＲＧＢ成分のレベルに基づいて選択してもよく、また、制御部２６によって指定されてもよい。例えば、制御部２６は、予め設定された露出量の画像を判定に用いるように第１及び第２判定部２４，２５を制御してもよい。

また、第１判定部２４は、色判定に際して、画像内における明るさの分布も同時に判定するようにしてもよい。同様に、第２判定部２５は、対象領域の判定に際して、明るさの分布も同時に判定するようにしてもよい。

本実施の形態においては、画像補正部２７は、第１判定部２４及び第２判定部２５の判定結果が与えられて、画像蓄積部２３から入力された画像に対して、第２判定部２５により判定された対象領域について第１判定部２４により判定された色（や、それに基づくその適正な明るさ）を適用して画像を補正することで補正画像を生成する。例えば、画像補正部２７は、画像蓄積部２３から画像全体として適正露出で撮像された画像又は画像の全体的な明るさが適正な画像を取得して元画像とし、この元画像中の露出が適正でない画像部分又は明るさが適正でない画像部分を対象領域として、当該対象領域について第１判定部２４により求められた色のパターンで、当該対象領域を塗り潰すことにより補正画像を生成する。また、画像補正部２７は、対象領域の塗り潰しに際して、対象領域の明るさの分布に略従った（それでいて、色の視認性が良い）グラデーションを施してもよい。なお、色の視認性は、ＲＧＢのような色成分の比率だけでは決まらず、被写体などによって見栄えの良い明るさが異なるが、表示部において表示する視認性がよいアイコン表示の明るさなどを参考にしてもよく、色ごとに決めたり、周りの明るさや画像全体の明るさなどによって調整しても良い。画像補正部２７は、生成した補正画像を記録部３３に与えて記録させる。なお、画像補正部２７は、画像蓄積部２３から与えられた補正前の画像についてもそのまま記録部３３に与えて記録させてもよい。

なお、記録部３３としては、種々の記録媒体を採用することができる。例えば、記録部３３として、カードインターフェースを採用して、メモリカード等の記録媒体に画像を記録可能である。

次に、このように構成された実施の形態の動作について図４乃至図６を参照して説明する。図４及び図５は画像処理装置２０の処理を説明するためのフローチャートである。また、図６は光点についての撮像装置１における色判定及び領域判定の処理を説明するためのフローチャートである。

画像取得部２１は、同一被写体について露出又は明るさが異なる複数の画像を順次取得して画像蓄積部２３に与えて記憶させる。第１判定部２４は、図４のステップＳ１において、画像蓄積部２３から光点の色（ＲＧＢ成分、色成分）を判定するのに適した露出又は明るさの画像を取得し、ステップＳ２において取得した画像を用いて色判定（色成分判定）を行う。第１判定部２４は色判定の判定結果を画像補正部２７に与える。

一方、第２判定部２５は、ステップＳ３において、画像蓄積部２３から光点領域を判定するのに適した露出又は明るさの画像を取得し、ステップＳ４において取得した画像を用いて光点領域の領域判定を行う。第２判定部２５は光点領域の判定結果を画像補正部２７に与える。

画像補正部２７は、画像蓄積部２３から画像全体として適正な露出又は明るさの画像を元画像として取得する。画像補正部２７は、第２の判定部２５の判定結果に基づく元画像中の光点領域を、第１の判定部２４の判定結果に基づく色（判定された色成分と適当な明るさを有する）で塗り潰した補正画像を生成する（ステップＳ５）。

この補正画像は、画像全体してとは適正な露出で撮像されているか又は適切な明るさの画像であり、画像全体としては比較的実際の見た目に近い画像である。人は視覚のダイナミックレンジが広いし、刻一刻と変化する感覚をもって色認識したり、脳内の情報をもって補正したりするので、印象的な色で画像を捉えがちであり、飽和や黒つぶれによる画像の色再現や視認性に対する違和感を感じやすく、鮮やかな色の方を記憶している色に感じやすい。このようなニーズに対応する工夫を行う。つまり、ここでは、光点領域は色が適宜の露出又は明るさの画像から検出されているので、人が実際に認識する色と同様の色となっている。また、光点領域は位置、形状及びサイズが適宜の露出又は明るさの画像から検出されているので、適切な位置、形状及びサイズを有し、例えばサイズが大きくなりすぎていたり、にじんでいたりすることもなく、人が実際に感じる形状及びサイズと同様の形状及びサイズになっている。人は、上述の色の記載と同様の認識の補正を形状やサイズに関しても行う傾向にある。

なお、色成分の判定に用いる画像の露出量又は明るさを変化させることで色成分の判定結果は多少変化するので、ユーザの感覚に合わせて色判定に用いる画像の露出量又は明るさを制御することができるようになっていてもよい。同様に、対象領域の判定に用いる画像の露出量又は明るさを変化させることで対象領域のサイズや形状も多少変化するので、ユーザの感覚に合わせて強調、補正してもよい。これを加味して、領域判定に用いる画像の露出量又は明るさを制御することができるようになっていてもよい。

図４の例は、対象領域を判定した色（色成分（成分比）と明るさ（信号量））で単純に塗り潰す例を示した。図５は対象領域に判定した色をグラデーションを掛けながら適用することで、判定領域を明るさの分布に応じて濃淡を施す例を示している。図５において図４と同一の手順には同一符号を付して説明を省略する。

図５のステップＳ１１においては、第１判定部２４は、画像の各部について光量分布の判定を行う。第１判定部２４は、色の判定結果及び光量分布の判定結果を画像補正部２７に与える。画像補正部２７は、第２の判定部２５の判定結果に基づく元画像中の光点領域を、第１の判定部２４の判定結果に基づく色で、光量分布に従ったグラデーションを付けて塗り潰した補正画像を生成する（ステップＳ１２）。

こうてし、図５の例では、光点領域は、判定された色で、判定された光量分布に従ったグラデーションが施されて塗り潰されていることから、よりユーザの感覚に近い画像を得ることができる。なお、光量分布の判定は、第１の判定部２４が行ってもよく、また、第２の判定部２５が行ってもよい。

図４及び図５は、画像取得部１２によって、同一被写体について露出又は明るさが異なる複数の画像が取得されて画像蓄積部２３に格納されるものとして説明した。図６はこのような画像の取得、色及び対象領域の判定並びに補正画像の生成の一連の処理をデジタルカメラ等により構成される図１の撮像装置によって実施する場合の動作を説明するためのものである。

図６は基本的に非破壊読み出しが可能な撮像素子を採用した場合の例である。非破壊読み出しが可能な撮像素子の出力を用いることで、最終的に画像全体で適正で十分な露出量の画像を得る途中の段階において、所定の露出量毎の画像を取得することができる。しかし、非破壊読み出しができない撮像素子を用いた場合でも、露光及び読み出しを複数回繰り返し、各読み出し毎の像信号を積分することで、所定の露出量毎の画像を得る機能（以下、ライトバルブ機能という）を採用することで、非破壊読み出しと同様の読み出しが可能であり、図６の説明はこの場合も含む。

ユーザによって、シャッタボタンが押されて撮像が指示されると、撮像制御部２２は撮像部１０を制御して露出を開始させる。撮像制御部２２は所定の露光時間を設定して露光を行う（ステップＳ２１）。これにより、所定の露出量での撮像が開始される。撮像制御部２２は、所定の露出量が得られる露光時間に到達すると、撮像素子からの画素信号を読み出す。こうして、画像取得部１２は所定の露出量における画像を得る。この画像は画像蓄積部２３に供給され、第１判定部２４及び第２判定部２５に与えられる。

撮像制御部２２は、ステップＳ２２において、画像全体の適正露出量に到達したか否かを判定しており、この適正露出量に到達したと判定すると、処理を終了する。

第１判定部２４は、ステップＳ２３において色判定可能であるか否かを判定する。また、第２判定部２５は、ステップＳ２５において光点領域の判定が可能であるか否かを判定する。例えば、第１判定部２４及び第２判定部２５は、ノイズレベルに比べて十分な画素信号が得られない露出量の場合には判定不能であると判定する。更に、第２判定部２５は、画素信号が光点領域を検出可能なレベルに到達していない露出量では判定不能であると判定する。

第１判定部２４は、色判定可能であると判定した場合には、ステップＳ２４において、色の判定を行う。また、第２判定部２５は、光点領域が判定可能であると判定した場合には、ステップＳ２６において、光点領域の判定を行う。

なお、色判定は、ＲＧＢ各レベルが飽和しておらず、且つＲＧＢの各レベルがいずれもノイズレベル以上であることを条件にしてもよい。また、色判定を行う露出量では、ＲＧＢ成分のいずれも飽和していないので、光点領域における明るさ分布を正確に求めることができる。

また、対象領域の判定は、サイズが比較的大きい光点だけでなく、サイズが比較的小さい光点についても検出できるように、十分な露出量で行うようにしてもよい。

撮像制御部２２は、ステップＳ２７において、所定の露光時間を追加する設定を行った後、処理をステップＳ２２に戻す。こうして、以後、所定の単位露光時間毎に画像が読み出されて、画像全体の適正露出量に到達するまで、色判定及び光点領域の判定が行われる。

なお、第１判定部２４による色判定は画素毎に行えばよいのに対し、第２判定部２５による光点領域判定は画像全体に対して行う必要がある。即ち、第１判定部２４は、光点毎に、露出量を変化させながら飽和を判定して色を判定する。また、第２判定部２５は、露出量が大きくなる毎に判定する対象領域の領域サイズが大きくなることが考えられるので、所定の露出量の状態で画像の全ての対象領域を求める。

第１判定部２４は、例えば、色判定可能な各露出量の画像のうち最も高い彩度が得られるＲＧＢ成分を用いて各画像部分の色を判定して判定結果を画像補正部２７に出力する。なお、第１判定部２４がいずれの露出量の画像を用いるかは、各画像部分毎に独立して制御される。

また、第２判定部２５は、例えば、対象領域判定が可能な各露出量の画像のうち所定のサイズ以上の光点領域が検出可能な露出量の画像を用いて判定を行う。上述したように、この判定は、画像中の各光点毎のサイズの相違が分かるように、画像全体で共通の露出量の画像が用いられる。

また、光点が例えば文字を形成するネオンによって得られるものである場合には、第２判定部２５は、画像の明るさだけでなく、コントラストによって領域判定を行ってもよい。この場合には、第２判定部２５は、比較的少ない露出量で判定を行う。また、夜景中の光点の雰囲気にふさわしい多少にじんだ表現を行う場合には、各光点の大小のみが判別可能であれば良く、各光点部分が広がって判定されてもよい場合がある。このような場合を想定して、例えば、第２判定部２５は、比較的高い露出量であって十分に小さい光点も判定可能な露出量の画像を用いて領域判定を行う。

また、画像中の各光点のサイズの相違が分かるように、画像全体で共通の露出量の画像を用いて領域判定するものと説明したが、画像の各部について異なる露出量の画像を用いて領域判定を行ってもよい。例えば、光点の一部が文字を構成する場合等においては、当該文字部分だけ他の部分と異なる露出量の画像を用いて領域判定するようにしてもよい。

なお、上述した第１及び第２判定部２４，２５の処理は、画像全体で適正な露出量での撮影を行う１回の撮影期間中の各単位露光時間毎に行われる。カメラによっては、１回の撮影による露光期間の途中で、ＲＧＢ成分を直接検出できない場合もある。例えば、ＲＧＢ成分から求められた明るさ信号（Ｙ信号）に基づいて露出制御が行われるカメラでは、露光期間の途中においては、ＲＧＢ各成分が飽和しているか否か、ノイズレベル以上であるか否かを直接判定することができないことが考えられる。そこで、この場合には、ＲＧＢ成分に代えてＹ信号のレベルによってこのような判定を行ってもよい。例えば、Ｙ信号に所定の余裕を設定し、あるＹ信号のレベル範囲内ならばＲＧＢ成分は飽和しておらず且つノイズレベル以上であると判定してもよい。或いは、ＲＧＢ成分の比率をある値に仮定し、仮定した比率とＹ信号のレベルとによってＲＧＢ成分の最大及び最小レベルを推定することで、全てのＲＧＢ成分がノイズレベルより大きく且つ飽和していないことを判定してもよい。もちろん、ＲＧＢでなくともよく、他の色成分でも同様のことが言え、その成分を計算した値や、一部の成分だけで判定してもよい。

ステップＳ２２において、画像全体の適正露出に到達したものと判定されると、この適正露出の画像が画像蓄積部２３から元画像として画像補正部２７に供給される。

画像補正部２７は、元画像の光点領域を判定された色で例えば塗りつぶすことによって、画像全体として適正露出で且つ光点部分の色や形状及びサイズが認識可能な補正画像を生成する。この補正画像は記録部３３に与えられて記録される。

このように本実施の形態においては、異なる露出量又は明るさの画像を取得し、画像全体として適正露出であっても部分的に露出が適正でなく色の再現性が悪い画像部分について、色の判定が可能な露出量又は明るさの画像を用いて色を判定し、この色で当該画像部分を塗り潰す等のように判定した色を当該画像部分に適用することで、画像全体及び各部において色の再現性を向上させた画像を得ることができる。また、画像全体として適正露出であっても部分的に露出が適正でなくその画像部分の領域（対象領域）の再現性が悪い画像部分について、対象領域の判定が可能な露出量又は明るさの画像を用いて対象領域を判定し、この対象領域を判定した色で塗り潰す処理等のように判定した色を当該対象領域に適用することで、画像全体及び各部において形状の再現性を向上させた画像を得ることができる。このような補正画像の対象領域は、人が実際に認識する色と同様の色で、適切な位置、形状及びサイズを有し、例えばサイズが大きくなりすぎていたり、にじんでいたりすることもなく、人が実際に感じる形状及びサイズと同様の形状及びサイズになっており、補正画像は色及び形状の再現性に優れている。

（第２の実施の形態）
図７は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態においても、上述したように、色は、スペクトル成分（色成分）の比率を例えばＲＧＢ信号の比率によって求めることで判定されるものであり、その信号量は見栄えを考慮して定めることができるものである。色判定及び領域判定の判定法については、第１の実施の形態と同様であり、説明は省略する。

第１の実施の形態においては、主に光点領域が対象領域であるものとして説明した。光点に限らず、露出が適正でない部分を対象領域として、この対象領域の判定及び対象領域内の色分布の判定を行い、対象領域に判定した色を適用することにより、画像全体及び画像の各部について適正な露出の補正画像を得ることができる。本実施の形態はこのように対象領域が光点領域以外の場合の例を示している。

例えば、ミカン畑を撮影した場合には、画像の全体的な露出量を適正にすると、ミカンの葉は緑色が再現されていても、ミカンのオレンジ色は再現されないことがある。この場合においても、第１の実施の形態と同様の手法により、ＲＧＢ成分の全てが飽和されておらず且つノイズレベルよりも十分に大きい露出量又は明るさの画像を選択することで、ミカン等の対象領域の色を再現することができる。

しかし、日中における撮影では夜景の撮影と異なり、画像全体として適正な露出量を得るための露光時間が極めて短いことが考えられる。この場合には必ずしも１回の撮影中に色判定を行うことができるとは限らない。図７はこの場合に対応したものであり、複数回の撮影により、色及び対象領域の判定を行うものである。

ユーザによって、シャッタボタンが押されて撮像が指示されると、撮像制御部２２は所定の露光時間を設定して（ステップＳ３１）、撮像部１０に撮影を指示する。これにより、所定の露出量での撮影が行われる（ステップＳ３２）。撮像素子からの画像は画像取得部２１によって取り込まれて画像蓄積部２３に供給されて蓄積される。第１判定部２４及び第２判定部２５は画像蓄積部２３に蓄積された画像を読み出す。

第２判定部２５は、ステップＳ３３において画像中の色を判定する部分（以下、色点という）が画像中で占める領域（以下、色点領域という）の判定が可能であるか否かを判定する。また、第１判定部２４は、ステップＳ３５において、色点について色判定可能であるか否かを判定する。第２判定部２５及び第１判定部２４によるステップＳ３３，Ｓ３５の判定の条件等は、第１の実施の形態と同様である。

第２判定部２５は、色点領域が判定可能であると判定した場合には、ステップＳ３４において、色点領域の判定を行う。第１判定部２４は、色判定可能であると判定した場合には、ステップＳ３６において、色の判定を行う。

撮像制御部２２は、第１及び第２判定部２４，２５の判定結果によって色判定及び色点領域判定がいずれも終了したか否かを判定する（ステップＳ３７）。色判定及び色点領域判定がいずれも終了した場合には処理を終了し、終了していない場合には次のステップＳ３８に処理を移行する。

撮像制御部２２は、ステップＳ３８において、前回の撮影時よりも増加させた露光時間を設定して（ステップＳ３８）、撮影を繰り返す（ステップＳ３２）。以後、同様の動作が繰り返されて、各露出量において色点の色判定及び色点領域の判定が行われる。なお、ステップＳ３７の判定を省略して、所定の露出量となるまで色判定及び領域判定を繰り返してもよい。

第１及び第２判定部２４，２５の判定結果は画像補正部２７に与えられる。画像補正部２７は、元画像の色点領域を、判定された色で例えば塗りつぶすことによって、画像全体として適正露出で且つ色点部分の色や形状及びサイズが認識可能な補正画像を生成する。この補正画像は記録部３３に与えられて記録される。

このように本実施の形態においても第１の実施の形態と同様の効果を得ることができる。また、本実施の形態においては、１回の撮影によって色点についての色判定及び色点領域の判定ができない場合でも、露出量を変更しながらの複数回の撮影によって得られる画像を用いて、色点についての色判定及び色点領域の判定を確実に行うことができる。

（第３の実施の形態）
図８は本発明の第３の実施の形態において採用される動作フローを示すフローチャートである。図８において図６と同一の手順には同一符号を付して説明を省略する。また、図９乃至図１１は本実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態においても、上述したように、色は、スペクトル成分（色成分）の比率を例えばＲＧＢ信号の比率によって求めることで判定されるものであり、その信号量は見栄えを考慮して定めることができるものである。色判定及び領域判定の判定法については、第１の実施の形態と同様であり、説明は省略する。

上記各実施の形態においては、画像全体について対象領域における色判定及び領域判定を行う例を説明した。本実施の形態は画像の一部の領域中の対象領域について色判定及び領域判定を行う例を示している。例えば、画像の一部の領域として、画像中に含まれる文字部分等がある。

図９は所定の露出量で夜景を撮影して得られた撮像画像を示している。画像５１は、空の画像部分５２、星印で示す星の画像部分５３、建物の画像部分５４、人物の画像部分５７及び建物の窓等から漏れる明かりやネオン等による光点の画像部分５８ａ，５８ｂを含む。図９の例では、デジタルカメラの夜景モード等のように比較的大きな露出量で撮影が行われた結果、明るい光点の画像部分５８ａ，５８ｂは、像信号が飽和し、実際の光の色に拘わらず白くなると共に、にじみが生じてサイズも実際より大きくなり、形状も判別不能となっている。

本実施の形態においては、ユーザが指定した位置においてのみ、色判定及び領域判定を行うようになっている。図１０はこの様子を示しており、撮像装置１が収納された筐体１ａの背面には表示部３１の表示画面３１ｂが配設されている。表示画面３１ｂ上には、図９の画像５１が表示されている。また、筐体１ａの上面には図１の操作部３２に相当するシャッタボタン３２ａが配設されている。表示画面３１ｂ上には、図１のタッチパネル３１ａが設けられており、タッチパネル３１ａは、ユーザによる操作を受け付ける。即ち、タッチパネル３１ａは、ユーザが指６０によって指し示した表示画面３１ｂ上の位置の情報を操作判定部２８に出力する。

画像処理装置２０は、ユーザが例えば指６０のタッチ操作によって指定した位置における色判定及び領域判定を行う。この場合において、第２判定部２５は、タッチ位置が文字部分である場合には、形状の判定にコントラスト判定を採用してもよい。更に、第２判定部２５は、図示しないデータベースを参照することによって、文字認識を行って、領域判定の精度を向上させてもよい。

次に、図８を参照してデジタルカメラ等により構成される図１の撮像装置によって補正画像を生成する場合の動作を説明する。

図８のステップＳ４１において、制御部２６は、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、制御部２６は、再生モードが指定されているか否かを判定する（ステップＳ５１）。再生モードが指示されると、制御部２６は、ステップＳ５２において、指定された画像を再生する。制御部２６は、ステップＳ５３において再生画像の変更が指示されたか否かを判定しており、変更が指示された場合には指定された画像に変更して再生を行う（ステップＳ５４）。また、制御部２６は、再生モードが指示されていない場合には、ステップＳ５５において、画像通信モードに移行する。

一方、撮影モードが指示されると、制御部２６は撮像制御部２２を制御して撮像部１０の撮像を開始させる。制御部２６は、画像取得部２１を制御して撮像部１０から撮像画像を取得し、取得した画像を画像蓄積部２３及び画像補正部２７を介して表示制御部２９に与えて、表示部３１の表示画面３１ｂ上にスルー画表示させる（ステップＳ４３）。こうして、撮像画像は、図１０に示すように、表示部３１の表示画面３１ｂ上に表示される。

制御部２６は、ステップＳ４３の後又は撮像開始時以外の撮影モード時においては、ユーザによるタッチ操作の判定を行う（ステップＳ４４）。例えば、制御部２６は、暗いシーンの撮像中において、タッチパネル３１ａに対するタッチ操作が生じたか否かを検出する。タッチ操作がない場合には、制御部２６は、ステップＳ４５において撮影操作の有無を判定する。撮影操作がなければ、処理をステップＳ４１に戻して、同様の処理を繰り返す。

ユーザは撮影に際して、筐体１ａの背面の略全域に配置された表示画面３１ｂ上のスルー画を見ながら撮影操作を行うことができる。

いま、図１０に示すように、ユーザが指６０によって表示画面３１ｂ上をタッチ操作するものとする。例えば、ユーザは画像５１中の光点の画像部分５８ｂの位置をタッチする。制御部２６はこのタッチ操作を検出して、処理をステップＳ４４からステップＳ２１に移行する。即ち、制御部２６は、撮像制御部２２を制御して、撮像部１０に所定の露光時間を設定して露光を行わせる。撮像制御部２２は、所定の露出量が得られる露光時間に到達すると、撮像素子からの画素信号を読み出す。こうして、画像取得部１２は所定の露出量における画像を得る。この画像は画像蓄積部２３に供給され、第１判定部２４及び第２判定部２５に与えられる。

本実施の形態においては、第２判定部２５は制御部２６に制御されて、ステップＳ６１において、画像中のユーザがタッチ操作によって指定した位置について、光点領域の判定が可能であるか否かを判定する。また、第１判定部２４は制御部２６に制御されて、ステップＳ６３において、画像中のユーザがタッチ操作によって指定した位置について、色判定可能であるか否かを判定する。

第２判定部２５は、光点領域が判定可能であると判定した場合には、ステップＳ６２において、光点領域の判定を行う。なお、第２判定部２５は、上述したように、画像のコントラスト判定や文字認識処理によって、光点領域の判定を行ってもよい。このような領域判定によれば、光点がネオン等よる文字部分である場合には、判定される領域はネオン等により形成される文字の形状と同一の形状となり、画像中において文字を明確に判別可能となる。例えば、第２判定部２５は、文字部分については、比較的少ない露出量の画像を用いて領域判定を行うことで、文字形状を正確に再現することができる。また、第１判定部２４は、色判定可能であると判定した場合には、ステップＳ６４において、色の判定を行う。

更に、本実施の形態においては、ユーザがタッチ操作して指定した位置における光点の色判定結果と同一の色を画像中から検出して、当該色の光点部分については、第２の判定部２５により、領域判定を行ってもよい。例えば、第２の判定部２５が、上述した文字部分に対する領域判定を行うことで、画像中の同一色の全ての文字については、明確に形状を判別することができるようになる。

撮像制御部２２は、ステップＳ２７において、所定の露光時間を追加する設定を行った後、処理をステップＳ２２に戻す。こうして、以後、所定の単位露光時間毎に画像が読み出されて、画像全体の適正露出量に到達するまで、色判定及び光点領域の判定が行われる。

ステップＳ２２において、画像全体の適正露出に到達したものと判定されると、この適正露出の画像が画像蓄積部２３から元画像として画像補正部２７に供給される。画像補正部２７は、ステップＳ４７において、元画像中のユーザによって指定された領域の光点領域を、判定された色で例えば塗りつぶすことによって、画像全体として適正露出で且つ光点部分の色や形状及びサイズが認識可能な補正画像を生成する。

本実施の形態においては、画像補正部２７は補正画像を表示制御部２９に与えて表示画面３１ｂ上に表示させる（ステップＳ４８）。図１１はこの場合に表示画面３１ｂ上に表示される画像５１を示している。画像５１においては、図９の光点の画像部分５８ｂは、文字の画像５８ｃに置き換えられている。ユーザがタッチした位置以外の部分についても、タッチ位置の画像と同一の色と判定された部分は文字認識等によって形状が正確に判定されており、図１１に示すように、「ＴＯＫＹＯ」の文字が明瞭な形状で表示されている。

制御部２６は、補正画像の表示が終了すると、処理をステップＳ４９からステップＳ４５に移行して、撮影操作の待機状態となる。ここで、ユーザがシャッタボタン３２ａを操作して撮影を指示するものとする。本実施の形態においては、ステップＳ４６において、撮影前と同じ処理、即ち、スルー画に対する色判定、領域判定及び補正画像の生成が行われて、生成された補正画像が記録部３３に与えられて記録される。

なお、人物など主被写体は夜間照明の色かぶりが気になるので、顔の色が不自然にならないように、ホワイトバランス調整を行ってもよい。また、背景の夜景の光点は、そこに色がかぶっている場合は少ないと考えて、ホワイトバランス調整はしなくてもよい。場合によっては、強い照明が重なっている場合もあり、その場合はホワイトバランス調整を行う。

このように本実施の形態においては、第１の実施の形態と同様の効果を得ることができると共に、ユーザが指定した位置において色判定及び領域判定を行うことができる。また、形状の判定にコントラスト判定及び文字認識等を採用することで、画像中の文字を正確に判定して明瞭な文字画像に変換することができる。ユーザは、光でにじんで明瞭に判別できない画像部分をタッチすることで、明瞭な画像に変換することができ、スルー画上でネオン等による文字を確認しながら撮影することができると共に、明瞭な文字画像を含む撮像画像を記録することができる。

なお、図８の例は、撮影時に、スルー画上で色判定及び領域判定を行って補正画像を生成する例を説明したが、既に記録されている画像についても、露出量が異なる複数の画像を記録しておくことで、画像の一部分についての色判定及び領域判定を行って補正画像を生成することができることは明らかである。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、内視鏡や顕微鏡に適用することで、被検体中の特定の色を観察しやすくすることも可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

１…撮像装置、１０…撮像部、２０…画像処理装置、２１…画像取得部、２２…撮像制御部、２３…画像蓄積部、２４…第１判定部、２５…第２判定部、２６…制御部、２７…画像補正部、２８…操作判定部、２９…表示制御部、３１…表示部、３１ａ…タッチパネル、３２…操作部、３３…記録部。

Claims (13)

1. 同一被写体について明るさが異なる複数の画像を取得する画像取得部と、
   上記複数の画像を蓄積する画像蓄積部と、
   上記画像蓄積部に蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定部と、
   上記画像蓄積部に蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定部と、
   上記第１及び第２判定部の判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正部と、
   を具備したことを特徴とする画像処理装置。
2. 上記画像取得部は、上記同一被写体について異なる露出量の撮像画像を出力可能な撮像部の撮像を制御して、上記同一被写体について明るさが異なる複数の画像を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記画像取得部は、上記撮像部による１回の撮影中において、上記同一被写体について明るさが異なる複数の画像を取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 上記画像取得部は、上記撮像部による複数回の撮影によって、上記同一被写体について明るさが異なる複数の画像を取得する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 上記第１判定部は、上記第１の明るさの画像として、上記対象領域における各色成分がいずれも飽和していない画像を選択する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 上記第１判定部は、上記第１の明るさの画像として、上記対象領域における各色成分がいずれも所定のノイズレベルよりも大きいレベルの画像を選択する
   ことを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 上記第２判定部は、上記第２の明るさの画像として、上記対象領域における各色成分がいずれも所定のノイズレベルよりも大きいレベルの画像を選択する
   ことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 上記第２判定部は、上記第２の明るさの画像として、画像中の所定サイズ以上の上記対象領域を検出可能な明るさの画像を選択する
   ことを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 上記第１及び第２の判定部は、ユーザ操作に基づいて上記対象領域が指定される
   ことを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
10. 上記画像補正部は、上記第１及び第２判定部の判定結果に基づいて上記複数の画像のうち第３の明るさの画像中の上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する
    ことを特徴とする請求項１乃至９のいずれか１つに記載の画像処理装置。
11. 同一被写体について明るさが異なる複数の画像を撮像可能な撮像部と、
    上記撮像部からの上記複数の画像を蓄積する画像蓄積部と、
    上記画像蓄積部に蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定部と、
    上記画像蓄積部に蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定部と、
    上記第１及び第２判定部の判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正部と、
    を具備したことを特徴とする撮像装置。
12. 同一被写体について明るさが異なる複数の画像を取得する画像取得ステップと、
    上記複数の画像を蓄積する画像蓄積ステップと、
    上記画像蓄積ステップにおいて蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定ステップと、
    上記画像蓄積ステップにおいて蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定ステップと、
    上記第１及び第２判定ステップの判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正ステップと、
    を具備したことを特徴とする画像処理方法。
13. コンピュータに、
    同一被写体について明るさが異なる複数の画像を取得する画像取得ステップと、
    上記複数の画像を蓄積する画像蓄積ステップと、
    上記画像蓄積ステップにおいて蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定ステップと、
    上記画像蓄積ステップにおいて蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を文字認識処理によって行う第２判定ステップと、
    上記第１及び第２判定ステップの判定結果に基づいて、上記複数の画像のうちの１つの画像中の、上記文字認識処理によって領域判定を行った上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正ステップと、
    を実行させるための画像処理プログラム。