JP5272206B2 - 画像処理装置及び画像処理方法並びに撮像装置 - Google Patents
画像処理装置及び画像処理方法並びに撮像装置 Download PDFInfo
- Publication number
- JP5272206B2 JP5272206B2 JP2008111643A JP2008111643A JP5272206B2 JP 5272206 B2 JP5272206 B2 JP 5272206B2 JP 2008111643 A JP2008111643 A JP 2008111643A JP 2008111643 A JP2008111643 A JP 2008111643A JP 5272206 B2 JP5272206 B2 JP 5272206B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image data
- interest
- color tone
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
まず、撮像装置の基本構成について、図1に基づいて説明する。図1は、本発明の実施形態における撮像装置の構成を示すブロック図である。
次に、撮像装置1の基本動作について図1を用いて説明する。まず、撮像装置1は、レンズ部3より入射される光をイメージセンサ2において光電変換することによって、電気信号である画像データを取得する。そして、イメージセンサ2は、TG部16から入力されるタイミング制御信号に同期して、所定のフレーム周期(例えば、1/60秒)で順次AFE4に画像データを出力する。
次に、図1に示す撮像装置1におけるホワイトバランス調整処理部61の構成及び動作について、図2を用いて説明する。図2は、本発明の実施形態における撮像装置のホワイトバランス調整処理部の構成を示すブロック図である。
まず、ホワイトバランス調整部61aの動作例について説明する。ホワイトバランス調整部61aは、上述したように入力される画像データのホワイトバランスを調整するものである。具体的には、以下の式(I)に示すような処理となる。ここで、ホワイトバランス調整部61aに入力される信号はRGBの信号であるものとする。
Gnew=GainG×Gorg
Bnew=GainB×Borg … (I)
<1.白色または灰色領域検出>
次に、注目領域検出部61bについて説明する。まず、白色または灰色などの無彩色の領域を注目領域とするように検出パラメータが設定されている場合の、注目領域検出部61bの動作について説明する。
差分値RGB<閾値DIFF_MAX …(III)
Rnew+Gnew+Bnew>閾値DIFF_MIN … (IV)
次に、高輝度領域を検出するように検出パラメータが設定される場合について説明する。このとき、注目領域検出部61bは高輝度領域を検出することとなる。
次に、頻出画素値領域を検出するように検出パラメータが設定される場合について説明する。このとき、注目領域検出部61bは頻出画素値領域を検出することとなる。
次に、指定色領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータには検出すべき指定色に関する情報が含まれており、注目領域検出部61bはこの検出パラメータに基づいて指定色領域を検出する。本例ではユーザが白色や灰色以外の領域を指定した場合について説明する。なお、白色や灰色を指定する場合、上述の1.白色または灰色領域検出と同様の検出方法で検出することとしても構わない。
次に、容易認識色領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータにはホワイトバランス調整部61aに入力される調整パラメータに関する情報が含まれており、これに基づいて注目領域検出部61bが容易認識色領域を検出することとなる。
次に、主要被写体領域を検出するように検出パラメータが設定される場合について説明する。このとき、検出パラメータには検出すべき被写体の情報が含まれており、注目領域検出部61bはこの検出パラメータに基づいて主要被写体領域を検出することとする。
本例では、フォーカスや露出が最適となる部分を注目領域として検出する。フォーカスが最適となる領域を検出する場合、例えば、フォーカスが最適となる領域は近接する画素間において明瞭な差が生じることを利用し、隣接する画素の輝度信号(例えば、RGBの各値を加算した値や、加重加算した値、輝度信号Yに相当する値など)を連続的な値とした場合の高周波成分が大きい領域を検出することによって最適領域を検出することができる。また、露出の最適部分を検出する場合、例えば、上記の輝度信号が所定の値に近い領域を検出することによって最適領域を検出することができる。
本例では、例えば撮像モード(ポートレートモード、フラワーモードなど)に基づいて、注目領域検出部61bが、対象物であると判定される特定の領域を画像データから検出して注目領域とする。この場合、設定されている撮像モードに関する情報が、検出パラメータに含まれることとなる。
本例では、ユーザが特に検出したい特定物体の情報に基づいて、画像データから特定物体が含まれる領域を検出して注目領域とする。この場合、検出する特定物体の情報が検出パラメータに含まれることとなる。ここでは一例として、特定物体が特定の人物の顔である場合について説明する。
上述の検出方法では、物体そのものを検出する以外は原則的に画素単位の検出を行うこととしている。しかしながら、検出をエリア単位に行うこととしても構わない。例えば、オートフォーカスやオートホワイトバランスを行う際などに用いられる画像データの分割エリア毎に検出を行うこととしても構わない。ここで、分割エリアとは、画像データ全体をn分割(例えば16×16の256のエリアに分割)した場合の各エリアを指す。上述したオートフォーカスなどは、この中の例えば中央部の8×8のエリアの信号が利用されて行われる。
次に、強調処理部61cによって行われる強調処理について説明する。「強調処理」とは、上述した注目領域検出部61bによって検出された注目領域を強調して表示するための処理である。特に、本発明の各実施例の説明においては、注目領域以外の領域に対して画像処理を施すことによって、注目領域を目立たせる処理を「強調処理」として表現する。注目領域検出部61bは、検出された注目領域の画像データ中の位置などに関する情報を強調処理部61cに与える。強調処理部61cは得られた注目領域の情報と、どのような強調処理を施すかを示した強調処理パラメータと、に基づいて強調処理を行う。
まず、強調処理として減光表示処理を行う場合について図6を用いて説明する。図6は、減光表示処理された画像データを表示した画面の模式図である。図6に示すように、画面Pでは、白色であり注目領域であるステージSの上面ST以外の領域が減光されて表示される。このとき、減光表示処理を行うように強調処理パラメータが設定され、強調処理部6cが注目領域以外を減光表示処理する。
次に、強調処理としてゼブラ表示処理を行う場合について図7を用いて説明する。図7は、ゼブラ表示処理された画像データを表示した画面の模式図である。図7に示すように、画面Pでは、白色であり注目領域であるステージSの上面ST以外の領域にハッチングHがかけられて表示される。このとき、ゼブラ表示処理を行うように強調処理パラメータが設定され、強調処理部6cが注目領域以外をゼブラ表示処理する。
次に、強調処理として注目領域限定表示処理を行う場合について図8を用いて説明する。図8は、注目領域限定表示処理された画像データを表示した画面の模式図である。図8に示すように、画面Pでは、白色であり注目領域であるステージSの上面ST以外の領域が認識し難くなる程度にまで補正されている。このとき、注目領域限定表示処理を行うように強調処理パラメータが設定され、強調処理部6cが注目領域以外を注目領域限定表示処理する。
次に、強調処理として注目領域主要色表示処理を行う場合について図9を用いて説明する。図9は、注目領域主要色表示処理された画像データを表示した画面の模式図である。図9に示すように、画面Pの一部に、注目領域であるステージSの上面STの主要色である白色のブロックBが表示される。このとき、注目領域主要色表示処理を行うように強調処理パラメータが設定され、強調処理部6cがブロックBの表示を行う。
次に、強調処理として線画表示処理を行う場合について図10を用いて説明する。図10(a)は、線画表示処理を行う前の画像データを示す模式図であり、図10(b)は、線画表示処理された画像データを表示した画面の模式図である。なお、図10では、線画表示による強調処理の効果を説明しやすくするために、図5〜図9で用いた画像データ例とは異なる画像データに対して強調処理を行った場合について示している。また、本例における注目領域は、画像データ中央の白色の領域とする。なお、説明の便宜上、注目領域に「白色」の文字を付しているが、画像データ及び画面Pには実際に付されていないものとする。
上述の例は、一つの調整パラメータによってホワイトバランスが調整された画像データから、一つの検出パラメータによって検出を行い、一つの強調処理パラメータで強調処理した画像データを示す場合のものである。しかしながら、本発明はこれに限られるものではない。例えば、以下に説明するように、複数の調整パラメータ、複数の検出パラメータ、複数の強調処理パラメータを用いるなどして、複数の画像データを同時に表示することとしても構わない。
複数の画像データを同時に表示する場合の具体例について、図11を用いて説明する。図11は、複数のホワイトバランスの調整方法を実行して同時に表示する場合の画面の模式図である。図11に示す例では、一つの画面Pに4つの画像データが表示されることとする。これらの画像データは、それぞれ異なるWB固定モードの調整パラメータによってホワイトバランスが調整されている。本例では、晴天モード(左上)、白熱灯モード(右上)、オートホワイトバランスによって選択された蛍光灯モード(左下)、曇りモード(右下)がそれぞれ選択されている。
また、一つの画面Pに複数の画像データを表示する場合に、図11のように画像全体を縮小して表示しても構わないが、図12に示すように注目領域近傍のみを表示することとしても構わない。図12は、複数のホワイトバランスの調整方法を実行するとともに注目領域近傍のみを同時に表示する場合の画面の模式図である。なお、調整パラメータ、検出パラメータ及び強調処理パラメータの設定は図11と同様のものとする。
また、複数表示をする際に、全てのWB固定モードにおいて同じ注目領域が検出されるとは限らない。例えば、色味がかけられるために画像データ内で検出される領域が変わってしまったり、設定されている検出方法では検出不能となったために優先順位が次である検出方法で注目領域が検出されたりする場合に、このような問題が生じる。
以上の1.減光表示処理、2.ゼブラ表示処理、3.注目領域限定表示処理、4.注目領域主要色表示処理、5.線画表示処理、6.複数表示は、それぞれ並列に記載しているが、組み合わせて用いることも可能である。例えば、減光表示処理を行うとともに注目領域主要色表示処理を行うこととしても構わないし、減光表示処理を行うとともにゼブラ表示処理を行うこととしても構わない。なお、この組み合わせは一例に過ぎず、1.〜6.までをどのように組み合わせても構わない。
以上の図5〜図13に示した例では、一つの画像データに対して一つの注目領域が検出された場合について示しているが、一つの画像データに対して複数の注目領域が検出されることとしても構わない。また、複数の注目領域が検出される場合、全ての注目領域を強調処理することとしても構わないし、例えば所定の大きさ以下の注目領域を無視するなどして、強調処理される注目領域の数を減らしても構わない。
2 イメージセンサ
3 レンズ部
4 AFE
5 マイク
6 画像処理部
61 ホワイトバランス調整処理部
61a ホワイトバランス調整部
61b 注目領域検出部
61c 強調処理部
7 音声処理部
8 圧縮処理部
9 ドライバ部
10 伸張処理部
11 画像出力回路部
12 音声出力回路部
13 CPU
14 メモリ
15 操作部
16 TG部
17 バス
18 バス
19 外部メモリ
30 画像データ
31〜35 縮小画像データ
40 判定領域
B ブロック
D 人形
H ハッチング
S ステージ
ST 上面
P 画面
Claims (8)
- 入力される画像データの色調を調整して出力する色調調整部を備える画像処理装置において、
前記色調調整部より出力される画像データから注目領域を検出する注目領域検出部と、
前記色調調整部によって色調が調整された画像データにおける前記注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する強調処理部と、
を備え、
前記注目領域検出部が、画像データの所定の微小単位領域毎に前記注目領域の一部に該当するか否かを判定するとともに、該当すると判定された前記所定の微小単位領域を少なくとも1つ含む大領域を形成する領域セグメンテーションを行い、前記大領域を前記注目領域として検出することを特徴とする画像処理装置。 - 入力される画像データの色調を調整して出力する色調調整部を備える画像処理装置において、
前記色調調整部より出力される画像データから注目領域を検出する注目領域検出部と、
前記色調調整部によって色調が調整された画像データにおける前記注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する強調処理部と、
を備え、
前記色調調整部が、入力される画像データに対して複数の異なる色調調整方法で色調の調整を行った複数の画像データをそれぞれ出力し、
前記注目領域検出部が、前記色調調整部から出力される複数の画像データのそれぞれから前記注目領域をそれぞれ検出し、
前記強調処理部が、
前記色調調整部によって色調が調整されたそれぞれの画像データにおけるそれぞれの前記注目領域以外の領域に前記画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された複数の画像データをそれぞれ作成するとともに、前記注目領域が強調された複数の画像データのそれぞれを含む一つの表示用の画像データを作成し、
前記色調調整部から出力される複数の画像データから前記注目領域検出部が検出する複数の前記注目領域が、それぞれの画像データにおける略等しい位置の領域であることを特徴とする画像処理装置。 - 前記色調調整部が複数の画像データを出力する際に用いる前記複数の異なる色調調整方法のそれぞれに、優先度が設定され、
前記注目領域検出部が、
当該優先度が最も大きい前記色調調整方法によって色調が調整された画像データから検出される前記注目領域を優先注目領域として設定し、
他の前記色調調整方法により色調が調整された他の画像データにおける前記優先注目領域と略等しい位置の領域を、他の画像データのそれぞれにおける前記注目領域として検出することを特徴とする請求項2に記載の画像処理装置。 - 入力される画像データの色調を調整して出力する色調調整部を備える画像処理装置において、
前記色調調整部より出力される画像データから注目領域を検出する注目領域検出部と、
前記色調調整部によって色調が調整された画像データにおける前記注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する強調処理部と、
を備え、
前記注目領域検出部が、前記色調調整部から出力される画像データの中から、所定の値以上の輝度を有すると判定される領域、前記色調調整部から出力される画像データに含まれる割合が所定の値以上である特定の信号を有する領域、及び前記色調調整部による色調の調整による信号の変動量が所定の値以上である領域のいずれかを検出し、前記注目領域とすることを特徴とする画像処理装置。 - 画像データを作成する撮像部と、当該撮像部から出力される画像データに画像処理を施す画像処理機能を備える撮像装置において、
前記画像処理機能を実現する画像処理部として、請求項1〜請求項4のいずれかに記載の画像処理装置を備え、前記画像処理部によって、画像データの色調が調整されるとともに注目領域が強調された画像データが作成されることを特徴とする撮像装置。 - 入力される画像データの色調を調整する第1ステップと、
当該第1ステップによって色調が調整された画像データから注目領域を検出する第2ステップと、
前記第1ステップによって色調が調整された画像データの、前記第2ステップによって検出された注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する第3ステップと、
を備え、
前記第2ステップにおいて、画像データの所定の微小単位領域毎に前記注目領域の一部に該当するか否かを判定するとともに、該当すると判定された前記所定の微小単位領域を少なくとも1つ含む大領域を形成する領域セグメンテーションを行い、前記大領域を前記注目領域として検出することを特徴とする画像処理方法。 - 入力される画像データの色調を調整する第1ステップと、
当該第1ステップによって色調が調整された画像データから注目領域を検出する第2ステップと、
前記第1ステップによって色調が調整された画像データの、前記第2ステップによって検出された注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する第3ステップと、
を備え、
前記第1ステップにおいて、入力される画像データに対して複数の異なる色調調整方法で色調の調整を行い、
前記第2ステップにおいて、前記第1ステップによって色調が調整された複数の画像データのそれぞれから前記注目領域をそれぞれ検出し、
前記第3ステップにおいて、
前記第1ステップによって色調が調整されたそれぞれの画像データにおけるそれぞれの前記注目領域以外の領域に前記画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された複数の画像データをそれぞれ作成するとともに、前記注目領域が強調された複数の画像データのそれぞれを含む一つの表示用の画像データを作成し、
前記第1ステップによって色調が調整された複数の画像データから前記第2ステップによって検出される複数の前記注目領域が、それぞれの画像データにおける略等しい位置の領域であることを特徴とする画像処理方法。 - 入力される画像データの色調を調整する第1ステップと、
当該第1ステップによって色調が調整された画像データから注目領域を検出する第2ステップと、
前記第1ステップによって色調が調整された画像データの、前記第2ステップによって検出された注目領域以外の領域に画像処理を施して、前記注目領域が当該注目領域以外の領域より強調された画像データを作成する第3ステップと、
を備え、
前記第2ステップにおいて、
前記第1ステップによって色調が調整された画像データの中から、所定の値以上の輝度を有すると判定される領域、前記第1ステップによって色調が調整された画像データに含まれる割合が所定の値以上である特定の信号を有する領域、及び前記第1ステップによる色調の調整による信号の変動量が所定の値以上である領域のいずれかを検出し、前記注目領域とすることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008111643A JP5272206B2 (ja) | 2008-04-22 | 2008-04-22 | 画像処理装置及び画像処理方法並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008111643A JP5272206B2 (ja) | 2008-04-22 | 2008-04-22 | 画像処理装置及び画像処理方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009267518A JP2009267518A (ja) | 2009-11-12 |
JP5272206B2 true JP5272206B2 (ja) | 2013-08-28 |
Family
ID=41392860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008111643A Expired - Fee Related JP5272206B2 (ja) | 2008-04-22 | 2008-04-22 | 画像処理装置及び画像処理方法並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5272206B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6517037B2 (ja) * | 2015-02-20 | 2019-05-22 | 池上通信機株式会社 | 処理対象となる色領域を表示する画像処理装置 |
JP6617428B2 (ja) * | 2015-03-30 | 2019-12-11 | 株式会社ニコン | 電子機器 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001245317A (ja) * | 2000-02-29 | 2001-09-07 | Sony Corp | 撮像装置及び色変換方法 |
JP4090851B2 (ja) * | 2002-11-19 | 2008-05-28 | オリンパス株式会社 | ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ |
JP3999091B2 (ja) * | 2002-09-25 | 2007-10-31 | 富士フイルム株式会社 | 画像補正処理装置及びプログラム |
JP2004221637A (ja) * | 2003-01-09 | 2004-08-05 | Nikon Corp | 電子カメラ |
JP2004312249A (ja) * | 2003-04-04 | 2004-11-04 | Olympus Corp | カメラ |
JP5017909B2 (ja) * | 2005-06-22 | 2012-09-05 | コニカミノルタエムジー株式会社 | 領域抽出装置、領域抽出方法及びプログラム |
-
2008
- 2008-04-22 JP JP2008111643A patent/JP5272206B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009267518A (ja) | 2009-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI444041B (zh) | 影像處理裝置、影像處理方法及記錄媒體 | |
US8514293B2 (en) | Moving image processing device and method for performing different image processings to moving object region and still object region | |
US7184078B2 (en) | Image-processing apparatus and image-quality control method | |
US8421887B2 (en) | Image sensing apparatus | |
US20100073546A1 (en) | Image Processing Device And Electric Apparatus | |
JP2006352795A (ja) | 撮像装置及び画像処理方法 | |
US10070052B2 (en) | Image capturing apparatus, image processing apparatus, and control methods thereof | |
US8698918B2 (en) | Automatic white balancing for photography | |
JP2010088105A (ja) | 撮像装置および方法、並びにプログラム | |
JP2010103972A (ja) | 画像処理装置及び電子機器 | |
JP4595569B2 (ja) | 撮像装置 | |
KR20150081153A (ko) | 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체 | |
JP2010028608A (ja) | 画像処理装置、撮像装置、再生装置及び画像処理方法 | |
JP2009124644A (ja) | 画像処理装置、撮像装置及び画像再生装置 | |
JP5272206B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
US20130121534A1 (en) | Image Processing Apparatus And Image Sensing Apparatus | |
US10051200B2 (en) | Imaging apparatus and control method thereof | |
JP5097018B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、プログラム及び記録媒体 | |
JP5733588B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011134019A (ja) | 画像処理装置及びその制御方法 | |
JP2010103672A (ja) | 撮像装置 | |
KR20100069501A (ko) | 영상 처리 방법 및 장치, 및 이를 이용한 디지털 촬영 장치 | |
JP2006148326A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2002204388A (ja) | 自動露出制御装置、自動露出制御方法及び記録媒体 | |
JP6703787B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130312 |
|
TRDD | Decision of grant or rejection written | ||
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130404 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130423 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |