JP6550827B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6550827B2
JP6550827B2 JP2015059320A JP2015059320A JP6550827B2 JP 6550827 B2 JP6550827 B2 JP 6550827B2 JP 2015059320 A JP2015059320 A JP 2015059320A JP 2015059320 A JP2015059320 A JP 2015059320A JP 6550827 B2 JP6550827 B2 JP 6550827B2
Authority
JP
Japan
Prior art keywords
image
subject image
specific wavelength
visible light
wavelength spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015059320A
Other languages
English (en)
Other versions
JP2016178600A (ja
JP2016178600A5 (ja
Inventor
和典 嶋田
和典 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015059320A priority Critical patent/JP6550827B2/ja
Publication of JP2016178600A publication Critical patent/JP2016178600A/ja
Publication of JP2016178600A5 publication Critical patent/JP2016178600A5/ja
Application granted granted Critical
Publication of JP6550827B2 publication Critical patent/JP6550827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、フラッシュ発光時の露光量を増やして被写体が白くなるように撮像する美肌撮像モードを備えた撮像装置が知られている(例えば、特許文献1参照)。また、近赤外線センサ及び可視光センサを用いて、可視光画像を近赤外線画像に置き換えることによって美肌補正を行うシステムも知られている(例えば、特許文献2参照)。
特開2005−173386号公報 特表2015−502058号公報
しかしながら、上記特許文献1の場合、肌の精細感が損なわれてのっぺりしてしまい、不自然さや偽物感が生じてしまう。また、上記特許文献2の場合、近赤外線画像と可視光画像との視差の問題や、近赤外線センサを別途必要とするなどの問題がある。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、可視光センサを用いて撮像された画像の補正を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、本発明に係る画像処理装置は、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得する取得手段と、
前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段と、
を備え
前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正する
ことを特徴としている。
また、本発明に係る画像処理装置は、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得する取得手段と、
前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段と、
を備え
前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
ことを特徴としている。
また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得するステップと、
前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正するステップと、
を含み、
前記補正するステップは、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正することを特徴としている。
また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得するステップと、
前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正するステップと、
を含み、
前記補正するステップは、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
ことを特徴としている。
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得する取得手段、
前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段、
として機能させ
前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正する
ことを特徴としている。
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得する取得手段、
前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段、
として機能させ
前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
ことを特徴としている。
本発明によれば、可視光センサを用いて撮像された画像の補正を適正に行うことができる。
本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。 図1の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図2の画像生成処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態2の撮像装置の概略構成を示すブロック図である。 図4の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図5の画像生成処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態3の撮像装置の概略構成を示すブロック図である。 図7の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
[実施形態1]
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
図1に示すように、実施形態1の撮像装置100は、中央制御部1と、メモリ2と、撮像部3と、画像データ生成部4と、発光部5と、画像処理部6と、画像記録部7と、表示部8と、操作入力部9とを備えている。
また、中央制御部1、メモリ2、撮像部3、画像データ生成部4、発光部5、画像処理部6、画像記録部7及び表示部8は、バスライン10を介して接続されている。
中央制御部1は、撮像装置100の各部を制御するものである。具体的には、中央制御部1は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1や画像処理部6等の各部によって処理されるデータ等を一時的に記録するものである。
撮像部3は、被写体S(図3(a)等参照)を撮像する。具体的には、撮像部3は、レンズ部3aと、電子撮像部3bと、撮像制御部3cとを備えている。
レンズ部3aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部3bは、例えば、CMOS(Complementary Metal-oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサ(可視光センサ)から構成され、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部3は、レンズ部3aを通過する光の量を調整する絞りを備えていても良い。
撮像制御部3cは、撮像部3による被写体Sの撮像を制御する。即ち、撮像制御部3cは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3cは、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、所定周期毎に光学像を電子撮像部3bにより二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部4に出力させる。
また、撮像制御部3cは、電子撮像部3bにより第1画像I1と第2画像I2の撮像を連続して行う。具体的には、第1画像I1と第2画像I2の撮像は、後述するように発光部5の発光色が異なるものの、当該撮像装置100本体と所定の被写体Sとの距離、レンズ部3aの焦点距離(画角)を変えることなく所定の時間間隔を空けた2回の露光により連続して行われる。これにより、第1画像I1と第2画像I2は、略等しい構図を有することとなる。
ここで、第1画像I1と第2画像I2の撮像は、構図のずれを生じさせないように当該撮像装置100本体が三脚などに固定されて行われるのが好ましい。また、当該撮像装置100本体を手持ちで撮像する場合には、第2画像I2の撮像の際に、第1画像I1の半透過の画像をライブビュー画像に重畳表示させるようなガイド表示を行っても良い。なお、第1画像I1と第2画像I2を撮像する順序は、一例であってこれに限られるものではなく、逆であっても良い。
また、撮像制御部3cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体Sを撮像する際の条件の調整制御を行っても良い。
画像データ生成部4は、電子撮像部3bから転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、画像データ生成部4は、生成した画像データをバッファメモリとして使用されるメモリ2に転送する。
発光部5は、例えば、LED(Light Emitting Diode)等から構成され、撮像部3による被写体Sの撮像の際に所定の色で発光する。
すなわち、発光部5は、例えば、青色、緑色、赤色でそれぞれ発光する3つのLED素子(図示略)を具備し、これら3つのLED素子の発光の有無、発光量、発光タイミング、発光時間等を制御することで、所定の色の可視光を被写体Sに投光可能となっている。
例えば、発光部5は、撮像部3により第1画像I1を撮像する際には、3つのLED素子を発光させて混色により白色光(第1の特定波長スペクトルの可視光)を被写体Sに投光し、撮像部3により第2画像I2を撮像する際には、主として青色のLED素子を発光させて青色光(第2の特定波長スペクトルの可視光)を被写体Sに投光する。
ここで、白色光を構成する第1の特定波長スペクトルと青色光を構成する第2の特定波長スペクトルとは、互いに異なる波長域から構成されても良いし、第1の特定波長スペクトルの波長域に第2の特定波長スペクトルの波長域が含まれていても良い。具体的には、例えば、第1の特定波長スペクトルは、青色光に対応する波長域430〜480nm、緑色光に対応する波長域520〜550nm、赤色光に対応する波長域640〜690nmの組み合わせから構成され、第2の特定波長スペクトルは、青色光に対応する波長域430〜480nmから構成されている。
なお、発光部5は、例えば、撮像装置100本体に内蔵されたものであっても良いし、ホットシュー(アクセサリシュー)などに取り付けられる外付けのものであっても良い。また、発光部5として、LEDから構成されたものを例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
画像処理部6は、第1画像取得部6aと、第2画像取得部6bと、第1補正部6cとを具備している。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
第1画像取得部6aは、第1画像I1(図3(a)参照)を取得する。
すなわち、第1画像取得部6aは、被写体Sが白色光(第1の特定波長スペクトルの可視光)下で電子撮像部3bにより撮像された第1画像I1を取得する。具体的には、第1画像取得部6aは、発光部5から白色光が投光された状態で、撮像部3により被写体Sが撮像された第1画像I1の画像データ(YUVデータ)をメモリ2から取得する。
第2画像取得部6bは、第2画像I2(図3(b)参照)を取得する。
すなわち、第2画像取得部6bは、被写体Sが青色光(第2の特定波長スペクトルの可視光)下で電子撮像部3bにより撮像され、第1画像I1と略等しい構図を有する第2画像I2を取得する。具体的には、第2画像取得部6bは、発光部5から青色光が投光された状態で、撮像部3により被写体Sが撮像された第2画像I2の画像データ(YUVデータ)をメモリ2から取得する。
第1補正部6cは、第1画像I1の顔領域を補正する。
すなわち、第1補正部6cは、第1画像I1と第2画像I2とを比較し、当該比較結果に基づいて第1画像I1の顔領域を補正する。具体的には、第1補正部6cは、第1画像I1及び第2画像I2をそれぞれグレースケールの画像に変換する画像変換部6dを具備している。
画像変換部6dは、第1画像I1の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第1輝度画像L1(図3(c)参照)の画像データを取得する。同様に、画像変換部6dは、第2画像I2の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第2輝度画像L2(図3(d)参照)の画像データを取得する。
第1補正部6cは、画像変換部6dによりグレースケールに変換された第1輝度画像L1と第2輝度画像L2との間で位置が対応する画素の画素値(例えば、輝度値)どうしを比較する。このとき、第1補正部6cは、第1輝度画像L1と第2輝度画像L2とで輝度値が最大の画素の輝度値(輝度値の最大値)どうしが略等しくなるように当該第1輝度画像L1と第2輝度画像L2の明るさ(輝度値)を調整しても良い。
また、第1補正部6cは、第1輝度画像L1或いは第2輝度画像L2に対して、例えば、AAM(Active Appearance Model)等を用いて所定の顔検出処理を行い、顔輪郭よりも内側部分を特定して画素値どうしを比較しても良い。さらに、第1補正部6cは、顔領域の検出後に、第1輝度画像L1における顔領域の画素の画素値を所定の色空間(例えば、HSV色空間等)に変換し、肌色成分に対応する画素からなる肌色領域を検出しても良い。
なお、上記した顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、第1補正部6cは、第1輝度画像L1を構成する画素のうち、第2輝度画像L2との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素を特定する。つまり、発光部5から青色光が投光された状態で撮像された画像(第2画像I2)は、例えば、肌表面の角質層と、表皮層の浅い領域からしか透過した光が反射してこないため、光を反射する皮膚の領域が薄く、また、反射する光が少なく、シミやホクロなどの表面の凹凸が目立つ画像となる。このため、第1輝度画像L1と第2輝度画像L2との間で位置が対応する画素の画素値(輝度値)の差分が大きくなる(図3(e)及び図3(f)参照)。
そして、第1補正部6cは、第1輝度画像L1を構成する画素のうち、第2輝度画像L2との間で位置が対応する画素の画素値の差分が所定の閾値以上であると特定された画素の画素値を補正する。具体的には、第1補正部6cは、例えば、処理対象となる画素の画素値を、当該画素に隣接する画素のうち、第2輝度画像L2との間で位置が対応する画素の画素値の差分が所定の閾値未満の画素の画素値に置換する。その後、第1補正部6cは、画素値が補正された第1輝度画像L1と第1画像I1の色差成分とに基づいて、シミやホクロの目立たない明るさや色のカラー画像である第1補正画像(図示略)を生成する。
なお、上記した画素値の補正手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、所定の閾値は、例えば、被写体Sの人種、性別、年齢等により経験的に求められるものである。
画像記録部7は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、画像記録部7は、画像データ生成部4の符号化部(図示略)により所定の符号化方式で符号化された各種の画像の画像データを記録する。
具体的には、画像記録部7は、例えば、撮像部3により撮像された被写体Sの静止画像の画像データや、画像生成処理により生成された第1補正画像の画像データ等を記録する。
なお、画像記録部7は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
表示部8は、静止画像や動画像を表示する。具体的には、表示部8は、表示パネル8aと、表示制御部8bとを具備している。
表示パネル8aは、表示領域内に画像を表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部3による被写体Sの撮像により生成された複数のフレーム画像、…を所定の再生フレームレートで逐次更新しながら表示する。
なお、表示パネル8aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部8bは、画像記録部7から読み出され画像処理部6により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル8aの表示画面に表示させる制御を行う。具体的には、表示制御部8bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部6により復号されてVRAM(図示略)に記録されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから読み出して、これらのデータを元にビデオ信号を発生して表示パネル8aに出力する。
操作入力部9は、装置本体に対して各種指示を入力するためのものである。
具体的には、操作入力部9は、例えば、シャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等を具備する操作部(図示略)を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部9は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部9から出力され入力された操作指示に従って所定の動作(例えば、被写体Sの撮像等)を各部に実行させる。
なお、操作入力部9は、表示部8の表示パネル8aと一体となって設けられたタッチパネル(図示略)を有して構成されていても良い。
<画像生成処理>
次に、撮像装置100による画像生成処理について、図2〜図3を参照して説明する。
図2は、画像生成処理に係る動作の一例を示すフローチャートである。また、図3(a)〜図3(f)は、画像生成処理に係る画像の一例を模式的に示す図である。このうち、図3(a)は、第1画像I1を表し、図3(b)は、第2画像I2を表している。また、図3(c)は、第1輝度画像L1を表し、図3(d)は、第2輝度画像L2を表している。また、図3(e)は、第1輝度画像L1の破線Aで囲まれた領域を拡大して表し、図3(f)は、第2輝度画像L2の破線Bで囲まれた領域を拡大して表している。
画像生成処理は、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中からカラー補正画像を生成するモードが選択指示された場合に、中央制御部1の制御下にて当該撮像装置100の各部により実行される処理である。
なお、画像生成処理は、例えば、画像記録部7に記録されている画像を処理対象として行われても良い。
図2に示すように、先ず、表示制御部8bは、撮像部3による被写体Sの撮像により生成された複数のフレーム画像に基づいてライブビュー画像を表示パネル8aの表示画面に表示させる(ステップS1)。
具体的には、撮像制御部3cは、レンズ部3aを通過した光学像を所定周期毎に電子撮像部3bにより二次元の画像信号(RGBデータ)に変換させ、画像データ生成部4は、電子撮像部3bから出力されて入力される二次元の画像信号を所定周期毎にデジタルの画像信号に変換して各フレーム画像のYUVデータを生成する。画像データ生成部4により生成された各フレーム画像のYUVデータは、順次メモリ2に出力され、当該メモリ2に格納される。表示制御部8bは、メモリ2に一時的に格納されている表示用の画像データを読み出して表示パネル8aにライブビュー画像を表示させる制御を行う。
次に、中央制御部1のCPUは、ユーザによる操作入力部9のシャッタボタンの所定操作(例えば、全押し操作)に基づいて、当該操作入力部9から出力される撮像指示が入力されたか否かを判定する(ステップS2)。
ここで、撮像指示が入力されていないと判定されると(ステップS2;NO)、中央制御部1のCPUは、処理をステップS1に戻し、ステップS2にて、撮像指示が入力されたと判定されるまで(ステップS2;YES)、表示制御部8bは、ライブビュー画像を表示パネル8aの表示画面に表示させる制御を行う。
そして、ユーザによる被写体Sの構図等の調整が終了した後、ユーザによって操作入力部9のシャッタボタンが所定操作(例えば、全押し操作)されることにより、中央制御部1のCPUにより撮像指示が入力されたと判定されると(ステップS2;YES)、発光部5は、3つのLED素子を発光させて白色光を被写体Sに投光するとともに、撮像制御部3cは、合焦駆動部(図示略)によりフォーカスレンズを光軸方向に移動させてピントを被写体Sに合わせ、被写体Sの明るさ及び発光部5の発光強度に応じて、例えば、絞り値やシャッタースピード(露光時間)や画像の信号増幅率等の各種の露出条件を調整した後、第1画像I1(図3(a)参照)を撮像させる(ステップS3)。画像データ生成部4は、第1画像I1の画像信号をデジタルの画像信号に変換して第1画像I1のYUVデータを生成する。
画像データ生成部4により生成された第1画像I1のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
続けて、発光部5は、主として青色のLED素子を発光させて青色光を被写体Sに投光するとともに、撮像制御部3cは、ピントを被写体Sに固定したまま、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1と略等しい構図を有する第2画像I2(図3(b)参照)を撮像させる(ステップS4)。画像データ生成部4は、第2画像I2の画像信号をデジタルの画像信号に変換して第2画像I2のYUVデータを生成する。
画像データ生成部4により生成された第2画像I2のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
次に、画像処理部6の第1画像取得部6aは、メモリ2から第1画像I1のYUVデータを取得し、また、第2画像取得部6bは、メモリ2から第2画像I2のYUVデータを取得する(ステップS5)。
続けて、第1補正部6cの画像変換部6dは、第1画像I1のYUVデータを色差成分と輝度成分とに分離して第1輝度画像L1(図3(c)参照)の画像データを取得し、また、第2画像I2のYUVデータを色差成分と輝度成分とに分離して第2輝度画像L2(図3(d)参照)の画像データを取得する(ステップS6)。その後、第1補正部6cは、第1輝度画像L1と第2輝度画像L2の明るさ(輝度値)を調整する(ステップS7)。例えば、第1補正部6cは、第2輝度画像L2の輝度値の最大値が第1輝度画像L1の輝度値の最大値と略等しくなるように第2輝度画像L2の輝度値を調整する。
次に、第1補正部6cは、第1輝度画像L1を構成する何れか一の画素(例えば、左上隅の画素等)を処理対象として指定し(ステップS8)、第2輝度画像L2との間で位置が対応する画素の画素値どうしを比較する(ステップS9)。
そして、第1補正部6cは、対応する画素どうしの画素値の差分を算出して、所定の閾値以上であるか否かを判定する(ステップS10)。
ステップS10にて、対応する画素どうしの画素値の差分が所定の閾値以上であると判定されると(ステップS10;YES)、第1補正部6cは、処理対象の画素の画素値を当該画素に隣接する画素の画素値で補正する(ステップS11)。具体的には、第1補正部6cは、処理対象の画素の画素値を、当該画素に隣接する画素のうち、第2輝度画像L2との間で位置が対応する画素の画素値の差分が所定の閾値未満の画素の画素値に置換する。
そして、第1補正部6cは、第1輝度画像L1を構成する全ての画素について処理したか否かを判定する(ステップS12)。また、ステップS10にて、対応する画素どうしの画素値の差分が所定の閾値以上でないと判定された場合(ステップS10;NO)、第1補正部6cは、ステップS11の処理をスキップして、上記と同様に、第1輝度画像L1を構成する全ての画素について処理したか否かを判定する(ステップS12)。
ステップS12にて、全ての画素について処理していないと判定されると(ステップS12;NO)、第1補正部6cは、第1輝度画像L1を構成する複数の画素のうち、次の画素(例えば、左上隅の画素の隣りの画素等)を処理対象として指定した後(ステップS13)、処理をステップS9に移行させ、それ以降の各処理を実行する。
すなわち、第1補正部6cは、上記と同様に、ステップS9にて、処理対象として指定された画素と第2輝度画像L2の位置が対応する画素の画素値どうしを比較し、ステップS10にて、対応する画素どうしの画素値の差分が所定の閾値以上であるか否かを判定する。そして、ステップS10にて、画素どうしの画素値の差分が所定の閾値以上であると判定されると(ステップS10;YES)、第1補正部6cは、ステップS11にて、処理対象の画素の画素値を当該画素に隣接する画素の画素値で補正する一方で、ステップS10にて、画素どうしの画素値の差分が所定の閾値以上でないと判定された場合(ステップS10;NO)、第1補正部6cは、ステップS11の処理をスキップする。
その後、ステップS12にて、第1補正部6cは、第1輝度画像L1を構成する全ての画素について処理したか否かを判定する。
一方、ステップS12にて、第1輝度画像L1を構成する全ての画素について処理したと判定されると(ステップS12;YES)、第1補正部6cは、画素値が補正された第1輝度画像L1と第1画像I1の色差成分とに基づいて、カラー画像である第1補正画像の画像データを生成する(ステップS14)。
その後、画像記録部7は、画像処理部6から第1補正画像の画像データを取得して、所定の格納領域に記録させて、画像生成処理を終了する。
以上のように、実施形態1の撮像装置100によれば、被写体Sが第1の特定波長スペクトルの可視光(例えば、白色光等)下で撮像された第1画像I1と、被写体Sが第2の特定波長スペクトルの可視光(例えば、青色光等)下で撮像され、第1画像I1と略等しい構図を有する第2画像I2とを比較して、当該比較結果に基づいて第1画像I1の顔領域の色を補正するので、例えば、近赤外線センサ等の特殊なセンサを別途必要とすることなく、顔領域の肌部分にてシミやホクロ等の第1画像I1と第2画像I2とで差が大きい部分を特定して第1画像I1を補正することができる。すなわち、被写体Sの撮像の際の光源(発光部5)の発光色を異ならせて可視光センサを用いて撮像された第1画像I1と第2画像I2は、発光色の波長によって肌への光の透過度合や反射度合等が異なり、シミやホクロなどの有無によって差が生じる。特に、青色光下で撮像された第2画像I2は、白色光下で撮像された第1画像I1よりもシミやホクロが目立つ画像となる。そこで、これら第1画像I1と第2画像I2とを比較して第1画像I1の顔領域における補正箇所を特定し、当該第1画像I1の補正を適正に行うことができる。
また、それぞれグレースケールに変換された第1輝度画像L1と第2輝度画像L2とを比較するので、顔領域の肌部分にてシミやホクロ等の第1画像I1と第2画像I2とで明るさの差が大きい部分の特定を適正に行うことができ、当該比較結果に基づいて第1画像I1の顔領域を適正に補正することができる。具体的には、第1画像I1を構成する画素のうち、第2画像I2との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正するので、第1画像I1に対して、第1画像I1と第2画像I2とで明るさの差が大きい顔領域の肌部分に存するシミやホクロ等を消去したより自然な美肌処理を行うことができる。
[実施形態2]
図4は、本発明を適用した実施形態2の撮像装置200の概略構成を示すブロック図である。
実施形態2の撮像装置200は、以下に詳細に説明する以外の点で上記実施形態1の撮像装置100と略同様の構成をなし、詳細な説明は省略する。
図4に示すように、実施形態2の撮像装置200の画像処理部206は、第1画像取得部6aと、第3画像取得部6eと、第2補正部6fとを具備している。なお、第1画像取得部6aの構成及び機能は、上記実施形態1と略同様であり、詳細な説明は省略する。
第3画像取得部6eは、第3画像I3(図6(b)参照)を取得する。
すなわち、第3画像取得部6eは、被写体Sが赤色光(第2の特定波長スペクトルの可視光)下で電子撮像部3bにより撮像され、第1画像I1(図6(a)参照)と略等しい構図を有する第3画像I3を取得する。具体的には、撮像制御部3cは、電子撮像部3bにより第1画像I1と第3画像I3の撮像を連続して行う。このとき、発光部5は、撮像部3により第1画像I1を撮像する際には、上記実施形態1と同様に、3つのLED素子を発光させて混色により白色光(第1の特定波長スペクトルの可視光)を被写体Sに投光し、撮像部3により第3画像I3を撮像する際には、主として赤色のLED素子を発光させて赤色光(第2の特定波長スペクトルの可視光)を被写体Sに投光する。ここで、白色光を構成する第1の特定波長スペクトルと赤色光を構成する第2の特定波長スペクトルとは、互いに異なる波長域から構成されても良いし、第1の特定波長スペクトルの波長域に第2の特定波長スペクトルの波長域が含まれていても良い。具体的には、例えば、第1の特定波長スペクトルは、青色光に対応する波長域430〜480nm、緑色光に対応する波長域520〜550nm、赤色光に対応する波長域640〜690nmの組み合わせから構成され、第2の特定波長スペクトルは、赤色光に対応する波長域640〜690nmから構成されている。
そして、第3画像取得部6eは、発光部5から赤色光が投光された状態で、撮像部3により被写体Sが撮像され、画像データ生成部4により生成された第3画像I3の画像データ(YUVデータ)をメモリ2から取得する。
なお、第1画像I1と第3画像I3を撮像する順序は、一例であってこれに限られるものではなく、逆であっても良い。
第2補正部6fは、第1画像I1と第3画像I3とを比較し、当該比較結果に基づいて第1画像I1の顔領域を補正する。具体的には、第2補正部6fは、第1補正部6cと同様に、第1画像I1及び第3画像I3をそれぞれグレースケールの画像に変換する画像変換部6dを具備している。
すなわち、画像変換部6dは、第1画像I1の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第1輝度画像L1(図6(c)参照)の画像データを取得する。同様に、画像変換部6dは、第3画像I3の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第3輝度画像L3(図6(d)参照)の画像データを取得する。
第2補正部6fは、第1補正部6cと略同様に、画像変換部6dによりグレースケールに変換された第1輝度画像L1と第3輝度画像L3との間で位置が対応する画素の画素値(例えば、輝度値)どうしを比較する。このとき、第2補正部6fは、第1補正部6cと略同様に、第1輝度画像L1と第3輝度画像L3の明るさ(輝度値)を調整しても良い。なお、第2補正部6fによる明るさの調整方法は、第1補正部6cと略同様であり、詳細な説明は省略する。
また、第2補正部6fは、第1補正部6cと略同様に、第1輝度画像L1を構成する画素のうち、第3輝度画像L3との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素を特定する。つまり、発光部5から赤色光が投光された状態で撮像された画像(第3画像I3)は、例えば、肌深部の真皮上層まで多くの光が透過するため、光を反射する皮膚の領域が広く、また、多くの光が反射されることから肌に透明感があり、シミやホクロなどの表面の凹凸が目立たない画像となる。このため、第1輝度画像L1と第3輝度画像L3との間で位置が対応する画素の画素値(輝度値)の差分が大きくなる(図6(e)及び図6(f)参照)。
そして、第2補正部6fは、第1補正部6cと略同様に、第1輝度画像L1を構成する画素のうち、第3輝度画像L3との間で位置が対応する画素の画素値の差分が所定の閾値以上であると特定された画素の画素値を補正する。第2補正部6fによる画素値の補正方法は、第1補正部6cと略同様であり、詳細な説明は省略する。その後、第2補正部6fは、画素値が補正された第1輝度画像L1と第1画像I1の色差成分とに基づいて、シミやホクロの目立たない明るさや色のカラー画像である第1補正画像を生成する。
<画像生成処理>
次に、撮像装置200による画像生成処理について、図5〜図6を参照して説明する。
図5は、画像生成処理に係る動作の一例を示すフローチャートである。また、図6(a)〜図6(f)は、画像生成処理に係る画像の一例を模式的に示す図である。このうち、図6(a)は、第1画像I1を表し、図6(b)は、第3画像I3を表している。また、図6(c)は、第1輝度画像L1を表し、図6(d)は、第3輝度画像L3を表している。また、図6(e)は、第1輝度画像L1の破線Aで囲まれた領域を拡大して表し、図6(f)は、第3輝度画像L3の破線Cで囲まれた領域を拡大して表している。
図5に示すように、先ず、上記実施形態1の画像生成処理のステップS1と略同様に、表示制御部8bは、撮像部3による被写体Sの撮像により生成された複数のフレーム画像に基づいてライブビュー画像を表示パネル8aの表示画面に表示させる(ステップS201)。
次に、上記実施形態1の画像生成処理のステップS2と略同様に、中央制御部1のCPUは、ユーザによる操作入力部9のシャッタボタンの所定操作(例えば、全押し操作)に基づいて、当該操作入力部9から出力される撮像指示が入力されたか否かを判定する(ステップS202)。
ここで、撮像指示が入力されていないと判定されると(ステップS202;NO)、中央制御部1のCPUは、処理をステップS201に戻し、ステップS202にて、撮像指示が入力されたと判定されるまで(ステップS202;YES)、表示制御部8bは、ライブビュー画像を表示パネル8aの表示画面に表示させる制御を行う。
そして、ユーザによって操作入力部9のシャッタボタンが所定操作(例えば、全押し操作)されることにより、中央制御部1のCPUにより撮像指示が入力されたと判定されると(ステップS202;YES)、上記実施形態1の画像生成処理のステップS3と略同様に、発光部5は、3つのLED素子を発光させて白色光を被写体Sに投光するとともに、撮像制御部3cは、フォーカスレンズを光軸方向に移動させてピントを被写体Sに合わせ、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1(図6(a)参照)を撮像させる(ステップS203)。画像データ生成部4は、第1画像I1の画像信号をデジタルの画像信号に変換して第1画像I1のYUVデータを生成する。
画像データ生成部4により生成された第1画像I1のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
続けて、発光部5は、主として赤色のLED素子を発光させて赤色光を被写体Sに投光するとともに、撮像制御部3cは、ピントを被写体Sに固定したまま、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1と略等しい構図を有する第3画像I3(図6(b)参照)を撮像させる(ステップS204)。画像データ生成部4は、第3画像I3の画像信号をデジタルの画像信号に変換して第3画像I3のYUVデータを生成する。
画像データ生成部4により生成された第3画像I3のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
次に、画像処理部6の第1画像取得部6aは、メモリ2から第1画像I1のYUVデータを取得し、また、第3画像取得部6eは、メモリ2から第3画像I3のYUVデータを取得する(ステップS205)。
続けて、第2補正部6fの画像変換部6dは、第1画像I1のYUVデータを色差成分と輝度成分とに分離して第1輝度画像L1(図6(c)参照)の画像データを取得し、また、第3画像I3のYUVデータを色差成分と輝度成分とに分離して第3輝度画像L3(図6(d)参照)の画像データを取得する(ステップS206)。その後、第2補正部6fは、第1輝度画像L1と第3輝度画像L3の明るさ(輝度値)を調整する(ステップS207)。例えば、第2補正部6fは、第3輝度画像L3の輝度値の最大値が第1輝度画像L1の輝度値の最大値と略等しくなるように第3輝度画像L3の輝度値を調整する。
次に、第2補正部6fは、第1輝度画像L1を構成する何れか一の画素(例えば、左上隅の画素等)を処理対象として指定し(ステップS208)、第3輝度画像L3との間で位置が対応する画素の画素値どうしを比較する(ステップS209)。
そして、第2補正部6fは、対応する画素どうしの画素値の差分を算出して、所定の閾値以上であるか否かを判定する(ステップS210)。
ステップS210にて、対応する画素どうしの画素値の差分が所定の閾値以上であると判定されると(ステップS210;YES)、第2補正部6fは、処理対象の画素の画素値を当該画素に隣接する画素の画素値で補正する(ステップS211)。具体的には、第2補正部6fは、処理対象の画素の画素値を、当該画素に隣接する画素のうち、第3輝度画像L3との間で位置が対応する画素の画素値の差分が所定の閾値未満の画素の画素値に置換する。
そして、第2補正部6fは、第1輝度画像L1を構成する全ての画素について処理したか否かを判定する(ステップS212)。また、ステップS210にて、対応する画素どうしの画素値の差分が所定の閾値以上でないと判定された場合(ステップS210;NO)、第2補正部6fは、ステップS211の処理をスキップして、上記と同様に、第1輝度画像L1を構成する全ての画素について処理したか否かを判定する(ステップS212)。
ステップS212にて、全ての画素について処理していないと判定されると(ステップS212;NO)、第2補正部6fは、第1輝度画像L1を構成する複数の画素のうち、次の画素(例えば、左上隅の画素の隣りの画素等)を処理対象として指定した後(ステップS213)、処理をステップS209に移行させ、それ以降の各処理を実行する。
一方、ステップS212にて、第1輝度画像L1を構成する全ての画素について処理したと判定されると(ステップS212;YES)、第2補正部6fは、画素値が補正された第1輝度画像L1と第1画像I1の色差成分とに基づいて、カラー画像である第1補正画像の画像データを生成する(ステップS214)。
その後、画像記録部7は、画像処理部6から第1補正画像の画像データを取得して、所定の格納領域に記録させて、画像生成処理を終了する。
以上のように、実施形態2の撮像装置200によれば、上記実施形態1の撮像装置100と略同様に、例えば、近赤外線センサ等の特殊なセンサを別途必要とすることなく、顔領域の肌部分にてシミやホクロ等の第1画像I1と第3画像I3とで差が大きい部分を特定して第1画像I1を補正することができる。すなわち、被写体Sの撮像の際の光源(発光部5)の発光色を異ならせて可視光センサを用いて撮像された第1画像I1と第3画像I3は、発光色の波長によって肌への光の透過度合や反射度合等が異なり、シミやホクロなどの有無によって差が生じる。特に、赤色光下で撮像された第3画像I3は、白色光下で撮像された第1画像I1よりもシミやホクロが目立たない画像となる。そこで、これら第1画像I1と第3画像I3とを比較して第1画像I1の顔領域における補正箇所を特定し、当該第1画像I1の補正を適正に行うことができる。
[実施形態3]
図7は、本発明を適用した実施形態3の撮像装置300の概略構成を示すブロック図である。
実施形態3の撮像装置300は、以下に詳細に説明する以外の点で上記実施形態1、2の撮像装置100、200と略同様の構成をなし、詳細な説明は省略する。
図7に示すように、実施形態3の撮像装置300の画像処理部306は、第1画像取得部6aと、第2画像取得部6bと、第3画像取得部6eと、第3補正部6gとを具備している。
第1画像取得部6a、第2画像取得部6b、第3画像取得部6cの構成及び機能は、上記実施形態1、2と略同様である。
すなわち、撮像制御部3cは、電子撮像部3bにより第1画像I1と第2画像I2と第3画像I3の撮像を連続して行う。このとき、発光部5は、撮像部3により第1画像I1を撮像する際には、上記実施形態1と同様に、3つのLED素子を発光させて混色により白色光(第1の特定波長スペクトルの可視光)を被写体Sに投光し、また、撮像部3により第2画像I2を撮像する際には、主として青色のLED素子を発光させて青色光(第2の特定波長スペクトルの可視光)を被写体Sに投光し、また、撮像部3により第3画像I3を撮像する際には、主として赤色のLED素子を発光させて赤色光(第3の特定波長スペクトルの可視光)を被写体Sに投光する。ここで、白色光を構成する第1の特定波長スペクトルと青色光を構成する第2の特定波長スペクトルと赤色光を構成する第3の特定波長スペクトルとは、互いに異なる波長域から構成されても良いし、第1の特定波長スペクトルの波長域に第2の特定波長スペクトルの波長域や第3の特定波長スペクトルの波長域が含まれていても良い。具体的には、例えば、第1の特定波長スペクトルは、青色光に対応する波長域430〜480nm、緑色光に対応する波長域520〜550nm、赤色光に対応する波長域640〜690nmの組み合わせから構成され、第2の特定波長スペクトルは、青色光に対応する波長域430〜480nmから構成され、第3の特定波長スペクトルは、赤色光に対応する波長域640〜690nmから構成されている。
そして、第1画像取得部6aは、発光部5から白色光が投光された状態で、撮像部3により被写体Sが撮像され、画像データ生成部4により生成された第1画像I1の画像データ(YUVデータ)をメモリ2から取得する。また、第2画像取得部6bは、発光部5から青色光が投光された状態で、撮像部3により被写体Sが撮像され、画像データ生成部4により生成された第2画像I2の画像データ(YUVデータ)をメモリ2から取得する。また、第3画像取得部6eは、発光部5から赤色光が投光された状態で、撮像部3により被写体Sが撮像され、画像データ生成部4により生成された第3画像I3の画像データ(YUVデータ)をメモリ2から取得する。
なお、第1画像I1〜第3画像I3を撮像する順序は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
第3補正部6gは、第2画像I2と第3画像I3とを比較し、当該比較結果に基づいて第1画像I1の顔領域を補正する。具体的には、第3補正部6gは、第1補正部6c及び第2補正部6fと同様に、第1画像I1〜第3画像I3をそれぞれグレースケールの画像に変換する画像変換部6dを具備している。
すなわち、画像変換部6dは、第2画像I2の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第2輝度画像L2(図3(d)参照)の画像データを取得する。同様に、画像変換部6dは、第3画像I3の画像データを色差成分と輝度成分とに分離して、所定の階調(例えば、256階調等)のグレースケールの画像である第3輝度画像L3(図6(d)参照)の画像データを取得する。
第3補正部6gは、第1補正部6c及び第2補正部6fと略同様に、画像変換部6dによりグレースケールに変換された第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値(例えば、輝度値)どうしを比較する。このとき、第3補正部6gは、第1補正部6c及び第2補正部6fと略同様に、第1画像I1の輝度成分Yに基づいて第2、第3輝度画像L2、L3の明るさ(輝度値)を調整しても良い。
また、第3補正部6gは、第1画像I1を構成する画素のうち、第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値どうしの差分が所定の閾値以上である画素に対応する画素を特定する。つまり、発光部5から青色光が投光された状態で撮像された画像(第2画像I2)は、例えば、肌表面の角質層と、表皮層の浅い領域からしか透過した光が反射してこないため、光を反射する皮膚の領域が薄く、また、反射する光が少なく、シミやホクロの目立つ画像となる。また、発光部5から赤色光が投光された状態で撮像された画像(第3画像I3)は、例えば、肌深部の真皮上層まで多くの光が透過するため、光を反射する皮膚の領域が広く、また、多くの光が反射されることから肌に透明感があり、シミやホクロの目立たない画像となる。このため、第2輝度画像L2と第3輝度画像L3との間で位置が対応する画素の画素値(輝度値)の差分が大きくなる。
そして、第3補正部6gは、第1画像I1を構成する画素のうち、第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上であると特定された画素に対応する画素の画素値を補正する。具体的には、第3補正部6gは、例えば、処理対象となる画素の画素値を、当該画素に隣接する画素のうち、第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値未満の画素に対応する第1画像I1の画素の画素値に置換する。これにより、第3補正部6gは、シミやホクロの目立たない明るさや色のカラー画像である第1補正画像を生成する。
<画像生成処理>
次に、撮像装置300による画像生成処理について、図8を参照して説明する。
図8は、画像生成処理に係る動作の一例を示すフローチャートである。
図8に示すように、先ず、上記実施形態1の画像生成処理のステップS1と略同様に、表示制御部8bは、撮像部3による被写体Sの撮像により生成された複数のフレーム画像に基づいてライブビュー画像を表示パネル8aの表示画面に表示させる(ステップS301)。
次に、上記実施形態1の画像生成処理のステップS2と略同様に、中央制御部1のCPUは、ユーザによる操作入力部9のシャッタボタンの所定操作(例えば、全押し操作)に基づいて、当該操作入力部9から出力される撮像指示が入力されたか否かを判定する(ステップS302)。
ここで、撮像指示が入力されていないと判定されると(ステップS302;NO)、中央制御部1のCPUは、処理をステップS301に戻し、ステップS302にて、撮像指示が入力されたと判定されるまで(ステップS302;YES)、表示制御部8bは、ライブビュー画像を表示パネル8aの表示画面に表示させる制御を行う。
そして、ユーザによって操作入力部9のシャッタボタンが所定操作(例えば、全押し操作)されることにより、中央制御部1のCPUにより撮像指示が入力されたと判定されると(ステップS302;YES)、上記実施形態1の画像生成処理のステップS3と略同様に、発光部5は、3つのLED素子を発光させて白色光を被写体Sに投光するとともに、撮像制御部3cは、フォーカスレンズを光軸方向に移動させてピントを被写体Sに合わせ、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1を撮像させる(ステップS303)。画像データ生成部4は、第1画像I1の画像信号をデジタルの画像信号に変換して第1画像I1のYUVデータを生成する。
画像データ生成部4により生成された第1画像I1のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
続けて、発光部5は、主として青色のLED素子を発光させて青色光を被写体Sに投光するとともに、撮像制御部3cは、ピントを被写体Sに固定したまま、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1と略等しい構図を有する第2画像I2を撮像させる(ステップS304)。画像データ生成部4は、第2画像I2の画像信号をデジタルの画像信号に変換して第2画像I2のYUVデータを生成する。
画像データ生成部4により生成された第2画像I2のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
続けて、発光部5は、主として赤色のLED素子を発光させて赤色光を被写体Sに投光するとともに、撮像制御部3cは、ピントを被写体Sに固定したまま、被写体Sの明るさ及び発光部5の発光強度に応じて、各種の露出条件を調整した後、第1画像I1及び第2画像I2と略等しい構図を有する第3画像I3を撮像させる(ステップS305)。画像データ生成部4は、第3画像I3の画像信号をデジタルの画像信号に変換して第3画像I3のYUVデータを生成する。
画像データ生成部4により生成された第3画像I3のYUVデータは、メモリ2に出力され、当該メモリ2に一時的に格納される。
次に、画像処理部6の第1画像取得部6aは、メモリ2から第1画像I1のYUVデータを取得し、また、第2画像取得部6bは、メモリ2から第2画像I2のYUVデータを取得し、また、第3画像取得部6eは、メモリ2から第3画像I3のYUVデータを取得する(ステップS306)。
続けて、第3補正部6gの画像変換部6dは、第2画像I2のYUVデータを色差成分と輝度成分とに分離して第2輝度画像L2の画像データを取得し、また、第3画像I3のYUVデータを色差成分と輝度成分とに分離して第3輝度画像L3の画像データを取得する(ステップS307)。その後、第3補正部6gは、第2、第3輝度画像L2、L3の明るさ(輝度値)を調整する(ステップS308)。例えば、第3補正部6gは、第2輝度画像L2及び第3輝度画像L3の輝度値の最大値が第1画像I1の輝度成分Yの最大値と略等しくなるように第2輝度画像L2及び第3輝度画像L3の輝度値を調整する。
次に、第3補正部6gは、第1画像I1を構成する何れか一の画素(例えば、左上隅の画素等)を処理対象として指定し(ステップS309)、第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値どうしを比較する(ステップS310)。
そして、第3補正部6gは、対応する画素どうしの画素値の差分を算出して、所定の閾値以上であるか否かを判定する(ステップS311)。
ステップS311にて、対応する画素どうしの画素値の差分が所定の閾値以上であると判定されると(ステップS311;YES)、第3補正部6gは、処理対象の画素の画素値を当該画素に隣接する画素の画素値で補正する(ステップS312)。具体的には、第3補正部6gは、処理対象の画素の画素値を、当該画素に隣接する画素のうち、第2輝度画像L2と第3輝度画像L3との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値未満の画素に対応する第1画像I1の画素の画素値に置換する。
そして、第3補正部6gは、第1画像I1を構成する全ての画素について処理したか否かを判定する(ステップS313)。また、ステップS311にて、対応する画素どうしの画素値の差分が所定の閾値以上でないと判定された場合(ステップS311;NO)、第3補正部6gは、ステップS312の処理をスキップして、上記と同様に、第1画像I1を構成する全ての画素について処理したか否かを判定する(ステップS313)。
ステップS313にて、全ての画素について処理していないと判定されると(ステップS313;NO)、第3補正部6gは、第1画像I1を構成する複数の画素のうち、次の画素(例えば、左上隅の画素の隣りの画素等)を処理対象として指定した後(ステップS314)、処理をステップS310に移行させ、それ以降の各処理を実行する。
一方、ステップS313にて、第1画像I1を構成する全ての画素について処理したと判定されると(ステップS313;YES)、第3補正部6gは、画素値が補正された第1画像I1を第1補正画像として画像データを生成する(ステップS315)。
その後、画像記録部7は、画像処理部6から第1補正画像の画像データを取得して、所定の格納領域に記録させて、画像生成処理を終了する。
以上のように、実施形態3の撮像装置300によれば、被写体Sが第2の特定波長スペクトルの可視光(例えば、青色光等)下で撮像され、第1画像I1と略等しい構図を有する第2画像I2と、被写体Sが第3の特定波長スペクトルの可視光(例えば、赤色光等)下で撮像され、第1画像I1及び第2画像I2と略等しい構図を有する第3画像I3とを比較し、当該比較結果に基づいて、第1の特定波長スペクトルの可視光(例えば、白色光等)下で撮像された第1画像I1の顔領域の色を補正するので、例えば、近赤外線センサ等の特殊なセンサを別途必要とすることなく、顔領域の肌部分にてシミやホクロ等の第2画像I2と第3画像I3とで差が大きい部分を特定して第1画像I1を補正することができる。すなわち、被写体Sの撮像の際の光源(発光部5)の発光色を異ならせて可視光センサを用いて撮像された第2画像I2と第3画像I3は、発光色の波長によって肌への光の透過度合や反射度合等が異なり、シミやホクロなどの有無によって差が生じる。特に、青色光下で撮像された第2画像I2は、白色光下で撮像された第1画像I1よりもシミやホクロが目立つ画像となり、また、赤色光下で撮像された第3画像I3は、白色光下で撮像された第1画像I1よりもシミやホクロが目立たない画像となる。そこで、これら第2画像I2と第3画像I3とを比較して第1画像I1の顔領域における補正箇所を特定し、当該第1画像I1の補正を適正に行うことができる。
また、それぞれグレースケールに変換された第2輝度画像L2と第3輝度画像L3とを比較するので、顔領域の肌部分にてシミやホクロ等の第2画像I2と第3画像I3とで明るさの差が大きい部分の特定を適正に行うことができ、当該比較結果に基づいて第1画像I1の顔領域を適正に補正することができる。具体的には、第1画像I1を構成する画素のうち、第2画像I2と第3画像I3との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画像の画素値を補正するので、第1画像I1に対して、第2画像I2と第3画像I3とで明るさの差が大きい顔領域の肌部分に存するシミやホクロ等を消去したより自然な美肌処理を行うことができる。
なお、本発明は、上記実施形態1〜3に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態1、3では、第2画像I2としては、第2の特定波長スペクトルの可視光下で電子撮像部3bにより光電変換された所定のカラーフィルタの配列(例えば、ベイヤー配列)に従ったRGBデータを処理対象とするようにしたが、例えば、カラーフィルタのBに対応するB成分の画像データのみを処理対象とし、カラーフィルタのRやGに対応するデータは画素補間するようにしても良い。
同様に、上記実施形態2、3では、第3画像I3としては、第3の特定波長スペクトルの可視光下で電子撮像部3bにより光電変換された所定のカラーフィルタの配列に従ったRGBデータを処理対象とするようにしたが、例えば、カラーフィルタのRに対応するR成分の画像データのみを処理対象とし、カラーフィルタのGやBに対応するデータは画素補間するようにしても良い。
また、上記実施形態では、第2、第3画像I2、I3として、被写体Sの撮像の際の光源(発光部5)の発光色を異ならせて可視光センサを用いて撮像された画像を処理対象としたが、例えば、青色光や赤色光等の特定波長スペクトルの可視光を透過するフィルターを介して特定波長スペクトルの可視光下で撮像した第2画像や第3画像を処理対象としても良い。
さらに、例えば、外光あるいは白色光下で撮像した第1画像I1から、青色光や赤色光等に対応する特定波長スペクトルの可視光の成分を抽出して特定波長スペクトルの可視光下で撮像した第2画像や第3画像としてもよい。
また、上記実施形態1〜3では、顔領域の肌部分にてシミやホクロを消去するような補正処理を施すようにしたが、一例であってこれに限られるものではなく、例えば、より自然な黒さ(例えば、日焼け等)を表現したり白斑を消去するよう補正処理を行うようにしても良い。
また、上記実施形態1〜3では、顔領域の肌について補正処理を施すようにしたが、一例であってこれに限られるものではなく、例えば、顔以外の肌、人以外の動物の肌、あるいは植物の表面、さらには、動植物以外の物体の表面などであってもよい。
また、撮像装置100、200、300の構成は、上記実施形態1〜3に例示したものは一例であり、これに限られるものではない。例えば、外部の撮像手段により撮像された画像を取得して、画像を補正する処理を行うようにしても良い。
加えて、上記実施形態1、2にあっては、取得手段、補正手段としての機能を、撮像装置100(200)の中央制御部1のCPUの制御下にて、第1画像取得部6a、第2画像取得部6b、第1補正部6c(第2補正部6f)が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムメモリ(図示略)に、取得処理ルーチン、補正処理ルーチンを含むプログラムを記録しておく。そして、取得処理ルーチンにより中央制御部1のCPUを、被写体Sを第1の特定波長スペクトルの可視光で撮像した第1画像I1と、被写体Sを第2の特定波長スペクトルの可視光で撮像した第2画像I2を取得する手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部1のCPUを、第1画像I1と第2画像I2とに基づいて第1画像I1を補正する手段として機能させるようにしても良い。
また、上記実施形態3にあっては、取得手段、補正手段としての機能を、撮像装置300の中央制御部1のCPUの制御下にて、第1画像取得部6a、第2画像取得部6b、第3取得部6e、第3補正部6gが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムメモリ(図示略)に、取得処理ルーチン、補正処理ルーチンを含むプログラムを記録しておく。そして、取得処理ルーチンにより中央制御部1のCPUを、被写体Sを第1の特定波長スペクトルの可視光で撮像した第1画像I1と、被写体Sを第2の特定波長スペクトルの可視光で撮像した第2画像I2と、被写体Sを第3の特定波長スペクトルの可視光で撮像した第3画像I3を取得する手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部1のCPUを、第2画像I2と第3画像I3とに基づいて第1画像I1を補正する手段として機能させるようにしても良い。
同様に、変換手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像を取得する取得手段と、
前記第1画像と前記第2画像とに基づいて前記第1画像を補正する補正手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記補正手段は、
前記第1画像及び前記第2画像をそれぞれグレースケールの画像に変換する変換手段を有し、前記変換手段によってグレースケールに変換された前記第1画像と前記第2画像とを比較し、当該比較結果に基づいて前記第1画像を補正することを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記補正手段は、
前記第1画像と前記第2画像とにおける、前記被写体の凹凸に対応する部分を比較し、当該比較結果に基づいて前記第1画像を補正することを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
前記補正手段は、前記第1画像を構成する画素のうち、前記第2画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
<請求項5>
前記取得手段は、2回の露光により前記第1画像と前記第2画像を取得することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
<請求項6>
前記取得手段は、前記第1の特定波長スペクトルの可視光及び前記第2の特定波長スペクトルの可視光を発光する手段を含むことを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記取得手段は、前記第2の特定波長スペクトルの可視光を透過するフィルターを介して前記第2の特定波長スペクトルの可視光で撮像した前記第2画像を取得することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記取得手段は、前記被写体を前記第1の特定波長スペクトルの可視光で撮像した前記第1画像から、前記第2の特定波長スペクトルの可視光の成分を抽出することにより前記第2の特定波長スペクトルの可視光で撮像した前記第2画像を取得することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記第1の特定波長スペクトルの可視光は、白色光であり、
前記第2の特定波長スペクトルの可視光は、青色光又は赤色光であることを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項10>
前記第1画像及び前記第2画像は、人の肌の画像であることを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。
<請求項11>
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像と、前記被写体を第3の特定波長スペクトルの可視光で撮像した第3画像を取得する取得手段と、
前記第2画像と前記第3画像とに基づいて前記第1画像を補正する補正手段と、
を備えたことを特徴とする画像処理装置。
<請求項12>
前記補正手段は、
前記第2画像及び前記第3画像をそれぞれグレースケールの画像に変換する変換手段を有し、前記変換手段によってグレースケールに変換された前記第2画像と前記第3画像とを比較し、当該比較結果に基づいて前記第1画像を補正することを特徴とする請求項11に記載の画像処理装置。
<請求項13>
前記補正手段は、
前記第2画像と前記第3画像とにおける、前記被写体の凹凸に対応する部分を比較し、当該比較結果に基づいて前記第1画像を補正することを特徴とする請求項11又は12に記載の画像処理装置。
<請求項14>
前記補正手段は、前記第1画像を構成する画素のうち、前記第2画像と前記第3画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正することを特徴とする請求項11〜13の何れか一項に記載の画像処理装置。
<請求項15>
前記取得手段は、3回の露光により前記第1画像と前記第2画像と前記第3画像を取得することを特徴とする請求項11〜14の何れか一項に記載の画像処理装置。
<請求項16>
前記取得手段は、前記第1の特定波長スペクトルの可視光、前記第2の特定波長スペクトルの可視光及び前記第3の特定波長スペクトルの可視光を発光する手段を含むことを特徴とする請求項11〜15の何れか一項に記載の画像処理装置。
<請求項17>
前記取得手段は、前記第2の特定波長スペクトルの可視光を透過するフィルターを介して前記第2の特定波長スペクトルの可視光で撮像した前記第2画像と、前記第3の特定波長スペクトルの可視光を透過するフィルターを介して前記第3の特定波長スペクトルの可視光で撮像した前記第3画像を取得することを特徴とする請求項11〜16の何れか一項に記載の画像処理装置。
<請求項18>
前記取得手段は、前記被写体を前記第1の特定波長スペクトルの可視光で撮像した前記第1画像から、前記第2の特定波長スペクトルの可視光の成分を抽出することにより前記第2の特定波長スペクトルの可視光で撮像した前記第2画像と、前記第3の特定波長スペクトルの可視光の成分を抽出することにより前記第3の特定波長スペクトルの可視光で撮像した前記第3画像と、を取得することを特徴とする請求項11〜17の何れか一項に記載の画像処理装置。
<請求項19>
前記第1の特定波長スペクトルの可視光は、白色光であり、
前記第2の特定波長スペクトルの可視光は、青色光であり、
前記第3の特定波長スペクトルの可視光は、赤色光であることを特徴とする請求項11〜18の何れか一項に記載の画像処理装置。
<請求項20>
前記第1画像、前記第2画像及び前記第3画像は、人の肌の画像であることを特徴とする請求項11〜19の何れか一項に記載の画像処理装置。
<請求項21>
画像処理装置を用いた画像処理方法であって、
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像を取得するステップと、
前記第1画像と前記第2画像とに基づいて前記第1画像を補正するステップと、
を含むことを特徴とする画像処理方法。
<請求項22>
画像処理装置を用いた画像処理方法であって、
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像と、前記被写体を第3の特定波長スペクトルの可視光で撮像した第3画像を取得するステップと、
前記第2画像と前記第3画像とに基づいて前記第1画像を補正するステップと、
を含むことを特徴とする画像処理方法。
<請求項23>
画像処理装置のコンピュータを、
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像を取得する取得手段、
前記第1画像と前記第2画像とに基づいて前記第1画像を補正する補正手段、
として機能させることを特徴とするプログラム。
<請求項24>
画像処理装置のコンピュータを、
被写体を第1の特定波長スペクトルの可視光で撮像した第1画像と、前記被写体を第2の特定波長スペクトルの可視光で撮像した第2画像と、前記被写体を第3の特定波長スペクトルの可視光で撮像した第3画像を取得する取得手段、
前記第2画像と前記第3画像とに基づいて前記第1画像を補正する補正手段、
として機能させることを特徴とするプログラム。
100、200、300 撮像装置
1 中央制御部
3 撮像部
3b 電子撮像部
5 発光部
6、206、306 画像処理部
6a 第1画像取得部
6b 第2画像取得部
6c 第1補正部
6d 画像変換部
6e 第3画像取得部
6f 第2補正部
6g 第3補正部

Claims (24)

  1. 第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得する取得手段と、
    前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段と、
    を備え
    前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正する
    ことを特徴とする画像処理装置。
  2. 前記補正手段は、前記第1の被写体画像と前記第2の被写体画像とを比較する比較手段を有し、前記比較手段による比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正手段は、
    前記第1の被写体画像及び前記第2の被写体画像をそれぞれ輝度画像に変換する変換手段を有し、前記変換手段によって輝度画像に変換された前記第1の被写体画像と前記第2の被写体画像とを比較し、当該比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項2に記載の画像処理装置。
  4. 前記補正手段は、
    前記第1の被写体画像と前記第2の被写体画像とにおける、被写体の凹凸に対応する部分を比較し、当該比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記取得手段は、2回の露光により前記第1の被写体画像と前記第2の被写体画像を取得することを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  6. 前記取得手段は、前記第1の特定波長スペクトルの可視光及び前記第2の特定波長スペクトルの可視光を発光する手段を含むことを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  7. 前記取得手段は、前記第2の特定波長スペクトルの可視光を透過するフィルターを介して前記第2の特定波長スペクトルの可視光で撮像した前記第2の被写体画像を取得することを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  8. 前記取得手段は、前記第1の特定波長スペクトルの可視光に対応する前記第1の被写体画像から、前記第2の特定波長スペクトルの可視光の成分を抽出することにより前記第2の特定波長スペクトルの可視光で撮像した前記第2の被写体画像を取得することを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  9. 前記第1の特定波長スペクトルの可視光は、白色光であり、
    前記第2の特定波長スペクトルの可視光は、青色光又は赤色光であることを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  10. 前記第1の被写体画像及び前記第2の被写体画像は、人の肌の画像であることを特徴とする請求項1〜の何れか一項に記載の画像処理装置。
  11. 第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得する取得手段と、
    前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段と、
    を備え
    前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
    ことを特徴とする画像処理装置。
  12. 前記補正手段は、前記第2の被写体画像と前記第3の被写体画像とを比較する比較手段を有し、前記比較手段による比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項11に記載の画像処理装置。
  13. 前記補正手段は、
    前記第2の被写体画像及び前記第3の被写体画像をそれぞれ輝度画像に変換する変換手段を有し、前記変換手段によって輝度画像に変換された前記第2の被写体画像と前記第3の被写体画像とを比較し、当該比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項12に記載の画像処理装置。
  14. 前記補正手段は、
    前記第2の被写体画像と前記第3の被写体画像とにおける、被写体の凹凸に対応する部分を比較し、当該比較結果に基づいて前記第1の被写体画像を補正することを特徴とする請求項12又は13に記載の画像処理装置。
  15. 前記取得手段は、3回の露光により前記第1の被写体画像と前記第2の被写体画像と前記第3の被写体画像を取得することを特徴とする請求項1114の何れか一項に記載の画像処理装置。
  16. 前記取得手段は、前記第1の特定波長スペクトルの可視光、前記第2の特定波長スペクトルの可視光及び前記第3の特定波長スペクトルの可視光を発光する手段を含むことを特徴とする請求項1115の何れか一項に記載の画像処理装置。
  17. 前記取得手段は、前記第2の特定波長スペクトルの可視光を透過するフィルターを介して前記第2の特定波長スペクトルの可視光で撮像した前記第2の被写体画像と、前記第3の特定波長スペクトルの可視光を透過するフィルターを介して前記第3の特定波長スペクトルの可視光で撮像した前記第3の被写体画像を取得することを特徴とする請求項1116の何れか一項に記載の画像処理装置。
  18. 前記取得手段は、前記第1の特定波長スペクトルの可視光に対応する前記第1の被写体画像から、前記第2の特定波長スペクトルの可視光の成分を抽出することにより前記第2の特定波長スペクトルの可視光で撮像した前記第2の被写体画像と、前記第3の特定波長スペクトルの可視光の成分を抽出することにより前記第3の特定波長スペクトルの可視光で撮像した前記第3の被写体画像と、を取得することを特徴とする請求項1117の何れか一項に記載の画像処理装置。
  19. 前記第1の特定波長スペクトルの可視光は、白色光であり、
    前記第2の特定波長スペクトルの可視光は、青色光であり、
    前記第3の特定波長スペクトルの可視光は、赤色光であることを特徴とする請求項1118の何れか一項に記載の画像処理装置。
  20. 前記第1の被写体画像、前記第2の被写体画像及び前記第3の被写体画像は、人の肌の画像であることを特徴とする請求項1119の何れか一項に記載の画像処理装置。
  21. 画像処理装置を用いた画像処理方法であって、
    第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得するステップと、
    前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正するステップと、
    を含み、
    前記補正するステップは、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正する
    ことを特徴とする画像処理方法。
  22. 画像処理装置を用いた画像処理方法であって、
    第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得するステップと、
    前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正するステップと、
    を含み、
    前記補正するステップは、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
    ことを特徴とする画像処理方法。
  23. 画像処理装置のコンピュータを、
    第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像とを取得する取得手段、
    前記第1の被写体画像と前記第2の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段、
    として機能させ
    前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像との間で位置が対応する画素の画素値の差分が所定の閾値以上である画素の画素値を補正する
    ことを特徴とするプログラム。
  24. 画像処理装置のコンピュータを、
    第1の特定波長スペクトルの可視光に対応する第1の被写体画像と、第2の特定波長スペクトルの可視光に対応する第2の被写体画像と、第3の特定波長スペクトルの可視光に対応する第3の被写体画像とを取得する取得手段、
    前記第2の被写体画像と前記第3の被写体画像とに基づいて前記第1の被写体画像を補正する補正手段、
    として機能させ
    前記補正手段は、前記第1の被写体画像を構成する画素のうち、前記第2の被写体画像と前記第3の被写体画像との間でそれぞれ位置が対応する画素の画素値の差分が所定の閾値以上である画素に対応する画素の画素値を補正する
    ことを特徴とするプログラム。
JP2015059320A 2015-03-23 2015-03-23 画像処理装置、画像処理方法及びプログラム Active JP6550827B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015059320A JP6550827B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059320A JP6550827B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2016178600A JP2016178600A (ja) 2016-10-06
JP2016178600A5 JP2016178600A5 (ja) 2018-05-10
JP6550827B2 true JP6550827B2 (ja) 2019-07-31

Family

ID=57071405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059320A Active JP6550827B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6550827B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
TWI757015B (zh) * 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法
WO2023028769A1 (zh) * 2021-08-30 2023-03-09 Oppo广东移动通信有限公司 成像模组、成像系统、图像处理方法及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984300B2 (ja) * 2007-03-30 2012-07-25 富士フイルム株式会社 画像補正装置、画像補正方法、およびプログラム
JP2012165271A (ja) * 2011-02-08 2012-08-30 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP6156787B2 (ja) * 2012-07-25 2017-07-05 パナソニックIpマネジメント株式会社 撮影観察装置
JP6152938B2 (ja) * 2013-07-30 2017-06-28 パナソニックIpマネジメント株式会社 電子ミラー装置

Also Published As

Publication number Publication date
JP2016178600A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
US9443323B2 (en) Image processing apparatus, image processing method and recording medium
US8446485B2 (en) Image processing apparatus, image processing method, and storage medium thereof
US20150208001A1 (en) Imaging device, imaging method, and program
US20180309940A1 (en) Image processing apparatus, image processing method, and imaging system
CN109639959B (zh) 图像处理装置、图像处理方法以及记录介质
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2017123020A (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
US9736394B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer-readable recording medium
JP6550827B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102562720B1 (ko) 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법
JP7292905B2 (ja) 画像処理装置及び画像処理方法、及び撮像装置
KR20130005883A (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
JP2015192338A (ja) 画像処理装置および画像処理プログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US20190052791A1 (en) Image processing apparatus and image processing method
JP6718256B2 (ja) 画像処理装置、撮像装置およびそれらの制御方法ならびにプログラム
JP6808482B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6060552B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2011182336A (ja) 撮像装置及びその制御方法
JP5765599B2 (ja) 撮像装置、画像処理方法及びプログラム
CN112911161A (zh) 图像处理装置、图像处理方法、摄像装置和存储介质
JP5471510B2 (ja) 撮像装置、画像処理方法及びプログラム
US10334161B2 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
JP5962076B2 (ja) 撮像装置、画像処理方法及びプログラム
JP7462464B2 (ja) 画像処理装置および方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6550827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150