JP4544064B2 - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP4544064B2 JP4544064B2 JP2005201663A JP2005201663A JP4544064B2 JP 4544064 B2 JP4544064 B2 JP 4544064B2 JP 2005201663 A JP2005201663 A JP 2005201663A JP 2005201663 A JP2005201663 A JP 2005201663A JP 4544064 B2 JP4544064 B2 JP 4544064B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- pixel
- imaging
- appropriate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
このようなデジタルカメラには、合成画像の階調を圧縮する際に、合成画像の階調数と出力画像の階調数との比に基づき定まる直線と、合成画像の輝度分布を示すヒストグラムとを合成した合成曲線に基づき階調変換テーブルを作成し、この階調変換テーブルを参照して階調を圧縮するものがある(例えば、特許文献1参照。)。
また、合成画像の階調の圧縮時において、デジタルデータである合成画像の補正方法としてRetinex処理がよく知られている。Retinex処理には各種の変形例が考えられており、画像の補正方法として広く用いられている(例えば、特許文献2参照。)。
しかし、合成画像には、重要な被写体が合成画像内に複数存在する場合や、背景に輝度が均一な比較的広い領域が存在する場合があり、このような場合にまで同じ階調変換テーブルを用いると、合成画像によってはユーザが望む圧縮画像で出力できないという問題があった。
ここで、適正輝度範囲とは、撮像した際に露出が適正であると認められる画素において許容される輝度値の範囲をいう。
また、本発明によれば、合成される画像が撮像されたときの特徴をできるだけ残しつつ、合成画像が適正な露出に近づくようにすることができる。
<撮像装置の構成>
図1は、撮像装置1の構成を示すブロック図である。
撮像装置1は、集光して被写体の画像を結像するための光学系11と、光学系11により結像された画像を取り込むためにデジタル化する光電変換部12と、ストロボ発光させるストロボ発光部13と、ズーム調節を行うズーム駆動部14と、焦点を調節するフォーカス駆動部15と、光学系11により結像された画像を表示させる表示部16と、操作入力を行う操作入力部17と、各部の動作制御を行う制御部20と、を備えている。
光学系11、光電変換部12、ストロボ発光部13、ズーム駆動部14、フォーカス駆動部15等により撮像手段が構成されている。
メモリ22には、処理プログラムが展開され、当該プログラムに基づく処理を行う作業エリア23と、各部の動作制御に関する処理プログラムが記憶されたプログラムエリア24と、光学系11により結像され、光電変換部12によりデジタル化された画像の画像データや被写体の撮像にあたり適正な露出の範囲と認められる画素の輝度範囲を記憶するデータエリア25が形成されている。
また、制御部20には、外付けの外部メモリ26が接続されており、画像データを記憶させることができるようになっている。
プログラムエリア24には、異なる露出で撮像された、例えば、シャッタースピードの異なる二つの画像データを比較して被写体の画像内における位置の変化を抽出する位置変化抽出プログラム24aが記憶されている。すなわち、CPU21が位置変化抽出プログラム24aを実行することにより、制御部20は位置変化抽出手段として機能する。
また、プログラムエリア24には、各撮像画像を合成して一つの合成画像を作成する画像合成プログラム24bが記憶されている。すなわち、CPU21が画像合成プログラム24bを実行することにより、制御部20は画像合成手段として機能する。
また、プログラムエリア24には、画像合成プログラム24bにより合成された合成画像を出力に合わせて圧縮する画像圧縮プログラム24cが記憶されている。すなわち、CPU21が画像圧縮プログラム24cを実行することにより、制御部20は画像圧縮手段として機能する。
また、プログラムエリア24には、画像圧縮プログラム24cにより圧縮された圧縮画像に画像処理を施す画像処理プログラム24dが記憶されている。
また、画像圧縮プログラム24cは、合成画像の所定画素を注目画素として、当該注目画素の周辺画素の輝度に基づいて注目画素の輝度を補正する輝度補正プログラム24gを有する。すなわち、CPU21が輝度補正プログラム24gを実行することにより、制御部20は輝度補正手段として機能する。
また、画像圧縮プログラム24cは、合成画像における画素の輝度が、データエリア25に記憶された適正輝度範囲である場合には、当該画素の画素データは、輝度補正プログラム24gにより補正された輝度と適正な露出で撮像された画素の輝度との間の輝度に相当する値とし、合成画像における画素の輝度が、データエリア25に記憶された適正輝度範囲でない場合には、当該画素の画素データは、輝度補正プログラム24gにより補正された輝度に相当する値とする画素データ決定プログラム24hを有する。すなわち、CPU21が画素データ決定プログラム24hを実行することにより、制御部20は画素データ決定手段として機能する。
撮像装置1による撮像処理について説明する。
図1及び図4に示すように、ユーザが操作入力部17を構成する撮像ボタンを押下すると、光学系11が捉えているシーンが光電変換部12に集光され、光電変換部12はデジタル画像を作成する。このとき、光電変換部12が有する電子シャッタや光学系11が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる(ステップS1:撮像工程)。
次いで、CPU21は、位置変化抽出プログラム24aを実行することにより、露出の異なる二つの画像から被写体の画像内における位置の変化を抽出する(ステップS2:位置変化抽出工程)。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、KLT法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。
ここで、図6及び図7を用いて、合成画像の圧縮処理について説明すると、CPU21が輝度算出プログラム24fを実行することにより、制御部20は輝度算出部101として機能し、合成画像の各画素の輝度を算出する(ステップS41:輝度算出工程)。次いで、CPU21が輝度補正プログラム24gを実行することにより、制御部20は輝度補正部102として機能し、合成画素の所定画素を注目画素として、注目画素の周辺の周辺画素を用いて輝度補正を行う(ステップS42:輝度補正工程)。輝度補正の方法としては、例えば、公知の方法であるRetinex処理のシングルスケール網膜法を用いる。Retinex処理は、視覚をモデル化して注目画素に対して周辺画素の情報を加味する画素データの補正方法であり、画像の明暗部、すなわち、輝度の違いに応じて、画像の各部でゲイン調整が変わるため、ダイナミックレンジが拡大された合成画像を効果的に圧縮することができる。Retinex処理による輝度補正は、注目画素の輝度成分Y(x、y)と周辺視野関数F(x、y)とした場合に、以下の式(1)で表される。
Yr=logY(x、y)−log{Fn(x、y)*Y(x、y)}・・・(1)
ここで、周辺視野関数F(x、y)は、rを注目画素と周辺画素の距離、cをスケール変数とした場合に、以下の式(2)で表される。
F(x、y)=Ke−r2/c2 ・・・(2)
なお、Kは、周辺視野関数の合計が1になるように定められる。
式(1)による結果を式(3)により正規化し、出力とする。ここで、uはゲイン、vはオフセットであり、出力の輝度信号のビット数等により決定される。
Yout=uYr+v ・・・(3)
具体的には、CPU21は、注目画素の輝度が適正な露出で撮像された画素データの適正輝度の範囲内にあるか否かを判断する(ステップS43)。これは、適正な露出で撮像された画像に近い自然な出力画像を作成するためである。
ここで、適正輝度を有する画素データは、図5におけるPaであり、実際に適正露出で撮像しなくとも適正な露出の条件がわかっていれば合成画像のどの部分に当たるかを推測することができる。
ステップS43において、CPU21が注目画素の輝度が適正輝度の範囲内にあると判断した場合(ステップS43:YES)、CPU21は、Retinex処理により補正された輝度と適正な露出の画素の輝度の平均を算出し、その平均値を画素データに決定する(ステップS44:画素データ決定工程)。平均値の算出においては、単純に平均を算出してもよいし、補正された輝度又は適正な露出の画素の輝度に予めユーザにより設定された重み係数を用いて重みづけをして平均を算出してもよい。具体的には、重みづけは、画素データの処理の度合いを強めたい場合には、補正された輝度に近づくように補正された輝度に重みづけをするように平均し、逆に、画素データの処理の度合いを弱めたい場合には、適正な露出の輝度に近づくように適正な露出の輝度に重みづけをするように平均する。
次いで、CPU21は、合成画像の輝度と表示部16の出力レンジに合わせて圧縮された圧縮画像の輝度との輝度比を算出し(ステップS45)、続いて、CPU21は、算出された輝度比を合成画像の画素データに乗じて(ステップS46)、画像の圧縮処理を終了させる。
例えば、合成画像中に輝度が等しい二つの注目画素P1,P2があるとする。この場合において、注目画素の輝度だけを見て画素データの補正を行うと、注目画素P1,P2の補正後の画素データは、ともに同じ値の画素データとなる。しかし、周辺画素を考慮して画素データの補正を行うと、図5に示すように、周囲画素の輝度の差によって補正後の画素データが異なってくる。これにより、補正後の画像の精度劣化を低減することができる。
さらに、注目画素P1,P2の輝度が、適正な露出で撮像された画素データの輝度の範囲内である場合には、平均又は重みづけ平均により、注目画素P1,P2の画素データは、補正された輝度と適正な露出で撮像された画素データの輝度との間に相当する値に決定される。これにより、画素データは適正輝度に近づく方向に補正されるので、作成される圧縮画像を自然な状態の画像に近づけることができる。
次いで、CPU21は、画像処理後の出力画像を表示部16に表示させて(ステップS6)、本処理を終了させる。なお、表示部16に表示された出力画像は、ユーザの判断によりデータエリア25又は外部メモリ26に記憶できるようにしてもよいし、出力画像を作成した段階でデータエリア25又は外部メモリ26に強制的に記憶させてもよい。
実施形態によれば、露出の異なる複数の画像を撮像し、CPU21による位置変化抽出プログラム24aの実行により、撮像された画像から被写体の画像内における位置の変化を抽出する。そして、CPU21による画像合成プログラム24bの実行により、二つの撮像画像を合成して一つの合成画像を作成する。このとき、位置変化抽出プログラム24aにより抽出された位置の変化に基づき、各画素の位置を合わせた状態で合成が行われる。
作成された合成画像は、CPU21による画像圧縮プログラム24cの実行により表示部16の出力レンジに合わせて圧縮されるが、圧縮処理においては、CPU21による輝度算出プログラム24fの実行により、合成画像の各画素の輝度を算出し、CPU21による輝度補正プログラム24gの実行により、合成画像のうち、所定位置の画素を注目画素とし、この注目画素の周辺に存在する周辺画素の輝度に基づいて注目画素の輝度を補正する。
そして、CPU21による画素データ決定プログラム24hの実行により、合成画像における画素の輝度が予め設定された適正輝度範囲内にある場合には、当該画素の画素データは、輝度補正プログラム24gにより補正された輝度に相当する値と予め設定された適正な露出における輝度に相当する値の間の値とし、合成画像における画素の輝度が、適正輝度範囲内にない場合には、当該画素の画素データは、輝度補正プログラム24gにより補正された輝度に相当する値とする。
また、画素データがデータエリア25に記憶された適正な輝度範囲内にある場合は、適正な輝度範囲内の画素データを考慮して圧縮後の画素データが決定されるため、画像データは、撮像されたときの特徴をできるだけ残しつつ、適正な露出に近づくように補正されるので、ユーザが望む圧縮画像を出力することができる。
なお、本発明は上記実施形態に限られるものではない。上記実施形態においては、異なる露出で撮像され、合成される画像を二つとしたが、三つ以上の画像を合成するものであってもよい。その場合、露出補正値は、最も露出の長い画像を基準として、他の画像の露出補正値を算出すればよい。
また、合成画像の画像データの圧縮を撮像装置で行うものに限らず、合成画像の画像データをパーソナルコンピュータに送信し、パーソナルコンピュータで圧縮処理を行ってもよい。
その他、発明の範囲内で自由に設計変更が可能である。
11 光学系(撮像手段)
12 光電変換部(撮像手段)
13 ストロボ発光部(撮像手段)
14 ズーム駆動部(撮像手段)
15 フォーカス駆動部(撮像手段)
17 操作入力部
20 制御部(位置変化抽出手段、画像合成手段、画像圧縮手段、輝度算出手段、輝度補正手段、画素データ決定手段)
101 輝度算出部(輝度算出手段)
102 輝度補正部(輝度補正手段)
103 出力輝度演算部(画素データ決定手段)
Claims (4)
- 撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段と、
適正な輝度範囲を記憶した記憶手段と、
前記合成画像を圧縮する画像圧縮手段と、
前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第1の輝度に補正する第1の輝度補正手段と、
前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第1の輝度が前記適正輝度範囲内にある場合に、前記第1の輝度を、当該第1の輝度と適正露出が得られる輝度とに基づく第2の輝度に補正する第2の輝度補正手段と、
を備えることを特徴とする撮像装置。 - 前記第2の輝度補正手段は、
前記第1の輝度が前記輝度範囲内にある場合に、前記第1の輝度を、当該第1の輝度と適正露出が得られる輝度との重み平均である第2の輝度に補正する
ことを特徴とする請求項1記載の撮像装置。 - 撮像手段と、適正な輝度範囲を記憶した記憶手段とを備える撮像装置による撮像方法であって、
前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成ステップと、
前記合成画像を圧縮する画像圧縮ステップと、
前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第1の輝度に補正する第1の輝度補正ステップと、
前記画像圧縮ステップにおいて前記合成画像が圧縮されるときに、前記第1の輝度が前記適正輝度範囲内にある場合に、前記第1の輝度を、当該第1の輝度と適正露出が得られる輝度とに基づく第2の輝度に補正する第2の輝度補正ステップと、
を含むことを特徴とする撮像方法。 - 撮像手段と、適正な輝度範囲を記憶した記憶手段とを備えるコンピュータを、
前記撮像手段により撮像された露出の異なる画像を合成して、合成画像を生成する画像合成手段、
前記合成画像を圧縮する画像圧縮手段、
前記画像圧縮手段により前記合成画像が圧縮されるときに、前記合成画像における注目画素の輝度を、前記注目画素の輝度と周辺画素の輝度とに基づく第1の輝度に補正する第1の輝度補正手段、
前記画像圧縮手段により前記合成画像が圧縮されるときに、前記第1の輝度が前記適正輝度範囲内にある場合に、前記第1の輝度を、当該第1の輝度と適正露出が得られる輝度とに基づく第2の輝度に補正する第2の輝度補正手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005201663A JP4544064B2 (ja) | 2005-07-11 | 2005-07-11 | 撮像装置、撮像方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005201663A JP4544064B2 (ja) | 2005-07-11 | 2005-07-11 | 撮像装置、撮像方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007020071A JP2007020071A (ja) | 2007-01-25 |
JP2007020071A5 JP2007020071A5 (ja) | 2008-07-24 |
JP4544064B2 true JP4544064B2 (ja) | 2010-09-15 |
Family
ID=37756795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005201663A Expired - Fee Related JP4544064B2 (ja) | 2005-07-11 | 2005-07-11 | 撮像装置、撮像方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4544064B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5133085B2 (ja) * | 2007-04-18 | 2013-01-30 | パナソニック株式会社 | 撮像装置および撮像方法 |
US8144214B2 (en) | 2007-04-18 | 2012-03-27 | Panasonic Corporation | Imaging apparatus, imaging method, integrated circuit, and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002223355A (ja) * | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 画像処理装置および画像処理プログラムを記録した記録媒体 |
JP2003230022A (ja) * | 2002-02-01 | 2003-08-15 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2005004510A (ja) * | 2003-06-12 | 2005-01-06 | Minolta Co Ltd | 画像処理プログラム |
-
2005
- 2005-07-11 JP JP2005201663A patent/JP4544064B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002223355A (ja) * | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 画像処理装置および画像処理プログラムを記録した記録媒体 |
JP2003230022A (ja) * | 2002-02-01 | 2003-08-15 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2005004510A (ja) * | 2003-06-12 | 2005-01-06 | Minolta Co Ltd | 画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2007020071A (ja) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5365823B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP4519708B2 (ja) | 撮影装置および方法並びにプログラム | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
JP5205968B2 (ja) | 階調補正方法、階調補正装置、階調補正プログラム及び画像機器 | |
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP6074254B2 (ja) | 画像処理装置およびその制御方法 | |
JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
JP5610245B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
US10237488B2 (en) | Image capturing apparatus and image capturing method | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
CN114979500A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
JP4622711B2 (ja) | 画像合成装置、画像合成方法、及び、プログラム | |
JP5713643B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP4544064B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5609788B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5693099B2 (ja) | 画像処理装置、画像処理方法、放射線撮影システム及びプログラム | |
JP4359662B2 (ja) | カラー画像の露出補正方法 | |
JP2006114006A (ja) | 階調変換装置、プログラム、電子カメラ、およびその方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP5609787B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2002223355A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
JP2004140692A (ja) | 画像補正装置および画像補正方法 | |
JP5103984B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP2012191265A (ja) | 画像処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4544064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |