JP3974633B1 - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP3974633B1 JP3974633B1 JP2006150689A JP2006150689A JP3974633B1 JP 3974633 B1 JP3974633 B1 JP 3974633B1 JP 2006150689 A JP2006150689 A JP 2006150689A JP 2006150689 A JP2006150689 A JP 2006150689A JP 3974633 B1 JP3974633 B1 JP 3974633B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- noise
- pixel
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 30
- 239000000203 mixture Substances 0.000 abstract description 27
- 238000000034 method Methods 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】撮像装置10は、光学系11および撮像素子12により露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影し、信号処理部13の信号処理後、CPU14で2枚の差分画像から閾値によってエッジ・ブレとノイズを切り分けて、画像の合成比率を変化させて合成することにより、ブレのないノイズ低減を図った画像を形成する。この閾値は、画像データの大小に応じて変えることで、いっそうのノイズ低減効果を図る。
【選択図】図1
Description
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。
たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。
そして、撮像装置10は、位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像の画素の出力レベルに関連して決まる閾値Thを越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、一方、画素毎の値が閾値Th以下の場合は第2の画像の合成比率を高くして、画像を合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。
本実施形態の信号処理部13は、光学系11と撮像素子12における各撮影データから輝度信号部分を抽出する機能と、輝度信号Yのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。
信号処理部13は、各撮影データに応じたフィルタリング処理後の画像をメモリ15に格納する。
CPU14は、差分画像から閾値Thを用いて、エッジ・ブレ成分とノイズ成分を切り分け、エッジもしくはブレと判断した部分はブレのない短時間露光の画像の比率を高くし、それ以外の部分はノイズの少ない長時間露光の画像の比率を高くして合成することにより、ブレがなく、かつノイズ低減をはかる。その際、CPU14は、短時間露光の画像の画素毎の出力レベルが大きいか小さいかで閾値Thを変える。
この構成により、撮像装置10は、異なる露出条件の少ない画像枚数でブレのない、かつよりノイズを抑えた画像を生成することができる。
より具体的には、CPU14は、異なる露出条件で撮影した複数枚画像間のブレ量を検出して補正する補正機能と位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像のその画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成する合成機能とを有している。
CPU14は、たとえば補正機能において、位置ズレを補正処理した各画像の差分画像(短時間露出画像S1―長時間画像露出S2)の絶対値を算出する。
この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
CPU14は、エッジからの距離が大きくなるに従い、長時間露光のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露光の解像感が高い画像の比率が大きくなるように設定する。
たとえば、エッジ部分およびエッジ近傍は、短時間露光の画像の比率を100%とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で50%ずつの比率とすればよい。
そして、CPU14は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。
CPU14は、処理後の画像データをメモリ15に格納する。
図2(a)は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが感度を上げたため画像全体にノイズがのったものである。
図2(b)は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるがノイズの少ない画像である。図2(c)は図2(a),(b)を合成した画像である。
複数枚の画像は連続して撮影しても図2(a)〜(c)に示すように、撮影間で位置ズレを生じる。
ここではGr成分のみで差分を行っているが、その他のR、B、Gbで行ってもよい。本実施形態においては、複数枚の画像撮影間の位置ズレを補正した後で差分をとっており、短時間露光のエッジとノイズ、長時間露光のブレを含んだ画像となる。この差分画像からエッジ・ブレ成分とノイズ成分を閾値Thにより切り分ける。
図4(b)に示すように、差分画像にはエッジ・ブレとノイズ成分が残る。エッジから所定距離以上離れると比較的変化の少ない画像となる。
図3の説明のように、差分画像は短時間露光のエッジとノイズ、長時間露光のブレを抽出した画像となる。これを画素毎にあらかじめ設定した閾値Thにより切り分け、信号が閾値よりも大きい画素はエッジ・ブレと判断し、短時間露光の合成比率を大きくする。
信号が閾値Thよりも小さい画素はノイズと判断し、長時間露光の合成比率を大きく設定する。個々の画素で合成比率を設定して、その比率に基づいて2枚の画像の合成を行う。背景の一様な面ではノイズが目立ちやすいが、この処理を行うことによりノイズの低減が図れる。
したがって、上記の閾値Thが一様であると、暗いところではノイズ成分を切り分けることができたが、明るいところではエッジと見なしてしまうことがある。
たとえば、明るい壁などの一様な面では、差分画像の値が閾値を超えてしまいノイズをエッジと見なしてしまうことで、短時間露光の合成比率を高く設定してしまい、ノイズの低減効果が発揮できない。
ノイズの多い短時間露光の画像とブレが生じた長時間露光の画像の差分をとると、エッジ・ブレ成分とノイズ成分が残る。
この差分画像より合成比率を設定する際、閾値ThAを一様に適用すると暗い部分のノイズは抑えることができるが、明るい部分ではノイズ成分を切り分けきれずに短時間露光の合成比率を高く設定してしまう。
また、閾値ThAより大きいThBを適用すると、明るい部分のノイズ成分まで抑えることはできるが、エッジ・ブレ成分まで切り捨ててしまうことが起こる。この場合、ブレを除去しきれない。
そこで、本発明は短時間露光画像(第1の画像)を参照し、当該画素のデータの大小により閾値を変えることを特徴とする。
前者の場合には閾値をTh1とし、後者の場合には閾値をTh2とする。このとき、それぞれの値はTh1<Th2となるような値にする。
差分画像より画素毎に合成比率設定を行う際、短時間画像での対象画素の出力を参照し、その値が2047以下であれば閾値をTh1として、差分画像の対象画素のデータxとTh1を比較し、x>Th1のときは短時間画像の合成比率を高く、x<Th1であれば長時間露光の合成比率を高くする。
一方、短時間画像での対象画素の値が2048以上であれば閾値をTh2とし、x>Th2のときは短時間画像の合成比率を高く、x<Th2であれば長時間露光の合成比率を高くする。
この処理を差分画像の全画素に対して行い、合成比率を設定した上で、その比率に従って画像を行う。ここでは短時間露光画像の出力に応じて閾値を2通りに分けたが、3通り以上の値に分けてもよい。
まず、CPU14の制御の下、光学系11および撮像素子12を撮影するために駆動し、ステップST1において、CCD感度の高い状態、すなわちノイズが多いがシャッター速度の速い短時間露光撮影を行う。
次に、ステップST2において、CCD感度を変えてノイズは少ないが露光時間の長い撮影を行う。
ステップST3において、撮影データからGr成分を抽出し、ステップST4において、信号のノイズ成分を除去するフィルタ処理を行う。フィルタ処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどがある。
次に、ステップST5において、ステップST4で処理された各画像の位置ズレを検出し、補正する。ここではズレを検出・補正する方法は問わない。
ステップST6において、位置ズレを補正処理した各画像の差分画像(短時間露光画像S1―長時間画像露光S2)の絶対値を算出する。この画像は短時間露光の画像から長時間露光のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
この差分画像を使って画素毎に合成比率を設定する。
そして、ステップST7において、短時間露光画像の対象画素データxが2047以下か2048以上かの判定を行い、その判定結果に応じて閾値としてTh1かTh2を適用する。
前者(2047以下)のときは、ステップST8において差分画像の対象画素の値ΔSと設定した閾値Th1を比較する。一方、後者(2048以上)の場合は、ステップST9において、差分画像の対象画素の値ΔSと設定した閾値Th2を比較する。
そして、ΔSがTh1もしくはTh2より小さければ長時間露光の合成比率を高く設定する(ST10,ST11)。反対にΔSがTh1もしくはTh2より大きければ短時間露光の合成比率を高く設定する(ST12,ST13)。
ステップST14において、この比率設定を全画素に対して行い、ステップST15において、この比率を基に2枚の画像の合成を行う。
この比率設定を全画素に対して行い(ST14)、この比率を基に2枚の画像の合成を行う(ST15)。
これは、撮影時に設定されたセンサの信号に対するゲイン倍率によって、閾値Thの値を変えるというものである。
暗い被写体などでは、撮影時のISO感度が高く設定され、センサの出力に対するゲイン倍率が高くなる。ゲインが高くなればノイズが多くなるため、ゲイン倍率に対応して差分画像によるエッジとノイズの切り分け閾値を変えるようにする。
この形式で扱われる信号は、輝度信号Y、色差信号U、および色差信号Vである。これらの信号YUVのうち、解像度を決める要素としてY信号成分が大きく影響する。
画像圧縮の原理としてJPEGなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Yの画像合成を行うことによりノイズの大きな低減効果が図ることができる。
この場合、YUVのY成分のみでノイズ除去を行うことで処理時間の短縮を図っている。
Claims (10)
- 異なる露出条件で撮影した複数枚の撮影画像を合成する機能を有する撮像装置であって、
前記複数枚の画像間のブレ量を検出して補正する補正手段と、
前記補正手段の検出結果を基に位置ズレを補正した複数枚の画像を合成する合成手段と、を有し、
前記合成手段は位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとり、画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くし、画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成し、
前記第1の画像は、ノイズはあるが解像度が高い画像を含む
撮像装置。 - 前記第2の画像は、解像度は低いがノイズの少ない画像を含む
請求項1記載の撮像装置。 - 前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともG成分に基づいて行う
請求項1または2記載の撮像装置。 - 前記合成手段は、画像の合成を輝度信号Y、色差信号U,Vのうち、少なくとも輝度信号に基づいて行う
請求項1または2記載の撮像装置。 - 前記合成手段は、エッジからの距離が大きくなるに従い、長時間露光による前記第2の画像の比率を大きくし、エッジ部分は短時間露光による前記第1の画像の比率が大きくなるように設定する
請求項1から4のいずれか一に記載の撮像装置。 - 前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、前記第1の画像の比率を大きくして画像を合成する
請求項5記載の撮像装置。 - 前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、前記第2の画像の比率を大きくして画像を合成する
請求項5または6記載の撮像装置。 - 前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である
請求項1から7のいずれか一に記載の撮像装置。 - 前記補正手段は、画像間のブレ量を複数枚の画像の差分画像から抽出する
請求項1から8のいずれか一に記載の撮像装置。 - 異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、
前記複数枚の画像間のブレ量を検出して補正する第1ステップと、
検出結果を基に位置ズレを補正した複数毎の画像を合成する第2ステップと、を有し、
前記第2ステップは、
位置ずれを補正した第1の画像と第2の画像より画素毎に差分をとるステップと、
画素毎の値が第1の画像の当該画素の出力レベルに関連して決まる閾値を越える場合はその画素を画像のエッジと判断して第1の画像の合成比率を高くして合成するステップと、
画素毎の値が前記閾値以下の場合は第2の画像の合成比率を高くして画像を合成するステップと、を含み、
前記第1の画像は、ノイズはあるが解像度が高い画像を含む
撮像方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006150689A JP3974633B1 (ja) | 2006-05-30 | 2006-05-30 | 撮像装置および撮像方法 |
PCT/JP2006/325061 WO2007077719A1 (ja) | 2005-12-27 | 2006-12-15 | 撮像装置およびその画像処理方法 |
US12/159,587 US8115818B2 (en) | 2005-12-27 | 2006-12-15 | Imaging device and image processing method of same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006150689A JP3974633B1 (ja) | 2006-05-30 | 2006-05-30 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3974633B1 true JP3974633B1 (ja) | 2007-09-12 |
JP2007324770A JP2007324770A (ja) | 2007-12-13 |
Family
ID=38556253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006150689A Expired - Fee Related JP3974633B1 (ja) | 2005-12-27 | 2006-05-30 | 撮像装置および撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3974633B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724129A (zh) * | 2020-05-25 | 2021-11-30 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质以及终端设备 |
CN114127506A (zh) * | 2019-07-04 | 2022-03-01 | 三菱电机株式会社 | 移动体测位装置和移动体测位系统 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5183297B2 (ja) * | 2008-05-19 | 2013-04-17 | 三洋電機株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
JP2010141653A (ja) | 2008-12-12 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
JP5261765B2 (ja) * | 2008-12-12 | 2013-08-14 | 株式会社ザクティ | 撮像装置及び撮像方法 |
JP2010166558A (ja) | 2008-12-19 | 2010-07-29 | Sanyo Electric Co Ltd | 撮像装置 |
JP5220657B2 (ja) | 2009-02-26 | 2013-06-26 | オリンパス株式会社 | 撮像装置及び画像処理プログラム |
KR101605129B1 (ko) | 2009-11-26 | 2016-03-21 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체 |
JP2011199786A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置及び画像処理方法並びにプログラム |
JP5505072B2 (ja) * | 2010-05-12 | 2014-05-28 | 株式会社リコー | 画像データ処理装置および画像データ処理方法 |
US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
JP5602530B2 (ja) * | 2010-07-29 | 2014-10-08 | 日立Geニュークリア・エナジー株式会社 | 目視検査装置及び目視検査用映像の作成方法 |
WO2012137437A1 (ja) | 2011-04-08 | 2012-10-11 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
JP5634420B2 (ja) | 2012-02-24 | 2014-12-03 | 株式会社東芝 | 画像処理装置及び固体撮像装置 |
JP5978949B2 (ja) | 2012-03-16 | 2016-08-24 | 富士通株式会社 | 画像合成装置及び画像合成用コンピュータプログラム |
KR102649220B1 (ko) | 2017-02-06 | 2024-03-20 | 삼성전자주식회사 | 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법 |
-
2006
- 2006-05-30 JP JP2006150689A patent/JP3974633B1/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114127506A (zh) * | 2019-07-04 | 2022-03-01 | 三菱电机株式会社 | 移动体测位装置和移动体测位系统 |
CN113724129A (zh) * | 2020-05-25 | 2021-11-30 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质以及终端设备 |
CN113724129B (zh) * | 2020-05-25 | 2024-02-13 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质以及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2007324770A (ja) | 2007-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3974633B1 (ja) | 撮像装置および撮像方法 | |
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP3974634B2 (ja) | 撮像装置および撮像方法 | |
WO2007077719A1 (ja) | 撮像装置およびその画像処理方法 | |
JP4900401B2 (ja) | 撮影装置およびプログラム | |
JP5612017B2 (ja) | カメラの手ぶれ低減システム | |
JP2001103366A (ja) | カメラ | |
WO2007074774A1 (ja) | ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP4606486B2 (ja) | 画像処理装置および撮影装置 | |
JP5861924B2 (ja) | 撮像装置 | |
JP2006262220A (ja) | 撮像装置 | |
JP2007324856A (ja) | 撮像装置、撮像制御方法 | |
JP4947576B2 (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
JP2008236739A (ja) | 撮像装置および撮像方法 | |
JP5760654B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004328606A (ja) | 撮像装置 | |
JP2006262221A (ja) | 撮像装置および画像処理方法 | |
JP5179859B2 (ja) | 撮像装置及び撮像方法 | |
JP6029464B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5482427B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP5316098B2 (ja) | 撮像装置、撮像方法、および、プログラム | |
JP2006262222A (ja) | 撮像装置 | |
JP5871590B2 (ja) | 撮像装置、及びその制御方法 | |
JP2003018450A (ja) | 静止画撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070614 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |