JP5521836B2 - 撮像装置及び画像処理装置 - Google Patents

撮像装置及び画像処理装置 Download PDF

Info

Publication number
JP5521836B2
JP5521836B2 JP2010153119A JP2010153119A JP5521836B2 JP 5521836 B2 JP5521836 B2 JP 5521836B2 JP 2010153119 A JP2010153119 A JP 2010153119A JP 2010153119 A JP2010153119 A JP 2010153119A JP 5521836 B2 JP5521836 B2 JP 5521836B2
Authority
JP
Japan
Prior art keywords
image data
addition
intensity
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010153119A
Other languages
English (en)
Other versions
JP2012015959A (ja
Inventor
慶光 高木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2010153119A priority Critical patent/JP5521836B2/ja
Publication of JP2012015959A publication Critical patent/JP2012015959A/ja
Application granted granted Critical
Publication of JP5521836B2 publication Critical patent/JP5521836B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2355Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by increasing the dynamic range of the final image compared to the dynamic range of the electronic image sensor, e.g. by adding correct exposed portions of short and long exposed images

Description

本発明は、撮像装置及び画像処理装置に関し、より詳細には、被写体の動きに対して的確なノイズ除去処理を実行する、撮像装置及び画像処理装置に関する。

周知のように、撮像装置であるデジタルカメラは広く一般に浸透している。そして、デジタルカメラの撮像能力に対する市場の要求は極めて高い。市場では常に、従来より鮮明で美しい画像が撮影できるデジタルカメラが求められている。
デジタルカメラが鮮明で美しい画像を撮影するためには、大別して二つのアプローチがある。一つは、撮像素子自体の技術革新である。もう一つは、撮像した画像データを加工する技術である。

一般的に、デジタルカメラを用いて、暗い場所で何らかの被写体を撮影すると、画像データにノイズが乗り易くなる。本来滑らかである筈の被写体の表面はノイズで荒れてしまい、撮影画像の美観が損なわれる。
このような撮影画像中のノイズを除去して、鮮明で美しい画像を得るための手法として、「連写加算ノイズリダクション」という技術がある。

連写加算ノイズリダクションとは、(1)先ず、短時間に連続して撮影(連写)して複数枚の静止画データを得て、(2)次に一枚目の静止画データに対して二枚目以降の静止画データを位置合わせしながら加算することで、ノイズを除去した一枚の静止画データを得る、という方法である。特許文献1には、この連写加算ノイズリダクションに関する技術内容が開示されている。

特開2009−104284号公報

特許文献1等に代表される従来技術の連写加算ノイズリダクションの多くは、画像データ同士の位置合わせを実現する技術として、周知のブロックマッチングという技術を用いる。
ブロックマッチングは、一般的な風景や人物の撮影には良好に作用する。しかし、ブロックマッチングの基本は、画像内のテクスチャ、つまり色彩及び明度(コントラスト)の変化のパターンの類似度を探す、という処理である。このことは、ブロックマッチングが画像内のテクスチャに依存することを意味する。
そして、ブロックマッチングはテクスチャが平坦な画像に弱い、ということも言える。表面の凹凸が極めて少なく、且つ、光源の光を明瞭に反射できるほど滑らかな面ではない撮影対象の場合、デジタルカメラにとってテクスチャの認識は極めて難しい。
このようなテクスチャが極めて少ない被写体は、例えば、乳幼児の顔がこれに該当する。

デジタルカメラの撮影枠内に乳幼児の顔が大きめに占有している状態で、連写加算ノイズリダクションを実行すると、作成された画像データにブロックノイズのような加算失敗に因る画像ムラを生じる可能性があった。乳幼児は動きがちな被写体であるから、ブロックマッチングは被写体の動きベクトルを、画像全体の中で被写体が移動していることを示す情報、つまり「ローカルモーション」として捉えられなければならない。しかし、被写体のテクスチャが乏しいために、画像全体が移動していることを示す情報、つまり「グローバルモーション」として誤認識してしまう場合があり、これが加算失敗に因る画像ムラを生じる原因であった。

加算失敗に因る画像ムラを防ぐには、ブロックマッチングをより緻密に行う、という手法が考えられる。しかし、元来、ブロックマッチングは膨大な演算処理である。そしてデジタルカメラは可搬型の典型的な組み込みシステム(マイクロコンピュータシステム)に属する。したがって、パーソナルコンピュータ(以下「パソコン」)等の高速な演算処理は望めない。デジタルカメラは、限られた演算能力及び消費電力の範囲内で、このような課題を解決しなければならない。

本発明はかかる課題を解決し、極めて少ない演算処理を追加するだけで、ブロックマッチングが苦手とする被写体に対しても効果的に連写加算ノイズリダクションを実行でき、その際に加算失敗に因る画像ムラを生じ難く、殆どの被写体に対して良好な静止画像データの撮影を実現する、撮像装置及び画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、所定の撮影指令を受けて、被写体を連続して撮影して複数枚の画像データを出力する撮影処理部と、複数枚の画像データを記憶する画像メモリと、この画像メモリから画像データを順次読み出して、1枚目の画像データと2枚目以降の画像データとの間の変化に基づく加算強度を算出する加算強度算出部を備える。
また、加算強度算出部が出力する前記加算強度を記憶する加算強度テーブルと、画像メモリから画像データを順次読み出して、1枚目の画像データと2枚目以降の画像データとの間の動きベクトルを出力する動き検出部と、画像メモリから画像データを順次読み出して、1枚目の画像データに対して2枚目以降の画像データを動き検出部が出力する動きベクトルと、加算強度テーブルから順次読み出す加算強度に基づいて加算処理を行う加算処理部を備える。
そして、加算強度算出部は、撮影処理部から得られる被写体とのフォーカス距離情報を参照して、このフォーカス距離情報が所定の値を下回る場合は、加算強度をフォーカス距離情報が所定の値以上の場合と比べて小さい値として算出するようにしている

予め、1枚目の画像データと2枚目以降の画像データとの間の変化に基づいて加算強度を算出しておく。連写加算処理を行う際、この加算強度で加算の度合いを変化させることで、加算失敗に起因する画像ムラの発生を防ぐ。

本発明によれば、極めて少ない演算処理を追加するだけで、ブロックマッチングが苦手とする被写体に対しても効果的に連写加算ノイズリダクションを実行でき、その際に加算失敗に因る画像ムラを生じ難く、殆どの被写体に対して良好な静止画像データの撮影を実現する、撮像装置及び画像処理装置を提供することができる。

はデジタルカメラの正面の外観図と、デジタルカメラの背面の外観図である。 デジタルカメラのハードウェアのブロック図である。 デジタルカメラの機能ブロック図である。 加算強度算出部の機能ブロック図である。 現像処理部の機能ブロック図である。 本実施形態のデジタルカメラの、連写加算ノイズリダクションを用いた撮影の動作の流れを示すフローチャートである。 加算強度算出部による加算強度算出処理の動作の流れを示すフローチャートである。 現像処理部による現像処理の動作の流れを示すフローチャートである。 デジタルカメラの機能ブロック図である。 画像処理装置の機能ブロック図である。

図1(a)はデジタルカメラの正面の外観図であり、図1(b)はデジタルカメラの背面の外観図である。
デジタルカメラ101は筐体102の正面に図示しないズーム機構及びフォーカス調整機構を内蔵する鏡筒103が設けられており、鏡筒103の中にはレンズ104が組み付けられている。また、鏡筒103の側にはストロボ105が設けられている。
筐体102の上側にはシャッターボタン106が設けられている。
筐体102の裏面にはファインダーを兼用する液晶ディスプレイモニタ107が設けられている。液晶ディスプレイモニタ107の右側には操作ボタン108が複数設けられている。
図示しない筐体102の下側には不揮発性ストレージであるフラッシュメモリを格納する蓋が設けられている。

本実施形態に係るデジタルカメラ101は、いわゆるデジタルスチルカメラであり、被写体を撮影して静止画像データを作成し、不揮発性ストレージに記録する。なお、デジタルカメラ101は動画撮影機能も備えているが、本実施形態では説明を割愛する。

図2は、デジタルカメラ101のハードウェアのブロック図である。
デジタルカメラ101は、一般的なマイクロコンピュータを構成する。
バス201には、デジタルカメラ101全体の制御に必要な、周知のCPU202、ROM203、RAM204が接続されている他、DSP205が接続されている。DSP205は、本実施形態で説明する連写加算ノイズリダクションを実現するために必要な、デジタル画像データという大量のデータに対する、大量の演算処理を担当する。

撮像素子206は、レンズ104によって結像される被写体が発する光を電気信号に変換する。撮像素子206が出力するアナログ信号は、A/D変換器207によってRGBのデジタル信号に変換される。
モータドライバ208によって駆動されるモータ209は、鏡筒103を通じてレンズ104を駆動し、ピントとズームの制御を行う。
ストロボ105はストロボドライバ210によって発光駆動される。
撮影されたデジタル画像データは、ファイルとして不揮発性ストレージ211に記録される。
パソコン等の外部機器と不揮発性ストレージ211に格納されているファイルの送受信を行うために、USBインターフェース212が設けられている。
表示部213は液晶ディスプレイモニタ107である。
操作部214はシャッターボタン106及び操作ボタン108である。

図3は、デジタルカメラ101の機能ブロック図である。
選択スイッチ301が画像メモリ302とデータ処理部303を接続させている時、被写体から発される光はレンズ104によって撮像素子206上に結像して、電気信号に変換される。変換された信号はA/D変換器207によってRGBのデジタル信号に変換された後、データ処理部303によってデータの並べ替えや欠陥補正、サイズ変更等の各種処理が行われて、選択スイッチ301を通じてRAM204内に構成される画像メモリ302に一旦蓄えられる。
画像メモリ302は連写加算ノイズリダクションを実施するために必要な撮影回数(枚数)分の記憶容量を備えている。一例として、本実施形態では6枚(n=6)とする。
以上、レンズ104、撮像素子206、A/D変換器207及びデータ処理部303は、生のデジタル画像データを形成して画像メモリ302に記憶させる、撮影処理部であるとも言える。

なお、選択スイッチ301は明示的にハードウェアとして存在する訳ではなく、デジタル画像データの流れを明示的に説明するために設けた、概念的な存在である。

選択スイッチ301には、本発明において重要な構成要素の一つである、加算強度算出部304も接続されている。
選択スイッチ301が画像メモリ302と加算強度算出部304を接続させている時、加算強度算出部304は、画像メモリ302に記憶された6枚分のデジタル画像データを順次読み込み、1枚目のデジタル画像データに対して2枚目以降のデジタル画像データがどの程度変化を生じているのかを大まかに検出する。そして、得られた値に基づいて、後述する現像処理部305に対し、加算処理の際にどの程度加算すべきかを示す「加算強度」という係数を作成する。作成した加算強度は、RAM204内に構成される加算強度テーブル306に順次記憶させる。

選択スイッチ301には、現像処理部305も接続されている。
選択スイッチ301が画像メモリ302と現像処理部305を接続させている時、現像処理部305は、画像メモリ302に記憶された6枚分のデジタル画像データを順次読み込み、1枚目のデジタル画像データに対して2枚目以降のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出する。そして、得られた動きベクトルに基づいて、加算処理を行う。この加算処理の際、加算強度算出部304が作成した加算強度テーブル306を参照する。そして、周知のJPEGフォーマット等に変換して、不揮発性ストレージ211にファイルとして記録する。

本実施形態のデジタルカメラ101は、連写加算ノイズリダクションを用いた撮影を行う。連写加算ノイズリダクションを用いた撮影は、以下のような処理の流れになる。
(1)先ず選択スイッチ301が画像メモリ302とデータ処理部303を接続した状態で、撮影処理部が生のデジタル画像データを画像メモリ302に蓄積する(撮影処理)。
(2)次に選択スイッチ301が画像メモリ302と加算強度算出部304を接続した状態で、加算強度算出部304が画像メモリ302からデジタル画像データを順次読み出して、加算強度を算出し、加算強度テーブル306に記憶させる(加算強度算出処理)。
(3)そして、最後に選択スイッチ301が画像メモリ302と現像処理部305を接続した状態で、現像処理部305が画像メモリ302からデジタル画像データを順次読み出して、加算処理及びJPEGフォーマットへの変換処理を行って、不揮発性ストレージ211にJPEGエンコード処理された画像データファイルを記録する(現像処理)。

制御部307は、操作部214の操作等に応じて、撮像素子206、A/D変換器207、データ処理部303、加算強度算出部304、選択スイッチ301及び現像処理部305を制御する。また、撮像素子206に結像している画像を表示部213を通じて表示させると共に、操作部214の操作に応じて種々の設定画面を表示させる。

図4は、加算強度算出部304の機能ブロック図である。
検波部401は、選択スイッチ402を通じて画像メモリ302に記憶されている生のデジタル画像データを読み込み、「検波処理」を行う。本実施形態における検波処理とは、マルチパターン測光枠の輝度算出処理である。つまり、デジタル画像データを縦横に予め定められた均等な大きさの「枠」で分割して、その枠に含まれるピクセルデータの輝度の積分値を算出する。検波部401が出力するデータは、測光枠毎の積分値が、測光枠の数だけ存在することとなる。

マルチパターン測光枠は、例えば画像を縦と横でそれぞれ20分割する、格子状の枠である。実際の処理では、明示的に「枠」のデータを持つのではなく、ある「枠」のアドレスに属するピクセルを一つの配列データとして扱う。
なお、選択スイッチ402は図3の選択スイッチ301とは異なるが、選択スイッチ301と同様に明示的にハードウェアとして存在する訳ではなく、デジタル画像データの流れを明示的に説明するために設けた、概念的な存在である。

検波部401の出力側には切替スイッチ403が接続されている。検波部401は、画像メモリ302に記憶されている一枚目のデジタル画像データを読み込んで所定の演算処理をしたら、切替スイッチ403を通じて基準値テーブル404にデータを出力する。同様に、検波部401は、画像メモリ302に記憶されている二枚目以降のデジタル画像データについては、切替スイッチ403を通じて比較値テーブル405にデータを出力する。

基準値テーブル404及び比較値テーブル405は、画像メモリ302と同様に、RAM204内に設けられている。そして、基準値テーブル404と比較値テーブル405のレコード数は、マルチパターン測光枠に設けられている測光枠の数と等しい。このため、比較値テーブル405は検波部401が画像メモリ302に記憶されている二枚目以降のデジタル画像データを読み込んでデータを出力する際、デジタル画像データを読み込む毎に比較値テーブル405の内容を上書きすることとなる。

第一減算器406は、基準値テーブル404の各レコードに格納されている輝度値から、比較値テーブル405に格納されている各レコードの輝度値を、レコード毎に減算処理し、得られたデータをずれ量テーブル407に格納する。ずれ量テーブル407も画像メモリ302と同様に、RAM204内に設けられている。

ずれ量テーブル407の各レコードに格納されている輝度の差の値(以下「輝度差値」)は、平均値算出部408と最大値算出部409に読み込まれる。
平均値算出部408は、ずれ量テーブル407の各レコードの輝度差値の平均値を算出して、平均値メモリ410に記憶する。平均値メモリ410はRAM204内に設けられる変数である。
最大値算出部409は、ずれ量テーブル407の各レコードの輝度差値の絶対値と、平均値メモリ410に記憶されている平均値とを比較して、最も差が大きい値を最大値として取り出し、最大値メモリ411に記憶する。最大値メモリ411も平均値メモリ410と同様に、RAM204内に設けられる変数である。

平均値メモリ410に記憶されている平均値と、最大値メモリ411に記憶されている最大値は、第二減算器412に入力され、最大値から平均値を減算した値が出力される。この値は、画像全体の大まかな動き量という意味を持つ。
もし、比較基準となる一枚目のデジタル画像データと、比較対象となるデジタル画像データとの間に全く動きが無いなら、ずれ量テーブル407の各レコードの値は全て「0」であり、平均値も最大値も「0」となり、第二減算器412の出力値も「0」となる。しかし、比較基準のデジタル画像データと比較対象のデジタル画像データとの間に動きが生じていれば、マルチパターン測光枠毎に輝度を比較すると、何れかの測光枠で輝度の変化が生じる可能性がある。この輝度の変化を、平均値と絶対値との差で導出することで、画像全体に動きが生じているか否かを大まかに検出できる。

第二減算器412から出力される減算値は、加算強度導出部413に入力される。加算強度導出部413は、制御部307によって選択ポインタ415を通じて選択される、シーン別変換テーブル群414のうちの一つのレコードに含まれる変換テーブルを参照して、減算値に対応する加算強度を導き出して、加算強度テーブル306に記録する。また、制御部307から与えられるフォーカス情報に応じて、導き出す加算強度を変更する。

シーン別変換テーブル群414は、ROM203に設けられ、撮影シーン毎に格納されている変換テーブルの集合体である。変換テーブルとは、第二減算器412から入力される減算値を加算強度に変換するためのテーブルである。
例えば、減算値が「0」以上「3」未満であれば加算強度を「10」とし、減算値が「3」以上「10」未満であれば加算強度を「5」とし、減算値が「10」以上「15」未満であれば加算強度を「3」とし、減算値が「15」以上であれば加算強度を「0」とする、というような、減算値に対応する加算強度の対応表である。

撮影シーンとは、被写体の種別に応じて最適な撮影状態を設定するための選択値であり、近年のコンパクトデジタルカメラや携帯電話のデジタルカメラ機能に搭載されている機能である。例えば、平均的な設定値であらゆる被写体に対して柔軟に対応可能な「オート(AUTO)」、屋内の人物に最適な「屋内人物」、屋外の人物に最適な「屋外人物」、屋外の風景に最適な「屋外風景」、夜景に最適な「夜景」、接写に最適な「接写」、逆光状態で最適な「逆光」、乳幼児の近接撮影に最適な「赤ちゃん」等である。RAM204には、予め制御部307がROM203内に格納されている既定値としての「オート(AUTO)」か、或はデジタルカメラ101のユーザの操作によって設定された撮影シーンの指定情報が格納されている。

シーン別変換テーブル群414は、各レコードにこれら撮影シーン、つまり撮影対象となる被写体に最適な変換テーブルが格納されている。各レコードの変換テーブルに設定されている変換値は、被写体に想定されるデジタルカメラ101との距離と、撮影シーンの明るさと、テクスチャを考慮して決定される。

例えば、「屋外風景」の場合は、被写体との距離は遠いので画像全体の動きは少なく、テクスチャも明瞭に把握可能であるので、加算強度は大きな値を設定できる。
一方、「赤ちゃん」の場合は、被写体との距離は極めて近く、被写体はよく動くので画像全体の動きは大きくなりがちであり、テクスチャの把握が困難な場合があるので、加算強度を大きくすると加算ミスを引き起こす可能性があるので、加算強度を小さくすることが望ましい。

更に、加算強度導出部413は制御部307から与えられるフォーカス情報を参照して、変換テーブルから導き出す加算強度に変化を与えることができる。
画像の動きは、被写体自体の動きのみならず、デジタルカメラ101のユーザの手ブレや、ユーザの意志に基づくデジタルカメラ101の移動によって引き起こされる。この画像の動きは、デジタルカメラ101に対する被写体との距離が近ければ近いほど大きくなる。そこで、制御部307がモータ209を駆動制御することで得たフォーカス情報を利用して、変換テーブルから導き出す加算強度に変化を与える。

例えば、被写体がデジタルカメラ101から約50cm以内の距離に存在する場合は、変換テーブルから導き出す加算強度に対して定数「0.6」を乗算して一律に小さく設定し、そうでない場合は加算強度に対して変化を与えないようにする。

以上の手順を経て導き出された加算強度は、選択ポインタ416を通じて加算強度テーブル306に記憶される。加算強度テーブル306のレコード数は、画像メモリ302に格納されるデジタル画像データの枚数から一枚少ない数となる。本実施形態の場合、画像メモリ302には6枚のデジタル画像データが格納されるので、加算強度テーブル306のレコード数は5個となる。

図5は、現像処理部305の機能ブロック図である。
動き検出部501は、選択スイッチ502を通じて画像メモリ302に記憶された6枚分のデジタル画像データを順次読み込み、1枚目のデジタル画像データに対して2枚目以降のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出し、動きベクトルを算出する。

加算処理部503は、動き検出部501によって得られた動きベクトルに基づいて、加算処理を行う。この加算処理の際、2枚目以降のデジタル画像データを加算する際の係数として、加算強度算出部304が作成した加算強度テーブル306の値を用いて、加算処理を行う。
加算処理部503が加算処理を完遂したら、エンコーダ504で周知のJPEGフォーマット等に変換して、不揮発性ストレージ211にファイルとして記録する。

[動作]
図6は、本実施形態のデジタルカメラ101の、連写加算ノイズリダクションを用いた撮影の動作の流れを示すフローチャートである。
シャッターボタン106を押すと(S601)、最初に撮影処理部はn枚の連写撮影処理を行って、画像メモリ302にn枚の画像データを記憶させる(S602)。次に加算強度算出部304は加算強度算出処理を行う(S603)。最後に現像処理部305は現像処理を行って(S604)、一連の処理を終了する(S605)。

図7は、加算強度算出部304による加算強度算出処理の動作の流れを示すフローチャートである。図6のステップS603の詳細である。
処理を開始すると(S701)、最初に検波部401は制御部307によって制御される選択スイッチ402を通じて画像メモリ302内の1枚目の画像データを読み込み、検波処理、すなわちマルチパターン測光枠の輝度算出処理を行う。そして、輝度算出処理の結果の値を切替スイッチ403を通じて基準値テーブル404に格納する(S702)。
次に、制御部307はRAM204内にカウンタ変数iを設け、初期値として「2」を格納する(S703)。

これ以降はループ処理である。
検波部401は制御部307によって制御される選択スイッチ402を通じて画像メモリ302内のi枚目の画像データを読み込み、検波処理を行う。そして、輝度算出処理の結果の値を制御部307によって制御される切替スイッチ403を通じて比較値テーブル405に格納する(S704)。

比較値テーブル405の全てのレコードに輝度算出処理の結果の値が格納されたら、第一減算器406は基準値テーブル404の各レコードの値から、比較値テーブル405の各レコードの値をそれぞれ減算して、得られた値をずれ量テーブル407に格納する(S705)。

ずれ量テーブル407の全てのレコードに第一減算器406の演算結果の値が格納されたら、次に平均値算出部408はずれ量テーブル407の全てのレコードの値の平均値を算出して、平均値メモリ410に格納する(S706)。
次に、最大値算出部409はずれ量テーブル407の全てのレコードの値の絶対値を導き出した後に平均値メモリ410に格納されている平均値を参照して、絶対値の最大値を抽出し、最大値メモリ411に格納する(S707)。
ステップS706及びS707を経て、ずれ量テーブル407という配列データ(ベクトルデータ)は、平均値と最大値というスカラ値に変換される。

平均値メモリ410と最大値メモリ411にそれぞれ平均値と最大値が格納されたら、第二減算器412は最大値から平均値を減算して、スカラ値である「動き量」を算出する(S708)。

第二減算器412が出力する動き量は、加算強度導出部413に供給される。加算強度導出部413は、制御部307から得られるシーン情報に基づいて選択ポインタ415を通じてシーン別変換テーブル群414から該当する撮影シーンの変換テーブルを読み込む。次に、動き量を変換テーブルに照らし合わせて、加算強度を導き出す。そして、制御部307からフォーカス距離を得て、予め定められた閾値と比較する。閾値は、例えば50cmである。フォーカス距離が閾値を下回っている場合は、加算強度を小さく設定させなければならないので、加算強度に予め定められた所定の係数を乗算する。係数は、例えば0.7である。
こうして得られた加算強度は、選択ポインタ416を通じて、加算強度テーブル306のi−1番目のレコードに格納する(S709)。

次に、制御部307はカウンタ変数iをインクリメントして(S710)、カウンタ変数iが画像メモリ302に格納されている画像データの数を超えてしまったか否かを検証する(S711)。カウンタ変数iが画像データの数以下であれば(S711のNO)、再度ステップS704から処理を繰り返す。カウンタ変数iが画像データの数を超えていれば(S711のYES)、一連の処理を終了する(S712)。

図8は、現像処理部305による現像処理の動作の流れを示すフローチャートである。図6のステップS604の詳細である。
処理を開始すると(S801)、制御部307は最初にRAM204内にカウンタ変数iを設け、初期値として「1」を格納する(S802)。

これ以降はループ処理である。
動き検出部501は、制御部307によって制御される選択スイッチ502を通じて、1枚目のデジタル画像データに対してi枚目のデジタル画像データがどの程度動いているのかを、周知のブロックマッチングのアルゴリズムを用いて詳細に検出し、動きベクトルを算出する(S803)。

次に、加算処理部503は、動き検出部501によって得られた動きベクトルに基づいて、1枚目のデジタル画像データに対してi枚目のデジタル画像データの加算処理を行う。この加算処理の際、加算強度算出部304が作成した加算強度テーブル306のi番目のレコードの値を読み込み、加算処理の係数として用いて、加算処理を行う(S804)。

次に、制御部307はカウンタ変数iをインクリメントして(S805)、カウンタ変数iが画像メモリ302に格納されている画像データの数以上になってしまったか否かを検証する(S806)。カウンタ変数iが画像データの数未満であれば(S806のNO)、再度ステップS802から処理を繰り返す。カウンタ変数iが画像データの数以上であれば(S806のYES)、加算処理部503の加算処理は終了しているので、得られた画像データを所定の画像フォーマットにエンコードして(S807)、画像データファイルを不揮発性ストレージ211に記録して(S808)、一連の処理を終了する(S809)。

本実施形態は、以下のような応用例が可能である。
(1)前述の本実施形態に係るデジタルカメラ101で実現される発明は、連写加算ノイズリダクションの改良である。図3及び図6を参照すると、撮影処理部の処理以外の、撮影後の画像処理の改良である。そして、このことは図2を参照すると、マイコンの制御プログラムとDSPの演算処理プログラム、つまりソフトウェアの改良である。
そこで、近年大容量化の傾向にあるフラッシュメモリの特性を生かし、デジタルカメラ自身は連写加算ノイズリダクションの画像処理部分を行わず、連写のみを実行し、画像処理部分をパソコン等の外部の情報処理装置に任せる、というシステム構築も考えられる。

図9はデジタルカメラの機能ブロック図である。図3のデジタルカメラ101と比べると、選択スイッチ301、画像メモリ302、加算強度算出部304、加算強度テーブル306、現像処理部305といった、連写加算ノイズリダクションの改良に係る機能ブロックが欠落している。

図9に示すデジタルカメラ901は、連写機能のみを実行し、エンコーダ902は画像の劣化を防ぐために可逆圧縮アルゴリズムを用いたエンコード処理を行う。つまり、現在周知の非可逆圧縮方式であるJPEGではなく、可逆圧縮アルゴリズムを採用するJPEG EXやPNG、TIFF等のフォーマットで不揮発性ストレージ211に連写した画像データファイル903を記録する。なお、この時の撮影情報として、最低限、フォーカス距離の情報を別途記憶しておく必要がある。そこで、撮影情報ファイル904に撮影情報を記述して、不揮発性ストレージ211に記録する。

図10は画像処理装置の機能ブロック図である。パソコンに連写加算ノイズリダクションの画像処理に係るプログラムを読み込ませて実行することで、パソコンは画像処理装置1001の機能を実現する。

デジタルカメラ901から取り出したフラッシュメモリ等の不揮発性ストレージ211を図示しないインターフェースを通じてパソコンに接続するか、デジタルカメラ901をUSBインターフェース212を通じてパソコンに接続することで、不揮発性ストレージ211をパソコン内のデコーダ1002に接続する。デコーダ1002は不揮発性ストレージ211内に記録されている連写の結果の画像データファイル903を読み込み、生の画像データに変換した後、選択スイッチ301を介して画像メモリ302に記憶させる。また、不揮発性ストレージ211には撮影情報ファイル904も存在するので、制御部1003は撮影情報ファイル904を読み込み、フォーカス距離を取得する。
画像メモリ302に画像データが記憶された以降の動作は、図3のデジタルカメラ901と同等である。

このようにデジタルカメラ901及び画像処理装置1001を構成すると、演算処理能力が十分でない旧世代のデジタルカメラに対し、連写機能と可逆圧縮アルゴリズムを用いるエンコーダを搭載するファームウェアの更新作業だけで、旧世代のデジタルカメラのユーザが連写加算ノイズリダクションの機能を実質的に享受できる、という利点がある。

なお、図10の画像処理装置1001は撮影済みの画像データファイル903と撮影情報ファイル904を用いて、後処理を実施する装置である。したがって、設定される撮影シーンを切り替えて加算強度算出部304を稼働させて、何度でも連写加算ノイズリダクション処理をやり直すことが可能である。また、一般的にパソコンはデジタルカメラ901よりも演算能力が高いので、このように後処理の部分をデジタルカメラ901から分離してパソコンに任せる設計にすると、デジタルカメラ901は大容量の不揮発性ストレージ211と可逆圧縮アルゴリズムのエンコーダ902さえあればよいこととなる。つまり、デジタルカメラ901は必ずしも大規模な演算能力が必要ではなくなるので、デジタルカメラ901自体の更なる小型化及び低消費電力化に貢献できる。

(2)検波部401の検波処理に使用するマルチパターン測光枠は、画面全体の大まかな動きさえ検出できればよいので、動き検出部501で用いる動き検出のための枠より大きい枠であってもよい。また、マルチパターン測光枠のアスペクト比は必ずしも画面全体のアスペクト比と等しくなくてもよい。

(3)図8のステップS804で、加算処理部503が加算処理を行う際、加算強度テーブル306から読み出す加算強度を所定の閾値と比較した結果、加算強度が閾値より下回る場合、加算処理をする意味がないと判断できるので、それ以降の加算処理をしない、という処理を追加することができる。例えば、3枚目の画像データに対応する加算強度が閾値「0.2」より小さい場合、もう加算処理を行う意味が無い、と判断できる。そして、「連写」という性格上、それ以降の画像データの動きが小さくなる可能性は殆どない。転じて、それ以降の画像データに対応する加算強度が、閾値を上回る可能性は殆どない。よって、3枚目の画像データについて加算処理を行わないと判断したら、もう加算処理自体を打ち切ることで、動き検出部501及び加算処理部503の処理を省くことができ、現像処理全体にかかる時間を短縮することができる。

(4)シーン別変換テーブル群414に、変換テーブルの代わりに所定の関数或は擬似関数を設定し、第二減算器412の演算結果の変化に対して加算強度を連続的に変化させることもできる。

(5)加算強度導出部413に、フォーカス距離に対応して変化するバイアス関数を設定して、フォーカス距離の変化に対して加算強度を連続的に変化させることもできる。

本実施形態ではデジタルカメラ及び画像処理装置を開示した。
連写加算ノイズリダクションを実行する際、マルチパターン測光枠毎の輝度の平均値を算出し、画面全体の輝度の平均値と絶対値の最大値とのずれ量を算出して、画面全体の動きの指標とする。撮影シーンに応じた変換テーブルとフォーカス距離を参照して、加算強度を算出し、加算処理の係数とする。
従来の連写加算ノイズリダクションが苦手とする、テクスチャが少なく、フォーカス距離が近く、動きの多い被写体を撮影する際、ブロックマッチングに基づく動きベクトルの検出にミスが生じる可能性を、計算量が少ない処理で加算処理の係数として導き出し、加算処理を弱めることで排除し、加算ムラに起因する画像の乱れを防ぐことができる。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

101…デジタルカメラ、102…筐体、103…鏡筒、104…レンズ、105…ストロボ、106…シャッターボタン、107…液晶ディスプレイモニタ、108…操作ボタン、201…バス、202…CPU、203…ROM、204…RAM、205…DSP、206…撮像素子、207…A/D変換器、208…モータドライバ、209…モータ、210…ストロボドライバ、211…不揮発性ストレージ、212…USBインターフェース、213…表示部、214…操作部、301…選択スイッチ、302…画像メモリ、303…データ処理部、304…加算強度算出部、305…現像処理部、306…加算強度テーブル、307…制御部、401…検波部、402…選択スイッチ、403…切替スイッチ、404…基準値テーブル、405…比較値テーブル、406…第一減算器、407…量テーブル、408…平均値算出部、409…値算出部、410…平均値メモリ、411…値メモリ、412…第二減算器、413…加算強度導出部、414…シーン別変換テーブル群、415…選択ポインタ、416…選択ポインタ、501…動き検出部、502…選択スイッチ、503…加算処理部、504…エンコーダ、901…デジタルカメラ、902…エンコーダ、903…画像データファイル、904…撮影情報ファイル、1001…画像処理装置、1002…デコーダ、1003…制御部

Claims (8)

  1. 所定の撮影指令を受けて、被写体を連続して撮影して複数枚の画像データを出力する撮影処理部と、
    前記複数枚の画像データを記憶する画像メモリと、
    前記画像メモリから前記画像データを順次読み出して、1枚目の前記画像データと2枚目以降の前記画像データとの間の変化に基づく加算強度を算出する加算強度算出部と、
    前記加算強度算出部が出力する前記加算強度を記憶する加算強度テーブルと、
    前記画像メモリから前記画像データを順次読み出して、1枚目の前記画像データと2枚目以降の前記画像データとの間の動きベクトルを出力する動き検出部と、
    前記画像メモリから前記画像データを順次読み出して、1枚目の前記画像データに対して2枚目以降の前記画像データを前記動き検出部が出力する動きベクトルと、前記加算強度テーブルから順次読み出す前記加算強度に基づいて加算処理を行う加算処理部と
    を備え、
    前記加算強度算出部は、前記撮影処理部から得られる前記被写体とのフォーカス距離情報を参照して、前記フォーカス距離情報が所定の値を下回る場合は、前記加算強度を前記フォーカス距離情報が所定の値以上の場合と比べて小さい値として算出する、撮像装置。
  2. 前記加算強度算出部は、
    入力される前記画像データに対し、マルチパターン測光枠毎に輝度平均値を算出する検波部と、
    前記検波部の出力データに基づいて、前記画像データの輝度の平均値を算出する平均値算出部と、
    前記検波部の出力データに基づいて、前記画像データの輝度の絶対値の最大値を算出する最大値算出部と、
    前記最大値から前記平均値の差の値に対応する加算強度を導き出すための変換テーブルと、
    前記最大値から前記平均値の差の値と前記変換テーブルとに基づいて前記加算強度を導き出す加算強度導出部と
    を備える請求項1に記載の撮像装置。
  3. 前記変換テーブルは撮影シーン毎に複数存在する、請求項1または2に記載の撮像装置。
  4. 前記加算強度が所定値を下回る場合は、前記加算処理部の加算処理を打ち切る、請求項1〜3のいずれかに記載の撮像装置。
  5. 連写により得られる複数の画像データを記憶する画像メモリと、
    前記複数の画像データに含まれる第一の画像データと、前記複数の画像データに含まれる第二の画像データとの間の変化に基づき加算強度を算出する加算強度算出部と、
    前記加算強度に基づいて、前記第一の画像と前記第二の画像との加算処理を行う加算処理部と、を備え、
    前記第一の画像データは、前記連写における第一回目の撮影の基づく画像データであり、
    前記加算強度算出部は、前記第一の画像データと、前記第一の画像データを除く前記複数の画像データに含まれる個々の画像データとの間の変化に基づき、前記個々の画像データに対する加算強度をそれぞれ算出し、
    前記加算処理部は、前記個々の画像データに対する加算強度に基づいて、前記第一の画像データと、前記第一の画像データを除く前記複数の画像データの加算処理を行い、
    前記変化は、マルチパターン測光枠毎に検出される輝度に基づき検出される変化である
    画像処理装置。
  6. 前記加算強度算出部は、前記個々の画像データ毎に対応するフォーカス情報に基づき、前記個々の画像データに対する前記加算強度を算出する、
    請求項5に記載の画像処理装置。
  7. 前記加算強度算出部は、前記画像データが撮影されたときの撮影シーンに基づき前記加算強度を算出する、
    請求項5または6に記載の画像処理装置。
  8. 前記加算処理部は、前記複数の画像データを前記連写における撮影の順に加算処理を行い、前記加算強度が所定の値よりも小さくなった場合は、以降の加算処理を打ち切る、
    請求項5〜7のいずれかに記載の画像処理装置。
JP2010153119A 2010-07-05 2010-07-05 撮像装置及び画像処理装置 Expired - Fee Related JP5521836B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010153119A JP5521836B2 (ja) 2010-07-05 2010-07-05 撮像装置及び画像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010153119A JP5521836B2 (ja) 2010-07-05 2010-07-05 撮像装置及び画像処理装置
US13/151,620 US20120002069A1 (en) 2010-07-05 2011-06-02 Imaging apparatus, imaging method, imaging program, image processing apparatus, image processing method, and image processing program
CN201110175886XA CN102393957A (zh) 2010-07-05 2011-06-28 成像设备、成像方法、图像处理设备和图像处理方法

Publications (2)

Publication Number Publication Date
JP2012015959A JP2012015959A (ja) 2012-01-19
JP5521836B2 true JP5521836B2 (ja) 2014-06-18

Family

ID=45399438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010153119A Expired - Fee Related JP5521836B2 (ja) 2010-07-05 2010-07-05 撮像装置及び画像処理装置

Country Status (3)

Country Link
US (1) US20120002069A1 (ja)
JP (1) JP5521836B2 (ja)
CN (1) CN102393957A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5689827B2 (ja) 2011-02-01 2015-03-25 株式会社豊田中央研究所 緯糸張力付与装置
USD695802S1 (en) * 2012-05-31 2013-12-17 Samsung Electronics Co., Ltd. Digital camera
JP6316534B2 (ja) * 2012-09-25 2018-04-25 シャープ株式会社 撮像装置および撮像装置制御方法
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702911B2 (ja) * 1998-09-30 2011-06-15 キヤノン株式会社 カメラ制御方法、カメラ制御サーバ、および記録媒体
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP2006085258A (ja) * 2004-09-14 2006-03-30 Konica Minolta Photo Imaging Inc 画像比較方法、画像比較プログラムおよび画像比較装置
WO2007136332A1 (en) * 2006-05-22 2007-11-29 Axis Ab Method and apparatus for identifying properties of an object detected by a video surveillance camera
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
JP4480760B2 (ja) * 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
TWI380677B (en) * 2007-12-31 2012-12-21 Altek Corp Method of color space transformation to transfer prospect for camera sphere
JP5428210B2 (ja) * 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム

Also Published As

Publication number Publication date
US20120002069A1 (en) 2012-01-05
CN102393957A (zh) 2012-03-28
JP2012015959A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
US7515820B2 (en) Image capture device with automatic focusing function
US7176962B2 (en) Digital camera and digital processing system for correcting motion blur using spatial frequency
US7978261B2 (en) Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US8494306B2 (en) Method and an apparatus for creating a combined image
US8477993B2 (en) Image taking apparatus and image taking method
JP5444562B2 (ja) シャッター信号の前及び後に画像の取り込み及び整理をするデジタルカメラ
US8111315B2 (en) Imaging device and imaging control method that detects and displays composition information
KR101387404B1 (ko) 디지털 영상 처리장치의 제어장치 및 그 방법
JP2007019973A (ja) 撮像装置及び撮像方法
CN101123687B (zh) 图像摄影装置、图像摄影装置的控制方法
US8659681B2 (en) Method and apparatus for controlling zoom using touch screen
US20070230933A1 (en) Device and method for controlling flash
CN101632295A (zh) 可在多种模式下工作的多镜头照相机
KR20080002667A (ko) 촬상장치 및 컴퓨터 판독 가능한 기록매체
US8208034B2 (en) Imaging apparatus
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
JP2001086395A (ja) 撮像装置
JP2012239156A (ja) 撮像装置、撮像方法および撮像プログラム
CN101505374B (zh) 图像处理设备及方法
US8395694B2 (en) Apparatus and method for blurring image background in digital image processing device
CN101867725A (zh) 摄像装置和拍摄对象跟踪方法
US8477211B2 (en) Imaging apparatus and image capturing method
KR20120081514A (ko) 동영상 촬영 방법 및 장치
CN101848338B (zh) 具有变焦功能的摄影装置
KR101118980B1 (ko) 인물의 촬영에 적합한 촬상 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

LAPS Cancellation because of no payment of annual fees