JP5682523B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5682523B2
JP5682523B2 JP2011205074A JP2011205074A JP5682523B2 JP 5682523 B2 JP5682523 B2 JP 5682523B2 JP 2011205074 A JP2011205074 A JP 2011205074A JP 2011205074 A JP2011205074 A JP 2011205074A JP 5682523 B2 JP5682523 B2 JP 5682523B2
Authority
JP
Japan
Prior art keywords
pixels
pixel
correction
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011205074A
Other languages
English (en)
Other versions
JP2013070117A (ja
JP2013070117A5 (ja
Inventor
宗士 鈴木
宗士 鈴木
基志 柏木
基志 柏木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011205074A priority Critical patent/JP5682523B2/ja
Priority to US13/608,197 priority patent/US8922681B2/en
Priority to CN201210347356.3A priority patent/CN103024302B/zh
Priority to KR1020120103702A priority patent/KR101449805B1/ko
Publication of JP2013070117A publication Critical patent/JP2013070117A/ja
Publication of JP2013070117A5 publication Critical patent/JP2013070117A5/ja
Application granted granted Critical
Publication of JP5682523B2 publication Critical patent/JP5682523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、画像データの画素値を補正可能な画像処理装置、画像処理方法及びプログラムに関する。
デジタルカメラや、撮像機能を有する携帯電話等においては、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)型の撮像素子により、レンズから入射された光を電気信号に変換し、当該電気信号を画像データとして出力する。
上述の撮像素子は、入射光を光電変換して電荷を蓄積し、蓄積された電荷の量に基づいて輝度を定める複数の画素を有している。これら複数の画素では、入射光に応じた量以上に電荷が蓄積される白キズが発生する可能性がある。
特許文献1には、CCDを用いた撮像素子において白キズが発生している画素を予め特定しておき、撮像時に、当該画素に対応する画素値(画像信号)を、前後の画素に対応する画素値(画像信号)に基づいて補正する手法が開示されている。
特開2000−101925号公報
ところで、CMOS型の撮像素子は、白キズが発生した画素の周囲の領域に配置された画素に対して、白キズが拡大するブルーミングが発生する可能性がある。
図6は、ブルーミングを説明する図である。図6において、1つの正方形のマスは、1つの画素を示している。各画素の色は電荷の量を示しており、白色に近づく画素ほど電荷が蓄積されていることを意味している。
まず、図6(a)において、1つの画素(同図の中央の画素)に白キズが発生する。発生当初は、必要以上に蓄積される電荷の量も少なく白キズの度合いが低い。しかし、温度・湿度等の環境変化や経年変化により、必要以上に蓄積される電荷の量が増加して許容値となると(図6(b))、隣接した画素に電荷が漏れ出して、隣接した画素も必要以上に電荷が蓄積される(図6(c))。その後、このように必要以上に電荷が蓄積された画素から隣接する画素に対して電荷が漏れることが連鎖的に発生し、白キズが増加してしまう(図6(d)〜図6(f))。
ブルーミングにより発生した白キズを補正するためには、例えば、デジタルカメラ等は、連続して2回の撮像動作を繰り返す。即ち、デジタルカメラ等は、1回目の撮像動作においては、通常の被写体を撮像し、2回目の撮像動作では、遮光した状態で撮像する。デジタルカメラ等は、このような2回目の撮像動作の結果において電荷が蓄積された画素を白キズが発生した画素と特定する。そして、デジタルカメラ等は、1回目の撮像動作で撮像された画像データのうち、このようにして特定された画素の画素値(画像信号)の補正を行う。しかしながら、特許文献1において開示されている手法は、白キズが発生している画素の画素値を、前後の画素の画素値に基づいて補正するため、補正結果が不自然になってしまう虞がある。
また、白キズが発生した画素を特定する精度を高めるために、2回の撮像動作を繰り返す等して撮像時に白キズが発生した画素と特定しようとすると、撮像全体の時間がかかってしまう虞がある。
本発明は、このような状況に鑑みてなされたものであり、精度よく、かつ、効率的に画像データの画素値(画像信号)を補正することができる画像処理装置及び画像処理方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む1つの補正対象領域を特定する第1の領域特定手段と、前記位置特定手段により特定された位置から所定範囲内で、かつ、前記1つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む1つの周囲領域を特定する第2の領域特定手段と、前記第1の領域特定手段により特定された前記1つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記1つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段と、を備えたことを特徴とする。
本発明によれば、精度よく、かつ、効率的に画像データの画素値(画像信号)を補正することができる。
本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。 図1のデジタルカメラが、撮像処理を実行するための機能的構成を示す機能ブロック図である。 画像データにおいて欠陥画素により画像ノイズが発生する領域の補正を説明する図である。 図2のデジタルカメラが実行する撮像処理の流れの一例を示すフローチャートである。 図2のデジタルカメラが実行する撮像処理の流れの別の例を示すフローチャートである。 ブルーミングを説明する図である。
以下、図面を参照して、本発明に係る実施形態について説明する。
図1は、本発明に係る画像信号処理装置の一実施形態としてのデジタルカメラ1のハードウェア構成図を示している。
図1を参照して、デジタルカメラ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、光学系15と、撮像部16と、画像処理部17と、記憶部18と、表示部19と、操作部20と、通信部21と、センサ部22と、ドライブ23と、を備えている。
CPU11は、ROM12に記憶されているプログラム、又は記憶部18からRAM13にロードされたプログラムに従って、各種の処理を実行する。ROM12は、CPU11が各種の処理を実行するためのプログラムに加え、CPU11が各種の処理を実行する上において必要なデータ等を適宜記憶している。
例えば、本実施形態では、後述する図2の画像制御部51乃至合成部56の各機能を実現するプログラムが、ROM12や記憶部18に記憶されている。したがって、CPU11が、これらのプログラムに従った処理を実行し、後述する画像処理部17と適宜協働することで、後述する図2の画像制御部51乃至合成部56の各機能を実現することができる。
CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、光学系15、撮像部16、画像処理部17、記憶部18、表示部19、操作部20、通信部21、センサ部22、及びドライブ23が接続されている。
光学系15は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等を含むように構成される。フォーカスレンズは、撮像部16の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系15にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。
撮像部16は、複数の撮像素子やAFE(Analog Front End)等から構成され、複数の撮像素子から得られる画素を含む画像データを生成する。撮像素子は、本実施形態ではCMOS(Complementary Metal Oxide Semiconductor)センサ型の光電変換素子から構成される。撮像素子には、ベイヤ配列等の色フィルタが装着されている。撮像素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換(撮像)して、その結果得られるアナログの電気信号をAFEに順次供給する。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部16の出力信号として出力する。
なお、以下、撮像部16の出力信号を、「画像データ」と呼ぶ。したがって、撮像部16からは画像データが出力されて、画像処理部17等に適宜供給される。本実施形態では、撮像部16から出力される画像データの単位は、撮像素子を構成する各画素の画素値(画像信号)の集合体、即ち、1枚の静止画像又は動画像を構成するフレーム等の画像データである。
画像処理部17は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されている。
画像処理部17は、CPU11と協働して、撮像部16から入力される画像データに対して、ノイズ低減、ホワイトバランス等の画像処理の他、後述する画像取得部52乃至補正部55の各機能の発揮に必要な各種画像処理を施す。画像処理部17は、各種画像処理を施された画像データを記憶部18又はリムーバブルメディア31に記憶させる。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、画像処理部17から出力された画像データを一時的に記憶する。また、記憶部18は、各種画像処理に必要な各種データ等も記憶する。
表示部19は、例えばLCD(Liquid Crystal Device:液晶表示装置)やLCD駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部19は、記憶部18等から供給される画像データにより表現される画像を表示する。
操作部20は、シャッタスイッチ41の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部20は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をCPU11に供給する。
通信部21は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。
センサ部22は、撮像部16の撮像素子の周囲温度を測定し、測定結果をCPU11に供給する。
ドライブ23には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア31が適宜装着される。そして、リムーバブルメディア31から読み出されたプログラムが、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア31は、記憶部18に記憶されている画像データ等の各種データも、記憶部18と同様に記憶することができる。
図2は、図1のデジタルカメラ1が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア31に記録するまでの一連の処理(以下、「撮像処理」と呼ぶ)を実行するための機能的構成を示す機能ブロック図である。
図2に示すように、撮像処理が実行される場合には、CPU11においては、画像制御部51が機能し、画像処理部17においては、画像取得部52と、位置特定部53と、領域特定部54と、補正部55と、が機能する。なお、画像制御部51の機能は、本実施形態のようにCPU11に搭載されている必要は特になく、当該機能を、画像処理部17に移譲させることも可能である。逆に、画像取得部52乃至補正部55の各機能は、本実施形態のように画像処理部17に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、CPU11に移譲させることも可能である。
画像制御部51は、撮像処理の実行全体を制御する。
ここで、撮像部16の撮像素子は、例えば製造時の段階で損傷等により欠陥画素が発生する場合がある。そして、欠陥画素に対応する位置では、必要以上に電荷を蓄積してしまうため、画像データにおいて欠陥画素に対応する位置が白く表示されてしまう画像ノイズ(白キズ)を発生させる。更に、CMOS型の光電変換素子から構成される撮像素子は、温度・湿度等の環境変化や経年変化により、欠陥画素に隣接する画素に対して画像ノイズが拡大するブルーミング(図6参照)が発生する可能性がある。
そのため、本実施形態に係るデジタルカメラ1では、画像取得部52乃至補正部55は、画像制御部51の制御の下、次のような処理を実行する。
図3は、画像データにおいて欠陥画素により画像ノイズが発生する領域の補正を説明する図である。なお、図3は、複数の画素がマス目状に配置されているものとする。以下、図3を用いながら画像取得部52乃至補正部55の処理について説明する。
画像取得部52は、画像制御部51から発行される取得指令を受けて、撮像部16において生成され、出力される画像データを取得し、取得した画像データをVRAMに記憶させる。
位置特定部53は、撮像部16により生成され、VRAMに記憶された画像データにおいて、撮像素子に含まれている1以上の欠陥画素の位置を特定する。欠陥画素の位置は、欠陥画素位置リストとして、記憶部18にリスト形式で記憶されている。すなわち、記憶部18には、画像データにおける欠陥画素の位置情報が予め記憶されている。例えば、図3では、位置特定部53により、欠陥画素の位置が位置Eに特定されるものとする。
領域特定部54は、位置特定部53により特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定する。具体的には、領域特定部54は、画像制御部51を介して、センサ部22において測定された撮像部16の撮像素子の周囲温度と、撮像部16において撮像された場合の露光時間を取得する。そして、領域特定部54は、取得した撮像素子の周囲温度と露光時間とを撮像部16による画像データ生成時の状態とする。そして、領域特定部54は、位置特定部53により特定された位置と、撮像部16による画像データの生成時の状態とに基づいて、画像ノイズが発生する領域の大きさを特定する。例えば、図3では、領域特定部54により、欠陥画素の位置Eを中心として位置A〜位置Iが、画像ノイズが発生する領域に特定される。
なお、撮像素子の周囲温度と、露光時間とに対応する領域の大きさを対応表として予め記憶部18に記憶させておき、領域特定部54は、当該対応表に基づいて、撮像素子の周囲温度と露光時間との組合せに対応する領域の大きさを特定するようにしてもよい。また、領域特定部54は、画像ノイズが発生する領域の大きさを予め一定の大きさとして固定しておいてもよい。
なお、以下、領域特定部54により特定された領域を補正対象領域という。
補正部55は、補正対象領域に含まれる複数の画素の画素値を、補正対象領域の周囲に位置する複数の画素の画素値に基づいて補正する。
具体的には、補正部55は、位置特定部53により特定された位置から所定範囲に位置する画素を選択することにより、補正対象領域の周囲に位置する複数の画素を特定する。
続いて、補正部55は、補正対象領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、補正対象領域の周囲に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択する。
ここで、補正部55は、画素値の補正に用いる画素を、補正対象領域の周囲に位置する複数の画素から均等に選択することが好ましい。また、補正部55は、領域の周囲に位置する複数の画素から、補正対象の画素と同系色の画素を選択することが好ましい。例えば、図3において、位置A、位置A1〜位置A8に対応する画素が赤系の色である場合、位置Aの画素の補正に用いられる画素として、位置A1〜位置A8に対応する画素が選択される。
続いて、補正部55は、補正対象領域に含まれる複数の画素それぞれを、処理の対象として注目すべき画素(以下、「注目画素」と呼ぶ)に順次設定し、注目画素の画素値について、補正対象領域の周囲に位置する複数の画素から選択された画素の画素値の加重平均に基づいて補正を行う。ここで、補正部55は、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させることが好ましい。
例えば、図3において、位置Aの画素が注目画素に設定された場合の補正に用いられる画素として、位置A1〜位置A8の画素が選択されているとき、補正部55は、位置Aに対する距離が近いほど重み値を高くして、加重平均を算出する。
具体的には例えば、補正部55は、次の式(1)に従って、位置Aの注目画素の画素値を補正する。
VA=(VA1×6+VA2×12+VA3×4+VA5×6+VA6×4+VA7×6+VA8×3)÷(6+12+4+12+6+4+6+3) ・・・(1)
式(1)において、VAは、位置Aの注目画素の補正後の画素値を示しており、VA1〜VA8の各々は、位置A1〜位置A8の各々の画素値を示している。また、画素値VA1〜VA8の各々に対する重み付けは、注目画素の位置Aからの水平方向の距離と垂直方向の距離の加算値の逆数に基づいて設定されている。
式(1)を一般化すると、次の式(2)のようになる。
VP0={Val÷(Lt+Ll)+Va2÷Lt+Va3÷(Lt+Lr)+VA4÷Ll+VA5÷Lr+Va6÷(Lb+Ll)+VA7÷Lb+VA8÷(Lb+Lr)}÷Lall ・・・(2)
式(2)は、座標(x,y)に位置する画素Pを中心にして周囲N画素にブルーミングが発生した場合、即ち、補正対象領域が(2N+1)×(2N+1)の大きさの場合における、座標(x+i,y+j)に位置する注目画素P0の補正後の画素値VP0を求める式である。
式(2)において、Vn(nは、位置A1〜A8のうちの何れかを示している)は、位置nにおける画素値を示している。
ここで、位置A1は、注目画素P0の位置から、垂直上方向に距離Ltだけ離間して、水平左方向に距離Llだけ離間している。
位置A2は、注目画素P0の位置から、垂直上方向に距離Ltだけ離間している。
位置A3は、注目画素P0の位置から、垂直上方向に距離Ltだけ離間して、水平右方向に距離Lrだけ離間している。
位置A4は、注目画素P0の位置から、垂直上方向に距離Ltだけ離間して、水平右方向に距離Lrだけ離間している。
位置A5は、注目画素P0の位置から、水平右方向に距離Lrだけ離間している。
位置A6は、注目画素P0の位置から、垂直下方向に距離Lbだけ離間して、水平左方向に距離Llだけ離間している。
位置A7は、注目画素P0の位置から、垂直下方向に距離Lbだけ離間している。
位置A8は、注目画素P0の位置から、垂直下方向に距離Lbだけ離間して、水平右方向に距離Lrだけ離間している。
ここで、撮像素子がベイヤ配列の場合にはa=2として、ベイヤ配列でない場合には例えばa=1とすると、距離Lt=Nt+j+aであり、距離Lb=N−j+aであり、距離Ll=N+i+aであり、距離Lr=N−i+aである。
また、式(2)におけるLallは、次の式(3)のように示される。
Lall={1/(Lt+Ll)+1/Lt+1/(Lt+Lr)+1/Ll+1/(Lb+Ll)+1/Lb+1/(Lb+Lr)} ・・・(3)
なお、加重平均における重み付けは、上述した例に特に限定されず、注目画素からの距離に基づく重み付けであればよい。
例えば、図3の状態の場合には、1マスの辺の長さを1とすると、注目画素の位置Aに対する距離は、位置A2及び位置A4が2、位置A1が2.8、位置A5及びA7が4、位置A3及び位置A6が4.5、位置A8が5.7となる。そこで、補正部55は、位置Aに対する距離が最も近い位置A2及び位置A4に対して重み付けを大きくして、位置Aに対して距離が最も遠い位置A8に対して重み付けを小さくする。
また、上述の例では、補正対象領域の周囲の画素のうち、位置A1〜位置A8に存在する一部の画素のみが、補正に用いられる画素として採用された。しかしながら、これは例示であり、補正対象領域の周囲の画素のうち、任意の個数の任意の位置の画素を、補正に用いられる画素として採用することができる。当然ながら、補正対象領域の周囲の画素の全てを、補正に用いられる画素として採用することができる。
また、補正部55は、複数の画素値の加重平均に基づいて補正対象領域の画素値の補正を行うこととしたが、これに限らず、補正に用いられる複数の画素の中間値となる画素値を、注目画素の画素値とする補正を行うようにしてもよい。この場合、補正部55は、補正対象領域に含まれる複数の画素の画素値のフーリエ変換を行い、補正対象領域の空間周波数を算出する。そして、補正部55は、算出された空間周波数が所定値より低い場合に、補正対象領域に含まれる複数の画素の画素値のそれぞれを順次注目画素に設定し、補正に用いられる複数の画素(図3の例では位置A1〜A8の各画素)の画素値のうち中間値を、注目画素の画素値となるように補正を行う。空間周波数が低い場合はメディアンフィルタによって補正を行うことで、より適切な補正を行うことができる。
つまり、一般的に、欠陥画素の周囲に、当該欠陥画素の正しい画素値に近い画素値を持つ画素が多く存在する場合には、メディアンフィルタにより中間値を採用することで、画像をぼかすことなく(画像のエッジを保った状態で)欠陥画素の画素値を正しい画素値に近い画素値に補正することが可能になる。
しかしながら、補正対象領域が広がると補正に用いる周囲画素の範囲も広がり、特に空間周波数が高い場合には、欠陥画素の正しい画素値に近い画素値を持つ画素が周囲に存在する確率が低くなり、メディアンフィルタが有効に働かなくなるので、空間周波数が低い場合に限ってメディアンフィルタを使用するのが効果的である。
また、補正部55は、画像制御部51を介して、センサ部22において測定された撮像部16の撮像素子の周囲温度と、撮像部16において撮像された場合の露光時間を取得し、取得した撮像素子の周囲温度と、露光時間とに基づいて、補正を行うか否かを制御するようにしてもよい。
以上、図2及び図3を参照して、本発明が適用されるデジタルカメラ1の機能的構成について説明した。次に、図4及び図5を参照して、このような機能的構成を有するデジタルカメラ1が実行する撮像処理について説明する。
図4は、撮像処理の流れの一例を示すフローチャートである。本フローチャートでは、補正部55によって、加重平均に基づく補正のみ行われる。また、本実施形態では、撮像処理は、デジタルカメラ1の図示せぬ電源がオン状態になって、所定の条件が満たされると開始する。
ステップS1において、図2の画像取得部52は、画像データ取得処理を実行する。
すなわち、画像取得部52は、画像制御部51の制御の下、撮像部16から出力された画像データを取得してVRAMに記憶させる。
ステップS2において、図2の位置特定部53は、欠陥画素対応位置特定処理を実行する。
すなわち、位置特定部53は、画像制御部51の制御の下、ステップS1においてVRAMに記憶された画像データについて、記憶部18に記憶されている欠陥画素位置リストに基づいて、欠陥画素の位置を特定する。ここでは、図2の位置特定部53は、欠陥画素位置リストを上から順に1つずつ読み込み、新たに読み込まれた位置を欠陥画素の位置と特定する。
ステップS3において、図2の領域特定部54は、補正対象領域特定処理を実行する。
すなわち、領域特定部54は、ステップS2において特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定する。
ステップS4において、図2の補正部55は、補正対象領域において、後述の画素値取得処理によって取得されていない画素値があるか否かを判定する。補正部55は、画素値取得処理によって取得されていない画素値がある場合、ステップS5に処理を移す。また、補正部55は、画素値取得処理によって取得されていない画素値がない場合、すなわち、補正対象領域に含まれる全ての画素の画素値が取得された場合、ステップS7に処理を移す。
ステップS5において、補正部55は、画素値取得処理を実行する。
すなわち、補正部55は、ステップS3において特定された補正対象領域から、未だ取得されていない一の画素値を注目画素の画素値として取得する。
ステップS6において、補正部55は、画素値補正処理を実行する。
すなわち、補正部55は、ステップS2において特定された位置から所定範囲に位置する画素を選択することにより、ステップS3において特定された補正対象領域の周囲に位置する複数の画素を特定する。そして、補正部55は、補正対象領域の周囲に位置する複数の画素から、ステップS5において取得された画素値の補正に用いる画素を選択する。そして、補正部55は、ステップS5において取得された注目画素の画素値について、選択された画素の画素値の加重平均に基づいて補正を行う。この処理が終了すると、処理はステップS4に戻される。
ステップS7において、画像制御部51は、各種画像処理を実行する。
すなわち、画像制御部51は、画像処理部17を制御して、全ての欠陥画素の位置に係る補正対象領域に含まれる画素値が補正された画像データについて、各種画像処理を実行する。
ステップS8において、画像制御部51は、画像データ記憶処理を実行する。
すなわち、画像制御部51は、ステップS7において、各種画像処理が実行された画像データをリムーバブルメディア31に記憶させる。この処理が終了すると、撮像処理全体が終了する。
図5は、撮像処理の流れの別の例を示すフローチャートである。本フローチャートでは、補正部55によって、加重平均及びメディアンフィルタに基づく補正のみ行われる。また、本実施形態では、撮像処理は、デジタルカメラ1の図示せぬ電源がオン状態になって、所定の条件が満たされると開始する。
ステップS11乃至ステップS15の処理は、図4に示すフローチャートのステップS1乃至ステップS5の処理と同一の処理であるので、説明を省略する。
ステップS16において、補正部55は、空間周波数算出処理を実行する。
すなわち、補正部55は、補正対象領域に含まれる複数の画素の画素値のフーリエ変換を行い、補正対象領域の空間周波数を算出する。
ステップS17において、補正部55は、ステップS16において算出された空間周波数が所定値より高いか否かを判定する。補正部55は、この判定がNOである場合、ステップS19に処理を移し、この判定がYESである場合、ステップS18に処理を移す。
ステップS18において、補正部55は、加重平均画素値補正処理を実行する。この処理は、図4に示すフローチャートのステップS6の処理と同一の処理であるので、説明を省略する。この処理が終了すると、処理はステップS14に戻される。
ステップS19において、補正部55は、メディアンフィルタ画素値補正処理を実行する。
すなわち、補正部55は、ステップS15において取得された注目画素の画素値について、補正に用いられる複数の画素の画素値のうち中間値を補正後の値とするように補正を行う。この処理が終了すると、処理はステップS14に戻される。
ステップS20及びステップS21の処理は、図4に示すフローチャートのステップS7及びステップS8の処理と同一の処理であるので、説明を省略する。
以上のような本実施形態のデジタルカメラ1によれば、位置特定部53により、撮像部16により生成された画像データにおいて、複数の画素における欠陥画素の位置を特定し、領域特定部54により、位置特定部53により特定された位置に基づいて、画像データにおいて欠陥画素により画像ノイズが発生する領域を特定し、補正部55により、領域特定部54により特定された画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する。
これにより、欠陥画素の周囲の撮像素子に対してブルーミングが発生した場合であっても、これらブルーミングが発生した領域に係る画素値を補正することができる。よって、デジタルカメラ1は、精度よく、かつ、効率的に画像信号を補正することができる。
このとき、補正部55は、補正対象領域に含まれる複数の画素それぞれの画素値について、補正対象領域の周囲に位置する複数の画素の画素値の加重平均に基づいて補正する。これにより、例えば、補正対象の画素に近い画素について、影響度を大きく設定するとともに、補正対象の画素から遠い画素について、影響度を小さく設定することができる。
このとき、補正部55は、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させる。これにより、補正対象領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる画素値の重みを適宜変更させることができる。
このとき、補正部55は、位置特定部53により特定された位置から所定範囲に位置する画素を、補正対象領域の周囲に位置する複数の画素とする。これにより、位置特定部53により特定された位置、すなわち、欠陥画素の位置を中心として、補正対象領域の周囲の領域を設定することができる。
このとき、補正部55は、補正対象領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、当該補正対象領域の周囲の複数の画素から、補正対象となる画素それぞれの位置に応じて選択する。これにより、同系色の画素を補正に用いる画素として選択することができる。
このとき、領域特定部54は、位置特定部53により特定された位置と、撮像部16による画像データの生成時の状態とに基づいて、補正対象領域の大きさを特定する。具体的には、領域特定部54は、撮像素子の周囲温度と露光時間とを画像データの生成時の状態とし、位置特定部53により特定された位置と、当該画像データの生成時の状態に基づいて、補正対象領域の大きさを特定する。これにより、撮像素子の周囲の温度や、露光時間といった画像データの生成時の状態に基づいて、ブルーミングが起こっている領域と推測して、補正対象領域の大きさを特定することができる。
このとき、撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、補正対象領域が変化するCMOSセンサであることとする。これにより、ブルーミングが起こるCMOSセンサを撮像素子として用いた場合に適正な補正を行うことができる。
このとき、補正部55は、撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する。これにより、撮像素子の周囲温度と露光時間とに基づいて、ブルーミングが起こっているか否かを判定し、補正を行うことができる。
このとき、領域特定部54は、撮像素子の周囲温度と露光時間とを画像データの生成時の状態とし、位置特定部53により特定された位置と、当該画像データの生成時の状態に基づいて、補正対象領域を特定する。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ1を例として説明したが、特にこれに限定されない。本発明は、CMOS型の撮像素子を有する電子機器一般に適用することができ、例えば、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、画像処理装置又は当該画像処理装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM12や記憶部18に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。この実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、
前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、
前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定手段と、
前記領域特定手段により特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正手段と、
を備えたことを特徴とする画像処理装置。
[付記2]
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれの画素値について、前記周囲に位置する複数の画素の画素値の加重平均に基づいて補正することを特徴とする付記1記載の画像処理装置。
[付記3]
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれの位置に応じて、補正に用いられる複数の画素の画素値それぞれの加重平均における重みを変化させることを特徴とする付記2記載の画像処理装置。
[付記4]
前記補正手段は、前記位置特定手段により特定された位置から所定範囲に位置する画素を、前記周囲に位置する複数の画素とすることを特徴とする付記1乃至3のうち何れか1つに記載の画像処理装置。
[付記5]
前記補正手段は、前記領域特定手段により特定された前記領域に含まれる複数の画素それぞれについて、画素値の補正に用いる画素を、当該領域の周囲の複数の画素から、補正の対象となる画素それぞれの位置に応じて選択することを特徴とする付記1乃至4のうち何れか1つに記載の画像処理装置。
[付記6]
前記領域特定手段は、前記位置特定手段により特定された位置と、前記撮像手段による画像データの生成時の状態とに基づいて、前記領域の大きさを特定することを特徴とする付記1乃至5のうち何れか1つに記載の画像処理装置。
[付記7]
前記撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、前記領域が変化するCMOSセンサであることを特徴とする付記1乃至6のうち何れか1つに記載の画像処理装置。
[付記8]
前記補正手段は、前記撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する付記7記載の画像処理装置。
[付記9]
前記領域特定手段は、前記撮像素子の周囲温度と露光時間とを前記画像データの生成時の状態とし、前記位置特定手段により特定された位置と、当該画像データの生成時の状態に基づいて、前記領域を特定することを特徴とする付記7又は8記載の画像処理装置。
[付記10]
画像処理装置が実行する画像処理方法であって、
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像ステップと、
前記撮像ステップにおいて生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定ステップと、
前記位置特定ステップにおいて特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定ステップと、
前記領域特定ステップにより特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正ステップと、
を含むことを特徴とする画像処理方法。
[付記11]
複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段を備える装置を制御するコンピュータを、
前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段、
前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域を特定する領域特定手段、
前記領域特定手段により特定された前記画像データの領域に含まれる複数の画素の画素値を、当該領域の周囲に位置する複数の画素の画素値に基づいて補正する補正手段、
として機能させることを特徴とするプログラム。
1・・・デジタルカメラ、11・・・CPU、12・・・ROM、13・・・RAM、15・・・光学系、16・・・撮像部、17・・・画像処理部、18・・・記憶部、19・・・表示部、20・・・操作部、21・・通信部、22・・・センサ部、23・・・ドライブ、31・・・リムーバブルメディア、51・・・撮像制御部、52・・・画像取得部、53・・・位置特定部、54・・・領域特定部、55・・・補正部

Claims (8)

  1. 複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段と、
    前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段と、
    前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む1つの補正対象領域を特定する第1の領域特定手段と、
    前記位置特定手段により特定された位置から所定範囲内で、かつ、前記1つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む1つの周囲領域を特定する第2の領域特定手段と、
    前記第1の領域特定手段により特定された前記1つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記1つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記補正手段は、前記第1の領域特定手段により特定された前記補正対象領域に含まれる複数の画素それぞれの位置に応じて、前記周囲領域に位置する複数の画素の画素値の加重平均における重みの組み合わせを変化させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の領域特定手段は、前記位置特定手段により特定された位置と、前記撮像手段による画像データの生成時の状態とに基づいて、前記補正対象領域の大きさを特定することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記補正手段は、前記撮像素子の周囲温度と露光時間とに応じて、補正を行うか否かを制御する請求項1乃至3のうち何れか1項に記載の画像処理装置。
  5. 前記撮像素子は、当該撮像素子の周囲温度と露光時間とに応じて、前記領域が変化するCMOSセンサであることを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
  6. 前記第1の領域特定手段は、前記撮像素子の周囲温度と露光時間とを前記画像データの生成時の状態とし、前記位置特定手段により特定された位置と、当該画像データの生成時の状態に基づいて、前記補正対象領域を特定することを特徴とする請求項3に記載の画像処理装置。
  7. 画像処理装置が実行する画像処理方法であって、
    複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像ステップと、
    前記撮像ステップにおいて生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定ステップと、
    前記位置特定ステップにおいて特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む1つの補正対象領域を特定する第1の領域特定ステップと、
    前記位置特定ステップにより特定された位置から所定範囲内で、かつ、前記1つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む1つの周囲領域を特定する第2の領域特定ステップと、
    前記第1の領域特定ステップにより特定された前記1つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記1つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正ステップと、
    を含むことを特徴とする画像処理方法。
  8. 複数の画素を含んで構成される撮像素子を有し、前記複数の画素の各々の画素値を画像データとして生成する撮像手段を備える画像処理装置のコンピュータを、
    前記撮像手段により生成された画像データにおいて、前記複数の画素における欠陥画素の位置を特定する位置特定手段、
    前記位置特定手段により特定された位置に基づいて、前記画像データにおいて前記欠陥画素により画像ノイズが発生する領域であって、補正対象となる複数の画素を含む1つの補正対象領域を特定する第1の領域特定手段、
    前記位置特定手段により特定された位置から所定範囲内で、かつ、前記1つの補正対象領域の外周に対して所定数の画素を隔てて外側に隣接する領域であって、補正に用いる複数の画素を含む1つの周囲領域を特定する第2の領域特定手段、
    前記第1の領域特定手段により特定された前記1つの補正対象領域に含まれる複数の画素のそれぞれについて、画素値の補正に用いる画素を、当該補正対象領域に対応して特定された前記1つの周囲領域に位置する複数の画素から、補正対象となる画素それぞれの位置に応じて選択し、この選択した画素の画素値に基づいて補正対象となる画素の画素値を補正する補正手段、
    として機能させることを特徴とするプログラム。
JP2011205074A 2011-09-20 2011-09-20 画像処理装置、画像処理方法及びプログラム Active JP5682523B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011205074A JP5682523B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法及びプログラム
US13/608,197 US8922681B2 (en) 2011-09-20 2012-09-10 Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
CN201210347356.3A CN103024302B (zh) 2011-09-20 2012-09-18 进行图像处理的图像处理装置
KR1020120103702A KR101449805B1 (ko) 2011-09-20 2012-09-19 화상 처리를 실행하는 화상 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011205074A JP5682523B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013070117A JP2013070117A (ja) 2013-04-18
JP2013070117A5 JP2013070117A5 (ja) 2013-10-03
JP5682523B2 true JP5682523B2 (ja) 2015-03-11

Family

ID=47880336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011205074A Active JP5682523B2 (ja) 2011-09-20 2011-09-20 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US8922681B2 (ja)
JP (1) JP5682523B2 (ja)
KR (1) KR101449805B1 (ja)
CN (1) CN103024302B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2956084T3 (da) 2013-02-13 2022-10-31 3Shape As Fokusscanningsapparat til registrering af farve
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置
EP3119080B1 (en) * 2014-03-12 2020-11-11 SZ DJI Technology Co., Ltd. Method and system for dead pixel correction of digital image
KR102246873B1 (ko) * 2014-11-17 2021-04-30 삼성전자 주식회사 이미지 센서가 생성한 픽셀 이미지의 불량 화소 제거 방법, 상기 방법을 이용한 이미지 센서, 및 상기 방법을 이용한 애플리케이션 프로세서
WO2016100173A1 (en) * 2014-12-18 2016-06-23 Endochoice, Inc. System and method for processing video images generated by a multiple viewing elements endoscope
US10417747B2 (en) * 2017-11-22 2019-09-17 Varex Imaging Corporation Aberrant pixel detection and correction
JP6908013B2 (ja) * 2018-10-11 2021-07-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP4228278A1 (en) * 2022-02-15 2023-08-16 Canon Kabushiki Kaisha Pixel array correction and photoelectric conversion system
US20240031696A1 (en) * 2022-07-20 2024-01-25 Gentex Corporation Image processing for pixel correction

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5854655A (en) 1995-08-29 1998-12-29 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit
JP4097332B2 (ja) * 1998-09-18 2008-06-11 富士フイルム株式会社 Ccd撮像素子の画素欠陥補正装置及び画素欠陥補正方法
JP4306653B2 (ja) * 1999-03-26 2009-08-05 カシオ計算機株式会社 撮像装置及びその信号処理方法
JP2006026234A (ja) 2004-07-20 2006-02-02 Olympus Corp 生体内撮像装置および生体内撮像システム
JP4819479B2 (ja) * 2005-11-01 2011-11-24 キヤノン株式会社 撮像装置及び画像データの補正方法
JP2007174124A (ja) * 2005-12-20 2007-07-05 Canon Inc 撮像装置及び補正方法
JP2008018047A (ja) * 2006-07-13 2008-01-31 Fujifilm Corp 欠陥領域補正装置および方法並びにプログラム、放射線検出装置
JP5013812B2 (ja) 2006-10-26 2012-08-29 キヤノン株式会社 撮像装置及び補正方法
US8203629B2 (en) 2006-10-26 2012-06-19 Canon Kabushiki Kaisha Image sensing apparatus and correction method
US8237824B1 (en) * 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
JP5056501B2 (ja) 2008-03-12 2012-10-24 株式会社Jvcケンウッド 撮像装置及びこれに用いる欠陥画素補正方法
JP2010074342A (ja) 2008-09-17 2010-04-02 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、及びプログラム

Also Published As

Publication number Publication date
JP2013070117A (ja) 2013-04-18
CN103024302B (zh) 2016-06-15
KR20130031220A (ko) 2013-03-28
KR101449805B1 (ko) 2014-10-13
US8922681B2 (en) 2014-12-30
US20130070128A1 (en) 2013-03-21
CN103024302A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5682523B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
JP5385740B2 (ja) 撮像装置及び画像データの補正方法
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
JP5660711B2 (ja) 復元ゲインデータ生成方法
US8982234B2 (en) Information processing apparatus and method
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP2011135359A (ja) カメラモジュール及び画像処理装置
JP5159715B2 (ja) 画像処理装置
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP2007274504A (ja) デジタルカメラ
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6016622B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP5446955B2 (ja) 撮像装置
JP2015231052A (ja) 撮像装置および方法、並びにプログラム
JP5933306B2 (ja) 撮像装置
CN107979715B (zh) 摄像装置
JP2011114473A (ja) 画素欠陥補正装置
JP5513310B2 (ja) 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法
JP5359814B2 (ja) 画像処理装置
JP2011114537A (ja) 画像処理装置
JP2010056817A (ja) 撮像装置
JP2009200981A (ja) ビデオカメラ
JP2012216947A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130820

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131029

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20131029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140508

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141229

R150 Certificate of patent or registration of utility model

Ref document number: 5682523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150