JP3912404B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3912404B2
JP3912404B2 JP2004309975A JP2004309975A JP3912404B2 JP 3912404 B2 JP3912404 B2 JP 3912404B2 JP 2004309975 A JP2004309975 A JP 2004309975A JP 2004309975 A JP2004309975 A JP 2004309975A JP 3912404 B2 JP3912404 B2 JP 3912404B2
Authority
JP
Japan
Prior art keywords
shading correction
color shading
image
color
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004309975A
Other languages
English (en)
Other versions
JP2006121613A (ja
Inventor
一樹 赤穂
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2004309975A priority Critical patent/JP3912404B2/ja
Priority to US11/070,526 priority patent/US20060087707A1/en
Publication of JP2006121613A publication Critical patent/JP2006121613A/ja
Application granted granted Critical
Publication of JP3912404B2 publication Critical patent/JP3912404B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に、手振れ補正機能を有するとともに、シェーディング補正が可能な撮像装置に関する。
従来、デジタルカメラ等の撮像装置では、例えばCCD(Charge Coupled Device)等からなる撮像センサを備え、撮影レンズから入射された被写体光を撮像して撮影画像を得るようになっている。この撮影画像においては、撮像センサの感度や光源照度の不均一性、或いは縮小光学系における周辺部の照度低下により、即ち撮影レンズとその絞り(絞り値)によって被写体光の光軸中心に対し周辺部の光量が低下することにより画像に濃度(明るさ)のムラが生じることがある。そこで、撮像センサを構成する各撮像素子(各画素位置)に対するゲイン(増幅率)を変化させる処理を行うことで、この光量の低下を補ってムラの発生を防止するという所謂シェーディング補正(感度補正)が行われる。このシェーディング補正のことを、後述する色シェーディング補正と区別するために「輝度シェーディング補正」と称する。
ここで、図14に、一般的な輝度シェーディング補正回路の一例を示す。同図における輝度シェーディング補正回路600は、画像データ及び輝度シェーディング補正テーブルがそれぞれメモリ601の保存領域602、603に保存されている。これら画像データ及び輝度シェーディング補正テーブルは、それぞれ別のDMA制御部604、605によって(N1、N2の各チャンネルのFIFOバッファを経て)輝度シェーディング補正ブロック606の乗算回路607に送信される。ところでこの輝度シェーディング補正テーブルには前記ゲインに関するデータ(ゲインデータ)が書かれており、乗算回路607により、画像データ中の各画素データに対応する当該ゲインデータの乗算処理が各画素データ毎に順に(同期して)行われる。なお、輝度シェーディング補正処理により変換された画像データは、順にDMA制御部608によって(N3チャンネルのFIFOバッファを経て)保存領域609に送信されて保存される。このような輝度シェーディング補正回路600を用い、撮影画像の各画素データに任意のゲインを掛ける(乗算する)ことで、前記濃度(明るさ)のムラを回避する輝度シェーディング補正が行われる。
このシェーディングに関し、近年、要請されるデジタルカメラの小型化に伴って撮像センサの小型化が進むにつれ、RGB各色毎にシェーディング量が異なるといった所謂色シェーディングという現象が顕著に見られるようになった。この色シェーディングの問題に対処するべく、例えば特許文献1に開示されている技術では、色フィルタの各色に応じたシェーディング補正係数に基づいて各画素データに対する色シェーディング補正が行われている。
特開2002−218298号公報
ところで、前記デジタルカメラ(撮像センサ)が小型化されることで、カメラの光学系が従来のようなテレセントリックな光学系でなく、有限の射出瞳を有する光学系となってきている。また、撮像センサの小型化だけでなくその高画質化の要請により、例えば図15における画素部断面700とこれに対する光の入射の様子を示す図に示すように、効率良く集光するべく例えば画素701といった各画素毎にマイクロレンズ(集光用レンズ)を設けるようになっている(図15では、画素701に対して、例えばR色の色フィルタ702の前後に大小のマイクロレンズ703、704が配設されている)。前記射出瞳は、その設計の容易さから小さくなる傾向にあり、例えば図16に示すように、各マイクロレンズも射出瞳位置に応じてシュリンク(瞳補正)させたものが使用されている。
ところが、例えば図17及び図18における撮像センサ(撮像素子)の構成(例えば図17は撮像センサの一端側部、図18は撮像センサの他端側部)に示すように撮像センサの各撮像素子は略光軸を中心として左右非対称であり、かつ、前記射出瞳位置によるマイクロレンズにおける分散、或いは撮像素子の構成上の問題(小型化のため撮像センサの遮光が不十分)等によって、色毎に各撮像素子で得られる光量(露光量)が異なるものとなってしまう。そのため、色シェーディング補正を実行しようとした場合、RGB各色毎に異なる上下左右非対称なゲイン(ゲインカーブ)を掛ける必要が生じてくる。また、撮像レンズについても小型化が強く要求されており、組み立て時の誤差、すなわち撮像素子における電極構造や遮光部の位置ズレといった製造上の誤差による色シェーディングへの影響も大きい。このように撮像デバイスとレンズとをペアで考えた場合、発生する色シェーディングは非対称かつ複雑なものとなる。
また、近年のデジタルカメラには、手振れ等の振れを補正するための振れ補正機能を搭載したものもあり、振れ補正時には、撮像レンズ(光学レンズ)と撮像センサ(撮像素子)との相対的な位置関係が振れに応じて変化する。前記色シェーディングは、この撮像レンズと撮像センサとの相対的な位置関係の変化によっても異なるものとなってしまう。
なお、前記特許文献1に開示されている技術では、擬似同心円状にシェーディング補正されるようなシェーディング補正係数(前記ゲインに相当)を用いて当該シェーディング補正を行うものとされており、前記非対称かつ複雑な色シェーディングには対処することが難しい。また、特許文献1には当該振れ補正を行う場合の色シェーディング補正について開示されていない。
本発明は上記事情に鑑みてなされたもので、非対称かつ複雑な色シェーディングに対する補正(色シェーディング補正)が行えるとともに、手振れ等の振れ補正を行う場合の撮影においても、精度良く色シェーディング補正を行うことができる撮像装置を提供することを目的とする。
本発明の請求項1に係る撮像装置は、撮影における振れを補正する振れ補正機能を有するとともに、撮影画像におけるRGB各色による色シェーディングを補正する色シェーディング補正機能を有する撮像装置であって、撮影レンズからの被写体光を露光して撮影画像を得る撮像素子と、前記振れによる被写体光の光軸と撮像素子との位置のずれを該光軸に対する撮像素子の移動によって補正する振れ補正手段と、前記移動に基づく光軸と撮像素子との相対位置を検出する位置検出手段と、前記相対位置と比較するための比較ポイントの配列パターン情報を予め記憶する配列パターン情報記憶手段と、前記配列パターンの各比較ポイントにおける各色に対する色シェーディング補正を行うための色シェーディング補正情報を予め記憶する補正情報記憶手段と、前記位置検出手段により検出された相対位置と前記配列パターンにおける比較ポイントとを比較し、使用する色シェーディング補正情報を当該相対位置に近い比較ポイントにおける色シェーディング補正情報に切り替える補正情報切替手段と、当該切り替えられた色シェーディング補正情報に基づいて前記撮影画像に対する色シェーディング補正を行う色シェーディング補正手段とを備えることを特徴とする。
上記構成によれば、撮像素子により撮影レンズからの被写体光が露光されて撮影画像が得られ、振れによる被写体光の光軸と撮像素子との位置のずれが該光軸に対する撮像素子の移動によって振れ補正手段によって補正され、この移動に基づく光軸と撮像素子との相対位置が位置検出手段によって検出される。相対位置と比較するための比較ポイントの配列パターン情報が配列パターン情報記憶手段によって予め記憶され、また、配列パターンの各比較ポイントにおける各色に対する色シェーディング補正を行うための色シェーディング補正情報が補正情報記憶手段によって予め記憶される。補正情報切替手段によって、位置検出手段により検出された相対位置と配列パターンにおける比較ポイントとが比較され、使用する色シェーディング補正情報が、例えばデフォルトで設定されている色シェーディング補正情報から当該相対位置に近い比較ポイントにおける色シェーディング補正情報に切り替えられる。そして、当該切り替えられた色シェーディング補正情報に基づいて色シェーディング補正手段によって撮影画像に対する色シェーディング補正が行なわれる。
このように、振れ補正により光軸のズレに対応して撮像素子が移動し、撮影レンズ(光軸)と撮像素子との相対位置が変化した(ズレた)場合であっても、随時、この変化した相対位置と配列パターンの各比較ポイントとが比較されて、使用する色シェーディング補正情報が当該相対位置に対応する(近い)比較ポイントのRGB各色に対する色シェーディング補正情報に切り替えられ(設定され)、このRGB各色の色シェーディング補正情報に基づいて色シェーディング補正が行なわれるため、非対称かつ複雑な色シェーディングに対する補正(色シェーディング補正)が行えるとともに、手振れ等の振れ補正を行う場合の撮影においても精度良く色シェーディング補正を行うことができる。
請求項2に係る撮像装置は、請求項1において、前記位置検出手段は、撮像素子の1回の露光期間中に前記相対位置を1回以上検出することを特徴とする。この構成によれば、位置検出手段によって、撮像素子の1回の露光期間中に相対位置が1回以上検出されるため、当該各露光期間中の(少なくとも1回の)相対位置の検出によって、撮像素子の各露光期間に応じて刻々と変化する撮影画像の色シェーディングを検出することができ、この色シェーディングに対する色補正に確実に反映させることが可能となる。また、各露光期間中の相対位置の検出を複数回行なうようにすれば、例えばこの複数回の検出情報を平均処理して用いるなどして、より精度の高い色シェーディング補正を行なうことが可能となる。
請求項3に係る撮像装置は、請求項1又は2において、前記各比較ポイントの配置は、光軸と撮像素子との相対位置基準としての所定の基準位置から周辺へ向けて所定間隔で放射状に配置されたものであることを特徴とする。この構成によれば、配列パターンにおける各比較ポイントの配置は、光軸と撮像素子との相対位置基準としての所定の基準位置から周辺へ向けて所定間隔で放射状に配置されたものであるため、基準位置から周辺へ向けて放射状に移動するという実際の相対位置の変化(ズレ)に即して、当該相対位置に近い比較ポイントの位置をシンプルな配列パターンによって効率良く検出することができる。
請求項4に係る撮像装置は、請求項3において、前記各比較ポイントの配置は、前記基準位置近傍の所定範囲における比較ポイントの配置密度と比べて周辺部の該配置密度が大きい又は等しい配置であることを特徴とする。この構成によれば、配列パターンにおける各比較ポイントの配置は、基準位置近傍の所定範囲における比較ポイントの配置密度と比べて周辺部の該配置密度が大きい又は等しい配置であるため、基準位置(中央部)から周辺へ離れるほど比較ポイント同士の距離が離れてしまい、粗い(精度の低い)色シェーディング補正となってしまうのを防止できるとともに、周辺部に近いほど色シェーディング量(変化)が大きくなる(ゲインカーブが急峻となる)ような、すなわち、周辺部ほど比較ポイントの数(色シェーディング補正情報)が多く必要とされるような色シェーディングに対する補正(色シェーディング補正)を精度良く行うことができる。
請求項5に係る撮像装置は、請求項1〜4のいずれかにおいて、前記各比較ポイントの配置は、撮影画像における色シェーディング補正が実施されない領域として前記基準位置を含む所定範囲に比較ポイントが無い配置であることを特徴とする。この構成によれば、配列パターンにおける各比較ポイントの配置は、撮影画像における色シェーディング補正が実施されない領域として、基準位置を含む所定範囲に比較ポイントが無い配置となっているため、当該配列パターン情報が少なくて済み、これを記憶するメモリ容量を低減できるとともに、基準位置を含む所定範囲(中央部)から離れ、色シェーディングの影響が無視できない領域では色シェーディング補正を行い、色シェーディングの影響を受けないと考えられる当該中央部の所定範囲においては色シェーディング補正を行なわないといった、撮影画像各部の色シェーディングの違いに応じた効率良い色シェーディング補正が可能となる。
請求項1記載の発明によれば、振れ補正により光軸のズレに対応して撮像素子が移動し、撮影レンズ(光軸)と撮像素子との相対位置が変化した(ズレた)場合であっても、随時、この変化した相対位置と配列パターンの各比較ポイントとが比較されて、当該相対位置に対応する(近い)比較ポイントのRGB各色に対する色シェーディング補正情報に切り替えられ(選択され)、このRGB各色の色シェーディング補正情報に基づいて色シェーディング補正が行なわれるため、非対称かつ複雑な色シェーディングに対する補正(色シェーディング補正)が行えるとともに、手振れ等の振れ補正を行う場合の撮影においても精度良く色シェーディング補正を行うことができる。
請求項2記載の発明によれば、各露光期間中の(少なくとも1回の)相対位置の検出によって、撮像素子の各露光期間に応じて刻々と変化する撮影画像の色シェーディングを検出することができ、この色シェーディングに対する色補正に確実に反映させることが可能となる。また、各露光期間中の相対位置の検出を複数回行なうようにすれば、例えばこの複数回の検出情報を平均処理して用いるなどして、より精度の高い色シェーディング補正を行なうことが可能となる。
請求項3記載の発明によれば、基準位置から周辺へ向けて放射状に移動するという実際の相対位置の変化(ズレ)に即した、当該相対位置に近い比較ポイントの位置をシンプルな配列パターンによって効率良く検出することができる。
請求項4記載の発明によれば、粗い(精度の低い)色シェーディング補正となってしまうのを防止できるとともに、周辺部に近いほど色シェーディング量(変化)が大きくなる(ゲインカーブが急峻となる)ような、すなわち、周辺部ほど比較ポイントの数(色シェーディング補正情報)が多く必要とされるような色シェーディングに対する補正(色シェーディング補正)を精度良く行うことができる。
請求項5記載の発明によれば、配列パターン情報が少なくて済み、これを記憶するメモリ容量を低減できるとともに、基準位置を含む所定範囲(中央部)から離れ、色シェーディングの影響が無視できない領域では色シェーディング補正を行い、色シェーディングの影響を受けないと考えられる当該中央部の所定範囲においては色シェーディング補正を行なわないといった、撮影画像各部の色シェーディングの違いに応じた効率良い色シェーディング補正が可能となる。
以下、図面に基づいて、本発明の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、本発明に係る撮像装置が好適に適用されるデジタルカメラ1の外観構造を説明する図であり、(a)はその正面斜視図、(b)は背面図を示している。デジタルカメラ1は、カメラ本体2と、カメラ本体2の一端側に配設される撮影レンズ3とを備えて構成されている。カメラ本体2の上面(頂面)にはレリーズボタン4、電源スイッチ5(メインスイッチ)及びモード設定キー6が、正面側には、撮影レンズ3の他にフラッシュ部7や測距窓8が配設されている。背面側にはLCDモニタ9及び電子ビューファインダ10、並びに撮影再生選択キー11、情報表示設定変更キー12及び手振れ防止機能設定キー13などの各種操作キー(スイッチ、ボタン)等がそれぞれ配設されている。
撮影レンズ3は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体2の内部に配置されている後述のCCD21へ導くための光学レンズ系(被写体光の光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロック)を構成するものである。
レリーズボタン4は、撮影動作を開始させるためのものであり、これが押下されると撮影動作(CCD21により被写体光を撮像し、これにより得られた画像データに対して所定の画像処理を施した後、所定の記録部に記録するといった一連の撮影動作)が実行される。電源スイッチ5は、デジタルカメラ1の電源のオン・オフ切り替えを行うものである。モード設定キー6は、絞り優先、シャッタスピード優先といった露光(露出)条件の設定(自動露出制御(AE制御))、静止画撮影モードや動画撮影モード(連続撮影モード)、或いは自動焦点制御(AF制御)を行う撮影モードといった各撮影モード、或いは撮影画像をライブビュー表示させるライブビューモードや後述の画像メモリ110に記録された撮影画像を再生表示する再生モード等の各種モードの切り替え(モードの設定)を行うものである。モード設定キー6は、マクロ撮影の切り替えや、撮影レンズ3のズームレンズの焦点距離を変更するためのズーム設定キーとして機能させてもよい。このモード設定キー6等による設定情報、或いは撮影枚数や日付情報といった各種設定情報は、カメラ本体2上面に設けられた表示パネル14(液晶パネル)に表示されてもよい。
フラッシュ部7は、フラッシュ撮影時のフラッシュ発光を行うものである。測距窓8は、被写体のピント情報を検出する測距素子等からなる所謂AFセンサーである。LCDモニタ9は、カラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)で構成されており、ライブビュー表示用の画像(ライブビュー画像)やレリーズボタン4を押下して撮影した画像を確認するためのプレビュー画像、或いはメモリカード(又は画像メモリ)に記録された撮影画像を再生画像として表示するものである。電子ビューファインダ10(EVF;Electronic View Finder)は、接眼部の小窓中が液晶画面で構成され、CCD21で捉えた映像を表示するファインダ(覗き窓)として機能するものである。
撮影再生選択キー11は、オン・オフ切り替えによって撮影モードか再生モードかの選択を行うものである。撮影再生選択キー11がオンの場合は、画像メモリ110等に記録された撮影画像がLCDモニタ9や電子ビューファインダ10に再生表示される。撮影再生選択キー11がオフの場合は、前記モード設定キー6により設定された各種撮影モード等における撮影動作が行われる。情報表示設定変更キー12は、LCDモニタ9に表示される情報の表示形態(表示設定)を切り替えるものであり、例えばLCDモニタ9に、再生画像を複数のサムネイル画像が配列表示されてなるインデックス画面として表示させたり、再生対象のコマの選択表示或いはコマ送り表示させたりする。手振れ防止機能設定キー13は、手持ち撮影や望遠撮影、暗部での(長時間露光が必要な)撮影時において、手振れ等の「振れ」が発生する恐れのある場合に対して、確実な撮影を可能とするための振れ防止機能(振れ補正機能)のオン・オフ切り替えを行うものである。
カメラ本体2の内部には、撮影レンズ3からの被写体光を撮像するCCD21(撮像素子)、各種音響効果を出力するスピーカ、電池を収納する電池室や記録媒体としてのメモリカード等の記録メディア(図2の記録メディアM)等の各種本体機器が配置されている。ただし、記録メディアは、カメラ本体2の側面部等に設けられたスロット部15(挿入口)等において着脱自在に設けられている。なお、カメラ本体2は、外部装置とのI/F(インターフェイス)をなすAV出力端子やUSB端子のコネクタ部やAC電源のジャック等を備えていてもよい。また、前記各スイッチ(キー、ボタン)の他に、LCDモニタ9又は電子ビューファインダ10に表示される画像の任意の領域を拡大表示させる(電子マグニファイヤとして動作させる)モニタ拡大スイッチや、LCDモニタ9と電子ビューファインダ10との画像表示を切り替える表示切替スイッチ等を備えていてもよい。
(撮像装置の電気的構成の全体的な説明)
図2は、図1に示すデジタルカメラ1の電気的構成を示すブロック図である。このデジタルカメラ1は、撮影レンズ3、撮像部20、レンズ駆動部30、信号処理部40、振れ補正部50、表示部60、操作部70、主制御部80、計時部90、シェーディング補正情報処理部100及び画像メモリ110などを備えて構成されている。撮影レンズ3は前記光学レンズ系(フォーカスレンズ、ズームレンズ)とともに、透過光量を調節するための絞りを備えており、自動的に各レンズ位置を移動させて焦点調整やズーム調整を行うことが可能に構成されている。撮像部20は、撮影レンズ3を通して入射される被写体光像を光電変換して画像信号として出力するものであり、CCD21、CCD−I/F(インターフェース)部22、タイミングジェネレータ23及びタイミング制御部24を備えている。
CCD21は、被写体光を撮像(被写体輝度を検出)する、すなわち撮影レンズ3により結像された被写体光像の光量に応じて、R、G、B各成分の画像信号に光電変換し、その画像信号を所定のバッファを介して信号処理部40へ出力するものである。具体的には、CCD21は、CCD(Charge Coupled Device)が2次元状に配置されたエリアセンサの各CCDの表面に、R(赤)、G(緑)、B(青)の原色透過フィルタ(カラーフィルタ)がピクセル単位で市松模様状に貼り付けられた所謂ベイヤー方式と呼ばれる単板式カラーエリアセンサを構成するカラー撮像素子である。なお、当該撮像素子としては、CCDイメージセンサ、CMOSイメージセンサ、VMISイメージセンサ等幾つかの選択肢があるが、本実施形態ではCCDイメージセンサを採用している。
CCD−I/F部22は、主制御部70から入力される制御信号に基づいてCCD21の撮影駆動(光電変換)を制御するものである。CCD−I/F部22は、タイミングジェネレータ23による駆動タイミングパルスに基づいて、CCD21に対する駆動制御信号(蓄積開始信号・蓄積終了信号)を生成するとともに、所謂インタレース方式による読出制御信号(水平同期信号、垂直同期信号、転送信号等)を生成し、それぞれCCD21に送出する。CCD−I/F部22は、この読出制御信号によるCCD21からの出力信号にGain(増幅)変更等のアナログ処理を施し、これを信号処理部40に送出させる。
タイミングジェネレータ23は、タイミング制御部24から入力される基準クロック信号に基づいて駆動タイミングパルスを生成するものである。タイミング制御部24は、主制御部70から入力される制御信号に基づき、タイミングジェネレータ23に対する基準クロック信号を生成するものである。また、タイミング制御部24は、CCD21から送出される画像信号を信号処理部40で信号処理するためのタイミング信号(基準クロック信号)を生成し、このタイミング信号を後述する信号処理部40内のA/Dコンバータ41等に出力する。
なお、撮像部20は、CCD21の露光時間(撮像素子による被写体光の蓄積時間;積分時間)が適正となるようにフィードバック制御を行う。具体的には、撮影時における例えば前記ライブビューモードにおいて、絞りに対する絞り値がレンズ駆動部30における 後述の絞りドライバ31によって開放固定とされ、この状態において、CCD21による被写体に対する測光(分割測光等)が行われる。そして当該測光データ(評価値)に基づき、主制御部80において露出制御用パラメータ(露光量制御用パラメータやダイナミックレンジ制御用パラメータ)が算出され、この露出制御用パラメータと予め設定されたプログラム線図(例えばCCD21の光電変換特性図)等に基づいて前記フィードバック制御用のパラメータが算出される。そして、このフィードバック制御用パラメータに基づいて、CCD−I/F部22やタイミングジェネレータ23により、CCD21に対するフィードバック制御が行われる。ただし、この絞りはシャッタを兼用しており、本撮影が行われる際には、フィードバック制御用パラメータに基づいて、絞りドライバ31による絞りの開口面積の制御により、CCD21に対する露光量が制御される。
レンズ駆動部30は、撮影レンズ3各部の動作制御を行うものであり、絞りドライバ31、フォーカスレンズ駆動用モータ(以下、「FM」とする)32及びズームレンズ駆動用モータ(以下、「ZM」とする)33を備えている。絞りドライバ31は、絞りの絞り値を制御するもので、主制御部80から入力される絞り値の情報に基づいて絞りを駆動し、その絞りの開口量を調節する。FM32は、主制御部80から入力されるAF制御信号(例えば駆動パルス数等の制御値)に基づいて駆動し、フォーカスレンズを焦点位置に移動させる。ZM33は、主制御部80から入力されるズーム制御信号(モード設定キー6によるズーム設定情報)に基づいて駆動し、ズームレンズを望遠(テレ)側に移動させたり、広角(ワイド)側に移動させたりする。
信号処理部40は、CCD21から送出される画像信号に対し、アナログ信号処理やデジタル信号処理による所定の信号処理を施すものである。画像信号の信号処理は当該画像信号を構成する各画素信号ごとに行われる。信号処理部40は、A/Dコンバータ41及び画像処理部42等を備えて構成されている。A/Dコンバータ41は、CCD21から送信されてきたアナログ値の画像信号(アナログ信号)をデジタル値の画像信号(デジタル信号)に変換するものであり、各画素で受光して得られる画素信号を例えば12ビットの画素データに変換する。
画像処理部42は、A/Dコンバータ41によるA/D変換により得られた画像信号に対する所定の画像処理(デジタル信号処理)を行うものであり、当該画像処理として例えば、所定のフィルタを用いて各画素値を補間(置換)する画素補間処理、画像データにおける水平及び垂直画素データの縮小又は間引き処理を行うことで、設定された記録画像画素数へ解像度変換を行う解像度変換処理、RGB各色の色バランスを調整することでホワイトバランス(WB)補正を行うホワイトバランス補正処理、画像におけるRGB各色におけるムラ(色シェーディング)等を補正するシェーディング補正処理、画像データのガンマ(γ)特性を補正することにより階調補正を行うガンマ補正処理、或いは画像データの圧縮を行う画像圧縮処理などの処理を実行する。
なお、信号処理部40は、CCD21から出力されるアナログ値の画像信号のサンプリングノイズの低減を行うCDS(相関二重サンプリング)回路や、CDS回路から入力されたアナログ値の画像信号のゲイン調整(レベル調整)を行うAGC(オートゲインコントロール)回路を備えていてもよい。
振れ補正部50は、手振れ等により発生した「振れ」に対する補正を行うものである。つまり、例えば図3に示すように、カメラに振れが発生して撮影レンズ3に入射される光軸が各レンズに対して符号Aで示す光軸から符号Bで示す光軸へずれたとすると、この光軸のずれ量に応じてCCD21をシフトさせることにより当該振れを補正するものである。振れ補正部50は、CCD位置制御台51及びジャイロ52を備えている。CCD位置制御台51は、ヨー(Yaw)方向及びピッチ(Pitch)方向の少なくとも2つの圧電アクチュエータを備え、これら圧電アクチュエータの駆動により、前記光軸に対するCCD21の位置を制御する(移動させる)。
具体的には、CCD位置制御台51は、例えば図4に示すように、ヨー方向圧電アクチュエータ511、ピッチ方向圧電アクチュエータ512、フレーム体513、514、ベース部515及び位置検出部520等を備えて構成されている。ヨー方向圧電アクチュエータ511及びピッチ方向圧電アクチュエータ512は、所謂超音波駆動が行われるインパクト形のリニアアクチュエータ(圧電アクチュエータ)であり、印加される電圧に応じて高速伸縮する圧電素子部やこの圧電素子により駆動されるロッド部、或いは当該ロッド部の駆動(振動)により摩擦移動されるスライダ部や振動を効率良く伝えるための錘部(ウエイト)等から構成される(各部は図略)。ヨー方向圧電アクチュエータ511は、カメラ本体2に固定されたベース部515に固設されており、ヨー方向圧電アクチュエータ511のスライダ部に相当するフレーム体513がX軸方向(例えば左右方向)にスライド移動される。
一方、ピッチ方向圧電アクチュエータ512は、前記フレーム体513に固定されており、ピッチ方向圧電アクチュエータ512のスライダ部に相当するフレーム体514を、当該フレーム体514に配設されているCCD21とともにY軸方向(上下方向)へスライド移動される。この構成により、ヨー方向圧電アクチュエータ511によって、フレーム体513、ピッチ方向圧電アクチュエータ512、フレーム体514及びCCD21が一体化されてなるものがX軸方向に移動されるとともに、当該X軸方向に移動されるピッチ方向圧電アクチュエータ512によってさらにフレーム体514及びCCD21がY軸方向へ移動される。
ベース部515及びフレーム体514には、位置検出部520を構成するものとして例えば位置検出素子である2次元PSD(Position Sensitive Device)521及び2次元赤外RED522が互いに対向して配設されており、これらによって、前記ヨー方向圧電アクチュエータ511によるX軸方向への移動に対するCCD21の位置、及びピッチ方向圧電アクチュエータ512によるY軸方向への移動に対するCCD21の位置の検出が行われる。この検出されたCCD21の位置情報に基づいて、撮影レンズ3(の光軸)に対するCCD21の位置(ズレ量)が検出されることになる。
ジャイロ52は、測定対象部(本実施形態ではデジタルカメラ1)の振れ方向や振れ量などの振れ(手振れ)情報を検出するためのもの(振れ検出器)である。ジャイロ52は、ヨー方向におけるデジタルカメラ1の振れの角速度に基づく振れ量を検出するヨー方向ジャイロ(図略)と、ピッチ方向における振れの角速度に基づく振れ量を検出するピッチ方向ジャイロ(図略)とを備えており、これらヨー方向及びピッチ方向ジャイロにより検出された振れ情報は、主制御部80に入力される。このようなジャイロとしては、例えば圧電素子に電圧を印加して振動状態とし、この圧電素子に回転運動による角速度が加わったときに生じるコリオリ力に起因する歪みを、電気信号として取り出すことで角速度を検出するタイプのものが使用できる。
図5は、前記CCD位置制御台51及びジャイロ52(振れ補正部50)を用いた、本実施形態におけるデジタルカメラ1の手振れ補正機能を実現するための一構成例である。同図に示すように、ジャイロ52は、検出したカメラ本体2の手振れによる振れ情報を主制御部80へ送信し、また、CCD位置制御台51は、位置検出部520により検出した現在のCCD21の位置情報(後述の撮影レンズ3の光軸とCCD21との相対位置情報に相当)を、主制御部80へ送信する。そして主制御部80は、これら振れ情報及び位置情報に基づいて、振れの影響を軽減するべくCCD位置制御台51(CCD21)の駆動方向と駆動量とを適切に決定し、この決定した駆動方向及び駆動量に基づく駆動制御情報により、CCD位置制御台51(ヨー方向、ピッチ方向圧電アクチュエータ511、512)の駆動を行う。このような構成により、デジタルカメラ1の振れに対するCCD21の位置制御(位置補正)が行われる。
表示部60は、LCDモニタ9、電子ビューファインダ10及び表示パネル14からなり、CCD21による撮影画像(画像処理部42により画像処理され、画像メモリ110や記録メディアMに記憶されるなどした撮影画像)や所定のキャラクタ情報(文字や図形)を表示する。操作部70は、レリーズボタン4、モード設定キー6及び手振れ防止機能設定キー13等の各種操作スイッチからなり、デジタルカメラ1に対する各種操作指示を行うものである。操作部70による操作情報は主制御部80に出力される。
主制御部80は、各制御プログラム等を記憶するROM(Read Only Memory)、演算処理や制御処理などのデータを一時的に格納するRAM(Random Access Memory)、及び前記制御プログラム等をROMから読み出して実行するCPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。主制御部80は、例えば、レリーズボタン4が半押しされたことを示す操作信号を検出すると、被写体の静止画を撮影するための準備動作(露出制御値の設定や焦点調節等の準備動作)を装置の該当各部に実行させ、さらにレリーズボタン4が全押しされたことを示す操作信号を検出すると、撮影動作、即ちCCD21を露光し、その露光によって得られた画像信号に対して後述のシェーディング補正処理等の画像処理を施して画像メモリ110や記録メディアMに記録するといった一連の動作を該当各部に実行させる。
計時部90は、装置全体における基準となるクロック信号(所定のクロック周波数を有する)を発生するものであり、このクロック発生部として水晶発振子等の発振素子(図略)を備えている。計時部90で発生したクロック信号は、主制御部80へ出力される。
画像メモリ110は、画像処理部42における演算の際に一時的に画像データを保存(格納)したり、画像処理部42での信号処理が終了した画像データ(画像ファイル)を保存しておくメモリであり、例えば複数フレーム分の画像データを記憶し得る容量を有している。画像メモリ110におけるこの画像データは必要に応じて適宜アクセスされ各部にて使用される。
(シェーディング補正部の詳細説明)
シェーディング補正情報処理部100は、図2に示すように、本実施形態における色シェーディング補正に関する情報の処理を行うものであり、色シェーディング補正データテーブル用メモリ101、色シェーディング補正データ切替部102及び色シェーディング補正データテーブル作成部103を備えて構成されている。
色シェーディング補正データテーブル用メモリ101は、撮影レンズ3(の光軸)とCCD21との相対位置と比較するための、すなわちCCD21における撮影レンズ3から入射される被写体光の光軸の位置(相対位置)と比較するための複数のポイント(以降、比較ポイントという)に対する、RGB各色の色シェーディング補正データテーブルを予め記憶するものである。ところで、前記複数の比較ポイントは所定の配列パターンを有したものとされているが、先ずこの比較ポイントの配列パターンについて説明する。
図6は、撮影レンズ3の光軸とCCD21との相対位置と比較するための各比較ポイントの配列パターンを示している。同図において、符号201に示す円形のものは、CCD21側から見た撮影レンズ3のレンズ部(レンズ部201)を示している。符号202に示す四角形のものは、撮影レンズ3のレンズ面と平行に配置されたCCD21のセンサ面(CCD21がこの位置に存在すると仮定した場合の想定センサ面;以降、想定センサ面202という)を示しており、この想定センサ面202の四隅(角部)の点は、CCD21における左右上下の撮像素子限界点(有効画素の最端(角)位置)となっている。
この想定センサ面202内の例えば符号203に示す複数の黒丸点、及び符号204に示す白丸点は、前記比較ポイントを示している。ただし、この白丸点は前記光軸(撮影レンズ3)とCCD21との相対位置の検出にあたっての基準位置(相対位置基準点)であり、この比較ポイントを基準ポイント204とする。これら各比較ポイントは、同図の配列パターン210に示すように、基準ポイント204を中心として、想定センサ面202の周辺(四辺)部へ向けて放射状に配置されている。具体的には、基準ポイント204(白丸点)から、上下左右斜め方向の8方向に広がる直線(8方向の各直線同士の挟角が45°となっている)上に32個の比較ポイント(黒丸点)が配置され、且つこれら直線上の各比較ポイントが等間隔となるよう配置されてなる合計33個(白丸及び黒丸点の総数)の比較ポイントによって構成された配列パターン210となっている。配列パターン210は、このように、基準ポイント204からその周辺部へ向けて所定間隔で(8方向に)放射状に配置されたシンプルな配列パターンとなっているが、これは、基準ポイント204から周辺部へ向けて放射状に移動するという、実際の振れ補正駆動時における相対位置の変化(移動)に即した配置であり、これによって、当該相対位置(光軸)に近い比較ポイントの位置を効率良く検出することが可能とされている。
ところで、図6は、撮影レンズ3の光軸が基準ポイント204の位置に一致した状態を示している。ここでは、この状態を、振れ補正動作開始時の撮影レンズ3(光軸)及びCCD21の初期相対位置(初期セット位置)としている。振れ補正駆動によるCCD21の移動に応じて、撮影レンズ3に対するCCD21の相対位置が変化し、これにより、図6に示す初期相対位置(基準ポイント204)にあった光軸の位置が、想定センサ面202内の任意な位置へ相対的に移動することになる。この移動された光軸の位置は、想定センサ面202内における、例えば基準ポイント204に対してどの位置(座標位置)にあるのかが、上記CCD位置制御台51の位置検出部520による検出情報に基づいて検出される。
色シェーディング補正データテーブル用メモリ101には、上記配列パターン210の各比較ポイント、ここでは33箇所における33パターンのRGB各色に対応する色シェーディング補正情報(色シェーディング補正データテーブル)が記憶されている。換言すれば、RGB色における各1色につき、当該33箇所に対応する33パターン、RGB3色の合計で99パターンの色シェーディング補正情報が記憶されているとも言える。
なお、配列パターン210では、33個の比較ポイントを、8方向の放射状配置となるよう設定しているが、比較ポイントの個数やその配置はこれに限定されず、所要の色シェーディング補正精度等に応じて任意に設定してもよい。これに関し、上記直線上の各比較ポイントの間隔は等間隔でなくともよく、例えば基準ポイント204に近いほど比較ポイントの間隔を狭くしたり、その逆に周辺部ほど間隔を広くするように配置してもよい。後述の配列パターン220、230に対しても同じである。また、上記基準ポイント204から放射状に広がる直線の方向は8方向に限定されず、これより多い方向数(例えば10方向や後述の16方向)又は少ない方向数(例えば7方向)であってもよい。また、これら各方向の直線同士の挟角は、上記45°というように全て等しい角度でなくともよい。また、各比較ポイントが上記放射状に、つまり所定方向の直線上に配置されてなくてもよく、ランダムに配置されたものでもよい。なお、比較ポイントの個数を増やし、さらに多くの当該比較ポイントに対応する色シェーディング補正データテーブルを有することで、より精度の高い色シェーディング補正が可能となる。逆に、比較ポイントの個数を少なくし、色シェーディング補正データテーブルを少なくすれば、扱うデータ量が小さくて済み、データ処理が容易となる(より高速な演算処理が可能となる)とともに、これを記憶しておくメモリ容量の低減が図れる。
この配列パターン210の変形態様に関し、例えば、図12、図13に示すような配列パターンとしてもよい。図12に示す配列パターン220では、各比較ポイントの配置が、基準ポイント204の近傍領域(範囲)における比較ポイントの配置密度と比べて、その周辺部の比較ポイントの配置密度の方が大きくなる、又は配置密度が等しくなるような配置となっている。すなわち、前記図6に示す配列パターン210では、基準ポイント204(中央部)から想定センサ面202の周辺部へ離れるほど比較ポイント同士の距離が離れてしまい(比較ポイント同士の間隔が広がり)、粗い色シェーディング補正となりうることから、基準ポイント204から離れるほど相対位置に対する色シェーディング補正データテーブルを細かく持つようにするべく、周辺部の比較ポイントの配置密度を中央部よりも大きくしたり或いは中央部と等しい(同等)配置密度となるような配列パターンとしている。
ここでは、配列パターン220は、配列パターン210における8方向に広がる直線に対し、さらに当該広がる直線の間に直線を追加してなる16方向に放射状に広がる直線上に、各比較ポイントが配置されたものとされている。すなわち、例えば符号221に示す方向の直線(に配置された比較ポイント)と符号222に示す方向の直線(に配置された比較ポイント)が、配列パターン210における8方向のうちの直線に相当し、これら直線間に符号223に示す直線(に配置された比較ポイント)が追加され、これが全周(8方向)に亘って同様に追加されることで合計16方向に広がる比較ポイントの配列パターンを形成している。ただし、同図に示すように、当該追加した直線上の比較ポイントは周辺部寄りの位置にのみ設定しており(基準ポイント204近傍には配置していない)、これにより、外周部における比較ポイントの配置密度を、中央部より大きくなるよう或いは等しくなるよう調整している。
このような配列パターン220とすることで、周辺部に近いほど色シェーディング量(変化)が大きくなる(ゲインカーブが急峻となる)ような、すなわち、周辺部ほど比較ポイントの数(色シェーディング補正情報)が多く必要とされるような色シェーディングに対する色シェーディング補正を精度良く行うことが可能となる。
図13に示す配列パターン230は、前記配列パターン220において、基準ポイント204の近傍領域(範囲)に比較ポイントを有していない配列パターンとなっている。この比較ポイントを有していない領域を比較ポイント非設定領域231とすると、この比較ポイント非設定領域231では、相対位置(光軸)が変化したとしても色シェーディング補正が実施されない。このような配列パターン230とすることで、配列パターン情報が少なくて済み、これを記憶しておくメモリ容量を低減できるとともに、基準ポイント204の近傍領域(比較ポイント非設定領域231)から離れて色シェーディングの影響が無視できない周辺部の領域では色シェーディング補正を行い、色シェーディングの影響を受けないと考えられる当該中央部の所定範囲においては色シェーディング補正を行なわないというような、撮影画像各部の色シェーディングの違いに応じた効率良い色シェーディング補正が可能となる。なお、図6の配列パターン210に対して、或いは上述した比較ポイント個数やその配置が任意に設定された配列パターンに対して、当該比較ポイント非設定領域を設けてもよい。
ここで、前記色シェーディング補正データテーブル用メモリ101に保存されているシェーディング補正テーブルについて詳述する。図7は、色シェーディング補正データテーブルにおけるゲインデータ、及びこのゲインデータに基づく内挿補間演算について説明する概念図である。同図において、画面300は、CCD21による撮影画像に対応する画面を示している。ただし、この画面300は実際に表示される画面ではなく、撮影画像の各画素に対するゲインデータを説明するにあたって想定した画面(想定画面)である。この画面300上の所定のポイント(点)は、撮影画像上のこれに該当する箇所の画素点(画素)を示している。
画面300は、この画面内が例えばブロック301〜303…というように複数のブロックに分割(区分)されている。これら各ブロックには、それぞれ当該各ブロックにおける各画素のゲイン値を得るための基準となるゲインデータ(以降、基準ゲインデータという)が設定されている。具体的には、この基準ゲインデータは、各ブロック同士の境界(境界線上)の画素点(境界画素点)におけるゲイン値であり、ここでは各ブロックの角部の画素点(換言すれば、図7に示すようなブロック分割による縦横の分割線の交点での画素)におけるゲイン値とされている。色シェーディング補正データテーブル用メモリ101には、例えば、RGB各色に対して領域分けされてなる各色用のシェーディング補正テーブル保存領域が設けられており、それぞれ各色毎に前記各ブロックの角部画素点における基準ゲインデータが書かれた色シェーディング補正データテーブル(ゲインテーブル)が保存されている。
ところで、シェーディング補正時には、これら基準ゲインデータに基づいて、各ブロックにおける各画素に対する各色のゲイン値が、後述する色シェーディング補正データテーブル作成部103の内挿補間演算機能による内挿補間演算によって算出される。この内挿補間演算について説明する。例えばブロック303の拡大図に示すように、ブロック303の角部の画素点に対する基準ゲインデータをそれぞれ基準ゲインデータG1〜G4とする。ブロック303における或る画素、例えば画素311に対するゲイン値を求める場合、例えば、先ずブロック303の基準ゲインデータG1、G2間の辺H1上の画素312に対するゲイン値を基準ゲインデータG1、G2を用いて内挿補間することで算出するとともに、同様に基準ゲインデータG3、G4間の辺H2上の画素313に対するゲイン値を基準ゲインデータG3、G4を用いて内挿補間することで算出し、次にこれら画素312、313に対するゲイン値を用いて内挿補間することで当該画素311に対するゲイン値を求める。このようにして、各ブロックの各座標におけるRGB各色のゲインデータが算出される。ただし、当該各ブロックにおける各画素点のゲイン値の内挿補間の方法はこれに限定されず、例えば、先ず辺H3、H4上の画素に対するゲイン値を算出した後、これらの内挿補間により画素311のゲイン値を求める方法であってもよい。
このように、撮影画像に対するゲインデータを、当該画像の全画素に対して有する(予め保存しておく)のではなく、この画像における画面300のように分割された複数のブロックそれぞれに対する内挿補間演算用の各色の基準ゲインデータのみ有していればよいので、色シェーディング補正情報(ゲインデータ;色シェーディング補正データテーブル)を保存するためのメモリ容量の低減(削減)を図ることが可能となる。
なお、前記ブロックの各辺H1〜H4は、ブロック同士の境界(境界線)と捉えてもよい。ただし、ブロック303の辺H1はブロック同士の境界となっていない(画面300の辺となっている)が、このような実際にはブロック同士の境界となっていない辺(H1)も「境界」に含むものとする。
また、各ブロックの角部の画素点や各辺上の画素点、すなわち、各ブロックの基準ゲインデータや各辺上の画素点に対する(内挿補間により得られた)ゲインデータは、例えば隣接するブロックの何れか一方のブロックに対するデータとして扱われてもよいし、両方のブロックに対するものとして共有されるものであってもよい。例えばブロック303では、右側の辺H4、及び角部の基準ゲインデータG2が、このブロック303の右側に隣接するブロック304のデータ(ブロック304の左側の辺及び左上の角部画素点の基準ゲインデータ)として扱われてもよいし、ブロック304と共有するデータ(ブロック303に対するデータでもあり、ブロック304に対するデータでもある)として扱われてもよい。
色シェーディング補正データ切替部102は、CCD位置制御台51の位置検出部520により検出された撮像レンズ3(光軸)とCCD21との相対位置情報に基づいて、この相対位置に近い比較ポイントにおける色シェーディング補正情報への切り替えを行なうものである。具体的には、色シェーディング補正データ切替部102は、例えば当該色シェーディング補正データ切替部102に設けたメモリ1021に前記配列パターン210(220、230)を記憶しており、位置検出部520からの相対位置情報を受けて、この配列パターン210における各比較ポイントと比較し、何れの比較ポイントがこの相対位置に最も近い位置にあるかを判別し、この判別結果に基づいて該当する比較ポイントに対応する色シェーディング補正情報への切り替えを行なう。
なお、何れの比較ポイントがこの相対位置に最も近い位置にあるかの判別は、例えば想定センサ面202における当該相対位置の座標位置と各比較ポイントの座標位置との間の距離(座標距離)を算出し、最も距離が短くなる位置の比較ポイントを決定する。ただし、同じ距離となる場合には、この同じ距離となる場合の比較ポイントのうちいずれを採用するかについて予め設定しておき、それに基づいて決定する。この場合、例えば、配列パターン210において右回りの方向の位置に存在する比較ポイントを優先するとか、或る領域の又は或る線上の比較ポイントを優先させるといったように所定の優先順位を決めておいてもよい。また、当該距離が同じ比較ポイントを全て採用してもよい。この場合、距離が同じ比較ポイントに対する色シェーディング補正データテーブルも、後述の色シェーディング補正データテーブル作成部103による色シェーディング補正データテーブル(ゲインデータ)の平均処理に算入させるものとする。
色シェーディング補正データテーブル作成部103は、色シェーディング補正データ切替部102の切り替え指示によって、色シェーディング補正データテーブル用メモリ101から読み出されてきた色シェーディング補正データテーブルに基づいて、実際に色シェーディング補正に用いる(最終的に用いる)色シェーディング補正データテーブルを作成(設定)するものである。具体的には、色シェーディング補正データテーブル作成部103は、基準ゲインデータ(ゲイン値)を平均処理する平均処理機能と、基準ゲインデータを用いた内挿補間演算を行なう内挿補間演算機能を備え、色シェーディング補正データテーブル用メモリ101から読み出されてきた、該当する比較ポイントに対応する各色毎の複数の色シェーディング補正データテーブル(基準ゲインデータ)をそれぞれ一旦記憶し、平均処理機能によって当該複数の色シェーディング補正データテーブルにおける、同じ画素位置に対応する基準ゲインデータ同士の平均処理を行なう。そして、この各基準ゲインデータが平均処理された平均基準ゲインデータからなる平均色シェーディング補正データテーブルを作成し、さらに内挿補間演算機能による内挿補間によって、この平均基準ゲインデータ以外の各画素に対するゲインデータを算出することで、前記実際に色シェーディング補正に用いる色シェーディング補正データテーブル(適宜、実施色シェーディング補正データテーブルという)を作成する。
なお、前記内挿補間演算は、レリーズボタン4が全押しされて撮影画像取り込み(記録)指示がなされる場合にのみ実施されてもよいし(この場合、例えばライブビュー表示画像に対しては、前記平均処理までは行うが内挿補間演算は行わず、シェーディング補正を施さない)、また、撮影画像取り込み(記録)指示の有無に拘わらず、ライブビュー表示画像、動画像等、全ての撮影画像に対し前記平均処理と共に実施されてもよい。
図8は、シェーディング補正情報処理部100を用いた、本実施形態におけるデジタルカメラ1の色シェーディング補正を実現するための一構成例である。図8において、CCD21に対する被写体光による露光が開始されると、ジャイロ52からの振れ情報と、CCD位置制御台51(位置検出部520)からのCCD21の位置情報(相対位置情報)が主制御部80に送信され、主制御部80は、これらの情報を基にCCD21の駆動方向及び駆動量に関する駆動制御信号をCCD位置制御台51へ送信して、CCD21の振れ補正制御を実行させる。ところで、前記CCD21の位置情報は、CCD21の各露光期間中(1回の露光)に、CCD位置制御台51(位置検出部520)によって、1回以上(ここでは4回)が取得される。これについて、図9を用いて説明すると、CCD21は、露光A、B、C…というように撮影画像1フレームに相当する所定期間の露光動作が繰り返し行なわれる。この各露光期間において、例えば露光Aに対して読出Aに示す撮影画像の読み出し期間があり、また、当該読み出された画像データに対する所定の画像処理(画像処理A)期間がある。このように、露光、読み出し及び画像処理の動作が撮影中繰り返し実行される。ここでは、この各露光期間中において、例えば露光Aに対しては、同図に示す位置情報A−1〜A−4まで4回位置情報が検出される。同様にして次の露光Bでは、位置情報B−1〜B−4まで4回位置情報が検出される。このような位置情報の検出動作が各露光毎に行なわれる。
CCD位置制御台51からの位置情報は、それが検出される都度、色シェーディング補正データ切替部102に送信される。色シェーディング補正データ切替部102では、CCD位置制御台51から当該位置情報を取得する度に、それぞれの位置情報に適したRGB各色に対する色シェーディング補正データテーブルを、色シェーディング補正データテーブル用メモリ101から、色シェーディング補正データテーブル作成部103に転送するよう制御する。
具体的には、図10の符号410〜440に示す各場合のように、CCD位置制御台51(位置検出部520)から、上述の各露光期間での4回の位置情報の検出に対応する位置情報1〜4が、当該位置情報の検出が行われる都度、色シェーディング補正データ切替部102に送信される。色シェーディング補正データ切替部102では、送信されてきた各位置情報1〜4と予め記憶している配列パターン210の情報とに基づいて、前記光軸とCCD21との相対位置に近い比較ポイントを決定する。そして、この比較ポイントに対応するRGB各色の色シェーディング補正データを選択する信号(色シェーディング補正データ選択信号1〜4)を色シェーディング補正データテーブル用メモリ101に送信し、色シェーディング補正データテーブル用メモリ101に記憶されている前記比較ポイントに対応したRGB各色の色シェーディング補正データテーブル(R、G、B用色シェーディング補正データテーブル1〜4)を読み出して、色シェーディング補正データテーブル作成部103へ転送させる。
色シェーディング補正データテーブル作成部103では、前記4回の位置情報の検出に応じて4回転送されてきた色シェーディング補正データテーブルを順次記憶し、これら色シェーディング補正データテーブルに書き込まれているゲインデータ(基準ゲインデータ)に対して前記平均処理及び内挿補間を施すことで、実施色シェーディング補正データテーブルを作成する。そして、CCD21からA/Dコンバータ41を介して画像処理部42へ送信されてきた画像データに対する色シェーディング補正処理の実行に応じて、画像処理部42からの画像データにおける色情報を受けて該画像処理部42に色シェーディング補正データ(各画素データに乗算するための各ゲインデータ)を所定タイミングで順次送信する。そして、画像処理部42では、画像データに対するゲインデータの乗算処理がなされて色シェーディング補正が行なわれ、この色シェーディング補正された画像データは、記録メディアM等に記録される。なお、上述の色シェーディング補正データテーブル作成部103に記憶される前記位置情報1〜4(これを例えば図9の位置情報A−1〜A−4ととする)に対する色シェーディング補正データテーブルは、次の露光による位置情報1〜4(図9の位置情報B−1〜B−4)に対する色シェーディング補正データテーブルにより順次更新されてもよい。
(動作フローの説明)
次に、前記色シェーディング補正の動作について説明する。図11は、本実施形態に係るデジタルカメラ1の色シェーディング補正に関する動作の一例を示すフローチャートである。先ず、CCD21の露光(撮影)が開始され(ステップS1)、振れ補正部50による振れ補正駆動が開始される(ステップS2)。次に、CCD位置制御台51(位置検出部520)によって撮影レンズ3(光軸)とCCD21との相対位置が検出される(ステップS3)。そして、色シェーディング補正データ切替部102によって、この相対位置情報と予め記憶している配列パターン210の情報とに基づいて、当該相対位置に近い比較ポイントが判別され(ステップS4)、この判別された比較ポイントに対応するRGB各色の色シェーディング補正データテーブルが選択されて色シェーディング補正データテーブル用メモリ101から読み出され(ステップS5)、この読み出された各色の色シェーディング補正データテーブルが色シェーディング補正データテーブル作成部103に転送されて記憶(設定)される(ステップS6)。
前記ステップS6における色シェーディング補正データテーブルの設定動作が所定回数終了していなければ、すなわち、前記図9、10に示す1回の露光期間中における位置情報の検出回数(ここでは位置情報1〜4の4回)に達していなければ(ステップS7のNO)、上記ステップS3に戻って次の位置情報(相対位置)の検出動作に移る。ステップS6における色シェーディング補正データテーブルの設定動作が所定回数(4回)終了していれば(ステップS7のYES)、色シェーディング補正データテーブル作成部102によって、前記4回の位置情報検出に対応して該色シェーディング補正データテーブル作成部102に記憶されているRGB各色それぞれに対する4つの色シェーディング補正データテーブル(前記図10に示す、R用色シェーディング補正データテーブル1〜4、G用色シェーディング補正データテーブル1〜4、及びB用色シェーディング補正データテーブル1〜4)に書かれた基準ゲインデータの平均処理、及びこの平均処理後の基準ゲインデータを用いての内挿補間演算が行われる(ステップS8)。そして、画像処理部42によって、当該平均処理及び内挿補間演算により作成されたRGB各色の実施色シェーディング補正データテーブルの各ゲインデータ(ゲイン値)が、それぞれ撮影画像の各画素データ(各色の画素データ)に対して順次乗算されることで色シェーディング補正処理が行われる(ステップS9)。
以上のように本実施形態の撮像装置(デジタルカメラ1)によれば、振れ補正部50による振れ補正により光軸のズレに対応して撮像素子が移動し、撮影レンズ3(光軸)とCCD21との相対位置が変化した(ズレた)場合であっても、随時、この変化した相対位置と配列パターン210の各比較ポイントとが比較されて、使用する色シェーディング補正情報が(例えばデフォルト(例えば基準ポイント204等の基準位置)で設定されている色シェーディング補正情報から)当該相対位置に対応する(近い)比較ポイントのRGB各色に対する色シェーディング補正情報に切り替えられ(設定され)、このRGB各色の色シェーディング補正情報に基づいて色シェーディング補正が行なわれるため、非対称かつ複雑な色シェーディングに対する補正(色シェーディング補正)が行えるとともに、手振れ等の振れ補正を行う場合の撮影においても精度良く色シェーディング補正を行うことができる。
また、CCD位置制御台51(位置検出部520)によって、CCD21の1回の露光期間中に相対位置が1回以上検出されるため、当該各露光期間中の(少なくとも1回の)相対位置の検出によって、CCD21の各露光期間に応じて刻々と変化する撮影画像の色シェーディングを検出することができ、この色シェーディングに対する色補正に確実に反映させることが可能となる。また、各露光期間中の相対位置の検出を複数回行なうようにすれば、例えばこの複数回の検出情報を平均処理して用いるなどして、より精度の高い色シェーディング補正を行なうことが可能となる。
また、想定センサ面202における、配列パターン210(220、230)の各比較ポイントの配置は、光軸とCCD21との相対位置基準としての基準ポイント204からその周辺へ向けて所定間隔で放射状(図6に示す8方向、図12、13に示す16方向に広がる直線上)に配置されたものであるため、基準ポイント204から周辺へ向けて放射状に移動するという実際の相対位置の変化(ズレ)に即して、当該相対位置に近い比較ポイントの位置をシンプルな配列パターン210(或いは配列パターン220、230)によって効率良く検出することができる。
また、配列パターン220(230)における各比較ポイントの配置は、基準ポイント204近傍の所定範囲における比較ポイントの配置密度と比べて周辺部の該配置密度が大きい又は等しい配置であるため、基準ポイント204(中央部)から周辺へ離れるほど比較ポイント同士の距離が離れてしまい、粗い(精度の低い)色シェーディング補正となってしまうのを防止できるとともに、周辺部に近いほど色シェーディング量(変化)が大きくなる(ゲインカーブが急峻となる)ような、すなわち、周辺部ほど比較ポイントの数(色シェーディング補正情報)が多く必要とされるような色シェーディングに対する色シェーディング補正を精度良く行うことができる。
さらに、前記配列パターン230における各比較ポイントの配置は、撮影画像における色シェーディング補正が実施されない領域として、基準ポイント204を含む所定範囲(比較ポイント非設定領域231)に比較ポイントが無い配置となっているため、当該配列パターン情報が少なくて済み、これを記憶するメモリ容量を低減できるとともに、比較ポイント非設定領域231(中央部)から離れ、色シェーディングの影響が無視できない領域では色シェーディング補正を行い、色シェーディングの影響を受けないと考えられる当該中央部の所定範囲においては色シェーディング補正を行なわないといった、撮影画像各部の色シェーディングの違いに応じた効率良い色シェーディング補正が可能となる。
なお、本発明は、以下の態様をとることができる。
(A)上記実施形態では、色シェーディング補正情報(データテーブル)は、カメラ本体2の色シェーディング補正データテーブル用メモリ101に保存しているが、これに限らず、この色シェーディング補正データテーブルをカメラ本体2以外の場所に記憶しておき、必要に応じてこれを用いて色シェーディング補正を行う構成であってもよい。具体的には、例えば、撮影レンズに所定のメモリを内蔵しておき、この内蔵メモリに少なくともCCD21との相対位置関係に対応する複数の色シェーディング補正データテーブルを記憶しておく。主制御部80は、この撮影レンズがカメラ本体2に接続されたことを検出すると、当該内蔵メモリに記憶されている色シェーディング補正データテーブルを、色シェーディング補正データテーブル用のメモリ(色シェーディング補正データテーブル用メモリ101に相当)にコピーする。そして、振れ補正駆動時等に、前記実施形態と同様、このコピーされた色シェーディング補正データテーブルを用いて色シェーディング補正を行うようにしてもよい。このように、撮影レンズにそのレンズ特有の色シェーディング補正データテーブルを持たせることで、レンズ交換式のカメラにおける色シェーディング補正を容易に実現することが可能となる。
(B)上記変形態様(A)では、撮影レンズ3に内蔵メモリを持たせてこれに色シェーディング補正データテーブルを記憶することで、レンズ交換式のカメラでの色シェーディング補正を実現するようにしたが、これに限らず、カメラ本体2内の撮影レンズ別の色シェーディング補正データテーブルを記憶しておき、撮影レンズ接続時に、当該接続した撮影レンズ(の種類)を判別し、該当する撮影レンズに適合する色シェーディング補正データテーブルを使用するという構成により実現させてもよい。
(C)上記各実施形態では、色シェーディング補正処理をデジタルカメラ1において実行しているが、これに限らず、当該色シェーディング補正処理をパーソナルコンピュータ(PC)等の情報処理装置(システム)において実行してもよい。具体的には、CCD21による撮影画像を画像メモリ110や記録メディアMに記録する際に、付属情報として、各露光期間中に検出した位置情報や撮影レンズの種類等も記録する。一方、少なくとも色シェーディング補正処理を含む画像処理が可能なソフトウェアのプログラムコード、及び、色シェーディング補正データテーブルを記憶した記憶媒体をこの情報処理装置(システム)に供給しておく。これにより、例えばインターネットを介して撮影画像データとともに前記付属情報を情報処理装置に送信し、情報処理装置側でこの付属情報に基づいてこのデジタルカメラ(撮影レンズ)に適合する色シェーディング補正データテーブルを用いた色シェーディング補正処理を行うようにしてもよい。
(D)色シェーディング補正データテーブルに書き込まれているゲインデータは基準ゲインデータ(図7のブロックの角部画素のゲインデータ)でなく、撮影画像全ての画素に対するゲインデータであってもよい(この場合には、色シェーディング補正データテーブルメモリ101の容量が基準ゲインデータのみの場合よりも多く必要ではあるが、内挿補間演算が不要となり、処理速度を高くできる)。
(E)上記実施形態では、配色パターン230における比較ポイント非設定領域231において色シェーディング補正は実行されない構成としているが、これに限らず、例えば当該領域に対して設定した色シェーディング補正は行うが、相対位置の変化に応じた色シェーディング補正データテーブルの切り替えは行わないといった構成としてもよい。
(F)上記実施形態では、図7に示す各ブロックにおける基準ゲインデータは角部の画素位置(4箇所)に設定しているが、これに限らず、ブロックの各辺(境界線)における任意の位置(例えば中間位置)の画素点に設定してもよいし、その設定箇所も4箇所でなくともよい。また、各ブロックにおける基準ゲインデータを各辺上に設定せずともよく、ブロック内部の画素点に対して設定してもよい。この場合、基準ゲインデータ以外のゲイン値を、内挿補間だけでなく、外挿補間やその他の補間方法によって算出してもよい。また、画面300を分割するブロックの形状は、長方形や正方形といった四角形でなくともよく、例えば三角形や正六角形等、種々のブロック形状が採用可能である。また、各種ブロック形状を組み合わせて分割してもよい。
(G)上記実施形態では、撮影レンズ3とCCD21との相対位置関係に対してのみ、色シェーディング補正データテーブルを用意したが、この相対位置関係の条件に加え、ズーム位置や絞り量、フォーカス位置などの色シェーディングに影響を与える撮影条件も加味して色シェーディング補正データテーブルを作成してもよい。この場合、データテーブルの量は増えるが、より精度の高い色シェーディング補正を行うことが可能となる。
本発明に係る撮像装置が好適に適用されるデジタルカメラの外観構造を説明する図であり、(a)はその正面斜視図、(b)は背面図である。 図1に示すデジタルカメラの電気的構成を示すブロック図である。 カメラの振れによる撮影レンズとCCDとのずれについて説明する図である。 CCD及びCCD位置制御台の一構成例を示す概略断面図である。 上記デジタルカメラの手振れ補正機能を実現するための一構成例を示すブロック図である。 撮影レンズの光軸と撮像センサとの相対位置と比較するための各比較ポイントの配列パターンを示す図である。 シェーディング補正テーブルにおけるゲインデータ、及びこのゲインデータに基づく内挿補間演算について説明する概念図である。 上記デジタルカメラの色シェーディング補正を実現するための一構成例を示すブロック図である。 CCDの各露光期間における位置情報の検出動作について説明する図である。 CCDの各露光期間における位置情報の検出、及びこの検出に基づく色シェーディング補正に関する処理動作について説明する図である。 本実施形態に係るデジタルカメラの色シェーディング補正に関する動作の一例を示すフローチャートである。 図6に示す配色パターンの変形態様を示す図である。 図6に示す配色パターンの変形態様を示す図である。 従来におけるシェーディング補正を行うための回路構成を示すブロック図である。 従来における画素部断面とこれに対する光の入射の様子を示す図である。 従来におけるレンズシュリンク技術を説明する撮像センサの概略構成図である。 従来における撮像素子の左右非対称の構成を説明する画素部断面図である。 従来における撮像素子の左右非対称の構成を説明する画素部断面図である。
符号の説明
1 デジタルカメラ(撮像装置)
2 カメラ本体
3 撮影レンズ
4 レリーズボタン
6 モード設定キー
9 LCDモニタ
10 電子ビューファインダ
13 振れ防止機能設定キー
20 撮像部
21 CCD(撮像素子)
30 レンズ駆動部
40 信号処理部
42 画像処理部(色シェーディング補正手段)
50 振れ補正部
51 CCD位置制御台
52 ジャイロ
511 ヨー方向圧電アクチュエータ
512 ピッチ方向圧電アクチュエータ
520 位置検出部(位置検出手段)
521 2次元PSD
522 2次元赤外RED
60 表示部
70 主制御部
70 操作部
80 主制御部
100 シェーディング補正情報処理部
101 色シェーディング補正データテーブル用メモリ
102 色シェーディング補正データ切替部(補正情報切替手段)
1021 メモリ(配列パターン情報記憶手段)
103 色シェーディング補正データテーブル作成部
106 LCD表示部
110 画像メモリ
201 レンズ部
202 想定センサ面
204 基準ポイント(基準位置)
210、220、230 配列パターン
231 比較ポイント非設定領域(請求項5に記載の色シェーディング補正が実施されない領域)
300 画面

Claims (5)

  1. 撮影における振れを補正する振れ補正機能を有するとともに、撮影画像におけるRGB各色による色シェーディングを補正する色シェーディング補正機能を有する撮像装置であって、
    撮影レンズからの被写体光を露光して撮影画像を得る撮像素子と、
    前記振れによる被写体光の光軸と撮像素子との位置のずれを該光軸に対する撮像素子の移動によって補正する振れ補正手段と、
    前記移動に基づく光軸と撮像素子との相対位置を検出する位置検出手段と、
    前記相対位置と比較するための比較ポイントの配列パターン情報を予め記憶する配列パターン情報記憶手段と、
    前記配列パターンの各比較ポイントにおける各色に対する色シェーディング補正を行うための色シェーディング補正情報を予め記憶する補正情報記憶手段と、
    前記位置検出手段により検出された相対位置と前記配列パターンにおける比較ポイントとを比較し、使用する色シェーディング補正情報を当該相対位置に近い比較ポイントにおける色シェーディング補正情報に切り替える補正情報切替手段と、
    当該切り替えられた色シェーディング補正情報に基づいて前記撮影画像に対する色シェーディング補正を行う色シェーディング補正手段とを備えることを特徴とする撮像装置。
  2. 前記位置検出手段は、撮像素子の1回の露光期間中に前記相対位置を1回以上検出することを特徴とする請求項1記載の撮像装置。
  3. 前記各比較ポイントの配置は、光軸と撮像素子との相対位置基準としての所定の基準位置から周辺へ向けて所定間隔で放射状に配置されたものであることを特徴とする請求項1又は2記載の撮像装置。
  4. 前記各比較ポイントの配置は、前記基準位置近傍の所定範囲における比較ポイントの配置密度と比べて周辺部の該配置密度が大きい又は等しい配置であることを特徴とする請求項3記載の撮像装置。
  5. 前記各比較ポイントの配置は、撮影画像における色シェーディング補正が実施されない領域として前記基準位置を含む所定範囲に比較ポイントが無い配置であることを特徴とする請求項3又は4記載の撮像装置。
JP2004309975A 2004-10-25 2004-10-25 撮像装置 Expired - Fee Related JP3912404B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004309975A JP3912404B2 (ja) 2004-10-25 2004-10-25 撮像装置
US11/070,526 US20060087707A1 (en) 2004-10-25 2005-03-02 Image taking apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004309975A JP3912404B2 (ja) 2004-10-25 2004-10-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2006121613A JP2006121613A (ja) 2006-05-11
JP3912404B2 true JP3912404B2 (ja) 2007-05-09

Family

ID=36205903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004309975A Expired - Fee Related JP3912404B2 (ja) 2004-10-25 2004-10-25 撮像装置

Country Status (2)

Country Link
US (1) US20060087707A1 (ja)
JP (1) JP3912404B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350951B2 (en) 2009-09-25 2013-01-08 Canon Kabushiki Kaisha Image sensing apparatus and image data correction method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI375112B (en) * 2004-06-24 2012-10-21 Pentax Ricoh Imaging Co Ltd Digital camera
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP2006191282A (ja) * 2005-01-05 2006-07-20 Pentax Corp デジタル一眼レフカメラ
JP2007013932A (ja) * 2005-06-02 2007-01-18 Ricoh Co Ltd 画像読取装置
JP4137945B2 (ja) * 2006-01-06 2008-08-20 シャープ株式会社 画像検出方法
KR100723421B1 (ko) * 2006-03-13 2007-05-30 삼성전자주식회사 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체
US20080142685A1 (en) * 2006-12-13 2008-06-19 Gazeley William G Integrated image sensor having a color-filtering microlens, and related system and method
JP4682181B2 (ja) * 2007-11-19 2011-05-11 シャープ株式会社 撮像装置および電子情報機器
US8537240B2 (en) * 2009-09-29 2013-09-17 Hewlett-Packard Development Company, L.P. White balance correction in a captured digital image
US8314865B2 (en) * 2009-12-23 2012-11-20 Nokia Corporation Lens shading correction
US8547440B2 (en) * 2010-01-29 2013-10-01 Nokia Corporation Image correction for image capturing with an optical image stabilizer
JP2012018277A (ja) 2010-07-07 2012-01-26 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
JP5590668B2 (ja) * 2010-07-20 2014-09-17 国立大学法人電気通信大学 プロジェクタ装置、映像信号補正装置、映像信号補正方法及びプログラム
KR101657524B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
JP5887465B2 (ja) * 2013-04-17 2016-03-16 富士フイルム株式会社 撮像装置、撮像装置駆動方法、撮像装置制御プログラム
US9270959B2 (en) 2013-08-07 2016-02-23 Qualcomm Incorporated Dynamic color shading correction
JP2015144327A (ja) * 2014-01-31 2015-08-06 株式会社 日立産業制御ソリューションズ 撮像装置
WO2017138372A1 (ja) * 2016-02-10 2017-08-17 ソニー株式会社 固体撮像装置および電子機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
JPH0865567A (ja) * 1994-08-26 1996-03-08 Canon Inc 撮像装置
US7271830B2 (en) * 2002-02-11 2007-09-18 Hewlett-Packard Development Company, L.P. Motion detection in an image capturing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350951B2 (en) 2009-09-25 2013-01-08 Canon Kabushiki Kaisha Image sensing apparatus and image data correction method

Also Published As

Publication number Publication date
JP2006121613A (ja) 2006-05-11
US20060087707A1 (en) 2006-04-27

Similar Documents

Publication Publication Date Title
JP3912404B2 (ja) 撮像装置
JP3896505B2 (ja) 電子カメラ
JP5361535B2 (ja) 撮像装置
JP5642433B2 (ja) 撮像装置及び画像処理方法
JP2006121612A (ja) 撮像装置
JP2005086499A (ja) 撮像装置
JP2006086978A (ja) カメラシステム、カメラ本体及び交換レンズ
JP2010074813A (ja) 撮像装置および撮像方法
JP2007311861A (ja) 撮影装置及び方法
JP2008182485A (ja) 撮影装置及び撮影方法
JP2008199477A (ja) 撮像装置
JP2008092440A (ja) カメラおよび画像処理プログラム
JP5507761B2 (ja) 撮像装置
JP2008053931A (ja) 撮像装置
US7724297B2 (en) Imaging device having a display to display images captured by a plurality of image sensors with different display regions
JP7195790B2 (ja) 撮像装置及びその制御方法
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2005269130A (ja) 手振れ補正機能を有する撮像装置
JP2007235640A (ja) 撮影装置及び方法
JP2007195122A (ja) 撮像装置、画像処理装置および画像処理方法
JP2010103700A (ja) 撮像装置および撮像方法
JP4925168B2 (ja) 撮像方法および装置
JP2006253970A (ja) 撮像装置、シェーディング補正データ作成方法およびプログラム
JP4046276B2 (ja) デジタルカメラ
JP2010204385A (ja) 立体撮像装置および立体撮像方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070122

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

LAPS Cancellation because of no payment of annual fees