JP3822393B2 - 撮像装置および撮像制御方法 - Google Patents

撮像装置および撮像制御方法 Download PDF

Info

Publication number
JP3822393B2
JP3822393B2 JP22596299A JP22596299A JP3822393B2 JP 3822393 B2 JP3822393 B2 JP 3822393B2 JP 22596299 A JP22596299 A JP 22596299A JP 22596299 A JP22596299 A JP 22596299A JP 3822393 B2 JP3822393 B2 JP 3822393B2
Authority
JP
Japan
Prior art keywords
exposure
signal
image
period
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22596299A
Other languages
English (en)
Other versions
JP2001054009A (ja
JP2001054009A5 (ja
Inventor
宏 玉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP22596299A priority Critical patent/JP3822393B2/ja
Priority to US09/633,780 priority patent/US6831695B1/en
Publication of JP2001054009A publication Critical patent/JP2001054009A/ja
Publication of JP2001054009A5 publication Critical patent/JP2001054009A5/ja
Application granted granted Critical
Publication of JP3822393B2 publication Critical patent/JP3822393B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Cameras In General (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子に結像される光学像を光電変換して、光学像に応じた画像信号を出力する撮像装置および撮像制御方法に係り、静止画撮影する際に、撮像素子のダイナミックレンジを拡大した画像信号を出力する撮像装置および撮像制御方法に関するものである。
【０００２】
【従来の技術】
近年、CCD 電荷転送路やMOS 型半導体を用いた固体撮像素子の受光部にて光電変換された電荷を読み出し、被写界に応じたディジタル画像データを生成するディジタルカメラが普及している。このような固体撮像素子では、さらに画素数が多く高精細な映像および画像を得たいという市場の要求から、最近では画素数が200 万画素を超えるカラー撮像素子を採用したディジタルスチルカメラが一般向けに提供されている。
【０００３】
このような高画素密度化に伴って、撮像素子の撮像面は、より大きくなるのではなく、歩留まり等の向上のため逆に小さいサイズにて構成されることが多い。この結果、カメラに備えられる撮像レンズの光学系がより小さい部材で構成することができ、カメラ全体の小型軽量化に寄与されている。
【０００４】
このような高画素密度を実現する撮像素子では、それに応じて光電変換を行うフォトダイオードによる受光部の面積および容積も低容量化するため、撮像素子にて発生するノイズを減らして高S/N 化を計り、低輝度から高輝度まで幅広く再現可能なように高ダイナミックレンジ化を行うことが必要となってきている。
【０００５】
しかしながら、受光部面積の減少によって、生成される電荷は少なくなり、また、受光部に蓄積される電荷は、受光部容積の減少に応じて少なくなるという問題があって、とくに高画素密度の撮像素子において、ダイナミックレンジを飛躍的に拡大させることは困難であった。
【０００６】
そこで、たとえば、テレビジョン学会技術報告(ITE Technical Report Vol.20, No.23, PP.43〜48, 1996年３月19日発表) の”1/4 型33万画素全画素読み出し方式CCD 撮像素子”では、プログレッシブスキャン（全画素読出し）方式の固体撮像素子において、最大飽和電荷量を向上させるとともに、一方はIT-CCDと同様の情報を、他方は短時間露光の情報を垂直転送路に同時に転送し、これら２種類の異なった情報を外部回路で合成する旨が記載されていた。また、特開平6-141229号公報には、電荷蓄積期間の異なる２枚以上の画像を撮像し、その画像信号を加算して高ダイナミックレンジの合成画像を作成する発明の高ダイナミックレンジ撮像装置が開示されていた。また、特許第2755366 号の特許公報には、短い第１露出時間と、それよりも比較的長い第２露出時間とで撮像した画像データを組み合わせることにより画像検出アレイのダイナミックレンジを拡大した電子カメラが記載されていた。また、特公平7-97841 号公報には、露光量の異なる複数の画面の各部分の信号レベルから、適正レベルの画面部分を選択して、適正レベルの画面部分を合成した合成画像を形成する撮像装置が記載されていた。
【０００７】
このように従来は、CCD の電子シャッタ機能による露光時間を変えて、１フィールド期間内に２回の撮像を行い、これを合成して高ダイナミックレンジを実現していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来技術では、ダイナミックレンジの拡大は見込めるものの、高速シャッタによる撮像信号に対し、スメアが大きく発生し、しかもその高速シャッタによる撮像信号はゲインアップされるため、合成後の画像が劣化するという問題があった。具体的には、短い開放時間の高速シャッタによる第１の撮像信号が垂直転送路を転送されている際に、長い開放時間の第２の撮像が行われると、この第２の露光中によって垂直転送路に漏れだした電荷が、第１の撮像信号に混合されてしまってスメアが発生する。これはとくに、第２の露光における露光量が大きく設定されている場合では、より顕著であった。
【０００９】
また、２つの撮像画像を合成する際には、シャッタ開放時間の比に応じて、出力信号のレベル補正を行って合成していたので、正確に補正することは困難であった。たとえば、これら露出をメカニカルシャッタで、正確なシャッタ速度にて行おうとすると、精度の高いシャッタ開閉機構が必要となり、また、その安定性を保つためにはその機構部分が複雑な構成となって、小型軽量な構成にて容易に携行可能なカメラにとっては現実的ではなかった。
【００１０】
また、撮影時の露光条件を適切に決定した場合であっても、被写界の状態によっては、部分的にシャドー領域やハイライト領域が含まれ、とくにハイライト領域では、被写体輝度や撮像素子自体のバラツキにより、撮像素子の受光部が飽和状態となっている場合があるので、単純な２画像の合成では、良好な処理画像が得られるとは限らなかった。
【００１１】
本発明はこのような従来技術の欠点を解消し、スメアの影響が少ないように撮像を行って、適切にダイナミックレンジが拡大された画像信号を得ることのできる撮像装置および撮像制御方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像レンズを介して入射され、撮像素子の受光部に結像される光学像を光電変換し、光学像に応じた画像信号を出力する撮像装置において、この装置は、受光部にて電荷が生成されて、一連の露出期間が経過すると、撮像素子への入射光を遮光して該露出期間を終了させるシャッタ手段と、撮像素子から出力される画像信号を記憶する記憶手段と、撮像装置の動作を制御する制御手段であって、被写界を静止画撮像するための露光量を決定する制御手段と、記憶手段から読み出される画像信号を合成する合成手段とを含み、制御手段は、入射光に応じた第１の露出値と第１の露出値よりも低い露出になる第２の露出値とを決定する露出値決定手段と、第１および第２の露出値にそれぞれ応じた第１および第２の期間を含む露出期間にて、光学像を光電変換させる露出制御手段と、露出期間中の第１の期間に応じたタイミングで、受光素子にて生成および蓄積された電荷を撮像素子の転送路にシフトさせる第１の読出制御手段であって、電荷に応じた第１の信号を撮像手段より出力させる第１の読出制御手段と、露出期間を終了させる際、シャッタ手段を制御して入射光を遮光させ、第１の期間に続く第２の期間を終了させる遮光制御手段と、第１の読出制御手段にて第１の画像信号が撮像素子より出力されると、第２の期間にて生成された電荷に応じた第２の信号を撮像素子より出力させる第２の読出制御手段と、第１および第２の信号の露光量比を算出する比率算出手段と、露光量比に応じて第２の信号のレベルを補正する補正手段とを含み、合成手段は、第１の信号および補正された第２の信号に応じた画像信号を露出期間における１コマの画像を表す画像信号として出力する手段を含むことを特徴とする。
【００１３】
また、本発明は上述の課題を解決するために、撮像レンズを介して入射され、撮像素子の受光部に結像される光学像を光電変換し、光学像に応じた画像信号を出力させる撮像制御方法において、この方法は、受光部にて電荷が生成されて、一連の露出期間が経過すると、撮像素子への入射光を遮光して露出期間を終了させる遮光工程と、撮像素子から出力される画像信号を記憶する記憶工程と、撮像装置の動作を制御する制御工程であって、被写界を静止画撮像するための露光量を決定する制御工程と、記憶工程にて記憶した画像信号を合成する合成工程とを含み、制御工程は、入射光に応じた第１の露出値と第１の露出値よりも低い露出になる第２の露出値とを決定する露出値決定工程と、第１および第２の露出値にそれぞれ応じた第１の期間と、第１の期間に続く第２の期間とを含む露出期間にて、光学像を前記光電変換させる露出制御工程と、露出期間中の第１の期間に応じたタイミングで、受光素子にて生成および蓄積された電荷を撮像素子の転送路にシフトさせる第１の読出制御工程であって、電荷に応じた第１の信号を撮像手段より出力させる第１の読出制御工程と、第１の読出制御工程にて第１の画像信号が撮像素子より出力されると、第２の期間にて生成された電荷に応じた第２の信号を撮像素子より出力させる第２の読出制御工程と、第１および第２の信号の露光量比を算出する比率算出工程と、露光量比に応じて第２の信号のレベルを補正する補正工程とを含み、合成工程は、第１の信号および補正された第２の信号に応じた画像信号を露出期間における１コマの画像を表す画像信号として出力する工程を含むことを特徴とする。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明が適用されたディジタルカメラの一実施例を詳細に説明する。図２を参照すると、本実施例におけるディジタルスチルカメラ10のブロック図が示されている。このカメラ10は、撮像レンズ12および機械式シャッタ14を介して撮像素子16の撮像面に結像される被写界像を撮像し、この撮像に応じた画像データを生成して出力する撮像装置である。本実施例におけるカメラ10は、撮像素子16を電子シャッタ制御により駆動し、また、機械式シャッタ14に対して開閉制御を行って、これら露光制御によって一連の露出期間Ｔを規定する。カメラ10の撮像素子16は、露出期間Ｔにて生成される電荷に応じた画素信号を出力し、その画像信号を処理して、撮像素子16が本来有するダイナミックレンジを拡大した１コマの静止画像信号を生成する。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１５】
本実施例における撮像素子16は、その撮像面に原色カラーフィルタが被着されたカラー撮像素子であり、全画素読出方式のIT-CCD (Interline Transfer CCD) である。図３に示すように、撮像素子16は、水平(H) および垂直(V) 方向の２次元に配列された受光部(PD) 18 により各正方画素を形成し、受光部18への照射光量に応じた電荷が生成される。この受光部18は、フォトダイオード等の光電変換素子にて形成されている。受光部18にて生成される電荷は、タイミング制御部20より撮像素子16に供給されるフィールドシフトパルスおよび転送パルス等の撮像素子16を駆動する駆動信号100 によって、対応の垂直転送路(VCCD) 22 に転送され、さらに水平転送路(HCCD) 24 に転送された後、出力アンプ26を通して電荷に応じた画素信号が出力102 から出力される。これら転送路22,24 は、電荷結合素子 (CCD)にて形成されている。
【００１６】
撮像レンズ12および撮像素子16間の光路に配設される機械式シャッタ14は、シャッタパルス100 に応動して、光路を遮断し、開口部が閉状態となる遮光機能を有する光学シャッタである。本カメラ10における機械式シャッタ14は、たとえば、動画表示モードが設定されるか、もしくは操作部28に配設されたレリーズ釦（図示せず）が半押し状態に操作されると、タイミング制御部20より供給されるシャッタパルスに応動して開口部が開放状態に制御される。そして、レリーズ釦が全押し状態となるとタイミング制御部20より供給されるシャッタパルス100 に応動してその開口部を閉じ、レリーズ操作に応じた所望の１コマの静止画撮影時における露出期間Ｔを終了させる。露出期間Ｔが開始するタイミングは、レリーズ釦が全押しされて所定の撮影調整を行った後、受光部18および各転送路に存在する電荷の掃出処理が完了した時点であり、この時点から機械式シャッタ14の開口部が閉成完了した時点までに各受光部18にて生成されて蓄積される電荷が１コマの画像を形成する。したがって、機械式シャッタ14の閉成で露出期間Ｔが終了する。なお、機械式シャッタ14が撮像レンズ12のアフォーカル部に配設される場合には、シャッタ機構に開口量可変の明るさ絞り機構を持たせて、撮像素子16への入射光量を調節可能にするとよく、また、アイリス絞りを別に設けて測光値に応じた露光量制御を行ってもよい。また、図示はしていないが撮像素子16の前面には、光学ローパスフィルタが備えられており、光学ローパスフィルタは、たとえば入射する光束を異常屈折させて光学像の空間周波数を制限した光学像を結像させる。
【００１７】
本実施例における露出期間Ｔおよび撮像素子16の駆動制御について図１を参照して詳細に説明する。タイミング制御部20は、レリーズ釦が半押しされたか、もしくは動画表示モードが設定されたことを、制御部30から通知される制御信号によって認識すると、撮像素子16を駆動する駆動信号を生成して、連続する複数フレームの画像信号を撮像素子16から出力させる。このときタイミング制御部20は、機械式シャッタ14を開放状態に制御するシャッタパルスを機械式シャッタ14に出力する。タイミング制御部20は、撮像素子16の受光部18にて変換および蓄積される電荷を所定の期間ごとに転送させる垂直および水平転送パルスを撮像素子16に供給して、その出力102 から画素信号を出力させる。このようにして出力される複数フレームの画素信号によって、たとえばレリーズ釦の半押し状態にて自動焦点調節処理や明るさ制御、さらには自動ホワイトバランス調整処理などの撮像調節が行われる。また、動画表示モードでは、出力される画素信号を処理して不図示の表示装置に出力する表示画像データを生成し、連続フレームの撮像画像を表示させることにより、電子ファインダ機能が実現する。
【００１８】
ついで、タイミング制御部20は、レリーズ釦が全押しされたことを制御部30からの制御信号によって認識すると、撮像素子16を駆動する駆動信号を生成して、所定期間連続する複数フレームの画像信号を撮像素子16から出力させる。このようにして出力される複数フレームの画素信号によって、静止画像撮影用の撮像調節処理が行われる。たとえば制御部30は、出力される画素信号に基づいて算出される被写界に応じて決定される露光量を露光量制御部38より入力し、露光量に応じたシャッタ速度および絞り値をタイミング制御部20に設定する。タイミング制御部20は、決定されたシャッタ速度に応じて撮像素子16を駆動する駆動信号を生成する。このような撮像調整処理が完了すると、タイミング制御部20は、掃出パルスを撮像素子16に供給し、撮像素子16はこの掃出パルスに応動して、受光部18に存在する電荷を基板抜きして消滅させる。その後、タイミング制御部20は掃出パルスの出力を停止し、静止画像撮影の露出期間Ｔを開始させる。
【００１９】
タイミング制御部20は、露出期間Ｔを終了させる際に、機械式シャッタ14の開口部を閉成させるシャッタパルスをシャッタ14に出力し、撮像素子16に被写界からの光が入射されないように遮光状態に制御する。シャッタ14の開口部が所定の動作遅延αの後に完全に閉じられると実際の露出期間Ｔが終了する。
【００２０】
この露出期間Ｔ内において、タイミング制御部20は、受光部18にて生成されている電荷を全露出期間Ｔの途中で読み出す第１の読出パルスを生成する。撮像素子16は、この第１の読出パルスに応動して、受光部18にてそれぞれ生成蓄積された電荷を対応の垂直転送路22にフィールドシフトする。この時点までの露出期間T1にて生成された電荷は、撮像素子16に入力されるタイミング制御部20からの転送パルスによって垂直転送路22から水平転送路24に転送され、水平転送路24をさらに転送されて、出力アンプ26の出力102 から画素信号が順次出力される。この露出期間T1後についても、受光部18への入射光に応じた電荷が引き続き生成されており、露出期間T1終了からシャッタパルスによって機械式シャッタ14が閉成されるまでの露出期間T2にて生成される電荷は、信号出力期間S1の終了後にタイミング制御部20より出力される第２の読出パルスによって垂直転送路22にフィールドシフトされて、各転送路22,24 および出力アンプ26を通して読み出され、出力102 から画素信号が信号出力期間S2にて順次出力される。
【００２１】
垂直および水平転送路上の電荷がすべて出力されて、信号出力期間S2が終了すると、タイミング制御部20は、機械式シャッタ14を開放させて動画表示モードに復帰し、モードに応じたタイミング制御および駆動制御を再開して次の撮影に備える。動画表示モードが設定されていない場合にはレリーズ釦の半押し状態でシャッタ14を開放させる。なお、露出期間Ｔにおける露出期間T1および期間T2は、期間T1では撮像画像信号に基づいて、所定のAEアルゴリズムに応じた適切な露出値により、その時間が決定されている。しかし、画像信号内の部分的な領域、たとえば、その高輝度部分にて撮像素子16の電荷生成量が飽和状態となっている場合があるので、期間T2は、期間T1よりも、数EV、たとえば、２EVないし３EVさらには４EV程度低くなるような露出値に応じた時間が設定される。したがって、期間T2は期間T1よりも短い期間に設定される。この結果、信号出力期間S1の部分的なタイミングにて、露出期間T2における電荷生成が受光部18にて行われているが、この電荷生成に応じて発生するスメアの影響を、そのとき転送中の電荷に大きく与えることが防止される。なお、本実施例では、露出期間T2を期間T1よりも短い時間に設定しているが、これに限らず、たとえばこれら期間を同じ時間に設定して、さらに露出期間T2での電荷生成の際には、明るさ絞りの値を大きな値に変更し、撮像素子16への受光量を減少させるようにして光量制御を行ってもよい。また、本実施例では、自動露出調整により露出期間T1を決定しているがこれに限らず、たとえば操作部28に対する操作に応じてマニュアル設定される期間を露出期間T1とし、これに応じて少ない露光量とする露出期間T2を決定してもよい。
【００２２】
このように本実施例では、露出期間Ｔ内において、電荷掃き出し完了から開始される電子シャッタ制御の露出期間T1にて生成された電荷を読み出し、続く露出期間T2を機械式シャッタ14の閉成によって確定しており、さらにこれら露出期間T1,T2 は、露出期間T2が期間T1よりも短い時間に設定されて、期間T2における露光量が期間T1のときのそれよりも小さくなるように制御している。
【００２３】
撮像素子16の出力102 には、相関二重サンプリング(CDS) 回路32が接続され、CDS 回路32は、入力104 に入力するサンプリングパルスおよびリセットパルスによって画素信号100 を相関二重サンプルしてリセット雑音を減少させて出力106 に出力する。アナログ・ディジタル変換部(ADC) 34は、CDS 回路30の出力106 をディジタル信号に変換する変換回路であり、本実施例では入力108 に入力される画素クロックに応動して画素信号106 を10ビット精度のディジタル画像信号に変換する。ADC 34の出力110 は、一方はメモリ36に接続され、他方は露光量制御部38に接続されている。
【００２４】
メモリ36は、入力110 に現れる画像データを記憶する記憶回路である。本実施例におけるメモリ36は、撮像素子16の信号出力期間S1およびS2にて出力される１コマ分の画像データを格納するフレームメモリを有し、出力期間S1にて蓄積した画像データ(S1)を出力112 に出力し、出力期間S2にて蓄積した画像データ(S2)を出力114 に出力する。メモリ36の出力112 は、レベル補正部40のレベル補正回路40a に接続され、出力114 はレベル補正回路40b に接続されている。
【００２５】
レベル補正部40は、信号出力期間S1にて蓄積された画像データ(S1) 112と、信号出力期間S2にて蓄積された画像データ(S2) 114とのそれぞれの信号レベルを補正する補正処理部である。レベル補正部40は、ディジタル値にて表される画像データ(S1),(S2) の値を露光量制御部38から供給される補正信号k1,k2 に従ってそれぞれ補正する。具体的には、一方のレベル補正回路40a は、画像データ(S1) 112と補正信号k1とを乗算し、その乗算結果(k1*S1) を出力116 に出力する。他方のレベル補正回路40b は、画像データ(S2) 114と補正信号k2とを乗算し、その乗算結果(k2*S2) を出力118 に出力する。これら出力116,118 は、レベル補正部40の出力を構成し、それぞれ合成処理部42に接続されている。
【００２６】
ADC 34の出力110 に接続される露光量制御部38は、動画表示モードにおける表示期間および撮像調整期間T0にて撮像される画像データ110 に基づいて、被写界の輝度を測光する機能を有する。具体的には露光量制御部38は、図４に示すように、たとえば、撮像画面50に縦横各々８ブロックの合計64ブロックからなる複数の分割領域52を設定し、撮像画面50の各分割領域52に対応する画像データの値に基づいて、動画モードにて明るさ制御を行うための測光値や、被写界を適正な露出で静止画撮像するための測光値を算出する。たとえば、露光量制御部38は、評価測光モードが設定されると、複数の分割領域52で所定の測光エリアをそれぞれ形成し、各測光エリアごとの明るさを表す信号レベルを積算する。次いで露光量制御部38は、そのエリアごとの積算値にそれぞれ重み付けして、画像データに応じた測光値を決定する。露光量制御部38は、決定した測光値に応じて光量制御を行う絞り値およびシャッタ速度を、絞り優先AEモードおよびプログラムAEモード等のAEモードに応じて決定して、露出期間Ｔを規定する期間T1,T2 を示す露光制御情報を制御部30に出力する。さらに露光量制御部38は、撮像素子16の信号出力期間S1,S2 にてそれぞれメモリ36に格納される画像データ(S1),(S2) を入力し、静止画撮影したこれらの画像データに基づいて、各画像データ(S1),(S2) の信号レベルを補正するための実際の露光量比ｍを求める機能を有している。これらの機能によりシャッタ制御に応じた露出期間T1,T2 の情報を使用せずに、実際の露光量比ｍを求めているから、たとえば、機械式シャッタ14の動作時間にバラツキが生じていたとしても、正確な露光量比ｍを算出することができる。したがって、機械式シャッタ14の精度を高めるための過剰な機構が不要である。
【００２７】
この露光量制御部38の詳細構成を、図５を参照して説明すると、露光量制御部38は、ADC 34の出力110 に接続された分割領域作成部500 を有し、分割領域作成部500 は、撮像画面50を複数の分割領域（ブロック）52に分割し、分割されたブロック52ごとの画像データを生成する機能部である。
【００２８】
レベル検出部502 は、分割領域作成部500 にて生成されたブロックごとの画像データの表す信号レベルを検出する機能部である。レベル検出部502 は、検出したブロックのタイミングを測光条件決定部504 に出力し、ブロックごとの画像データの値を積算処理部506 に供給する。
【００２９】
測光条件決定部504 は、領域指定部508 より供給される領域情報と、測光モード指定部510 より供給される測光指定情報とに基づいて、測光対象となるブロックに基づいて露出値を算出するためのブロック指定情報と、使用されるブロックに対する重み付けを指定する重み情報とを生成する。測光条件決定部504 は、生成したブロック選択情報と重み情報とを露出値算出部512 に供給する。
【００３０】
領域指定部508 は、指示入力部514 より通知される測光エリア指定情報に応じたブロックを示す領域情報を生成して測光条件決定部504 に供給する。なお、領域指定部508 は、制御部30にて決定されるフォーカシングエリアに応じた領域情報を生成して、測距エリアに応じた領域を指定するようにしてもよい。
【００３１】
測光モード指定部510 は、指示入力部514 より通知される測光モード指定情報に従って、その測光モードが評価測光であるか、平均測光であるか、もしくはスポット測光であるか等を示す測光指定情報を生成して測光条件決定部504 に供給する。測光条件決定部504 は、これら情報に基づいて、領域情報にて指定される各ブロックに対し、測光指定情報に応じた重み付けを行う重み情報を生成し、さらに、被写界を撮像して得られる各ブロックのレベルの積算値が、撮像画像にとって最適な値となるようにするための判断を、レベル検出部502 から送られるブロックごとの画像データに基づいて行う。
【００３２】
たとえば、測光条件決定部504 は、ブロックの輝度レベルや色情報、さらにはコントラストなどを勘案して、絵柄に応じて測光に使用するブロックを選択したり、選択したブロックに対する評価の重みを加減したりして、各ブロックのレベルの積算値が、撮像画像にとって最適な値となるようにする測光条件を決定する。さらに測光条件決定部504 は、このようにして決定した測光条件を表すレベル最適化情報を補正係数k1算出部516 に供給する。
【００３３】
レベル検出部502 の出力に接続された積算処理部506 は、入力される各色成分RGB の画素データの値をそれぞれ１ブロックごとに積算し、その演算結果であるブロックごとの積算値を切替処理部518 に色成分ごとに出力する。
【００３４】
切替処理部518 は、制御入力520 に入力される動作モード情報に応動して、動作モードに応じて切り換える入力選択機能を有する。切替処理部518 は、動画モードおよび撮像調整期間T0では、積算処理部506 の出力を露出値算出部512 に接続してブロックごとの積算値を露出値算出部512 に供給し、撮像調整期間T0が終了した露出期間Ｔでは、積算処理部506 の出力を飽和判定部522 および領域選択部524 に接続して、ブロックごとの積算値をこれら機能部522,524 に供給する。
【００３５】
露出値算出部512 は、測光条件決定部504 より供給されるブロック選択情報と重み情報とに基づいて、被写界を静止画撮像するための最適な露出値（EV値）を決定する機能部である。露出値算出部512 は、ブロック選択情報に対応するブロックの積算値に重み情報を乗算して、測光モードおよび測光エリアに応じた露出値を算出する。露出値算出部512 の出力は補正処理部526 に接続され、補正処理部526 は、指示入力部514 から与えられる補正情報に従って、算出された露出値をプラスもしくはマイナス方向に露出補正する。補正処理部526 は、補正された露出値を露光制御部528 に出力する。
【００３６】
露光制御部528 は、指示入力部514 から通知されるAEモード情報に従って、算出および補正された露出値に応じた露出期間T1と、その露出値よりも数EV程度マイナス補正した露出期間T2とを決定して、１コマの静止画像撮影時における撮像素子16への全体の露出期間Ｔを規定する。露光制御部528 は、測光条件に応じた適切な露光値に応じた露出期間T1に加えて、露出期間T2の分だけ露出時間を延長させて、一連の撮像期間にて撮像素子16にて電荷を生成させる露光量制御を行う。露光制御部528 は、たとえば、評価測光により決定される適正露出時における撮像画像のハイライト部分のうち、撮像素子16の受光部18にて飽和レベルとなっている高輝度部分についてさらに階調が得られるように、露出期間T1をたとえば1/2 以下に切りつめた期間、つまり１〜数EV以上のマイナス補正に対応する露出期間T2を設定する。露光制御部528 は、決定した露出期間(T1,T2) および絞り値(F) を示す露光制御情報を制御部30（図２）に出力する。また、露光制御部528 は、AEモードに応じて絞り値を決定することにより、撮像素子16への露光量を制御するとともに、たとえば発光部54（図２）における閃光発光光量およびその発光時間を必要に応じて決定し、発光光量制御情報を制御部30に出力してもよい。
【００３７】
指示入力部514 は、制御部30から通知される制御信号に応じた制御情報を各部に伝達する機能部である。指示入力部514 は、制御部30より供給される測光エリア情報を領域指定部508 に通知し、また、測光モード情報を測光モード指定部に通知し、さらに補正情報を補正処理部526 に通知する。また、指示入力部514 は、AEモードを露光制御部528 に通知する。
【００３８】
切替処理部518 の他方の出力に接続された飽和判定部522 は、入力されるブロックごとの積算値に基づいて、そのブロックが撮像素子16の飽和レベルにあるか否か、つまりそのブロックにて白飛びが発生しているか否かを判定する機能部である。この飽和レベルは、撮像素子16の実際の飽和レベルのバラツキを勘案して、設計上想定される飽和レベルよりも低いレベルに設定される。飽和判定部522 は、白飛びが発生しているブロックを検出すると、飽和状態を示す飽和情報を生成して領域選択部524 に出力する。
【００３９】
領域選択部524 は、入力されるブロックごとの積算値のうち、飽和状態ではないブロック、つまり非飽和状態の正常なブロックの積算値を、上述の飽和情報に基づいて選択し、選択した積算値を領域値算出部530 に出力する機能部である。
【００４０】
領域値算出部530 は、正常ブロックの積算値を合計する機能部である。詳しくは、露出期間T1にて電荷生成されて撮像素子16より出力された画素信号(S1)と、露出期間T2にて電荷生成されて撮像素子16より出力された画素信号(S2)とをそれぞれ別個に合計し、露出期間T1にて非飽和露光されたブロック(Ia+Ib+Ic+...)の積算値の各露出期間ごとの総計ΣS1, ΣS2をそれぞれ算出する。領域値算出部530 は、算出した積算値総計ΣS1 (I1a+I1b+I1c+...), ΣS2 (I2b+I2b+I2b+...)を比率算出部532 に出力し、比率算出部532 は、入力される積算値総計ΣS1と積算値総計ΣS2との比率ｍを算出する機能部である。これら領域値算出部530 と比率算出部532 との機能により、後に画像信号S1と画像信号S2とを合成した際のリニアリティを確保している。
【００４１】
比率算出部532 の出力に接続される補正係数k2算出部534 は、補正係数k1算出部516 から供給される補正係数k1と、比率算出部532 から供給される比率ｍとに基づいて補正係数k2を算出する機能部である。本実施例における補正係数k2算出部534 は、補正係数k1と比率ｍとを乗算して補正係数k2(= m×k1) を算出し、算出した値をレベル補正部40のレベル補正回路40b に供給する。
【００４２】
測光条件決定部504 の出力に接続される補正係数k1算出部516 は、入力される測光処理の際に測光条件決定部504 にて生成されたレベル最適化情報に基づいて補正係数k1を決定する。補正係数k1算出部516 は、決定した補正係数k1を補正係数k2算出部534 と、レベル補正部40のレベル補正回路40a とにそれぞれ供給する。
【００４３】
なお、本実施例では、積算処理部506 における積算処理を撮像素子16の原色フィルタ配列RGB に応じたRGB 信号に対し別々にそれぞれ行って、飽和判定部522 にてRGB ごとに飽和判定を行い、飽和していないブロックごとの積算値比率を各色成分RGB ごとに算出する。補正係数k2算出部534 は、補正係数k1算出部516 からのRGB ごとの補正係数k1R,k1G,k1B と、RGB ごとの比率mR,mG,mBとをそれぞれ乗算して、RGB ごとの補正係数k2R,k2G,k2B 生成する。
【００４４】
図２に戻って、合成処理部42は、撮像素子16の信号出力期間S1および期間S2に出力される画素データをそれぞれ合成する処理部である。本実施例における合成処理部42は、画素データ(S1)の飽和レベルよりも高いレベルを画素データ(S2)から得られる値を用いて補完して出力する機能を有する。詳しくは合成処理部42は、図６に示すように、撮像素子16の信号出力期間S1にて得られる画素データ(S1 ) と、撮像素子16の信号出力期間S2にて得られる画素データ(S2)とをそれぞれk 1 倍およびk2倍した画素データ(k1S1)および(k2S2)を合成処理する際に、あらかじめ設定された飽和レベル値を境にして、飽和レベル値未満の画素データ(k1S1 ) を出力し、飽和レベル値以上の画素データ(k2S2)を出力する。
【００４５】
この合成処理部42の内部構成を図７に示すと、合成処理部42は、撮像素子16の飽和基準レベルを設定する飽和レベル設定部600 と、設定される基準レベルを撮像素子16の飽和レベルのバラツキを考慮して、所定レベル低めに基準レベルを補正する補正部602 と、補正された飽和レベル値と、入力116 に入力される画素データ(S1)116 の値とを比較判定し、画像データ(S1)の値が飽和レベル値を超えたか否かを示す判定結果を出力する判定部604 と、比較結果に応じて、画像データ(S1)または画像データ(S2)を選択して出力120 に出力する選択部606 とを含む。このように本実施例では、単なる画素データの合成処理ではなく、信号レベルに応じた画素データの選択処理を行って、飽和状態になっていない適切なレベルの出力信号を得るように構成されている。
【００４６】
なお、レベル補正回路40a は、信号出力期間S1のRGB 画素信号の各色成分をそれぞれk1R,k1G,k1B 倍した画素データ(k1RS1),(k1GS1),(k1BS1) を生成し、レベル補正回路40b は、信号出力期間S2のRGB 画素信号の各色成分をそれぞれmk1R,mk1G,mk1B倍(mk1=k2)した画素データ(k2RS2),(k2GS2),(k2BS2) を生成する。合成処理部42は、信号出力期間S1のRGB 画素信号に対しレベル補正回路40a にてそれぞれk1R,k1G,k1B 倍した画素データ(k1RS1),(k1GS1),(k1BS1) と、信号出力期間S2のRGB 信号に対しレベル補正回路40b にてそれぞれmk1R,mk1G,mK1B倍した画素データ(k2RS1),(k2GS1),(k2BS1) とを合成する。これにより、非飽和状態の画像データブロックから得られる情報に基づいて、合成処理とホワイトバランス調整処理とを同時に行う。
【００４７】
合成処理部42の出力120 は信号処理部56に接続され、信号処理部56は、ガンマ補正、輪郭補正、輝度色差(YC)変換処理および圧縮符号化処理などの各種のディジタル信号処理を行う。信号処理部56にて処理された画像データは、たとえば半導体メモリなどを有するメモリカードなどの情報記録媒体に出力されて、画像情報記録領域に記録される。
【００４８】
カメラ10全体を制御する制御部30は、中央処理装置(CPU) およびその周辺回路であり、操作部28から伝達される操作情報に従って、カメラ10の動作モードを設定し、設定モードに応じた制御および処理を行う。また、制御部30は、操作部28のレリーズ釦への操作に応じたレリーズ信号をタイミング制御部20に出力する。
【００４９】
たとえば、制御部30は、操作部28への操作状態に応じた測光モード、測光エリア、露出補正、AEモードなど決定し、これらを指定する制御情報を生成して露光量制御部38に出力する。また、制御部30は、露光量制御部38から供給される露出時間 (T1,T2)、絞り値(F) などの露光量制御情報を入力して、これに応じた制御信号をタイミング制御部20に出力する。
【００５０】
また、制御部30は、撮像される画素データから所定のフォーカシングエリアにおけるコントラスト成分を抽出して、被写界のコントラスト成分に基づいて撮像レンズ12の焦点位置を制御するコントラスト検出方式の自動焦点調節機能を有し、たとえば撮像調節期間T0にて撮像された画素データをADC 34より入力し、被写界コントラストが最大を示す焦点位置に撮像レンズ12を制御する制御情報を生成する。この制御情報を入力する撮像レンズ12は不図示の駆動部により駆動されてそのレンズ位置が調節される。制御部30に接続される操作部28は、電源スイッチ、レリーズ釦およびモード設定ダイヤル等の各操作釦と釦操作を検出する各スイッチ回路を備え、操作状態に応じた操作検出信号を制御部30に通知する。
【００５１】
さらに制御部30は、カメラ10の動作状態を表示部58に表示させる機能を有する。たとえば制御部30は、操作に応じて設定されている動作モードや撮影可能枚数や被写界の輝度が充分であるか否かを示す警告表示を、表示部58に備えられる液晶表示パネルに表示させる。操作者は、その表示を視認してカメラの動作設定を確認し、必要に応じて各種の設定を変更することができる。また、制御部30は、信号処理部56にて信号処理を行う際の信号処理パラメータを設定する機能を有する。たとえば制御部30は、圧縮率を設定する。
【００５２】
以上のような構成で本実施例におけるカメラ10の動作を説明すると、まず、時刻t0において、操作部28のモード設定ダイヤルにて動画表示モードが設定されると、第１回目のシャッタパルスに応動して、機械式シャッタ14が開放状態に駆動されるとともに、撮像素子16が駆動されて、各フレームの画素信号が信号出力期間S00 にて出力される。連続するフレームの画素信号は、相関二重サンプルおよびディジタル信号化され、処理された画像データは、輝度調整処理やピント調整処理等の信号処理が施されて動画像用の撮像調整が行われる。
【００５３】
次いで時刻t1において、レリーズ釦の全押し状態が検出されると、掃出パルスに応動して、受光部18の蓄積電荷が掃き出される。露出期間T0における電荷掃き出しが完了した時刻t2になると、受光部18にて生成および蓄積される電荷が信号出力期間S01 にて読み出されて、その複数フレームの画素信号が撮像素子16より出力される。この連続する複数コマの画素信号に基づいて、静止画用の撮像調節が行われる。この撮像調節が完了すると、時刻t3から受光部18における不要電荷の電荷掃き出しが行われる。この掃き出しが時刻t4にて完了すると露出期間Ｔのうちの期間T1が開始される。
【００５４】
この露出期間T1にて生成されて受光部18に蓄積される電荷は、時刻t5に生成される読出パルスによって垂直転送路にフィールドシフトされて、さらに水平転送に転送され、撮像素子16より信号出力期間S1の画素信号(S1)として出力される。
【００５５】
この時刻t5以降の期間T2にて受光部18にて引き続き生成される電荷は、信号出力期間S1終了後に生成される読出パルスに応動してフィールドシフトされて、撮像素子16より信号出力期間S2の画素信号(S2)として出力される。このとき時刻t6では、シャッタパルスに応動して機械式シャッタ14が閉成し、受光部18は、動作遅延期間α後の時刻t7にて完全に遮光状態となる。１画像分の画素信号(S1)が撮像素子16から時刻t8にて出力完了すると、続く時刻t9にて受光部18に蓄積されている電荷をフィールドシフトする読出パルスが撮像素子16に与えられ、蓄積された電荷が信号出力期間S2における画素信号(S2)として撮像素子16から出力される。
【００５６】
一方、各信号出力期間Ｓにて撮像素子16より出力された画素信号は、相関二重サンプリングされた後にADC 34に入力される。ADC 34は、それぞれの期間における画素信号をディジタル信号に変換し、変換されたディジタル画像データはメモリ36および露光量制御部38に入力される。
【００５７】
信号出力期間S00,S01 にて露光量制御部38に入力された画像データは、分割領域作成部500 にてブロックデータに分割されてレベル検出部502 に入力される。測光条件決定部504 では、指定される測光モードおよび領域情報に応じた測光条件をレベル検出部502 からの信号レベルに応じて設定し、測光条件に対応するブロック選択情報と重み情報とが露出値算出部512 に出力される。また、積算処理部506 では検出された信号レベルをブロックごとに選択してブロックごとの積算値を算出し、算出された積算値は、切替処理部518 に入力される。切替処理部518 では、制御入力520 に入力される動作モード情報に従って、時刻t3までは、入力される積算値を露出値算出部512 に出力する。
【００５８】
露出値算出部512 に入力された各ブロックごとの積算値は、測光条件決定部504 から供給される測光条件に従って、これに応じたブロックを選択し、選択したブロックに対して重み付けを行って、これら処理されたブロックの積算値に応じた露出値を算出する。算出された露出値が補正処理部526 に入力されると、補正指示に応じてその値が補正される。補正された露出値は、露光制御部528 に入力される。
【００５９】
露光制御部528 では、供給される露出値とAEモードとに基づいて、これらに応じた露光時間(T1,T2) と絞り値(F) とが決定される。決定されたこれら露出値は、制御部30に伝達されて、制御部30は、露出値に応じた制御信号をタイミング制御部20に出力する。このようにして64分割された撮像画像に基づいて、露出期間T1およびT2が決定されると、上述したように時刻t3にて受光部18における不要電荷の掃き出しが開始され、掃出処理が完了すると露出期間Ｔの期間T1が開始される。
【００６０】
露出期間Ｔが開始されると、その途中の期間T1が経過した時点で、読出パルスがタイミング制御部20から撮像素子16に供給されて、受光部18にてそれまで蓄積された電荷が各垂直転送路22にシフトされる。各垂直転送路22に移動した電荷は、順次水平転送路24に向けて転送され、水平転送路24から出力アンプ26を介して画素信号(S1)として出力される。期間T1経過後の露出期間T2においても、受光部18にて引き続き電荷の生成および蓄積が受光に応じて継続されており、時刻t6にてシャッタパルスが生成されて機械式シャッタ14が完全に閉成する時刻t7にて露出期間T2が終了する。この間、信号出力期間S1が続けられており、時刻t8にて、各転送路の電荷転送が終了して、１コマの画像を表す画素信号の出力が完了する（時刻t8）と、時刻t9にて、読出パルスが撮像素子16に供給される。
【００６１】
撮像素子16では、この静止画撮像における２回目の読出パルスに応動して、受光部18にて引き続き生成されて蓄積されている電荷を各垂直転送路22にシフトし、さらに転送させて、画素信号(S2)として出力する。
【００６２】
こうして撮像素子16より出力された画素信号(S1),(S2) は、相関二重サンプリングされた後にADC 34に入力されて、露出期間Ｔにおけるディジタル画像データにそれぞれ変換され、変換された画像データはメモリ36および露光量制御部38に入力される。メモリ36は、それぞれの信号出力期間S1,S2 にて入力される画像データ(S1),(S2) をそれぞれ所定の記憶領域に格納する。メモリ36は、制御部30より供給される読出信号に応動して、画像データ(S1)を出力112 に出力し、画像データ(S2)を出力114 に出力する。
【００６３】
信号出力期間S1,S2 にて撮像素子16から出力され、ADC 34にて変換された画像データ(S1),(S2) 110 は、それぞれメモリ36に記憶されるとともに、露光量制御部38に入力される。露光量制御部38の分割領域作成部500 では、信号出力期間S 01にて入力される画像データが複数のブロックにおけるブロックデータに分割されて、レベル検出部502 にてブロック内の信号レベルがそれぞれ検出される。検出された各信号レベルが積算処理部506 に供給されると、各ブロックごと信号レベルが積算されてその積算値が切替処理部518 を介して飽和判定部522 および領域選択部524 に供給される。
【００６４】
画像データ(S1)から得られるブロックごとの積算値が飽和判定部522 に入力されると、白飛びがそのブロックにて発生している飽和状態であるか否かがブロックごとに判定される。このブロックごとの判定結果は領域選択部524 に出力され、領域選択部524 は、信号出力期間S1の画素信号から生成されて、順次入力されるブロックごとの積算値を、飽和判定部522 からの判定結果に従って選択し、飽和状態と判定されていないブロックの積算値が選択され、選択された積算値が領域値算出部530 に供給される。領域選択部524 では、同様にして信号出力期間S2の画素信号(S2)から生成されて、順次入力されるブロックごとの積算値から、飽和判定部522 からの判定結果に応じたブロックの積算値を選択して、選択された積算値が領域値算出部530 に供給される。
【００６５】
このようにして各信号出力期間S1,S2 にて得られる画像データのうち、非飽和状態のブロックから得られる画像データ(S1)および画像データ(S2)の各積算値が領域値算出部530 に入力されると、これら積算値が各出力期間ごとに合計されて、選択された領域における積算値の合計、つまり領域値がそれぞれ算出される。
【００６６】
２つの信号出力期間S1,S2 の画素信号から生成された各領域値は、比率算出部532 にてそれらの比率ｍが計算され、算出された比率ｍは補正係数k2算出部534 に入力される。
【００６７】
一方、補正係数k1算出部516 では、測光条件決定部504 から供給されるレベル最適化情報に従って、図10に示すように補正係数k1が算出され、補正係数k1はレベル補正回路40a に入力される。補正係数k2算出部534 は、その補正係数k1と比率ｍとを乗算して、その演算結果の "k1* ｍ(=k2)"を補正係数k2としてレベル補正回路40a に出力する。
【００６８】
一方、メモリ36からは、格納された画像データ(S1),(S2) が制御部30の制御に応動してそれぞれ同等のタイミングにて読み出され、レベル補正部40の各レベル補正回路40a,40b では、供給される補正係数k1,k2 を、画像データ(S1),(S2) にそれぞれ乗算する。その乗算結果の画像データ(k1*S1) および画像データ(k2*S 2)がそれぞれ合成処理部42に入力される。
【００６９】
合成処理部42に入力された画像データ(k1*S1) は、判定部604 にて、その値がバラツキを考慮して補正部602 にて設定された飽和レベル値を示す閾値SSH を画像データ(k1*S1) の値が超えているか否かが判定される。合成処理部42の選択部606 は、判定部604 にて画像データ(k1*S1) の値が閾値SSH 以下であると判定されると、入力116 に入力される画像データ(k1*S1) を選択し、選択したデータが出力120 に出力される。また、判定部604 にて画像データ(k1*S1) の値が閾値S SHを超えていると判定されると、選択部606 は、入力118 に入力される画像データ(k2*S2) を選択し、選択したデータが出力120 に出力される。このようにして、合成処理部42では、入力データの値に応じて選択した画像データが、合成出力として出力120 より出力されて、選択された合成画像データの値が信号処理部56に入力される。
【００７０】
このようにして、信号出力期間S1と信号出力期間S2とで、それぞれ撮像素子16から出力された露出期間Ｔにおける画像データ(S1),(S2) のうち、画像データ(S1)は、たとえ適正露出を与えられて撮像された画像データであったとしても、被写界の絵柄および被写界輝度に応じて、図８に示すように、撮像素子16の実際の飽和レベルとなっているブロックが存在することがあるので、補正部602 にて補正された飽和レベル以下の画像データの値としては画像データ(S1)を採用し、補正された飽和レベルを超える画像データの値としては、画像データ(S2)をk2倍した値のうち、補正された飽和レベルを超える画像データ(S2)を採用して、これらレベルに応じて合成された画像データが得ることにより、ダイナミックレンジが拡大された画像データが得られる。
【００７１】
この様子を図９に示すと、補正飽和レベル以下では、画像データ(S1)が採用され、補正飽和レベルを超える場合には、画像データ(k2S2)が採用されている。図８に示したように、画像データ(S1)は、数EV分低い露出が与えられているので飽和状態が発生しておらず、画像データ(S1)では白飛びが発生していたハイライト部分に対応する画像データ(S2)がk2倍されて、画像データ(S1)の飽和部分が画像データ(S2k2)で置き換えられる。
【００７２】
このように本実施例では、画像データ(S1),(S2) をレベル補正して、所定の演算処理の後合成処理を行っているがこれに限らず、たとえば、図12に示すように、アナログ画像信号の段階でレベル補正を行って、補正された画像信号をそれぞれディジタル化し、各画像データを合成処理するようにしてもよい。この場合、合成された高輝度部分のステップをより細かく取ることができる。
【００７３】
この図12に示す実施例では、図２に示した参照符号と同じ符号で示した構成は、同じ構成でよく、本実施例におけるレベル補正回路40c は、露光量制御部38より供給される補正係数k1または補正係数k2に応じた利得にて、入力される画素信号を増幅する利得可変機能を有するアナログ増幅器であり、その出力をADC 34にてディジタル信号に変換する。このような構成により、たとえば図13に示すように、実際の撮像素子飽和レベル以下の所定の飽和レベルSSH 以下では、画像データ(S1L) が合成処理部42にて選択され、これを超えるレベルでは、画像データ(S2H) を補正係数k2倍した画像データ(k2S2H) が選択されて合成処理部42より出力され、各ステップは、図２に示した実施例よりも均等となって、高輝度領域における階調性がより改善される。
【００７４】
さらに、アナログ増幅器でレベル補正を行った後に、図２に示したレベル補正部40にて、ディジタル変換後の各画像データに対しレベル補正を行ってもよい。この場合、高輝度領域の階調性がさらに良好となり、かつ高精度なレベル補正が可能となる。
【００７５】
逆に、図２に示した構成例では、高輝度部分について高輝度圧縮されるように構成することが可能である。たとえば、図８にて示した画像データ(S2)をディジタル変換処理にて得る際に、画像データ(S1)をディジタル化するADC 34の入力スケールとは異なる入力スケールのアナログディジタル変換回路にて画素信号(S2 ) をディジタル化することにより、各ディジタル変換回路における分解能を有効に利用したディジタル画像データを得て、それらを合成処理することができる。上記実施例では、ハードウェアにより実現する方法を述べたが、これら処理をソフトウェアにより実行してもよい。
【００７６】
次に、本発明による他の実施例を説明すると、図11に示すように本実施例では、露出期間T1と露出期間T2とを含む露出期間Ｔにて撮像する点で図１および図２に示した実施例と同じであるが、これに加えて、発光部54における発光制御を次のように行う点で異なる。詳しくは本実施例では、図２に示した発光部54を発光させて撮像を行う際に、露出期間T1,T2 ともに、被写界に対する発光を行うが、制御部30およびタイミング制御部20は、露出期間T2における発光時間を、露出期間T2におけるそれよりも短く設定し、各期間T1,T2 に応じた露出比に対応する発光光量が被写界に向けて照射されるように構成される。
【００７７】
このような構成とすることで、ストロボ等の発光部54から被写界に向けて２回照射して撮像した画像データ(S1)と画像データ(S2)とを合成処理する際に、本実施例においても、撮像画像における白飛びが発生していないブロックでの露光量比に基づく画像合成が行われるので、正確な信号レベルを検出して、信号レベルを的確に補正し、補正された画像データに基づいて的確な合成処理を行うことができる。また、露出期間T2における発光時間および／または発光光量を露出期間T1におけるそれよりも短く設定しているので、信号出力期間S1にて転送中の電荷に対するスメアの影響を低減することができる。
【００７８】
また、このような所定範囲を照射する照射光による撮影は、被写体との距離および露出設定に応じて、近距離に配置された被写体が露出過多になりやすいが、実際の画像データに基づく露光量比を得て、これに基づいて合成処理をしているので、ダイナミックレンジの拡大により、ハイライト部分の階調特性が優れた撮像画像が得られる。したがって、たとえば近距離〜中距離にいる人間等の被写体を撮像した場合に、手前側にいる被写体とそれよりも遠い距離にいる被写体とでは、照射された光による明るさが場合により大きく異なって、手前側の被写体については、従来では白飛びが発生していた。しかし、本実施例では、その白飛び部分の画像データを使用せずに、露出期間T2における画像データを使用することができるので、階調性を残した状態のハイライト部分を確保することができる。この場合、処理された画像データの表す画像をレタッチする場合などにおいても、修正処理を良好に行うことができる。
【００７９】
また、この実施例では、２回目の発光光量を低下させているので、露出期間T1,T2 は、同じ時間でもよい。また、本実施例のように露出期間T2を期間T1よりも短く設定している場合では、発光部54における発光時間は、期間T1から期間T2に連続する期間発光を続けるように、いわゆるFP発光機能を発光部54が有するとよい。このように発光時間は、閃光および連続照射光のいずれでもよい。また、本実施例においても、絞り値を変化させて撮像素子16へ入射される光量を低下させるようにしてもよい。
【００８０】
なお、上記各実施例では、露出期間T1,T2 での画素データを合成処理していたがこれに限らず、生成された電荷の垂直転送および水平転送速度を、より早くするように構成して、信号出力期間を露出期間よりも短くする場合には、より長い露出期間Ｔを設定し、期間Ｔにおける期間T2よりも短いか同等時間の露出期間T3をさらに設けて、第３の読出パルスで蓄積電荷を読み出してもよい。この場合、撮像された画像データ(S1),(S2),(S3)を合成処理して高輝度部分のダイナミックレンジをさらに拡大した画像データを生成することができる。また、これら実施例では、高輝度部分のダイナミックレンジが拡大されるのみならず、合成処理後の画像データは、相対的に、低輝度部分の階調性についても改善され、撮像素子16の飽和度を拡大したダイナミックレンジを得ている。したがって、たとえば逆光時の撮影などのような強コントラスト状態での撮影の際に好適であり、良好な画像出力を得ることができる。
【００８１】
【発明の効果】
このように本発明によれば、第１の露出値と第１の露出値よりも低い露出になる第２の露出値とを決定し、第１および第２の露出値にそれぞれ応じた第１および第２の期間を含む露出期間にて、その途中の第１の期間に応じたタイミングで、受光素子の蓄積電荷を撮像素子の転送路にシフトさせて、第１の信号を撮像手段より出力させ、入射光を遮光させて第１の期間に続く第２の期間を終了させ、第１の画像信号の出力が完了すると、第２の期間にて生成された電荷に応じた第２の信号を撮像素子より出力させるようにしているから、第２の期間にて露光されている際のスメアの発生が低減されるとともに、高輝度領域の再現性のよい第２の信号が得られる。
【００８２】
さらに、このような第１および第２の信号に基づいて、これら信号の露光量比を算出し、露光量比に基づいて第２の信号や第１の信号のレベルを補正し、補正された信号によって合成処理を行って、露出期間における１コマの画像を表す画像信号を生成しているから、実際の露光量に応じた精度の高い画像合成処理が可能となり、適切にダイナミックレンジ拡大処理された画像信号が得られる。このとき、飽和状態となっていない非飽和領域の信号に基づいて露光量比を求めた場合には、たとえば、撮像画像によっては、単なるシャッタ速度比とは異なる比率が得られ、絵柄に適切に応じた信号処理が可能となる。
【図面の簡単な説明】
【図１】図２に示す実施例における動作を示すタイミングチャートである。
【図２】本発明が適用された一実施例のディジタルスチルカメラを示すブロック図である。
【図３】撮像素子の構成例を示す図である。
【図４】撮像画面および分割領域を示す図である。
【図５】露光量制御部の内部構成例を示す機能ブロック図である。
【図６】画像データを合成する様子を示す図である。
【図７】合成処理部の内部構成例を示すブロック図である。
【図８】被写体の明るさに応じた画像データの信号レベルを示す図である。
【図９】被写体の明るさに応じた合成処理後の画像データの信号レベルを図である。
【図１０】合成処理のための補正係数を算出して合成する動作を示すタイミングチャートである。
【図１１】図12に示す実施例における動作を示すタイミングチャートである。
【図１２】本発明が適用されたディジタルスチルカメラの他の実施例を示すブロック図である。
【図１３】図12に示した実施例における合成処理例を示す図である。
【符号の説明】
10 ディジタルスチルカメラ
16 撮像素子
20 タイミング制御部
30 制御部
32 相関二重サンプリング回路 (CDS)
34 アナログ・ディジタル変換部 (ADC)
36 メモリ
38 露光量制御部
40 レベル補正部
42 合成処理部
54 発光部
56 信号処理部
Ｔ,T1,T2 露出期間
S1, S2 信号出力期間

Claims (14)

  1. 撮像レンズを介して入射され、撮像素子の受光部に結像される光学像を光電変換し、該光学像に応じた画像信号を出力する撮像装置において、該装置は、
    前記受光部にて前記電荷が生成されて、一連の露出期間が経過すると、該撮像素子への入射光を遮光して該露出期間を終了させるシャッタ手段と、
    前記撮像素子から出力される画像信号を記憶する記憶手段と、
    該撮像装置の動作を制御する制御手段であって、被写界を静止画撮像するための露光量を決定する制御手段と、
    前記記憶手段から読み出される画像信号を合成する合成手段とを含み、
    前記制御手段は、
    前記入射光に応じた第１の露出値と第１の露出値よりも低い露出になる第２の露出値とを決定する露出値決定手段と、
    第１および第２の露出値にそれぞれ応じた第１および第２の期間を含む前記露出期間にて、前記光学像を前記光電変換させる露出制御手段と、
    前記露出期間中の第１の期間に応じたタイミングで、前記受光素子にて生成および蓄積された電荷を該撮像素子の転送路にシフトさせる第１の読出制御手段であって、該電荷に応じた第１の信号を該撮像手段より出力させる第１の読出制御手段と、
    前記露出期間を終了させる際、前記シャッタ手段を制御して前記入射光を遮光させ、第１の期間に続く第２の期間を終了させる遮光制御手段と、
    第１の読出制御手段にて第１の画像信号が前記撮像素子より出力されると、第２の期間にて生成された電荷に応じた第２の信号を該撮像素子より出力させる第２の読出制御手段と、
    第１および第２の信号の露光量比を算出する比率算出手段と、
    前記露光量比に応じて第２の信号のレベルを補正する補正手段とを含み、
    前記合成手段は、第１の信号および前記補正された第２の信号に応じた画像信号を前記露出期間における１コマの画像を表す画像信号として出力する手段を含むことを特徴とする撮像装置。
  2. 請求項１に記載の装置において、前記制御手段は、前記露光量比に応じた補正係数を算出する係数算出手段を含み、
    前記補正手段は、第２の信号のレベルを前記補正係数に応じて補正し、
    前記合成手段は、前記記憶手段から読み出される第１の信号および前記補正手段にて補正された第２の信号のいずれかを選択して出力することを特徴とする撮像装置。
  3. 請求項１に記載の装置において、前記制御手段は、前記第１の信号における非飽和領域を選択する領域選択手段を含み、
    前記比率算出手段は、前記非飽和領域に対応する第１の信号と、該非飽和領域に対応する第２の信号とのそれぞれの積算値の比率を前記露光量比として算出することを特徴とする撮像装置。
  4. 請求項２に記載の装置において、前記係数算出手段は、前記撮像素子より出力される画像信号に基づいて測光条件を決定する際のレベル最適化情報に基づいて、前記第１の信号のレベルを補正する第１の補正係数を算出する手段と、前記露光量比と第１の補正係数に基づいて第２の信号のレベルを補正する第２の補正係数を算出する手段とを含み、
    前記補正手段は、第１の補正係数に従って第１の信号のレベルを補正し、第２の補正係数に従って第２の信号のレベルを補正し、
    前記合成手段は、前記補正手段にて補正された第１および第２の信号を合成することを特徴とする撮像装置。
  5. 請求項１に記載の装置において、前記比率算出手段は、
    前記撮像素子から出力される第１および第２の信号をそれぞれ複数の分割領域のブロックデータに分割する分割領域作成手段と、
    前記ブロックデータのレベルを積算して前記分割領域ごとの積算値を第１および第２の信号について算出する積算手段と、
    第１の信号から得られる前記分割領域の積算値に基づいて、該分割領域が飽和状態であるか否かを判定する飽和判定手段と、
    該飽和判定手段の判定結果に従って、非飽和領域の前記積算値の合計値を第１および第２の信号ごとに算出する領域値算出手段とを含み、
    前記比率算出手段は、前記領域値算出手段にて算出された第１および第２の信号ごとの合計値の比率を算出することを特徴とする撮像装置。
  6. 請求項５に記載の装置において、前記分割領域作成手段は、静止画撮影に先立って、前記撮像素子から出力される画像信号を前記複数の分割領域に分割し、
    前記露出値決定手段は、前記分割領域作成手段にて分割された分割領域ごとのブロックデータに基づいて、前記第１および第２の露出値を決定することを特徴とする撮像装置。
  7. 請求項１に記載の装置において、該装置は、静止画撮影を行う際、前記被写界に対し、照明としての光を照射する発光手段を含み、
    前記露出制御手段は、第１の露出値に応じた光量を第１の期間にて前記被写界に向けて前記発光手段から発光させ、第２の露出値に応じた光量を第２の期間にて前記被写界に向けて発光させることを特徴とする撮像装置。
  8. 撮像レンズを介して入射され、撮像素子の受光部に結像される光学像を光電変換し、該光学像に応じた画像信号を出力させる撮像制御方法において、該方法は、
    前記受光部にて前記電荷が生成されて、一連の露出期間が経過すると、該撮像素子への入射光を遮光して該露出期間を終了させる遮光工程と、
    前記撮像素子から出力される画像信号を記憶する記憶工程と、
    該撮像装置の動作を制御する制御工程であって、被写界を静止画撮像するための露光量を決定する制御工程と、
    前記記憶工程にて記憶した画像信号を合成する合成工程とを含み、
    前記制御工程は、
    前記入射光に応じた第１の露出値と第１の露出値よりも低い露出になる第２の露出値とを決定する露出値決定工程と、
    第１および第２の露出値にそれぞれ応じた第１の期間と、第１の期間に続く第２の期間とを含む前記露出期間にて、前記光学像を前記光電変換させる露出制御工程と、
    前記露出期間中の第１の期間に応じたタイミングで、前記受光素子にて生成および蓄積された電荷を該撮像素子の転送路にシフトさせる第１の読出制御工程であって、該電荷に応じた第１の信号を該撮像手段より出力させる第１の読出制御工程と、
    第１の読出制御工程にて第１の画像信号が前記撮像素子より出力されると、第２の期間にて生成された電荷に応じた第２の信号を該撮像素子より出力させる第２の読出制御工程と、
    第１および第２の信号の露光量比を算出する比率算出工程と、
    前記露光量比に応じて第２の信号のレベルを補正する補正工程とを含み、
    前記合成工程は、第１の信号および前記補正された第２の信号に応じた画像信号を前記露出期間における１コマの画像を表す画像信号として出力する工程を含むことを特徴とする撮像制御方法。
  9. 請求項８に記載の方法において、前記制御工程は、前記露光量比に応じた補正係数を算出する係数算出工程を含み、
    前記補正工程は、第２の信号のレベルを前記補正係数に応じて補正し、
    前記合成工程は、前記記憶手段から読み出される第１の信号および前記補正工程にて補正された第２の信号のいずれかを選択して出力することを特徴とする撮像制御方法。
  10. 請求項８に記載の方法において、前記制御工程は、前記第１の信号における非飽和領域を選択する領域選択工程を含み、
    前記比率算出工程は、前記非飽和領域に対応する第１の信号と、該非飽和領域に対応する第２の信号とのそれぞれの積算値の比率を前記露光量比として算出することを特徴とする撮像制御方法。
  11. 請求項９に記載の方法において、前記係数算出工程は、前記撮像素子より出力される画像信号に基づいて測光条件を決定する際のレベル最適化情報に基づいて、前記第１の信号のレベルを補正する第１の補正係数を算出する工程と、前記露光量比と第１の補正係数に基づいて第２の信号のレベルを補正する第２の補正係数を算出する工程とを含み、
    前記補正工程は、第１の補正係数に従って第１の信号のレベルを補正し、第２の補正係数に従って第２の信号のレベルを補正し、
    前記合成工程は、前記補正工程にて補正された第１および第２の信号を合成することを特徴とする撮像制御方法。
  12. 請求項８に記載の方法において、前記比率算出工程は、
    前記撮像素子から出力される第１および第２の信号をそれぞれ複数の分割領域のブロックデータに分割する分割領域作成工程と、
    前記ブロックデータのレベルを積算して前記分割領域ごとの積算値を第１および第２の信号について算出する積算工程と、
    第１の信号から得られる前記分割領域の積算値に基づいて、該分割領域が飽和状態であるか否かを判定する飽和判定工程と、
    該飽和判定工程の判定結果に従って、非飽和領域の前記積算値の合計値を第１および第２の信号ごとに算出する領域値算出工程とを含み、
    前記比率算出工程は、前記領域値算出工程にて算出された第１および第２の信号ごとの合計値の比率を前記露光量比として算出することを特徴とする撮像制御方法。
  13. 請求項１２に記載の方法において、前記分割領域作成工程は、静止画撮影に先立って、前記撮像素子から出力される画像信号を前記複数の分割領域に分割し、
    前記露出値決定工程は、前記分割領域作成工程にて分割された分割領域ごとのブロックデータに基づいて、前記第１および第２の露出値を決定することを特徴とする撮像制御方法。
  14. 請求項８に記載の方法において、該方法は、静止画撮影を行う際、前記被写界に対し照明としての光を照射する発光工程を含み、
    前記露出制御工程は、第１の露出値に応じた光量を第１の期間にて前記被写界に向けて前記発光工程にて発光させ、第２の露出値に応じた光量を第２の期間にて前記被写界に向けて発光させることを特徴とする撮像制御方法。
JP22596299A 1999-08-10 1999-08-10 撮像装置および撮像制御方法 Expired - Fee Related JP3822393B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22596299A JP3822393B2 (ja) 1999-08-10 1999-08-10 撮像装置および撮像制御方法
US09/633,780 US6831695B1 (en) 1999-08-10 2000-08-07 Image pickup apparatus for outputting an image signal representative of an optical image and image pickup control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22596299A JP3822393B2 (ja) 1999-08-10 1999-08-10 撮像装置および撮像制御方法

Publications (3)

Publication Number Publication Date
JP2001054009A JP2001054009A (ja) 2001-02-23
JP2001054009A5 JP2001054009A5 (ja) 2005-06-09
JP3822393B2 true JP3822393B2 (ja) 2006-09-20

Family

ID=16837622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22596299A Expired - Fee Related JP3822393B2 (ja) 1999-08-10 1999-08-10 撮像装置および撮像制御方法

Country Status (2)

Country Link
US (1) US6831695B1 (ja)
JP (1) JP3822393B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
US6744471B1 (en) 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US7466358B1 (en) 1999-11-22 2008-12-16 Panasonic Corporation Solid-state imaging device for enlargement of dynamic range
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US20020141002A1 (en) * 2001-03-28 2002-10-03 Minolta Co., Ltd. Image pickup apparatus
JP3937924B2 (ja) * 2002-05-23 2007-06-27 キヤノン株式会社 撮像装置及びその制御方法
US7583305B2 (en) * 2004-07-07 2009-09-01 Eastman Kodak Company Extended dynamic range imaging system
JP4217702B2 (ja) * 2004-09-02 2009-02-04 キヤノン株式会社 撮像装置、および、撮像装置の制御方法
WO2006046460A1 (ja) 2004-10-26 2006-05-04 Nikon Corporation デジタルカメラおよび画像合成装置
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
US7667765B2 (en) * 2005-06-17 2010-02-23 Hewlett-Packard Development Company, L.P. Digital imaging device shutter calibration method and apparatus using multiple exposures of a single field
US20070024721A1 (en) * 2005-07-29 2007-02-01 Rogers Sean S Compensating for improperly exposed areas in digital images
JP4680753B2 (ja) * 2005-11-15 2011-05-11 ルネサスエレクトロニクス株式会社 画像処理方法、画像処理装置及び撮像装置
JP4666681B2 (ja) * 2006-01-20 2011-04-06 株式会社日立国際電気 画像処理装置および画像処理方法
JP2008271123A (ja) * 2007-04-19 2008-11-06 Konica Minolta Holdings Inc 撮像装置
JP4325703B2 (ja) * 2007-05-24 2009-09-02 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
JP5292829B2 (ja) * 2008-01-25 2013-09-18 株式会社ニコン 撮像装置
JP2009206651A (ja) * 2008-02-26 2009-09-10 Ricoh Co Ltd 撮像装置
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2011160133A (ja) * 2010-01-29 2011-08-18 Nidec Copal Corp 広ダイナミックレンジ撮像装置
JP5856733B2 (ja) * 2010-11-02 2016-02-10 オリンパス株式会社 撮像装置
EP2938064B1 (en) * 2014-04-24 2016-10-12 Axis AB Method and apparatus for determining exposure setting
CN107454343B (zh) * 2014-11-28 2019-08-02 Oppo广东移动通信有限公司 拍照方法、拍照装置及终端
KR102669656B1 (ko) * 2017-02-14 2024-05-28 삼성전자주식회사 카메라를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
JP7303074B2 (ja) * 2019-09-06 2023-07-04 株式会社ミツトヨ 画像測定機および画像測定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647975A (en) * 1985-10-30 1987-03-03 Polaroid Corporation Exposure control system for an electronic imaging camera having increased dynamic range
US5638118A (en) * 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
JPH0797841B2 (ja) 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
DE69330151T2 (de) * 1992-08-10 2001-10-31 Sony Corp., Tokio/Tokyo Verbesserte Regelung der elektronischen Verschlusszeit in einer Videokamera
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
JP3805094B2 (ja) * 1998-01-16 2006-08-02 松下電器産業株式会社 固体撮像装置
JP2000078462A (ja) * 1998-08-28 2000-03-14 Olympus Optical Co Ltd 電子カメラ

Also Published As

Publication number Publication date
JP2001054009A (ja) 2001-02-23
US6831695B1 (en) 2004-12-14

Similar Documents

Publication Publication Date Title
JP3822393B2 (ja) 撮像装置および撮像制御方法
US8233059B2 (en) Image sensing apparatus
US7714928B2 (en) Image sensing apparatus and an image sensing method comprising a logarithmic characteristic area and a linear characteristic area
US7580058B2 (en) Image capturing apparatus and image capturing method
US8818108B2 (en) Digital pixel addition method and device for processing plurality of images
WO2001039490A1 (fr) Dispositif d'imagerie a semi-conducteur
US20040189837A1 (en) Image capturing apparatus and program
JP2003163937A (ja) 固体撮像素子および撮像装置
JP3999321B2 (ja) 電子カメラ
JP2004056422A (ja) 固体撮像装置およびその測光方法
JP2023123474A (ja) 撮像装置
US20060055991A1 (en) Image capture apparatus and image capture method
JP4661285B2 (ja) 撮像装置及び撮像方法
JP4735051B2 (ja) 撮像装置
JP2011044872A (ja) 撮像装置、露出調整方法、および、プログラム
JP2005347928A (ja) 撮像制御装置、固体撮像装置および撮像方法
JP2000358190A (ja) 画像入力装置の露光制御回路
JPWO2006103880A1 (ja) 撮像装置
JP4335728B2 (ja) 画像処理装置および方法
JPH11258492A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4170131B2 (ja) 撮像制御方法および撮像制御装置
US20060221217A1 (en) Image taking apparatus and digital camera
US7791654B2 (en) Digital still camera and method of controlling same with controlled charge sweep-out
JP2006332936A (ja) 撮像装置
JP4043379B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060622

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees