JP4799849B2 - 撮影装置及び撮影処理方法 - Google Patents

撮影装置及び撮影処理方法 Download PDF

Info

Publication number
JP4799849B2
JP4799849B2 JP2004327674A JP2004327674A JP4799849B2 JP 4799849 B2 JP4799849 B2 JP 4799849B2 JP 2004327674 A JP2004327674 A JP 2004327674A JP 2004327674 A JP2004327674 A JP 2004327674A JP 4799849 B2 JP4799849 B2 JP 4799849B2
Authority
JP
Japan
Prior art keywords
image data
image
display
delay time
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004327674A
Other languages
English (en)
Other versions
JP2006140703A (ja
Inventor
誠二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004327674A priority Critical patent/JP4799849B2/ja
Priority to US11/262,749 priority patent/US20060098106A1/en
Publication of JP2006140703A publication Critical patent/JP2006140703A/ja
Application granted granted Critical
Publication of JP4799849B2 publication Critical patent/JP4799849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮影装置及び撮影処理方法にかかり、特に、被写体像を撮影して撮影した被写体像を画像データとして記録すると共に、撮影した被写体像を表す画像データに基づく被写体像を表示する撮影装置及び撮影処理方法に関する。
近年、被写体像を撮影する撮影装置としてデジタルカメラが一般的に用いられている。従来のデジタルカメラ(デジタルスチルカメラやデジタルビデオカメラ)は、CCDなどの撮像素子により取得した画像を、デジタルカメラ内部に設けられた内部メモリやICカード、或いは磁気テープ等の記録媒体にデジタル画像データとして記録し、記録されたデジタル画像データに基づいて、プリントにより記録用紙に画像を記録したり、撮影により取得した画像をモニタに表示することができる。このようなデジタルカメラは、一般的に液晶モニタを備えたものが多く、撮影した画像を液晶モニタで直ちに表示することができ、液晶モニタをファインダとして使用することができる。
ところで、デジタルカメラは、撮影した画像を直ちに液晶モニタ等で確認することができる、というメリットがあるが、撮像素子の応答性の問題で、撮影時のシャッタ操作に対して遅延した画像が取り込まれ、シャッタタイミングを逃してしまう、というデメリットがある。そこで、シャッタ操作に対する遅延を防止する技術が提案されている。
例えば、特許文献1に記載の技術では、デジタルカメラにタイムラグ測定モードを設けて、撮影写の視覚による認識からシャッタスイッチを押すまでの時間(タイムラグ)を予め計測しておき、AE/AF処理など撮影準備が完了したら、シャッタスイッチの押下を待たずに画像の取り込みを開始し、取り込まれた画像を一次記憶用のメモリに順次記憶し、少なくともタイムラグ以上の画像データを保存し、シャッタスイッチが押下されると、その時点からタイムラグ分逆上がった画像を記録用画像として選択して記録メディアに書き込むことで、シャッタタイミングを逃してしまうことを防止している。
また、特許文献1に類似した技術しては特許文献2に記載の技術などが提案されている。特許文献2に記載の技術は、連続的に画像データを撮像して複数枚の画像データを一時記憶して、撮影画像の良否を判定する判定手段の評価が一番高い画像データを選択して保存することが提案されており、複数枚の画像データを取得する点で類似している。
特開2002−271673号公報 特開平11−136557号公報
しかしながら、実際にはシャッタ操作に対するタイムラグよりも、撮像素子から取り込まれて液晶モニタ等の表示装置に表示するまでのタイムラグの方が長く、シャッタを押下した瞬間に表示されている画像と実際に保存される画像とがずれてしまう、という問題がある。
本発明は、上記問題を解決すべく成されたもので、撮影指示時のタイムラグのない画像記録及び表示を可能とすることをを目的とする。
上記目的を達成するために請求項1に記載の撮影装置は、被写体像を撮影することによって被写体像を表す画像データを取得する撮像素子と、撮影を指示する指示手段と、前記撮像素子によって取得された前記画像データに基づく表示を行う表示手段と、前記撮像素子によって撮影することにより取得される前記画像データを取得すると共に、前記表示手段に表示されたフレーム画像の画像データを取得し、それぞれの画像データから、前記画像データを取得してから前記表示手段が画像表示するまでの遅延時間を検出する検出手段と、前記撮像素子が取得する前記画像データを記憶する記憶手段と、前記指示手段によって撮影が指示された時に、前記記憶手段に記憶された前記画像データの中から、前記検出手段によって検出された前記遅延時間分前に対応する前記画像データを選択する選択手段と、を備えることを特徴としている。
請求項1に記載の発明によれば、撮像素子では、被写体像を撮影することによって被写体像を表す画像データが取得される。撮影の指示は指示手段によって行われる。また、表示手段では、撮像素子によって取得された画像データに基づく画像の表示が行われる。
上述したように、撮像素子によって画像データを取得してから表示するまでのタイムラグがあり、指示手段によって撮影が指示された瞬間の画像と表示手段に表示される画像にずれがある。
そこで、検出手段では、撮像素子によって撮影することにより取得される前記画像データが取得されると共に、表示手段に表示されたフレーム画像の画像データが取得され、それぞれの画像データから、撮像素子によって画像データを取得してから表示手段が画像表示するまでの遅延時間が検出される、記憶手段によって、撮像素子が取得する画像データが記憶される。すなわち、指示手段によって撮影指示された瞬間の表示手段に表示された画像に対応する画像データが記憶手段に記憶されていることになる。
そして、選択手段では、指示手段によって撮影が指示された時に、記憶手段に記憶された画像データの中から、検出手段によって検出された遅延時間分前に対応する画像データが選択される。すなわち、選択された画像データは、撮影指示時に表示手段に表示された画像とずれのない画像となるので、当該画像データを用いて表示や記録を行うことで、撮影指示時に表示手段に表示された画像とずれのない画像記録及び表示が可能となる。
なお、請求項2に記載の発明のように、撮像素子によって取得された画像データを圧縮する圧縮手段を更に備えて、記憶手段が圧縮手段によって圧縮した画像データを記憶するようにしてもよい。このように圧縮して画像データを記憶することによって、記憶手段の容量を節約することができる。
また、請求項3に記載の発明のように、撮像素子が取得する画像データを記憶する外部記憶手段と、画像データの記憶先を選択する記憶先選択手段と、を更に備えるようにしてもよい。このように外部記憶手段と、記憶先選択手段を更に備えることによって、記憶手段の記憶容量が不足しているときでも外部記憶手段に記憶することが可能となり、記憶手段を効率的に使用することができる。
さらに、請求項1又は請求項2に記載の発明は、請求項4に記載の発明のように、選択手段によって選択された画像データに基づく表示を行うように表示手段を制御すると共に、選択手段によって選択された画像データを記録媒体に記録するように制御する制御手段を更に含むことによって、表示手段によって表示される画像と記録される画像を同一画像とすることができる。
また、記憶手段は、請求項5に記載の発明のように、検出手段によって検出された遅延時間分以上に相当する画像データを記憶することで、撮影指示した瞬間の画像を表示することが可能となる。
なお、検出手段は、請求項6に記載の発明のように、撮像素子によって撮影することにより取得される画像データ、及び表示手段に表示されたフレーム画像の画像データから、遅延しているフレーム数を遅延時間として検出するようにしてもよい。
請求項7に記載の撮影処理方法は、被写体像を撮影することによって被写体像を表す画像データを取得する撮像ステップと、前記撮像ステップによって取得した前記画像データに基づく表示を行う表示ステップと、前記撮像ステップで撮影することにより取得した前記画像データを取得すると共に、前記表示ステップで表示を行ったフレーム画像の画像データを取得し、それぞれの画像データから、前記画像データを取得してから前記表示ステップで画像表示するまでの遅延時間を検出する検出ステップと、前記撮像ステップで取得した前記画像データを記憶する記憶ステップと、撮影が指示された時に、前記記憶ステップで記憶した前記画像データの中から、前記検出ステップで検出した前記遅延時間分前に対応する前記画像データを選択する選択ステップと、を含むことを特徴としている。
請求項7に記載の発明によれば、撮像ステップでは、被写体像を撮影することによって被写体像を表す画像データを取得する。また、表示ステップでは、撮像素子によって取得された画像データに基づく画像の表示を行う。
上述したように、撮像ステップで画像データを取得してから表示するまでのタイムラグがあり、撮影が指示された瞬間の画像と表示ステップで表示される画像にずれがある。
そこで、検出ステップでは、撮影ステップで撮影することにより取得した画像データを取得すると共に、表示ステップで表示を行ったフレーム画像の画像データを取得し、それぞれの画像データから、撮像素子によって画像データを取得してから表示手段が画像表示するまでの遅延時間を検出して、記憶ステップで、撮像ステップで取得する画像データを記憶する。すなわち、撮影指示された瞬間の表示手段に表示された画像に対応する画像データが記憶ステップで記憶されていることになる。
そして、撮影が指示された時に、記憶ステップで記憶した画像データの中から、検出ステップで検出した遅延時間分前に対応する画像データを選択ステップで選択する。すなわち、選択した画像データは、撮影指示時に表示手段に表示された画像とずれのない画像となるので、当該画像データを用いて表示や記録を行うことで、撮影指示時に表示手段に表示された画像とずれのない画像記録及び表示が可能となる。
なお、請求項8に記載の発明のように、撮像ステップで取得した画像データを圧縮する圧縮ステップを更に備えて、記憶ステップが圧縮ステップで圧縮した画像データを記憶するようにしてもよい。このように圧縮して画像データを記憶することによって、記憶ステップで使用するメモリの容量を節約することができる。
また、請求項9に記載の発明のように、記憶ステップで画像データを記憶する記憶先を選択する記憶先選択ステップを更に備えるようにしてもよい。このように記憶先選択ステップを更に備えることによって、記憶容量不足のときでも他の記憶先に記憶することが可能となり、記憶ステップで使用するメモリを効率的に使用することができる。
さらに、請求項7又は請求項8に記載の発明は、請求項10に記載の発明のように、選択ステップで選択した画像データに基づく表示を行うように表示ステップを制御すると共に、選択ステップで選択した画像データを記録媒体に記録するように制御する制御ステップを更に含むことによって、表示ステップで表示する画像と記録する画像を同一画像とすることができる。
また、記憶ステップは、請求項11に記載の発明のように、検出ステップで検出した遅延時間分以上に相当する画像データを記憶することで、撮影指示した瞬間の画像を表示することが可能となる。
なお、検出ステップは、請求項12に記載の発明のように、撮像ステップで撮影することにより取得した画像データ、及び表示ステップで表示を行ったフレーム画像の画像データから、遅延しているフレーム数を遅延時間として検出するようにしてもよい。
以上説明したように本発明によれば、被写体像を表す画像データを記憶手段に記憶しておいて、撮影が指示された時に、記憶された画像データの中から、画像データを取得してから表示するまでの遅延時間分前に対応する画像データを選択することによって、撮影指示した瞬間に取得された画像データに基づく画像の表示及び記録を行うことができるので、撮影指示時に表示手段に表示された画像とずれのない画像記録及び表示が可能となる、という効果がある。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係わるデジタルカメラの外観を示す斜視図である。
図1(A)、(B)に示すように、デジタルカメラ10の本体12は略箱型で、本体12の正面側中央にはレンズ14が取り付けられた鏡筒16が設けられている。
本体12のレンズ14上方には、低照度での撮影等の場合に補助光を発するためのストロボ18が設けられている。
本体12の上面には、正面から見て右側に電源スイッチ20が、左側にシャッタスイッチ22が各々設けられており、本体12の正面から見て右側面には、メモリカード(図示省略)を装填可能なスロット24が設けられている。
また、シャッタスイッチ22は、半押しと全押しの2位置に操作可能とされており、半押しすることによって、AE(Auto Exposure)/AF(Auto Focus)行われ、全押しすることによって、撮影指示を行うようになっている。
本体の裏面側中央には、液晶等のディスプレイ26が設けられており、撮影画像の表示を行うと共に、ファインダとして機能するようになっている。
図2は、本発明の第1実施形態に係わるデジタルカメラ10の電気系の構成を示すブロック図である。
レンズ14は、詳しくはズームレンズ(焦点距離可変レンズ)からなり、ズーム機構は駆動回路46によって駆動される。また、オートフォーカス(AF)レンズ47も備え、AFレンズ47も同様に駆動回路46によって駆動される。なお、ズームレンズに代えて、AFレンズ47のみを備えた焦点距離可変レンズを用いてもよい。
本体12の内部におけるレンズ14の焦点位置に相当する位置には、CCDセンサ等で構成される撮像素子50が配置されており、被写体を反射してレンズ14に入射された光は撮像素子50の受光面に結像される。撮像素子50は、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子50は、駆動回路46に接続されているタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
レンズ14と撮像素子50との間には絞り48が配置されている。絞りは連続的に変更可能な単一な絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
タイミング信号発生部52には、さらにストロボ18の発光を制御するストロボ制御回路54も接続されており、ストロボ18は低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部52によって発生されたタイミング信号に同期したタイミングで発光制御される。
撮像素子50の信号出力端には、サンプリング部56、A/D変換器58、一時記憶メモリ62、信号処理部60、及び圧縮/伸張部64が順に接続されており、それぞれシステムバス68に接続され、システムバス68に接続されたシステム制御部70によって統括的に制御されるようになっている。
サンプリング部56では、撮像素子50から出力された画像信号をタイミング信号発生部52によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してA/D変換器58へ出力する。サンプリング部56は、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧信号をホールドするサンプルホールド回路を有する。CDS部は、ノイズ成分を除去してアナログの出力信号として画像信号をA/D変換器58に送る。サンプリング部56から出力された画像信号は、A/D変換器58によってデジタルの画像データに変換されて、RAM等で構成された一時記憶メモリ62に一時記憶される。なお、システムバス68に接続された一時記憶メモリ62は、シャッタスイッチ22が操作されて撮影が指示された時に記録する画像と、ディスプレイ26に表示された画像とのずれをなくすために、タイムラグに相当するフレーム数以上の複数のフレーム画像の画像データを一時記憶する。
信号処理部60では、入力された画像データに対してゲイン調整、色補正、γ補正、Y/C変換等の各種処理を行う。そして、シャッタスイッチ22の操作がなされた場合に、一時記憶メモリ62に記憶された画像データの中からシャッタスイッチ22の操作タイミングに対応する画像データが信号処理部60に出力されて、信号処理部60で各種処理が行われた後に、圧縮/伸張部64で圧縮されてから内蔵メモリ84又はスロット24に装填されたメモリカード80に格納されるようになっている。
また、システムバス68には、ディスプレイ26も接続され、撮影によって得られる画像データに基づく画像の表示(例えば、スルー画像の表示や撮影した静止画像の表示等)が可能とされている。なお、ディスプレイ26への画像表示の詳細な構成については後述する。
さらに、システムバス68には、シャッタスイッチ22や、図示しない操作スイッチが接続されており、スイッチの操作に応じた制御がなされるようになっている。
すなわち、操作スイッチが操作された等により、内蔵メモリ84又はスロット24に装填されたメモリカード80への画像データの格納が指示された場合、システム制御部70は撮影によって一時記憶メモリ62に一時記録されている画像データを読み出して圧縮/伸張部64へ転送する。これにより、画像データは圧縮/伸張部64で圧縮された後に内蔵メモリ84又はメモリカード80に格納される。なお、撮影する際のモードによって画像データがが圧縮されることなく内蔵メモリ84又はメモリカード80に格納される場合もある。
また、内蔵メモリ84又はスロット24に装填されたメモリカード80に格納されている画像データが表す画像の再生(表示)が指示された場合には、内蔵メモリ84又はスロット24に装填されたメモリカード80から画像データが読み出され、読み出された画像データが圧縮/伸張部64で伸張(解凍)された後、一時記憶メモリ62に一時記憶される。そして、一時記憶メモリ62に一時記憶された画像データを用いてディスプレイ26への画像の表示(再生)が行われる。
次に、本発明の第1実施形態に係わるデジタルカメラ10のディスプレイ26へ画像表示するための詳細な構成について説明する。図3は、本発明の第1実施形態に係わるデジタルカメラ10のディスプレイ26へ画像表示する際の詳細な構成を示す機能ブロック図である。
上述したように、レンズ14、AFレンズ47、及び絞り48を介して撮像素子50に結像された被写体像は、撮像素子50から画像データとして出力され、上述したサンプリング部56及びA/D変換器58を介して一時記憶メモリ62に記憶されながら信号処理部60に出力される。そして、信号処理部60によって各種処理が行われた後にディスプレイ26に画像データが出力されることで、ディスプレイ26にスルー画像が表示される。
システム制御部70は、選択部72及び遅延時間検出部74を含んで構成されており、遅延時間検出部74は、A/D変換器58から撮像素子50によって撮影することによって得られる画像データを取得すると共に、ディスプレイ26に表示されたフレーム画像の画像データを取得し、それぞれの画像データから遅延しているフレーム数を遅延時間(シャッタスイッチ22が操作されてからディスプレイ26に表示されるまでのタイムラグに相当する遅延時間)として検出する。なお、遅延時間検出部74は、本実施形態では、遅延時間として遅延フレーム数を検出するが、サンプリング部56のサンプリングレートと遅延フレーム数から遅延時間を算出するようにしてもよい。
また、選択部72は、遅延時間検出部74が検出した遅延時間(遅延フレーム数)を取得して、シャッタスイッチ22が操作された時に、一時記憶メモリ62に記憶されている複数のフレーム画像から遅延時間分前のフレーム画像を表す画像データを信号処理部60に出力する。
続いて、上述のように構成された本発明の第1実施形態に係わるデジタルカメラ10の動作の一例について説明する。
図4は、本発明の第1実施形態に係わるデジタルカメラ10の動作の流れの一例を示すフローチャートである。
まず、ステップ100では、シャッタスイッチ22が半押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には肯定されるまで待機してステップ102へ移行する。
ステップ102では、AE/AFの処理が行われる。AE/AFの処理は、既知の技術を適用することができる。例えば、AE処理では、撮像素子50が出力する画像データの光量に基づいて絞り48を調節するための評価値が算出され絞り48を調節するようにシステム制御部70による制御が行われる。また、AF処理では、撮像素子50が出力する画像データのコントラスト値が最大となるAFレンズ47の位置を検出してAFレンズ47を移動したり、画像データの周波数が所定の高周波成分以上となるAFレンズ47の位置を検出してAFレンズ47を移動するようにシステム制御部70による制御が行われる。
続いて、ステップ104では、表示遅延時間検出処理が行われる。当該処理は、撮像素子50によって撮影することで得られる画像データがA/D変換器58を介して遅延時間検出部74によって取得されると共に、ディスプレイ26に表示されたフレーム画像の画像データが遅延時間検出部74によって取得され、それぞれの画像データから遅延しているフレーム数が遅延時間として検出される。
次に、ステップ106では、遅延時間検出部74によって検出された遅延時間分、撮像素子50から出力される画像データが、一時記憶メモリ62に記憶され、ステップ108へ移行する。すなわち、遅延時間分のフレーム数の画像データが一時記憶メモリ62に記憶される。
ステップ108では、シャッタスイッチ22が全押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には、ステップ106に戻って、ステップ108の判定が肯定されるまで上述の処理が繰り返される。
シャッタスイッチ22が全押しされてステップ108の判定が肯定されると、ステップ110へ移行して、一時記憶メモリ62に記憶された複数のフレーム画像から選択部72によって遅延時間分前のフレーム画像が選択されて信号処理部60に出力され、ステップ112へ移行し、選択されたフレーム画像の画像データに対して信号処理が行われる。
そして、ステップ114では、選択画像に対応するフレーム画像が記録される。例えば内蔵メモリ84やメモリカード80に選択部72によって選択されたフレーム画像の画像データが記録されるようにシステム制御部70によって制御される。
また、ステップ116では、選択画像に対応するフレーム画像がディスプレイ26に表示されるようにシステム制御部70によって制御されて、一連の処理を終了する。
すなわち、本実施形態では、シャッタスイッチ22が操作されてディスプレイ26に画像が表示されるまでの遅延時間を検出して、遅延時間逆上ったフレーム画像をディスプレイ26に表示すると共に、内蔵メモリ84やメモリカード80等に記録するので、シャッタスイッチ22操作時に表示画像と同一画像を記録することができる。例えば、図5に示すように、1、2、3、4の順にフレーム画像の画像データが撮像素子50によって取り込まれ、遅延時間検出部74によって検出された遅延時間がNフレーム画像(図5では2フレーム画像)とすると、一時記憶メモリ62にNフレーム画像分を一時記憶し、シャッタスイッチ22が操作された時に、Nフレーム画像前のフレーム画像を選択部72によって選択して出力することで、シャッタスイッチ22操作時の表示のタイムラグを無くすることができると共に、表示される画像と記録される画像を同一にすることができる。
[第2実施形態]
続いて、本発明の第2実施形態に係わるデジタルカメラについて説明する。なお、デジタルカメラの外観及び電気系の構成は、基本的には第1実施形態と同一であるため説明を省略する。また、以下の説明では第1実施形態と同一構成について同一符号を付して説明する。
図6は、本発明の第2実施形態に係わるデジタルカメラのディスプレイ26へ画像表示する際の詳細な構成を示す機能ブロック図である。
レンズ14、AFレンズ47、及び絞り48を介して撮像素子50に結像された被写体像は、撮像素子50から画像データとして出力され、上述したサンプリング部56及びA/D変換器58を介して信号処理部60に入力される。
信号処理部60に入力された画像データは、信号処理部60によって各種処理が行われた後に、圧縮/伸張部64に出力され、圧縮/伸張部64によって圧縮が行われた後に、一時記憶メモリ62に記憶されながら、ディスプレイ26に出力されることで、スルー画像がディスプレイ26に表示される。なお、スルー画像を表示するための画像データは、圧縮せずにそのままディスプレイ26に出力するようにしてもよい。
システム制御部70は、第1実施形態と同様に、選択部72及び遅延時間検出部74を含んで構成されており、遅延時間検出部74は、A/D変換器58から撮像素子50によって撮影することで得られる画像データを取得すると共に、ディスプレイ26に表示されたフレーム画像の画像データを取得し、それぞれの画像データから遅延しているフレーム数を遅延時間(シャッタスイッチ22が操作されてからディスプレイ26に表示されるまでのタイムラグに相当する遅延時間)として検出する。なお、遅延時間検出部74は、本実施形態では、遅延時間として遅延フレーム数を検出するが、サンプリング部56のサンプリングレートと遅延フレーム数から遅延時間を算出するようにしてもよい。
また、選択部72は、遅延時間検出部74が検出した遅延時間(遅延フレーム数)を取得して、シャッタスイッチ22が操作された時に、一時記憶メモリ62に記憶されている複数のフレーム画像から遅延時間分前のフレーム画像を表す画像データを信号処理部60に出力する。
続いて、本発明の第2実施形態に係わるデジタルカメラの動作の一例について説明する。
図7は、本発明の第2実施形態に係わるデジタルカメラの動作の流れの一例を示すフローチャートである。
まず、ステップ200では、シャッタスイッチ22が半押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には肯定されるまで待機してステップ202へ移行する。
ステップ202では、AE/AFの処理が行われる。AE/AFの処理は、既知の技術を適用することができる。例えば、AE処理では、撮像素子50が出力する画像データの光量に基づいて絞り48を調節するための評価値が算出され絞り48を調節するようにシステム制御部70による制御が行われる。また、AF処理では、撮像素子50が出力する画像データのコントラスト値が最大となるAFレンズ47の位置を検出してAFレンズ47を移動したり、画像データの周波数が所定の高周波成分以上となるAFレンズ47の位置を検出してAFレンズ47を移動するようにシステム制御部70による制御が行われる。
続いて、ステップ204では、表示遅延時間検出処理が行われる。当該処理は、撮像素子50によって撮影することで得られる画像データがA/D変換器58を介して遅延時間検出部74によって取得されると共に、ディスプレイ26に表示されたフレーム画像の画像データが遅延時間検出部74によって取得され、それぞれの画像データから遅延しているフレーム数が遅延時間として検出される。
次に、ステップ206では、撮像素子50によって取得された画像データに対して各種補正等の信号処理が信号処理部60によって行われ、ステップ208へ移行して、信号処理された画像データが、圧縮/伸張部64によって圧縮処理される。圧縮処理としては、例えば、JPEG形式の画像データに圧縮される。この他には種々の既知の圧縮技術を適用することができるので、ここでは詳細な説明を省略する。
続いて、ステップ210では、信号処理されて圧縮された、遅延時間分のフレーム画像が一時記憶メモリ62に記憶されて、ステップ212へ移行する。
ステップ212では、シャッタスイッチ22が全押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には、ステップ206に戻って、ステップ212の判定が肯定されるまで上述の処理が繰り返される。
シャッタスイッチ22が全押しされてステップ212の判定が肯定されると、ステップ214へ移行して、一時記憶メモリ62に記憶された複数のフレームから選択部72によって遅延時間分前のフレーム画像が選択されて、ステップ216へ移行する。
ステップ216では、選択画像に対応するフレーム画像が記録される。例えば内蔵メモリ84やメモリカード80に選択部72によって選択されたフレーム画像の画像データが記録されるようにシステム制御部70によって制御される。
また、ステップ218では、選択画像に対応するフレーム画像がディスプレイ26に表示されるようにシステム制御部70によって制御されて、一連の処理を終了する。なお、本実施形態では、フレーム画像をディスプレイ26に表示する際には、JPEG形式に圧縮した場合を想定しているので、伸張せずに表示することができるが、圧縮された画像データを伸張してから表示するようにしてもよい。
すなわち、本実施形態では、第1実施形態と同様に、シャッタスイッチ22が操作されてディスプレイ26に画像が表示されるまでの遅延時間を検出して、遅延時間逆上ったフレーム画像をディスプレイ26に表示すると共に、内蔵メモリ84やメモリカード80等に記録するので、シャッタスイッチ22操作時に表示画像と同一画像を記録することができる。
また、本実施形態では、遅延時間分のフレーム画像を一時記憶メモリ62に記憶する際に、圧縮してから記憶するので、一時記憶メモリ62の容量を節約することができる。
[第3実施形態]
続いて、第3実施形態に係わるデジタルカメラについて説明する。なお、デジタルカメラの外観及び電気系の構成は、基本的には第1実施形態と同一であるため説明を省略する。また、以下の説明では、第1実施形態と同一構成について同一符号を付して説明する。
図8は、第3実施形態に係わるデジタルカメラのディスプレイ26へ画像表示する際の詳細な構成を示す機能ブロック図である。
第3実施形態に係わるデジタルカメラのシステム制御部70は、図8に示すように、第1及び第2実施形態と同様に、選択部72及び遅延時間検出部74を含んで構成されている。また、第3実施形態では、システム制御部70は記憶先選択部76を更に含んで構成されていている。
レンズ14、AFレンズ47、及び絞り48を介して撮像素子50に結像された被写体像は、撮像素子50から画像データとして出力され、上述したサンプリング部56及びA/D変換器58を介して記憶先選択部76によって選択された一時記憶メモリ62またはメモリカード80に記憶されながら信号処理部60に出力される。そして、信号処理部60によって各種処理が行われた後にディスプレイ26に画像データが出力されることで、ディスプレイ26にスルー画像が表示される。
記憶先選択部76は、一時記憶メモリ62の空き容量を検出して空き容量が少ない場合(遅延時間分のフレーム画像を記憶できない場合や空き容量が予め定めた容量以下の場合等)に、一時記憶先をメモリカード80の外部の記憶装置に切り換える。また、記憶先選択部76は、選択した一時記憶先を選択部72に通知するようになっている。
遅延時間検出部74は、上記の実施形態と同様に、A/D変換器58から撮像素子50によって撮影することで得られる画像データを取得すると共に、ディスプレイ26に表示されたフレーム画像の画像データを取得し、それぞれの画像データから遅延しているフレーム数を遅延時間(シャッタスイッチ22が操作されてからディスプレイ26に表示されるまでのタイムラグに相当する遅延時間)として検出する。なお、遅延時間検出部74は、本実施形態では、遅延時間として遅延フレーム数を検出するが、サンプリング部56のサンプリングレートと遅延フレーム数から遅延時間を算出するようにしてもよい。
また、選択部72は、遅延時間検出部74が検出した遅延時間(遅延フレーム数)を取得して、シャッタスイッチ22が操作された時に、記憶先選択部76から通知された記憶先(本実施形態では、一時記憶メモリ62またはメモリカード80)に記憶されている複数のフレーム画像から遅延時間分前のフレーム画像を表す画像データを信号処理部60に出力する。
続いて、上述のように構成された本発明の第3実施形態に係わるデジタルカメラの動作の一例について説明する。
図9は、本発明の第3実施形態に係わるデジタルカメラの動作の流れの一例を示すフローチャートである。
まず、ステップ300では、シャッタスイッチ22が半押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には肯定されるまで待機してステップ302へ移行する。
ステップ302では、AE/AFの処理が行われる。AE/AFの処理は、既知の技術を適用することができる。例えば、AE処理では、撮像素子50が出力する画像データの光量に基づいて絞り48を調節するための評価値が算出され絞り48を調節するようにシステム制御部70による制御が行われる。また、AF処理では、撮像素子50が出力する画像データのコントラスト値が最大となるAFレンズ47の位置を検出してAFレンズ47を移動したり、画像データの周波数が所定の高周波成分以上となるAFレンズ47の位置を検出してAFレンズ47を移動するようにシステム制御部70による制御が行われる。
続いて、ステップ304では、表示遅延時間検出処理が行われる。当該処理は、A/D変換器58から撮像素子50によって撮影することで得られる画像データがA/D変換器58を介して遅延時間検出部74によって取得されると共に、ディスプレイ26に表示されたフレーム画像の画像データが遅延時間検出部74によって取得され、それぞれの画像データから遅延しているフレーム数が遅延時間として検出される。
次に、ステップ306では、一時記憶メモリ62の空き容量が十分か否か記憶先選択部76によって判定され、該判定が肯定された場合には、ステップ308へ移行して、記憶先選択部76によって選択された記憶先(一時記憶メモリ62)が選択部72に通知され、ステップ310へ移行し、遅延時間検出部74によって検出された遅延時間分、撮像素子50から出力される画像データが、一時記憶メモリ62に記憶され、ステップ316へ移行する。すなわち、遅延時間分のフレーム数の画像データが一時記憶メモリ62に記憶される。
一方、ステップ306の判定が否定された場合には、ステップ312へ移行して、記憶先選択部76によって選択された記憶先(メモリカード80)が選択部72に通知され、ステップ314へ移行し、遅延時間検出部74によって検出された遅延時間分、撮像素子50から出力される画像データが、メモリカード80に記憶され、ステップ316へ移行する。すなわち、一時記憶メモリ62の記憶容量が不十分な場合には、遅延時間分のフレーム数の画像データがメモリカード80に記憶されるので、メモリ不足で遅延時間分のフレーム画像が記憶できないようなことを防止することができる。
ステップ316では、シャッタスイッチ22が全押しされたか否かシステム制御部70によって判定され、該判定が否定された場合には、ステップ306に戻って、ステップ316の判定が肯定されるまで上述の処理が繰り返される。
シャッタスイッチ22が全押しされてステップ316の判定が肯定されると、ステップ318へ移行して、記憶先選択部76から通知された記憶先に記憶された複数のフレーム画像から選択部72によって遅延時間分前のフレーム画像が選択されて信号処理部60に出力され、ステップ320へ移行し、選択されたフレーム画像の画像データに対して信号処理が行われる。
そして、ステップ322では、選択画像に対応するフレーム画像が記録される。例えば内蔵メモリ84やメモリカード80に選択部72によって選択されたフレーム画像の画像データが記録されるようにシステム制御部70によって制御される。
また、ステップ324では、選択画像に対応するフレーム画像がディスプレイ26に表示されるようにシステム制御部70によって制御されて、一連の処理を終了する。
すなわち、本実施形態では、第1実施形態と同様に、シャッタスイッチ22が操作されてディスプレイ26に画像が表示されるまでの遅延時間を検出して、遅延時間逆上ったフレーム画像をディスプレイ26に表示すると共に、内蔵メモリ84やメモリカード80等に記録するので、シャッタスイッチ22操作時にタイムラグのない画像をディスプレイ26に表示することができると共に、表示画像と同一画像を記録することができる。
また、本実施形態では、一時記憶メモリ62の空き容量に応じて、遅延時間分のフレーム画像の記憶先を一時記憶メモリ62または外部のメモリカード80に切り換えるので、メモリを効率的に使用することが可能となる。
なお、第3実施形態は、第2実施形態のように、一時記憶メモリ62またはメモリカード80に、遅延時間分のフレーム画像を記憶する際には、第2実施形態のように、圧縮してから記憶するようにしてもよい。すなわち、第2実施形態と第3実施形態とを組み合わせるようにしてもよい。
また、上記の各実施形態では、遅延時間検出部74によって遅延時間を検出するようにしたが、内蔵メモリ84等の記憶装置に予め測定した遅延時間を記憶しておいて、記憶した遅延時間を取得するようにしてもよい。
本発明の第1実施形態に係わるデジタルカメラの外観を示す斜視図である。 本発明の第1実施形態に係わるデジタルカメラの電気系の構成を示すブロック図である。 本発明の第1実施形態に係わるデジタルカメラのディスプレイへ画像表示する際の詳細な構成を示す機能ブロック図である。 本発明の第1実施形態に係わるデジタルカメラの動作の流れの一例を示すフローチャートである。 シャッタスイッチが操作された時に表示及び記録するフレーム画像を説明するための図である。 本発明の第2実施形態に係わるデジタルカメラのディスプレイへ画像表示する際の詳細な構成を示す機能ブロック図である。 本発明の第2実施形態に係わるデジタルカメラの動作の流れの一例を示すフローチャートである。 本発明の第3実施形態に係わるデジタルカメラのディスプレイへ画像表示する際の詳細な構成を示す機能ブロック図である。 本発明の第3実施形態に係わるデジタルカメラの動作の流れの一例を示すフローチャートである。
符号の説明
10 デジタルカメラ
22 シャッタスイッチ
26 ディスプレイ
50 撮像素子
62 一時記憶メモリ
64 圧縮/伸張部
70 システム制御部
72 選択部
74 遅延時間検出部
76 記憶先選択部

Claims (12)

  1. 被写体像を撮影することによって被写体像を表す画像データを取得する撮像素子と、
    撮影を指示する指示手段と、
    前記撮像素子によって取得された前記画像データに基づく表示を行う表示手段と、
    前記撮像素子によって撮影することにより取得される前記画像データを取得すると共に、前記表示手段に表示されたフレーム画像の画像データを取得し、それぞれの画像データから、前記画像データを取得してから前記表示手段が画像表示するまでの遅延時間を検出する検出手段と、
    前記撮像素子が取得する前記画像データを記憶する記憶手段と、
    前記指示手段によって撮影が指示された時に、前記記憶手段に記憶された前記画像データの中から、前記検出手段によって検出された前記遅延時間分前に対応する前記画像データを選択する選択手段と、
    を備えた撮影装置。
  2. 前記撮像素子によって取得された前記画像データを圧縮する圧縮手段を更に備え、前記記憶手段が前記圧縮手段によって圧縮した前記画像データを記憶することを特徴とする請求項1に記載の撮影装置。
  3. 前記撮像素子が取得する前記画像データを記憶する外部記憶手段と、前記画像データの記憶先を選択する記憶先選択手段と、を更に備えることを特徴とする請求項1又は請求項2に記載の撮影装置。
  4. 前記選択手段によって選択された前記画像データに基づく表示を行うように前記表示手段を制御すると共に、前記選択手段によって選択された前記画像データを記録媒体に記録するように制御する制御手段を更に備えることを特徴とする請求項1又は請求項2に記載の撮影装置。
  5. 前記記憶手段は、前記検出手段によって検出された前記遅延時間分以上に相当する前記画像データを記憶することを特徴とする請求項1乃至請求項4の何れか1項に記載の撮影装置。
  6. 前記検出手段は、前記撮像素子によって撮影することにより取得される前記画像データ、及び前記表示手段に表示されたフレーム画像の画像データから、遅延しているフレーム数を前記遅延時間として検出することを特徴とする請求項1乃至請求項5の何れか1項に記載の撮影装置。
  7. 被写体像を撮影することによって被写体像を表す画像データを取得する撮像ステップと、
    前記撮像ステップによって取得した前記画像データに基づく表示を行う表示ステップと、
    前記撮像ステップで撮影することにより取得した前記画像データを取得すると共に、前記表示ステップで表示を行ったフレーム画像の画像データを取得し、それぞれの画像データから、前記画像データを取得してから前記表示ステップで画像表示するまでの遅延時間を検出する検出ステップと、
    前記撮像ステップで取得した前記画像データを記憶する記憶ステップと、
    撮影が指示された時に、前記記憶ステップで記憶した前記画像データの中から、前記検出ステップで検出した前記遅延時間分前に対応する前記画像データを選択する選択ステップと、
    を含む撮影処理方法。
  8. 前記撮像ステップで取得した前記画像データを圧縮する圧縮ステップを更に含み、前記記憶ステップが前記圧縮ステップで圧縮した前記画像データを記憶することを特徴とする請求項7に記載の撮影処理方法。
  9. 前記記憶ステップで前記画像データを記憶する、記憶先を選択する記憶先選択ステップを更に含むことを特徴とする請求項7又は請求項8に記載の撮影処理方法。
  10. 前記選択ステップで選択した前記画像データに基づく表示を行うように前記表示ステップを制御すると共に、前記選択ステップで選択した前記画像データを記録媒体に記録するように制御する制御ステップを更に含むことを特徴とする請求項7又は請求項8に記載の撮影処理方法。
  11. 前記記憶ステップは、前記検出ステップで検出した前記遅延時間分以上に相当する前記画像データを記憶することを特徴とする請求項7乃至請求項10の何れか1項に記載の撮影処理方法。
  12. 前記検出ステップは、前記撮像ステップで撮影することにより取得した前記画像データ、及び前記表示ステップで表示を行ったフレーム画像の画像データから、遅延しているフレーム数を前記遅延時間として検出することを特徴とする請求項7乃至請求項11の何れか1項に記載の撮影処理方法。
JP2004327674A 2004-11-11 2004-11-11 撮影装置及び撮影処理方法 Expired - Fee Related JP4799849B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004327674A JP4799849B2 (ja) 2004-11-11 2004-11-11 撮影装置及び撮影処理方法
US11/262,749 US20060098106A1 (en) 2004-11-11 2005-11-01 Photography device and photography processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004327674A JP4799849B2 (ja) 2004-11-11 2004-11-11 撮影装置及び撮影処理方法

Publications (2)

Publication Number Publication Date
JP2006140703A JP2006140703A (ja) 2006-06-01
JP4799849B2 true JP4799849B2 (ja) 2011-10-26

Family

ID=36315902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004327674A Expired - Fee Related JP4799849B2 (ja) 2004-11-11 2004-11-11 撮影装置及び撮影処理方法

Country Status (2)

Country Link
US (1) US20060098106A1 (ja)
JP (1) JP4799849B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219317A (ja) * 2007-03-02 2008-09-18 Sharp Corp 撮像装置
US8289400B2 (en) * 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US8624998B2 (en) * 2009-06-05 2014-01-07 Apple Inc. Camera image selection based on detected device movement
JP5218508B2 (ja) * 2009-10-02 2013-06-26 株式会社ニコン 撮像装置
JP5371845B2 (ja) * 2010-03-18 2013-12-18 富士フイルム株式会社 撮影装置及びその表示制御方法並びに3次元情報取得装置
TWI418210B (zh) * 2010-04-23 2013-12-01 Alpha Imaging Technology Corp 避免快門延遲之影像擷取模組及影像擷取方法
KR101657522B1 (ko) * 2010-11-02 2016-09-19 한화테크윈 주식회사 네트워크 카메라 및 그의 저장장치 운영 방법
JP6273700B2 (ja) 2013-06-25 2018-02-07 株式会社ソシオネクスト 撮影装置、および撮影方法
US10104284B2 (en) 2014-09-19 2018-10-16 Huawei Technologies Co., Ltd. Method and apparatus for determining photographing delay time, and photographing device
CN116170704B (zh) * 2023-02-28 2023-11-07 武汉极动智能科技有限公司 时序控制系统、方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020920A (en) * 1997-06-10 2000-02-01 Flashpoint Technology, Inc. Method and system for speculative decompression of compressed image data in an image capture unit
US7027087B2 (en) * 1998-08-21 2006-04-11 Nikon Corporation Electronic camera
US6873658B2 (en) * 1999-12-20 2005-03-29 Texas Instruments Incorporated Digital still camera system and method
JP3750462B2 (ja) * 2000-02-22 2006-03-01 コニカミノルタフォトイメージング株式会社 デジタルカメラおよび記録媒体
JP2002111989A (ja) * 2000-10-02 2002-04-12 Mega Chips Corp 画像処理回路
JP3988461B2 (ja) * 2001-12-28 2007-10-10 株式会社ニコン 電子カメラ
US7050096B2 (en) * 2002-03-29 2006-05-23 Hewlett-Packard Development Company, L.P. Real-time image transfer by selective frame dropping between a camera and host computer
US20040070679A1 (en) * 2002-10-15 2004-04-15 Pope David R. Compensating for delays inherent in digital still camera imaging
US7352390B2 (en) * 2003-10-08 2008-04-01 Hewlett-Packard Development Company, L.P. Digital camera for capturing image data with rapid response between activating a capture trigger and capturing image data
US7719579B2 (en) * 2005-05-24 2010-05-18 Zoran Corporation Digital camera architecture with improved performance

Also Published As

Publication number Publication date
JP2006140703A (ja) 2006-06-01
US20060098106A1 (en) 2006-05-11

Similar Documents

Publication Publication Date Title
JP4406937B2 (ja) 撮影装置
US7710458B2 (en) Image pick-up apparatus with a shake reducing function
JP5123137B2 (ja) 撮像装置および撮像方法
JP6325841B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2007184733A (ja) 撮像装置及び撮影モード表示方法
KR101433121B1 (ko) 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치
US20060098106A1 (en) Photography device and photography processing method
JP3859131B2 (ja) デジタルカメラ
JP3733828B2 (ja) 電子カメラ
KR101297299B1 (ko) 촬상 장치 및 촬상 방법
JP5893712B1 (ja) 撮像装置、撮像方法、処理プログラム
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP4123352B2 (ja) 動画撮像装置及び動画再生装置
JP2005086219A (ja) デジタルカメラ及び撮影制御方法
JP4013026B2 (ja) 電子カメラ及び自動焦点調節時の画像表示方法
JP2007013586A (ja) 撮像装置
JP2006033752A (ja) デジタルカメラ
JP4905797B2 (ja) 撮像装置及び撮像方法
JP4823964B2 (ja) 撮像装置及び撮像方法
JP5370662B2 (ja) 撮像装置
JP2001094927A (ja) 電子スチルカメラ
JP2006074583A (ja) 撮像装置
JP2006253939A (ja) 撮像装置
JP2004193884A (ja) デジタルカメラ
JP2006128978A (ja) 撮像装置及び撮像装置の画像処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4799849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees