JP5115230B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5115230B2 JP5115230B2 JP2008032058A JP2008032058A JP5115230B2 JP 5115230 B2 JP5115230 B2 JP 5115230B2 JP 2008032058 A JP2008032058 A JP 2008032058A JP 2008032058 A JP2008032058 A JP 2008032058A JP 5115230 B2 JP5115230 B2 JP 5115230B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- thinned
- recording
- storage medium
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像素子を用いた撮像装置に関する。 The present invention relates to an imaging apparatus using an imaging element.
従来、レリーズ釦の半押し操作に連動して撮像を開始し、得られた連写画像をバッファメモリへ記録し、レリーズ釦の全押しにより、連写開始後の所定の画像から全押しタイミングまでの画像を保存するカメラが知られている(例えば、非特許文献1参照)。このような連写を行うことにより、撮影したい瞬間よりも遅れて全押しされた場合でも、決定的瞬間を逃がさず撮影することができる。
Conventionally, imaging is started in conjunction with the half-pressing operation of the release button, the obtained continuous shot image is recorded in the buffer memory, and from the predetermined image after the continuous shooting is started to the full press timing by fully pressing the release button. There is known a camera that stores the image (see Non-Patent
しかしながら、一般に、カメラの電源をオンした直後は、レンズをピントのあった状態にするまでのAF準備動作や露出補正のための準備動作を含む撮影準備動作が完了するまでは、レリーズ操作をしても撮影が許可されない。したがって、電源オン直後の撮影準備動作の完了前においては、レリーズ操作をしても撮影が許可されないので、背景技術で説明したカメラの動作を行うことができず、撮影したい決定的な瞬間を逃してしまうという問題があった。 However, in general, immediately after the camera is turned on, a release operation is performed until a shooting preparation operation including an AF preparation operation until the lens is brought into focus and a preparation operation for exposure correction is completed. Even shooting is not allowed. Therefore, before the completion of the shooting preparation operation immediately after the power is turned on, shooting is not permitted even if the release operation is performed. Therefore, the camera operation described in the background art cannot be performed, and a critical moment to be shot is missed. There was a problem that.
請求項1の発明による撮像装置は、光学系により結像された像を撮像して、全画素の信号に基づく全画素画像データおよび全画素の内の所定画素の信号に基づく間引き画像データのいずれかを選択的に出力可能な撮像素子と、前記間引き画像データに基づいて前記光学系の合焦動作を行う焦点調節手段と、前記間引き画像データに基づいて露出調整動作を行う露出調整手段と、前記撮像素子と前記焦点調節手段と前記露出調整手段に電力を供給する電力供給手段と、ユーザによる操作に応じて、前記電力供給手段に電力の供給開始を指示する電力供給操作部と、前記電力供給手段による電力供給開始後における前記撮像素子の画像データ出力開始から、前記合焦動作および前記露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、前記間引き画像データの出力を許可するとともに前記全画素画像データの出力を禁止し、前記撮影準備動作の完了後は前記全画素画像データの出力の禁止を解除して許可するように、前記撮像素子を制御する撮像制御手段と、前記間引き画像データの出力開始から前記撮影準備動作が完了するまでの期間において、前記撮像素子から出力される前記間引き画像データを、不揮発性画像データ記憶媒体に記録するために一時的に保存する揮発性記憶手段と、ユーザの操作に応じて、前記全画素画像データを取得するための撮影指示を行うレリーズ操作部と、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から前記レリーズ操作部の操作時までの期間に前記揮発性記憶手段に保存された前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録する記録手段と、を備えたことを特徴とする。
請求項2の発明による撮像装置は、請求項1に記載の撮像装置において、前記撮像素子により撮像される像のブレ量を検出するブレ量検出手段と、前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から、前記ブレ量検出手段で検出される前記ブレ量が所定範囲内となるまでの期間において前記揮発性記憶手段が記憶した前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録することを特徴とする。
請求項3の発明による撮像装置は、請求項1または2に記載の撮像装置において、前記不揮発性記憶媒体への前記間引き画像データの記録を行う記録モードと、前記不揮発性記憶媒体への前記間引き画像データの記録を行わない非記録モードとを選択する選択手段を備えたことを特徴とする。
請求項4の発明による撮像装置は、請求項1に記載の撮像装置において、前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合には、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録し、前記撮影準備動作が完了後に前記レリーズ操作部の操作が行われた場合には、前記間引き画像データを前記不揮発性記憶媒体に記録することなく前記全画素画像データを前記不揮発性記憶媒体に記録することを特徴とする。
請求項5の発明による撮像装置は、請求項4に記載の撮像装置において、前記記録手段が、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録したことをユーザに報知する報知手段を更に備えたことを特徴とする。
The image pickup apparatus according to the first aspect of the invention picks up an image formed by the optical system, and selects any one of all-pixel image data based on signals of all pixels and thinned image data based on signals of predetermined pixels among all pixels. An image sensor that can selectively output the image, a focus adjustment unit that performs a focusing operation of the optical system based on the thinned image data, an exposure adjustment unit that performs an exposure adjustment operation based on the thinned image data, A power supply unit that supplies power to the imaging device, the focus adjustment unit, and the exposure adjustment unit; a power supply operation unit that instructs the power supply unit to start supplying power in response to an operation by a user; and the power From the start of image data output of the image sensor after the supply of power by the supply means to the completion of the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation. The output of the thinned-out image data is permitted and the output of the all-pixel image data is prohibited, and after the completion of the shooting preparation operation, the prohibition of the output of the all-pixel image data is canceled and permitted. Imaging control means for controlling the imaging device, and the thinned image data output from the imaging device in a period from the start of output of the thinned image data to the completion of the shooting preparation operation are stored in a nonvolatile image data storage medium Volatile storage means for temporary storage for recording , a release operation unit for giving a shooting instruction for acquiring the all-pixel image data according to a user operation, and before the shooting preparation operation is completed When the release operation unit is operated, it is stored in the volatile storage unit during a period from the start of image data output to the operation of the release operation unit. The thinned image data, characterized by comprising a recording means for recording in the non-volatile image data storage medium.
An imaging apparatus according to a second aspect of the present invention is the imaging apparatus according to the first aspect, wherein the blur amount detecting means for detecting a blur amount of an image picked up by the image sensor and the recording means are configured to perform the photographing preparation operation. When the release operation unit is operated before completion, the volatile storage is performed during a period from the start of image data output until the blur amount detected by the blur amount detection means falls within a predetermined range. The thinned image data stored by the means is recorded on the nonvolatile image data storage medium .
An imaging apparatus according to a third aspect of the present invention is the imaging apparatus according to the first or second aspect, wherein a recording mode for recording the thinned image data in the nonvolatile storage medium and the thinning out to the nonvolatile storage medium are provided. It is characterized by comprising selection means for selecting a non-recording mode in which no image data is recorded .
According to a fourth aspect of the present invention, there is provided the imaging apparatus according to the first aspect, wherein the recording unit is configured to perform the operation when the release operation unit is operated before the photographing preparation operation is completed. When the thinned image data is recorded on the nonvolatile storage medium without recording the pixel image data on the nonvolatile storage medium, and the release operation unit is operated after the shooting preparation operation is completed, All the pixel image data is recorded on the non-volatile storage medium without recording the thinned image data on the non-volatile storage medium .
The imaging apparatus according to a fifth aspect of the present invention is the imaging apparatus according to the fourth aspect, wherein the recording unit stores the thinned image data in the nonvolatile storage without recording the all-pixel image data in the nonvolatile storage medium. It is further characterized by further comprising an informing means for informing the user of recording on the medium .
本発明によれば、撮影準備動作が完了するまでの期間において、従来のように所望の撮影シーンを逃してしまうというような事態が発生するのを、防止することができる。 According to the present invention, it is possible to prevent the occurrence of a situation in which a desired shooting scene is missed as in the prior art until the shooting preparation operation is completed.
以下、図を参照して本発明を実施するための最良の形態について説明する。図1は本発明による撮像装置の一実施の形態を示す図であり、デジタルカメラの概略構成を示すブロック図である。デジタルカメラは、主制御部1、撮影光学系2、レンズ駆動部3、ブレ補正駆動部4、絞り5、絞り駆動部6、撮像素子7、ドライバ8、AFE(Analog Front End)9、タイミングジェネレータ10、メモリカードドライブ装置11、画像処理回路12、ジャイロセンサ13、レリーズボタン14、電源ボタン15、電源16、表示パネル17、表示パネル駆動回路18、不揮発性の内蔵メモリ20、記録設定ボタン23を備えている。
Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of an imaging apparatus according to the present invention, and is a block diagram showing a schematic configuration of a digital camera. The digital camera includes a
撮影光学系2を通過した被写体光は、絞り5を介して撮像素子7上に結像される。絞り5は、絞り駆動部6により駆動される。撮影光学系2に設けられたフォーカスレンズをレンズ駆動部3によって駆動することにより、撮影光学系2の焦点調節が行われる。また、撮影光学系2には、手ブレ等による像ブレを補正するブレ補正レンズが設けられている。ブレ補正駆動部4は、ジャイロセンサ13により検出されたカメラの振れ角速度に基づいて、撮像面上における被写体像のブレ低減する方向にブレ補正レンズを駆動する。
The subject light that has passed through the photographing optical system 2 forms an image on the
撮像素子7にはCCDセンサやCMOSセンサなどのエリアセンサが用いられ、被写体像の明るさに応じた光電変換信号(撮像信号)を出力する。撮像素子7の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子7がカラーフィルタを通して被写体像を撮像するため、各受光素子から出力される信号は、それぞれRGB表色系の色情報を有する。
An area sensor such as a CCD sensor or a CMOS sensor is used as the
タイミングジェネレータ10は、主制御部1からの指令に応じてタイミング信号を発生し、ドライバ8およびAFE9にタイミング信号を供給する。ドライバ8は、撮像素子7に電荷を蓄積させ、蓄積電荷を掃き出させるための駆動信号を上記タイミング信号に基づき生成し、生成した駆動信号を撮像素子7へ供給する。なお、ここでは、AFE9とタイミングジェネレータ10とを別構成としたが、AFE9にタイミングジェネレータ10が含まれる構成でも構わない。
The
AFE9には、CDS(相関二重サンプリング)回路、AGC(オートゲインコントロール)回路およびADCが設けられており、タイミングジェネレータからのタイミング信号がそれぞれの回路に供給される。CDS回路は画像信号の低周波ノイズ低減処理を行う。AGC回路はゲインを調整することにより撮像信号のレベル調整を行う。アナログ処理された画像信号はADCによりデジタル信号に変換され、画像処理回路12に入力される。撮像素子7は、ライブビュー表示と呼ばれるリアルタイム表示および動画記録用にデータ量を削減するために、全撮像素子のデータから水平または垂直方向に間引かれたデータ、または両方向に間引かれたデータを出力することが可能である。
The AFE 9 is provided with a CDS (correlated double sampling) circuit, an AGC (auto gain control) circuit, and an ADC, and a timing signal from a timing generator is supplied to each circuit. The CDS circuit performs low frequency noise reduction processing of the image signal. The AGC circuit adjusts the level of the imaging signal by adjusting the gain. The analog processed image signal is converted into a digital signal by the ADC and input to the
画像処理回路12は、デジタル信号を処理する回路であって例えばASICとして構成され、AFE9から出力されたデータに対して、ホワイトバランス(WB処理)、階調補正処理、色補正処理、フォーマット変換、圧縮処理等を施す。なお、間引きデータに基づいて画像を生成する場合、アスペクト比の調整は画像処理回路12において行われる。色補正においては、RGB色空間で表現されたカラー情報のYCrCb色空間で表現されたカラー情報への変換も行われる。
The
主制御部1はマイクロコンピュータにより構成され、レリーズボタン14や電源ボタン15の操作に連動してオンオフするレリーズスイッチや電源スイッチを含む各種スイッチの状態の検出や、AFE9やレンズ駆動部3等を含む各種周辺回路の制御や、被写体への合焦動作のためのAF演算、被写界に対する適正な露出制御値を得るためのAE演算等の各種演算処理などを行う。主制御部1はROM(不図示)や揮発性記録媒体であるDRAM22を備えており、マイクロコンピュータが所定のプログラムを実行することにより、各種周辺回路を統括的に制御する。DRAM22は、画像処理や画像圧縮処理等の処理途中や処理後のデータを一時的に格納するためのバッファメモリとして用いられる。
The
メモリカードドライブ装置11には、フラッシュメモリ等の不揮発性記録媒体で構成されるメモリカード19が着脱可能に装着される。メモリカードドライブ装置11は、画像処理回路12で画像処理された後の画像データをメモリカード19に書き込む。なお、着脱可能なメモリカード19に画像データを記録する代わりに、内蔵メモリ20に記録させるようにしても良い。
A
表示パネル17は、画像処理回路12により生成されたライブビュー用の画像を表示したり、メモリカード19に記録された画像データを再生表示したりするモニタである。表示パネル17としては、例えば、LCD(液晶表示素子)や有機エレクトロルミネッセンスなどが用いられる。表示パネル駆動回路18は、画像処理回路12からのデジタル画像信号に基づいて、表示パネル17に画像を表示するための表示データを作成するとともに、メモリカード19から読み出された圧縮画像データから表示データを生成する。その場合、表示パネル17の表示画素数に適合した画像サイズの画像データを生成する。
The
レリーズボタン14はレリーズスイッチをオン操作するための操作部材である。ユーザがレリーズボタン14を操作してレリーズスイッチをオンすると、主制御部1は、静止画や動画の記録タイミングを設定する。主制御部1は、レリーズスイッチの状態変化を検出することにより、撮像素子7からのデータ取得し、画像処理装置12およびメモリカードドライブ装置11の制御を行って画像データをメモリカード19に記録する。電源ボタン15は、デジタルカメラの起動、停止を行わせるための操作部材である。ユーザが電源ボタン15をオン操作すると、主制御部1は、電源スイッチの状態変化を検出して電源16の制御や周辺回路の制御を行う。
The
図2、3は本実施の形態における制御を説明する図である。図2は、電源起動からレリーズ操作による撮影処理までの処理動作の一例を示すフローチャートである。図3は、制御シーケンスを示す図である。図2に示すフローチャートで示される一連の処理は、主制御部1で撮影処理プログラムを実行して行われる。この撮影処理プログラムは、不図示のROMまたは内蔵メモリ20に記録されている。なお、各ステップの処理は主制御部1の制御の下で実行されるので、各ステップの説明では、その動作主体である主制御部1の記述を省略して説明する場合もある。
2 and 3 are diagrams for explaining the control in the present embodiment. FIG. 2 is a flowchart illustrating an example of processing operations from power activation to shooting processing by a release operation. FIG. 3 is a diagram showing a control sequence. A series of processing shown in the flowchart shown in FIG. 2 is performed by executing a photographing processing program in the
ユーザが電源ボタン15をオン操作すると、電源スイッチの状態がオフからオンに変化する。主制御部1は、電源スイッチの状態変化を検出し、すなわち、図3に示す信号の立下りを検出し、図2に示す処理をスタートする。ステップS1では、主制御部1は、電源スイッチの状態変化により電源起動要求を検出すると、電源16から撮像素子7やレンズ駆動部3等を含む各種周辺回路へと電力を供給させる。ステップS2では、主制御部1は、撮像データ(間引きデータ)取り込みと画像処理のタイミングを取るための、データ取得の同期タイミングとなったか否かを判定する。ステップS2において、同期タイミングになったと判定されるとステップS3へ進み、主制御部1は、間引きデータの取り込みを開始する。
When the user turns on the
図3の制御シーケンスに示すように、電力供給が開始されると、撮像素子7からはライブビュー表示のための間引きデータ(t11)が出力され、タイミングt11で取り込んだ間引きデータに対して、画像処理回路12は、次の間引きデータ出力タイミングt12と同期したタイミングt21において上述した画像処理を行う。画像処理後の間引き画像データは、表示のためにVRAM21に格納されるとともに、記録のために、バッファメモリとしてのDRAM22に格納される。表示パネル駆動回路18は、画像処理後の画像データ(間引き画像データ)に基づいて、表示パネル17に画像を表示させる。図3の制御シーケンスでは、タイミングt31で間引き画像データによる表示パネル17への画像表示を行うとともに、同じタイミングt41においてDRAM22への間引き画像データの記録が行われる。
As shown in the control sequence of FIG. 3, when power supply is started, the
さらに、タイミングt12で出力された間引きデータは、次の間引きデータ出力タイミングt13と同期したタイミングt22において画像処理される。そして、画像処理後の間引き画像データによる表示パネル17への画像表示(t32)、および、間引き画像データのDRAM22への記録(t42)を行う。このような一連の処理が繰り返し実行されることで、ライブビュー表示が行われる。また、後述する撮影準備完了まで、DRAM22への間引き画像データの記録が行われる。
Further, the thinned data output at timing t12 is subjected to image processing at timing t22 synchronized with the next thinned data output timing t13. Then, image display on the
上述した画像処理とは別に、データ出力タイミングt12と同期してAE処理用のデータ取り込みを行い(a1)、その取り込んだデータに基づいて、撮像素子7の出力レベルが所定範囲となるように露出制御値の演算(AE演算)をデータ出力タイミングt13に同期して行う(b1)。そして、算出された露出制御値に基づいて、撮像素子7の蓄積時間、絞り5の絞り値およびISO感度の制御(AE制御)を行う(c1)。このAE制御(c1)は、タイミングt14における4回目の撮像データ出力の立下りで開始され、立ち上がる前(次の撮像データ出力が開始される前)に完了する。
Apart from the above-described image processing, data acquisition for AE processing is performed in synchronization with the data output timing t12 (a1), and exposure is performed so that the output level of the
例えば、ダイナミックレンジで200の値をとるデータに対して、値が100になるように制御する場合を考える。この場合、最初が200のときは半分(100)になるようにシャッター秒時を変えて、次に取り込んだときに出力値が100になっていれば良いが、ダイナミックレンジが200なので、最初の出力値200は飽和しているのかどうか分からない。飽和している場合(例えば、実際の値が300である場合)に半分になるように制御すると、次の出力値は150になってしまう。そのため、さらに2回目のAE演算が必要になる。 For example, consider a case where control is performed so that the value becomes 100 for data having a value of 200 in the dynamic range. In this case, when the first is 200, the shutter speed is changed so that it becomes half (100), and the output value should be 100 when the next capture is performed, but since the dynamic range is 200, the first It is not known whether the output value 200 is saturated. When it is controlled to be half when it is saturated (for example, when the actual value is 300), the next output value becomes 150. Therefore, a second AE calculation is required.
このように、電源投入直後は、露出演算の初期値となるべき値がないため、データの取り込み、AE演算、および、そのAE演算結果を反映するためのAE制御の一連の処理を1回行っただけでは、信頼性のある露出制御値を得ることはできない。一般的には、上述した一連の処理を数回繰り返し行う必要がある。このようなAE動作を数回繰り返すことにより、露出制御値が安定して所定範囲内となったならば、全画素データを用いた撮影が可能な状態となる。なお、図3に示す例では、AE動作を(a1)〜(c1)と(a2)〜(c2)の2回行った時点で撮影が可能な状態となる。 In this way, immediately after the power is turned on, there is no value that should be the initial value of the exposure calculation. Therefore, a series of processes of data acquisition, AE calculation, and AE control for reflecting the AE calculation result is performed once. It is not possible to obtain a reliable exposure control value only by merely. Generally, it is necessary to repeat the above-described series of processes several times. By repeating such an AE operation several times, if the exposure control value is stably within a predetermined range, it becomes possible to perform photographing using all pixel data. In the example shown in FIG. 3, shooting is possible when the AE operation is performed twice (a1) to (c1) and (a2) to (c2).
本実施の形態では、このような状態を撮影準備完了状態と称することにし、撮影準備完了状態(タイミングt6)となるまでは全画素データの出力を禁止して間引きデータの出力のみを許可し、撮影準備完了となったならば、全画素データの禁止状態を解除して出力を許可する(t6)。そのため、レリーズスイッチオンによる全画素データを用いた撮影ができるようになる。 In the present embodiment, such a state is referred to as a shooting preparation completion state, and until the shooting preparation completion state (timing t6), the output of all pixel data is prohibited and only the output of thinned data is permitted. When the preparation for photographing is completed, the prohibition state of all pixel data is canceled and output is permitted (t6). Therefore, it becomes possible to perform photographing using all pixel data by turning on the release switch.
図3では、タイミングt5においてレリーズ操作がレリーズスイッチオンとなっている。また、撮影準備完了により、間引き画像データのDRAM22への記録動作は終了する。すなわち、撮影準備完了(t6)前の出力データ(t17)に基づく間引き画像データはDRAM22への記録(バッファリング)が行われるが(t47)、撮影準備完了(t6)後の出力データ(t18)に基づく間引き画像データついては、DRAM22への記録が行われない。なお、撮影準備には、上述した露出に関するものに限らず、AFやフラッシュ発光用のコンデンサの充電、ブレ補正などの準備状態に関するものも含まれる。
In FIG. 3, the release operation is turned on at the timing t5. In addition, the recording operation of the thinned image data in the
なお、本実施の形態における全画素データとは通常の静止画撮影の際のデータを指しており、間引きデータとの対比で全画素という名称を用いているのであって、必ずしも厳密な意味での撮像素子7に含まれる全ての画素を指すわけではない。
Note that all pixel data in this embodiment refers to data at the time of normal still image shooting, and the name of all pixels is used in contrast to thinned data, and is not necessarily in a strict sense. Not all pixels included in the
図2に戻って、ステップS4において、主制御部1は、バッファリングされた間引き画像データのメモリカード19への記録設定が有効になっているか否かを判定する。間引き画像データをメモリカード19に記録するか否かの設定は、ユーザによる記録設定ボタン23の操作により予め行われる。また、表示パネル17にメニュー画面を呼び出して、メニュー画面に基づいて予めユーザが操作部材を操作することにより設定するようにしても良い。
Returning to FIG. 2, in step S <b> 4, the
ステップS4で有効と判定されるとステップS5へ進み、間引き画像データのバッファリングの開始、および間引き画像データによる画像の表示パネル17への表示を開始する。間引き画像データのバッファリングとは、主制御部1が間引きデータをDRAM22に保存することを意味する。具体的には、間引き画像データのバッファリングとは、ステップS1の電力供給開始後であってステップS4において有効判定がなされた後から後述撮影準備完了までの期間において、撮像素子7から出力された間引き画像データを主制御部1がDRAM22に保存することを意味する。間引き画像データのバッファリングは、基本的にバッファリングを行う期間の全ての間引きデータを保存することとするが、バッファリングを行う期間の一部の間引き画像データを保存することにしても良い。表示パネル17へ表示するための画像は、バッファリング用の間引き画像データに基づいてパネル表示用画像を生成する。または、記録用とパネル表示用とに分けて画像処理ラインを2つ設けても良い。
If it is determined to be valid in step S4, the process proceeds to step S5 to start buffering of the thinned image data and display of the image on the
ステップS6では、主制御部1は、レリーズスイッチがオンか否かを判定する。主制御部1は、レリーズスイッチのオン状態を検出するまでステップS6の処理を繰り返し、レリーズスイッチのオン状態を検出するとステップS7へ進む。ステップS7において、主制御部1は、上述した撮影準備が完了したか否かを判定する。ステップS7で撮影準備完了と判定されるとステップS8へ進み、ステップS5で開始した間引き画像データのDRAM22へのバッファリングを終了し、さらにステップS9に進んで、バッファリングされた間引き画像データをメモリカード19に記録する。その後、ステップS10へ進んで、全画素データに基づく撮影処理を行い、図2に示す一連の処理を終了する。
In step S6, the
一方、ステップS7で撮影準備が完了していないと判定された場合には、ステップS14に進み、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。 On the other hand, if it is determined in step S7 that the preparation for photographing has not been completed, the process proceeds to step S14, and a warning display indicating that photographing processing based on all pixel data by turning on the release switch cannot be performed is displayed on the display panel. 17 is displayed.
また、予め、間引き画像データを記録しない設定とされていて、ステップS4からステップS11へと進んだ場合には、ステップS11において、主制御部1は、間引き画像データによるライブビュー表示を開始させる。ステップS12では、主制御部1は、レリーズスイッチがオンとなったか否かを判定する。そして、レリーズスイッチオンが検出されるとステップS13へ進み、撮影準備が完了しているか否かを判定する。ステップS13において撮影準備が完了していないと判定されるとステップS15へと進み、撮影準備完了と判定されるとステップS10へ進んで撮影処理を実行する。ステップS10の撮影処理が完了すると、図2の一連の処理が終了する。一方、ステップ13からステップS15へと進んだ場合、主制御部1は、上述したステップS14と同様に、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。
If it is set in advance not to record the thinned image data and the process proceeds from step S4 to step S11, in step S11, the
上述した図2に示す処理において、記録設定が有効である場合には、カメラ起動後の間引きデータ出力から撮影準備完了までに得られた間引き画像データをDRAM22にバッファリングし、撮影準微意完了前にレリーズスイッチがオンされると、バッファリングされた間引き画像データをメモリカード19に記録するようにした。そのため、従来は、ユーザがレリーズ操作をしても撮影が許可されず撮影シーンを逃していた撮影準備完了前であっても、本実施の形態のカメラではそのようなことを避けることができ、間引き画像データとして記録される。
In the processing shown in FIG. 2 described above, when the recording setting is valid, the thinned image data obtained from the thinning data output after the camera is activated until the completion of the photographing preparation is buffered in the
(変形例)
図4は、図2に示した処理動作の変形例を示すフローチャートであり、図2のステップS4以降の処理を示したものである。省略されたステップS1〜S3の処理は、図2の場合と全く同じである。また、図4においては、破線で囲んだ部分の処理が図2に示したフローチャートと異なっており、以下では異なる部分を中心に説明する。
(Modification)
FIG. 4 is a flowchart showing a modification of the processing operation shown in FIG. 2, and shows the processing after step S4 in FIG. The omitted steps S1 to S3 are exactly the same as those in FIG. In FIG. 4, the processing of the portion surrounded by the broken line is different from the flowchart shown in FIG. 2, and the following description will focus on the different portion.
ステップS5において、主制御部1は、間引き画像データのバッファリング、および表示パネル17へのライブビュー表示を開始したならば、ステップS106に進んで撮影準備が完了したか否かを判定する。ステップS106で撮影準備完了と判定されるとステップS107へ進み、ステップS5で開始した間引き画像データのDRAM22へのバッファリングを終了し、さらにステップS108へ進んで、DRAM22に記録されている間引き画像データを全て消去する。一方、ステップS106で撮影準備が完了していないと判定された場合には、ステップS107,108をスキップして、ステップS109へと進む。
In step S5, when starting the buffering of the thinned image data and the live view display on the
ステップS109において、主制御部1は、レリーズスイッチがオンか否かを判定し、レリーズスイッチのオン状態を検出したならばステップS110へと進み、レリーズスイッチがオンでない場合にはステップS106へ戻る。ステップS110では、主制御部1は、撮影準備が完了したか否かを判定する。そして、撮影準備完了と判定した場合にはステップS10へ進んで撮影処理を実行し、撮影準備が完了していないと判定した場合には、ステップS111へ進む。
In step S109, the
ステップS111では、DRAM22への記録を開始してからレリーズスイッチ14がオンとなるまでのバッファリングデータ(間引き画像データ)をメモリカード19に記録する。続くステップS112では、主制御部1は、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。ステップS113では、主制御部1は、DRAM22に保存されている間引き画像データに関するバッファリングデータを一旦クリアする。そして、再度、間引き画像データのバッファリングを再開し、ステップS106へ戻る。
In step S111, buffering data (thinned image data) from when recording to the
ステップS113の処理を行うことにより、撮影準備完了までに複数回のレリーズ操作があった場合、2回目以降のレリーズ操作によりメモリカード19に記録される間引き画像データは、ステップS113のバッファリング再開からの間引き画像データとなる。すなわち、2回目以降のレリーズ操作では、ステップS5のバッファリング開始からの全ての間引き画像データをメモリカード19に記録するようにしていないので、間引き画像データを記録するため必要なメモリカード19の記録容量を小さく抑えることができる。
By performing the processing in step S113, if there are a plurality of release operations until the completion of shooting preparation, the thinned-out image data recorded in the
図4に示した変形例では、撮影準備完了までにユーザによるレリーズボタン14の操作が複数回行われた場合、レリーズ操作毎に間引き画像データがメモリカード19に記録されることになる。その場合、各間引き画像データの最終コマに近い部分に、ユーザが撮影しようとしたシーンの画像が含まれることになる。そのため、後で撮影データの整理を行う際に、間引き画像データ中の所望のシーンを容易に探し出すことができる。もちろん、図2に示す処理動作においても、ステップS14の後に、レリーズスイッチオンのタイミングの画像データが、バッファリングされた間引き画像データの何コマ目であるかをメモリカード19に記録するような処理を追加すれば、同様の効果を奏することができる。
In the modification shown in FIG. 4, when the user operates the release button 14 a plurality of times before the preparation for photographing is completed, thinned image data is recorded in the
上述した図2に示す処理動作では、間引きデータの取り込みを開始してから撮影準備完了まで間引き画像データをバッファリングし、バッファリングされた全ての間引き画像データをメモリカード19に記録した。また、図4に示す処理動作では、バッファリングの範囲は図2の処理動作の場合と同様であるが、メモリカード19に記録する間引き画像データは、バッファリング開始からレリーズスイッチオンまでの範囲であった。
In the processing operation shown in FIG. 2 described above, the thinned image data is buffered from the start of the acquisition of the thinned data to the completion of the shooting preparation, and all the buffered thinned image data is recorded in the
しかし、バッファリングの範囲や記録の範囲の決め方はこれらに限らず、次のように設定しても良い。第1の例は、バッファリングは間引きデータ取り込み開始から撮影準備完了まで行い、メモリカード19への記録は、レリーズスイッチオンのタイミングの1コマ、または、レリーズスイッチオンの前後複数コマを記録する。第2の例は、FIFO(First In First Out)方式により常に最新の複数コマ(例:5コマ)のみをバッファリングし、レリーズスイッチがオンされたならば、そのときにバッファリングされている最新の複数コマ、または、前記最新の複数コマに加えてレリーズスイッチオン後の複数コマも記録する。
However, the method of determining the buffering range and the recording range is not limited to these, and may be set as follows. In the first example, buffering is performed from the start of fetching of thinned data to the completion of shooting preparation, and recording to the
また、図4に示した例のように、レリーズスイッチオンのタイミングで記録範囲を区切るのではなく、そのときの画像の安定状態も加味して、安定状態を示すパラメータが所定範囲内となって安定状態となるまでを記録範囲としても良い。この場合の画像の安定状態として考えられるものとして、撮影構図の安定が考えられる。安定の判定に用いるパラメータとして、例えば、AE関係では、画面を複数に分割した各エリアの輝度値(Yデータ)や各エリアの色合い(Cb,Crデータ)の変化がある。また、ジャイロセンサ13の検出値に基づく像のブレ量を用いて安定を判定しても良い。
Further, as in the example shown in FIG. 4, the recording range is not divided at the release switch-on timing, and the stable state parameter is within the predetermined range in consideration of the stable state of the image at that time. The recording range may be set until a stable state is reached. As what can be considered as a stable state of the image in this case, the photographing composition can be stable. As parameters used for determination of stability, for example, in the AE relationship, there are changes in the luminance value (Y data) of each area obtained by dividing the screen into a plurality of colors and the hue (Cb, Cr data) of each area. Alternatively, stability may be determined using an image blur amount based on the detection value of the
例えば、分割したエリアの輝度値を用いる場合、連続する2つの間引き画像データに関して、注目するエリア内の輝度値を比較する。撮像対象である被写体が動いたり、撮影時にカメラにブレが生じたりして撮影構図が変化した場合、連続する2つの間引き画像データ間において、エリア内の輝度値に差が生じることがある。その輝度値の差ΔYはエリアによっても異なるが、最も大きな差ΔYが予め定めた基準値以下となったならば安定と判定する。すなわち、DRAM22へのバッファリング開始時から、レリーズスイッチオン後の差ΔYが基準値以下となるまでの期間においてDRAM22に保存された間引き画像データを、メモリカード19に記録する。
For example, when the luminance values of the divided areas are used, the luminance values in the area of interest are compared with respect to two consecutive thinned image data. When the photographic composition changes due to movement of a subject to be imaged or camera shake at the time of shooting, there may be a difference in luminance value in the area between two consecutive thinned image data. The luminance value difference ΔY varies depending on the area, but if the largest difference ΔY is equal to or less than a predetermined reference value, the luminance value is determined to be stable. That is, the thinned image data stored in the
バッファリングされていた間引き画像データをメモリカード19へ記録する場合の記録形態としては、静止画データとして1コマずつ記録し、記録された静止画データの必要なコマ(全体または所定範囲のコマ)をメモリカード19に記録する形態がある。また、間引き画像データを動画データとしてバッファリングし、その動画データ全体をメモリカード19に記録したり、所定コマ範囲のデータを静止画データとして切り出してメモリカード19に記録したりしても良い。
When recording the buffered thinned-out image data to the
なお、MPEG形式の動画データとしてメモリカード19に記録する場合、上述した安定判定は、MPEGの動きベクトルの大きさに基づいて行う。すなわち、動画データの連続した2つのコマ(フレーム)の間引き画像データについて、コマ間の動きベクトルの大きさを安定判定に用いる。この場合、被写体の動きによる動きベクトルではなく、カメラのブレ等による画面全体の動きを判定するので、例えば、画面全体を複数のエリアに分割し、動きベクトルの大きさが小さいエリアについて考える。そのエリアの動きベクトルの大きさが所定の基準値以下となったならば、画面全体の画像の動き(ブレ)が安定したと判定する。
When recording the moving image data in the MPEG format on the
なお、上述した実施の形態では静止画撮影を例に説明したが、動画撮影に関しても同様に適用することができる。すなわち、撮影準備完了前の時点から動画データのバッファリングを行い、撮影準備完了前にユーザが動画撮影を開始するための撮影スイッチ(上述したレリーズスイッチに相当)をオンとした場合には、バッファリングされていた動画データもメモリカード19等の不揮発性記録媒体に記録をする。
In the embodiment described above, still image shooting has been described as an example, but the present invention can be similarly applied to moving image shooting. That is, when the moving image data is buffered from the time before completion of shooting preparation, and the user turns on a shooting switch (corresponding to the release switch described above) for starting moving image shooting before completion of shooting preparation, The ringed moving image data is also recorded on a non-volatile recording medium such as the
以上説明したように、本実施の形態による撮像装置では、電源16による電力供給開始後における撮像素子7の画像データ出力開始から、合焦動作および露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、間引き画像データの出力を許可するとともに全画素画像データの出力を禁止し、撮影準備動作の完了後は全画素画像データの出力の禁止を解除して許可するように、撮像素子7を制御し、間引き画像データの出力開始から撮影準備動作が完了するまでの期間において、撮像素子7から出力される間引き画像データをDRAM22にバッファリングし、バッファリングされたデータをメモリカード19に記録する用にしたので、画像データ出力開始から撮影準備完了までにレリーズボタン14が操作されても、従来のように、撮影シーンを逃すことがない。
なお、撮像素子7から出力される間引き画像データをDRAM22にバッファリングすることなしに、メモリカード19に記録するようにしても良い。
さらには、撮像素子7による画像データ出力開始から、レリーズ操作部の操作時以降の連続する2つの間引き画像データ間の相関値が所定値以内となるまでの間引き画像データや、ジャイロセンサ13の検出値に基づくブレ量が所定範囲内となるまでの間引き画像データを、メモリカード19に記録することにより、より安定した画像を記録することができる。
また、メモリカード19へ間引き画像データの記録を行う設定と、記録を行わない設定とを記録設定ボタン23の操作により切り替えられるようにすることで、記録が必要ないときに間引き画像データがメモリカード19に記録されてしまうのを防止できる。
さらにまた、レリーズ操作したときに、全画素画像データではなく間引き画像データがメモリカード19に記録された場合に、警告を表示パネル17に表示してそのことをユーザに報知することで、ユーザはメモリカード19に全画素画像データではなく間引き画像データが記録されたことを容易に認識することができる。
As described above, in the imaging apparatus according to the present embodiment, the imaging preparation operation including at least one of the focusing operation and the exposure adjustment operation is completed from the start of image data output of the
The thinned image data output from the
Furthermore, after the start of image data output by the
In addition, by switching the setting for recording the thinned image data to the
Furthermore, when thinned-out image data is recorded in the
なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。 In addition, the above description is an example to the last, and this invention is not limited to the said embodiment at all unless the characteristic of this invention is impaired.
1:主制御部、2:撮影光学系、3:レンズ駆動部、4:ブレ補正駆動部、5:絞り、6:絞り駆動部、7:撮像素子、8:ドライバ、9:AFE(Analog Front End)、10:タイミングジェネレータ、11:メモリカードドライブ装置、12:画像処理回路、13:ジャイロセンサ、14:レリーズボタン、15:電源ボタン、16:電源、17:表示パネル、18:表示パネル駆動回路、19:メモリカード、20:内蔵メモリ、21:VRAM、22:DRAM、23:記録設定ボタン 1: main control unit, 2: photographing optical system, 3: lens driving unit, 4: blur correction driving unit, 5: aperture, 6: aperture driving unit, 7: image sensor, 8: driver, 9: AFE (Analog Front End), 10: Timing generator, 11: Memory card drive device, 12: Image processing circuit, 13: Gyro sensor, 14: Release button, 15: Power button, 16: Power supply, 17: Display panel, 18: Display panel drive Circuit: 19: Memory card, 20: Built-in memory, 21: VRAM, 22: DRAM, 23: Record setting button
Claims (5)
前記間引き画像データに基づいて前記光学系の合焦動作を行う焦点調節手段と、
前記間引き画像データに基づいて露出調整動作を行う露出調整手段と、
前記撮像素子と前記焦点調節手段と前記露出調整手段に電力を供給する電力供給手段と、
ユーザによる操作に応じて、前記電力供給手段に電力の供給開始を指示する電力供給操作部と、
前記電力供給手段による電力供給開始後における前記撮像素子の画像データ出力開始から、前記合焦動作および前記露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、前記間引き画像データの出力を許可するとともに前記全画素画像データの出力を禁止し、前記撮影準備動作の完了後は前記全画素画像データの出力の禁止を解除して許可するように、前記撮像素子を制御する撮像制御手段と、
前記間引き画像データの出力開始から前記撮影準備動作が完了するまでの期間において、前記撮像素子から出力される前記間引き画像データを、不揮発性画像データ記憶媒体に記録するために一時的に保存する揮発性記憶手段と、
ユーザの操作に応じて、前記全画素画像データを取得するための撮影指示を行うレリーズ操作部と、
前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から前記レリーズ操作部の操作時までの期間に前記揮発性記憶手段に保存された前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録する記録手段と、を備えたことを特徴とする撮像装置。 An image sensor that captures an image formed by an optical system and can selectively output either all pixel image data based on signals of all pixels or thinned image data based on signals of predetermined pixels among all pixels When,
A focus adjusting means for performing a focusing operation of the optical system based on the thinned image data;
Exposure adjustment means for performing an exposure adjustment operation based on the thinned image data;
Power supply means for supplying power to the image sensor, the focus adjustment means, and the exposure adjustment means;
A power supply operation unit that instructs the power supply means to start supplying power in response to an operation by a user;
From the start of image data output of the image sensor after the start of power supply by the power supply means, until the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation is completed, the thinned image data is output. Imaging control means for controlling the imaging element to permit and prohibit the output of the all-pixel image data, and to cancel and permit the output of the all-pixel image data after the completion of the shooting preparation operation; ,
During the period from the start of output of the thinned image data to the completion of the shooting preparation operation, the thinned image data output from the image sensor is temporarily stored for recording in a nonvolatile image data storage medium. Sex memory means;
A release operation unit that issues a shooting instruction to acquire the all-pixel image data in accordance with a user operation;
If the release operation unit is operated before the shooting preparation operation is completed, the thinning stored in the volatile storage unit during a period from the start of image data output to the operation of the release operation unit is performed. An image pickup apparatus comprising: a recording unit that records image data in the nonvolatile image data storage medium .
前記撮像素子により撮像される像のブレ量を検出するブレ量検出手段と、
前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から、前記ブレ量検出手段で検出される前記ブレ量が所定範囲内となるまでの期間において前記揮発性記憶手段が記憶した前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録することを特徴とする撮像装置。 The imaging device according to claim 1 ,
A blur amount detecting means for detecting a blur amount of an image captured by the image sensor;
When the release operation unit is operated before the photographing preparation operation is completed, the recording unit detects that the amount of blur detected by the blur amount detecting unit is within a predetermined range from the start of image data output. An image pickup apparatus, wherein the thinned image data stored in the volatile storage unit is recorded in the non-volatile image data storage medium during a period up to.
前記不揮発性記憶媒体への前記間引き画像データの記録を行う記録モードと、前記不揮発性記憶媒体への前記間引き画像データの記録を行わない非記録モードとを選択する選択手段を備えたことを特徴とする撮像装置。 The imaging device according to claim 1 or 2 ,
And a selection unit that selects a recording mode in which the thinned image data is recorded in the nonvolatile storage medium and a non-recording mode in which the thinned image data is not recorded in the nonvolatile storage medium. An imaging device.
前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合には、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録し、前記撮影準備動作が完了後に前記レリーズ操作部の操作が行われた場合には、前記間引き画像データを前記不揮発性記憶媒体に記録することなく前記全画素画像データを前記不揮発性記憶媒体に記録することを特徴とする撮像装置。 The imaging device according to claim 1 ,
When the release operation unit is operated before the photographing preparation operation is completed, the recording unit stores the thinned image data without recording the all-pixel image data on the nonvolatile storage medium. When the release operation unit is operated after recording to the nonvolatile storage medium and the photographing preparation operation is completed, the all-pixel image data is recorded without recording the thinned image data on the nonvolatile storage medium. An image pickup apparatus that records in the nonvolatile storage medium.
前記記録手段が、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録したことをユーザに報知する報知手段を更に備えたことを特徴とする撮像装置。
The imaging apparatus according to claim 4 ,
The recording means further comprises notification means for notifying a user that the thinned-out image data has been recorded in the nonvolatile storage medium without recording the all-pixel image data in the nonvolatile storage medium. An imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008032058A JP5115230B2 (en) | 2008-02-13 | 2008-02-13 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008032058A JP5115230B2 (en) | 2008-02-13 | 2008-02-13 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009194548A JP2009194548A (en) | 2009-08-27 |
JP5115230B2 true JP5115230B2 (en) | 2013-01-09 |
Family
ID=41076194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032058A Expired - Fee Related JP5115230B2 (en) | 2008-02-13 | 2008-02-13 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5115230B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221148A (en) * | 2010-04-06 | 2011-11-04 | Hoya Corp | Camera |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027326A (en) * | 2000-07-05 | 2002-01-25 | Minolta Co Ltd | Digital camera |
JP4445662B2 (en) * | 2000-11-17 | 2010-04-07 | オリンパス株式会社 | Electronic camera |
JP3664123B2 (en) * | 2001-10-03 | 2005-06-22 | ソニー株式会社 | Imaging apparatus and image quality correction method |
JP3822486B2 (en) * | 2001-11-22 | 2006-09-20 | 富士写真フイルム株式会社 | Electronic camera and signal processing method |
JP2006140892A (en) * | 2004-11-15 | 2006-06-01 | Konica Minolta Photo Imaging Inc | Electronic still camera |
JP4867310B2 (en) * | 2004-11-25 | 2012-02-01 | カシオ計算機株式会社 | CAMERA, RECORDED IMAGE RECORDING / DISPLAY METHOD, AND PROGRAM |
JP4797522B2 (en) * | 2005-09-08 | 2011-10-19 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
-
2008
- 2008-02-13 JP JP2008032058A patent/JP5115230B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009194548A (en) | 2009-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4919160B2 (en) | Imaging apparatus and program thereof | |
JP5131257B2 (en) | Display control apparatus and display control program | |
JP5144481B2 (en) | Imaging apparatus and imaging method | |
JP5931464B2 (en) | Imaging device | |
US20110109771A1 (en) | Image capturing appratus and image capturing method | |
JP2001203930A (en) | Image pickup device | |
TWI492618B (en) | Image pickup device and computer readable recording medium | |
JP2008131580A (en) | Imaging apparatus, and image processing method | |
JP2010093679A (en) | Imaging apparatus, and imaging control method | |
WO2008023765A1 (en) | Digital camera | |
JP6758950B2 (en) | Imaging device, its control method and program | |
JP4865648B2 (en) | Imaging device | |
JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
JP2006253887A (en) | Imaging apparatus | |
JP5115230B2 (en) | Imaging device | |
JP2011130031A (en) | Imaging apparatus, and control method for the same | |
JP4522232B2 (en) | Imaging device | |
JP2006262221A (en) | Imaging apparatus and image processing method | |
JP6521034B2 (en) | Imaging device | |
US20130194456A1 (en) | Imaging device | |
JP2008283477A (en) | Image processor, and image processing method | |
JP2007316471A (en) | Imaging apparatus and program therefore | |
US11736658B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
JP2012239078A (en) | Photographing device | |
JP5644180B2 (en) | Imaging apparatus, imaging method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5115230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |