JP4692654B2 - Imaging apparatus and image processing program - Google Patents
Imaging apparatus and image processing program Download PDFInfo
- Publication number
- JP4692654B2 JP4692654B2 JP2009038108A JP2009038108A JP4692654B2 JP 4692654 B2 JP4692654 B2 JP 4692654B2 JP 2009038108 A JP2009038108 A JP 2009038108A JP 2009038108 A JP2009038108 A JP 2009038108A JP 4692654 B2 JP4692654 B2 JP 4692654B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light receiving
- light
- optical system
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置、画像処理プログラムに関する。 The present invention relates to an imaging apparatus and an image processing program.
1回の撮影で得られたデータから撮影後に任意の距離の被写体にピントの合った像面の画像を合成する画像合成技術が本願出願人によって出願されている(特許文献1参照)。 The applicant of the present application has applied for an image composition technique for compositing an image of an image plane in focus on a subject at an arbitrary distance after photographing from data obtained by one photographing (see Patent Document 1).
上記技術を撮像装置として具体的にどのように適用するかについては提案されていなかった。 It has not been proposed how to specifically apply the above technique as an imaging apparatus.
本発明による撮像装置は、複数のマイクロレンズを配列したマイクロレンズアレイと、複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束をマイクロレンズアレイを介して受光して複数の受光信号を出力する受光素子アレイと、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうちの前記複数の受光素子の略中央に対応する受光素子による第1受光信号に基づいて第1画像を生成する画像生成手段と、第1画像から特定の対象の像を選択する選択手段と、第1画像のうちの特定の対象の像の位置に対して、受光信号を得た際の光学系による像面のずれ量を検出するずれ量検出手段と、複数のマイクロレンズのそれぞれに対応して出力される複数の受光信号のうち、検出されたずれ量に基づいて選択した第2受光信号に基づいて第2画像を合成する画像合成手段と、を備えることを特徴とする。 An imaging apparatus according to the present invention has a microlens array in which a plurality of microlenses are arranged, and a plurality of light receiving elements for the plurality of microlenses, and receives a plurality of light beams from the optical system via the microlens array. A first light receiving signal by a light receiving element corresponding to substantially the center of the plurality of light receiving elements among a plurality of light receiving signals output corresponding to each of the plurality of microlenses. An image generation unit that generates a first image based on the image generation unit, a selection unit that selects a specific target image from the first image, and a light reception signal for the position of the specific target image in the first image. A deviation amount detecting means for detecting the amount of deviation of the image plane by the optical system and a plurality of received light signals output corresponding to each of the plurality of microlenses are selected based on the detected deviation amount. Characterized in that it comprises an image synthesizing means for synthesizing the second image based on the second light receiving signal, the.
本発明によれば、1回の撮像データに基づいて所望の被写体に対してピントが合った画像を容易に得ることができる。 According to the present invention, it is possible to easily obtain an image in which a desired subject is focused based on one imaging data.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラの要部構成を示すブロック図である。一眼レフタイプのデジタルカメラは、デジタルカメラボディにレンズ鏡筒が交換可能に装着されている。レンズ鏡筒には、撮影光学系1aと、絞り1bと、レンズ駆動用モータ14とが設けられている。撮影光学系1aは、被写体像を結像面に結像させるための光学系であり、焦点調節レンズを含む複数のレンズによって構成される。焦点調節レンズは、レンズ駆動用モータ14の動作により光軸方向に進退移動する。絞り1bは、撮影光学系1aを通過する光束を制限する。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a main configuration of a digital camera according to an embodiment of the present invention. In a single-lens reflex digital camera, a lens barrel is replaceably attached to the digital camera body. The lens barrel is provided with a photographing
デジタルカメラボディの内部には、ハーフミラー2と、ファインダースクリーン3と、ペンタプリズム4と、接眼レンズ5と、マイクロレンズアレイ7および受光素子を有する撮像素子6と、センサ制御部8と、被写体認識部9と、焦点検出領域設定部10と、焦点検出演算部11と、レンズ駆動量演算部12と、レンズ駆動制御部13と、測光用レンズ15と、測光センサ16と、画像生成部17と、制御装置18と、バッファメモリ18Mとが設けられている。
Inside the digital camera body are a
また、デジタルカメラボディの背面には表示部19が設けられている。なお、センサ制御部8、被写体認識部9、焦点検出領域設定部10、焦点検出演算部11、レンズ駆動量演算部12、レンズ駆動制御部13、バッファメモリ18Mおよび画像生成部17は、制御装置18の機能により実現される。
A
撮像素子6は、マイクロレンズアレイ7を介して撮影光学系1aからの光束を受光する複数の受光素子(光電変換素子)を有する受光素子アレイであり、たとえばCCDイメージセンサやCMOSイメージセンサ等で構成される。撮像素子6の撮像面にはさらに、赤(R)、緑(G)および青(B)のいずれかの光を通過させるカラーフィルタ(不図示)が所定の配列パターンで設けられている。撮像素子6は、撮影光学系1aおよび絞り1bを通過した光束を上記マイクロレンズアレイ7およびカラーフィルタを介して各受光素子において受光することで、撮影光学系1aによって結像される被写体像を撮像して得られた受光信号を光束の色情報や輝度情報として出力する。
The
撮像素子6から出力された受光信号は、制御装置18によって画像データに変換される。これにより、デジタルカメラにおいて撮像画像が取得される。なお、撮像素子6の撮像面には、赤外光を遮断するための赤外カットフィルタや、画像の折り返しノイズを防止するための光学ローパスフィルタなども設けられている(不図示)。
The light reception signal output from the
マイクロレンズアレイ7は、複数のマイクロレンズを二次元状に配列して構成され、撮影光学系1aによる像がマイクロレンズアレイ7上に結像する。また、撮影光学系1aを通過した光束は、各マイクロレンズを介して受光素子に入射される。なお、受光素子は、マイクロレンズに関して撮影光学系1aの瞳とほぼ共役になっている。
The
図2は、撮像素子6の撮像面を見た図である。図2に示すように、撮像素子6の有効画素範囲に対して、マイクロレンズアレイ7の複数のマイクロレンズ71が二次元状に配列されている。図3は、図2の一部分を拡大した図である。図3に示すように、1つのマイクロレンズ71に対して複数の受光素子61が設けられている。1つのマイクロレンズ71に対応する複数の受光素子61により、撮像素子6において1つの画素領域が構成される。このような構成により、撮像素子6は、撮影光学系1aからの光束をマイクロレンズ71を介して受光して、各受光素子61に対応する複数の受光信号を出力する。
FIG. 2 is a view of the imaging surface of the
本実施形態では、撮像素子6による受光信号に基づいて、撮像画像情報を取得すると共に、後述するデフォーカス量の演算を行う。なお、図3においては各マイクロレンズ71に対して縦5個×横5個の合計25個の受光素子61を有する例を示しているが、1つのマイクロレンズ当たりの受光素子61の数はこれに限定されることはない。
In the present embodiment, the captured image information is acquired based on the light reception signal from the
図1の撮影光学系1aと撮像素子6との間には、撮影光学系1aを通過した被写体からの入射光束を、ファインダー光学系側と撮像素子6側とに分岐するハーフミラー2が配設されている。被写体光束の一部はハーフミラー2を透過して撮像素子6へ導かれ、ハーフミラー2を透過しなかった被写体光束はハーフミラー2によって上方へ反射される。
A
ハーフミラー2で反射された被写体光束は、撮像素子6と光学的に等価な位置に設けられたファインダースクリーン3上に被写体像を結像する。ファインダースクリーン3上に結像された被写体像は、ペンタプリズム4および接眼レンズ5を介して撮影者の目へ導かれ、撮影者によって視認される。
The subject light flux reflected by the
ファインダースクリーン3上に結像された被写体像はさらに、ペンタプリズム4および測光用レンズ15を介して測光センサ16へ導かれる。測光センサ16は、赤(R)、緑(G)および青(B)のいずれかの光を通過させるカラーフィルタを介して受光する複数の受光素子を有する。測光センサ16は、各受光素子で得られた受光信号を被写体像の色情報や輝度情報として制御装置18へ出力する。制御装置18は、測光センサ16からの受光信号に基づいて、結像面の明るさを検出する。
The subject image formed on the finder screen 3 is further guided to the
上述したように本実施形態のデジタルカメラでは、撮像素子6において1つの画素領域を構成する縦5個、横5個の合計25個の受光素子61(図3参照)にそれぞれ対応する色情報や輝度情報を、1画素領域分の撮像画像情報として扱う。すなわち、本実施形態のデジタルカメラにより取得される撮像画像情報は、1画素領域当たりその画素領域の複数倍の受光情報を有している。この撮像画像情報に基づいて後述するような画像合成処理が行われることにより、任意の位置(マイクロレンズアレイ7からの距離)の像面にピントの合った画像を合成することができる。
As described above, in the digital camera of the present embodiment, the color information corresponding to the total of 25 light receiving elements 61 (see FIG. 3) of 5 vertical and 5 horizontal constituting one pixel area in the
センサ制御部8は、デジタルカメラの動作状況に応じて撮像素子6のゲイン量や蓄積時間を制御し、撮像素子6の各受光素子から出力される受光信号を読み出す。センサ制御部8によって読み出された受光信号は、アナログデジタル変換処理によりデジタル信号に変換される。デジタル変換後の受光信号は、バッファメモリ18Mに一時的に格納される。バッファメモリ18M内の受光信号は、被写体認識部9および焦点検出演算部11へ出力されて後述するデフォーカス量検出に用いられる他、画像生成部17へ出力されて所定の画像処理が施される。
The
被写体認識部9は、バッファメモリ18M内のデジタル変換後の受光信号に基づいて、撮影光学系1aによる像のうちの特定の像を被写体として認識し、認識した被写体の位置(画面内の位置)、数、大きさ(像を構成する画素数)などを特定する。さらに、認識した被写体の中からいずれかを主要被写体として特定する。被写体認識部9は、後述するパンフォーカス画像について被写体認識を行う。被写体の認識には、予め登録されたテンプレート画像との類似度を算出し、類似度が所定値以上である画像領域を被写体の位置として検出するテンプレートマッチング等の手法を用いることができる。
The
焦点検出領域設定部10は、被写体認識部9による被写体の認識結果に基づいて、焦点検出演算部11によるデフォーカス量の検出対象とする焦点検出領域(焦点検出位置)を像面内に設定する。この焦点検出領域は、像面内の任意の位置に、任意の大きさで、任意の数だけ設定することができる。焦点検出領域設定部10による焦点検出領域の具体的な設定方法については、後で説明する。
The focus detection
焦点検出演算部11は、バッファメモリ18M内の受光信号のうち、焦点検出領域設定部10により設定された焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて、撮影光学系1aの焦点調節状態を示すデフォーカス量を検出する。このデフォーカス量の検出は、周知の瞳分割型位相差検出方式により、以下に説明するようにして行われる。
The focus
焦点検出演算部11によるデフォーカス量の検出方法を図4、5を参照して説明する。図4は、焦点検出領域設定部10により設定された焦点検出領域に対応する画素を拡大した図である。像ずれ検出方向である焦点検出領域の長手方向の長さは、適宜決定する。図4は、破線で囲んだ2列の画素列を焦点検出領域に対応する画素として選択した例を示すが、図5に示すように1列の画素列を焦点検出領域に対応する画素として選択してもよい。あるいは、3列以上の画素列を焦点検出領域に対応する画素として選択してもよい。焦点検出演算部11は、焦点検出領域内のマイクロレンズに対応する複数の受光素子からの受光信号に基づいて、撮影光学系1aの異なる瞳領域を通過した対の光束による像のずれ量を示す焦点検出信号、すなわち対の焦点検出用信号列を生成する。
A method of detecting the defocus amount by the focus
図4および図5において、焦点検出演算部11は、マイクロレンズ下の黒く示した受光素子の出力を、焦点検出用の一対の信号列である第1信号列{a(i)}と第2信号列{b(i)}(i=1,2,3,…)として、次式(1)のように抽出する。
第1信号列{a(i)}=a(1)、a(2)、a(3)、…、
第2信号列{b(i)}=b(1)、b(2)、b(3)、… …(1)
なお、図4に示す例では、{a(i)}および{b(i)}についてそれぞれ各マイクロレンズ下の3個の受光素子出力を加算するとともに、2列の焦点検出画素列の上下2つの画素出力を加算して信号列を生成する。また、斜め45度方向に焦点検出領域を設定する場合には、図5に示すように焦点検出用画素を決定して信号列を生成する。
4 and 5, the focus
First signal sequence {a (i)} = a (1), a (2), a (3),.
Second signal sequence {b (i)} = b (1), b (2), b (3), ... (1)
In the example shown in FIG. 4, the outputs of the three light receiving elements under each microlens are added for {a (i)} and {b (i)}, respectively, and the top and
焦点検出演算部11は、第1信号列{a(i)}と第2信号列{b(i)}を用いて像ずれ演算を行い、以下のようにデフォーカス量を算出する。まず、第1信号列{a(i)}と第2信号列{b(i)}から一対の像(信号列)の相関量C(N)を次式により求める。
C(N)=Σ|a(i)−b(j)| …(2)
ただし、上式(2)においてj−i=N(シフト数)であり、Σは上底がqLで下底がpLの総和演算を表す。
The focus
C (N) = Σ | a (i) −b (j) | (2)
However, in the above equation (2), j−i = N (the number of shifts), and Σ represents a summation operation where the upper base is qL and the lower base is pL.
上式(2)により得られた離散的な相関量C(N)からシフト量を求める。C(N)の中でシフト量Nのときに極小値を与える相関量をCoとし、シフト量(N−1)における相関量をCr、シフト量(N+1)における相関量をCfとする。これらの3個の相関量Cr、Co、Cfの並びから精密なシフト量Naを次式(3)により求める。
DL=0.5×(Cr−Cf)、
E=max{Cf−Co、Cr−Co}、
Na=N+DL/E …(3)
これに焦点検出面の位置に応じた補正量(定数const)を加え、焦点検出面上での像ずれ量Δnを算出する。
Δn=Na+const …(4)
The shift amount is obtained from the discrete correlation amount C (N) obtained by the above equation (2). Let C be the correlation amount that gives the minimum value when the shift amount is N in C (N), Cr be the correlation amount at the shift amount (N−1), and Cf be the correlation amount at the shift amount (N + 1). A precise shift amount Na is obtained from the arrangement of these three correlation amounts Cr, Co and Cf by the following equation (3).
DL = 0.5 × (Cr−Cf),
E = max {Cf-Co, Cr-Co},
Na = N + DL / E (3)
A correction amount (constant const) corresponding to the position of the focus detection surface is added to this to calculate an image shift amount Δn on the focus detection surface.
Δn = Na + const (4)
次に焦点検出演算部11は、検出開角に依存する定数Kfを用いて次式(5)により像ずれ量Δnからデフォーカス量Dfを算出する。
Df=Kf×Δn …(5)
こうしてデフォーカス量Dfを算出することにより、焦点検出演算部11によるデフォーカス量の検出が行われる。
Next, the focus
Df = Kf × Δn (5)
By calculating the defocus amount Df in this manner, the focus
レンズ駆動量演算部12は、デフォーカス演算部10によって算出されたデフォーカス量Dfに基づいて、撮影光学系1aが有する焦点調節レンズの駆動量を演算する。ここでは、焦点調節レンズの駆動位置の目標となるレンズ目標位置を演算することにより、レンズ駆動量の演算を行う。なお、レンズ目標位置は、当該デフォーカス量が0となる焦点調節レンズの位置に相当する。
The lens driving
レンズ駆動制御部13は、レンズ駆動量演算部12によって演算されたレンズ駆動量、すなわち焦点調節レンズに対するレンズ目標位置に基づいて、レンズ駆動用モータ14へ駆動制御信号を出力する。この駆動制御信号に応じてレンズ駆動用モータ14が焦点調節レンズを駆動してレンズ目標位置へ移動させることにより、撮影光学系1aの焦点調節が行われる。
The lens
画像生成部17は、撮像素子6により取得されバッファメモリ18M内に格納されている受光信号に基づいて、(A)パンフォーカス画像の生成、および(B)任意の位置の像面にピントの合った撮像画像を合成する。画像生成部17によって合成された撮像画像は表示部19に再生表示される他、合成後の撮像画像情報として記録媒体に記録される。表示部19は、液晶ディスプレイ等の表示装置によって構成されており、制御装置18が行う表示制御に応じて、上記の合成撮像画像を含む様々な画像や映像を表示する。
The image generation unit 17 (A) generates a pan-focus image and (B) focuses on an image plane at an arbitrary position based on the received light signal acquired by the
(A)パンフォーカス画像の生成
画像生成部17によるパンフォーカス画像の生成について説明する。画像生成部17は、バッファメモリ18M内に格納されている受光信号のうち、図3に例示した各画素領域の中央に位置する受光素子の受光信号(たとえば、マイクロレンズ71下の受光素子61の中央に位置する受光素子からの信号)のみを抽出することにより、絞り最小に対応する撮像画像を擬似的に生成する。この生成画像は、画面内のほぼ全被写体にピントが合うパンフォーカス画像である。なお、受光信号の抽出対象とする範囲(各画素の中央を中心とする円の面積)を拡げて抽出する受光信号の数を増やすほど、絞り口径が大きい場合に対応する撮像画像が生成される。
(A) Generation of Pan Focus Image The generation of a pan focus image by the
(B)任意の像面にピントの合った撮像画像を合成
画像生成部17による撮像画像の合成方法を図6を参照して説明する。図6(a)は、撮影光学系1aによる結像面からの距離がhである像面paにピントが合った撮像画像を合成する方法を説明する図である。図6(a)において、像面paにおける符号20に示す位置に対応する撮影光学系1aからの入射光束21〜25は、マイクロレンズアレイ7(マイクロレンズ71)を通過した後、画素61a〜61eの受光素子a1,b2,c3,d4,e5においてそれぞれ受光される。したがって、バッファメモリ18M内に格納されている受光信号のうち、受光素子a1,b2,c3,d4およびe5の受光信号を選択し、それらの受光信号を合成することで、像面paにおける位置20に対応する画素61cの画像信号を生成することができる。像面pa上の他の位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面paにピントが合った撮像画像を合成することができる。
(B) Synthesis of Captured Image Focused on Arbitrary Image Surface A method of synthesizing captured images by the
図6(b)は、撮影光学系1aによる結像面からの距離が0である像面pbにピントが合った撮像画像、すなわち撮影光学系1aによる結像面の撮像画像を合成する方法を説明する図である。図6(b)において、像面pbにおける符号30に示す位置に対応する撮影光学系1aからの入射光束31〜35は、マイクロレンズアレイ7(マイクロレンズ71)を通過した後、画素61cの受光素子c1,c2,c3,c4,c5においてそれぞれ受光される。したがって、バッファメモリ18M内に格納されている受光信号のうち、受光素子c1,c2,c3,c4およびc5の受光信号を選択し、それらの受光信号を合成することで、像面pbにおける位置30に対応する画素61cの画像信号を生成することができる。像面pb上の他の位置についても同様にして受光信号を合成し、対応する画素の画像信号を生成することで、像面pbにピントが合った撮像画像を合成することができる。
FIG. 6B shows a method of synthesizing the captured image focused on the image plane pb whose distance from the imaging plane by the imaging
以上説明したように、撮影光学系1aによる結像面から任意の像面までの距離に応じて受光信号を適宜選択して合成して各画素の画像信号を得ることで、任意の像面にピントの合った撮像画像が合成される。
As described above, the light reception signals are appropriately selected and synthesized according to the distance from the imaging plane to the arbitrary image plane by the photographing
さらに、受光信号の選択対象とする受光素子の数を変更することで、同じ像面において絞り口径が異なる複数種類の撮像画像を合成することもできる。たとえば図6(a)、(b)の例において、各画素領域の中心にある1つの受光素子(画素領域61cでは、受光素子c3)の受光信号のみを選択すれば、上述したパンフォーカス画像のように絞り最小に対応する撮像画像を合成することができる。
Furthermore, by changing the number of light receiving elements to be selected as light receiving signals, it is possible to synthesize a plurality of types of captured images having different aperture diameters on the same image plane. For example, in the example of FIGS. 6A and 6B, if only the light reception signal of one light receiving element (in the
そして、受光信号の選択対象とする範囲(各画素領域の中央を中心とする円の面積)を拡げて選択する受光信号の数を増やすほど、絞り口径が大きい場合に対応する撮像画像が合成される。 Then, as the number of light reception signals to be selected is increased by expanding the range to be selected for the light reception signal (the area of a circle centered on the center of each pixel region), a captured image corresponding to a case where the aperture diameter is large is synthesized. The
なお、上記結像面から任意の像面までの距離は、上述した焦点検出演算部11が検出するデフォーカス量に対応している。すなわち、焦点検出演算部11によって検出されるデフォーカス量は、撮像素子6からの受光信号をセンサ制御部8が得た際の撮影光学系1aによる結像面、およびマイクロレンズアレイ7間の距離を表している。
Note that the distance from the imaging plane to an arbitrary image plane corresponds to the defocus amount detected by the focus
上述した図6(a),(b)では、画像合成対象とする像面が結像面よりも前側(撮影光学系1aに近い位置)にある場合の撮像画像の合成方法を説明したが、画像合成対象とする像面を結像面よりも後側(撮影光学系1aから遠い位置)とした場合にも、同様にして撮像画像を合成することができる。
In FIGS. 6A and 6B described above, the method for synthesizing the captured image in the case where the image plane to be synthesized is on the front side (position close to the photographing
制御装置18は、マイコンやメモリ等によって構成されており、上記のセンサ制御部8、被写体認識部9、焦点検出領域設定部10、焦点検出演算部11、レンズ駆動量演算部12、レンズ駆動制御部13、バッファメモリ18Mおよび画像生成部17の各機能を実現するための処理を実行したり、デジタルカメラの動作制御を行ったりする。また、これらの処理や制御において必要な情報を一時的に記憶する。
The
本実施形態のデジタルカメラにおいて制御装置18により実行される処理の流れについて、図7のフローチャートを参照して説明する。制御装置18は、たとえば、デジタルカメラに設けられた不図示のレリーズボタンが撮影者によって半押し操作された場合に図7による処理を開始する。
The flow of processing executed by the
図7のステップS11において、制御装置18は初期設定を行ってステップS12へ進む。初期設定には、不図示の絞り駆動機構へ絞り1bを開放させる指示の送出、およびレンズ駆動制御部13へ焦点調節レンズを所定位置(たとえば、撮影距離1mの被写体にピントが合うレンズ位置)へ駆動させる指示の送出を含む。
In step S11 of FIG. 7, the
ステップS12において、制御装置18は、撮影条件を設定してステップS13へ進む。具体的には、測光センサ16から出力される測光信号に基づいて検出した結像面の明るさや、予め設定されている撮影モード(たとえば、プログラムオート、シャッター秒時優先オートなど)に基づいて、ISO感度、制御シャッター秒時および制御絞り値を求める。
In step S12, the
ステップS13において、制御装置18は撮影指示が行われたか否かを判定する。制御装置18は、レリーズボタン(不図示)が撮影者によって全押し操作された場合にステップS13を肯定判定してステップS14へ進む。制御装置18は、レリーズボタンが全押し操作されない場合にはステップS13を否定判定し、ステップS23へ進む。
In step S13, the
ステップS23において、制御装置18はタイムアップか否かを判定する。制御装置18は、半押し起動後に何も操作されない状態における計時時間が所定時間(たとえば10秒)に達した場合にステップS23を肯定判定し、図7による処理を終了する。制御装置18は、計時時間が所定時間に満たない場合にはステップS23を否定判定し、ステップS12へ戻って上述した処理を繰り返す。
In step S23, the
ステップS14において、制御装置18は撮像素子6に画像信号を取得させてステップS15へ進む。これにより、センサ制御部8によって撮像素子6から読み出された受光信号がデジタル信号に変換され、バッファメモリ18Mに一時格納される。
In step S14, the
ステップS15において、制御装置18は画像生成部17にパンフォーカス画像を生成させてステップS16へ進む。これにより、生成されたパンフォーカス画像を示す信号がバッファメモリ18Mに一時的に格納される。ステップS16において、制御装置18は被写体認識部9に被写体を特定させてステップS17へ進む。被写体認識部9は、前述のようにテンプレートマッチング等の手法を用いて、バッファメモリ18Mに格納されているパンフォーカス画像のうち特定の像を被写体として認識し、その被写体の位置、数、大きさ、主要被写体などを特定する。
In step S15, the
被写体認識部9は、特定した被写体のうち大きい(当該被写体像を構成する画素数が多い)もの、および特定した被写体のうち画面中央に近いものを主要被写体として特定する。焦点検出領域設定部10は、被写体認識部9が特定した主要被写体領域に対して焦点検出領域を設定する。具体的には、図4に例示したような焦点検出領域(破線で囲んだ画素列)を、主要被写体に対応させて設定する。
The
ステップS17において、制御装置18は、焦点検出演算部11に焦点検出演算を行わせてステップS18へ進む。これにより、焦点検出演算部11が上記焦点検出領域に対するデフォーカス量を検出する。デフォーカス量の検出は、前述のようにバッファメモリ18Mに格納されている受光信号のうち、設定した焦点検出領域に対応する画素に属する受光素子からの受光信号に基づいて行われる。
In step S17, the
ステップS18において、制御装置18は、上記検出したデフォーカス量に基づいて撮像画像を合成する像面の位置(マイクロレンズアレイ7からの距離)を決定してステップS19へ進む。ステップS19において、制御装置18は、決定した像面の位置(マイクロレンズアレイ7からの距離)が所定値以下か否かを判定する。制御装置18は、所定値を超える(すなわち、ピントが合う画像を合成できない)場合はステップS19を否定判定してステップS22へ進む。制御装置18は、所定値以下である(すなわち、ピントが合う画像を合成できる)場合はステップS19を肯定判定してステップS20へ進む。
In step S18, the
ステップS20において、制御装置18は画像生成部17に指示を送り、ステップS18で決定した像面でピントが合う撮像画像を合成させてステップS21へ進む。画像生成部17は、デフォーカス量に基づいて、図6を参照して説明した方法により、バッファメモリ18Mに格納されている受光信号のうち一部を選択する。このとき、ステップS12で求めた制御絞り値に応じて、受光信号の選択対象とする受光素子の範囲(各画素の中央を中心とする円の面積)を決定する。このように選択した受光信号に基づいて画像信号を合成することにより、主要被写体にピントの合う撮像画像が合成される。
In step S20, the
ステップS21において、制御装置18は、合成後の撮像画像情報を画像ファイルとして記録媒体に記録し、図7による処理を終了する。上述したステップS19を否定判定して進むステップS22において、制御装置18は、ステップS17で検出したデフォーカス量に基づいて、レンズ駆動量演算部12によるレンズ光学系1の焦点調節を行わせる。これによりレンズ駆動量演算部12は、検出されているデフォーカス量に基づいて、主要被写体にピントが合うようにレンズ駆動量および駆動方向を演算する。そして、レンズ駆動量演算部12からレンズ駆動用モータ14へ駆動制御信号が出力されると、レンズ駆動用モータ14が焦点調節レンズを進退移動させる。以上により、レンズ光学系1の焦点調節が行われる。制御装置18は、焦点調節後にステップS14へ戻り、上述した処理を繰り返す。
In step S21, the
以上説明した実施形態によれば、次の作用効果が得られる。
(1)デジタルカメラは、複数のマイクロレンズ71を配列したマイクロレンズアレイ7と、複数のマイクロレンズ71に対して複数の受光素子61を有し、光学系1aからの光束をマイクロレンズアレイ7を介して受光して複数の受光信号を出力する撮像素子6と、複数のマイクロレンズ71のそれぞれに対応して出力される複数の受光信号のうちの一部の第1受光信号に基づいてパンフォーカス画像を生成する画像生成部17と、パンフォーカス画像から特定の対象の像を選択する被写体認識部9と、パンフォーカス画像のうちの特定の対象の像の位置に対して、受光信号を得た際の光学系1aによる像面のずれ量を検出する焦点検出演算部11と、複数のマイクロレンズ71のそれぞれに対応して出力される複数の受光信号のうち、検出されたずれ量に基づいて選択した第2受光信号に基づいて撮像画像を合成する画像生成部17と、を備えるように構成したので、1回の撮像データに基づいて所望の被写体に対してピントが合った画像を容易に得ることができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The digital camera has a
検出したデフォーカス量の大きさに基づいて、レンズ駆動用モータ14によって焦点調節レンズを進退移動させる機会を制限したので、画像合成処理によってピントの合う画像が得られる場合は焦点調節レンズの進退移動をしなくてよい。これにより、デジタルカメラの省電力化につながる。
Since the opportunity to move the focus adjustment lens forward / backward by the
(2)焦点検出演算部11は、撮像素子6から出力された複数の受光信号に基づいてずれ量を検出するので、ずれ量検出用に撮像素子6と異なる他の受光センサを設ける必要がない。
(2) Since the focus
(3)光学系1aを焦点調節するためのレンズ駆動用モータ14およびレンズ駆動制御部13をさらに備え、焦点調節した後の光学系1aからの光束に基づく複数の受光信号を撮像素子6から読み出すので、殆どの被写体にピントが合うパンフォーカス画像が得られる。
(3) A
(4)ずれ量が所定値を超える場合に光学系1aを焦点調節するようにしたので、ピントが合う画像を合成できないほどずれ量が大きい場合はレンズ駆動用モータ14およびレンズ駆動制御部13による焦点調節を行うことができる。
(4) Since the
(5)画像生成部17は、ずれ量に基づいて第2受光信号を選択する際の選択範囲を選択可能としたので、絞り値が異なる合成画像を得ることができる。
(5) Since the
(6)受光素子アレイは、光学系を開放絞りに設定した状態で光学系1aからの光束に基づく複数の受光信号を撮像素子6から読み出すので、最小絞り設定の状態で読み出す場合に比べて、合成画像の絞り値の範囲を広くすることができる。
(6) Since the light receiving element array reads a plurality of light receiving signals based on the light flux from the
(7)画像生成部17は、複数のマイクロレンズ71のそれぞれに対応する複数の受光素子61の略中央に対応する受光素子による受光信号に基づいてパンフォーカス画像を生成するので、簡単にパンフォーカス画像が得られる。
(7) Since the
(8)焦点検出領域設定部10は、パンフォーカス画像に含まれる像の位置および大きさの少なくとも一方に基づいてずれ量を検出する位置を決定するので、撮影者が所望すると思われる被写体に対してピントが合った画像を容易に得ることができる。
(8) Since the focus detection
(9)焦点検出領域設定部10は、撮影モードの種類に応じて像の位置および大きさの優先順を決めるので、シーンに適した位置を決めることができる。
(9) Since the focus detection
(変形例1)
上記実施形態では、撮影者によって撮影指示が行われた場合(ステップS13を肯定判定)に画像信号を取得する(ステップS14)例を説明した。この代わりに、制御装置18が自動的に撮影指示を発するように構成してもよい。図8は、この場合の制御装置18により実行される処理の流れを説明するフローチャートである。制御装置18は、たとえば、デジタルカメラのがオートレリーズ機能がオン設定された場合に図8による処理を開始する。
(Modification 1)
In the above embodiment, an example has been described in which an image signal is acquired (step S14) when a shooting instruction is given by the photographer (Yes in step S13). Instead of this, the
図8において図7の場合と同様の処理を行うステップは、図7と同じステップ番号を付して説明を省略する。ステップS16の次に進むステップS16Bにおいて、制御装置18は、主要被写体を特定したか否かを判定する。制御装置18は、主要被写体を特定した場合にステップS16Bを肯定判定してステップS17へ進む。制御装置18は、主要被写体を特定していない場合にはステップS16Bを否定判定し、ステップS12へ戻る。
In FIG. 8, steps for performing the same processing as in FIG. 7 are given the same step numbers as in FIG. In step S16B, which proceeds from step S16, the
変形例1によれば、主要被写体を特定した場合に自動的に当該被写体にピントの合う画像を記録するので、撮影者がデジタルカメラを被写体に向けるだけで、当該被写体にピントの合った画像を自動的に得ることが可能になる。 According to the first modification, when a main subject is specified, an image focused on the subject is automatically recorded. Therefore, the photographer simply points the digital camera toward the subject, and the image focused on the subject is captured. It becomes possible to obtain automatically.
(変形例2)
撮像素子6から画像信号を所定時間間隔(たとえば、30フレーム/毎秒)で読み出すように構成し、読み出した画像信号に対して上述した処理を逐次施すことにより、複数の合成画像を動画像として記録媒体に記録するようにしてもよい。
(Modification 2)
An image signal is read from the
(変形例3)
以上の説明では、デジタルカメラの制御装置18が実行する処理を例に説明したが、上述した画像合成処理(ステップS15−ステップS21)を行うプログラムを図9に示すコンピュータ装置200に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ200に取込んで使用する場合には、パーソナルコンピュータ200のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
(Modification 3)
In the above description, the processing executed by the
パーソナルコンピュータ200に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体204をパーソナルコンピュータ200にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ200へローディングしてもよい。通信回線201を経由する場合は、通信回線201に接続されたサーバー(コンピュータ)202のハードディスク装置203などにプログラムを格納しておく。プログラムは、記録媒体204や通信回線201を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
The loading of the program to the
上述した構成はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。デジタルカメラは、一眼タイプでも一眼でないタイプでも構わない。また、撮像素子の受光信号に基づいてデフォーカス量を検出するのに代えて、独立した瞳分割位相差検出方式の焦点検出装置でデフォーカス量を検出するようにしてもよい。 The above-described configuration is merely an example, and is not limited to the configuration of the above-described embodiment. The digital camera may be a single-lens type or a non-single-lens type. Further, instead of detecting the defocus amount based on the light reception signal of the image sensor, the defocus amount may be detected by an independent pupil division phase difference detection type focus detection device.
1a…レンズ光学系
1b…絞り
6…撮像素子
7…マイクロレンズアレイ
9…被写体認識部
10…焦点検出領域設定部
11…焦点検出演算部
13…レンズ駆動制御部
14…レンズ駆動用モータ
17…画像生成部
18…制御装置
18M…バッファメモリ
19…表示部
61…受光素子
71…マイクロレンズ
DESCRIPTION OF
Claims (10)
前記複数のマイクロレンズに対して複数の受光素子を有し、光学系からの光束を前記マイクロレンズアレイを介して受光して複数の受光信号を出力する受光素子アレイと、
前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうちの前記複数の受光素子の略中央に対応する受光素子による第1の受光信号に基づいて第1画像を生成する画像生成手段と、
前記第1画像から特定の対象の像を選択する選択手段と、
前記第1画像のうちの前記特定の対象の像の位置に対して、前記受光信号を得た際の前記光学系による像面のずれ量を検出するずれ量検出手段と、
前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうち、前記検出されたずれ量に基づいて選択した第2受光信号に基づいて第2画像を合成する画像合成手段と、を備えることを特徴とする撮像装置。 A microlens array in which a plurality of microlenses are arranged; and
A light receiving element array having a plurality of light receiving elements for the plurality of micro lenses, receiving a light beam from an optical system via the micro lens array, and outputting a plurality of light receiving signals;
A first image is generated based on a first light receiving signal by a light receiving element corresponding to substantially the center of the plurality of light receiving elements among the plurality of light receiving signals output corresponding to each of the plurality of microlenses. Image generating means;
Selecting means for selecting a specific target image from the first image;
A deviation amount detecting means for detecting a deviation amount of the image plane by the optical system when the received light signal is obtained with respect to the position of the image of the specific target in the first image;
Image synthesizing means for synthesizing a second image based on a second light receiving signal selected based on the detected shift amount among the plurality of light receiving signals output corresponding to each of the plurality of microlenses; An imaging apparatus comprising:
前記ずれ量検出手段は、前記複数の受光信号に基づいて前記ずれ量を検出することを特徴とする撮像装置。 The imaging device according to claim 1,
The image pickup apparatus, wherein the deviation amount detection means detects the deviation amount based on the plurality of light reception signals.
前記光学系を焦点調節する焦点調節手段をさらに備え、
前記受光素子アレイは、前記焦点調節手段によって焦点調節した後の前記光学系からの光束に基づいて前記複数の受光信号を出力することを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
A focusing means for adjusting the focus of the optical system;
The imaging device, wherein the light receiving element array outputs the plurality of light receiving signals based on a light beam from the optical system after the focus is adjusted by the focus adjusting means.
前記焦点調節手段は、前記ずれ量が所定値を超える場合に前記光学系を焦点調節することを特徴とする撮像装置。 The imaging device according to claim 3.
The imaging apparatus characterized in that the focus adjusting means adjusts the focus of the optical system when the deviation amount exceeds a predetermined value.
前記画像合成手段は、前記ずれ量に基づいて前記第2受光信号を選択する際の選択範囲を選択可能としたことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
An image pickup apparatus characterized in that the image composition means can select a selection range when selecting the second light reception signal based on the shift amount.
前記受光素子アレイは、前記光学系を開放絞りに設定した状態で前記複数の受光信号を出力することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
The imaging device, wherein the light receiving element array outputs the plurality of light receiving signals in a state where the optical system is set to an open aperture.
前記ずれ量検出手段は、前記第1画像に含まれる像の位置および大きさの少なくとも一方に基づいて前記ずれ量を検出する位置を決定することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6,
The imaging apparatus according to claim 1, wherein the deviation amount detection unit determines a position for detecting the deviation amount based on at least one of a position and a size of an image included in the first image.
前記第2画像のデータを記録媒体に記録する記録手段をさらに備え、
前記記録手段は、繰り返し出力される前記複数の受光信号の出力に基づく複数の前記第2画像を動画像として記録することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 7,
A recording means for recording the data of the second image on a recording medium;
The image pickup apparatus, wherein the recording unit records a plurality of the second images based on outputs of the plurality of light reception signals that are repeatedly output as moving images.
前記複数の受光信号データに基づいて、前記複数のマイクロレンズのそれぞれに対応している前記複数の受光信号データのうちの前記複数の受光素子の略中央に対応する受光素子による第1受光信号データを抽出する処理と、
前記第1受光信号データに基づいて第1画像を生成する画像生成処理と、
前記第1画像から特定の対象の像を選択する選択処理と、
前記第1画像のうちの前記特定の対象の像の位置に対して、前記受光信号が得られた際の前記光学系による像面のずれ量を検出するずれ量検出処理と、
前記複数のマイクロレンズのそれぞれに対応している前記複数の受光信号データのうち、前記検出されたずれ量に基づいて第2受光信号を選択する処理と、
前記第2受光信号データに基づいて第2画像を合成する画像合成処理と、をコンピュータに実行させるための画像処理プログラム。 A process of inputting a plurality of received light signal data obtained by receiving a light beam from the optical system by a plurality of light receiving elements arranged for a plurality of microlenses;
Based on the plurality of light reception signal data, first light reception signal data by a light reception element corresponding to substantially the center of the plurality of light reception elements among the plurality of light reception signal data corresponding to each of the plurality of microlenses. The process of extracting
Image generation processing for generating a first image based on the first light reception signal data;
A selection process for selecting an image of a specific target from the first image;
A shift amount detection process for detecting a shift amount of an image plane by the optical system when the light reception signal is obtained with respect to the position of the image of the specific target in the first image;
A process of selecting a second light reception signal based on the detected amount of deviation among the plurality of light reception signal data corresponding to each of the plurality of microlenses;
An image processing program for causing a computer to execute an image synthesis process for synthesizing a second image based on the second light reception signal data.
光学系を焦点調節する焦点調節手段と、
前記複数のマイクロレンズに対して複数の受光素子を有し、前記焦点調節手段によって焦点調節した後の前記光学系からの光束を、前記マイクロレンズアレイを介して受光して複数の受光信号を出力する受光素子アレイと、
前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうちの一部の第1受光信号に基づいて第1画像を生成する画像生成手段と、
前記第1画像から特定の対象の像を選択する選択手段と、
前記第1画像のうちの前記特定の対象の像の位置に対して、前記受光信号を得た際の前記光学系による像面のずれ量を検出するずれ量検出手段と、
前記複数のマイクロレンズのそれぞれに対応して出力される前記複数の受光信号のうち、前記検出されたずれ量に基づいて選択した第2受光信号に基づいて第2画像を合成する画像合成手段と、を備え
前記焦点調節手段は、前記ずれ量が所定値を超える場合に前記光学系を焦点調節することを特徴とする撮像装置。
A microlens array in which a plurality of microlenses are arranged; and
A focus adjusting means for adjusting the focus of the optical system;
A plurality of light receiving elements are provided for the plurality of microlenses, and the light beam from the optical system after the focus adjustment by the focus adjusting means is received through the microlens array and a plurality of light reception signals are output. A light receiving element array,
Image generating means for generating a first image based on a part of the first light reception signals among the plurality of light reception signals output corresponding to each of the plurality of microlenses;
Selecting means for selecting a specific target image from the first image;
A deviation amount detecting means for detecting a deviation amount of the image plane by the optical system when the received light signal is obtained with respect to the position of the image of the specific target in the first image;
Image synthesizing means for synthesizing a second image based on a second light receiving signal selected based on the detected shift amount among the plurality of light receiving signals output corresponding to each of the plurality of microlenses; With
The imaging apparatus characterized in that the focus adjusting means adjusts the focus of the optical system when the deviation amount exceeds a predetermined value .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009038108A JP4692654B2 (en) | 2009-02-20 | 2009-02-20 | Imaging apparatus and image processing program |
US12/692,869 US8570427B2 (en) | 2009-01-28 | 2010-01-25 | Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009038108A JP4692654B2 (en) | 2009-02-20 | 2009-02-20 | Imaging apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010191883A JP2010191883A (en) | 2010-09-02 |
JP4692654B2 true JP4692654B2 (en) | 2011-06-01 |
Family
ID=42817833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009038108A Expired - Fee Related JP4692654B2 (en) | 2009-01-28 | 2009-02-20 | Imaging apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4692654B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014032214A (en) * | 2010-11-30 | 2014-02-20 | Fujifilm Corp | Imaging apparatus and focus position detection method |
JP6080417B2 (en) | 2011-08-19 | 2017-02-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP5898501B2 (en) * | 2012-01-13 | 2016-04-06 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, control method, program, and recording medium |
JP2014016687A (en) * | 2012-07-06 | 2014-01-30 | Canon Inc | Image processing apparatus, image processing method, and program |
JP6198395B2 (en) * | 2013-01-08 | 2017-09-20 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP6097587B2 (en) * | 2013-02-06 | 2017-03-15 | キヤノン株式会社 | Image reproducing apparatus and control method thereof |
JP6239862B2 (en) * | 2013-05-20 | 2017-11-29 | キヤノン株式会社 | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus |
JP2015103997A (en) * | 2013-11-26 | 2015-06-04 | 株式会社ニコン | Imaging apparatus |
JP6435612B2 (en) * | 2014-02-26 | 2018-12-12 | 株式会社ニコン | Imaging device and imaging apparatus |
JP6581333B2 (en) * | 2014-03-14 | 2019-09-25 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and program |
JP6336316B2 (en) * | 2014-04-01 | 2018-06-06 | キヤノン株式会社 | Imaging apparatus, control method, and program |
JP2016046777A (en) * | 2014-08-26 | 2016-04-04 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
JP6291605B2 (en) * | 2017-02-14 | 2018-03-14 | キヤノン株式会社 | Image processing apparatus and control method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2007074079A (en) * | 2005-09-05 | 2007-03-22 | Ricoh Co Ltd | Image input device |
JP2008294741A (en) * | 2007-05-24 | 2008-12-04 | Olympus Corp | Imaging system |
-
2009
- 2009-02-20 JP JP2009038108A patent/JP4692654B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2007074079A (en) * | 2005-09-05 | 2007-03-22 | Ricoh Co Ltd | Image input device |
JP2008294741A (en) * | 2007-05-24 | 2008-12-04 | Olympus Corp | Imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP2010191883A (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4692654B2 (en) | Imaging apparatus and image processing program | |
US8890972B2 (en) | Image capturing apparatus and image processing method | |
JP5394296B2 (en) | Imaging apparatus and image processing method | |
JP5034556B2 (en) | Focus detection apparatus and imaging apparatus | |
US8570427B2 (en) | Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function | |
US9258545B2 (en) | Stereoscopic imaging apparatus | |
JP5263310B2 (en) | Image generation apparatus, imaging apparatus, and image generation method | |
JP6062656B2 (en) | Imaging apparatus, control method, and program | |
JP5753371B2 (en) | Imaging apparatus and control method thereof | |
JP5446311B2 (en) | Imaging device | |
JP4710983B2 (en) | Image composition device, imaging device, and image composition method | |
EP2590024A1 (en) | Imaging apparatus and imaging method | |
JP5056136B2 (en) | Image tracking device | |
JP6561437B2 (en) | Focus adjustment device and imaging device | |
JP2012189878A (en) | Imaging apparatus | |
JP5217942B2 (en) | Focus adjustment device and imaging device | |
JP2012083584A (en) | Imaging device | |
JP2009219085A (en) | Imaging apparatus | |
JP2013122494A (en) | Focus detector and camera | |
JP5683135B2 (en) | Imaging apparatus and control method thereof | |
JP6329400B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
JP2012063681A (en) | Focus detecting device and camera | |
JP7501696B2 (en) | Imaging device | |
JP7175704B2 (en) | Imaging device and its control method | |
JP5069076B2 (en) | Imaging apparatus and continuous imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110207 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4692654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |