JP5037966B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP5037966B2 JP5037966B2 JP2007044040A JP2007044040A JP5037966B2 JP 5037966 B2 JP5037966 B2 JP 5037966B2 JP 2007044040 A JP2007044040 A JP 2007044040A JP 2007044040 A JP2007044040 A JP 2007044040A JP 5037966 B2 JP5037966 B2 JP 5037966B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- image
- display
- camera
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 30
- 239000004973 liquid crystal related substance Substances 0.000 claims description 44
- 230000006978 adaptation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置及びその制御方法に関し、特に、ホワイトバランス制御に特徴のある撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and its control how, particularly, relates to an imaging apparatus and its control how a feature on the white balance control.
従来、撮像装置のホワイトバランス補正制御方式として、オートホワイトバランス、ホワイトバランスセット、ホワイトバランスプリセットなどがある。 Conventionally, there are an auto white balance, a white balance set, a white balance preset, and the like as a white balance correction control method of an imaging apparatus.
オートホワイトバランスは、被写体の画像データ或いは色温度センサの情報を元に、適正なホワイトバランスになるように自動制御するものである。ホワイトバランスセットは、予め、撮影環境下で基準となる白い被写体を撮影しながら操作することで、基準の白が適正な白になるようにホワイトバランスを補正するものである。 The auto white balance is automatically controlled so as to achieve an appropriate white balance based on image data of a subject or information of a color temperature sensor. In the white balance set, the white balance is corrected in advance so that the reference white becomes an appropriate white by operating while photographing a reference white subject in the photographing environment.
ホワイトバランスプリセットは、プリセット屋内、プリセット屋外のように、予め想定されるいくつかの環境下において、ホワイトバランスが適正になるようなホワイトバランス補正値を用意しておく。そして、使用者がいずれかのホワイトバランス補正値を選択することが可能になっているものである。 For the white balance preset, a white balance correction value is prepared so that the white balance is appropriate under some presumed environments such as the preset indoor and the preset outdoor. The user can select any one of the white balance correction values.
撮像系を通した映像信号は、以上のようなホワイトバランス補正を施された後に、磁気テープやDVDディスクなどの記録メディアに記録される。一方、撮像装置と一体化される(組み込まれる)映像再生装置では、撮影時に使用者が撮影映像を確認できるように、液晶パネルやビューファインダなどの表示手段に記録映像を表示する。 The video signal that has passed through the imaging system is recorded on a recording medium such as a magnetic tape or a DVD disk after being subjected to the above white balance correction. On the other hand, in a video playback device integrated (incorporated) with an imaging device, a recorded video is displayed on a display means such as a liquid crystal panel or a viewfinder so that a user can check the captured video during shooting.
しかしながら、この従来の撮像装置においては、液晶パネルやビューファインダなどの表示手段に表示される映像のホワイトバランス補正は、予め設定された補正値によって行われていた。即ち、撮影時のカメラ画に対するホワイトバランス補正や周囲の照明/環境光とは無関係である。 However, in this conventional imaging apparatus, the white balance correction of the video displayed on the display means such as a liquid crystal panel or a viewfinder is performed using a preset correction value. That is, it is not related to the white balance correction for the camera image at the time of shooting and the surrounding illumination / ambient light.
そのため、人間の視覚は、撮影環境に順応しているので、カメラ画でホワイトバランス補正された画をそのまま液晶パネルに表示すると、ホワイトバランスがずれて撮影されているように錯覚してしまう。 For this reason, human vision is adapted to the shooting environment. If an image that has been white balance corrected with a camera image is displayed on the liquid crystal panel as it is, the illusion is that the image is shot with the white balance shifted.
例えば、ハロゲン照明下で撮影している際、ホワイトバランスが取れた画をそのまま液晶パネルに表示し、ハロゲン照明下で観賞すると、ハロゲンに順応している使用者の眼には、実際よりも青く見えてしまい、ホワイトバランスがずれているように感じてしまう。 For example, when shooting under halogen illumination, if a white balanced image is displayed on the LCD panel as it is and viewed under halogen illumination, the eyes of the user adapting to the halogen will be bluer than actual. It looks like it feels like the white balance is off.
このような背景の下に、記録画像を観察する時の観察光源に応じた複数の色補正モードから、1つの色補正モードを選択し、画像を色補正処理してから画像記録する電子カメラが提案されている(特許文献1参照)。 Under such a background, an electronic camera that selects one color correction mode from a plurality of color correction modes according to an observation light source when observing a recorded image, performs color correction processing on the image, and records an image. It has been proposed (see Patent Document 1).
また、撮影時の光源下で得られた色調を、青空光源下で撮影した時の色調に変換する電子カメラが提案されている(特許文献2参照)。更に、ホワイトバランスプレビューモードにおいて、特性の異なる調整値でホワイトバランス調整を行い、色合いの異なる複数の見本画像をビューファインダにマトリクス表示するデジタルカメラが提案されている(特許文献3参照)。
しかし、特許文献1記載の技術は、記録画像を補正するものであり、撮影時における人の眼の色順応を考慮して、表示画像を視覚的に等しくなるように補正するものではない。 However, the technique described in Patent Document 1 corrects a recorded image, and does not correct a display image so as to be visually equal in consideration of color adaptation of a human eye at the time of photographing.
また、特許文献2記載の技術は、ある限定された光源下での色再現を近づけるものであり、人の眼の色順応を考慮した補正を行い、実際の色調に近い色再現を実現するものではない。 In addition, the technique described in Patent Document 2 is to approximate color reproduction under a certain limited light source, and to perform color reproduction close to the actual color tone by performing correction in consideration of color adaptation of the human eye. is not.
更に、特許文献3記載の技術は、使用者に適正と思われるホワイトバランス補正を選択させるものであり、自動的にホワイトバランス補正を行うものではない。 Furthermore, the technique described in Patent Document 3 allows the user to select white balance correction that seems appropriate, and does not automatically perform white balance correction.
本発明の目的は、撮影時の照明環境によって生じるカメラ画のホワイトバランスと表示画のホワイトバランスの差を軽減し、使用者が撮影している映像のホワイトバランス状態を正確に把握することのできる撮像装置を提供することにある。 An object of the present invention is to reduce the difference between the white balance of a camera image and the white balance of a display image caused by the lighting environment at the time of shooting, and can accurately grasp the white balance state of the image being shot by the user. An imaging device is provided.
上記目的を達成するために、請求項1記載の撮像装置は、撮像手段と、前記撮像手段で撮影された映像を使用者が確認するための表示手段とを備える撮像装置において、前記撮像手段から得られる映像信号に対し、カメラ画のホワイトバランス情報に応じてカメラ画のホワイトバランス補正を行うカメラ画信号処理手段と、前記カメラ画信号処理手段によってカメラ画のホワイトバランス補正が行われた映像信号に対し表示画のホワイトバランス補正を行った上で前記表示手段に出力する表示画信号処理手段と、前記表示画のホワイトバランス補正として、前記カメラ画のホワイトバランス情報を用いて前記カメラ画のホワイトバランス補正の逆補正を行うよう前記表示画信号処理手段を制御する制御手段と、を備えることを特徴とする。 In order to achieve the above object, an imaging apparatus according to claim 1, wherein the imaging apparatus includes imaging means and display means for a user to check a video taken by the imaging means. Camera image signal processing means for correcting the white balance of the camera image according to the white balance information of the camera image for the obtained video signal , and a video signal obtained by correcting the white balance of the camera image by the camera image signal processing means White of the camera image by using a display image signal processing means for outputting to said display means after performing white balance correction of the display image, as white balance correction of the display image, the white balance information of the camera image to And control means for controlling the display image signal processing means so as to perform reverse correction of balance correction .
請求項6記載の撮像装置の制御方法は、撮像手段と、前記撮像手段で撮影された映像を使用者が確認するための表示手段とを備える撮像装置の制御方法において、前記撮像手段から得られる映像信号に対し、カメラ画のホワイトバランス情報に応じてカメラ画のホワイトバランス補正を行うカメラ画信号処理ステップと、前記カメラ画のホワイトバランス補正が行われた映像信号に対し表示画のホワイトバランス補正を行った上で前記表示手段に出力する表示画信号処理ステップとを備え、前記表示画信号処理ステップは、前記表示画のホワイトバランス補正として、前記カメラ画のホワイトバランス情報を用いて前記カメラ画のホワイトバランス補正の逆補正を行うことを特徴とする。 The imaging apparatus control method according to claim 6 is obtained from the imaging means in the imaging apparatus control method including an imaging means and a display means for a user to check a video imaged by the imaging means. to video signals, the camera image of the white and the camera image signal processing step of performing balance correction, display image of the white balance correction to the video signal white balance correction is performed in the camera image in accordance with the camera image of the white balance information A display image signal processing step for outputting to the display means and performing the display image signal processing step using white balance information of the camera image as white balance correction of the display image. This is characterized by performing reverse correction of white balance correction .
本発明によれば、撮影時にカメラ画のホワイトバランス情報を用いて表示画のホワイトバランスの逆補正を行うことで、撮影時の照明環境によって生じるカメラ画のホワイトバランスと表示画のホワイトバランスの差を軽減することができる。そして、使用者が撮影している映像のホワイトバランス状態を正確に把握することができる。 According to the present invention, the difference between the white balance of the camera image and the white balance of the display image caused by the lighting environment at the time of shooting is performed by performing reverse correction of the white balance of the display image using the white balance information of the camera image at the time of shooting. Can be reduced. And the white balance state of the image | video which the user image | photographed can be grasped | ascertained correctly.
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の第1の実施の形態に係る撮像装置のブロック構成図である。 FIG. 1 is a block configuration diagram of an imaging apparatus according to the first embodiment of the present invention.
本発明の撮像装置は、映像再生装置としての機能も有する(第2の実施の形態以降も同様)。 The imaging device of the present invention also has a function as a video reproduction device (the same applies to the second and subsequent embodiments).
以下、その構成を動作と併せて説明する。 Hereinafter, the configuration will be described together with the operation.
図1において、レンズ101の後方には絞り102が配置されている。レンズ101、絞り102を介した光は、イメージセンサ105の結像面上に被写体像として結像される。イメージセンサ105において、結像された被写体像は光信号から映像信号に変換される。
In FIG. 1, a
イメージセンサ105により得られた映像信号は、カメラ画信号処理部112に送られる。映像信号は、カメラ画信号処理部112において所定の処理を施され、ディスプレイ116に出力されるか、或いは、磁気テープ115、或いはDVDディスク117、或いはメモリカード118に記録される。
The video signal obtained by the
カメラマイコン(制御手段)111は、イメージセンサ制御部106を通じて、イメージセンサ105の蓄積、読み出しなどの制御を行う。また、レンズ制御部103を通じて、レンズ101のフォーカス、ズームなどの制御を行う。
The camera microcomputer (control means) 111 controls accumulation and reading of the
また、カメラマイコン111は、イメージセンサ105から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部104を通じて、絞り102の制御を行い、合わせてシャッタースピードの制御を行うことで、露出制御を行う。
In addition, the
また、カメラマイコン111は、レンズ制御部103を通じてレンズ101を駆動するか、或いは、カメラ画信号処理部112を制御することで、使用者の撮影時の手ぶれを補正する。
In addition, the
使用者によって、ホワイトバランス(WB)モード入力手段107からホワイトバランスモードが設定される。設定されたホワイトバランスモードの情報は、カメラマイコン111に送られ、カメラマイコン111は、カメラ画信号処理部112を通じて、映像を撮影するためのホワイトバランス制御を行い、映像のホワイトバランスが適正になるように処理する。
The user sets the white balance mode from the white balance (WB) mode input means 107. The information on the set white balance mode is sent to the
更に、カメラマイコン111は、カメラ画信号処理部112において処理された、カメラ映像のホワイトバランス補正情報を表示画信号処理部108に送る。
Further, the
表示画信号処理部108は、送られたカメラ映像のホワイトバランス補正情報を用いて、液晶パネル109或いは電子式ビューファインダ110のホワイトバランス制御を行い、表示映像のホワイトバランスが適正になるように処理する。表示映像のホワイトバランス補正処理については、後で詳しく述べる。
The display image
表示映像信号は、表示画信号処理部108において、ホワイトバランス補正処理を含む所定の処理を施され、液晶パネル109或いは電子式ビューファインダ110に出力される。
The display image signal is subjected to predetermined processing including white balance correction processing in the display image
図2は、本発明の第1の実施の形態に係る撮像装置の外観斜視図である。 FIG. 2 is an external perspective view of the imaging apparatus according to the first embodiment of the present invention.
図2において、撮像装置本体120内部には、DVDディスク、磁気テープ及びメモリカードなどの記録媒体が収納され、映像信号及び静止画像を記録再生できるようになっている。
In FIG. 2, a recording medium such as a DVD disk, a magnetic tape, and a memory card is accommodated in the imaging apparatus
上部には、レンズ部121、マイク122がある。マイク122は、撮影時の音声を記録するために備えられている。電子式ビューファインダ110は、覗き込むことによりカメラ撮影時に被写体を狙ったり確認したりするために備えられている。
In the upper part, there are a
動画用トリガースイッチ124は、プッシュボタンであり、動画撮影開始及び終了を機器に伝達するために使用者が操作するスイッチである。静止画用トリガースイッチ125は、プッシュボタンであり、静止画撮影開始及び終了を機器に伝達するために使用者が操作するスイッチである。
The moving
閃光装置131は、静止画を撮影する際の補助手段として必要に応じて発光する。モードダイヤル126は回転式のスイッチからなる。モードダイヤル126では、例えば、再生モードに設定する“再生”、カメラモードに設定する“カメラ”及びそのいずれでもない“OFF”のいずれかを選択できる。
The
操作スイッチ群127は、使用者が本体を操作するため、ホワイトバランスモードを入力するためのキーや、その他のメニュー操作や再生系の操作などのためのキーが配置されている。
The
本体120の側面に開閉自在となるように取り付けられた液晶パネル109は、ビューファインダ110と同様に、カメラ撮影時には被写体像の確認、再生時には再生画像の表示に主に使用される。液晶パネル109は、本体120から開いている状態で、更に水平方向にも回転可能になっている。
The
スピーカ129は、映像を再生するときに音声を出力するために設けられている。バッテリ130は本体120と着脱可能になっている。
The
次に、本実施の形態の撮像装置における表示画信号処理部108による、表示画のホワイトバランス補正処理について、図3のフローチャートを参照しながら説明する。
Next, display image white balance correction processing by the display image
図3は、図1の撮像装置によって実行される表示画のホワイトバランス補正処理の手順を示すフローチャートである。 FIG. 3 is a flowchart illustrating a procedure of white balance correction processing of a display image executed by the imaging apparatus of FIG.
本処理は、カメラマイコン111によって実行される。
This process is executed by the
図3において、電源が投入されると、カメラマイコン111は、録画モードか再生モードかの判別を行う(ステップS101)。再生モードの場合、液晶パネル109のホワイトバランス補正処理は行わず、撮影或いは再生が継続されているかどうかの判定を行う(ステップS104)。
In FIG. 3, when the power is turned on, the
録画モードである場合、表示画信号処理部108は、カメラマイコン111から、カメラ画信号処理部112において処理された、カメラ映像のホワイトバランス補正情報を取得する(ステップS102)。
In the recording mode, the display image
表示画信号処理部108は、取得したカメラ映像のホワイトバランス補正情報を用いて、液晶パネル109のホワイトバランス補正処理を行う(ステップS103)。
The display image
具体的には、周囲の照明環境に順応している使用者の眼で見たときに、表示映像のホワイトバランスが適正となるように、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより、液晶パネル109のホワイトバランスを補正する。表示画のホワイトバランス補正は、カメラ画のホワイトバランスの逆補正である。
Specifically, the white balance gain is the reciprocal of the white balance gain of the camera image so that the white balance of the displayed image is appropriate when viewed with the eyes of the user who has adapted to the surrounding lighting environment. The white balance of the
このホワイトバランス補正は、視覚の色順応効果によって打ち消されるため、使用者は、適正なホワイトバランスで撮影映像を観賞することができる。ここで、使用者がビューファインダ110を覗き込む場合には、周囲の照明環境の影響を受けない。
Since this white balance correction is canceled by the visual chromatic adaptation effect, the user can view the captured image with an appropriate white balance. Here, when the user looks into the
そのため、ビューファインダ110のホワイトバランス補正は、液晶パネル109のホワイトバランス補正とは異なり、カメラ映像のホワイトバランス情報とは無関係に、予め決められた設定で行う。
Therefore, unlike the white balance correction of the
また、ストロボ撮影の場合は、カメラマイコン111から取得する、カメラ映像のホワイトバランス補正情報は、ストロボ発光時ではなく、ストロボ発光前のプレビュー画におけるホワイトバランス情報である。
In the case of flash photography, the camera image white balance correction information acquired from the
ここでは、液晶パネル109のホワイトバランス補正を、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより求めるように説明した。しかし、予め決められた複数の色温度設定の中から、カメラ映像のホワイトバランス補正情報に応じて、最適なものを自動的に選択することで代用することも可能である。
Here, it has been described that the white balance correction of the
以上の処理を行った後、撮影或いは再生が継続されているかどうかの判定を行い(ステップS104)、電源が切断されて制御が終了するまで、録画モード・再生モード判別(ステップS101)からの処理を繰り返す。電源が切断されると、本処理を終了する。 After performing the above processing, it is determined whether shooting or playback is continued (step S104), and the processing from the recording mode / playback mode determination (step S101) until the power is turned off and the control ends. repeat. When the power is turned off, this process is terminated.
以上述べたように、本実施の形態では、映像信号に対して信号処理をするカメラ画信号処理部112、表示手段(液晶パネル109、ビューファインダ110)の出力信号に対して信号処理をする表示画信号処理部108を備える。
As described above, in this embodiment, the camera image
そして、撮影時にカメラ画のホワイトバランス情報を用いて表示画のホワイトバランス補正を行うことで、撮影時の照明環境によって生じるカメラ画とパネル画のホワイトバランスの差を軽減することができる。また、使用者が撮影している映像のホワイトバランス状態を正確に把握できるようになる。 Then, by performing white balance correction of the display image using the white balance information of the camera image at the time of shooting, it is possible to reduce the difference in white balance between the camera image and the panel image caused by the lighting environment at the time of shooting. In addition, it is possible to accurately grasp the white balance state of the video being shot by the user.
また、表示手段として、液晶パネル109及びビューファインダ110を備え、撮影時にカメラ画のホワイトバランス情報を用いて、液晶パネル109に表示する映像のホワイトバランス補正を行う。ビューファインダに表示する映像のホワイトバランス補正は、カメラ画のホワイトバランス情報とは無関係に、予め決められた設定で行う。
Further, the display unit includes a
このことで、使用者が映像確認用に液晶パネル109を使用する場合と、ビューファインダ110を使用する場合のいずれの場合においても、撮影している映像のホワイトバランス状態を正確に把握できるようになる。
As a result, the user can accurately grasp the white balance state of the photographed image regardless of whether the user uses the
また、ストロボ撮影時には、ストロボ発光前のプレビュー画におけるホワイトバランス補正を用いて、液晶パネル109のホワイトバランスを補正することで、ストロボ撮影によって得られた画像のホワイトバランス状態を正確に把握できるようになる。
In addition, during flash photography, the white balance of the
図4は、本発明の第2の実施の形態に係る撮像装置のブロック構成図である。 FIG. 4 is a block diagram of an imaging apparatus according to the second embodiment of the present invention.
以下、その構成を動作と併せて説明する。 Hereinafter, the configuration will be described together with the operation.
図4において、レンズ201の後方には絞り202が配置されている。レンズ201、絞り202を介した光は、イメージセンサ205の結像面上に被写体像として結像される。イメージセンサ205において、結像された被写体像は光信号から映像信号に変換される。
In FIG. 4, a
イメージセンサ205により得られた映像信号は、カメラ画信号処理部212に送られる。映像信号は、カメラ画信号処理部212において所定の処理を施され、ディスプレイ216に出力されるか、或いは、磁気テープ215、或いはDVDディスク217、或いはメモリカード218に記録される。
The video signal obtained by the
カメラマイコン211は、イメージセンサ制御部206を通じて、イメージセンサ205の蓄積、読み出しなどの制御を行う。また、レンズ制御部203を通じて、レンズ201のフォーカス、ズームなどの制御を行う。
The
また、カメラマイコン211は、イメージセンサ205から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部204を通じて、絞り202の制御を行い、合わせてシャッタースピードの制御を行うことで、露出制御を行う。
Further, the
また、カメラマイコン211は、レンズ制御部203を通じてレンズ201を駆動するか、或いは、カメラ画信号処理部212を制御することで、使用者の撮影時の手ぶれを補正する。
Further, the
使用者によって、ホワイトバランス(WB)モード入力手段207からホワイトバランスモードが設定される。設定されたホワイトバランスモードの情報は、カメラマイコン211に送られ、カメラマイコン211は、カメラ画信号処理部212を通じて、映像を撮影するためのホワイトバランス制御を行い、映像のホワイトバランスが適正になるように処理する。
The user sets the white balance mode from the white balance (WB) mode input means 207. The information on the set white balance mode is sent to the
更に、カメラマイコン211は、カメラ画信号処理部212において処理された、カメラ映像のホワイトバランス補正情報を表示画信号処理部208に送る。
Further, the
表示画ホワイトバランス切替え手段214は、表示映像のホワイトバランス補正処理を、カメラ映像のホワイトバランス補正情報を用いて行うか、用いずに行うかを使用者が切替え選択できるようになっている。 The display image white balance switching means 214 is configured so that the user can select whether to perform the white balance correction processing of the display video using the white balance correction information of the camera video or not.
表示画信号処理部208は、送られたカメラ映像のホワイトバランス補正情報を用いて、液晶パネル209或いは電子式ビューファインダ210のホワイトバランス制御を行い、表示映像のホワイトバランスが適正になるように処理する。表示映像のホワイトバランス補正処理については、後で詳しく述べる。
The display image
表示映像信号は、表示画信号処理部208において、ホワイトバランス補正処理を含む所定の処理を施され、液晶パネル209或いは電子式ビューファインダ210に出力される。
The display image signal is subjected to predetermined processing including white balance correction processing in the display image
次に、本実施の形態の撮像装置における表示画信号処理部208による、表示画のホワイトバランス補正処理について、図5のフローチャートを参照しながら説明する。
Next, display image white balance correction processing by the display image
図5は、図4の撮像装置によって実行される表示画のホワイトバランス補正処理の手順を示すフローチャートである。 FIG. 5 is a flowchart illustrating a procedure of white balance correction processing of a display image executed by the imaging apparatus of FIG.
本処理は、カメラマイコン211によって実行される。
This process is executed by the
図5において、電源が投入されると、カメラマイコン211は、録画モードか再生モードかの判別を行う(ステップS201)。再生モードの場合、液晶パネル209のホワイトバランス補正処理は行わず、撮影或いは再生が継続されているかどうかの判定を行う(ステップS205)。
In FIG. 5, when the power is turned on, the
録画モードである場合、表示画信号処理部208は、カメラマイコン211から、カメラ画信号処理部212において処理された、カメラ映像のホワイトバランス補正情報を取得する(ステップS202)。
In the recording mode, the display image
次に、表示画ホワイトバランス切替え手段214の選択状態を判別し(ステップS203)、カメラ映像のホワイトバランス補正情報を用いて表示映像のホワイトバランス補正処理を行うかどうかを判断する。 Next, the selection state of the display image white balance switching means 214 is determined (step S203), and it is determined whether or not to perform white balance correction processing of the display image using the white balance correction information of the camera image.
カメラ映像のホワイトバランス補正情報を用いない場合には、液晶パネル109のホワイトバランス補正処理は行わず、撮影或いは再生が継続されているかどうかの判定を行う(ステップS205)。
When the white balance correction information of the camera image is not used, the white balance correction process of the
カメラ映像のホワイトバランス補正情報を用いて表示映像のホワイトバランス補正処理を行う場合には、ステップS204に移行する。そして、表示画信号処理部208は、取得したカメラ映像のホワイトバランス補正情報を用いて、液晶パネル209のホワイトバランス補正処理を行う。
When the white balance correction process for the display video is performed using the white balance correction information for the camera video, the process proceeds to step S204. Then, the display image
具体的には、周囲の照明環境に順応している使用者の眼で見たときに、表示映像のホワイトバランスが適正となるように、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより、液晶パネル209のホワイトバランスを補正する。
Specifically, the white balance gain is the reciprocal of the white balance gain of the camera image so that the white balance of the displayed image is appropriate when viewed with the eyes of the user who has adapted to the surrounding lighting environment. The white balance of the
このホワイトバランス補正は、視覚の色順応効果によって打ち消されるため、使用者は、適正なホワイトバランスで撮影映像を観賞することができる。ここで、使用者がビューファインダ210を覗き込む場合には、周囲の照明環境の影響を受けない。
Since this white balance correction is canceled by the visual chromatic adaptation effect, the user can view the captured image with an appropriate white balance. Here, when the user looks into the
そのため、ビューファインダ210のホワイトバランス補正は、液晶パネル209のホワイトバランス補正とは異なり、カメラ映像のホワイトバランス情報とは無関係に、予め決められた設定で行う。
Therefore, unlike the white balance correction of the
また、ストロボ撮影の場合は、カメラマイコン211から取得する、カメラ映像のホワイトバランス補正情報は、ストロボ発光時ではなく、ストロボ発光前のプレビュー画におけるホワイトバランス情報である。
In the case of flash photography, the white balance correction information of the camera image acquired from the
ここでは、液晶パネル209のホワイトバランス補正を、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより求めるように説明した。しかし、予め決められた複数の色温度設定の中から、カメラ映像のホワイトバランス補正情報に応じて、最適なものを自動的に選択することで代用することも可能である。
Here, it has been described that the white balance correction of the
以上の処理を行った後、撮影或いは再生が継続されているかどうかの判定を行い(ステップS205)、電源が切断されて制御が終了するまで、録画モード・再生モード判別(ステップS201)からの処理を繰り返す。電源が切断されると、本処理を終了する。 After performing the above processing, it is determined whether or not shooting or playback is continued (step S205), and processing from the recording mode / playback mode determination (step S201) until the power is turned off and the control ends. repeat. When the power is turned off, this process is terminated.
以上述べたように、本実施の形態では、表示画ホワイトバランス切替え手段214を備え、撮影時に、カメラ画のホワイトバランス情報を用いて表示画のホワイトバランス補正を行うかどうかを使用者が切替えられるようにする。このことで、撮影時の表示映像のホワイトバランスを、より使用者の望む状態に設定できるようになる。 As described above, in the present embodiment, the display image white balance switching unit 214 is provided, and the user can switch whether to perform white balance correction of the display image using the white balance information of the camera image at the time of shooting. Like that. This makes it possible to set the white balance of the display image at the time of shooting to a state desired by the user.
図6は、本発明の第3の実施の形態に係る撮像装置のブロック構成図である。 FIG. 6 is a block diagram of an imaging apparatus according to the third embodiment of the present invention.
以下、その構成を動作と併せて説明する。 Hereinafter, the configuration will be described together with the operation.
図6において、レンズ301の後方には絞り302が配置されている。レンズ301、絞り302を介した光は、イメージセンサ305の結像面上に被写体像として結像される。イメージセンサ305において、結像された被写体像は光信号から映像信号に変換される。
In FIG. 6, a
イメージセンサ305により得られた映像信号は、カメラ画信号処理部312に送られる。映像信号は、カメラ画信号処理部312において所定の処理を施され、ディスプレイ316に出力されるか、或いは、磁気テープ315、或いはDVDディスク317、或いはメモリカード318に記録される。
The video signal obtained by the
カメラマイコン(制御手段)311は、イメージセンサ制御部306を通じて、イメージセンサ305の蓄積、読み出しなどの制御を行う。また、レンズ制御部303を通じて、レンズ301のフォーカス、ズームなどの制御を行う。
The camera microcomputer (control unit) 311 controls the accumulation and reading of the
また、カメラマイコン311は、イメージセンサ305から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部304を通じて、絞り302の制御を行い、合わせてシャッタースピードの制御を行うことで、露出制御を行う。
The
また、カメラマイコン311は、レンズ制御部303を通じてレンズ301を駆動するか、或いは、カメラ画信号処理部312を制御することで、使用者の撮影時の手ぶれを補正する。
Further, the
使用者によって、ホワイトバランス(WB)モード入力手段307からホワイトバランスモードが設定される。設定されたホワイトバランスモードの情報は、カメラマイコン311に送られ、カメラマイコン311は、カメラ画信号処理部312を通じて、映像を撮影するためのホワイトバランス制御を行い、映像のホワイトバランスが適正になるように処理する。
The user sets the white balance mode from the white balance (WB) mode input means 307. Information on the set white balance mode is sent to the
更に、カメラマイコン311は、カメラ画信号処理部312において処理された、カメラ映像のホワイトバランス補正情報を表示画信号処理部308に送る。
Further, the
表示画信号処理部308は、送られたカメラ映像のホワイトバランス補正情報を用いて、液晶パネル309或いは電子式ビューファインダ310のホワイトバランス制御を行い、表示映像のホワイトバランスが適正になるように処理する。
The display image
表示映像信号は、表示画信号処理部308において、ホワイトバランス補正処理を含む所定の処理を施され、液晶パネル309或いは電子式ビューファインダ310に出力される。
The display video signal is subjected to predetermined processing including white balance correction processing in the display image
色温度センサ319は、撮影時及び映像再生時の周囲の環境の色温度情報を検出することができるものである。
The
ここでは、撮影時の表示映像のホワイトバランス補正処理を、カメラ映像のホワイトバランス補正情報を用いて行うように説明したが、カメラ映像のホワイトバランス補正情報の代わりに、色温度センサ319からの色温度情報を用いても構わない。表示画のホワイトバランス補正に際し、予め決められた複数の色温度設定の中から特定のものを選択する。
Here, the white balance correction processing of the display video at the time of shooting has been described as being performed using the white balance correction information of the camera video, but the color from the
映像再生時には、磁気テープ315、或いはDVDディスク317、或いはメモリカード318に記録されている映像データや画像データは、再生画信号処理部314において所定の処理を施され、表示画信号処理部308に送られる。
At the time of video reproduction, video data and image data recorded on the
表示映像信号は、表示画信号処理部308において、ホワイトバランス補正処理を含む所定の処理を施され、液晶パネル309或いは電子式ビューファインダ310に出力される。映像再生時の表示映像のホワイトバランス補正処理は、色温度センサ319からの色温度情報を用いて行われる。
The display video signal is subjected to predetermined processing including white balance correction processing in the display image
撮影時及び映像再生時における、表示映像のホワイトバランス補正処理については、後で詳しく述べる。 The white balance correction processing of the display video at the time of shooting and video playback will be described in detail later.
図7は、本発明の第3の実施の形態に係る撮像装置の外観斜視図である。 FIG. 7 is an external perspective view of an imaging apparatus according to the third embodiment of the present invention.
図7において、撮像装置本体320内部には、DVDディスク、磁気テープ及びメモリカードなどの記録媒体が収納され、映像信号及び静止画像を記録再生できるようになっている。
In FIG. 7, a recording medium such as a DVD disk, a magnetic tape, and a memory card is accommodated in the imaging apparatus
撮像装置本体320の上部には、レンズ部321とマイク322がある。マイク322は、撮影時の音声を記録するために備えられているビューファインダ310は、覗き込むことによりカメラ撮影時に被写体を確認したり、再生時に再生画像を観賞するために備えられている。
A
動画用トリガースイッチ324は、プッシュボタンであり、動画撮影開始及び終了を機器に伝達するために使用者が操作するスイッチである。静止画用トリガースイッチ325は、プッシュボタンであり、静止画撮影開始及び終了を機器に伝達するために使用者が操作するスイッチである。
The moving
閃光装置331は、静止画を撮影する際の補助手段として必要に応じて発光する。モードダイヤル326は回転式のスイッチからなる。モードダイヤル326では、例えば、再生モードに設定する“再生”、カメラモードに設定する“カメラ”及びそのいずれでもない“OFF”のいずれかを選択できる。
The
操作スイッチ群327は、使用者が撮像装置本体320を操作するため、ホワイトバランスモードを入力するためのキーや、その他のメニュー操作や再生系の操作などのためのキーが配置されている。
The
撮像装置本体320の側面に開閉自在となるように取り付けられた液晶パネル309は、ビューファインダ310と同様に、カメラ撮影時には被写体像の確認、再生時には再生画像の表示に主に使用される。液晶パネル309は、撮像装置本体320から開いている状態で、更に水平方向にも回転可能になっている。
A
色温度センサ319は、撮影時及び再生時の周囲の環境の色温度情報を検出することができるものである。スピーカ329は、映像を再生するときに音声を出力するために設けられている。バッテリ330は撮像装置本体320と着脱可能になっている。
The
次に、本実施の形態の撮像装置における表示画信号処理部308による、表示画のホワイトバランス補正処理について、図8のフローチャートを参照しながら説明する。
Next, display image white balance correction processing by the display image
図8は、図6の撮像装置によって実行される表示画のホワイトバランス補正処理の手順を示すフローチャートである。 FIG. 8 is a flowchart illustrating a procedure of white balance correction processing for a display image executed by the imaging apparatus of FIG.
本処理は、カメラマイコン311によって実行される。
This process is executed by the
図8において、電源が投入されると、カメラマイコン311は、録画モードか再生モードかの判別を行う(ステップS301)。再生モードの場合、色温度センサ319からの色温度情報があるかどうかの判別を行う(ステップS302)。
In FIG. 8, when the power is turned on, the
色温度情報がない場合は、液晶パネルのホワイトバランス補正処理は行わず、撮影或いは再生が継続されているかどうかの判定を行う(ステップS306)。色温度情報がある場合、表示画信号処理部308は、取得した色温度情報を用いて、液晶パネル309のホワイトバランス補正処理を行う(ステップS303)。
If there is no color temperature information, the white balance correction process of the liquid crystal panel is not performed, and it is determined whether shooting or reproduction is continued (step S306). When there is color temperature information, the display image
具体的には、周囲の照明環境に順応している使用者の眼で見たときに、表示映像のホワイトバランスが適正となるように、色温度センサ319から得られた色温度と、液晶パネルの色温度を一致させるように、液晶パネル309のホワイトバランスを補正する。
Specifically, the color temperature obtained from the
このホワイトバランス補正は、視覚の色順応効果によって打ち消されるため、使用者は、適正なホワイトバランスで撮影映像を観賞することができる。ここで、使用者がビューファインダ310を覗き込む場合には、周囲の照明環境の影響を受けない。
Since this white balance correction is canceled by the visual chromatic adaptation effect, the user can view the captured image with an appropriate white balance. Here, when the user looks into the
そのため、ビューファインダ310のホワイトバランス補正は、液晶パネル309のホワイトバランス補正とは異なり、カメラ映像のホワイトバランス情報とは無関係に、予め決められた設定で行う。
Therefore, unlike the white balance correction of the
一方、ステップS301において録画モードである場合、表示画信号処理部308は、カメラマイコン311から、カメラ画信号処理部312において処理された、カメラ映像のホワイトバランス補正情報を取得する(ステップS304)。
On the other hand, when the recording mode is set in step S301, the display image
ここで、色温度センサ319からの色温度情報がある場合には、カメラ映像のホワイトバランス補正情報の代わりに、色温度センサ319からの色温度情報を用いることも可能である。
Here, when there is color temperature information from the
表示画信号処理部308は、取得したカメラ映像のホワイトバランス補正情報或いは、温度センサ319からの色温度情報を用いて、液晶パネル309のホワイトバランス補正処理を行う(ステップS305)。
The display image
具体的には、周囲の照明環境に順応している使用者の眼で見たときに、表示映像のホワイトバランスが適正となるように、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより、液晶パネル309のホワイトバランスを補正する。
Specifically, the white balance gain is the reciprocal of the white balance gain of the camera image so that the white balance of the displayed image is appropriate when viewed with the eyes of the user who has adapted to the surrounding lighting environment. The white balance of the
或いは、色温度センサ319から得られた色温度と、液晶パネル309の色温度を一致させるように、液晶パネル309のホワイトバランスを補正する。このホワイトバランス補正は、視覚の色順応効果によって打ち消されるため、使用者は、適正なホワイトバランスで撮影映像を観賞することができる。
Alternatively, the white balance of the
ここで、使用者がビューファインダ310を覗き込む場合には、周囲の照明環境の影響を受けないので、ビューファインダ310のホワイトバランス補正は、液晶パネル309のホワイトバランス補正とは異なる。
Here, when the user looks into the
そのため、カメラ映像のホワイトバランス情報、或いは色温度センサ319からの色温度情報とは無関係に、予め決められたホワイトバランス補正を行う。また、ストロボ撮影の場合は、カメラマイコン311から取得するカメラ映像のホワイトバランス補正情報は、ストロボ発光時ではなく、ストロボ発光前のプレビュー画におけるホワイトバランス情報である。
Therefore, a predetermined white balance correction is performed regardless of the white balance information of the camera image or the color temperature information from the
また、ここでは、液晶パネル309のホワイトバランス補正を、カメラ映像のホワイトバランスゲインの逆数となるホワイトバランスゲインにより求めるように説明した。しかし、予め決められた複数の色温度設定の中から、カメラ映像のホワイトバランス補正情報に応じて、最適なものを自動的に選択することで代用することも可能である。
Here, it has been described that the white balance correction of the
以上の処理を行った後、撮影或いは再生が継続されているかどうかの判定を行い(ステップS306)、電源が切断されて制御が終了するまで、録画モード・再生モード判別(ステップS301)からの処理を繰り返す。電源が切断されると、本処理終了する。 After performing the above processing, it is determined whether shooting or playback is continued (step S306), and the processing from the recording mode / playback mode determination (step S301) until the power is turned off and the control is completed. repeat. When the power is turned off, this process ends.
本実施の形態では、表示する映像信号に対して信号処理をする表示画信号処理部308、周囲の環境を検出するための環境検出手段(色温度センサ319)を備え、映像再生時に、使用者の視環境に応じて、表示する映像信号のホワイトバランス補正を行う。このことで、再生時の視環境によらず、正しいホワイトバランスで再生映像を観賞することができるようになる。
In this embodiment, a display image
101 レンズ
102 絞り
103 レンズ制御部
104 絞り制御部
105 イメージセンサ
106 イメージセンサ制御部
107 ホワイトバランスモード入力手段
108 表示画信号処理部
109 液晶パネル
110 電子式ビューファインダ
111 カメラマイコン(制御手段)
112 カメラ画信号処理部
115 磁気テープ
116 ディスプレイ
117 DVDディスク
118 メモリカード
120 撮像装置本体
121 レンズ部
122 マイク
124 動画用トリガースイッチ
125 静止画用トリガースイッチ
126 モードダイヤル
127 操作スイッチ群
129 スピーカ
130 バッテリ
131 閃光装置
DESCRIPTION OF
112 Camera image
Claims (6)
前記撮像手段から得られる映像信号に対し、カメラ画のホワイトバランス情報に応じてカメラ画のホワイトバランス補正を行うカメラ画信号処理手段と、
前記カメラ画信号処理手段によってカメラ画のホワイトバランス補正が行われた映像信号に対し表示画のホワイトバランス補正を行った上で前記表示手段に出力する表示画信号処理手段と、
前記表示画のホワイトバランス補正として、前記カメラ画のホワイトバランス情報を用いて前記カメラ画のホワイトバランス補正の逆補正を行うよう前記表示画信号処理手段を制御する制御手段と、
を備えることを特徴とする撮像装置。 In an imaging apparatus comprising: an imaging unit; and a display unit for a user to check an image captured by the imaging unit.
To video signal obtained from said image pickup means, a camera image signal processing means for performing white balance correction of a camera image in accordance with the camera image of the white balance information,
Display image signal processing means for outputting to the display means after performing white balance correction of the display image on the video signal that has been subjected to white balance correction of the camera image by the camera image signal processing means;
As the white balance correction of the display image, and control means for controlling the display image signal processing means to perform the inverse correction of the white balance correction of the camera image by using the white balance information of the camera image,
An imaging apparatus comprising:
前記制御手段は、前記液晶パネルには前記逆補正を行った表示画を表示し、前記ビューファインダには予め決められた設定で補正を行った表示画像を表示するよう制御することを特徴とする請求項1に記載の撮像装置。 The display means includes a liquid crystal panel and a viewfinder,
The control means controls to display the display image subjected to the reverse correction on the liquid crystal panel and to display the display image corrected according to a predetermined setting on the viewfinder. The imaging device according to claim 1.
前記制御手段は、前記表示画ホワイトバランス切替え手段により逆補正を行わないように選択された場合、前記逆補正を行わないよう前記表示画信号処理手段を制御することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 A display image white balance switching means for the user to select whether to perform the reverse correction at the time of shooting;
The control means controls the display image signal processing means not to perform the reverse correction when the display image white balance switching means is selected not to perform the reverse correction. The imaging device according to any one of Items 3 to 3 .
前記撮像手段から得られる映像信号に対し、カメラ画のホワイトバランス情報に応じてカメラ画のホワイトバランス補正を行うカメラ画信号処理ステップと、
前記カメラ画のホワイトバランス補正が行われた映像信号に対し表示画のホワイトバランス補正を行った上で前記表示手段に出力する表示画信号処理ステップとを備え、
前記表示画信号処理ステップは、前記表示画のホワイトバランス補正として、前記カメラ画のホワイトバランス情報を用いて前記カメラ画のホワイトバランス補正の逆補正を行うことを特徴とする撮像装置の制御方法。 In a control method of an imaging apparatus comprising: an imaging unit; and a display unit for a user to check an image captured by the imaging unit.
To video signal obtained from said image pickup means, a camera image signal processing step of performing white balance correction of a camera image in accordance with the camera image of the white balance information,
A display image signal processing step for outputting to the display means after performing white balance correction of the display image on the video signal on which the white balance correction of the camera image is performed ,
Wherein the display image signal processing steps, as white balance correction of the display image, a control method of an imaging device and performing inverse correction of the white balance correction of the camera image by using the white balance information of the camera image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007044040A JP5037966B2 (en) | 2007-02-23 | 2007-02-23 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007044040A JP5037966B2 (en) | 2007-02-23 | 2007-02-23 | Imaging apparatus and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008211333A JP2008211333A (en) | 2008-09-11 |
JP2008211333A5 JP2008211333A5 (en) | 2010-04-08 |
JP5037966B2 true JP5037966B2 (en) | 2012-10-03 |
Family
ID=39787296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007044040A Expired - Fee Related JP5037966B2 (en) | 2007-02-23 | 2007-02-23 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5037966B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5092524B2 (en) * | 2007-04-20 | 2012-12-05 | 株式会社ニコン | Image processing method, image processing program, image processing apparatus, camera |
JP5370034B2 (en) * | 2009-09-16 | 2013-12-18 | 株式会社ニコン | Display device and camera using the same |
JP5804809B2 (en) * | 2011-07-12 | 2015-11-04 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP6009046B2 (en) * | 2015-07-14 | 2016-10-19 | キヤノン株式会社 | Imaging apparatus and control method thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6480189A (en) * | 1987-09-22 | 1989-03-27 | Canon Kk | Image pickup camera |
JP3887060B2 (en) * | 1997-04-09 | 2007-02-28 | ペンタックス株式会社 | Image correction information recording apparatus and image restoration processing apparatus for electronic still camera |
JP2006303833A (en) * | 2005-04-19 | 2006-11-02 | Canon Inc | Imaging apparatus and image processing method |
-
2007
- 2007-02-23 JP JP2007044040A patent/JP5037966B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008211333A (en) | 2008-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5512878B2 (en) | Imaging apparatus and display control method | |
KR20130069041A (en) | Display apparatus and method | |
KR20110060497A (en) | Apparatus and method for capturing a jump image | |
TW200826675A (en) | Image correction device, image correction method, and computer readable medium | |
KR20130071794A (en) | Digital photographing apparatus splay apparatus and control method thereof | |
JP2007057599A (en) | Image signal processing apparatus, image signal processing method and image signal processing system | |
JP5494744B2 (en) | Imaging apparatus, control method, and program | |
JP2018006827A (en) | Imaging apparatus, imaging program, and imaging method | |
KR20120083085A (en) | Digital photographing apparatus and control method thereof | |
JP5037966B2 (en) | Imaging apparatus and control method thereof | |
KR20040034531A (en) | Moving imamge reproduction apparatus and method | |
JP2009089037A (en) | Photographing controller, photographing control method, photographing control program and photographing device | |
JP2008033930A (en) | Picture reproducer | |
JP5868038B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP4348356B2 (en) | Imaging device | |
JP2009182832A (en) | Photographing device and through image displaying method | |
JPH11355784A (en) | Electronic camera | |
KR101960508B1 (en) | Display apparatus and method | |
JP5665313B2 (en) | Imaging apparatus and imaging method | |
JP5804809B2 (en) | Imaging apparatus and control method thereof | |
US20050174447A1 (en) | Method of controlling digital photographing apparatus and digital photographing apparatus using the same | |
JP6009046B2 (en) | Imaging apparatus and control method thereof | |
JP4404718B2 (en) | Image processing apparatus and imaging apparatus | |
JP2012256985A (en) | Imaging device and reproducing device | |
KR101923185B1 (en) | Display apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5037966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |