JP4683190B2 - Imaging apparatus, image effect applying method, and image effect applying program - Google Patents

Imaging apparatus, image effect applying method, and image effect applying program Download PDF

Info

Publication number
JP4683190B2
JP4683190B2 JP2005021078A JP2005021078A JP4683190B2 JP 4683190 B2 JP4683190 B2 JP 4683190B2 JP 2005021078 A JP2005021078 A JP 2005021078A JP 2005021078 A JP2005021078 A JP 2005021078A JP 4683190 B2 JP4683190 B2 JP 4683190B2
Authority
JP
Japan
Prior art keywords
image
imaging
image processing
processing
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005021078A
Other languages
Japanese (ja)
Other versions
JP2006211321A (en
JP2006211321A5 (en
Inventor
林  哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005021078A priority Critical patent/JP4683190B2/en
Publication of JP2006211321A publication Critical patent/JP2006211321A/en
Publication of JP2006211321A5 publication Critical patent/JP2006211321A5/ja
Application granted granted Critical
Publication of JP4683190B2 publication Critical patent/JP4683190B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、デジタルカメラなどの撮影機能を有するとともに、撮影画像に画像効果を施す撮像装置、画像効果付与方法および画像効果付与プログラムに関する。   The present invention relates to an imaging apparatus, an image effect applying method, and an image effect applying program that have an image capturing function such as a digital camera and that apply an image effect to a captured image.

近年、デジタルカメラやカメラ機能を有する携帯電話など、撮影機能を有する撮像装置が普及している。これら撮像装置では、撮影した画像にソフトフォーカスやコントラスト強調、クロスフィルタなどの画像効果を付与することができるようになっている(例えば特許文献1参照)。
特開2000−196946号公報
In recent years, imaging devices having a photographing function such as a digital camera and a mobile phone having a camera function have become widespread. In these imaging apparatuses, image effects such as soft focus, contrast enhancement, and a cross filter can be applied to a captured image (see, for example, Patent Document 1).
JP 2000-196946 A

しかしながら、上記従来技術では、撮像した画像自体から特徴を抽出して画像処理を施していたため、画像サイズが大きい場合には画像処理に時間がかかってしまうという問題があった。特に、近年、高画質化に伴い画像サイズが大きくなってきており、画像処理に時間がかかると、次の撮影が可能になるまでの待ち時間が長くなるなど、操作性にも悪影響を及ぼすという問題があった。   However, in the above prior art, since the feature is extracted from the captured image itself and the image processing is performed, there is a problem that the image processing takes time when the image size is large. In particular, in recent years, the image size has become larger with higher image quality, and if image processing takes a long time, the waiting time until the next image can be taken becomes longer. There was a problem.

そこで本発明は、比較的低速な処理性能であっても、短時間で画像処理を施すことができる撮像装置、画像効果付与方法、および画像効果付与プログラムを提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus, an image effect applying method, and an image effect applying program capable of performing image processing in a short time even when processing performance is relatively low.

上記目的達成のため、請求項1記載の発明による撮像装置は、撮像手段と、指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段と、前記撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示手段と、前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断手段と、前記第1の判断手段により前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示手段により画面上に表示させる第1の制御手段と、を具備することを特徴とする。
また、請求項2記載のように、前記第1の画像処理手段は、前記第1の縮小画像を対象として前記所定の画像処理を施すことで第2の縮小画像を生成し、この生成された第2の縮小画像を前記第1の元画像に合成することにより、前記所定の画像処理が前記第1の元画像に対して施された状態である前記第2の元画像を生成するようにしてもよい。
また、請求項3記載のように、前記第1の画像処理手段は、前記第2の縮小画像を前記第1の元画像と同じ画角に拡大するとともに前記第1の元画像に合成することにより、前記所定の画像処理が前記第1の元画像に対して施された状態である前記第2の元画像を生成するようにしてもよい。
また、請求項4記載のように、前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、撮影記録が指示されているか否かを逐次判断する撮影記録判断手段と、前記撮影記録判断手段により撮影記録が指示された際に、前記撮像手段により撮像して得られる撮影画像を記録する撮影記録手段と、前記撮影記録判断手段により撮影記録が指示された際に、前記所定の画像処理の実行が指示されているか否かを判断する第2の判断手段と、前記第2の判断手段により前記所定の画像処理の実行が指示されていると判断された場合は、前記撮像手段により撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を実行させ、該第1の画像処理により生成された前記第2の元画像を前記撮影画像に代えて、前記撮影記録手段により記録させる第2の制御手段と、更に備えるようにしてもよい。
For the purposes achieved, the imaging apparatus according to a first aspect of the present invention, an imaging unit, reduces the first original image designated, the first reduced image based on the predetermined the thus obtained reduced detecting the position of the feature point, a first predetermined image processing using the position information of the detected feature points to generate a second original image is in a state of being subjected to the first original image First image processing means for executing the image processing, through image display means for repeatedly executing through image display processing for displaying a captured image obtained by imaging by the imaging means on a screen at a predetermined cycle, First determination means for sequentially determining whether or not execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed by the through image display means, and the first determination The predetermined image processing by means While it is determined that execution is instructed, the first image processing is sequentially executed by using the captured image obtained by sequentially capturing images by the imaging unit as the first original image, and corresponding to each captured image. And a first control means for displaying the second original image sequentially generated by the first image processing on the screen by the through image display means instead of the captured image. And
According to a second aspect of the present invention, the first image processing unit generates the second reduced image by performing the predetermined image processing on the first reduced image, and the generated By synthesizing the second reduced image with the first original image, the second original image in a state where the predetermined image processing is applied to the first original image is generated. May be.
Furthermore, as according to claim 3, wherein the first image processing means to synthesize the first original image while expanding the second reduced image in the same field angle as the first original image Thus, the second original image in a state where the predetermined image processing is performed on the first original image may be generated.
According to a fourth aspect of the present invention, there is provided a photographing record determining means for sequentially determining whether photographing recording is instructed during the repeated execution of the through image display processing by the through image display means. When shooting recording is instructed by the shooting record determining means, shooting recording means for recording a shot image obtained by imaging by the imaging means, and when shooting recording is instructed by the shooting record determining means, Second determination means for determining whether or not execution of predetermined image processing is instructed; and when the second determination means determines that execution of the predetermined image processing is instructed, The first image processing is executed using the captured image obtained by imaging by the imaging unit as the first original image, and the second original image generated by the first image processing is replaced with the captured image. A second control means for recording by the capturing recording means, it may be further provided.

また、請求項5記載のように、前記撮像手段により撮像して得られる撮影画像を圧縮して圧縮画像を生成する圧縮手段を更に備え、前記撮影記録手段は、前記圧縮手段により圧縮された後の圧縮画像を記録し、前記第1の画像処理手段は、前記圧縮手段により圧縮される前の撮影画像に対して前記第1の画像処理を実行するようにしてもよい。 Further, according to a fifth aspect of the present invention, the apparatus further includes a compression unit that generates a compressed image by compressing a captured image obtained by imaging with the imaging unit, and the imaging recording unit is compressed by the compression unit. The compressed image may be recorded, and the first image processing means may execute the first image processing on the photographed image before being compressed by the compression means .

また、請求項6記載のように、前記スルー画像表示手段は、前記撮像手段により撮像して得られる撮影画像を表示用に縮小して表示画像を生成し、この生成された表示画像を画面上に表示させ、前記第2の制御手段は、前記撮像手段により撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を実行させ、前記第1の制御手段は、前記撮像手段により撮像して得られる撮影画像を表示用に縮小した前記表示画像を前記第1の元画像として前記第1の画像処理を実行させるようにしてもよい。 According to a sixth aspect of the present invention, the through image display means generates a display image by reducing a captured image obtained by imaging by the imaging means for display, and displays the generated display image on the screen. The second control means causes the first image processing to be executed by using the captured image obtained by imaging by the imaging means as the first original image, and the first control means The first image processing may be executed with the display image obtained by reducing the captured image obtained by imaging by the imaging unit for display as the first original image .

また、請求項7記載のように、前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像の水平ライン毎に、所定の閾値以上の特徴量を有する連続する画素をグループ化し、全ての水平ラインでグループ化を行った後、垂直方向に隣接するグループ同士を結合して1つの特徴点とするようにしてもよい。 In addition, according to a seventh aspect of the present invention, the first image processing unit calculates a continuous pixel having a feature amount equal to or greater than a predetermined threshold for each horizontal line of the first reduced image obtained by the reduction. After grouping and grouping in all horizontal lines, groups adjacent in the vertical direction may be combined to form one feature point.

また、請求項8記載のように、前記第1の画像処理手段は、特徴点の位置に任意の画像を描画するようにしてもよい。 Further, as described in claim 8, the first image processing means may draw an arbitrary image at the position of the feature point.

また、請求項9記載のように、前記第1の画像処理手段は、放射状に広がる画像を特徴点の中心に描画するようにしてもよい。 According to a ninth aspect of the present invention, the first image processing means may draw a radially expanding image at the center of the feature point.

また、請求項10記載のように、前記第1の画像処理手段は、曲線を含む画像を特徴点の位置に描画するようにしてもよい。 According to a tenth aspect of the present invention, the first image processing means may draw an image including a curve at the position of a feature point.

また、請求項11記載のように、前記第1の画像処理手段は、特徴点の大きさに基づいて拡縮した画像を特徴点の位置に描画するようにしてもよい。 In addition, as described in claim 11, the first image processing means may draw an image scaled based on the size of the feature point at the position of the feature point.

また、請求項12記載のように、前記第1の画像処理手段は、特徴点の水平方向の長さ、垂直方向の長さに基づいて、独立して拡縮した画像を特徴点の位置に描画するようにしてもよい。 According to a twelfth aspect of the present invention, the first image processing unit draws an independently enlarged / reduced image at the position of the feature point based on the horizontal length and the vertical length of the feature point. You may make it do.

また、請求項13記載のように、前記第1の画像処理手段は、特徴点の大きさに基づいて異なる色の画像を特徴点の位置に描画するようにしてもよい。 According to a thirteenth aspect of the present invention, the first image processing unit may draw an image of a different color at the position of the feature point based on the size of the feature point.

また、請求項14記載のように、前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像を元に輝点の位置を検出し、この検出された輝点の位置に任意の画像を描画するようにしてもよい。
また、請求項15記載のように、前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像を元に輪郭部分の位置を検出し、この検出された輪郭部分の位置を強調するようにしてもよい。
Also, as claimed in claim 14, wherein the first image processing means detects a position of the bright spot based on the first reduced image obtained by the reduction, the position of the detected bright spot You may be drawn to any image.
Also, as claimed in claim 15, wherein the first image processing means detects a position of the first based on outline of the reduced image obtained by the reduction, the position of the detected contour portion May be emphasized.

また、請求項18記載の発明による画像効果付与方法は、指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段を備えた撮像装置の制御方法であって、撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示ステップと、前記スルー画像表示ステップにより前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断ステップと、前記第1の判断ステップにより前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示ステップにより画面上に表示させる第1の制御ステップと、を含むことを特徴とするAccording to another aspect of the present invention, the specified first original image is reduced, and the position of a predetermined feature point is detected based on the reduced first image obtained by the reduction. Then, the first image processing for generating the second original image in a state where the predetermined image processing using the position information of the detected feature point is performed on the first original image is executed. A method of controlling an imaging apparatus including a first image processing unit, wherein a through image display step of repeatedly executing a through image display process for displaying a captured image obtained by imaging by an imaging unit on a screen at a predetermined cycle A first determination step for sequentially determining whether or not the execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed in the through image display step; 1 judgment step The first image processing is sequentially executed with the photographed image obtained by sequentially imaging by the imaging means as the first original image while it is determined that execution of the predetermined image processing is instructed by A first control step of displaying the second original image sequentially generated by the first image processing corresponding to each captured image on the screen by the through image display step instead of the captured image It is characterized by including these .

また、請求項19記載の発明による画像効果付与プログラムは、撮像手段を有する撮像装置のコンピュータを、指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段と、前記撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示手段と、前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断手段と、前記第1の判断手段により前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示手段により画面上に表示させる第1の制御手段と、して機能させることを特徴とするAccording to a nineteenth aspect of the present invention, there is provided an image effect imparting program that reduces a first original image designated by a computer of an image pickup apparatus having an image pickup unit, and obtains a first reduced image obtained by the reduction. A second original image in a state where a position of a predetermined feature point is originally detected and predetermined image processing using the position information of the detected feature point is performed on the first original image is performed. First image processing means for executing the first image processing to be generated, and through image display for repeatedly executing a through image display process for displaying a captured image obtained by imaging by the imaging means on a screen at a predetermined cycle And first determination means for sequentially determining whether or not execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed by the through image display means, First While it is determined that execution of the predetermined image processing is instructed by the cutting means, the first image processing is sequentially performed using the captured image obtained by sequentially capturing the image by the imaging means as the first original image. First control to be executed and to display the second original image sequentially generated by the first image processing corresponding to each captured image on the screen by the through image display means instead of the captured image It is characterized by functioning as a means .

本発明によれば、縮小手段によって、撮像手段により撮像された元画像を縮小し、特徴点検出手段によって、縮小された縮小画像を元に特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が元画像に対して施された状態の画像を生成するようにしたので、比較的低速な処理性能であっても、短時間で特徴点の位置情報を利用した所定の画像処理を施すことができ、しかも、撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行している最中に、クロスフィルタ効果などの所定の画像処理の実行が指示された場合であっても、リアルタイムでクロスフィルタ効果などの所定の画像処理を施してスルー画像として表示部に表示させることが可能になるという利点が得られる。 According to the present invention , the reduction unit reduces the original image captured by the imaging unit, the feature point detection unit detects the position of the feature point based on the reduced reduced image, and the detected feature point Since the image with the predetermined image processing using the position information is generated on the original image, the position information of the feature points can be obtained in a short time even if the processing performance is relatively low. While the predetermined image processing that is used can be performed , and the through image display processing for displaying the captured image obtained by imaging by the imaging means on the screen is repeatedly executed at a predetermined cycle, the cross filter even if the execution of the predetermined image processing, such as effect is instructed, when it is possible to display on the display unit as a through image by performing predetermined image processing such as cross filter effect in real time Cormorants advantages are obtained.

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.第1実施形態
A−1.第1実施形態の構成
図1は、本第1実施形態によるデジタルカメラ1の構成を示すブロック図である。画像取得部10は、レンズ11、シャッター12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッター12は、シャッタボタン271が操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行う。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
A. First embodiment A-1. Configuration of First Embodiment FIG. 1 is a block diagram showing a configuration of a digital camera 1 according to the first embodiment. The image acquisition unit 10 includes a lens 11, a shutter 12, and an LPF 13. The lens 11 is a normal optical lens and includes a lens group in which aspherical lenses are stacked. The shutter 12 is a so-called mechanical shutter that is operated by the driver 14 driven by the control unit 20 when the shutter button 271 is operated. Depending on the digital camera, a mechanical shutter may not be provided. In the case of a model equipped with a retractable lens structure and a mechanical zoom, these drivers are also controlled by the driver 14. The LPF 13 is a crystal low-pass filter and is mounted to prevent the occurrence of moire.

次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。   Next, the analog signal processing unit 15 includes an image sensor (CCD, CMOS) 16, a sampling / signal amplification processing unit 17, and an A / D converter 18. The imaging sensor 16 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The sampling / signal amplification processing unit 17 performs correlated double sampling processing and signal amplification processing for suppressing noise and color unevenness. The A / D converter 18 is also called an analog front end, and converts the sampled / amplified analog signal into a digital signal (converts each color of RGB and CMYG into 12-bit data and outputs it to the bus line).

次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ1(撮像装置)の全体を制御する。プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッター操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行う。   Next, the control unit (CPU) 20 controls the entire digital camera 1 (imaging device) according to a program stored in a program memory described later. The preview engine 22 is stored in the image buffer 26 immediately after detection of digital data input via the image acquisition unit 10 or the analog signal processing unit 15 in the recording mode (also referred to as recording mode or photographing mode) or immediately after the shutter operation is detected. Thinning processing is performed in order to display the digital data and the digital data stored in the image memory 31 on the display unit 25.

D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。   The D / A converter 23 converts the digital data thinned out by the preview engine 22 and outputs it to the driver 24 at the subsequent stage. The driver 24 includes a buffer area for temporarily storing digital data displayed on the display unit 25 at the subsequent stage, and drives the display unit 25 based on a control signal input via the key operation unit 27 and the control unit 20. The display unit 25 includes a color TFT liquid crystal, an STN liquid crystal, or the like, and displays a preview image, image data after shooting, a setting menu, and the like.

イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタンや、記録/再生モード選択スライドスイッチ、メニューボタン、十字キー(中央押しで決定)などからなる。   The image buffer 26 temporarily stores digital data immediately after photographing until it is input via the analog signal processing unit 15 or the digital signal processing unit 28 and passed to the digital signal processing unit 28. The key operation unit 27 includes a shutter button, a recording / playback mode selection slide switch, a menu button, a cross key (determined by pressing the center), and the like.

デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータ(非圧縮のイメージデータ:BAYER)に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、RGB形式からYUV形式への変換、YUV形式からJPEG形式への変換を行う。また、デジタル信号処理部28は、画像取得部10およびアナログ信号処理部15により取り込んだ画像データからExif規格に従った画像ファイルを生成する。画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータ(非圧縮のイメージデータ:BAYER)をJPEG方式に圧縮符号化したり、再生モードにおいては、JPEG形式のファイルを伸張したりする。   The digital signal processing unit 28 performs white balance processing, color processing, gradation processing, contour emphasis, RGB format on digital data (uncompressed image data: BAYER) input via the analog signal processing unit 15. To YUV format, and YUV format to JPEG format. The digital signal processing unit 28 also generates an image file according to the Exif standard from the image data captured by the image acquisition unit 10 and the analog signal processing unit 15. The image compression / decompression processing unit 29 compresses and encodes the digital data (uncompressed image data: BAYER) input via the digital signal processing unit 28 into the JPEG format, and in the playback mode, the JPEG format file is encoded. Or stretch.

プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報などを格納する。画像メモリ31は、各種ファイル形式に変換されたデジタルデータを格納する。カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる着脱可能な記録媒体である。外部接続用I/F34は、USBコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。   The program memory 30 stores various programs loaded in the control unit 20, EV values in the best shot function, color correction information, and the like. The image memory 31 stores digital data converted into various file formats. The card I / F 32 controls data exchange between the external recording medium 33 and the imaging apparatus main body. The external recording medium 33 is a detachable recording medium composed of a compact flash (registered trademark), a memory stick, an SD card, or the like. The external connection I / F 34 includes a USB connector slot and the like, is connected to a personal computer or the like, and is used for transferring photographed image data.

次に、図2は、本第1実施形態によるデジタルカメラ1の画像メモリ31のデータ構成を示す概念図である。図において、プレビュー画像(YUV)261は、プレビュー画像(JPEG)263を作成するために一時的に生成される元画像データである。サムネイルYUV262は、サムネイル画像(JPEG)264を作成するために一時的に生成される元画像データである。プレビュー画像(JPEG)263は、プレビュー画像(YUV)261から作成され、保存後に画像をプレビューするために作成される画像データである。サムネイル画像(JPEG)264は、サムネイル画像(YUV)262から作成される画像データである。   Next, FIG. 2 is a conceptual diagram showing a data configuration of the image memory 31 of the digital camera 1 according to the first embodiment. In the figure, a preview image (YUV) 261 is original image data temporarily generated to create a preview image (JPEG) 263. The thumbnail YUV 262 is original image data that is temporarily generated to create a thumbnail image (JPEG) 264. The preview image (JPEG) 263 is image data created from the preview image (YUV) 261 and created for previewing the image after saving. The thumbnail image (JPEG) 264 is image data created from the thumbnail image (YUV) 262.

本画像(JPEG)265は、最終的に保存されるフルサイズの画像データである。第1の縮小画像(YUV)266は、輝点検出のために用いられる画像データである。第2の縮小画像(YUV)267は、クロス画像が描画された画像データである。拡大画像(YUV)268は、上記第2の縮小画像(YUV)267を元画像(YUV)270のサイズに拡大した画像データである。元画像(BAYER)269は、撮像センサ16によって撮影された画像データである。元画像(YUV)270は、上記元画像(BAYER)をYUV形式に変換した画像データである。   The main image (JPEG) 265 is full-size image data that is finally stored. The first reduced image (YUV) 266 is image data used for detecting a bright spot. The second reduced image (YUV) 267 is image data in which a cross image is drawn. The enlarged image (YUV) 268 is image data obtained by enlarging the second reduced image (YUV) 267 to the size of the original image (YUV) 270. The original image (BAYER) 269 is image data captured by the imaging sensor 16. The original image (YUV) 270 is image data obtained by converting the original image (BAYER) into the YUV format.

A−1.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。ここで、図3は、本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。なお、以下では、撮影した画像の輝点を検出し、該輝点にクロスフィルタ効果を付加する画像処理を例に説明する。
A-1. Operation of First Embodiment Next, the operation of the first embodiment described above will be described. Here, FIG. 3 is a flowchart for explaining the operation of the digital camera 1 according to the first embodiment. In the following description, an example of image processing that detects a bright spot of a captured image and adds a cross filter effect to the bright spot will be described.

まず、撮影されると、元画像(BAYER)269を生成して画像メモリ31に格納する(ステップS10)。次に、クロスフィルタ効果を施すか否かを判断する(ステップS12)。なお、クロスフィルタ効果を施すか否かは、撮影前にユーザによって選択可能となっている。そして、クロスフィルタ効果を施さない、すなわち通常の撮影モードになっている場合には、元画像(BAYER)269に対して符号量予測を行うとともに、プレビュー画像(YUV)261を生成して画像メモリ31に一旦保存する(ステップS14)。   First, when an image is taken, an original image (BAYER) 269 is generated and stored in the image memory 31 (step S10). Next, it is determined whether or not to apply a cross filter effect (step S12). Whether or not to apply the cross filter effect can be selected by the user before photographing. When the cross filter effect is not applied, that is, in the normal shooting mode, the code amount is predicted for the original image (BAYER) 269 and a preview image (YUV) 261 is generated to generate an image memory. 31 is temporarily stored (step S14).

次に、上記プレビュー画像(YUV)261を元にプレビュー画像(JPEG)263を生成し、画像メモリ31に保存する(ステップS16)。さらに、プレビュー画像(YUV)261を縮小してサムネイル画像(YUV)262を生成し、画像メモリ31に一旦保存する(ステップS18)。次に、サムネイル画像(YUV)262を元にサムネイル画像(JPEG)264を生成して画像メモリ31に保存し(ステップS20)、上記元画像(BAYER)269を元に本画像(フルサイズ:JPEG)265を生成し、画像メモリ31のプレビュー画像(YUV)261、サムネイル画像(YUV)262に上書き保存する(ステップS22)。   Next, a preview image (JPEG) 263 is generated based on the preview image (YUV) 261 and stored in the image memory 31 (step S16). Further, the thumbnail image (YUV) 262 is generated by reducing the preview image (YUV) 261, and is temporarily stored in the image memory 31 (step S18). Next, a thumbnail image (JPEG) 264 is generated based on the thumbnail image (YUV) 262 and stored in the image memory 31 (step S20), and the main image (full size: JPEG) is generated based on the original image (BAYER) 269. ) 265 is generated and overwritten and saved in the preview image (YUV) 261 and the thumbnail image (YUV) 262 in the image memory 31 (step S22).

一方、クロスフィルタ効果を施すことが選択されている場合には、まず、初期設定を行う(ステップS24)。ここで、図4は、上記初期設定の動作を説明するためのフローチャートである。初期設定では、まず、元画像(BAYER)269の画像サイズによる、輝点を検出するための第1の縮小画像(YUV)266の縮小率を設定し(ステップS40)、元画像(BAYER)269の画質による、第1の縮小画像(YUV)266の縮小率を設定し(ステップS42)、さらに、最終的な元画像(JPEG)265の画質に応じて、拡大画像(YUV)の拡大アルゴリズムを変更する(ステップS44)。   On the other hand, if it is selected to apply the cross filter effect, first, initial setting is performed (step S24). FIG. 4 is a flowchart for explaining the initial setting operation. In the initial setting, first, the reduction ratio of the first reduced image (YUV) 266 for detecting the bright spot according to the image size of the original image (BAYER) 269 is set (step S40), and the original image (BAYER) 269 is set. The reduction ratio of the first reduced image (YUV) 266 is set according to the image quality of the first image (step S42), and the enlargement algorithm for the enlarged image (YUV) is set according to the image quality of the final original image (JPEG) 265. Change (step S44).

初期設定が終了すると、元画像(BAYER)269をYUV形式の元画像(YUV)270に変換し、元画像(BAYER)269に上書き保存し(ステップS26)、該元画像(YUV)270に対して縮小処理を行い、第1の縮小画像(YUV)266を作成して画像メモリ31に保存し(ステップS28)、該第1の縮小画像(YUV)266から輝点を検出する(ステップS30)。なお、輝点の検出手順の詳細については後述する。本第1実施形態では、第1の縮小画像266から輝点を検出するため、輝点であるか否かをチェックすべき画素数が少ない。したがって、短時間で輝点を検出することができる。   When the initial setting is completed, the original image (BAYER) 269 is converted into a YUV format original image (YUV) 270, and is overwritten and saved in the original image (BAYER) 269 (step S26). The first reduced image (YUV) 266 is created and stored in the image memory 31 (step S28), and a bright spot is detected from the first reduced image (YUV) 266 (step S30). . Details of the bright spot detection procedure will be described later. In the first embodiment, since bright spots are detected from the first reduced image 266, the number of pixels to be checked as to whether or not they are bright spots is small. Therefore, a bright spot can be detected in a short time.

上記第1の縮小画像(YUV)266から輝点が検出されると、輝点の座標上にクロス画像を描画した第2の縮小画像(YUV)267を作成して画像メモリ31に保存する(ステップS32)。次に、クロス画像が描画された第2の縮小画像(YUV)267を元画像(YUV)270と同サイズまで拡大して拡大画像(YUV)268として画像メモリ31に保存する(ステップS34)。次に、元画像(YUV)270とクロス画像が描画された拡大画像(YUV)268とを合成し、該合成した画像を元画像(YUV)270として画像メモリ31に上書き保存する(ステップS36)。   When a bright spot is detected from the first reduced image (YUV) 266, a second reduced image (YUV) 267 in which a cross image is drawn on the coordinates of the bright spot is created and stored in the image memory 31 ( Step S32). Next, the second reduced image (YUV) 267 on which the cross image is drawn is enlarged to the same size as the original image (YUV) 270 and stored in the image memory 31 as an enlarged image (YUV) 268 (step S34). Next, the original image (YUV) 270 and the enlarged image (YUV) 268 on which the cross image is drawn are combined, and the combined image is overwritten and saved in the image memory 31 as the original image (YUV) 270 (step S36). .

次に、上記クロスフィルタ効果が付与された元画像(YUV)270に対して符号量予測を行うとともに、プレビュー画像(YUV)261を生成して画像メモリ31に一旦保存する(ステップS38)。次に、通常撮影時と同様に、上記プレビュー画像(YUV)261を元にプレビュー画像(JPEG)263を生成し、画像メモリ31に保存する(ステップS16)。さらに、プレビュー画像(YUV)261を縮小してサムネイル画像(YUV)262を生成し、画像メモリ31に一旦保存する(ステップS18)。   Next, code amount prediction is performed on the original image (YUV) 270 to which the cross filter effect is applied, and a preview image (YUV) 261 is generated and temporarily stored in the image memory 31 (step S38). Next, similarly to the normal shooting, a preview image (JPEG) 263 is generated based on the preview image (YUV) 261 and stored in the image memory 31 (step S16). Further, the thumbnail image (YUV) 262 is generated by reducing the preview image (YUV) 261, and is temporarily stored in the image memory 31 (step S18).

次に、サムネイル画像(YUV)262を元にサムネイル画像(JPEG)264を生成して画像メモリ31に保存し(ステップS20)、上記クロス画像が描画された元画像(YUV)270を元に本画像(JPEG)265を生成し、画像メモリ31のプレビュー画像(YUV)261、サムネイル画像(YUV)262に上書き保存する(ステップS22)。画像メモリ31に保存されたデータのうち、プレビュー画像(JPEG)263、サムネイル画像(JPEG)264、本画像(JPEG)265は、デジタル信号処理部28により、例えばExif規格に従った画像ファイルに変換され、外部記録媒体33に転送され、保存される。   Next, a thumbnail image (JPEG) 264 is generated based on the thumbnail image (YUV) 262 and stored in the image memory 31 (step S20). Based on the original image (YUV) 270 on which the cross image is drawn, An image (JPEG) 265 is generated and overwritten and saved on the preview image (YUV) 261 and thumbnail image (YUV) 262 in the image memory 31 (step S22). Of the data stored in the image memory 31, the preview image (JPEG) 263, the thumbnail image (JPEG) 264, and the main image (JPEG) 265 are converted into, for example, an image file according to the Exif standard by the digital signal processing unit 28. And transferred to the external recording medium 33 and stored.

次に、上述した輝点検出処理について説明する。ここで、図5は、本第1実施形態のデジタルカメラによる輝点検出処理を説明するためのフローチャートである。輝点検出処理では、まず、輝点の閾値を設定するとともに、輝点グループ番号を設定する(ステップS50)。本第1実施形態では、水平方向に隣接する輝点画素を1つの輝点グループとして認識しており、1、2、…と順番に番号を振るようにしている。次に、第1の縮小画像(YUV)266を元に、1ラインずつ、1画素毎に上記閾値より大きい輝度を有する画素であるか、すなわち輝点であるか否かを判断する(ステップS52)。そして、注目画素が輝点であると判断すると、その画素の左隣の画素(1つ前にチェックした画素)も輝点であるか否かを判断する(ステップS54)。そして、左隣の画素が輝点でない場合には、そのまま次にステップS62へ進む。   Next, the bright spot detection process described above will be described. Here, FIG. 5 is a flowchart for explaining the bright spot detection processing by the digital camera of the first embodiment. In the bright spot detection process, first, a bright spot threshold is set and a bright spot group number is set (step S50). In the first embodiment, the bright spot pixels adjacent in the horizontal direction are recognized as one bright spot group, and numbers are assigned in order of 1, 2,... Next, based on the first reduced image (YUV) 266, it is determined whether each pixel is a pixel having a luminance greater than the threshold value, that is, a bright spot, for each pixel (step S52). ). If it is determined that the pixel of interest is a bright spot, it is determined whether the pixel adjacent to the left of the pixel (the pixel checked immediately before) is also a bright spot (step S54). If the pixel on the left is not a bright spot, the process proceeds to step S62.

また、注目画素が輝点でない場合には、その画素の左隣の画素(1つ前にチェックした画素)が輝点であるか否かを判断する(ステップS58)。そして、左隣の画素が輝点でない場合には、そのまま次のステップS62へ進む。   If the pixel of interest is not a bright spot, it is determined whether the pixel adjacent to the left of the pixel (the pixel checked immediately before) is a bright spot (step S58). If the pixel on the left is not a bright spot, the process proceeds directly to the next step S62.

次に、1ライン終了したか否かを判断し(ステップS62)、終了していなければ、ステップS52へ戻り、次の画素に対して上述した処理を繰り返し行う。   Next, it is determined whether or not one line has been completed (step S62). If not completed, the process returns to step S52, and the above-described processing is repeated for the next pixel.

そして、注目画素が輝点であり、かつその左隣の画素も輝点である場合には、その左隣の画素を輝点グループの開始点とする(ステップS56)。また、注目画素が輝点でないものの、その左隣の画像が輝点である場合には、その左隣の画素を輝点グループの終了点とする(ステップS60)。上記輝点の開始点から終了点までが1ライン内における輝点の1つのグループとなる。そして、1ラインに対する処理が終了すると、全ラインに対する処理が終了したか否かを判断し(ステップS64)、終了していなければ、ステップS52へ戻り、次のラインに対して上述した処理を繰り返し行う。以上の処理により、ライン毎に、検出された輝点グループの開始点と終了点とが得られる。   If the target pixel is a bright spot and the pixel on the left side is also a bright spot, the pixel on the left side is set as the start point of the bright spot group (step S56). If the target pixel is not a bright spot but the image on the left is a bright spot, the pixel on the left is the end point of the bright spot group (step S60). From the start point to the end point of the bright spot is one group of bright spots in one line. When the process for one line is completed, it is determined whether or not the process for all lines is completed (step S64). If not completed, the process returns to step S52, and the above process is repeated for the next line. Do. Through the above processing, the start point and end point of the detected bright spot group are obtained for each line.

全ラインに対して輝点の検出が終了すると、垂直方向に隣り合うグループを統合する(ステップS66)。具体的には、図6(a)に示すように、nライン目に、第1の輝点グループ(グループ番号「1」を付けている)と、第2の輝点グループ(グループ番号「2」を付けている)とが検出され、n+1ライン目に、第3の輝点グループ(グループ番号「3」を付けている)と、第4の輝点グループ(グループ番号「4」を付けている)とが検出されている。垂直方向に隣り合うグループの統合では、輝点が垂直方向で隣接する場合、それを1つのグループとしてまとめる。   When the bright spot detection is completed for all the lines, the groups adjacent in the vertical direction are integrated (step S66). Specifically, as shown in FIG. 6A, the first bright spot group (with group number “1”) and the second bright spot group (group number “2”) are assigned to the nth line. ”And the third bright spot group (with group number“ 3 ”) and fourth bright spot group (with group number“ 4 ”) are added to the (n + 1) th line. Is detected). In the integration of groups adjacent in the vertical direction, if bright spots are adjacent in the vertical direction, they are combined as one group.

図6(a)に示すnライン目の第1の輝点グループは、その下のn+1ライン目の第3の輝点グループと隣接しており、nライン目の第2の輝点グループは、その下のn+1ライン目の第4の輝点グループと一部隣接している。したがって、図6(b)に示すように、それぞれが1つのグループとして統合され、第1の輝点グループと、第2の輝点グループとに統合される。   The first bright spot group on the n-th line shown in FIG. 6A is adjacent to the third bright spot group on the n + 1-th line below, and the second bright spot group on the n-th line is It is partially adjacent to the fourth bright spot group on the n + 1th line below. Therefore, as shown in FIG. 6B, each is integrated as one group, and is integrated into the first bright spot group and the second bright spot group.

各グループが統合されると、次に、各グループの垂直サイズ、水平サイズおよび中心位置を更新し(ステップS68)。全グループに対するチェックが終了したか否かを判断し(ステップS70)、終了していなければ、ステップS66へ戻り、次の輝点グループに対して上述した処理を行い、グループの統合を繰り返す。そして、全グループに対するチェック(統合)が終了すると、当該処理を終了する。   When the groups are integrated, the vertical size, horizontal size, and center position of each group are then updated (step S68). It is determined whether or not all groups have been checked (step S70). If not, the process returns to step S66, the above-described processing is performed on the next bright spot group, and group integration is repeated. Then, when the check (integration) for all the groups is finished, the processing is finished.

なお、上述した第1実施形態では、第1の縮小画像(YUV)266を走査して輝点を検出し、該検出した輝点にクロス画像を描画すると説明したが、さらに、輝点の大きさ(輝点を構成する画素数、すなわち面積)に応じて、クロス画像の形態や大きさ、色などを変えるようにしてもよい。図7ないし図9は、様々なクロス画像の例を示す模式図である。   In the above-described first embodiment, it has been described that the first reduced image (YUV) 266 is scanned to detect a bright spot, and a cross image is drawn on the detected bright spot. The shape, size, color, etc. of the cross image may be changed according to the size (the number of pixels constituting the bright spot, that is, the area). 7 to 9 are schematic diagrams illustrating examples of various cross images.

図7(a)〜(c)には、輝点上にクロス画像として十字(基本形)、放射状、星型を描画する様子を示しているが、これ以外にも任意の図形を描画するようにしてもよい。また、図8(a)〜(c)には、輝点の大きさに応じてクロス画像を変化させる様子を示している。また、図9には、輝点およびクロス画像を水平垂直独立して変形させる様子を示している。なお、クロス画像の図形は星型に限定されない。さらに、図10(a)〜(c)には、輝点の大きさに応じて、輝点およびクロス画像の色を変える様子を示している。   FIGS. 7A to 7C show a state where a cross (basic shape), a radial shape, and a star shape are drawn as a cross image on a bright spot, but any other figure may be drawn. May be. 8A to 8C show how the cross image is changed according to the size of the bright spot. FIG. 9 shows how the bright spot and the cross image are deformed independently in the horizontal and vertical directions. In addition, the figure of a cross image is not limited to a star shape. Further, FIGS. 10A to 10C show how the colors of the bright spot and the cross image are changed in accordance with the size of the bright spot.

上述した第1実施形態によれば、撮影直後に元画像から第1の縮小画像を生成し、該第1の縮小画像から輝点を検出し、該輝点上にクロス画像を描画した第2の縮小画像を作成し、その後、第2の縮小画像を拡大して元画像と合成するようにしたので、比較的短い時間でクロスフィルタ効果を付与した画像を作成することができる。このため、処理性能が高速でない機器でもクロスフィルタ機能を搭載することが可能となる。また、次の撮影までの待ち時間を短くなり、操作性を向上させることができる。   According to the first embodiment described above, the first reduced image is generated from the original image immediately after shooting, the bright spot is detected from the first reduced image, and the second image is drawn on the bright spot. Since the second reduced image is enlarged and then synthesized with the original image, an image with a cross filter effect can be created in a relatively short time. For this reason, it is possible to mount a cross filter function even in a device having a high processing performance. In addition, the waiting time until the next shooting can be shortened, and the operability can be improved.

B.第2実施形態
次に、本発明の第2実施形態について説明する。上述したように本発明では、撮影後の画像処理として説明したが、短時間でクロスフィルタ効果を含む画像処理が可能となる。そこで、本第2実施形態では、撮像センサ16から取り込んだ画像にリアルタイムでクロスフィルタ効果などの画像処理を施してスルー画像として表示部25に表示することを特徴としている。なお、デジタルカメラ1の構成については、図1と同様であるので説明を省略する。
B. Second Embodiment Next, a second embodiment of the present invention will be described. As described above, the present invention has been described as image processing after photographing, but image processing including a cross filter effect can be performed in a short time. Therefore, the second embodiment is characterized in that an image captured from the image sensor 16 is subjected to image processing such as a cross filter effect in real time and is displayed on the display unit 25 as a through image. The configuration of the digital camera 1 is the same as that shown in FIG.

図11は、本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、撮像モジュール(画像取得部10、アナログ信号処理部15)を起動し撮像モジュールから間引きした元画像(BAYER)269を生成する(ステップS100)。次に、縮小処理を行ってスルー画像を作成し(ステップS102)、クロスフィルタ効果を施すか否かを判断する(ステップS104)。   FIG. 11 is a flowchart for explaining the operation of the digital camera according to the second embodiment. First, the imaging module (the image acquisition unit 10 and the analog signal processing unit 15) is activated to generate an original image (BAYER) 269 thinned out from the imaging module (step S100). Next, reduction processing is performed to create a through image (step S102), and it is determined whether or not to apply a cross filter effect (step S104).

そして、クロスフィルタ効果を施さない、すなわち通常の撮影モードになっている場合には、上記スルー画像をプレビューエンジン22により表示部25にスルー表示させる(ステップS106)。次に、シャッターが押下されたか否かを判断し(ステップS108)、押下されていなければ、ステップS100へ戻り、上述した動作を繰り返し実行する。一方、シャッターが押下された場合には、前述した第1実施形態で説明した図2に示すフローチャートへ移行する。   When the cross filter effect is not applied, that is, in the normal shooting mode, the through image is displayed on the display unit 25 by the preview engine 22 (step S106). Next, it is determined whether or not the shutter has been pressed (step S108). If not, the process returns to step S100 to repeatedly execute the above-described operation. On the other hand, when the shutter is pressed, the process proceeds to the flowchart shown in FIG. 2 described in the first embodiment.

一方、クロスフィルタ効果を施すことが選択されている場合には、まず、前述した初期設定を行い(ステップS110)、初期設定が終了すると、スルー画像をYUV形式に変換し(ステップS112)、縮小処理を行って第1の縮小画像(YUV)266を作成し(ステップS114)、該第1の縮小画像(YUV)266から輝点を検出する(ステップS116)。上記第1の縮小画像(YUV)266から輝点が検出されると、輝点の座標上にクロス画像を描画し、第2の縮小画像(YUV)267として画像メモリ31に保存する(ステップS118)。   On the other hand, when the application of the cross filter effect is selected, first, the above-described initial setting is performed (step S110). When the initial setting is completed, the through image is converted into the YUV format (step S112) and reduced. Processing is performed to create a first reduced image (YUV) 266 (step S114), and a bright spot is detected from the first reduced image (YUV) 266 (step S116). When a bright spot is detected from the first reduced image (YUV) 266, a cross image is drawn on the coordinates of the bright spot and stored in the image memory 31 as the second reduced image (YUV) 267 (step S118). ).

次に、クロス画像が描画された第2の縮小画像(YUV)267をスルー画像(YUV)と同サイズまで拡大し(ステップS120)、スルー画像(YUV)とクロス画像が描画された拡大画像(YUV)268とを合成する(ステップS122)。次に、上記合成したスルー画像をプレビューエンジン22により表示部25にスルー表示させ(ステップS106)、シャッターが押下されたか否かを判断し(ステップS108)、押下されていなければ、ステップS100へ戻り、上述した動作を繰り返し実行する。一方、シャッターが押下された場合には、前述した第1実施形態で説明した図2に示すフローチャートへ移行する。   Next, the second reduced image (YUV) 267 on which the cross image is drawn is enlarged to the same size as the through image (YUV) (step S120), and the enlarged image (YUV) and the cross image on which the cross image is drawn ( YUV) 268 is synthesized (step S122). Next, the synthesized through image is displayed on the display unit 25 through the preview engine 22 (step S106), and it is determined whether or not the shutter is pressed (step S108). If not, the process returns to step S100. The above-described operation is repeatedly executed. On the other hand, when the shutter is pressed, the process proceeds to the flowchart shown in FIG. 2 described in the first embodiment.

上述した第2実施形態によれば、縮小した第1の縮小画像を元に輝点を検出してクロス画像を描画することにより、短時間でクロスフィルタ効果を付与することが可能であるので、撮像センサ16から取り込んだ画像にリアルタイムでクロスフィルタ効果などの画像処理を施してスルー画像として表示部25に表示することができる。これにより、撮影前であっても、どのような効果が得られるかを容易に知ることができ、撮影ミス、意図しない撮影などを削減することができる。   According to the second embodiment described above, it is possible to provide a cross filter effect in a short time by detecting a bright spot based on the reduced first reduced image and drawing a cross image. An image captured from the image sensor 16 can be subjected to image processing such as a cross filter effect in real time and displayed on the display unit 25 as a through image. Thereby, it is possible to easily know what kind of effect can be obtained even before photographing, and it is possible to reduce photographing mistakes and unintended photographing.

なお、上述した第1または第2実施形態においては、クロスフィルタ効果についてのみ説明したが、これに限らず、例えば、輪郭強調効果、レンズフレア効果、ハロー効果、フラッシュライト効果、エンボス効果、タイル効果、波紋効果などを付加する画像処理を施すようにしてもよい。例えば、上記輪郭強調効果では、第1の縮小画像を元に輪郭部分を検出し、検出した輪郭部分を強調する画像処理を施した第2の縮小画像を作成し、該第2の縮小画像を拡大して元画像と合成すればよい。   In the first or second embodiment described above, only the cross filter effect has been described. However, the present invention is not limited to this. For example, the contour enhancement effect, the lens flare effect, the halo effect, the flashlight effect, the embossing effect, and the tile effect. Alternatively, image processing for adding a ripple effect or the like may be performed. For example, in the above contour emphasis effect, a contour portion is detected based on the first reduced image, a second reduced image subjected to image processing for enhancing the detected contour portion is created, and the second reduced image is What is necessary is just to enlarge and synthesize | combine with the original image.

本発明の第1実施形態によるデジタルカメラ1の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a digital camera 1 according to a first embodiment of the present invention. 本第1実施形態によるデジタルカメラの画像メモリ31のデータ構成を示す概念図である。It is a conceptual diagram which shows the data structure of the image memory 31 of the digital camera by this 1st Embodiment. 本第1実施形態による携帯電話1の動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the mobile phone 1 according to the first embodiment. 本第1実施形態のデジタルカメラによる初期設定の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement of the initial setting by the digital camera of this 1st Embodiment. 本第1実施形態のデジタルカメラによる輝点検出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the bright spot detection process by the digital camera of the 1st embodiment. 本第1実施形態のデジタルカメラによる輝点検出の原理を説明するための概念図である。It is a conceptual diagram for demonstrating the principle of the bright spot detection by the digital camera of this 1st Embodiment. 本第1実施形態による撮像装置において輝点上にクロス画像として十字(基本形)、放射状、星型を描画する例を示す模式図である。It is a schematic diagram which shows the example which draws a cross (basic form), radial form, and star shape as a cross image on a luminescent point in the imaging device by this 1st Embodiment. 本第1実施形態による撮像装置において輝点の大きさに応じてクロス画像を変化させる例を示す模式図である。It is a schematic diagram which shows the example which changes a cross image according to the magnitude | size of a bright spot in the imaging device by this 1st Embodiment. 本第1実施形態による撮像装置において輝点およびクロス画像を水平垂直独立して変形させる例を示す模式図である。It is a schematic diagram which shows the example which transforms a bright spot and a cross image independently in horizontal and vertical in the imaging device by this 1st Embodiment. 本第1実施形態による撮像装置において輝点の大きさに応じてクロス画像自体の大きさを変える例を示す模式図である。It is a schematic diagram which shows the example which changes the magnitude | size of cross image itself according to the magnitude | size of a bright spot in the imaging device by this 1st Embodiment. 本発明の第2実施形態の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of 2nd Embodiment of this invention.

符号の説明Explanation of symbols

10 画像取得部
11 レンズ
12 シャッター
13 LPF
14 ドライバ
15 アナログ信号処理部
16 撮像センサ(撮像手段)
17 サンプリング/信号増幅処理部
18 A/Dコンバータ
20 制御部
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部
26 イメージバッファ
27 キー操作部
28 デジタル信号処理部(縮小手段、特徴点検出手段、画像処理手段、拡大手段、合成手段)
29 画像圧縮/伸張処理部
30 プログラムメモリ
31 画像メモリ
32 カードI/F
33 外部記録媒体
34 外部接続I/F
10 Image Acquisition Unit 11 Lens 12 Shutter 13 LPF
14 Driver 15 Analog Signal Processing Unit 16 Imaging Sensor (Imaging Means)
17 Sampling / Signal Amplification Processing Unit 18 A / D Converter 20 Control Unit 22 Preview Engine 23 D / A Converter 24 Driver 25 Display Unit 26 Image Buffer 27 Key Operation Unit 28 Digital Signal Processing Unit (Reduction Unit, Feature Point Detection Unit, Image Processing means, enlargement means, synthesis means)
29 Image compression / decompression processing unit 30 Program memory 31 Image memory 32 Card I / F
33 External recording medium 34 External connection I / F

Claims (17)

撮像手段と、
指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段と、
前記撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示手段と、
前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断手段と、
前記第1の判断手段により前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示手段により画面上に表示させる第1の制御手段と、
を具備することを特徴とする撮像装置。
Imaging means;
Reducing the first original image designated, to detect the position of the predetermined feature point on the basis of the first reduced image obtained in this reduced, using the position information of the feature points detected predetermined First image processing means for executing a first image processing for generating a second original image in a state where the image processing is applied to the first original image;
Through image display means for repeatedly executing a through image display process for displaying a captured image obtained by imaging by the imaging means on a screen at a predetermined cycle;
First determination means for sequentially determining whether execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed by the through image display means;
While it is determined that the execution of the predetermined image processing is instructed by the first determination unit, a captured image obtained by sequentially imaging by the imaging unit is used as the first original image as the first original image. Image processing is sequentially executed, and the second original image sequentially generated by the first image processing corresponding to each captured image is displayed on the screen by the through image display means instead of the captured image. First control means;
An imaging apparatus comprising:
前記第1の画像処理手段は、前記第1の縮小画像を対象として前記所定の画像処理を施すことで第2の縮小画像を生成し、この生成された第2の縮小画像を前記第1の元画像に合成することにより、前記所定の画像処理が前記第1の元画像に対して施された状態である前記第2の元画像を生成することを特徴とする請求項1記載の撮像装置。 The first image processing means, the first reduced image to generate a second reduced image by performing predetermined image processing as target, the second reduced image of the first of the generated The imaging apparatus according to claim 1, wherein the second original image in a state where the predetermined image processing is performed on the first original image is generated by combining the original image with the original image. . 前記第1の画像処理手段は、前記第2の縮小画像を前記第1の元画像と同じ画角に拡大するとともに前記第1の元画像に合成することにより、前記所定の画像処理が前記第1の元画像に対して施された状態である前記第2の元画像を生成することを特徴とする請求項2記載の撮像装置。 The first image processing means, by combining the second reduced image on the first original image while enlarging the same angle as the first original image, said predetermined image processing is the first The imaging apparatus according to claim 2, wherein the second original image in a state applied to one original image is generated. 前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、撮影記録が指示されているか否かを逐次判断する撮影記録判断手段と、
前記撮影記録判断手段により撮影記録が指示された際に、前記撮像手段により撮像して得られる撮影画像を記録する撮影記録手段と、
前記撮影記録判断手段により撮影記録が指示された際に、前記所定の画像処理の実行が指示されているか否かを判断する第2の判断手段と、
前記第2の判断手段により前記所定の画像処理の実行が指示されていると判断された場合は、前記撮像手段により撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を実行させ、該第1の画像処理により生成された前記第2の元画像を前記撮影画像に代えて、前記撮影記録手段により記録させる第2の制御手段と、
を更に備えたことを特徴とする請求項1乃至3記載の撮像装置。
Shooting record determination means for sequentially determining whether shooting recording is instructed while the through image display processing is repeatedly executed by the through image display means;
Shooting recording means for recording a shot image obtained by imaging by the imaging means when shooting recording is instructed by the shooting record determining means;
Second determination means for determining whether or not execution of the predetermined image processing is instructed when imaging recording is instructed by the imaging record determination means;
When it is determined by the second determination means that execution of the predetermined image processing is instructed, the first image is taken as the first original image, which is a captured image obtained by imaging by the imaging means. Second control means for executing processing, and recording the second original image generated by the first image processing by the photographing recording means instead of the photographed image;
The imaging apparatus according to claim 1, further comprising:
前記撮像手段により撮像して得られる撮影画像を圧縮して圧縮画像を生成する圧縮手段を更に備え、A compression unit that compresses a captured image obtained by imaging by the imaging unit to generate a compressed image;
前記撮影記録手段は、前記圧縮手段により圧縮された後の圧縮画像を記録し、The photographing recording means records a compressed image after being compressed by the compression means,
前記第1の画像処理手段は、前記圧縮手段により圧縮される前の撮影画像に対して前記第1の画像処理を実行することを特徴とする請求項4記載の撮像装置。The imaging apparatus according to claim 4, wherein the first image processing unit performs the first image processing on a captured image before being compressed by the compression unit.
前記スルー画像表示手段は、前記撮像手段により撮像して得られる撮影画像を表示用に縮小して表示画像を生成し、この生成された表示画像を画面上に表示させ、The through image display means generates a display image by reducing a captured image obtained by imaging by the imaging means for display, and displays the generated display image on a screen.
前記第2の制御手段は、前記撮像手段により撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を実行させ、前記第1の制御手段は、前記撮像手段により撮像して得られる撮影画像を表示用に縮小した前記表示画像を前記第1の元画像として前記第1の画像処理を実行させることを特徴とする請求項4または5記載の撮像装置。The second control unit causes the first image processing to be performed by using the captured image obtained by imaging by the imaging unit as the first original image, and the first control unit performs imaging by the imaging unit. 6. The imaging apparatus according to claim 4, wherein the first image processing is executed by using the display image obtained by reducing the captured image obtained for display as the first original image.
前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像の水平ライン毎に、所定の閾値以上の特徴量を有する連続する画素をグループ化し、全ての水平ラインでグループ化を行った後、垂直方向に隣接するグループ同士を結合して1つの特徴点とすることを特徴とする請求項1乃至6のいずれかに記載の撮像装置。 The first image processing means groups consecutive pixels having a feature amount equal to or greater than a predetermined threshold for each horizontal line of the first reduced image obtained by the reduction, and groups them in all horizontal lines. The imaging apparatus according to claim 1, wherein after performing the above, groups adjacent in the vertical direction are combined into one feature point. 前記第1の画像処理手段は、特徴点の位置に任意の画像を描画することを特徴とする請求項1乃至7のいずれかに記載の撮像装置。 The imaging apparatus according to claim 1, wherein the first image processing unit draws an arbitrary image at a position of a feature point. 前記第1の画像処理手段は、放射状に広がる画像を特徴点の中心に描画することを特徴とする請求項8記載の撮像装置。 9. The imaging apparatus according to claim 8, wherein the first image processing means draws a radially expanding image at the center of the feature point. 前記第1の画像処理手段は、曲線を含む画像を特徴点の位置に描画することを特徴とする請求項8記載の撮像装置。 The imaging apparatus according to claim 8, wherein the first image processing unit draws an image including a curve at a position of a feature point. 前記第1の画像処理手段は、特徴点の大きさに基づいて拡縮した画像を特徴点の位置に描画することを特徴とする請求項8記載の撮像装置。 9. The image pickup apparatus according to claim 8, wherein the first image processing means draws an image scaled based on the size of the feature point at the position of the feature point. 前記第1の画像処理手段は、特徴点の水平方向の長さ、垂直方向の長さに基づいて、独立して拡縮した画像を特徴点の位置に描画することを特徴とする請求項8記載の撮像装置。 9. The first image processing means draws an independently enlarged / reduced image at a position of a feature point based on a horizontal length and a vertical length of the feature point. Imaging device. 前記第1の画像処理手段は、特徴点の大きさに基づいて異なる色の画像を特徴点の位置に描画することを特徴とする請求項8記載の撮像装置。 9. The imaging apparatus according to claim 8, wherein the first image processing unit draws an image of a different color at the position of the feature point based on the size of the feature point. 前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像を元に輝点の位置を検出し、この検出された輝点の位置に任意の画像を描画することを特徴とする請求項1乃至8のいずれかに記載の撮像装置。 The first image processing means, characterized in that said reduced detects the position of the bright spot based on the first reduced image obtained, to draw an arbitrary image on the position of the detected bright spot An imaging apparatus according to any one of claims 1 to 8. 前記第1の画像処理手段は、前記縮小して得られた第1の縮小画像を元に輪郭部分の位置を検出し、この検出された輪郭部分の位置を強調することを特徴とする請求項1乃至8のいずれかに記載の撮像装置。 The first image processing means, according to claim, wherein the reduced detect the position of the outline portion based on the first reduced image obtained, characterized in that it emphasizes the position of the detected contour portion The imaging device according to any one of 1 to 8. 指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段を備えた撮像装置の制御方法であって、The specified first original image is reduced, the position of the predetermined feature point is detected based on the first reduced image obtained by the reduction, and the predetermined feature point position information is used. A method for controlling an imaging apparatus including a first image processing unit that executes a first image process for generating a second original image in a state where the first image process is performed on the first original image. There,
撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示ステップと、A through image display step of repeatedly executing a through image display process for displaying a captured image obtained by imaging by an imaging unit on a screen;
前記スルー画像表示ステップにより前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断ステップと、A first determination step of sequentially determining whether or not execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed in the through image display step;
前記第1の判断ステップにより前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示ステップにより画面上に表示させる第1の制御ステップと、While it is determined that the execution of the predetermined image processing is instructed in the first determination step, a captured image obtained by sequentially capturing images by the imaging unit is used as the first original image as the first original image. Image processing is sequentially performed, and the second original image sequentially generated by the first image processing corresponding to each captured image is displayed on the screen by the through image display step instead of the captured image. A first control step;
を含むことを特徴とする画像効果付与方法。An image effect imparting method comprising:
撮像手段を有する撮像装置のコンピュータを、A computer of an imaging apparatus having an imaging means
指定された第1の元画像を縮小し、この縮小して得られた第1の縮小画像を元に所定の特徴点の位置を検出し、この検出された特徴点の位置情報を利用した所定の画像処理が前記第1の元画像に対して施された状態である第2の元画像を生成する第1の画像処理を実行する第1の画像処理手段と、The specified first original image is reduced, the position of the predetermined feature point is detected based on the first reduced image obtained by the reduction, and the predetermined feature point position information is used. First image processing means for executing a first image processing for generating a second original image in a state where the image processing is applied to the first original image;
前記撮像手段により撮像して得られる撮影画像を画面上に表示させるスルー画像表示処理を所定の周期で繰り返し実行するスルー画像表示手段と、Through image display means for repeatedly executing a through image display process for displaying a captured image obtained by imaging by the imaging means on a screen at a predetermined cycle;
前記スルー画像表示手段により前記スルー画像表示処理を繰り返し実行している最中に、前記所定の画像処理の実行が指示されているか否かを逐次判断する第1の判断手段と、First determination means for sequentially determining whether execution of the predetermined image processing is instructed while the through image display processing is being repeatedly executed by the through image display means;
前記第1の判断手段により前記所定の画像処理の実行が指示されていると判断されている間、前記撮像手段により逐次撮像して得られる撮影画像を前記第1の元画像として前記第1の画像処理を逐次実行させ、各撮影画像に対応して前記第1の画像処理により逐次生成される前記第2の元画像を前記撮影画像に代えて、前記スルー画像表示手段により画面上に表示させる第1の制御手段と、While it is determined that the execution of the predetermined image processing is instructed by the first determination unit, a captured image obtained by sequentially imaging by the imaging unit is used as the first original image as the first original image. Image processing is sequentially executed, and the second original image sequentially generated by the first image processing corresponding to each captured image is displayed on the screen by the through image display means instead of the captured image. First control means;
して機能させることを特徴とする画像効果付与プログラム。An image effect providing program characterized by causing the function to function.
JP2005021078A 2005-01-28 2005-01-28 Imaging apparatus, image effect applying method, and image effect applying program Active JP4683190B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005021078A JP4683190B2 (en) 2005-01-28 2005-01-28 Imaging apparatus, image effect applying method, and image effect applying program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005021078A JP4683190B2 (en) 2005-01-28 2005-01-28 Imaging apparatus, image effect applying method, and image effect applying program

Publications (3)

Publication Number Publication Date
JP2006211321A JP2006211321A (en) 2006-08-10
JP2006211321A5 JP2006211321A5 (en) 2007-11-29
JP4683190B2 true JP4683190B2 (en) 2011-05-11

Family

ID=36967681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005021078A Active JP4683190B2 (en) 2005-01-28 2005-01-28 Imaging apparatus, image effect applying method, and image effect applying program

Country Status (1)

Country Link
JP (1) JP4683190B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5125478B2 (en) * 2007-12-19 2013-01-23 株式会社ニコン Imaging apparatus and image effect providing program
JP4935665B2 (en) * 2007-12-19 2012-05-23 株式会社ニコン Imaging apparatus and image effect providing program
JP5185027B2 (en) * 2008-09-01 2013-04-17 オリンパスイメージング株式会社 Image display device, imaging device, image display method, and imaging method
JP5537283B2 (en) * 2010-06-23 2014-07-02 オリンパスイメージング株式会社 Imaging apparatus, image processing method, and image processing program
JP5555076B2 (en) * 2010-07-01 2014-07-23 オリンパスイメージング株式会社 Imaging apparatus, image processing apparatus, and image processing method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282449A (en) * 1996-04-12 1997-10-31 Matsushita Electric Ind Co Ltd Image processor
JPH11284860A (en) * 1998-01-28 1999-10-15 Konica Corp Image processing method, image processing unit and recording medium recording image processing program and read by computer
JP2001238094A (en) * 2000-02-25 2001-08-31 Canon Inc Image processor and image reproducing device
JP2003189169A (en) * 2001-09-27 2003-07-04 Fuji Photo Film Co Ltd Image processing apparatus
JP2004080417A (en) * 2002-08-19 2004-03-11 Fuji Photo Film Co Ltd Digital camera with image composite function
JP2004297754A (en) * 2003-02-03 2004-10-21 Tatsumi Denshi Kogyo Kk Automatic photograph making apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282449A (en) * 1996-04-12 1997-10-31 Matsushita Electric Ind Co Ltd Image processor
JPH11284860A (en) * 1998-01-28 1999-10-15 Konica Corp Image processing method, image processing unit and recording medium recording image processing program and read by computer
JP2001238094A (en) * 2000-02-25 2001-08-31 Canon Inc Image processor and image reproducing device
JP2003189169A (en) * 2001-09-27 2003-07-04 Fuji Photo Film Co Ltd Image processing apparatus
JP2004080417A (en) * 2002-08-19 2004-03-11 Fuji Photo Film Co Ltd Digital camera with image composite function
JP2004297754A (en) * 2003-02-03 2004-10-21 Tatsumi Denshi Kogyo Kk Automatic photograph making apparatus

Also Published As

Publication number Publication date
JP2006211321A (en) 2006-08-10

Similar Documents

Publication Publication Date Title
US7689108B2 (en) Imaging apparatus, data extraction method, and data extraction program
US20050225650A1 (en) Image-capturing device
KR101256326B1 (en) Image capturing apparatus, image capturing method, and storage medium storing program for image capturing
JP5014099B2 (en) Imaging apparatus and control method thereof
JP2008022240A (en) Photographing device, image processor, image file generating method, image processing method, and image processing program
JP2013520934A (en) Portable imaging device having a display with improved visibility under adverse conditions
WO2016008359A1 (en) Object movement track image synthesizing method, device and computer storage medium
KR101556931B1 (en) Apparatus and method for processing image data
JP5156991B2 (en) Imaging apparatus, imaging method, and imaging program
JP4683190B2 (en) Imaging apparatus, image effect applying method, and image effect applying program
JP4735166B2 (en) Image display apparatus and program
JP2008109305A (en) Image processing device, and control method of image processing device
JP4609315B2 (en) Imaging device, method of displaying angle frame at zoom, and program
JP5316869B2 (en) Image processing apparatus, image processing method, and program
JP5392336B2 (en) Imaging apparatus, imaging method, and imaging program
JP4299753B2 (en) Image signal processing apparatus and image signal processing method
JP4678273B2 (en) Imaging apparatus, moving image storage method, and moving image storage program
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP4429148B2 (en) Image photographing and recording apparatus and method
JP5136335B2 (en) CAMERA DEVICE, IMAGE CUTTING METHOD, PROGRAM
JP4404200B2 (en) Imaging apparatus and image file generation program
JP2007228233A (en) Photographic device
JP5195317B2 (en) Camera device, photographing method, and photographing control program
JP2008172653A (en) Imaging apparatus, image management method, and program
JP2003244507A (en) Digital camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4683190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150