JP4759488B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4759488B2
JP4759488B2 JP2006282289A JP2006282289A JP4759488B2 JP 4759488 B2 JP4759488 B2 JP 4759488B2 JP 2006282289 A JP2006282289 A JP 2006282289A JP 2006282289 A JP2006282289 A JP 2006282289A JP 4759488 B2 JP4759488 B2 JP 4759488B2
Authority
JP
Japan
Prior art keywords
image
resolution
circuit
super
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006282289A
Other languages
Japanese (ja)
Other versions
JP2008103797A (en
Inventor
紗央里 法田
正明 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006282289A priority Critical patent/JP4759488B2/en
Publication of JP2008103797A publication Critical patent/JP2008103797A/en
Application granted granted Critical
Publication of JP4759488B2 publication Critical patent/JP4759488B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、撮像画像を表示する表示手段を制御する機能を有する撮像装置に関するものである。   The present invention relates to an imaging apparatus having a function of controlling display means for displaying a captured image.

近年のデジタルカメラなどの電子カメラに使用される撮像素子の画素数は、数百万画素から1000万画素を超えるサイズになっている。一方、電子カメラに設けられている表示装置である液晶モニターの画素数は数十万画素にしかすぎない。   The number of pixels of an image sensor used in an electronic camera such as a digital camera in recent years is a size exceeding several million to over 10 million pixels. On the other hand, the number of pixels of a liquid crystal monitor which is a display device provided in an electronic camera is only several hundred thousand pixels.

このように画素数の少ない液晶モニターを見ながらマニュアルフォーカスで撮影する場合、液晶モニターの画素数が少ないためにピント状態を十分に確認することができない。このため、撮影画像をパソコン上で表示したり、プリンタで印画したりして初めてピントの合っていないことが判る場合がある。   Thus, when shooting with manual focus while looking at a liquid crystal monitor with a small number of pixels, the focus state cannot be sufficiently confirmed due to the small number of pixels on the liquid crystal monitor. For this reason, it may be found that the image is not in focus only after the captured image is displayed on a personal computer or printed with a printer.

上記の点に鑑み、特許文献1では以下のような対策が開示されている。電子ビューファインダを見ながらマニュアルフォーカスを行う際に、その画面上において撮像画像を表示すると同時に、フォーカス領域に対応する画像部分を拡大表示させるというものである。
特開2001−251540号公報
In view of the above points, Patent Document 1 discloses the following countermeasures. When manual focusing is performed while looking at the electronic viewfinder, the captured image is displayed on the screen, and at the same time, the image portion corresponding to the focus area is enlarged and displayed.
JP 2001-251540 A

しかしながら、拡大表示されたフォーカス領域は解像度の劣化が伴うため、ユーザーは撮像画像のピント状態を確実に認識できないという問題点があった。   However, there is a problem in that the focus area displayed in an enlarged manner is accompanied by deterioration in resolution, so that the user cannot reliably recognize the focus state of the captured image.

(発明の目的)
本発明の目的は、撮像手段により撮像された第1の画像の一部の解像度を第1の画像より向上させて表示させることのできる撮像装置を提供しようとするものである。
(Object of invention)
An object of the present invention is to provide an imaging apparatus capable of displaying a resolution of a part of a first image captured by an imaging unit with a higher resolution than the first image.

上記目的を達成するために、本発明の一の側面は、撮像手段により撮像された第1の画像および該第1の画像の一部領域に対応する第2の画像を表示手段に表示させる撮像装置において、前記第1の画像の一部領域を切り出す切り出し手段と、前記第1の画像のコントラストを検出する合焦状態検出手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、前記合焦状態検出手段により検出されるコントラストが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第1の場合よりも高い第2の場合には前記第3の画像を記表示手段に表示させる制御手段とを有する撮像装置とするものである。
また、他の側面は、撮像手段により撮像された第1の画像に対応する画像を表示手段に表示させる撮像装置において、前記第1の画像の一部領域を切り出す切り出し手段と、前記第1の画像における被写体の動きを検出する動き検出手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、前記動き検出手段により検出される被写体の動きが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第1の場合よりも小さい第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置とするものである。
In order to achieve the above object, according to one aspect of the present invention, there is provided imaging for causing a display unit to display a first image captured by an imaging unit and a second image corresponding to a partial region of the first image. In the apparatus, a cutout unit that cuts out a partial region of the first image, a focus state detection unit that detects a contrast of the first image, and one of the first images cut out by the cutout unit. Super-resolution processing means for synthesizing a plurality of images from the second image corresponding to the partial area to create a third image having a higher resolution than the first image; and the first image cut out by the cut-out means. A scaling process means for enlarging an image corresponding to a partial area of the image to create a fourth image, and the contrast detected by the in-focus state detecting means in the first case 4 images are displayed on the display means. Together is, in the case of the higher second than the contrast to be detected is first by said focus state detecting means is an imaging device having a control means for displaying the third image before Symbol display means Is.
According to another aspect of the present invention, there is provided an imaging apparatus that causes the display unit to display an image corresponding to the first image captured by the imaging unit, and a clipping unit that crops a partial region of the first image ; From the first image, a plurality of images are synthesized from a second image corresponding to a partial region of the first image cut out by the cut-out means and a movement detection unit that detects the movement of the subject in the image. Super-resolution processing means for creating a third image with high resolution, and enlargement processing is performed on an image corresponding to a partial area of the first image cut out by the cutting-out means, and a fourth image is obtained. When the movement of the subject detected by the scaling processing means to be created and the motion detection means is the first, the fourth image is displayed on the display means, and the motion detected by the motion detection means First place In the case of smaller second than is to an imaging apparatus characterized by a control means for displaying the third image on the display means.

本発明によれば、撮像手段により撮像された第1の画像の一部の解像度を第1の画像より向上させて表示させることができる撮像装置とするものである。   According to the present invention, an imaging apparatus capable of displaying a part of the first image captured by the imaging unit with a resolution higher than that of the first image is provided.

本発明を実施するための最良の形態は、以下の実施例に示す通りである。   The best mode for carrying out the present invention is as shown in the following examples.

図1は本発明の実施例1に係る撮像装置のシステム構成を示す図である。図1において、101は撮像用のレンズ、102はレンズ101を駆動して合焦を行うフォーカス駆動回路、103は絞り、104は絞り103を駆動する絞り駆動回路、105は光信号を光電変換する撮像素子である。106はアナログ信号をデジタル信号に変換するA/D回路、107は補間処理や色変換処理などの画像処理を行う信号処理回路、108及び127は画像データの縮小や拡大を行う変倍回路である。109は合焦の程度を検出する合焦状態検出回路、110は被写体の動きベクトルを検知する動きベクトル検出回路、112はカメラ本体に付属している各種スイッチである。   FIG. 1 is a diagram illustrating a system configuration of the imaging apparatus according to the first embodiment of the present invention. In FIG. 1, 101 is an imaging lens, 102 is a focus driving circuit for driving and focusing the lens 101, 103 is a diaphragm, 104 is a diaphragm driving circuit for driving the diaphragm 103, and 105 is a photoelectric converter for optical signals. It is an image sensor. Reference numeral 106 denotes an A / D circuit that converts an analog signal into a digital signal, reference numeral 107 denotes a signal processing circuit that performs image processing such as interpolation processing and color conversion processing, and reference numerals 108 and 127 denote scaling circuits that reduce or enlarge image data. . Reference numeral 109 denotes an in-focus state detection circuit that detects the degree of in-focus, 110 denotes a motion vector detection circuit that detects a motion vector of the subject, and 112 denotes various switches attached to the camera body.

115はシステムの時系列的な制御を行うシステム制御回路であり、このシステム制御回路115は図示していない他の回路についても制御を行う。116は画像データから一部の画像を切り出す切り出し回路、117は切り出し回路116により切り出された画像の超解像処理を行う超解像回路である。123はDRAM、118はDRAM123と各回路のバスアービトレーション(バス調停)を行うメモリ制御回路、119は画像データをJPEG圧縮方式などの圧縮方式で圧縮及び伸長するための圧縮伸長回路である。120は圧縮伸長回路119で圧縮された画像データを記録する脱着可能なメモリカード、124はメモリカード120とのインターフェースを行うI/F回路である。122は画像データを表示する液晶モニター(以下、LCD)、121はLCD122で画像データを再生するための再生回路である。   Reference numeral 115 denotes a system control circuit that performs time-series control of the system. The system control circuit 115 also controls other circuits that are not shown. Reference numeral 116 denotes a cut-out circuit that cuts out a part of the image from the image data. Reference numeral 117 denotes a super-resolution circuit that performs super-resolution processing on the image cut out by the cut-out circuit 116. 123 is a DRAM, 118 is a memory control circuit for performing bus arbitration with the DRAM 123, and 119 is a compression / decompression circuit for compressing and decompressing image data by a compression method such as a JPEG compression method. Reference numeral 120 denotes a detachable memory card that records image data compressed by the compression / decompression circuit 119, and 124 denotes an I / F circuit that interfaces with the memory card 120. Reference numeral 122 denotes a liquid crystal monitor (hereinafter referred to as LCD) for displaying image data, and 121 denotes a reproduction circuit for reproducing image data on the LCD 122.

次に、図1を用いて、実施例1におけるマニュアルフォーカス(MF)アシスト機能について説明する。なお、以下に示されるセンサや画像のサイズ、及び変倍率などの数値は一例を示したものであり、これに限定されるものではない。   Next, the manual focus (MF) assist function in the first embodiment will be described with reference to FIG. It should be noted that the numerical values such as the sensor, image size, and magnification shown below are merely examples, and are not limited thereto.

レンズ101を介して入射された光信号は、絞り103にて適切に露出された状態で、画素数1600×1200のサイズの撮像素子105において電気信号に変換される。そして、垂直方向に間引かれて1600×300のサイズで読み出される。その後、A/D回路106でアナログ信号からデジタル信号に変換され、信号処理回路107において補間処理や色変換処理などが施され、輝度色差信号に変換される。画像処理後のサイズは1600×300である。   The optical signal incident through the lens 101 is converted into an electrical signal by the image sensor 105 having a size of 1600 × 1200 pixels while being appropriately exposed by the aperture 103. Then, it is thinned out in the vertical direction and read out at a size of 1600 × 300. Thereafter, the A / D circuit 106 converts the analog signal into a digital signal, and the signal processing circuit 107 performs an interpolation process, a color conversion process, and the like to convert it into a luminance color difference signal. The size after image processing is 1600 × 300.

上記信号処理回路107からの画像データは変倍回路108及び切り出し回路116へ送られる。変倍回路108では、画像データが640×240になるように画像データの縮小処理が行われ、メモリ制御回路118に送られる。この時の画像データは、図3(a)に示す全体画像301に相当する。   Image data from the signal processing circuit 107 is sent to the scaling circuit 108 and the clipping circuit 116. In the scaling circuit 108, the image data is reduced so that the image data becomes 640 × 240 and is sent to the memory control circuit 118. The image data at this time corresponds to the entire image 301 shown in FIG.

同時に、図3(b)に示すアシスト表示領域画像302が以下の処理により生成される。切り出し回路116において、焦点位置を明瞭に表示するためのアシスト表示領域(フォーカス領域)が画像データから160×60のサイズにて切り出し処理される。切り出されたアシスト表示領域の画像データは変倍回路127に送られるか、または、メモリ制御回路118を介してDRAM123に一時格納される。そして、再びメモリ制御回路118を介して超解像回路117に送られる。   At the same time, an assist display area image 302 shown in FIG. 3B is generated by the following process. In the cutout circuit 116, an assist display area (focus area) for clearly displaying the focal position is cut out from the image data at a size of 160 × 60. The extracted image data of the assist display area is sent to the scaling circuit 127 or temporarily stored in the DRAM 123 via the memory control circuit 118. Then, it is sent again to the super-resolution circuit 117 via the memory control circuit 118.

変倍回路127へ送られた場合、画像データのサイズは水平垂直に2倍に拡大処理された320×120になり、全体画像301の1/4のサイズである図3(b)に示す拡大後のアシスト表示領域画像302となる。そして、メモリ制御回路118に送られ、DRAM123に一時格納される。   When the image data is sent to the scaling circuit 127, the size of the image data is 320 × 120 that is doubled horizontally and vertically, and is the size of 1/4 of the entire image 301, and is shown in FIG. A later assist display area image 302 is obtained. Then, it is sent to the memory control circuit 118 and temporarily stored in the DRAM 123.

一方、切り出し回路116からメモリ制御回路118、DRAM123を介して超解像回路117へ送られた場合、4フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施され、水平垂直に2倍された320×120となる。そして、図3(b)に示す超解像後のアシスト表示領域画像302となり、メモリ制御回路118に送られ、DRAM123に一時格納される。   On the other hand, when the data is sent from the clipping circuit 116 to the super-resolution circuit 117 via the memory control circuit 118 and the DRAM 123, the super-resolution processing is performed using the image data in the assist display area of four frames or more, and the horizontal and vertical directions are applied. The result is 320 × 120 multiplied by 2. Then, the super-resolution assist display area image 302 shown in FIG. 3B is obtained, sent to the memory control circuit 118, and temporarily stored in the DRAM 123.

ここで、図4を用いて超解像回路117における超解像処理の一例を説明する。   Here, an example of super-resolution processing in the super-resolution circuit 117 will be described with reference to FIG.

図1の切り出し回路116において、図4に示す160×60のサイズに切り出された、互いに連続するフレームである画像1、画像2、画像3、画像4の4枚がメモリ制御回路118を介してそれぞれDRAM123に一時格納される。そして、まず画像1及び画像2がDRAM123からメモリ制御回路118を介して超解像回路117に読み出される。そして、超解像回路117において、画像1を基準とした画像2のずれ量が求められる。画像1と画像2がずれている様子を図5に示す。図5の(A−1)におけるA(A1〜A4)が画像1、(B−1)におけるB(B1〜B4)が画像2であるとする。   In the cutout circuit 116 of FIG. 1, four frames of image 1, image 2, image 3, and image 4, which are cut out to a size of 160 × 60 shown in FIG. Each is temporarily stored in the DRAM 123. First, image 1 and image 2 are read from the DRAM 123 to the super-resolution circuit 117 via the memory control circuit 118. Then, in the super-resolution circuit 117, the shift amount of the image 2 with respect to the image 1 is obtained. FIG. 5 shows a state where the image 1 and the image 2 are shifted. Assume that A (A1 to A4) in (A-1) in FIG. 5 is an image 1, and B (B1 to B4) in (B-1) is an image 2.

図5の(A−2),(B−2)に示すように、Aの画素及びBの画素の前後左右に1画素ずつ黒データ、つまり0値の画素Kを入れる。AとBの画素が水平方向にずれ量H、垂直方向にずれ量Vだけずれているとき、二つを重ねると、図5の(AB−3)に示す状態になる。なお、ずれ量H及びVは1以下の数値とする。画素Kの値を画素Bから以下のように算出する。   As shown in (A-2) and (B-2) of FIG. 5, black data, that is, a zero-valued pixel K, is inserted one by one before and after the A pixel and the B pixel. When the A and B pixels are shifted by a shift amount H in the horizontal direction and a shift amount V in the vertical direction, when the two are overlapped, the state shown in FIG. 5 (AB-3) is obtained. The shift amounts H and V are numerical values of 1 or less. The value of the pixel K is calculated from the pixel B as follows.

例1として、ずれ量H=0.5、ずれ量V=0.5とした時、K3,K6,K9,K12の画素データを、K3=B1といったように、それぞれB1〜B4の画素データで表すことができる。この時、K1及びK2、K4及びK5、K7及びK8、K10及びK11の値は算出しない。   As an example 1, when the shift amount H = 0.5 and the shift amount V = 0.5, the pixel data of K3, K6, K9, and K12 are the pixel data of B1 to B4, such as K3 = B1. Can be represented. At this time, the values of K1 and K2, K4 and K5, K7 and K8, K10 and K11 are not calculated.

例2として、ずれ量H=0.3、ずれ量V=0とした時、Aの画素の右側、すなわちK1,K4,K7,K10の値をそれぞれ下記の式により算出する。   As an example 2, when the shift amount H = 0.3 and the shift amount V = 0, the right side of the A pixel, that is, the values of K1, K4, K7, and K10 are calculated by the following equations, respectively.

K1=(0.5+H)×B1+(0.5−H)×B2
=0.8×B1+0.2×B2
この時、K2及びK3、K5及びK6、K8及びK9、K11及びK12の値は算出しない。
K1 = (0.5 + H) × B1 + (0.5−H) × B2
= 0.8 × B1 + 0.2 × B2
At this time, the values of K2 and K3, K5 and K6, K8 and K9, K11 and K12 are not calculated.

例3として、ずれ量H=0.3、ずれ量V=0.3とした時、K3,K6,K9,K12の値をそれぞれ下記の式により算出する。   As an example 3, when the deviation amount H = 0.3 and the deviation amount V = 0.3, the values of K3, K6, K9, and K12 are calculated by the following equations, respectively.

K3=(0.5+V)×{(0.5+H)×B1+(0.5−H)×B2}+
(0.5−V)×{(0.5+H)×B3+(0.5−H)×B4}
=0.8^2×B1+0.8×0.2×(B2+B3)+0.2^2×B4
この時、K1及びK2、K4及びK5、K7及びK8、K10及びK11の値は算出しない。
K3 = (0.5 + V) × {(0.5 + H) × B1 + (0.5−H) × B2} +
(0.5−V) × {(0.5 + H) × B3 + (0.5−H) × B4}
= 0.8 ^ 2 x B1 + 0.8 x 0.2 x (B2 + B3) + 0.2 ^ 2 x B4
At this time, the values of K1 and K2, K4 and K5, K7 and K8, K10 and K11 are not calculated.

上記のような方法を用いて、図4における画像1及び画像2から合成画像1を生成する。このとき、合成画像1のサイズは、320×120となる。合成画像1をDRAM123に一時格納する。   Using the above method, the composite image 1 is generated from the image 1 and the image 2 in FIG. At this time, the size of the composite image 1 is 320 × 120. The composite image 1 is temporarily stored in the DRAM 123.

次に、DRAM123から合成画像1及び画像3を読み出す。この時、図5の(A−1),(B−1)におけるAが合成画像1、Bが画像3であるとし、(A−2)においてはK1乃至K3のうち1画素が算出されている状態であるとする。合成画像1は画像3に比べて画素数が2倍であるが、画像3についても図5の(B−2)に示すようにBの画素の前後左右に1画素ずつ黒データを入れる。合成画像1の残りの画素Kの位置に画像3の画素データをもとに上記と同様の方法で算出を行う。画像3のずれ量によっては、画素Bの位置が画素Aに近い場合や、合成画像1を生成する際に算出された画素Kの位置に近い場合においては、画素Bより算出された画素データと既存の画素データを足して正規化する。そのため、残りの画素Kを埋めることができない。このようにして生成された合成画像2をDRAM123に一時格納する。   Next, the composite image 1 and the image 3 are read from the DRAM 123. At this time, it is assumed that A in (A-1) and (B-1) in FIG. 5 is a composite image 1 and B is an image 3. In (A-2), one pixel is calculated from K1 to K3. Suppose that it is in a state. The composite image 1 has twice as many pixels as the image 3, but the image 3 also includes black data pixel by pixel before and after the B pixel, as shown in FIG. 5B-2. Calculation is performed in the same manner as described above based on the pixel data of the image 3 at the position of the remaining pixel K of the composite image 1. Depending on the shift amount of the image 3, when the position of the pixel B is close to the pixel A or close to the position of the pixel K calculated when generating the composite image 1, the pixel data calculated from the pixel B and Normalize by adding existing pixel data. For this reason, the remaining pixels K cannot be filled. The composite image 2 generated in this way is temporarily stored in the DRAM 123.

次に、DRAM123から合成画像2及び画像4を読み出し、上記と同様の方法で合成して超解像画像1を生成する。超解像画像1において画素データを算出できなかった画素Kについては、超解像画像1の周りの画素を用いて補間する。超解像画像1をDRAM123に一時格納する。超解像画像1のサイズは、図4に示すように320×120となる。   Next, the synthesized image 2 and the image 4 are read from the DRAM 123 and synthesized by the same method as described above to generate the super-resolution image 1. A pixel K for which pixel data could not be calculated in the super-resolution image 1 is interpolated using pixels around the super-resolution image 1. Super-resolution image 1 is temporarily stored in DRAM 123. The size of the super-resolution image 1 is 320 × 120 as shown in FIG.

超解像画像1の次のフレームとなる超解像画像2(図示せず)を生成するためには、基準となる画像を画像2として、画像2と画像3のずれ量、画像2と画像4のずれ量、画像2と画像5のずれ量を求め、同様に超解像処理を行うことで320×120の超解像画像2を生成する。以降、続けて同様の超解像処理を行う。   In order to generate a super-resolution image 2 (not shown) that is the next frame of the super-resolution image 1, the reference image is set as the image 2, the amount of deviation between the image 2 and the image 3, and the image 2 and the image The amount of deviation 4 and the amount of deviation between images 2 and 5 are obtained, and a super-resolution image 2 of 320 × 120 is generated by similarly performing the super-resolution processing. Thereafter, the same super-resolution processing is continuously performed.

なお、超解像画像2を生成する際において、超解像画像1のデータを使用せず、新たに画像2乃至画像5より超解像処理を行う。超解像画像1のデータを使用すると、古いデータが残ってしまうため、電子ビューファインダ(以下、EVF)での表示を続けると残像になって見えてしまうためである。   Note that when the super-resolution image 2 is generated, the super-resolution processing is newly performed on the images 2 to 5 without using the data of the super-resolution image 1. This is because if the data of the super-resolution image 1 is used, old data remains, so that if it continues to be displayed on an electronic viewfinder (hereinafter EVF), it will appear as an afterimage.

図1のDRAM123に一時格納された、640×240に変倍された全体画像301、及び、超解像処理または拡大処理により320×120のサイズになったアシスト表示領域画像302は、メモリ制御回路118を介して再生回路121に読み出される。   The entire image 301 scaled to 640 × 240 temporarily stored in the DRAM 123 of FIG. 1 and the assist display area image 302 having a size of 320 × 120 by super-resolution processing or enlargement processing are stored in a memory control circuit. The data is read out to the reproduction circuit 121 via 118.

手ぶれ検出は動きベクトル検出回路110において行われ、前後のフレームを比較し、図7(a)に示すように画像の分割ブロックの動きベクトルがそれぞれほぼ同等であれば、手ぶれが生じていると判定される。さらに図7(b)に示すように、手ぶれによって被写体が有効画素601内で何画素分移動したかを動きベクトルの大きさから検出する。この検出結果を再生回路121に送り、再生回路121において、640×240程度の表示能力のLCD122に表示させる。このために、全体画像301の読み出し開始画素603の位置を検出結果による画素だけ移動させることにより、LCD表示領域602において被写体を同じ位置に表示させる。   The camera shake detection is performed in the motion vector detection circuit 110, and the previous and next frames are compared. If the motion vectors of the divided blocks of the image are almost equal as shown in FIG. 7A, it is determined that camera shake has occurred. Is done. Further, as shown in FIG. 7B, it is detected from the magnitude of the motion vector how many pixels the subject has moved within the effective pixel 601 due to camera shake. This detection result is sent to the reproduction circuit 121 and displayed on the LCD 122 having a display capability of about 640 × 240. For this purpose, the subject is displayed at the same position in the LCD display region 602 by moving the position of the readout start pixel 603 of the entire image 301 by the pixel based on the detection result.

さらに全体画像301の真中をアシスト表示領域画像302で置換することにより、LCD122において、図3(c)のように、全体画像301に超解像画像または拡大画像を重ねて表示させる。超解像画像または拡大画像は全体画像301に比べて2倍の大きさで手ぶれが生じる。そのため、再生回路121において、図6(b)に示す、超解像画像または拡大画像の読み出し開始画素603の位置を2倍の大きさで移動し、手ぶれ補正を行う。   Further, by replacing the middle of the entire image 301 with the assist display area image 302, the LCD 122 displays the super-resolution image or the enlarged image on the entire image 301 as shown in FIG. The super-resolution image or the enlarged image is twice as large as the entire image 301, and camera shake occurs. Therefore, in the reproduction circuit 121, the position of the readout start pixel 603 of the super-resolution image or the enlarged image shown in FIG.

このとき、レリーズボタンが押されると、撮像素子105において有効画素1600×1200のデータが読み出される。そして、信号処理回路107及び変倍回路108において所望の画像処理が行われ、メモリ制御回路118を介してDRAM123に一時記録される。その後、DRAM123から圧縮伸長回路119へ撮像画像が読み出され、圧縮伸長回路119においてJPEG圧縮され、メモリカード120に記録される。   At this time, when the release button is pressed, the data of the effective pixel 1600 × 1200 is read out in the image sensor 105. Then, desired image processing is performed in the signal processing circuit 107 and the scaling circuit 108 and temporarily recorded in the DRAM 123 via the memory control circuit 118. Thereafter, the captured image is read from the DRAM 123 to the compression / decompression circuit 119, JPEG-compressed by the compression / decompression circuit 119, and recorded on the memory card 120.

次に、図2のフローチャートを用いて、実施例1における主要部分の動作について説明する。   Next, operations of main parts in the first embodiment will be described with reference to the flowchart of FIG.

ステップ201にてカメラが起動すると、まずステップ202において、マニュアルフォーカス(MF)で撮影を行う設定になっているか否かを判定する。マニュアルフォーカスであればステップ203へ進み、ここではマニュアルフォーカス(MF)アシスト機能がONになっているか否かを判定する。その結果、ONになっていればステップ204へ進み、合焦状態検出回路109が図8の分割枠702毎に焦点評価値を積分する。そして、最も焦点評価値の高い分割率をアシスト表示領域として切り出し回路116が160×60のサイズで切り出す。画像のコントラストに対応する焦点評価値を検出するための分割枠は、切り出すサイズと同程度が望ましい。   When the camera is activated in step 201, first, in step 202, it is determined whether or not it is set to perform shooting with manual focus (MF). If it is manual focus, the routine proceeds to step 203, where it is determined whether or not the manual focus (MF) assist function is ON. As a result, if it is ON, the process proceeds to step 204, and the focus state detection circuit 109 integrates the focus evaluation value for each divided frame 702 in FIG. Then, the cutout circuit 116 cuts out with the size of 160 × 60 using the division ratio with the highest focus evaluation value as the assist display area. The division frame for detecting the focus evaluation value corresponding to the contrast of the image is preferably about the same size as the cutout size.

図2に戻り、次のステップ205においては、図1の合焦状態検出回路109が、アシスト表示領域内の画像の焦点評価値をある程度合焦しているか否かの判定レベルとなる予め設定されている閾値と比較する。その結果、閾値を超えていたらステップ216へ進む。このように焦点評価値が閾値以上であるとステップ206にて、動きベクトル検出回路110により被写体の動きを検出する。そして、図9に示すように、部分的に動きベクトルの大きさ及び方向が異なっている場合には、被写体が動いていると判定する。被写体が静止状態または動きが小さい状態であればステップ206へ進み、図1の切り出し回路116で160×60のサイズに切り出されたアシスト表示領域の画像を超解像回路117にて超解像処理し、図3(b)に示すような320×120の超解像画像を生成する。   Returning to FIG. 2, in the next step 205, the focus state detection circuit 109 of FIG. 1 is set in advance as a determination level as to whether or not the focus evaluation value of the image in the assist display area is focused to some extent. Compare with the threshold value. As a result, if the threshold value is exceeded, the process proceeds to step 216. As described above, when the focus evaluation value is equal to or larger than the threshold value, the motion vector detection circuit 110 detects the motion of the subject in step 206. Then, as shown in FIG. 9, when the magnitude and direction of the motion vector are partially different, it is determined that the subject is moving. If the subject is stationary or the movement is small, the process proceeds to step 206, and the super-resolution circuit 117 superimposes the assist display area image that has been cut out to a size of 160 × 60 by the cut-out circuit 116 in FIG. Then, a 320 × 120 super-resolution image as shown in FIG.

上記ステップ205において焦点評価値が閾値以上であると判定し、次のステップ216において、被写体が著しく動いている状態であればステップ207へ進む。ステップ207においては、切り出し回路116で160×60のサイズに切り出されたアシスト表示領域の画像を変倍回路127において320×120のサイズになるよう拡大処理を行う。そして、図3(b)に示すような拡大画像をアシスト表示領域画像302として生成する。   In step 205, it is determined that the focus evaluation value is equal to or greater than the threshold value. In the next step 216, if the subject is moving significantly, the process proceeds to step 207. In step 207, the image of the assist display area cut out by the cutout circuit 116 to a size of 160 × 60 is enlarged by the scaling circuit 127 so as to have a size of 320 × 120. Then, an enlarged image as shown in FIG. 3B is generated as the assist display area image 302.

また、ステップ205において合焦評価値が閾値未満であると判定するとステップ207へ進み、切り出し回路116で160×60のサイズに切り出し処理を行う。そして、アシスト表示領域の画像を生成し、変倍回路127において320×120のサイズになるよう拡大処理を行い、図3(b)に示すような拡大画像をアシスト表示領域画像302として生成する。   If it is determined in step 205 that the focus evaluation value is less than the threshold value, the process proceeds to step 207, where the cutout circuit 116 performs cutout processing to a size of 160 × 60. Then, an image of the assist display area is generated, and enlargement processing is performed in the scaling circuit 127 so as to have a size of 320 × 120, and an enlarged image as shown in FIG. 3B is generated as the assist display area image 302.

上記ステップ206及び207においては、超解像画像または拡大画像をメモリ制御回路118を介してDRAM123に一時格納する。同時に、変倍回路108において640×240のサイズに変倍された図3(a)の全体画像301を、メモリ制御回路118を介してDRAM123に一時格納する。再生回路121はメモリ制御回路118を介して全体画像301及び超解像画像または拡大画像を読み出し、再生回路121において全体画像301の真中をアシスト表示領域画像302で置換する。このことにより、LCD122において、図3(c)のように、全体画像301に超解像画像または拡大画像が重ねて表示される。   In steps 206 and 207, the super-resolution image or the enlarged image is temporarily stored in the DRAM 123 via the memory control circuit 118. At the same time, the entire image 301 of FIG. 3A scaled to a size of 640 × 240 in the scaling circuit 108 is temporarily stored in the DRAM 123 via the memory control circuit 118. The reproduction circuit 121 reads the entire image 301 and the super-resolution image or enlarged image via the memory control circuit 118, and replaces the middle of the entire image 301 with the assist display area image 302 in the reproduction circuit 121. Thereby, on the LCD 122, as shown in FIG. 3C, the super-resolution image or the enlarged image is displayed so as to overlap the entire image 301.

上記ステップ205のような切り換えを行うことで、ピントが合っていない状態から次第にピントが合ってくると、アシスト表示領域の画像を通常の画素が粗くなる拡大処理から解像度の良い超解像処理に切り換えた瞬間において、合焦状態を認識しやすくなる。   By performing the switching as in step 205 above, when the focus is gradually adjusted from the out-of-focus state, the image in the assist display area is changed from an enlargement process in which normal pixels become coarse to a super-resolution process with good resolution. At the moment of switching, it becomes easy to recognize the in-focus state.

また、アシスト表示領域の画像を超解像処理する際においても、拡大処理した時よりも解像度の良い状態でマニュアルフォーカスが行えるため、よりピントを合わせ易くなる。   In addition, when super-resolution processing is performed on the image in the assist display area, manual focusing can be performed with a better resolution than when the enlargement processing is performed, and thus focusing becomes easier.

再び図2に戻り、ステップ208においては、上記ステップ204でのアシスト表示領域の表示位置がユーザーにとって所望の合焦位置でなかった場合に、ユーザーが図1における十字キーなどのスイッチ112を操作することで、アシスト表示領域を移動させ、変更することができる。この時の合焦位置の移動範囲について、図6を用いて説明する。   Returning to FIG. 2 again, in step 208, when the display position of the assist display area in step 204 is not the focus position desired by the user, the user operates the switch 112 such as the cross key in FIG. Thus, the assist display area can be moved and changed. The movement range of the focus position at this time will be described with reference to FIG.

図6(a)に示すように、有効画素の上下左右の端まで有効とする。図6(a)の全体画像の左下に示した枠の部分を合焦させたい領域(フォーカス領域)としたとき、アシスト表示領域としてこの領域を切り出して超解像処理を行う。   As shown in FIG. 6A, the effective pixels are effective up to the top, bottom, left and right ends. When the frame portion shown in the lower left of the entire image in FIG. 6A is an area to be focused (focus area), this area is cut out as an assist display area, and super-resolution processing is performed.

図6(b)において、アシスト表示領域であるフレーム1、フレーム2およびフレーム3は、時間tづつずれた隣り合うフレームである。フレーム1を基準とし、フレーム2及びフレーム3を利用してフレーム1の構図について超解像処理を行う。黒い二重枠で示した切り出し領域501は、切り出し回路116において切り出された領域を示している。点線の枠で示した超解像領域502は、超解像処理を行うために必要である領域を示している。   In FIG. 6B, frame 1, frame 2 and frame 3 which are assist display areas are adjacent frames shifted by time t. Super-resolution processing is performed on the composition of frame 1 using frame 2 and frame 3 with frame 1 as a reference. A cutout area 501 indicated by a black double frame indicates an area cut out by the cutout circuit 116. A super-resolution area 502 indicated by a dotted frame indicates an area necessary for performing the super-resolution processing.

フレーム2は、フレーム1に対してカメラが右上方向に手ぶれし、切り出し領域501が右上にずれた時について示しており、欠損箇所1で示すフレーム1の構図における左側と下側の領域の画像データが欠損している。   Frame 2 shows a case where the camera shakes in the upper right direction with respect to frame 1 and the cutout area 501 is shifted to the upper right, and image data of the left and lower areas in the composition of frame 1 indicated by the missing part 1 Is missing.

また、フレーム3は、フレーム1に対してカメラが左下方向に手ぶれし、切り出し領域501が左下にずれた時について示しており、欠損箇所2で示すフレーム1の構図における上側と右側の領域の画像データが欠損している。そのため、欠損箇所1及び欠損箇所2の画素データはフレーム1などの別のフレームから同じ領域の画素データをコピーして補うことで、画像の端の部分においてもアシスト表示を可能としている。また、切り出すサイズを160×60よりも少し大きい領域とすることも有効である。   Frame 3 shows the case where the camera shakes in the lower left direction with respect to frame 1 and the cutout area 501 is shifted to the lower left. Images of the upper and right areas in the composition of frame 1 indicated by the missing part 2 Data is missing. For this reason, the pixel data of the missing portion 1 and the missing portion 2 can be supplemented by copying pixel data of the same region from another frame such as the frame 1 to compensate for the edge portion of the image. It is also effective to make the size to be cut out a region slightly larger than 160 × 60.

再び図2に戻り、次のステップ209においては、ユーザーにより図3(c)のような状態でEVF表示されたLCD122を見ながらマニュアルフォーカスが行われる。そして、次のステップ211において、ユーザーにより撮影が行われる。このステップ211の撮影終了後は、ステップ201のカメラを起動した直後の状態に戻る。   Returning to FIG. 2 again, in the next step 209, the user performs manual focus while viewing the LCD 122 displayed in EVF in the state shown in FIG. Then, in the next step 211, photographing is performed by the user. After the completion of the photographing in step 211, the state returns to the state immediately after the activation of the camera in step 201.

また、上記ステップ202において、マニュアルフォーカスではなく、オートフォーカスの設定である場合はステップ210へ進み、ここでは自動合焦動作を行い、次のステップ211にて、ユーザーにより撮影が行われる。   If it is determined in step 202 that auto focus is set instead of manual focus, the process proceeds to step 210, where an automatic focusing operation is performed. In the next step 211, shooting is performed by the user.

また、上記ステップ203において、MFアシストがOFFの設定である場合、LCD122のEVF表示が図3(a)に示すような全体画像301が表示され、ステップ209において、ユーザーによりマニュアルフォーカスが行われ、次のステップ211において、ユーザーにより撮影が行われる。   In step 203, when the MF assist is set to OFF, the EVF display on the LCD 122 is displayed as an entire image 301 as shown in FIG. 3A. In step 209, the user performs manual focus, In the next step 211, photographing is performed by the user.

以上の実施例1によれば、LCD122画面上に表示されたEVF表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域(フォーカス領域)を超解像処理するようにしている。これにより、1画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判定を容易なものにすることができる。   According to the first embodiment described above, when performing manual focus while viewing the EVF display displayed on the LCD 122 screen, the super-resolution processing is performed on the assist display area (focus area) of the captured image. Thereby, a small subject such as less than one pixel can be clearly displayed, and it can be easily determined whether or not the subject is in focus.

図10は本発明の実施例2に係わる撮像装置のシステム構成を示す図であり、図1と同じ部分は同一符号を付し、その説明は省略する。   FIG. 10 is a diagram showing a system configuration of an imaging apparatus according to the second embodiment of the present invention. The same parts as those in FIG.

上記実施例1においては、手ぶれ補正は、再生回路121においてLCD表示開始位置をずらすことで行っていた。これに対し、本発明の実施例2においては、信号処理回路107の直後であり、超解像処理の前において、手ぶれ補正を行う場合の構成について説明する。   In the first embodiment, camera shake correction is performed by shifting the LCD display start position in the reproduction circuit 121. On the other hand, in the second embodiment of the present invention, a configuration in which camera shake correction is performed immediately after the signal processing circuit 107 and before the super-resolution processing will be described.

レンズ101を介して入射された光信号は、絞り103にて適切に露出された状態で画素数1600×1200のサイズの撮像素子105において電気信号に変換される。そして、垂直方向に間引かれて1600×300のサイズで読み出される。そして、A/D回路106でアナログ信号からデジタル信号に変換され、信号処理回路107において補間処理や色変換処理などが施される。画像処理後のサイズは1600×300である。   An optical signal incident through the lens 101 is converted into an electrical signal by the image sensor 105 having a size of 1600 × 1200 pixels while being appropriately exposed by the diaphragm 103. Then, it is thinned out in the vertical direction and read out at a size of 1600 × 300. Then, the A / D circuit 106 converts the analog signal into a digital signal, and the signal processing circuit 107 performs interpolation processing, color conversion processing, and the like. The size after image processing is 1600 × 300.

画像処理された画像データは、信号処理回路107から手ぶれ補正回路126へ送られる。手ぶれ補正回路126において行われる手ぶれ検出方法の一例を説明する。   The image data subjected to the image processing is sent from the signal processing circuit 107 to the camera shake correction circuit 126. An example of a camera shake detection method performed in the camera shake correction circuit 126 will be described.

手ぶれ補正回路126において、ある時刻のフレームをフレームメモリ125に置き、次のフレームと画像マッチングを行う。そして、検出されたずれ量に応じて、次のフレームをフレームメモリ125へ置く開始画素を移動させる。フレームメモリ125へ置く開始画素の移動量は画素単位であり、手ぶれ補正後における前後のフレーム間のずれ量は1画素未満である。手ぶれ補正回路126から手ぶれ補正された画像データは変倍回路108及び切り出し回路116へ送られる。   In the camera shake correction circuit 126, a frame at a certain time is placed in the frame memory 125, and image matching is performed with the next frame. Then, the start pixel for placing the next frame in the frame memory 125 is moved according to the detected shift amount. The amount of movement of the start pixel placed in the frame memory 125 is in units of pixels, and the amount of deviation between the previous and subsequent frames after camera shake correction is less than one pixel. Image data that has been subjected to camera shake correction from the camera shake correction circuit 126 is sent to the scaling circuit 108 and the clipping circuit 116.

変倍回路108においては、640×240のサイズに画像データの縮小処理を行い、縮小された画像データをメモリ制御回路118を介してDRAMに一時格納する。この時の画像データは、図3(a)に示す全体画像301に相当する。同時に、図3(b)に示すアシスト表示領域画像302を以下の処理により生成する。   The scaling circuit 108 reduces the image data to a size of 640 × 240, and temporarily stores the reduced image data in the DRAM via the memory control circuit 118. The image data at this time corresponds to the entire image 301 shown in FIG. At the same time, an assist display area image 302 shown in FIG. 3B is generated by the following process.

切り出し回路116において、焦点位置を明瞭に表示するためのアシスト表示領域を画像データから160×60のサイズにて切り出し処理を行う。切り出されたアシスト表示領域の画像データは変倍回路127に送られるか、またはメモリ制御回路118を介してDRAM123に一時格納される。そして、再びメモリ制御回路118を介して超解像回路117に送られる。   In the cutout circuit 116, an assist display area for clearly displaying the focal position is cut out from the image data at a size of 160 × 60. The extracted image data of the assist display area is sent to the scaling circuit 127 or temporarily stored in the DRAM 123 via the memory control circuit 118. Then, it is sent again to the super-resolution circuit 117 via the memory control circuit 118.

切り出し回路116から変倍回路127へ送られた場合、画像データのサイズは水平垂直に2倍に拡大処理された320×120になり、全体画像301の1/4のサイズである図3(b)に示す拡大後のアシスト表示領域画像302となり、メモリ制御回路118に送られ、DRAM123に一時格納される。   When the image data is sent from the clipping circuit 116 to the scaling circuit 127, the size of the image data is 320 × 120 that is doubled horizontally and vertically, and is ¼ the size of the entire image 301 (b). The enlarged assist display area image 302 shown in FIG. 2 is sent to the memory control circuit 118 and temporarily stored in the DRAM 123.

一方、切り出し回路116から超解像回路117へ送られた場合、前後のフレームにおけるずれ量が1画素未満である4フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施される。サイズは水平垂直に2倍された320×120となり、図3(b)に示す超解像後のアシスト表示領域画像302となり、メモリ制御回路118に送られDRAM123に一時格納される。   On the other hand, when the image is sent from the clipping circuit 116 to the super-resolution circuit 117, the super-resolution processing is performed using the image data of the assist display area of four frames or more in which the shift amount in the preceding and following frames is less than one pixel. . The size is 320 × 120, which is doubled horizontally and vertically, and becomes the super-resolved assist display area image 302 shown in FIG. 3B, which is sent to the memory control circuit 118 and temporarily stored in the DRAM 123.

DRAM123に一時格納された、640×240に変倍された全体画像301、及び、超解像処理または拡大処理により320×120のサイズになったアシスト表示領域画像302は、メモリ制御回路118を介して再生回路121に読み出される。再生回路121においては、全体画像301の真中をアシスト表示領域画像302で置換することによって、640×240程度の表示能力のLCD122において図3(c)に示すような全体画像301の上にアシスト表示領域画像302を重ねる形で表示する。   The entire image 301 scaled to 640 × 240 temporarily stored in the DRAM 123 and the assist display area image 302 having a size of 320 × 120 by super-resolution processing or enlargement processing are passed through the memory control circuit 118. And read to the reproduction circuit 121. In the reproduction circuit 121, the middle of the whole image 301 is replaced with the assist display area image 302, whereby an assist display is displayed on the whole image 301 as shown in FIG. 3C on the LCD 122 having a display capability of about 640 × 240. The area images 302 are displayed in an overlapping manner.

このとき、レリーズボタンが押されると、撮像素子105において有効画素1600×1200のデータが読み出され、信号処理回路107及び変倍回路108において所望の画像処理が行われる。そして、手ぶれ補正回路126において手ぶれ補正された画像データは、メモリ制御回路118を介してDRAM123に一時記録され、DRAM123から圧縮伸長回路119へ読み出され、圧縮伸長回路119においてJPEG圧縮され、メモリカード120に記録される。   At this time, when the release button is pressed, the data of the effective pixel 1600 × 1200 is read out by the image sensor 105, and desired image processing is performed in the signal processing circuit 107 and the scaling circuit 108. The image data that has been subjected to camera shake correction by the camera shake correction circuit 126 is temporarily recorded in the DRAM 123 via the memory control circuit 118, read out from the DRAM 123 to the compression / decompression circuit 119, JPEG-compressed by the compression / decompression circuit 119, and the memory card. 120.

以上の実施例2によれば、LCD122画面上に表示されたEVF表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域を超解像処理するようにしている。これにより、1画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判断を容易なものにすることができる。   According to the second embodiment described above, when performing manual focus while watching the EVF display displayed on the LCD 122 screen, the assist display area of the captured image is subjected to super-resolution processing. Thereby, a small subject such as less than one pixel can be clearly displayed, and it can be easily determined whether or not the subject is in focus.

以上説明した実施例1及び2では、撮影に十分な明るさのある場所や被写体を撮影した場合であり、超解像処理で複数のフレームを合成した際にフレームの枚数分を正規化する方法を示している。しかし、被写体や場所が暗くなるような撮影の場合においては、超解像処理で複数のフレームを合成した際に、正規化せず、加算して表示ゲインを上げた状態でLCDにEVF表示するようにしてもよい。これにより、暗い被写体が明るくなり、マニュアルフォーカスを容易に行うことができるようになる。   In the first and second embodiments described above, a place or subject with sufficient brightness for photographing is photographed, and a method of normalizing the number of frames when a plurality of frames are combined by super-resolution processing. Is shown. However, in the case of shooting where the subject or the place is dark, when a plurality of frames are combined by super-resolution processing, EVF display is performed on the LCD in a state where the display gain is increased without being normalized. You may do it. As a result, a dark subject becomes bright and manual focusing can be easily performed.

本発明の実施例1に係わる撮像装置のシステム構成を示す図である。It is a figure which shows the system configuration | structure of the imaging device concerning Example 1 of this invention. 本発明の実施例1に係わる撮像装置の主要部分の動作を示すフローチャートである。3 is a flowchart illustrating an operation of a main part of the imaging apparatus according to the first embodiment of the present invention. 本発明の実施例1においてLCDでEVF表示させた状態を説明する図である。It is a figure explaining the state displayed by EVF on LCD in Example 1 of this invention. 本発明の実施例1において超解像処理の一例を示す図である。It is a figure which shows an example of a super-resolution process in Example 1 of this invention. 図4での超解像度処理における合成画像の生成例を説明する図である。It is a figure explaining the production | generation example of the synthesized image in the super-resolution process in FIG. 本発明の実施例1においてアシスト表示領域の有効範囲について説明する図である。It is a figure explaining the effective range of an assist display area in Example 1 of the present invention. 本発明の実施例1において手ぶれ補正の一例を説明する図であるIt is a figure explaining an example of camera shake correction in Example 1 of the present invention. 本発明の実施例1においてAF領域分割システムを説明する図である。It is a figure explaining AF area division system in Example 1 of the present invention. 本発明の実施例1において被写体が動いている時の動きベクトルの様子を示す図である。It is a figure which shows the mode of the motion vector when the to-be-photographed object is moving in Example 1 of this invention. 本発明の実施例2に係わる撮像装置のシステム構成を示す図である。It is a figure which shows the system configuration | structure of the imaging device concerning Example 2 of this invention.

符号の説明Explanation of symbols

101 レンズ
102 フォーカス駆動回路
103 絞り
104 絞り駆動回路
105 撮像素子
107 信号処理回路
108 変倍回路
109 合焦状態検出回路
110 動きベクトル検出回路
115 システム制御回路
116 切り出し回路
117 超解像回路
118 メモリ制御回路
120 メモリカード
121 再生回路
122 LCD
123 DRAM
125 フレームメモリ
126 手ぶれ補正回路
127 変倍回路
DESCRIPTION OF SYMBOLS 101 Lens 102 Focus drive circuit 103 Diaphragm 104 Diaphragm drive circuit 105 Image pick-up element 107 Signal processing circuit 108 Scaling circuit 109 Focus state detection circuit 110 Motion vector detection circuit 115 System control circuit 116 Cutting-out circuit 117 Super-resolution circuit 118 Memory control circuit 120 memory card 121 playback circuit 122 LCD
123 DRAM
125 Frame memory 126 Camera shake correction circuit 127 Scaling circuit

Claims (6)

撮像手段により撮像された第1の画像対応する像を表示手段に表示させる撮像装置において、
前記第1の画像の一部領域を切り出す切り出し手段と、
前記第1の画像のコントラストを検出する合焦状態検出手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、
前記合焦状態検出手段により検出されるコントラストが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第1の場合よりも高い第2の場合には前記第3の画像を記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。
In the imaging device to be displayed on the display unit the images corresponding to the first image captured by the imaging means,
Clipping means for cutting out a partial region of the first image;
In-focus state detecting means for detecting the contrast of the first image;
Super-resolution for synthesizing a plurality of images from a second image corresponding to a partial area of the first image cut out by the cut-out means to create a third image having a higher resolution than the first image. Processing means;
Scaling processing means for performing enlargement processing on an image corresponding to a partial region of the first image cut out by the cut-out means to create a fourth image;
When the contrast detected by the in-focus state detecting means is the first, the fourth image is displayed on the display means, and the contrast detected by the in-focus state detecting means is higher than that in the first case. imaging apparatus characterized by a control means for displaying the third image before Symbol display means in the case of a high second.
前記第2の画像は、マニュアルフォーカスの際のフォーカス領域の画像であることを特徴とする請求項1記載の撮像装置。 The imaging apparatus according to claim 1 , wherein the second image is an image of a focus area in manual focus. 撮像手段により撮像された第1の画像に対応する画像を表示手段に表示させる撮像装置において、
前記第1の画像の一部領域を切り出す切り出し手段と、
前記第1の画像における被写体の動きを検出する動き検出手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、
前記動き検出手段により検出される被写体の動きが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第1の場合よりも小さい第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。
In an imaging apparatus that causes a display unit to display an image corresponding to a first image captured by an imaging unit,
Clipping means for cutting out a partial region of the first image;
Movement detection means for detecting movement of a subject in the first image;
Super-resolution for synthesizing a plurality of images from a second image corresponding to a partial area of the first image cut out by the cut-out means to create a third image having a higher resolution than the first image. Processing means;
Scaling processing means for performing enlargement processing on an image corresponding to a partial region of the first image cut out by the cut-out means to create a fourth image ;
When the motion of the subject detected by the motion detection means is the first, the fourth image is displayed on the display means, and the motion detected by the motion detection means is smaller than that in the first case. In the case of 2, the image pickup apparatus further comprising a control unit that causes the display unit to display the third image .
前記超解像処理手段により連続する複数のフレーム画像を合成処理する際に、手ぶれによって欠損した領域の画素データを、該欠損した領域の画素データを有する他のフレーム画像の画素データによって補うことを特徴とする請求項1ないし3のいずれかに記載の撮像装置。   When synthesizing a plurality of consecutive frame images by the super-resolution processing means, the pixel data of the area missing due to camera shake is supplemented with the pixel data of another frame image having the pixel data of the missing area. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized in that: 前記連続する複数のフレーム画像を加算することによって表示感度を増加させることを特徴とする請求項1ないしのいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 4, characterized in that to increase the display speed by adding a plurality of frame images said consecutive. 前記制御手段は、前記第1の画像とともに、前記第3の画像または第4の画像を前記表示手段に表示させることを特徴とする請求項1ないし5のいずれかに記載の撮像装置。The imaging device according to claim 1, wherein the control unit causes the display unit to display the third image or the fourth image together with the first image.
JP2006282289A 2006-10-17 2006-10-17 Imaging device Expired - Fee Related JP4759488B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006282289A JP4759488B2 (en) 2006-10-17 2006-10-17 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006282289A JP4759488B2 (en) 2006-10-17 2006-10-17 Imaging device

Publications (2)

Publication Number Publication Date
JP2008103797A JP2008103797A (en) 2008-05-01
JP4759488B2 true JP4759488B2 (en) 2011-08-31

Family

ID=39437819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006282289A Expired - Fee Related JP4759488B2 (en) 2006-10-17 2006-10-17 Imaging device

Country Status (1)

Country Link
JP (1) JP4759488B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5790011B2 (en) * 2011-02-15 2015-10-07 株式会社ニコン Imaging device
JP2013218031A (en) * 2012-04-05 2013-10-24 Canon Inc Imaging apparatus
JP2016111652A (en) * 2014-12-10 2016-06-20 オリンパス株式会社 Imaging apparatus, imaging method and program
JP6675917B2 (en) * 2016-04-19 2020-04-08 オリンパス株式会社 Imaging device and imaging method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3216820B2 (en) * 1991-10-03 2001-10-09 オリンパス光学工業株式会社 Image stabilization device
JP3937924B2 (en) * 2002-05-23 2007-06-27 キヤノン株式会社 Imaging apparatus and control method thereof
JP2006092450A (en) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd Image processor and image processing method

Also Published As

Publication number Publication date
JP2008103797A (en) 2008-05-01

Similar Documents

Publication Publication Date Title
US7230648B2 (en) Image sensing apparatus and method of focusing and enlarging/reducing the in-focus image data on a display device
JP5006727B2 (en) Image processing apparatus and digital camera
JP4400611B2 (en) Imaging apparatus, blur correction method, and program
JP5028574B2 (en) Digital camera system
JP5054583B2 (en) Imaging device
TWI326553B (en) Imaging apparatus, data extraction method, and data extraction program
JP4441882B2 (en) Imaging device, display control method, program
KR101247645B1 (en) Display control apparatus, display control method and storage medium
JP5612780B2 (en) Imaging apparatus and control method thereof
JP5202211B2 (en) Image processing apparatus and electronic apparatus
WO2013039061A1 (en) Imaging device, imaging method and recording medium
JP2012070241A (en) Image capturing apparatus, method and program
JP2007251860A (en) Color noise elimination method for image data and imaging apparatus using the same
JP4759488B2 (en) Imaging device
JP4696614B2 (en) Image display control device and program
US7663675B2 (en) Image processing apparatus, image processing method, program, and storage medium with length-to-breath image conversion and superimposing of images
JP5950755B2 (en) Image processing apparatus, control method, program, and storage medium
JP4724041B2 (en) Imaging device, shooting warning method, and computer-readable recording medium
JP4934617B2 (en) Imaging apparatus and imaging method
JP2007336257A (en) Imaging device having focus-assisting function
JP2011216958A (en) Imaging apparatus and program
CN112422782B (en) Display control apparatus, control method thereof, and computer-readable storage medium
JP4740074B2 (en) Imaging apparatus and imaging method
JP4239811B2 (en) Imaging device
JP5614713B2 (en) Imaging apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091014

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100520

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees