JP4759488B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4759488B2 JP4759488B2 JP2006282289A JP2006282289A JP4759488B2 JP 4759488 B2 JP4759488 B2 JP 4759488B2 JP 2006282289 A JP2006282289 A JP 2006282289A JP 2006282289 A JP2006282289 A JP 2006282289A JP 4759488 B2 JP4759488 B2 JP 4759488B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- circuit
- super
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、撮像画像を表示する表示手段を制御する機能を有する撮像装置に関するものである。 The present invention relates to an imaging apparatus having a function of controlling display means for displaying a captured image.
近年のデジタルカメラなどの電子カメラに使用される撮像素子の画素数は、数百万画素から1000万画素を超えるサイズになっている。一方、電子カメラに設けられている表示装置である液晶モニターの画素数は数十万画素にしかすぎない。 The number of pixels of an image sensor used in an electronic camera such as a digital camera in recent years is a size exceeding several million to over 10 million pixels. On the other hand, the number of pixels of a liquid crystal monitor which is a display device provided in an electronic camera is only several hundred thousand pixels.
このように画素数の少ない液晶モニターを見ながらマニュアルフォーカスで撮影する場合、液晶モニターの画素数が少ないためにピント状態を十分に確認することができない。このため、撮影画像をパソコン上で表示したり、プリンタで印画したりして初めてピントの合っていないことが判る場合がある。 Thus, when shooting with manual focus while looking at a liquid crystal monitor with a small number of pixels, the focus state cannot be sufficiently confirmed due to the small number of pixels on the liquid crystal monitor. For this reason, it may be found that the image is not in focus only after the captured image is displayed on a personal computer or printed with a printer.
上記の点に鑑み、特許文献1では以下のような対策が開示されている。電子ビューファインダを見ながらマニュアルフォーカスを行う際に、その画面上において撮像画像を表示すると同時に、フォーカス領域に対応する画像部分を拡大表示させるというものである。
しかしながら、拡大表示されたフォーカス領域は解像度の劣化が伴うため、ユーザーは撮像画像のピント状態を確実に認識できないという問題点があった。 However, there is a problem in that the focus area displayed in an enlarged manner is accompanied by deterioration in resolution, so that the user cannot reliably recognize the focus state of the captured image.
(発明の目的)
本発明の目的は、撮像手段により撮像された第1の画像の一部の解像度を第1の画像より向上させて表示させることのできる撮像装置を提供しようとするものである。
(Object of invention)
An object of the present invention is to provide an imaging apparatus capable of displaying a resolution of a part of a first image captured by an imaging unit with a higher resolution than the first image.
上記目的を達成するために、本発明の一の側面は、撮像手段により撮像された第1の画像および該第1の画像の一部領域に対応する第2の画像を表示手段に表示させる撮像装置において、前記第1の画像の一部領域を切り出す切り出し手段と、前記第1の画像のコントラストを検出する合焦状態検出手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、前記合焦状態検出手段により検出されるコントラストが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第1の場合よりも高い第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有する撮像装置とするものである。
また、他の側面は、撮像手段により撮像された第1の画像に対応する画像を表示手段に表示させる撮像装置において、前記第1の画像の一部領域を切り出す切り出し手段と、前記第1の画像における被写体の動きを検出する動き検出手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、前記動き検出手段により検出される被写体の動きが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第1の場合よりも小さい第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置とするものである。
In order to achieve the above object, according to one aspect of the present invention, there is provided imaging for causing a display unit to display a first image captured by an imaging unit and a second image corresponding to a partial region of the first image. In the apparatus, a cutout unit that cuts out a partial region of the first image, a focus state detection unit that detects a contrast of the first image, and one of the first images cut out by the cutout unit. Super-resolution processing means for synthesizing a plurality of images from the second image corresponding to the partial area to create a third image having a higher resolution than the first image; and the first image cut out by the cut-out means. A scaling process means for enlarging an image corresponding to a partial area of the image to create a fourth image, and the contrast detected by the in-focus state detecting means in the
According to another aspect of the present invention, there is provided an imaging apparatus that causes the display unit to display an image corresponding to the first image captured by the imaging unit, and a clipping unit that crops a partial region of the first image ; From the first image, a plurality of images are synthesized from a second image corresponding to a partial region of the first image cut out by the cut-out means and a movement detection unit that detects the movement of the subject in the image. Super-resolution processing means for creating a third image with high resolution, and enlargement processing is performed on an image corresponding to a partial area of the first image cut out by the cutting-out means, and a fourth image is obtained. When the movement of the subject detected by the scaling processing means to be created and the motion detection means is the first, the fourth image is displayed on the display means, and the motion detected by the motion detection means First place In the case of smaller second than is to an imaging apparatus characterized by a control means for displaying the third image on the display means.
本発明によれば、撮像手段により撮像された第1の画像の一部の解像度を第1の画像より向上させて表示させることができる撮像装置とするものである。 According to the present invention, an imaging apparatus capable of displaying a part of the first image captured by the imaging unit with a resolution higher than that of the first image is provided.
本発明を実施するための最良の形態は、以下の実施例に示す通りである。 The best mode for carrying out the present invention is as shown in the following examples.
図1は本発明の実施例1に係る撮像装置のシステム構成を示す図である。図1において、101は撮像用のレンズ、102はレンズ101を駆動して合焦を行うフォーカス駆動回路、103は絞り、104は絞り103を駆動する絞り駆動回路、105は光信号を光電変換する撮像素子である。106はアナログ信号をデジタル信号に変換するA/D回路、107は補間処理や色変換処理などの画像処理を行う信号処理回路、108及び127は画像データの縮小や拡大を行う変倍回路である。109は合焦の程度を検出する合焦状態検出回路、110は被写体の動きベクトルを検知する動きベクトル検出回路、112はカメラ本体に付属している各種スイッチである。
FIG. 1 is a diagram illustrating a system configuration of the imaging apparatus according to the first embodiment of the present invention. In FIG. 1, 101 is an imaging lens, 102 is a focus driving circuit for driving and focusing the
115はシステムの時系列的な制御を行うシステム制御回路であり、このシステム制御回路115は図示していない他の回路についても制御を行う。116は画像データから一部の画像を切り出す切り出し回路、117は切り出し回路116により切り出された画像の超解像処理を行う超解像回路である。123はDRAM、118はDRAM123と各回路のバスアービトレーション(バス調停)を行うメモリ制御回路、119は画像データをJPEG圧縮方式などの圧縮方式で圧縮及び伸長するための圧縮伸長回路である。120は圧縮伸長回路119で圧縮された画像データを記録する脱着可能なメモリカード、124はメモリカード120とのインターフェースを行うI/F回路である。122は画像データを表示する液晶モニター(以下、LCD)、121はLCD122で画像データを再生するための再生回路である。
次に、図1を用いて、実施例1におけるマニュアルフォーカス(MF)アシスト機能について説明する。なお、以下に示されるセンサや画像のサイズ、及び変倍率などの数値は一例を示したものであり、これに限定されるものではない。 Next, the manual focus (MF) assist function in the first embodiment will be described with reference to FIG. It should be noted that the numerical values such as the sensor, image size, and magnification shown below are merely examples, and are not limited thereto.
レンズ101を介して入射された光信号は、絞り103にて適切に露出された状態で、画素数1600×1200のサイズの撮像素子105において電気信号に変換される。そして、垂直方向に間引かれて1600×300のサイズで読み出される。その後、A/D回路106でアナログ信号からデジタル信号に変換され、信号処理回路107において補間処理や色変換処理などが施され、輝度色差信号に変換される。画像処理後のサイズは1600×300である。
The optical signal incident through the
上記信号処理回路107からの画像データは変倍回路108及び切り出し回路116へ送られる。変倍回路108では、画像データが640×240になるように画像データの縮小処理が行われ、メモリ制御回路118に送られる。この時の画像データは、図3(a)に示す全体画像301に相当する。
Image data from the
同時に、図3(b)に示すアシスト表示領域画像302が以下の処理により生成される。切り出し回路116において、焦点位置を明瞭に表示するためのアシスト表示領域(フォーカス領域)が画像データから160×60のサイズにて切り出し処理される。切り出されたアシスト表示領域の画像データは変倍回路127に送られるか、または、メモリ制御回路118を介してDRAM123に一時格納される。そして、再びメモリ制御回路118を介して超解像回路117に送られる。
At the same time, an assist
変倍回路127へ送られた場合、画像データのサイズは水平垂直に2倍に拡大処理された320×120になり、全体画像301の1/4のサイズである図3(b)に示す拡大後のアシスト表示領域画像302となる。そして、メモリ制御回路118に送られ、DRAM123に一時格納される。
When the image data is sent to the
一方、切り出し回路116からメモリ制御回路118、DRAM123を介して超解像回路117へ送られた場合、4フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施され、水平垂直に2倍された320×120となる。そして、図3(b)に示す超解像後のアシスト表示領域画像302となり、メモリ制御回路118に送られ、DRAM123に一時格納される。
On the other hand, when the data is sent from the
ここで、図4を用いて超解像回路117における超解像処理の一例を説明する。
Here, an example of super-resolution processing in the
図1の切り出し回路116において、図4に示す160×60のサイズに切り出された、互いに連続するフレームである画像1、画像2、画像3、画像4の4枚がメモリ制御回路118を介してそれぞれDRAM123に一時格納される。そして、まず画像1及び画像2がDRAM123からメモリ制御回路118を介して超解像回路117に読み出される。そして、超解像回路117において、画像1を基準とした画像2のずれ量が求められる。画像1と画像2がずれている様子を図5に示す。図5の(A−1)におけるA(A1〜A4)が画像1、(B−1)におけるB(B1〜B4)が画像2であるとする。
In the
図5の(A−2),(B−2)に示すように、Aの画素及びBの画素の前後左右に1画素ずつ黒データ、つまり0値の画素Kを入れる。AとBの画素が水平方向にずれ量H、垂直方向にずれ量Vだけずれているとき、二つを重ねると、図5の(AB−3)に示す状態になる。なお、ずれ量H及びVは1以下の数値とする。画素Kの値を画素Bから以下のように算出する。 As shown in (A-2) and (B-2) of FIG. 5, black data, that is, a zero-valued pixel K, is inserted one by one before and after the A pixel and the B pixel. When the A and B pixels are shifted by a shift amount H in the horizontal direction and a shift amount V in the vertical direction, when the two are overlapped, the state shown in FIG. 5 (AB-3) is obtained. The shift amounts H and V are numerical values of 1 or less. The value of the pixel K is calculated from the pixel B as follows.
例1として、ずれ量H=0.5、ずれ量V=0.5とした時、K3,K6,K9,K12の画素データを、K3=B1といったように、それぞれB1〜B4の画素データで表すことができる。この時、K1及びK2、K4及びK5、K7及びK8、K10及びK11の値は算出しない。 As an example 1, when the shift amount H = 0.5 and the shift amount V = 0.5, the pixel data of K3, K6, K9, and K12 are the pixel data of B1 to B4, such as K3 = B1. Can be represented. At this time, the values of K1 and K2, K4 and K5, K7 and K8, K10 and K11 are not calculated.
例2として、ずれ量H=0.3、ずれ量V=0とした時、Aの画素の右側、すなわちK1,K4,K7,K10の値をそれぞれ下記の式により算出する。 As an example 2, when the shift amount H = 0.3 and the shift amount V = 0, the right side of the A pixel, that is, the values of K1, K4, K7, and K10 are calculated by the following equations, respectively.
K1=(0.5+H)×B1+(0.5−H)×B2
=0.8×B1+0.2×B2
この時、K2及びK3、K5及びK6、K8及びK9、K11及びK12の値は算出しない。
K1 = (0.5 + H) × B1 + (0.5−H) × B2
= 0.8 × B1 + 0.2 × B2
At this time, the values of K2 and K3, K5 and K6, K8 and K9, K11 and K12 are not calculated.
例3として、ずれ量H=0.3、ずれ量V=0.3とした時、K3,K6,K9,K12の値をそれぞれ下記の式により算出する。 As an example 3, when the deviation amount H = 0.3 and the deviation amount V = 0.3, the values of K3, K6, K9, and K12 are calculated by the following equations, respectively.
K3=(0.5+V)×{(0.5+H)×B1+(0.5−H)×B2}+
(0.5−V)×{(0.5+H)×B3+(0.5−H)×B4}
=0.8^2×B1+0.8×0.2×(B2+B3)+0.2^2×B4
この時、K1及びK2、K4及びK5、K7及びK8、K10及びK11の値は算出しない。
K3 = (0.5 + V) × {(0.5 + H) × B1 + (0.5−H) × B2} +
(0.5−V) × {(0.5 + H) × B3 + (0.5−H) × B4}
= 0.8 ^ 2 x B1 + 0.8 x 0.2 x (B2 + B3) + 0.2 ^ 2 x B4
At this time, the values of K1 and K2, K4 and K5, K7 and K8, K10 and K11 are not calculated.
上記のような方法を用いて、図4における画像1及び画像2から合成画像1を生成する。このとき、合成画像1のサイズは、320×120となる。合成画像1をDRAM123に一時格納する。
Using the above method, the
次に、DRAM123から合成画像1及び画像3を読み出す。この時、図5の(A−1),(B−1)におけるAが合成画像1、Bが画像3であるとし、(A−2)においてはK1乃至K3のうち1画素が算出されている状態であるとする。合成画像1は画像3に比べて画素数が2倍であるが、画像3についても図5の(B−2)に示すようにBの画素の前後左右に1画素ずつ黒データを入れる。合成画像1の残りの画素Kの位置に画像3の画素データをもとに上記と同様の方法で算出を行う。画像3のずれ量によっては、画素Bの位置が画素Aに近い場合や、合成画像1を生成する際に算出された画素Kの位置に近い場合においては、画素Bより算出された画素データと既存の画素データを足して正規化する。そのため、残りの画素Kを埋めることができない。このようにして生成された合成画像2をDRAM123に一時格納する。
Next, the
次に、DRAM123から合成画像2及び画像4を読み出し、上記と同様の方法で合成して超解像画像1を生成する。超解像画像1において画素データを算出できなかった画素Kについては、超解像画像1の周りの画素を用いて補間する。超解像画像1をDRAM123に一時格納する。超解像画像1のサイズは、図4に示すように320×120となる。
Next, the
超解像画像1の次のフレームとなる超解像画像2(図示せず)を生成するためには、基準となる画像を画像2として、画像2と画像3のずれ量、画像2と画像4のずれ量、画像2と画像5のずれ量を求め、同様に超解像処理を行うことで320×120の超解像画像2を生成する。以降、続けて同様の超解像処理を行う。
In order to generate a super-resolution image 2 (not shown) that is the next frame of the
なお、超解像画像2を生成する際において、超解像画像1のデータを使用せず、新たに画像2乃至画像5より超解像処理を行う。超解像画像1のデータを使用すると、古いデータが残ってしまうため、電子ビューファインダ(以下、EVF)での表示を続けると残像になって見えてしまうためである。
Note that when the
図1のDRAM123に一時格納された、640×240に変倍された全体画像301、及び、超解像処理または拡大処理により320×120のサイズになったアシスト表示領域画像302は、メモリ制御回路118を介して再生回路121に読み出される。
The
手ぶれ検出は動きベクトル検出回路110において行われ、前後のフレームを比較し、図7(a)に示すように画像の分割ブロックの動きベクトルがそれぞれほぼ同等であれば、手ぶれが生じていると判定される。さらに図7(b)に示すように、手ぶれによって被写体が有効画素601内で何画素分移動したかを動きベクトルの大きさから検出する。この検出結果を再生回路121に送り、再生回路121において、640×240程度の表示能力のLCD122に表示させる。このために、全体画像301の読み出し開始画素603の位置を検出結果による画素だけ移動させることにより、LCD表示領域602において被写体を同じ位置に表示させる。
The camera shake detection is performed in the motion
さらに全体画像301の真中をアシスト表示領域画像302で置換することにより、LCD122において、図3(c)のように、全体画像301に超解像画像または拡大画像を重ねて表示させる。超解像画像または拡大画像は全体画像301に比べて2倍の大きさで手ぶれが生じる。そのため、再生回路121において、図6(b)に示す、超解像画像または拡大画像の読み出し開始画素603の位置を2倍の大きさで移動し、手ぶれ補正を行う。
Further, by replacing the middle of the
このとき、レリーズボタンが押されると、撮像素子105において有効画素1600×1200のデータが読み出される。そして、信号処理回路107及び変倍回路108において所望の画像処理が行われ、メモリ制御回路118を介してDRAM123に一時記録される。その後、DRAM123から圧縮伸長回路119へ撮像画像が読み出され、圧縮伸長回路119においてJPEG圧縮され、メモリカード120に記録される。
At this time, when the release button is pressed, the data of the effective pixel 1600 × 1200 is read out in the
次に、図2のフローチャートを用いて、実施例1における主要部分の動作について説明する。 Next, operations of main parts in the first embodiment will be described with reference to the flowchart of FIG.
ステップ201にてカメラが起動すると、まずステップ202において、マニュアルフォーカス(MF)で撮影を行う設定になっているか否かを判定する。マニュアルフォーカスであればステップ203へ進み、ここではマニュアルフォーカス(MF)アシスト機能がONになっているか否かを判定する。その結果、ONになっていればステップ204へ進み、合焦状態検出回路109が図8の分割枠702毎に焦点評価値を積分する。そして、最も焦点評価値の高い分割率をアシスト表示領域として切り出し回路116が160×60のサイズで切り出す。画像のコントラストに対応する焦点評価値を検出するための分割枠は、切り出すサイズと同程度が望ましい。
When the camera is activated in
図2に戻り、次のステップ205においては、図1の合焦状態検出回路109が、アシスト表示領域内の画像の焦点評価値をある程度合焦しているか否かの判定レベルとなる予め設定されている閾値と比較する。その結果、閾値を超えていたらステップ216へ進む。このように焦点評価値が閾値以上であるとステップ206にて、動きベクトル検出回路110により被写体の動きを検出する。そして、図9に示すように、部分的に動きベクトルの大きさ及び方向が異なっている場合には、被写体が動いていると判定する。被写体が静止状態または動きが小さい状態であればステップ206へ進み、図1の切り出し回路116で160×60のサイズに切り出されたアシスト表示領域の画像を超解像回路117にて超解像処理し、図3(b)に示すような320×120の超解像画像を生成する。
Returning to FIG. 2, in the
上記ステップ205において焦点評価値が閾値以上であると判定し、次のステップ216において、被写体が著しく動いている状態であればステップ207へ進む。ステップ207においては、切り出し回路116で160×60のサイズに切り出されたアシスト表示領域の画像を変倍回路127において320×120のサイズになるよう拡大処理を行う。そして、図3(b)に示すような拡大画像をアシスト表示領域画像302として生成する。
In
また、ステップ205において合焦評価値が閾値未満であると判定するとステップ207へ進み、切り出し回路116で160×60のサイズに切り出し処理を行う。そして、アシスト表示領域の画像を生成し、変倍回路127において320×120のサイズになるよう拡大処理を行い、図3(b)に示すような拡大画像をアシスト表示領域画像302として生成する。
If it is determined in
上記ステップ206及び207においては、超解像画像または拡大画像をメモリ制御回路118を介してDRAM123に一時格納する。同時に、変倍回路108において640×240のサイズに変倍された図3(a)の全体画像301を、メモリ制御回路118を介してDRAM123に一時格納する。再生回路121はメモリ制御回路118を介して全体画像301及び超解像画像または拡大画像を読み出し、再生回路121において全体画像301の真中をアシスト表示領域画像302で置換する。このことにより、LCD122において、図3(c)のように、全体画像301に超解像画像または拡大画像が重ねて表示される。
In
上記ステップ205のような切り換えを行うことで、ピントが合っていない状態から次第にピントが合ってくると、アシスト表示領域の画像を通常の画素が粗くなる拡大処理から解像度の良い超解像処理に切り換えた瞬間において、合焦状態を認識しやすくなる。
By performing the switching as in
また、アシスト表示領域の画像を超解像処理する際においても、拡大処理した時よりも解像度の良い状態でマニュアルフォーカスが行えるため、よりピントを合わせ易くなる。 In addition, when super-resolution processing is performed on the image in the assist display area, manual focusing can be performed with a better resolution than when the enlargement processing is performed, and thus focusing becomes easier.
再び図2に戻り、ステップ208においては、上記ステップ204でのアシスト表示領域の表示位置がユーザーにとって所望の合焦位置でなかった場合に、ユーザーが図1における十字キーなどのスイッチ112を操作することで、アシスト表示領域を移動させ、変更することができる。この時の合焦位置の移動範囲について、図6を用いて説明する。
Returning to FIG. 2 again, in
図6(a)に示すように、有効画素の上下左右の端まで有効とする。図6(a)の全体画像の左下に示した枠の部分を合焦させたい領域(フォーカス領域)としたとき、アシスト表示領域としてこの領域を切り出して超解像処理を行う。 As shown in FIG. 6A, the effective pixels are effective up to the top, bottom, left and right ends. When the frame portion shown in the lower left of the entire image in FIG. 6A is an area to be focused (focus area), this area is cut out as an assist display area, and super-resolution processing is performed.
図6(b)において、アシスト表示領域であるフレーム1、フレーム2およびフレーム3は、時間tづつずれた隣り合うフレームである。フレーム1を基準とし、フレーム2及びフレーム3を利用してフレーム1の構図について超解像処理を行う。黒い二重枠で示した切り出し領域501は、切り出し回路116において切り出された領域を示している。点線の枠で示した超解像領域502は、超解像処理を行うために必要である領域を示している。
In FIG. 6B,
フレーム2は、フレーム1に対してカメラが右上方向に手ぶれし、切り出し領域501が右上にずれた時について示しており、欠損箇所1で示すフレーム1の構図における左側と下側の領域の画像データが欠損している。
また、フレーム3は、フレーム1に対してカメラが左下方向に手ぶれし、切り出し領域501が左下にずれた時について示しており、欠損箇所2で示すフレーム1の構図における上側と右側の領域の画像データが欠損している。そのため、欠損箇所1及び欠損箇所2の画素データはフレーム1などの別のフレームから同じ領域の画素データをコピーして補うことで、画像の端の部分においてもアシスト表示を可能としている。また、切り出すサイズを160×60よりも少し大きい領域とすることも有効である。
再び図2に戻り、次のステップ209においては、ユーザーにより図3(c)のような状態でEVF表示されたLCD122を見ながらマニュアルフォーカスが行われる。そして、次のステップ211において、ユーザーにより撮影が行われる。このステップ211の撮影終了後は、ステップ201のカメラを起動した直後の状態に戻る。
Returning to FIG. 2 again, in the
また、上記ステップ202において、マニュアルフォーカスではなく、オートフォーカスの設定である場合はステップ210へ進み、ここでは自動合焦動作を行い、次のステップ211にて、ユーザーにより撮影が行われる。
If it is determined in
また、上記ステップ203において、MFアシストがOFFの設定である場合、LCD122のEVF表示が図3(a)に示すような全体画像301が表示され、ステップ209において、ユーザーによりマニュアルフォーカスが行われ、次のステップ211において、ユーザーにより撮影が行われる。
In
以上の実施例1によれば、LCD122画面上に表示されたEVF表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域(フォーカス領域)を超解像処理するようにしている。これにより、1画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判定を容易なものにすることができる。
According to the first embodiment described above, when performing manual focus while viewing the EVF display displayed on the
図10は本発明の実施例2に係わる撮像装置のシステム構成を示す図であり、図1と同じ部分は同一符号を付し、その説明は省略する。 FIG. 10 is a diagram showing a system configuration of an imaging apparatus according to the second embodiment of the present invention. The same parts as those in FIG.
上記実施例1においては、手ぶれ補正は、再生回路121においてLCD表示開始位置をずらすことで行っていた。これに対し、本発明の実施例2においては、信号処理回路107の直後であり、超解像処理の前において、手ぶれ補正を行う場合の構成について説明する。
In the first embodiment, camera shake correction is performed by shifting the LCD display start position in the
レンズ101を介して入射された光信号は、絞り103にて適切に露出された状態で画素数1600×1200のサイズの撮像素子105において電気信号に変換される。そして、垂直方向に間引かれて1600×300のサイズで読み出される。そして、A/D回路106でアナログ信号からデジタル信号に変換され、信号処理回路107において補間処理や色変換処理などが施される。画像処理後のサイズは1600×300である。
An optical signal incident through the
画像処理された画像データは、信号処理回路107から手ぶれ補正回路126へ送られる。手ぶれ補正回路126において行われる手ぶれ検出方法の一例を説明する。
The image data subjected to the image processing is sent from the
手ぶれ補正回路126において、ある時刻のフレームをフレームメモリ125に置き、次のフレームと画像マッチングを行う。そして、検出されたずれ量に応じて、次のフレームをフレームメモリ125へ置く開始画素を移動させる。フレームメモリ125へ置く開始画素の移動量は画素単位であり、手ぶれ補正後における前後のフレーム間のずれ量は1画素未満である。手ぶれ補正回路126から手ぶれ補正された画像データは変倍回路108及び切り出し回路116へ送られる。
In the camera
変倍回路108においては、640×240のサイズに画像データの縮小処理を行い、縮小された画像データをメモリ制御回路118を介してDRAMに一時格納する。この時の画像データは、図3(a)に示す全体画像301に相当する。同時に、図3(b)に示すアシスト表示領域画像302を以下の処理により生成する。
The
切り出し回路116において、焦点位置を明瞭に表示するためのアシスト表示領域を画像データから160×60のサイズにて切り出し処理を行う。切り出されたアシスト表示領域の画像データは変倍回路127に送られるか、またはメモリ制御回路118を介してDRAM123に一時格納される。そして、再びメモリ制御回路118を介して超解像回路117に送られる。
In the
切り出し回路116から変倍回路127へ送られた場合、画像データのサイズは水平垂直に2倍に拡大処理された320×120になり、全体画像301の1/4のサイズである図3(b)に示す拡大後のアシスト表示領域画像302となり、メモリ制御回路118に送られ、DRAM123に一時格納される。
When the image data is sent from the
一方、切り出し回路116から超解像回路117へ送られた場合、前後のフレームにおけるずれ量が1画素未満である4フレーム以上のアシスト表示領域の画像データを用いて超解像処理が施される。サイズは水平垂直に2倍された320×120となり、図3(b)に示す超解像後のアシスト表示領域画像302となり、メモリ制御回路118に送られDRAM123に一時格納される。
On the other hand, when the image is sent from the
DRAM123に一時格納された、640×240に変倍された全体画像301、及び、超解像処理または拡大処理により320×120のサイズになったアシスト表示領域画像302は、メモリ制御回路118を介して再生回路121に読み出される。再生回路121においては、全体画像301の真中をアシスト表示領域画像302で置換することによって、640×240程度の表示能力のLCD122において図3(c)に示すような全体画像301の上にアシスト表示領域画像302を重ねる形で表示する。
The
このとき、レリーズボタンが押されると、撮像素子105において有効画素1600×1200のデータが読み出され、信号処理回路107及び変倍回路108において所望の画像処理が行われる。そして、手ぶれ補正回路126において手ぶれ補正された画像データは、メモリ制御回路118を介してDRAM123に一時記録され、DRAM123から圧縮伸長回路119へ読み出され、圧縮伸長回路119においてJPEG圧縮され、メモリカード120に記録される。
At this time, when the release button is pressed, the data of the effective pixel 1600 × 1200 is read out by the
以上の実施例2によれば、LCD122画面上に表示されたEVF表示を見ながらマニュアルフォーカスを行う際に、撮像画像のアシスト表示領域を超解像処理するようにしている。これにより、1画素未満のような小さな被写体を明瞭に表示することができ、合焦したか否かの判断を容易なものにすることができる。
According to the second embodiment described above, when performing manual focus while watching the EVF display displayed on the
以上説明した実施例1及び2では、撮影に十分な明るさのある場所や被写体を撮影した場合であり、超解像処理で複数のフレームを合成した際にフレームの枚数分を正規化する方法を示している。しかし、被写体や場所が暗くなるような撮影の場合においては、超解像処理で複数のフレームを合成した際に、正規化せず、加算して表示ゲインを上げた状態でLCDにEVF表示するようにしてもよい。これにより、暗い被写体が明るくなり、マニュアルフォーカスを容易に行うことができるようになる。 In the first and second embodiments described above, a place or subject with sufficient brightness for photographing is photographed, and a method of normalizing the number of frames when a plurality of frames are combined by super-resolution processing. Is shown. However, in the case of shooting where the subject or the place is dark, when a plurality of frames are combined by super-resolution processing, EVF display is performed on the LCD in a state where the display gain is increased without being normalized. You may do it. As a result, a dark subject becomes bright and manual focusing can be easily performed.
101 レンズ
102 フォーカス駆動回路
103 絞り
104 絞り駆動回路
105 撮像素子
107 信号処理回路
108 変倍回路
109 合焦状態検出回路
110 動きベクトル検出回路
115 システム制御回路
116 切り出し回路
117 超解像回路
118 メモリ制御回路
120 メモリカード
121 再生回路
122 LCD
123 DRAM
125 フレームメモリ
126 手ぶれ補正回路
127 変倍回路
DESCRIPTION OF
123 DRAM
125
Claims (6)
前記第1の画像の一部領域を切り出す切り出し手段と、
前記第1の画像のコントラストを検出する合焦状態検出手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、
前記合焦状態検出手段により検出されるコントラストが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記合焦状態検出手段により検出されるコントラストが第1の場合よりも高い第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。 In the imaging device to be displayed on the display unit the images corresponding to the first image captured by the imaging means,
Clipping means for cutting out a partial region of the first image;
In-focus state detecting means for detecting the contrast of the first image;
Super-resolution for synthesizing a plurality of images from a second image corresponding to a partial area of the first image cut out by the cut-out means to create a third image having a higher resolution than the first image. Processing means;
Scaling processing means for performing enlargement processing on an image corresponding to a partial region of the first image cut out by the cut-out means to create a fourth image;
When the contrast detected by the in-focus state detecting means is the first, the fourth image is displayed on the display means, and the contrast detected by the in-focus state detecting means is higher than that in the first case. imaging apparatus characterized by a control means for displaying the third image before Symbol display means in the case of a high second.
前記第1の画像の一部領域を切り出す切り出し手段と、
前記第1の画像における被写体の動きを検出する動き検出手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する第2の画像から複数画像を合成して前記第1の画像より解像度の高い第3の画像を作成する超解像処理手段と、
前記切り出し手段にて切り出された前記第1の画像の一部領域に対応する画像に対して拡大処理を行い第4の画像を作成する変倍処理手段と、
前記動き検出手段により検出される被写体の動きが第1の場合には前記第4の画像を前記表示手段に表示させるとともに、前記動き検出手段により検出される動きが第1の場合よりも小さい第2の場合には前記第3の画像を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置。 In an imaging apparatus that causes a display unit to display an image corresponding to a first image captured by an imaging unit,
Clipping means for cutting out a partial region of the first image;
Movement detection means for detecting movement of a subject in the first image;
Super-resolution for synthesizing a plurality of images from a second image corresponding to a partial area of the first image cut out by the cut-out means to create a third image having a higher resolution than the first image. Processing means;
Scaling processing means for performing enlargement processing on an image corresponding to a partial region of the first image cut out by the cut-out means to create a fourth image ;
When the motion of the subject detected by the motion detection means is the first, the fourth image is displayed on the display means, and the motion detected by the motion detection means is smaller than that in the first case. In the case of 2, the image pickup apparatus further comprising a control unit that causes the display unit to display the third image .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006282289A JP4759488B2 (en) | 2006-10-17 | 2006-10-17 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006282289A JP4759488B2 (en) | 2006-10-17 | 2006-10-17 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008103797A JP2008103797A (en) | 2008-05-01 |
JP4759488B2 true JP4759488B2 (en) | 2011-08-31 |
Family
ID=39437819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006282289A Expired - Fee Related JP4759488B2 (en) | 2006-10-17 | 2006-10-17 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4759488B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5790011B2 (en) * | 2011-02-15 | 2015-10-07 | 株式会社ニコン | Imaging device |
JP2013218031A (en) * | 2012-04-05 | 2013-10-24 | Canon Inc | Imaging apparatus |
JP2016111652A (en) * | 2014-12-10 | 2016-06-20 | オリンパス株式会社 | Imaging apparatus, imaging method and program |
JP6675917B2 (en) * | 2016-04-19 | 2020-04-08 | オリンパス株式会社 | Imaging device and imaging method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3216820B2 (en) * | 1991-10-03 | 2001-10-09 | オリンパス光学工業株式会社 | Image stabilization device |
JP3937924B2 (en) * | 2002-05-23 | 2007-06-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2006092450A (en) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Image processor and image processing method |
-
2006
- 2006-10-17 JP JP2006282289A patent/JP4759488B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008103797A (en) | 2008-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7230648B2 (en) | Image sensing apparatus and method of focusing and enlarging/reducing the in-focus image data on a display device | |
JP5006727B2 (en) | Image processing apparatus and digital camera | |
JP4400611B2 (en) | Imaging apparatus, blur correction method, and program | |
JP5028574B2 (en) | Digital camera system | |
JP5054583B2 (en) | Imaging device | |
TWI326553B (en) | Imaging apparatus, data extraction method, and data extraction program | |
JP4441882B2 (en) | Imaging device, display control method, program | |
KR101247645B1 (en) | Display control apparatus, display control method and storage medium | |
JP5612780B2 (en) | Imaging apparatus and control method thereof | |
JP5202211B2 (en) | Image processing apparatus and electronic apparatus | |
WO2013039061A1 (en) | Imaging device, imaging method and recording medium | |
JP2012070241A (en) | Image capturing apparatus, method and program | |
JP2007251860A (en) | Color noise elimination method for image data and imaging apparatus using the same | |
JP4759488B2 (en) | Imaging device | |
JP4696614B2 (en) | Image display control device and program | |
US7663675B2 (en) | Image processing apparatus, image processing method, program, and storage medium with length-to-breath image conversion and superimposing of images | |
JP5950755B2 (en) | Image processing apparatus, control method, program, and storage medium | |
JP4724041B2 (en) | Imaging device, shooting warning method, and computer-readable recording medium | |
JP4934617B2 (en) | Imaging apparatus and imaging method | |
JP2007336257A (en) | Imaging device having focus-assisting function | |
JP2011216958A (en) | Imaging apparatus and program | |
CN112422782B (en) | Display control apparatus, control method thereof, and computer-readable storage medium | |
JP4740074B2 (en) | Imaging apparatus and imaging method | |
JP4239811B2 (en) | Imaging device | |
JP5614713B2 (en) | Imaging apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091014 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100520 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |