JP5943113B2

JP5943113B2 - Digital camera

Info

Publication number: JP5943113B2
Application number: JP2015062173A
Authority: JP
Inventors: 塩原　隆一; 隆一塩原
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-03-25
Filing date: 2015-03-25
Publication date: 2016-06-29
Anticipated expiration: 2030-03-30
Also published as: JP2015165670A

Description

本発明は、デジタルカメラに関し、特に液晶ディスプレー（ＬＣＤ:Liquid Cristal Display）や電子ビューファインダ等に設けられるＦＰＤ（Flat Panel Display）の制御に関する。 The present invention relates to a digital camera, and more particularly to control of an FPD (Flat Panel Display) provided in a liquid crystal display (LCD) or an electronic viewfinder.

従来、レンズ交換式デジタルカメラのファインダーにおいては、跳ね上げ式の反射鏡とペンタプリズムによってファインダースクリーンに被写体を結像させるＯＶＦ（Optical View Finder）が主流であった。跳ね上げ式のミラーやペンタプリズムは小型化と軽量化と低価格化の障壁となるためＯＶＦの代わりにＥＶＦ（Electric View Finder）を備えたレンズ交換式デジタルカメラが普及しつつある。 Conventionally, in a viewfinder of an interchangeable lens digital camera, an OVF (Optical View Finder) that forms an image of a subject on a viewfinder screen using a flip-up type reflection mirror and a pentaprism has been the mainstream. Since flip-up mirrors and pentaprisms are barriers to miniaturization, weight reduction, and price reduction, interchangeable lens digital cameras equipped with EVF (Electric View Finder) instead of OVF are becoming popular.

特開２００７−２３２８６９号公報JP 2007-232869 A

しかし従来のＥＶＦでは、イメージセンサからデータを取り込んでＦＰＤに被写体画像を表示するまでに消費される処理時間のために表示遅延が発生し、ＥＶＦで観察される被写体画像の動きが現実の被写体の動きから遅れる問題が生じている。ＥＶＦに遅れて表示される被写体画像を見ながらレリーズすると、ＥＶＦで確認していた被写体の動きや構図とは異なる動きや構図が記録されることになる。具体的には、従来のレンズ交換式デジタルカメラのＥＶＦに用いられているイメージセンサおよびＦＰＤのフレームレートが１５〜３０ｆｐｓ（frame per second）と遅く、画像処理回路の処理速度もイメージセンサやＦＰＤのフレームレートに合わせた低速なものであるため、ＥＶＦに表示される被写体画像の動きが現実の被写体の動きから遅れる時間は１００ｍ秒前後より長くなっている。このような表示遅延はＯＶＦに対するＥＶＦの大きなデメリットになっている。 However, in the conventional EVF, a display delay occurs due to the processing time consumed until the data is captured from the image sensor and the subject image is displayed on the FPD, and the motion of the subject image observed by the EVF is that of the real subject. There is a problem behind the movement. When a release is performed while viewing a subject image displayed with a delay after EVF, a motion or composition different from the motion or composition of the subject confirmed by EVF is recorded. Specifically, the frame rate of the image sensor and FPD used in the EVF of the conventional interchangeable lens digital camera is as low as 15 to 30 fps (frame per second), and the processing speed of the image processing circuit is also that of the image sensor or FPD. Since the speed is low in accordance with the frame rate, the time for which the movement of the subject image displayed on the EVF is delayed from the movement of the actual subject is longer than about 100 milliseconds. Such a display delay is a major disadvantage of EVF over OVF.

また従来のデジタルカメラのＥＶＦでは、イメージセンサのフレームレートと画像処理回路のフレームレートとＦＰＤのフレームレートとが異なるため、被写体に対する表示の遅延時間が一定にならないという問題もある。具体的には、従来のデジタルカメラのＥＶＦでは、フレームレートが互いに異なるイメージセンサと画像処理回路とＦＰＤとがそれぞれ異なるタイミング生成回路によって生成されるタイミング制御信号によって個別に制御されている。このため、イメージセンサから読み込まれた１つのフレームデータに基づいてＦＰＤの連続する２つのフレームに同一の被写体画像が表示される状況が周期的に発生し、イメージセンサから次に読み込まれるフレームデータについては表示遅延が他のフレームよりもさらに１フレーム分だけ長くなる状況が周期的に発生する。この問題は、たとえイメージセンサのフレームレートがＦＰＤのフレームレートよりも画像処理回路のフレームレートよりも速く、ＦＰＤのフレームレートがイメージセンサのフレームレートよりも画像処理回路のフレームレートよりも遅い場合であったとしても、その逆の場合であったとしても解決しない。 Further, in the EVF of the conventional digital camera, the display sensor delay time is not constant because the frame rate of the image sensor, the frame rate of the image processing circuit, and the frame rate of the FPD are different. Specifically, in an EVF of a conventional digital camera, image sensors, image processing circuits, and FPDs having different frame rates are individually controlled by timing control signals generated by different timing generation circuits. For this reason, a situation in which the same subject image is displayed in two consecutive frames of the FPD periodically occurs based on one frame data read from the image sensor, and the frame data read next from the image sensor. A situation occurs periodically in which the display delay is longer by one frame than the other frames. This problem occurs even when the frame rate of the image sensor is faster than the frame rate of the image processing circuit than the frame rate of the FPD, and the frame rate of the FPD is slower than the frame rate of the image processing circuit. Even if it is the case, it is not solved even if it is the opposite case.

本発明はこれらの問題に鑑みて創作されたものであって、デジタルカメラにおける被写体画像の表示遅延を短縮することを目的の１つとする。 The present invention has been created in view of these problems, and an object of the present invention is to reduce display delay of a subject image in a digital camera.

（１）上記目的を達成するためのデジタルカメラは、光電変換によってピクセルデータを生成するエリアイメージセンサと、前記エリアイメージセンサに被写体画像を結像させる光学系と、表示用画像データに基づいて前記被写体画像を表示するフラットパネルディスプレイと、前記ピクセルデータから前記フラットパネルディスプレイに応じたフレームサイズの前記表示用画像データを生成する画像処理回路と、前記エリアイメージセンサと前記画像処理回路と前記フラットパネルディスプレイとにタイミング制御信号を印加するタイミング生成回路とを備え、前記エリアイメージセンサおよび前記フラットパネルディスプレイに印加される前記タイミング制御信号は、垂直同期信号および水平同期信号を含み、前記タイミング生成回路は、静止画撮影モードにおいては、前記エリアイメージセンサと前記フラットパネルディスプレイと前記画像処理回路のそれぞれにおいて１フレーム分のデータを処理する処理単位の繰り返し周期を１／６０秒より短い周期で一致させるとともに前記処理単位を繰り返す位相差を一定にする前記タイミング制御信号をフレーム毎に一元的に生成する。 (1) A digital camera for achieving the above object includes an area image sensor that generates pixel data by photoelectric conversion, an optical system that forms an object image on the area image sensor, and display image data based on the image data for display. A flat panel display for displaying a subject image; an image processing circuit for generating display image data having a frame size corresponding to the flat panel display from the pixel data; the area image sensor; the image processing circuit; and the flat panel. A timing generation circuit for applying a timing control signal to the display, and the timing control signal applied to the area image sensor and the flat panel display includes a vertical synchronization signal and a horizontal synchronization signal, and the timing generation circuit includes: In the still image shooting mode, the repetition cycle of the processing unit for processing data for one frame in each of the area image sensor, the flat panel display, and the image processing circuit is matched with a cycle shorter than 1/60 seconds. The timing control signal for making the phase difference that repeats the processing unit constant is generated for each frame in a unified manner.

本明細書において、"デジタルカメラ"はレンズ交換式デジタルカメラに限られず、レンズ一体式デジタルカメラや、静止画記録モードを有するデジタルビデオカメラや、デジタルカメラ付携帯電話などの静止画像データの記録機能を有する装置を意味する。また、"ピクセルデータ"とは、光電変換によって蓄積される電荷量を示すデータであって画素毎に１チャネルの階調値を示すデータである。例えばベイヤー配列された３色のカラーフィルタを備えたＣＣＤエリアイメージセンサから出力されるピクセルデータは、通常、画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）いずれかの階調値を示すアナログデータである。本発明によると、エリアイメージセンサとフラットパネルディスプレイ（ＦＰＤ）と画像処理回路のそれぞれにおいて１フレーム分のデータを処理する処理単位の周期が一致するとともにその位相差が一定になるように制御される。すなわち本発明によると、エリアイメージセンサ、ＦＰＤおよび画像処理回路のうち最もフレームレートが遅い回路に応じて、エリアイメージセンサとＦＰＤと画像処理回路のそれぞれにおいて１フレーム分のデータを処理する処理単位の周期が一致するとともにその位相差が全フレームについて一定になるように、一元的にタイミング制御信号が生成される。具体的には、相対的に速い回路が間欠的に動作するように、相対的に速い回路に対しては、敢えてその回路を一時停止させるタイミング制御信号が印加される。このため、イメージセンサから読み込まれた１フレーム分のピクセルデータに基づいてＦＰＤの連続する２つのフレームに同一の被写体画像が表示される問題は発生しない。したがって、本発明によると被写体画像の表示遅延を一定に保つことができる。そして、イメージセンサから画像処理回路に読み込まれた全フレーム分のピクセルデータに基づいてＦＰＤに被写体画像が必ず表示されることになる。また本発明によると、エリアイメージセンサとＦＰＤと画像処理回路のそれぞれにおいて１フレーム分のデータを処理する処理単位の周期が１／６０秒より短い周期（例えば、１／１００秒〜１／１２０秒）であるため、被写体画像の表示遅延を短縮することができる。さらに本発明によると、垂直同期信号のみならず水平同期信号までも一元的に生成するため、垂直同期信号および水平同期信号の組み合わせによってディスプレイにおける表示処理のタイミングを正確に制御できる。そして本発明によると、このようなタイミング制御信号を静止画撮影モードにおいてレリーズまで生成することによって、表示遅延を短くし、ディスプレイに表示される被写体画像の動きや構図と、デジタルカメラによって記録される被写体の動きや構図とのずれを、ＯＶＦに比べても小さくなるほどに低減することができる。なお、タイミング制御信号が生成されて各回路に印加されるタイミングは、フレーム毎に対応付けられていれば良く、１フレームのデータが各回路において処理されている期間中であっても、１フレームのデータが回路において処理されてから次の１フレームのデータが当該回路において処理されるまでの期間中であってもよい。 In this specification, the “digital camera” is not limited to an interchangeable lens digital camera, and a still image data recording function such as a lens-integrated digital camera, a digital video camera having a still image recording mode, and a mobile phone with a digital camera. Means a device having “Pixel data” is data indicating the amount of charge accumulated by photoelectric conversion, and is data indicating the gradation value of one channel for each pixel. For example, pixel data output from a CCD area image sensor having a three-color color filter arranged in a Bayer array usually has a gradation value of either R (red), G (green), or B (blue) for each pixel. Is analog data. According to the present invention, each of the area image sensor, the flat panel display (FPD), and the image processing circuit is controlled so that the processing unit cycles for processing data for one frame coincide with each other and the phase difference is constant. . That is, according to the present invention, a processing unit for processing data for one frame in each of the area image sensor, the FPD, and the image processing circuit in accordance with the circuit having the slowest frame rate among the area image sensor, the FPD, and the image processing circuit. Timing control signals are generated in a unified manner so that the periods coincide and the phase difference is constant for all frames. More specifically, a timing control signal is applied to the relatively fast circuit so that the relatively fast circuit operates intermittently. Therefore, there is no problem that the same subject image is displayed in two consecutive frames of the FPD based on the pixel data for one frame read from the image sensor. Therefore, according to the present invention, the display delay of the subject image can be kept constant. The subject image is always displayed on the FPD based on the pixel data for all frames read from the image sensor into the image processing circuit. According to the present invention, the period of the processing unit for processing data for one frame in each of the area image sensor, the FPD, and the image processing circuit is shorter than 1/60 seconds (for example, 1/100 seconds to 1/120 seconds). Therefore, the display delay of the subject image can be shortened. Furthermore, according to the present invention, not only the vertical synchronizing signal but also the horizontal synchronizing signal is generated in a unified manner, so that the timing of display processing on the display can be accurately controlled by a combination of the vertical synchronizing signal and the horizontal synchronizing signal. According to the present invention, such a timing control signal is generated up to the release in the still image shooting mode, thereby shortening the display delay and recording the movement and composition of the subject image displayed on the display and the digital camera. Deviations from subject movement and composition can be reduced as they become smaller than OVF. Note that the timing at which the timing control signal is generated and applied to each circuit only needs to be associated with each frame, even if one frame of data is being processed in each circuit. It may be during the period from the time when the next data is processed in the circuit until the next frame of data is processed in the circuit.

（２）上記目的を達成するためのデジタルカメラにおいて、前記エリアイメージセンサは、前記静止画撮影モードにおいて、レリーズまでは、レリーズすると出力する前記ピクセルデータよりも小さいフレームサイズの前記ピクセルデータを出力してもよい。
この構成において、静止画記録モードには、レリーズによって被写体の静止画像データが記録されるレリーズモードと、被写体を動画によって表示するライブビューモードとが含まれる。この構成を採用すると、エリアイメージセンサとＦＰＤと画像処理回路に求められる処理速度を抑制しながら被写体画像の表示遅延を短縮することができるとともに、高精細な静止画像をデジタルカメラによって記録することができる。 (2) In the digital camera for achieving the above object, in the still image shooting mode, the area image sensor outputs the pixel data having a frame size smaller than the pixel data to be output when released until the release. May be.
In this configuration, the still image recording mode includes a release mode in which still image data of a subject is recorded by the release, and a live view mode in which the subject is displayed as a moving image. When this configuration is adopted, the display delay of the subject image can be shortened while suppressing the processing speed required for the area image sensor, the FPD, and the image processing circuit, and a high-definition still image can be recorded by the digital camera. it can.

（３）上記目的を達成するためのデジタルカメラにおいて、前記処理単位の繰り返し周期を切り換えるモード切換手段をさらに備えてもよい。
この構成を採用すると、どの程度の速さで動く被写体を記録するか、動画と静止画のいずれを記録するのかといった撮影条件において許容されるディスプレイの表示遅延の範囲において消費電力を抑制することができる。 (3) The digital camera for achieving the above object may further comprise mode switching means for switching the repetition cycle of the processing unit.
By adopting this configuration, it is possible to suppress power consumption within the display delay range allowed for the shooting conditions such as how fast to record moving subjects and whether to record moving images or still images. it can.

（４）上記目的を達成するためのデジタルカメラにおいて、前記モード切換手段は、前記静止画撮影モードと静止画再生モードと動画撮影モードと動画再生モードとを切り換え、前記タイミング生成回路は、前記静止画再生モードにおいては、前記フラットパネルディスプレイにおいて１／６０秒以上の周期で前記処理単位を繰り返させる前記タイミング制御信号を生成し、前記動画撮影モードにおいては、前記エリアイメージセンサと前記フラットパネルディスプレイと前記画像処理回路のそれぞれにおいて前記処理単位の繰り返し周期を１／６０秒であるいは１／６０秒よりも長い周期で一致させる前記タイミング制御信号を生成してもよい。
この構成を採用すると、静止画撮影モードにおける表示遅延を短縮しつつ、動画撮影モードでは消費電力を抑制することができる。 (4) In the digital camera for achieving the above object, the mode switching unit switches between the still image shooting mode, the still image reproduction mode, the moving image shooting mode, and the moving image reproduction mode, and the timing generation circuit includes the still image capturing mode. In the image playback mode, the timing control signal for repeating the processing unit at a period of 1/60 seconds or more is generated in the flat panel display, and in the moving image shooting mode, the area image sensor, the flat panel display, In each of the image processing circuits, the timing control signal that matches the repetition cycle of the processing unit at 1/60 second or longer than 1/60 second may be generated.
By adopting this configuration, it is possible to reduce power consumption in the moving image shooting mode while reducing display delay in the still image shooting mode.

（５）上記目的を達成するためのデジタルカメラにおいて、前記エリアイメージセンサおよび前記フラットパネルディスプレイに印加される前記タイミング制御信号は、ドットクロック信号を含んでもよい。
この構成を採用すると、前記タイミング生成回路は、垂直同期信号のみならず水平同期信号およびドットクロック信号までも一元的に生成するため、垂直同期信号、水平同期信号およびドットクロック信号の組み合わせによってデジタルカメラのディスプレイにおける表示遅延を正確に制御できる。 (5) In the digital camera for achieving the above object, the timing control signal applied to the area image sensor and the flat panel display may include a dot clock signal.
When this configuration is adopted, the timing generation circuit generates not only a vertical synchronization signal but also a horizontal synchronization signal and a dot clock signal in an integrated manner, so that a digital camera can be used by combining a vertical synchronization signal, a horizontal synchronization signal and a dot clock signal. The display delay in the display can be accurately controlled.

（６）上記目的を達成するためのデジタルカメラにおいて、前記画像処理回路は、前記ピクセルデータが前記エリアイメージセンサから転送されるラインバッファを備えてもよい。
この構成を採用すると、ピクセルデータをＲＡＭに格納せずに表示用画像データの生成を開始できるため、エリアイメージセンサにおいてピクセルデータが生成されてから表示用画像データがＦＰＤに表示されるまでの表示遅延をさらに短縮することができる。 (6) In the digital camera for achieving the above object, the image processing circuit may include a line buffer to which the pixel data is transferred from the area image sensor.
If this configuration is adopted, generation of display image data can be started without storing the pixel data in the RAM, and therefore display from when the pixel data is generated by the area image sensor until the display image data is displayed on the FPD. The delay can be further reduced.

（７）上記目的を達成するためのデジタルカメラにおいて、前記画像処理回路は、前記ピクセルデータから中間画像データを生成する中間画像生成部と、前記中間画像データが格納されるラインバッファと、前記ラインバッファから前記中間画像データを読み出して前記中間画像データのフレームサイズを前記表示用画像データのフレームサイズに変換するフレームサイズ変換部とを備え、前記１フレーム分のデータを線順次にパイプライン処理してもよい。
この構成を採用すると、リサイズのために中間画像データをＲＡＭに格納せずに線順次にパイプライン処理することによって表示用画像データを生成できるため、エリアイメージセンサにおいてピクセルデータが生成されてから被写体画像がＦＰＤに表示されるまでの表示遅延をさらに短縮することができる。 (7) In the digital camera for achieving the above object, the image processing circuit includes an intermediate image generation unit that generates intermediate image data from the pixel data, a line buffer that stores the intermediate image data, and the line A frame size conversion unit that reads out the intermediate image data from the buffer and converts the frame size of the intermediate image data into the frame size of the display image data, and pipelines the data for one frame line-sequentially. May be.
When this configuration is adopted, display image data can be generated by pipeline processing in a line-sequential manner without storing intermediate image data in the RAM for resizing, so that the object is generated after pixel data is generated in the area image sensor. The display delay until the image is displayed on the FPD can be further reduced.

本発明の実施形態にかかるブロック図である。It is a block diagram concerning the embodiment of the present invention. 本発明の実施形態にかかる模式図である。It is a schematic diagram concerning embodiment of this invention. 本発明の実施形態にかかるタイミングチャートである。It is a timing chart concerning the embodiment of the present invention. 本発明の実施形態にかかるタイミングチャートである。It is a timing chart concerning the embodiment of the present invention. 本発明の実施形態にかかるタイミングチャートである。It is a timing chart concerning the embodiment of the present invention.

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, the same code | symbol is attached | subjected to the corresponding component in each figure, and the overlapping description is abbreviate | omitted.

１．概要
本発明の実施形態として図１に示すデジタルカメラ１は、静止画記録モード及び動画記録モードにおいて被写体画像を表示するＥＶＦ４０が備えられたレンズ交換式ミラーレスデジタルカメラである。デジタルカメラ１においては、エリアイメージセンサ１５と画像処理回路２２とＦＰＤ４０とに印加されるタイミング制御信号が１つのタイミング生成回路（ＴＧ）２１によって一元的にフレーム毎に生成される。すなわちエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０のそれぞれにおいて１フレーム分のデータを処理する処理単位を繰り返す周期と位相とが１つのタイミング生成回路２１によって一元的に制御される。このため、エリアイメージセンサ１５、画像処理回路２２およびＦＰＤ４０のそれぞれにおいて１フレーム分のデータ（フレームデータ）を処理する処理単位を繰り返す周期は一致し、その処理単位の位相差は一定である。また、１フレーム分の処理単位を繰り返す周期は可変であり、モードによって切り換えることができる。さらに本実施形態にかかるデジタルカメラ１の静止画記録モードにおいては、レリーズまでは、エリアイメージセンサ１５からピクセルデータが出力されてからＥＶＦ４０に被写体画像が表示されるまでフレームデータがＲＡＭ３１に格納されることがない。なお"フレームデータ"とは、１フレーム分のピクセルデータまたは画像データを意味する。 1. Overview A digital camera 1 shown in FIG. 1 as an embodiment of the present invention is a lens-interchangeable mirrorless digital camera provided with an EVF 40 that displays a subject image in a still image recording mode and a moving image recording mode. In the digital camera 1, timing control signals applied to the area image sensor 15, the image processing circuit 22, and the FPD 40 are centrally generated for each frame by one timing generation circuit (TG) 21. That is, the timing generation circuit 21 controls the cycle and phase of repeating the processing unit for processing data for one frame in each of the area image sensor 15, the image processing circuit 22, and the EVF 40. For this reason, in each of the area image sensor 15, the image processing circuit 22, and the FPD 40, the cycle of repeating the processing unit for processing one frame of data (frame data) is the same, and the phase difference of the processing unit is constant. The cycle for repeating the processing unit for one frame is variable and can be switched depending on the mode. Further, in the still image recording mode of the digital camera 1 according to the present embodiment, until the release, the frame data is stored in the RAM 31 until the subject image is displayed on the EVF 40 after the pixel data is output from the area image sensor 15. There is nothing. “Frame data” means pixel data or image data for one frame.

２．構成
デジタルカメラ１には、光学系１０、エリアイメージセンサ１５、画像処理エンジン２０、ＥＶＦ４０、操作部３２、ＲＯＭ３０、ＲＡＭ３１等が備えられている。光学系１０は、エリアイメージセンサ１５に被写体画像を結像させるレンズ１１、絞り１２、シャッター１３およびローパスフィルタ１４を備え、図示しない筐体に交換可能に取り付けられる。エリアイメージセンサ１５としては、ベイヤー配列されたカラーフィルタと、光量に応じた電荷を光電変換によって画素毎に蓄積する多数のフォトダイオードとを備えるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等の個体撮像素子が用いられる。エリアイメージセンサ１５にはドラフトモードでピクセルデータを読み出すための加算器や飛び越し走査が可能な読み出し回路が設けられている。エリアイメージセンサ１５としてＣＣＤイメージセンサを用いる場合、エリアイメージセンサ１５から出力されるピクセルデータを増幅してデジタル信号に変換する図示しないＡＤ変換器が備えられる。画像処理エンジン２０は、画像処理回路２２、タイミング生成回路２１、ＣＰＵ２３、加算器５１、ＶＲＡＭ（Video-RAM）５２等で構成される半導体集積回路チップである。画像処理回路２２は、それぞれ複数ライン分のフレームデータを格納できる２つのラインバッファ２２１、２２７、画素補間部２２２、ホワイトバランス補正部（ＷＢ）２２３、色変換部２２４、フィルタ処理部２２５、ガンマ補正部２２６、表示準備部２２８等を構成している。ラインバッファ２２１、画素補間部２２２、ホワイトバランス補正部（ＷＢ）２２３、色変換部２２４、フィルタ処理部２２５およびガンマ補正部２２６は中間画像生成部２２ａを構成している。ラインバッファ２２７および表示準備部２２８はフレームサイズ変換部２２ｂを構成している。フラットパネルディスプレイとしてのＥＶＦ４０は、インターフェース回路４１、コントローラー４２、液晶パネル４５、垂直駆動回路４３、垂直駆動回路４４、図示しない接眼レンズ等で構成される。本実施形態においては、画素毎に３色のカラーフィルタに対応する３つのサブピクセルを備える高温ポリシリコンＴＦＴ（Thin Film Transistor）液晶パネルが液晶パネル４５として用いられるが、他の形式の液晶パネルを用いても良い。コントローラー４２は、各サブピクセルに電圧を印加して液晶を駆動するためのデータ信号を表示用画像データに基づいて生成する。コントローラー４２によって生成されたデータ信号は、ピクセル毎に順次水平駆動回路４３および垂直駆動回路４４に転送される。したがって液晶パネル４５における被写体画像の表示はピクセル単位の走査によって行われる。液晶パネル４５が収容される筒型の筐体には液晶パネル４５に表示される被写体画像を拡大表示するための図示しない接眼レンズが設けられる。操作部３２はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えている。 2. Configuration The digital camera 1 includes an optical system 10, an area image sensor 15, an image processing engine 20, an EVF 40, an operation unit 32, a ROM 30, a RAM 31, and the like. The optical system 10 includes a lens 11, an aperture 12, a shutter 13, and a low-pass filter 14 that form an object image on the area image sensor 15, and is interchangeably attached to a housing (not shown). As the area image sensor 15, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled) including a color filter arranged in a Bayer array and a large number of photodiodes that accumulate charges corresponding to the amount of light for each pixel by photoelectric conversion. Device) An individual image sensor such as an image sensor is used. The area image sensor 15 is provided with an adder for reading out pixel data in the draft mode and a reading circuit capable of interlaced scanning. When a CCD image sensor is used as the area image sensor 15, an AD converter (not shown) that amplifies pixel data output from the area image sensor 15 and converts it into a digital signal is provided. The image processing engine 20 is a semiconductor integrated circuit chip including an image processing circuit 22, a timing generation circuit 21, a CPU 23, an adder 51, a VRAM (Video-RAM) 52, and the like. The image processing circuit 22 includes two line buffers 221, 227, a pixel interpolation unit 222, a white balance correction unit (WB) 223, a color conversion unit 224, a filter processing unit 225, and a gamma correction, each of which can store frame data for a plurality of lines. Part 226, display preparation part 228, and the like. The line buffer 221, the pixel interpolation unit 222, the white balance correction unit (WB) 223, the color conversion unit 224, the filter processing unit 225, and the gamma correction unit 226 constitute an intermediate image generation unit 22a. The line buffer 227 and the display preparation unit 228 constitute a frame size conversion unit 22b. The EVF 40 as a flat panel display includes an interface circuit 41, a controller 42, a liquid crystal panel 45, a vertical drive circuit 43, a vertical drive circuit 44, an eyepiece (not shown), and the like. In the present embodiment, a high-temperature polysilicon TFT (Thin Film Transistor) liquid crystal panel having three subpixels corresponding to three color filters for each pixel is used as the liquid crystal panel 45, but other types of liquid crystal panels are used. It may be used. The controller 42 generates a data signal for driving the liquid crystal by applying a voltage to each sub-pixel based on the display image data. The data signal generated by the controller 42 is sequentially transferred to the horizontal drive circuit 43 and the vertical drive circuit 44 for each pixel. Accordingly, the display of the subject image on the liquid crystal panel 45 is performed by scanning in units of pixels. An eyepiece (not shown) for enlarging and displaying a subject image displayed on the liquid crystal panel 45 is provided in a cylindrical housing in which the liquid crystal panel 45 is accommodated. The operation unit 32 includes a shutter button, a dial switch as a mode switching unit for switching modes, a dial switch for switching between an aperture and a shutter speed, and push buttons for operating various setting menus. .

３．作動
デジタルカメラ１の作動は、静止画を記録するための静止画記録モード、動画を記録するための動画記録モード、静止画および動画を再生するための再生モードのそれぞれで異なる。静止画記録モードと動画記録モードと再生モードとは操作部３２のダイヤルスイッチを操作することによって切り換わる。再生モードには静止画を再生するための静止画再生モードと動画再生モードとが含まれている。静止画再生モードと動画再生モードとは、再生対象の画像データのフォーマットに応じてＣＰＵ２３によって自動的に切り換えられる。 3. Operation The operation of the digital camera 1 differs in each of a still image recording mode for recording a still image, a moving image recording mode for recording a moving image, and a reproduction mode for reproducing a still image and a moving image. The still image recording mode, the moving image recording mode, and the reproduction mode are switched by operating the dial switch of the operation unit 32. The reproduction mode includes a still image reproduction mode and a moving image reproduction mode for reproducing a still image. The still image reproduction mode and the moving image reproduction mode are automatically switched by the CPU 23 according to the format of the image data to be reproduced.

（静止画記録モード）
ダイヤルスイッチの操作によって静止画記録モードに遷移すると、ＣＰＵ３３はエリアイメージセンサ１５をドラフトモードに設定するとともにタイミング生成回路２１を静止画記録モードに設定する。このため、静止画記録モードにおいてシャッターボタンが押されてレリーズするまでは、エリアイメージセンサ１５はドラフトモードで作動する。ドラフトモードとは、エリアイメージセンサ１５の有効画素数よりも少ない画素数のフレームサイズのピクセルデータをエリアイメージセンサ１５から出力させる高速読み出しモードである。 (Still image recording mode)
When the operation is switched to the still image recording mode by operating the dial switch, the CPU 33 sets the area image sensor 15 to the draft mode and sets the timing generation circuit 21 to the still image recording mode. Therefore, the area image sensor 15 operates in the draft mode until the shutter button is pressed and released in the still image recording mode. The draft mode is a high-speed reading mode in which pixel data of a frame size having a smaller number of pixels than the number of effective pixels of the area image sensor 15 is output from the area image sensor 15.

図２はドラフトモードにおいてエリアイメージセンサ１５からピクセルデータを読み出す方法の一例を示している。Ｒが付された矩形はＲ（赤）の帯域の光を透過するカラーフィルタに対応するフォトダイオードを示し、Ｇが付された矩形はＧ（緑）の帯域の光を透過するカラーフィルタに対応するフォトダイオードを示し、Ｂが付された矩形はＢ（青）の帯域の光を透過するカラーフィルタに対応するフォトダイオードを示している。図２に示すように、３行毎に１行ずつフォトダイオードを垂直方向に走査しながら、水平方向に並ぶ同一色のカラーフィルタに対応する３個ずつのフォトダイオードのピクセルデータを加算して読み出すと、エリアイメージセンサ１５から読み出されるピクセルデータのフレームサイズは垂直方向で１／３になり水平方向で１／３になり結果的に有効画素数の１／９になる。エリアイメージセンサ１５からピクセルデータを読み出す最速のフレームレートはピクセルデータのフレームサイズとドットクロックの周波数によって決まる。具体的には例えば、５４００画素×３６００画素が全て走査されるフルサイズモードにおいて１５０ＭＨｚのドットクロックによって１フレーム分のピクセルデータをエリアイメージセンサ１５から読み出すと、読み出しに要する時間は７．７ｆｐｓ相当のおよそ１３０ｍｓとなる。ピクセルデータを垂直方向に１／５に間引きしながら水平方向に３画素ずつ加算するドラフトモードにおいて１５０ＭＨｚのドットクロックによってエリアイメージセンサ１５からピクセルデータを読み出すと、フレームサイズは垂直方向で１／５で水平方向で１／３である１８００画素×７２０画素となり、１フレームの読み出しに要する時間は１１５ｆｐｓ相当のおよそ８．６４ｍｓに短縮される。 FIG. 2 shows an example of a method for reading pixel data from the area image sensor 15 in the draft mode. The rectangle with R indicates a photodiode corresponding to a color filter that transmits light in the R (red) band, and the rectangle with G corresponds to a color filter that transmits light in the G (green) band. The rectangle with B is a photodiode corresponding to a color filter that transmits light in the B (blue) band. As shown in FIG. 2, the pixel data of three photodiodes corresponding to the color filters of the same color arranged in the horizontal direction are added and read while scanning the photodiodes in the vertical direction every third row. Then, the frame size of the pixel data read from the area image sensor 15 is 1/3 in the vertical direction and 1/3 in the horizontal direction, resulting in 1/9 of the number of effective pixels. The fastest frame rate for reading pixel data from the area image sensor 15 is determined by the frame size of the pixel data and the frequency of the dot clock. Specifically, for example, when one frame of pixel data is read from the area image sensor 15 with a dot clock of 150 MHz in a full size mode in which all 5400 pixels × 3600 pixels are scanned, the time required for reading is equivalent to 7.7 fps. Approximately 130 ms. When the pixel data is read out from the area image sensor 15 by the dot clock of 150 MHz in the draft mode in which the pixel data is thinned down to 1/5 in the vertical direction and added by 3 pixels in the horizontal direction, the frame size is 1/5 in the vertical direction. It becomes 1800 pixels × 720 pixels which is 1/3 in the horizontal direction, and the time required to read one frame is shortened to about 8.64 ms corresponding to 115 fps.

静止画記録モードに遷移すると、タイミング生成回路２１が静止画記録モードに応じたタイミング制御信号をエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に印加することによってＥＶＦ４０による被写体の動画表示が開始される。本実施形態では、１８００画素×７２０画素のピクセルデータがエリアイメージセンサ１５から読み出され、１０８０画素×７２０画素の表示用画像データに基づいて被写体画像が液晶パネル４５に表示される。静止画記録モードにおいてシャッターボタンが押されてレリーズするまでのエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０の実効フレームレートは、６０ｆｐｓよりも速いことが望ましく、本実施形態では次に説明するように実効フレームレート１００ｆｐｓでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が駆動される。 When transitioning to the still image recording mode, the timing generation circuit 21 applies a timing control signal corresponding to the still image recording mode to the area image sensor 15, the image processing circuit 22, and the EVF 40, thereby starting the moving image display of the subject by the EVF 40. . In the present embodiment, pixel data of 1800 pixels × 720 pixels is read from the area image sensor 15, and a subject image is displayed on the liquid crystal panel 45 based on display image data of 1080 pixels × 720 pixels. The effective frame rate of the area image sensor 15, the image processing circuit 22, and the EVF 40 until the shutter button is released in the still image recording mode is preferably faster than 60 fps. In the present embodiment, as will be described below. The area image sensor 15, the image processing circuit 22, and the EVF 40 are driven at an effective frame rate of 100 fps.

（静止画記録モード：ライブビューモード）
図３は静止画記録モードにおけるレリーズまでの期間においてエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が１つのフレームデータを処理する処理単位を繰り返すタイミングを示すタイミングチャートである。各矩形は１つのフレームデータを処理する処理単位を示し、矩形内の時間（ミリ秒）は１つのフレームデータの処理に要する時間を示している。本実施形態において１８００画素×７２０画素のフレームデータに対する処理単位を繰り返す最速フレームレートは、エリアイメージセンサ１５が１２０ｆｐｓ、画像処理回路２２の中間画像生成部２２ａが１１０ｆｐｓ、画像処理回路２２のフレームサイズ変換部２２ｂが１００ｆｐｓである。また、ＥＶＦ４０が１０８０画素×７２０画素の表示用画像データを表示できる最速フレームレートは１２０ｆｐｓである。このように最速フレームレートが異なる複数の回路を一定の位相差で駆動するために、タイミング生成回路２１は相対的に速い回路を間欠的に駆動する。すなわち本実施形態においては、最も遅いフレームサイズ変換部２２ｂが１フレームを処理するのに要する期間に応じてエリアイメージセンサ１５と中間画像生成部２２ａとＥＶＦ４０とが間欠的に駆動される。 (Still image recording mode: Live view mode)
FIG. 3 is a timing chart showing the timing at which the area image sensor 15, the image processing circuit 22, and the EVF 40 repeat the processing unit for processing one frame data during the period until the release in the still image recording mode. Each rectangle indicates a processing unit for processing one frame data, and a time (millisecond) in the rectangle indicates a time required for processing one frame data. In the present embodiment, the fastest frame rate for repeating the processing unit for 1800 pixel × 720 pixel frame data is 120 fps for the area image sensor 15, 110 fps for the intermediate image generation unit 22 a of the image processing circuit 22, and frame size conversion for the image processing circuit 22. The part 22b is 100 fps. The fastest frame rate at which the EVF 40 can display display image data of 1080 pixels × 720 pixels is 120 fps. Thus, in order to drive a plurality of circuits having different fastest frame rates with a constant phase difference, the timing generation circuit 21 intermittently drives relatively fast circuits. That is, in the present embodiment, the area image sensor 15, the intermediate image generation unit 22a, and the EVF 40 are intermittently driven according to a period required for the slowest frame size conversion unit 22b to process one frame.

具体的には、タイミング生成回路２１は、１８００画素×７２０画素の１フレーム分のピクセルデータをドラフトモードで読み出し始めるための垂直同期信号（V_sync）をエリアイメージセンサ１５に印加してから一定時間経過後に、１８００画素×７２０画素のピクセルデータから１８００画素×７２０画素の中間画像データを生成しはじめるクロックパルスを中間画像生成部２２ａに印加する。そしてタイミング生成回路２１は、そのクロックパルスを中間画像生成部２２ａに印加してから一定時間経過後に、水平方向に３／５倍に縮小することによって１８００画素×７２０画素の中間画像データから１０８０画素×７２０画素の表示用画像データを生成しはじめるクロックパルスをフレームサイズ変換部２２ｂに印加する。そしてタイミング生成回路２１は、そのクロックパルスをフレームサイズ変換部２２ｂに印加してから一定時間経過後に、１０８０画素×７２０画素の表示用画像データに基づいて液晶パネル４５を駆動するための垂直同期信号（V_sync）をＥＶＦ４０のコントローラー４２に印加する。そして、タイミング生成回路２１は、１８００画素×７２０画素の１フレーム分のピクセルデータをドラフトモードで読み出し始めるための垂直同期信号（V_sync）をエリアイメージセンサ１５に印加してから一定時間経過後に、次の１フレーム分のピクセルデータをドラフトモードで読み出し始めるための垂直同期信号（V_sync）をエリアイメージセンサ１５に印加する。以後、同様にして、１フレームの処理単位毎に、エリアイメージセンサ１５、中間画像生成部２２ａ、フレームサイズ変換部２２ｂ、ＥＶＦ４０のコントローラー４２にタイミング制御信号が印加される。 Specifically, the timing generation circuit 21 applies a vertical synchronization signal (V _sync ) for starting to read out pixel data of one frame of 1800 pixels × 720 pixels in the draft mode to the area image sensor 15 for a certain period of time. After the elapse of time, a clock pulse for starting to generate intermediate image data of 1800 pixels × 720 pixels from pixel data of 1800 pixels × 720 pixels is applied to the intermediate image generation unit 22a. Then, the timing generation circuit 21 applies 1080 clocks from the intermediate image data of 1800 pixels × 720 pixels by reducing the horizontal pulse 3/5 times after a lapse of a fixed time after applying the clock pulse to the intermediate image generation unit 22a. A clock pulse that starts generating display image data of × 720 pixels is applied to the frame size conversion unit 22b. Then, the timing generation circuit 21 applies a vertical synchronization signal for driving the liquid crystal panel 45 based on display image data of 1080 pixels × 720 pixels after a lapse of a fixed time after applying the clock pulse to the frame size conversion unit 22b. (V _sync ) is applied to the controller 42 of the EVF 40. Then, the timing generation circuit 21 applies a vertical synchronization signal (V _sync ) for starting to read out pixel data of one frame of 1800 pixels × 720 pixels in the draft mode to the area image sensor 15 after a predetermined time has elapsed. A vertical synchronizing signal (V _sync ) for starting reading out the pixel data for the next one frame in the draft mode is applied to the area image sensor 15. Thereafter, similarly, a timing control signal is applied to the area image sensor 15, the intermediate image generation unit 22a, the frame size conversion unit 22b, and the controller 42 of the EVF 40 for each processing unit of one frame.

エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０のそれぞれにおいて１フレームの処理を開始する位相差は、出力先回路における最小の処理単位（決められた数のピクセル、ライン等）に対する処理を出力元回路において実行するのに要する期間よりも長い。また出力先回路のフレームレートが出力元回路よりも速い場合、この位相差は、出力元回路と出力先回路のそれぞれで同一の１フレームの処理単位を実行する期間中において出力先回路に待ち時間が発生しないように設定される。このように、それぞれの回路でフレームデータの処理を開始するタイミングがタイミング生成回路２１によって一元的に制御されるため、それぞれの回路において１つのフレームデータを処理する処理単位を繰り返す位相差は全フレームについて一定になる。 The phase difference for starting the processing of one frame in each of the area image sensor 15, the image processing circuit 22 and the EVF 40 is to process the minimum processing unit (a predetermined number of pixels, lines, etc.) in the output destination circuit. It is longer than the period required for execution. Further, when the frame rate of the output destination circuit is faster than that of the output source circuit, this phase difference is a waiting time in the output destination circuit during a period in which the same processing unit of one frame is executed in each of the output source circuit and the output destination circuit. Is set not to occur. As described above, since the timing at which the processing of frame data is started in each circuit is centrally controlled by the timing generation circuit 21, the phase difference for repeating the processing unit for processing one frame data in each circuit is the same for all frames. Be constant about.

エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０のそれぞれにおいて一定の周期で処理単位を繰り返すには、フレームデータそのものの処理に影響を与えない区間においてタイミング制御信号にダミーのクロックパルスを挿入したり、クロックパルスの周期を変更したり、クロックパルスをハイ（High）またはロー（Low）でホールドすることによって、相対的に速い回路を見かけ上一時停止させればよい。 In order to repeat the processing unit in each of the area image sensor 15, the image processing circuit 22 and the EVF 40, a dummy clock pulse is inserted into the timing control signal in a section that does not affect the processing of the frame data itself, A relatively fast circuit may be apparently temporarily stopped by changing the cycle of the clock pulse or holding the clock pulse high or low.

ここで図４および図５を参照しながらエリアイメージセンサ１５およびＥＶＦ４０に印加されるタイミング制御信号について詳細に説明する。尚、図４および図５に示すタイミングチャートはＥＶＦ４０に印加されるタイミング制御信号を示しているが、エリアイメージセンサ１５に印加するタイミング制御信号の生成方法はＥＶＦ４０に印加するタイミング制御信号の生成方法と同様である。タイミング生成回路２１によってＥＶＦ４０およびエリアイメージセンサ１５に印加されるタイミング制御信号には、垂直同期信号、水平同期信号（H_sync）、ドットクロック（Dotclock）およびデータアクティブ（Dactive）が含まれている。前述したとおり、１８００画素×７２０画素のフレームデータをエリアイメージセンサ１５から読み出す最速のフレームレートと、１０８０画素×７２０画素の表示用画像データに基づいて被写体画像を表示するＥＶＦ４０の最速フレームレートは、いずれも１２０ｆｐｓである。本実施形態では、これらのエリアイメージセンサ１５およびＥＶＦ４０を、最速フレームレートでの駆動時からドットクロックを変化させずに次のようにして１００ｆｐｓの実効フレームレートで駆動する。 Here, timing control signals applied to the area image sensor 15 and the EVF 40 will be described in detail with reference to FIGS. 4 and 5. 4 and 5 show the timing control signal applied to the EVF 40, the timing control signal applied to the area image sensor 15 is generated using the timing control signal applied to the EVF 40. It is the same. Timing control signals applied to the EVF 40 and the area image sensor 15 by the timing generation circuit 21 include a vertical synchronization signal, a horizontal synchronization signal (H _sync ), a dot clock (Dotclock), and data active (Dactive). As described above, the fastest frame rate for reading frame data of 1800 pixels × 720 pixels from the area image sensor 15 and the fastest frame rate of the EVF 40 for displaying a subject image based on display image data of 1080 pixels × 720 pixels are: Both are 120 fps. In the present embodiment, these area image sensor 15 and EVF 40 are driven at an effective frame rate of 100 fps as follows without changing the dot clock from the time of driving at the fastest frame rate.

タイミング生成回路２１は、図４Ａおよび図４Ｂに示すように垂直同期信号（V_sync）の周期すなわちフレームデータを処理する繰り返し周期を、同一フレームサイズでの最速フレームレートに対応する垂直同期信号（基準V_sync）に対して長く設定するとともに水平同期信号（H_sync）にダミーパルスを挿入してエリアイメージセンサ１５およびＥＶＦ４０を一時停止させる。水平同期信号に挿入するダミーパルスはエリアイメージセンサ１５およびＥＶＦ４０を一時停止させる期間（一時停止期間）の長さに応じた数だけ例えば垂直同期期間の直前または直後の少なくともいずれか一方に挿入すればよい。この場合、データアクティブによってフレームデータそのものに対する処理が開始されてから終了するまでの期間の長さは、１２０ｆｐｓで駆動する場合と同じ８．３３ｍｓになり、フレーム周期毎に１度ずつエリアイメージセンサ１５およびＥＶＦ４０を１．６７ｍｓだけ一時停止させることになる。図３に示したタイミングチャートは、このようにして垂直同期信号の周期を延長する場合のタイミングチャートである。なお、垂直同期期間の直前または直後において一時停止期間の長さに応じて水平同期信号をハイ（または回路の構成によってはロー）でホールドしても良い。 As shown in FIG. 4A and FIG. 4B, the timing generation circuit 21 sets the period of the vertical synchronization signal (V _sync ), that is, the repetition period for processing the frame data, to the vertical synchronization signal (reference) corresponding to the fastest frame rate at the same frame size. The area image sensor 15 and the EVF 40 are temporarily stopped by setting a long time with respect to V _sync ) and inserting a dummy pulse into the horizontal synchronizing signal (H _sync ). If the dummy pulse inserted into the horizontal synchronizing signal is inserted in the number corresponding to the length of the period (temporary stopping period) during which the area image sensor 15 and the EVF 40 are temporarily stopped, for example, at least one of them immediately before or immediately after the vertical synchronizing period. Good. In this case, the length of the period from the start to the end of processing for the frame data itself due to data active is 8.33 ms, the same as when driving at 120 fps, and the area image sensor 15 once per frame period. And EVF 40 will be suspended for 1.67 ms. The timing chart shown in FIG. 3 is a timing chart in the case of extending the period of the vertical synchronization signal in this way. Note that the horizontal synchronization signal may be held high (or low depending on the circuit configuration) immediately before or immediately after the vertical synchronization period in accordance with the length of the pause period.

また図５Ａおよび図５Ｂに示すように、水平同期信号にダミーパルスを挿入する代わりに、垂直同期信号、水平同期信号およびデータアクティブの周期を延長するとともにドットクロックにダミーパルスを挿入してエリアイメージセンサ１５およびＥＶＦ４０を一時停止させてもよい。ドットクロックに挿入するダミーパルスは、水平同期期間の直前または直後の少なくともいずれか一方に挿入すればよい。この場合、水平期間毎に１度ずつエリアイメージセンサ１５およびＥＶＦ４０を一時停止させることになるため、最初のデータアクティブによってフレームデータの処理が開始されてから最後のデータアクティブによって当該フレームデータの処理が終了するまでの期間の長さは１２０ｆｐｓで駆動する場合よりも長くなる。 In addition, as shown in FIGS. 5A and 5B, instead of inserting a dummy pulse into the horizontal synchronizing signal, the period of the vertical synchronizing signal, the horizontal synchronizing signal and the data active is extended, and a dummy pulse is inserted into the dot clock to create an area image. The sensor 15 and the EVF 40 may be temporarily stopped. The dummy pulse inserted into the dot clock may be inserted at least either immediately before or immediately after the horizontal synchronization period. In this case, since the area image sensor 15 and the EVF 40 are temporarily stopped once every horizontal period, the processing of the frame data is processed by the last data active after the processing of the frame data is started by the first data active. The length of the period until the end is longer than that when driving at 120 fps.

なお、水平同期信号にダミーパルスを挿入することに加えて、ドットクロックにダミーパルスを挿入して水平同期信号の周期を延長しても良い。たとえば、水平同期信号にダミーパルスを挿入して水平期間単位で垂直同期信号の周期を調整するとともに、最後の水平期間についてはドットクロックにダミーパルスを挿入してドットサイクル単位で垂直同期信号の周期を微調整することができる。また、ドットクロックの周期を変化させてフレームレートを調整することも可能であるが、垂直駆動回路および水平駆動回路が備える高周波アナログ回路の負荷が過大になって不安定になるおそれがある。したがって上述したとおり、垂直同期信号の周期変更とあわせて水平同期信号にダミーパルスを挿入したり、垂直同期信号の周期変更とあわせてドットクロックにダミーパルスを挿入して水平同期信号の周期を変更することによって実効的なフレームレートを調整することが望ましい。 In addition to inserting a dummy pulse into the horizontal synchronizing signal, a period of the horizontal synchronizing signal may be extended by inserting a dummy pulse into the dot clock. For example, a dummy pulse is inserted into the horizontal synchronization signal to adjust the period of the vertical synchronization signal in units of horizontal periods, and for the last horizontal period, a dummy pulse is inserted into the dot clock and the period of the vertical synchronization signal in units of dot cycles. Can be fine-tuned. Although it is possible to adjust the frame rate by changing the period of the dot clock, the load on the high-frequency analog circuit included in the vertical drive circuit and the horizontal drive circuit may become excessive and unstable. Therefore, as described above, a dummy pulse is inserted into the horizontal synchronization signal when the period of the vertical synchronization signal is changed, or a dummy pulse is inserted into the dot clock when the period of the vertical synchronization signal is changed, and the period of the horizontal synchronization signal is changed. It is desirable to adjust the effective frame rate by doing so.

実効的に１００ｆｐｓのフレームレートになるように駆動されるエリアイメージセンサ１５からはピクセルデータが線順次に画像処理回路２２に読み込まれ、画像処理回路２２におけるパイプライン処理によってピクセルデータから線順次に表示用画像データが生成される。具体的には、画像処理回路２２は、ＲＡＭ３１を介さずに直接エリアイメージセンサ１５から線順次にピクセルデータを取り込み、中間画像生成部２２ａに設けられたラインバッファ２２１にピクセルデータを一時記憶する。ラインバッファ２２１は、エリアイメージセンサ１５と異なる周期で作動する画素補間部２２２において線順次にフレームデータをパイプライン処理するために、複数ライン分のピクセルデータを一時記憶するバッファメモリである。画素補間部２２２は、デモザイク処理に必要な画素数のピクセルデータをラインバッファ２２１から取り込みながら、各画素について階調値が欠落している２チャネルを補間する。次にホワイトバランス補正部２２３は、フレームデータのホワイトバランスを線順次に補正する。次に色変換部２２４は、３×３の色変換テーブルを参照しながらデバイスカラーに対応するフレームデータの階調値を規格化された色空間に対応する階調値に線順次に変換する。次にフィルタ処理部２２５は、フレームデータのシャープネスやコントラストなどをフィルタ処理によって線順次に補正する。次にガンマ補正部２２６はエリアイメージセンサ１５のガンマ特性に応じたフレームデータのガンマ補正を線順次に実行する。その結果、中間画像生成部２２ａから中間画像データが線順次に出力される。このようにして駆動される中間画像生成部２２ａの処理周期は、タイミング生成回路２１から印加されるタイミング制御信号としてのクロックパルスによって制御されている。上述したように中間画像生成部２２ａの最速フレームレートは１１０ｆｐｓであるから、基底クロックパルス（例えばピクセル毎に処理タイミングを制御するクロックパルス）の周期を変化させずに実効的なフレームレートを１００ｆｐｓに落とすため、中間画像生成部２２ａは間欠的に駆動される。すなわち、タイミング生成回路２１は、基底クロックパルスにダミーパルスを挿入したり、基底クロックパルスをハイまたはローでホールドすることによって、中間画像生成部２２ａを一時停止させて実効的に１００ｆｐｓで駆動する。 Pixel data is read line-sequentially from the area image sensor 15 driven to an effective frame rate of 100 fps into the image processing circuit 22, and is displayed line-sequentially from the pixel data by pipeline processing in the image processing circuit 22. Image data is generated. Specifically, the image processing circuit 22 directly captures pixel data from the area image sensor 15 line-sequentially without going through the RAM 31, and temporarily stores the pixel data in the line buffer 221 provided in the intermediate image generation unit 22a. The line buffer 221 is a buffer memory that temporarily stores pixel data for a plurality of lines in order to pipeline the frame data in a line-sequential manner in the pixel interpolation unit 222 that operates at a different period from the area image sensor 15. The pixel interpolating unit 222 interpolates two channels in which tone values are missing for each pixel while fetching pixel data of the number of pixels necessary for demosaic processing from the line buffer 221. Next, the white balance correction unit 223 corrects the white balance of the frame data line-sequentially. Next, the color conversion unit 224 line-sequentially converts the gradation value of the frame data corresponding to the device color into the gradation value corresponding to the standardized color space while referring to the 3 × 3 color conversion table. Next, the filter processing unit 225 corrects the sharpness, contrast, and the like of the frame data line-sequentially by filter processing. Next, the gamma correction unit 226 performs line-sequential gamma correction of the frame data according to the gamma characteristic of the area image sensor 15. As a result, intermediate image data is output line-sequentially from the intermediate image generation unit 22a. The processing cycle of the intermediate image generation unit 22 a driven in this way is controlled by a clock pulse as a timing control signal applied from the timing generation circuit 21. As described above, since the fastest frame rate of the intermediate image generation unit 22a is 110 fps, the effective frame rate is set to 100 fps without changing the period of the base clock pulse (for example, the clock pulse for controlling the processing timing for each pixel). In order to drop, the intermediate image generating unit 22a is driven intermittently. That is, the timing generation circuit 21 inserts a dummy pulse into the base clock pulse or holds the base clock pulse high or low, thereby temporarily stopping the intermediate image generation unit 22a and driving it at 100 fps.

実効的に１００ｆｐｓのフレームレートになるように駆動された中間画像生成部２２ａから線順次に出力される中間画像データは、ＲＡＭ３１に記憶されることなく、フレームサイズ変換部２２ｂのラインバッファ２２７に一時記憶される。ラインバッファ２２７は、中間画像生成部２２ａと異なる速さで作動する画素補間部２２２においてフレームサイズの変換処理を線順次に実行するために複数ライン分の中間画像データを一時記憶するバッファメモリである。表示準備部２２８は、ラインバッファ２２７から中間画像データを線順次に取り込みながら水平方向に３／５に間引きして１０８０画素×７２０画素の表示用画像データを線順次に生成して出力する。 Intermediate image data that is output line-sequentially from the intermediate image generation unit 22a that has been driven to an effective frame rate of 100 fps is temporarily stored in the line buffer 227 of the frame size conversion unit 22b without being stored in the RAM 31. Remembered. The line buffer 227 is a buffer memory that temporarily stores intermediate image data for a plurality of lines in order to execute frame size conversion processing in a line sequential manner in the pixel interpolation unit 222 that operates at a speed different from that of the intermediate image generation unit 22a. . The display preparation unit 228 generates display image data of 1080 × 720 pixels in a line-sequential manner by outputting the image data from the line buffer 227 in a line-sequential manner while acquiring the intermediate image data in a line-sequential manner.

このように画像処理回路２２におけるパイプライン処理によって線順次に生成された表示用画像データは、ＶＲＡＭ５２に格納されているＯＳＤ（Over Screen Display）データと加算器５１によって線順次に合成されてＥＶＦ４０のインターフェース回路４１に線順次に取り込まれる。ＯＳＤデータは、シャッタースピードや絞りを示すテキストやマークを表す画像データであってＣＰＵ２３によってＶＲＡＭ５２に格納される。ＶＲＡＭ５２からＯＳＤデータを読み出すためのクロックパルスはタイミング生成回路２１によって生成される。したがってフレームサイズ変換部２２ｂから加算器５１に表示用画像データを取り込むタイミングとＶＲＡＭ５２から加算器５１にＯＳＤデータを取り込むタイミングとが完全に同期するように制御することが可能である。 The display image data generated line-sequentially by the pipeline processing in the image processing circuit 22 in this way is synthesized line-sequentially by the OSD (Over Screen Display) data stored in the VRAM 52 and the adder 51, and is stored in the EVF 40. The data is sequentially taken into the interface circuit 41. The OSD data is image data representing text and marks indicating shutter speed and aperture, and is stored in the VRAM 52 by the CPU 23. A clock pulse for reading out OSD data from the VRAM 52 is generated by the timing generation circuit 21. Therefore, it is possible to control the timing at which the display image data is fetched from the frame size converter 22b to the adder 51 and the timing at which the OSD data is fetched from the VRAM 52 to the adder 51.

加算器５１によってＯＳＤデータと合成された表示用画像データはインターフェース回路４１を介して線順次にコントローラー４２に取り込まれる。コントローラー４２は、表示用画像データに基づいて水平駆動回路４３および垂直駆動回路４４に印加するデジタル形式のデータ信号を出力するとともに、タイミング生成回路２１によって生成された垂直同期信号、水平同期信号、ドットクロックおよびデータアクティブ信号を中継する。すなわち、タイミング生成回路２１によって生成された垂直同期信号、水平同期信号、ドットクロックおよびデータアクティブ信号によって液晶パネル４５を駆動するタイミングが制御される。そして既に述べたとおり、１０８０画素×７２０画素の表示用画像データを表示する最速フレームレートが１２０ｆｐｓであるＥＶＦ４０を実効的に１００ｆｐｓのフレームレートで制御するために、タイミング生成回路２１は垂直同期信号の周期変更とあわせて水平同期信号にダミーパルスを挿入したり、垂直同期信号の周期変更とあわせてドットクロックにダミーパルスを挿入して水平同期信号の周期を変更することによってＥＶＦ４０の実効的なフレームレートを１００ｆｐｓに調整する。 The display image data combined with the OSD data by the adder 51 is taken into the controller 42 line-sequentially via the interface circuit 41. The controller 42 outputs digital data signals to be applied to the horizontal drive circuit 43 and the vertical drive circuit 44 based on the display image data, and also generates the vertical synchronization signal, horizontal synchronization signal, dot generated by the timing generation circuit 21. Relay clock and data active signals. That is, the timing for driving the liquid crystal panel 45 is controlled by the vertical synchronization signal, horizontal synchronization signal, dot clock, and data active signal generated by the timing generation circuit 21. As described above, in order to effectively control the EVF 40 having a maximum frame rate of 120 fps for displaying 1080 × 720 pixel display image data at a frame rate of 100 fps, the timing generation circuit 21 generates a vertical sync signal. An effective frame of the EVF 40 is inserted by inserting a dummy pulse into the horizontal synchronization signal in conjunction with the period change, or by inserting a dummy pulse into the dot clock in conjunction with the period change in the vertical synchronization signal to change the period of the horizontal synchronization signal. Adjust the rate to 100 fps.

（静止画記録モード：レリーズモード）
静止画記録モードにおいてシャッターボタンが押されると、エリアイメージセンサ１５のモード設定がフルサイズモードに切り換えられるとともにシャッター１３のレリーズ準備速度に応じた速度でライン単位にピクセルデータがリセットされ、シャッター１３がシャッター速度に応じてレリーズされる。シャッター１３がレリーズされた後に、ピクセルデータをエリアイメージセンサ１５から読み出して画像データをリムーバブルメモリ３３に格納するためのタイミング制御信号がタイミング生成回路２１によって生成される。このときエリアイメージセンサ１５から読み出されるピクセルデータのフレームサイズは、エリアイメージセンサ１５の有効使用画素数である５４００画素×３６００画素を上限として設定されるフレームサイズである。シャッター１３がレリーズされると、レリーズ前よりも大きなフレームサイズのピクセルデータがエリアイメージセンサ１５から画像処理回路２２に取り込まれる。そして画像処理回路２２は、エリアイメージセンサ１５から取り込んだピクセルデータから画像データを生成する。そして画像データは画像処理エンジン２０の図示しない圧縮回路によって圧縮された後にＪＰＥＧ等の所定のフォーマットでリムーバブルメモリ３３に格納される。このようにして静止画像データをリムーバブルメモリ３３に格納する場合には、タイミング生成回路２１はタイミング御信号にダミーパルスを挿入しない。すなわち、エリアイメージセンサ１５、画像処理回路２２は一時停止することなくフレームデータを処理して静止画像データを生成する。 (Still image recording mode: Release mode)
When the shutter button is pressed in the still image recording mode, the mode setting of the area image sensor 15 is switched to the full size mode, and the pixel data is reset in units of lines at a speed corresponding to the release preparation speed of the shutter 13. The shutter is released according to the shutter speed. After the shutter 13 is released, the timing generation circuit 21 generates a timing control signal for reading the pixel data from the area image sensor 15 and storing the image data in the removable memory 33. At this time, the frame size of the pixel data read from the area image sensor 15 is a frame size set with the upper limit of 5400 pixels × 3600 pixels, which is the effective number of pixels used in the area image sensor 15. When the shutter 13 is released, pixel data having a larger frame size than that before the release is taken into the image processing circuit 22 from the area image sensor 15. The image processing circuit 22 generates image data from the pixel data captured from the area image sensor 15. The image data is compressed by a compression circuit (not shown) of the image processing engine 20 and then stored in the removable memory 33 in a predetermined format such as JPEG. When still image data is stored in the removable memory 33 in this way, the timing generation circuit 21 does not insert a dummy pulse into the timing control signal. That is, the area image sensor 15 and the image processing circuit 22 process the frame data without temporarily stopping to generate still image data.

以上説明したように、レリーズまでは、ドラフトモードでエリアイメージセンサ１５からフレームデータを読み出してＥＶＦ４０に取り込むまで画像処理回路２２において線順次にフレームデータをパイプライン処理することによって、６０ｆｐｓよりも高速な１００ｆｐｓ相当の実効的な統一されたフレーム周期（図３に示すｔ₃）でエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動することが可能になる。そして、静止画再生モードでは６０ｆｐｓよりも高速な１００ｆｐｓでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が駆動されるため、表示遅延、すなわちエリアイメージセンサ１５からフレームデータを読み込み始めてから液晶パネル４５に被写体画像が表示され始めるまでに要する図３に示す時間ｔ₁が短くなる。そして、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０において１フレーム分のデータを処理する処理単位の位相差がエリアイメージセンサ１５を基準として全フレームについて一定になるため、エリアイメージセンサ１５から読み込まれた１フレーム分のピクセルデータに基づいて液晶パネル４５の連続する２つのフレームに同一の被写体画像が表示される問題は発生しない。このため、本実施形態によるとデジタルカメラ１の液晶パネル４５における表示遅延を全フレームについて一定に保つことができる。すなわち本実施形態によると、デジタルカメラ１の液晶パネル４５における表示遅延を一定に保ちながら短縮することができる。また、エリアイメージセンサ１５から画像処理回路２２に読み込まれた全フレーム分のピクセルデータに基づいて液晶パネル４５に被写体画像が必ず表示されることになる。 As described above, until the release, the frame data is pipelined in the image processing circuit 22 until the frame data is read out from the area image sensor 15 in the draft mode and taken into the EVF 40, so that the speed is higher than 60 fps. The area image sensor 15, the image processing circuit 22, and the EVF 40 can be driven with an effective unified frame period (t ₃ shown in FIG. ₃ ) equivalent to 100 fps. In the still image reproduction mode, the area image sensor 15, the image processing circuit 22 and the EVF 40 are driven at 100 fps, which is faster than 60 fps. Therefore, display delay, that is, frame data from the area image sensor 15 starts to be read into the liquid crystal panel 45. The time t ₁ shown in FIG. 3 required until the subject image starts to be displayed is shortened. Then, since the phase difference of the processing unit for processing data for one frame in the area image sensor 15, the image processing circuit 22 and the EVF 40 is constant for all the frames with the area image sensor 15 as a reference, it is read from the area image sensor 15. Further, there is no problem that the same subject image is displayed in two consecutive frames of the liquid crystal panel 45 based on the pixel data for one frame. Therefore, according to the present embodiment, the display delay in the liquid crystal panel 45 of the digital camera 1 can be kept constant for all frames. That is, according to this embodiment, the display delay in the liquid crystal panel 45 of the digital camera 1 can be shortened while keeping constant. In addition, the subject image is always displayed on the liquid crystal panel 45 based on the pixel data for all frames read from the area image sensor 15 to the image processing circuit 22.

またＯＶＦに比べると、反射鏡を跳ね上げる時間分だけシャッター１３のレリーズタイミングを早めることができる。このため本実施形態によると、撮影者がＥＶＦ４０で確認していた被写体の動きや構図と、画像データとしてリムーバブルメモリ３３に記録される被写体の動きや構図とのずれを、ＯＶＦに比べても小さくなるほどに低減することができる。具体的には、本実施形態によると、レリーズまでの表示遅延を少なくとも１５ミリ秒程度以下に短縮することができるため、１５ミリ秒程度かかるシャッター１３のレリーズ準備時間と合わせたシャッタータイムラグを３０ミリ秒程度以下に短縮することが可能である。そして、レリーズまでは、小さなフレームサイズのデータを処理して被写体画像をＥＶＦ４０に表示するため、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に求められる処理速度を抑制しながらＥＶＦ４０の表示遅延を短縮することができるとともに、高精細な静止画像をリムーバブルメモリ３３に記録することができる。 Compared with OVF, the release timing of the shutter 13 can be advanced by the amount of time for which the reflecting mirror is flipped up. For this reason, according to the present embodiment, the difference between the movement and composition of the subject confirmed by the photographer with the EVF 40 and the movement and composition of the subject recorded in the removable memory 33 as image data is smaller than that of the OVF. Indeed, it can be reduced. Specifically, according to the present embodiment, since the display delay until the release can be reduced to at least about 15 milliseconds or less, the shutter time lag combined with the release preparation time of the shutter 13 which takes about 15 milliseconds is set to 30 milliseconds. It can be shortened to about a second or less. Until the release, the data of a small frame size is processed and the subject image is displayed on the EVF 40. Therefore, the display delay of the EVF 40 is reduced while suppressing the processing speed required for the area image sensor 15, the image processing circuit 22 and the EVF 40. And a high-definition still image can be recorded in the removable memory 33.

また、本実施形態ではＥＶＦ４０に単板カラーフィルタ方式の液晶パネル４５を採用しているため、フィールドシーケンシャル方式でＥＶＦを駆動する場合に比べると、コントローラー４２、垂直駆動回路４４および水平駆動回路４３の動作速度を抑制することができる。フィールドシーケンシャル方式で液晶パネルを駆動する場合、フィールドシーケンシャル方式のＥＶＦを６０ｆｐｓより速いフレームレートで駆動しながらエリアイメージセンサ１５および画像処理回路２２をＥＶＦと同期させるためには、１８０ｆｐｓ以上のフレームレートでエリアイメージセンサ１５および画像処理回路２２を駆動する必要がある。しかし、１８０ｆｐｓ以上のフレームレートでエリアイメージセンサ１５および画像処理回路２２を駆動することは、必要とされる演算速度とデータ転送速度が過大となるため実現困難である。特にフィールドシーケンシャル方式で駆動される液晶パネルのカラーブレイクアップを防止する必要性から求められるデータ転送速度は、理論限界速度を超える可能性がある。 In the present embodiment, since the EVF 40 employs the single-plate color filter type liquid crystal panel 45, the controller 42, the vertical drive circuit 44, and the horizontal drive circuit 43 are compared with the case where the EVF is driven by the field sequential method. The operation speed can be suppressed. When driving the liquid crystal panel by the field sequential method, in order to synchronize the area image sensor 15 and the image processing circuit 22 with the EVF while driving the field sequential EVF at a frame rate faster than 60 fps, the frame rate is 180 fps or more. It is necessary to drive the area image sensor 15 and the image processing circuit 22. However, driving the area image sensor 15 and the image processing circuit 22 at a frame rate of 180 fps or more is difficult to realize because the required calculation speed and data transfer speed are excessive. In particular, the data transfer speed required from the need to prevent color breakup of a liquid crystal panel driven by a field sequential method may exceed the theoretical limit speed.

（動画記録モード）
動画記録モードでは、静止画記録モードよりも遅いフレームレートでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が駆動されて被写体画像が液晶パネル４５に表示されるとともに、放送規格に適合したフレームレートの動画像データがリムーバブルメモリ３３に格納される。具体的には、ダイヤルスイッチの操作によって動画記録モードに遷移すると、画像処理エンジン２０は、例えば放送規格に適合した３０ｆｐｓ（３０ｐ）または６０ｆｐｓ（６０ｐまたは６０ｉ）の実効フレームレートでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動するためのタイミング制御信号をタイミング生成回路２１によって生成してエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に印加する。動画記録モードでは、ドラフトモードでエリアイメージセンサ１５から放送規格に準じたフレームサイズのピクセルデータを出力させる。中間画像生成部２２ａは、放送規格に準じたフレームサイズのピクセルデータをエリアイメージセンサ１５から３０ｆｐｓまたは６０ｆｐｓの実効フレームレートで取り込み、取り込んだピクセルデータに基づいて中間画像データを生成する。さらに画像処理エンジン２０の図示しない圧縮回路によって、放送規格に準じたフォーマットに圧縮された動画像データが中間画像データから生成されるとともにリムーバブルメモリ３３に格納される。一方、フレームサイズ変換部２２ｂによって、液晶パネル４５の有効画素数に応じたフレームサイズの表示用画像データが中間画像データに基づいて３０ｆｐｓまたは６０ｆｐｓの実効フレームレートで生成されるとともに、表示用画像データに基づいて被写体画像がＥＶＦ４０に３０ｆｐｓまたは６０ｆｐｓの実効フレームレートで表示される。このように、動画記録モードでは静止画記録モードよりも遅い実効フレームレートでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が駆動されるため、静止画記録モードよりも消費電力が低く抑えられる。 (Movie recording mode)
In the moving image recording mode, the area image sensor 15, the image processing circuit 22, and the EVF 40 are driven at a frame rate slower than that in the still image recording mode to display the subject image on the liquid crystal panel 45, and the frame rate conforming to the broadcast standard is set. The moving image data is stored in the removable memory 33. Specifically, when the mode is changed to the moving image recording mode by the operation of the dial switch, the image processing engine 20, for example, the area image sensor 15 at an effective frame rate of 30 fps (30 p) or 60 fps (60 p or 60 i) conforming to the broadcast standard. A timing control signal for driving the image processing circuit 22 and the EVF 40 is generated by the timing generation circuit 21 and applied to the area image sensor 15, the image processing circuit 22 and the EVF 40. In the moving image recording mode, pixel data having a frame size conforming to the broadcast standard is output from the area image sensor 15 in the draft mode. The intermediate image generation unit 22a captures pixel data having a frame size in accordance with the broadcast standard at an effective frame rate of 30 fps or 60 fps from the area image sensor 15, and generates intermediate image data based on the captured pixel data. Further, moving image data compressed into a format conforming to the broadcast standard is generated from the intermediate image data by a compression circuit (not shown) of the image processing engine 20 and stored in the removable memory 33. On the other hand, the frame size conversion unit 22b generates display image data having a frame size corresponding to the number of effective pixels of the liquid crystal panel 45 at an effective frame rate of 30 fps or 60 fps based on the intermediate image data. Based on the above, the subject image is displayed on the EVF 40 at an effective frame rate of 30 fps or 60 fps. As described above, in the moving image recording mode, the area image sensor 15, the image processing circuit 22, and the EVF 40 are driven at an effective frame rate slower than that in the still image recording mode, so that power consumption can be suppressed lower than that in the still image recording mode.

なお、動画記録モードでは静止画記録モードよりも遅いフレームレートでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０が駆動されるため、表示遅延は静止画記録モードよりも長くなるが、いったん動画像データの生成と記録が始まると動画データの記録終了まで被写体が動画像データに記録され続けるため、表示遅延は実質的に問題にならない。 In the moving image recording mode, the area image sensor 15, the image processing circuit 22, and the EVF 40 are driven at a slower frame rate than in the still image recording mode. Therefore, the display delay is longer than that in the still image recording mode. When generation and recording starts, the subject continues to be recorded in the moving image data until the end of the recording of the moving image data, so display delay is not a problem.

（再生モード）
再生モードでは、リムーバブルメモリ３３に格納された静止画像データまたは動画像データがＥＶＦ４０によって表示される。ダイヤルスイッチの操作によって再生モードに遷移した後に再生対象として画像データが選択されると、ＣＰＵ２３は再生対象の画像データのフォーマットに基づいて再生対象が静止画像データであるか動画像データであるかを判定する。 (Playback mode)
In the reproduction mode, still image data or moving image data stored in the removable memory 33 is displayed by the EVF 40. When image data is selected as a playback target after changing to the playback mode by operating a dial switch, the CPU 23 determines whether the playback target is still image data or moving image data based on the format of the playback target image data. judge.

再生対象が静止画像データである場合、タイミング生成回路２１はＣＰＵ２３によって静止画再生モードに設定され、静止画記録モードよりも遅い静止画再生モードに応じたフレームレートでＥＶＦ４０に被写体画像が表示される。具体的には、再生対象の画像データとして静止画像データが選択されると、画像処理エンジン２０は、リムーバブルメモリ３３から再生対象の静止画像データをＲＡＭ３１に読み出して伸張し、液晶パネル４５の有効使用画素数に応じたフレームサイズにリサイズして表示用画像データを生成し、表示用画像データをＶＲＡＭ５２に格納する。そしてフリッカが生じない程度に遅い３０ｆｐｓや６０ｆｐｓの実効フレームレートでＥＶＦ４０で駆動するためのタイミング制御信号がタイミング生成回路２１によって生成されてＥＶＦ４０のコントローラー４２に印加される。その結果、リムーバブルメモリ３３から読み出された静止画像データに基づいて被写体画像がＥＶＦ４０の液晶パネル４５に３０ｆｐｓで表示される。このように静止画再生モードにおいては、静止画記録モードよりも遅いフレームレートでＥＶＦ４０が駆動されるため、ＥＶＦ４０の消費電力は静止画記録モードに比べて低く抑えられる。 When the reproduction target is still image data, the timing generation circuit 21 is set to the still image reproduction mode by the CPU 23, and the subject image is displayed on the EVF 40 at a frame rate corresponding to the still image reproduction mode slower than the still image recording mode. . Specifically, when still image data is selected as the image data to be reproduced, the image processing engine 20 reads out and decompresses the still image data to be reproduced from the removable memory 33 to the RAM 31, and effectively uses the liquid crystal panel 45. The display image data is generated by resizing the frame size according to the number of pixels, and the display image data is stored in the VRAM 52. A timing control signal for driving the EVF 40 at an effective frame rate of 30 fps or 60 fps that is slow enough not to cause flicker is generated by the timing generation circuit 21 and applied to the controller 42 of the EVF 40. As a result, the subject image is displayed at 30 fps on the liquid crystal panel 45 of the EVF 40 based on the still image data read from the removable memory 33. As described above, in the still image reproduction mode, the EVF 40 is driven at a frame rate slower than that of the still image recording mode. Therefore, the power consumption of the EVF 40 can be suppressed lower than that in the still image recording mode.

再生対象が動画像データである場合、タイミング生成回路２１はＣＰＵ２３によって動画再生モードに設定され、静止画記録モードよりも遅い動画再生モードに応じたフレームレートでＥＶＦ４０に被写体画像が表示される。具体的には、再生対象の画像データとして動画像データが選択されると、画像処理エンジン２０は、リムーバブルメモリ３３から再生対象の動画像データをＲＡＭ３１に読み出して伸張し、フレーム毎に液晶パネル４５の有効使用画素数に応じたフレームサイズにリサイズして表示用画像データを生成してＶＲＡＭ５２に格納する。そして３０ｆｐｓまたは６０ｆｐｓの実効フレームレートで駆動するためのタイミング制御信号をタイミング生成回路２１によって生成してＥＶＦ４０に印加する。その結果、リムーバブルメモリ３３から読み出された動画像データに基づいて被写体画像がＥＶＦ４０の液晶パネル４５に３０ｆｐｓまたは６０ｆｐｓで表示される。このように動画再生モードにおいても、静止画記録モードよりも遅いフレームレートでＥＶＦ４０が駆動されるため、ＥＶＦ４０の消費電力は静止画記録モードよりも低く抑えられる。 When the reproduction target is moving image data, the timing generation circuit 21 is set to the moving image reproduction mode by the CPU 23, and the subject image is displayed on the EVF 40 at a frame rate corresponding to the moving image reproduction mode slower than the still image recording mode. Specifically, when moving image data is selected as the image data to be reproduced, the image processing engine 20 reads out the moving image data to be reproduced from the removable memory 33 to the RAM 31 and decompresses it, and the liquid crystal panel 45 for each frame. The display image data is generated by resizing to the frame size corresponding to the number of effective used pixels and stored in the VRAM 52. A timing control signal for driving at an effective frame rate of 30 fps or 60 fps is generated by the timing generation circuit 21 and applied to the EVF 40. As a result, the subject image is displayed at 30 fps or 60 fps on the liquid crystal panel 45 of the EVF 40 based on the moving image data read from the removable memory 33. As described above, even in the moving image playback mode, the EVF 40 is driven at a frame rate slower than that in the still image recording mode. Therefore, the power consumption of the EVF 40 can be suppressed to be lower than that in the still image recording mode.

３．他の実施形態
以上、本発明を実施形態を用いて具体的に説明したが、本発明の技術的範囲は特許請求の範囲によって画定され、上述した実施形態に限定されないことはいうまでもない。 3. Other Embodiments Although the present invention has been specifically described with the embodiment, it is needless to say that the technical scope of the present invention is defined by the scope of the claims and is not limited to the above-described embodiment.

例えば、静止画記録モードにおいてエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動する実効フレームレートは、６０ｆｐｓよりも速いレートで一致していればよく、例えば９０ｆｐｓでも１２０ｆｐｓでもよい。尚、被写体画像の表示遅延を短縮するには６０ｆｐｓよりも速い実効フレームレートでエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動することが望ましいが、実効フレームレートが一致し全フレームについて位相差が一定であれば、被写体画像の表示遅延が全フレームについて一定になる。このため、３０ｆｐｓ以上６０ｆｐｓ以下の実効フレームレート（例えば５０ｆｐｓ）でエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動してもよい。 For example, the effective frame rate for driving the area image sensor 15, the image processing circuit 22, and the EVF 40 in the still image recording mode only needs to match at a rate faster than 60 fps, and may be 90 fps or 120 fps, for example. In order to reduce the display delay of the subject image, it is desirable to drive the area image sensor 15, the image processing circuit 22 and the EVF 40 at an effective frame rate faster than 60 fps. Is constant, the display delay of the subject image is constant for all frames. Therefore, the area image sensor 15, the image processing circuit 22, and the EVF 40 may be driven at an effective frame rate (for example, 50 fps) of 30 fps to 60 fps.

また、ピクセルデータ、中間画像データ、表示用画像データ等の静止画記録モードにおいてレリーズされるまでのフレームサイズはあくまで例示であって、レリーズによって記録される静止画像データよりも小さなフレームサイズであって、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０を駆動する実効フレームレートを一致させられる範囲であればどのようなサイズであっても良い。例えば、静止画記録モードにおいてレリーズされるまでのフレームサイズとして、ＶＧＡ（６４０画素×４８０画素）、ＸＧＡ（１０２４画素×７６８画素）、ワイドＸＧＡ（１２８０画素×７６８画素）などを採用しても良い。 In addition, the frame size until release in the still image recording mode such as pixel data, intermediate image data, and display image data is merely an example, and the frame size is smaller than the still image data recorded by the release. Any size may be used as long as the effective frame rates for driving the area image sensor 15, the image processing circuit 22, and the EVF 40 can be matched. For example, VGA (640 pixels × 480 pixels), XGA (1024 pixels × 768 pixels), wide XGA (1280 pixels × 768 pixels), etc. may be adopted as the frame size until the release in the still image recording mode. .

また、静止画記録モードにおいてレリーズされるまでの期間において、ピクセルデータ、中間画像データ、表示用画像データ等のフレームデータをＲＡＭやＶＲＡＭに書き出しても良い。この場合、ＲＡＭやＶＲＡＭをバッファメモリとして利用できるため、画像処理エンジン２０の回路規模を縮小することができる。具体的には例えば、ラインバッファ２２７を省略し、中間画像データをＲＡＭ３１に一時記憶し、ＲＡＭ３１から中間画像データを読み出しながら表示用画像データを生成して表示用画像データ専用のＶＲＡＭに格納しても良い。 In addition, frame data such as pixel data, intermediate image data, and display image data may be written to the RAM or VRAM until the release in the still image recording mode. In this case, since the RAM or VRAM can be used as a buffer memory, the circuit scale of the image processing engine 20 can be reduced. Specifically, for example, the line buffer 227 is omitted, the intermediate image data is temporarily stored in the RAM 31, the display image data is generated while reading the intermediate image data from the RAM 31, and stored in the VRAM dedicated to the display image data. Also good.

また、表示用画像データにＯＳＤデータを合成する加算器５１を省略するとともに、絞りやシャッター速度を表示するための画像データを格納するためのＶＲＡＭを画像処理エンジン２０の外部に設けても良い。例えば絞りやシャッター速度を表示するための液晶パネルを被写体画像を表示するための液晶パネルに隣接して設け、２つの液晶パネルを互いに異なるフレームレートで駆動しても良い。この場合、ＶＲＡＭと画像処理エンジン２０とを同期させる必要はなくなるため、ＶＲＡＭは画像処理エンジン２０の外部のタイミング生成回路によって駆動すればよい。 Further, the adder 51 that combines the OSD data with the display image data may be omitted, and a VRAM for storing image data for displaying the aperture and shutter speed may be provided outside the image processing engine 20. For example, a liquid crystal panel for displaying the aperture and shutter speed may be provided adjacent to the liquid crystal panel for displaying the subject image, and the two liquid crystal panels may be driven at different frame rates. In this case, since it is not necessary to synchronize the VRAM and the image processing engine 20, the VRAM may be driven by a timing generation circuit outside the image processing engine 20.

また、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に印加するタイミング制御信号を生成する回路を２以上の半導体集積回路チップに設け、それぞれの半導体集積回路チップにおいてエリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に印加するタイミング制御信号を分担して生成してもよい。ただし、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０に印加するタイミング制御信号を複数のタイミング生成回路によって分担して生成する場合であっても、エリアイメージセンサ１５、画像処理回路２２およびＥＶＦ４０のそれぞれにおいて１フレーム分のデータを処理する処理単位の繰り返し周期が一致するとともにその処理単位を繰り返す位相差が全フレームについて一定になるように、複数のタイミング生成回路を同期信号を用いて同期させることが好ましい。 Further, two or more semiconductor integrated circuit chips are provided with circuits for generating timing control signals to be applied to the area image sensor 15, the image processing circuit 22, and the EVF 40, and the area image sensor 15 and the image processing circuit 22 in each semiconductor integrated circuit chip. Alternatively, the timing control signal applied to the EVF 40 may be shared and generated. However, even when the timing control signals applied to the area image sensor 15, the image processing circuit 22 and the EVF 40 are generated by being shared by a plurality of timing generation circuits, each of the area image sensor 15, the image processing circuit 22 and the EVF 40 is provided. The timing generation circuits may be synchronized using the synchronization signal so that the repetition period of the processing unit for processing data for one frame matches and the phase difference for repeating the processing unit is constant for all frames. preferable.

また、静止画記録モードにおいてもフレームレートを切り換えても良い。具体的には例えば、風景撮影モード、スポーツ撮影モード、夜景撮影モードといった被写体の特性に応じた静止画記録モードを複数用意するとともに、これらのモードを切り換えるスイッチを設け、これらのモード毎にエリアイメージセンサ、画像処理回路及びＥＶＦのフレームレートを切り換えても良い。尚、モードを切り換える手段としては、ダイヤルスイッチは例示に過ぎず、プッシュ型スイッチや、タッチパネルや、レバースイッチなど、どのような操作手段を採用しても良いことはいうまでもない。 Also, the frame rate may be switched in the still image recording mode. Specifically, for example, a plurality of still image recording modes corresponding to the characteristics of the subject such as a landscape shooting mode, a sports shooting mode, and a night scene shooting mode are prepared, and a switch for switching between these modes is provided, and an area image is provided for each of these modes. The frame rate of the sensor, the image processing circuit, and the EVF may be switched. As a means for switching the mode, the dial switch is merely an example, and it is needless to say that any operation means such as a push-type switch, a touch panel, and a lever switch may be adopted.

また、ＦＰＤに表示される被写体画像が接眼レンズを介して観察されるＥＶＦ４０の代わりに、デジタルカメラの筐体の背面に画面が露出するＬＣＤ等のＦＰＤのタイミング制御に本発明を適用しても良い。 In addition, instead of the EVF 40 in which the subject image displayed on the FPD is observed through the eyepiece, the present invention may be applied to timing control of an FPD such as an LCD whose screen is exposed on the back of the digital camera housing. good.

１…デジタルカメラ、１０…光学系、１１…レンズ、１３…シャッター、１４…ローパスフィルタ、１５…エリアイメージセンサ、２０…画像処理エンジン、２１…タイミング生成回路、２２…画像処理回路、２２ａ…中間画像生成部、２２ｂ…フレームサイズ変換部、２３…ＣＰＵ、３０…ＲＯＭ、３１…ＲＡＭ、３２…操作部、３３…リムーバブルメモリ、４１…インターフェース回路、４２…コントローラー、４３…水平駆動回路、４４…垂直駆動回路、４５…液晶パネル、５１…加算器、５２…ＶＲＡＭ、２２１…ラインバッファ、２２２…画素補間部、２２３…ホワイトバランス補正部、２２４…色変換部、２２５…フィルタ処理部、２２６…ガンマ補正部、２２７…ラインバッファ、２２８…表示準備部。 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 10 ... Optical system, 11 ... Lens, 13 ... Shutter, 14 ... Low pass filter, 15 ... Area image sensor, 20 ... Image processing engine, 21 ... Timing generation circuit, 22 ... Image processing circuit, 22a ... Intermediate Image generation unit, 22b ... frame size conversion unit, 23 ... CPU, 30 ... ROM, 31 ... RAM, 32 ... operation unit, 33 ... removable memory, 41 ... interface circuit, 42 ... controller, 43 ... horizontal drive circuit, 44 ... Vertical drive circuit, 45 ... liquid crystal panel, 51 ... adder, 52 ... VRAM, 221 ... line buffer, 222 ... pixel interpolation unit, 223 ... white balance correction unit, 224 ... color conversion unit, 225 ... filter processing unit, 226 ... Gamma correction unit, 227... Line buffer, 228... Display preparation unit.

Claims

An area image sensor that generates pixel data by photoelectric conversion;
A display for displaying a subject image based on display image data;
An image processing circuit for generating the display image data from the pixel data;
A timing generation circuit for applying a timing control signal,
The timing control signal applied to the area image sensor and the display includes a vertical synchronization signal and a horizontal synchronization signal,
The timing generation circuit matches the repetition cycle of a processing unit for processing the same data for one frame in each of the area image sensor, the display, and the image processing circuit with a cycle shorter than 1/60 seconds and in the display The fastest processing time of the processing unit is shorter than the processing time of the processing unit in the image processing circuit .
Digital camera.

The area image sensor outputs the pixel data having a smaller frame size than the pixel data to be output when released until the release.
The digital camera according to claim 1 .

Mode switching means for switching the repetition cycle of the processing unit,
The digital camera according to claim 1 or 2 .

The timing control signal applied to the area image sensor and the display includes a dot clock signal.
The digital camera according to any one of claims 1 to 3 .

The image processing circuit includes a line buffer to which the pixel data is transferred from the area image sensor.
The digital camera according to any one of claims 1 to 4 .

The image processing circuit includes: an intermediate image generation unit that generates intermediate image data from the pixel data; a line buffer that stores the intermediate image data; and the intermediate image data that is read from the line buffer. A frame size conversion unit that converts a frame size into a frame size of the display image data, and pipelines the data for one frame in a line-sequential manner.
The digital camera according to any one of claims 1 to 5.