WO2016024393A1 - 撮像表示装置 - Google Patents

撮像表示装置 Download PDF

Info

Publication number
WO2016024393A1
WO2016024393A1 PCT/JP2015/003954 JP2015003954W WO2016024393A1 WO 2016024393 A1 WO2016024393 A1 WO 2016024393A1 JP 2015003954 W JP2015003954 W JP 2015003954W WO 2016024393 A1 WO2016024393 A1 WO 2016024393A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
image signal
imaging
output
Prior art date
Application number
PCT/JP2015/003954
Other languages
English (en)
French (fr)
Inventor
塩原 隆一
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to US15/500,169 priority Critical patent/US10477139B2/en
Publication of WO2016024393A1 publication Critical patent/WO2016024393A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/06Details of flat display driving waveforms
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the output timing of the image signal of each line can be controlled with the accuracy of the horizontal scanning period determined by the horizontal synchronization pulse. For this reason, even when the image processing time required for generating the image signal varies from line to line, the image signal of each line is output to the display unit at a timing corresponding to the image processing time for each line. Is possible.
  • the frame rate of the display unit 40 may be a frame rate slightly higher than 72 fps such as 73 fps as described above.
  • the vertical scanning period Fd includes a vertical synchronization period DVp, a vertical back porch period DVb, a vertical effective data period DVI, and a vertical front porch period DVf.
  • the vertical synchronization period DVp is a period in which the display vertical synchronization signal DVsync is active (low level in this example), and has a predetermined time length that starts at the same time as the vertical scanning period Fd starts. It is a period to have.
  • the vertical back porch period DVb is a period subsequent to the vertical synchronization period DVp and has a predetermined time length.
  • the vertical valid data period DVI in the first embodiment is a period having a predetermined time length following the vertical back porch period DVb.
  • the time length of the horizontal effective data period DHI (or the number of pixels in the X-axis direction (N) in the display area AD), the time length of the horizontal synchronization period DHp (or the number of clocks), the horizontal back porch period DHb Time length (or the number of clocks), horizontal front porch period DHf (or the number of clocks), vertical effective data period DVI (or the number of lines in the Y-axis direction (M) in the display area AD). That is, the number of effective horizontal scanning periods Hd-A included in the vertical effective data period DVI and the length of the vertical synchronization period DVp (or the clock).
  • the image sensor 12 thins the pixel data signal Sig output from the light receiving element of the PS row into a signal corresponding to the pixel of the P row in the Y-axis direction. Specifically, the image sensor 12 selects a readout target line from the PS row, reads out the pixel data signal Sig output from the light receiving element located in the readout target line, and is positioned in a line other than the readout target line. By skipping the pixel data signal Sig output by the light receiving element, the thinning is performed in the Y-axis direction.
  • the resizing processing unit 217 corrects the image Pc1 indicated by the closed curve CV1 to the image Pc2 indicated by the quadrangle SQ in the distortion correction processing. Similarly, the resizing processing unit 217 corrects the image Pc3 indicated by the closed curve CV2 to the image Pc4 indicated by the quadrangle SQ in the distortion correction processing when pincushion aberration occurs. In these cases, the resizing processing unit 217 associates the pixel in the image before correction with the pixel in the image after correction, sets the pixel before correction corresponding to the pixel after correction as the central pixel, and the central pixel and the surrounding pixels. The gradation to be displayed for the corrected pixel is determined based on the gradation to be displayed at each pixel in the reference region including the peripheral pixels as pixels.
  • the display unit 40 is operated at a speed that is a natural number multiple of the frame rate of the imaging unit 10,
  • the imaging unit 10 and the display unit 40 are synchronized, but the vertical scanning period Fd of the image signal DGB in the first display of a plurality of times (for example, two times or three times) is the vertical scanning of the image signal DGB in the second and subsequent times. It differs from the imaging display device 1 of the first embodiment shown in FIG. 1 in that it is longer than the period Fd.
  • the output control signal CTR is generated so that the image signal DGB is read from the VRAM 22 continuously from a predetermined timing.
  • “the preparation for outputting the image signal D [m] (image signal DGB [m]) is completed” means that the following first condition and second condition are satisfied.
  • the image processing unit 21 completes the image processing of the image signal D [m] (image signal DGA [m]) in the m-th row, and writing of DGA [m] to the line buffer 22 is completed. Being.
  • the image signal output unit 23 has completed the output of the image signal D [m-1] (image signal DGB [m-1]) in the (m-1) th row.
  • the first condition indicates a case where the line number ma indicated by the image processing completion signal PtA is greater than or equal to the line number m, that is, the condition is satisfied when “m ⁇ ma” is satisfied for m.
  • the output control unit 31 can determine whether or not “preparation for outputting the image signal D [m] (image signal DGB [m]) has been completed” according to, for example, the following two modes.
  • the second mode is after the result of the previous determination (determination as to whether or not preparation for outputting the image signal D [m-1] is completed) is affirmative.
  • the output control unit 31 repeats the first determination until the determination result of the first determination becomes affirmative, and the determination result of the first determination is
  • the output control signal CTR is set to a value (CTR [m]) indicating that the determination result is affirmative.
  • the output control unit 31 determines whether the output preparation of the image signal D [2] is completed, and sets the output permission pulse PL [2] in the output control signal CTR.
  • a case (corresponding to Case-1) will be described.
  • the display preparation determination time TB [2] is the horizontal effective period of the horizontal scanning period Hd [1] (effective horizontal scanning period Hd-A [1]) in which the output of the image signal D [1] is completed. This is the end of the data period DHI.
  • the image signal generation time TC [2] for completing the image processing of the image signal D [2] comes before the display preparation determination time TB [2].
  • the output control unit 31 determines whether or not the output preparation of the image signal D [3] is completed, and sets the output permission pulse PL [3] in the output control signal CTR.
  • the case (corresponding to Case-2) will be described.
  • the display preparation determination time TB [3] is the horizontal effective period of the horizontal scanning period Hd [2] (effective horizontal scanning period Hd-A [2]) in which the output of the image signal D [2] is completed. This is the end of the data period DHI.
  • the output control unit 31 determines that the output preparation of the image signal D [m] is completed, and outputs the output permission pulse PL [m] as the output control signal CTR. Waiting for the output, the horizontal scanning period Hd [m] is started only after the reference front porch time TP after the output permission pulse PL [m] is output. In other words, the timing generator 32 according to the third embodiment extends the horizontal front porch period DHf until the output preparation of the image signal D [m] is completed. Therefore, the image signal output unit 23 outputs the image signal D [m] in the horizontal scanning period Hd [m] even when the image processing of the image signal D [m] in the image processing unit 21 is delayed. It becomes possible to do. In this case, the delay time from when the imaging unit 10 outputs the imaging signal DGS [m] until the display unit 40 displays an image based on the image signal D [m] is minimum with the accuracy of the display dot clock signal DCLK. Will be converted.
  • the timing control unit 30 activates the display vertical synchronization signal DVsync.
  • the image signal DGB1a is read from the VRAM 22 after the vertical back porch period DVb has elapsed.
  • the invalid horizontal scanning period Hd-D is not provided in the vertical effective data period DVI as in the second embodiment. That is, the vertical effective data period DVI (DVI1 to DVI5) of this embodiment is composed of only the effective horizontal scanning period Hd-A. This is because “K” is set so that reading of the image signal DGB in the VRAM 22 does not precede writing of the image signal DGA, as in the first embodiment.
  • the operations of the imaging unit 10 and the display unit 40 are synchronized by inserting the invalid horizontal scanning period Hd-D into the vertical front porch period DVf of the image signal DGB read last from the VRAM 22.
  • the imaging display device 1 of the fifth embodiment except that the operation of the imaging unit 10 and the display unit 40 is synchronized by extending the horizontal scanning period Hd of the vertical front porch period DVf. This is the same as the imaging display device 1 of the fourth embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

 撮像から表示までの遅延時間を短縮する。 撮像表示装置1は、第1のフレームレートで被写体を撮像して撮像信号DSを出力する撮像部10と、撮像信号DSに基づいて、画像信号DGAを生成する画像処理部21と、画像信号DGAを記憶するVRAM22と、画像信号DGAに基づいて、第1のフレームレートのN(Nは2以上の自然数)倍以上の第2のフレームレートで表示を行う表示部40とを備える。VRAM22は、表示部40で表示する1フレーム分の画像信号DGAを記憶し、表示部40は、1フレーム分の画像信号DGAに基づいて、N回の表示を行う。

Description

撮像表示装置
 本発明は、撮像表示装置に関する。
 いわゆるミラーレスのデジタルカメラでは、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等のイメージセンサで撮像した撮像信号に応じた画像をリアルタイムで筐体裏面に設けられた液晶パネルや筐体上部に取り付けられた電子ビューファインダー(以下、EVF[Electronic View Finder]と称する)等に表示するいわゆるライブビュー動作により、被写体の画像を確認することができるようになっている。特許文献1には、イメージセンサから出力される撮像信号に画像処理を施して得た画像信号をVRAMに記憶し、VRAMから読み出した画像信号を表示部に供給する撮像表示装置が開示されている。この撮像表示装置は、VRAMから画像信号を読み出すタイミングの基準となる信号を遅延して、イメージセンサから出力される撮像信号のフレームの開始の基準となる垂直同期信号を生成している。従って、イメージセンサのフレームレートと表示部のフレームレートとは一致している。
特開2007-243615号公報
 イメージセンサでは、映画用に24fpsのライブビューモードでしか動作できないものや、一般動画用(テレビ表示用)に30fpsのライブビューモードでしか動作しないものがある。一方、EVFでは、リーク電流の影響を小さくするため、あるいは小型化を実現するために、60fps以上の動作を前提に設計されているものがある。
 表示部を遅いフレームレート(例えば30fps)で駆動すると、各画素で書込電圧を保持する期間が長くなるため、リーク電流によって保持すべき書込電圧が低下し、フリッカや画質劣化を引き起こすといった問題がある。他方、遅いフレームレートで安定動作させるためには,各画素に配置されている信号保持用のコンデンサ容量を増加させる等の対策が必要である。しかし、コンデンサの大容量化は、微細化設計に適さず、基板の大型を招いてしまう。
 本発明は、上述した事情に鑑みてなされたものであり、24fpsや30fps等の低速のフレームレートで動作するイメージセンサと、60fps等の高速のフレームレートで動作するEVFを組み合わせて使用する際に、表示遅れを最小化することを解決課題の一つとする。
 以上の課題を解決するために、本発明に係る撮像表示装置の一態様は、第1のフレームレートで被写体を撮像して撮像信号を出力する撮像部と、前記撮像信号に基づいて、画像信号を生成する画像処理部と、前記画像信号を記憶する記憶部と、前記画像信号に基づいて、前記第1のフレームレートのN(Nは2以上の自然数)倍以上の第2のフレームレートで表示を行う表示部とを備え、前記記憶部に、前記表示部で表示する1フレーム分の画像信号を記憶し、前記表示部は、前記1フレーム分の画像信号に基づいて、N回の表示を行うことを特徴とする。
 この態様によれば、撮像部のフレームレートが表示部のフレームレートの1/N以下である場合に、撮像信号に画像処理を施して得た画像信号を記憶部に記憶し、この画像信号を記憶部からN回読み出して表示部に供給するので、24fpsや30fps等の低速のフレームレートで動作する撮像部と、撮像部より2倍、3倍等の高速のフレームレートで動作する表示部を組み合わせて使用する場合に、表示遅れを短くすることができる。更には、表示部の動作を撮像部の動作に同期させることができる。
 上述した撮像表示装置の一態様において、前記表示部は、前記1フレーム分の画像信号が生成された後に、前記1フレーム分の画像信号に基づいて、前記N回の表示を行うことが好ましい。この態様によれば、1フレーム分の画像信号が生成された後に、読み出しを開始するので、記憶部からの画像信号の読み出しが、画像信号の書き込みを追い抜くことが無いので、確実に画像を表示することができる。
 上述した撮像表示装置の一態様において、前記表示部は、前記1フレーム分の画像信号のうち前記1フレーム分より少ない所定のライン分の画像信号が生成された後に、前記N回の表示を開始することが好ましい。この場合、1フレーム分の画像信号の生成を待たずに表示を開始するので、撮像から表示までの遅延を短縮することができる。ここで、所定のライン分は、記憶部において、画像信号の読み出しが画像信号の読み出しを追い越さないように定めることが好ましい。さらに、前記所定のライン分は、(N-1)/Nであることが好ましい。
 なお、記憶部から画像信号を読み出して前記表示部に供給する画像信号出力部を備え、前記画像出力部は、前記撮像信号の1フレームに対応して、前記記憶部から同じ前記画像信号をN回読み出すうち第1回目の読み出しにおいては、画像処理の進捗を示す進捗情報に応じて前記記憶部から前記画像信号を読み出し、第2回目以降の読み出しにおいては、各ラインの画像信号を連続して読み出し、読み出した前記画像信号を前記表示部に出力してもよい。
 この態様によれば、画像処理には時間がかかるところ、1回目の画像信号の読み出しは、画像処理の進捗に応じて実行するが、第2回目以降は各ラインの画像信号を連続して読み出すので、撮像から表示までの遅延時間を短縮することができる。
 上述した撮像表示装置の一態様において、前記表示部に水平同期信号及び垂直同期信号を出力するタイミング制御部を備え、N回の表示後において、次の1フレームに表示する1フレーム分の画像信号のうち前記1フレーム分より少ない所定のライン分の画像信号が生成されていない場合、前記所定のライン分の画像信号が生成されるまで、前記垂直同期信号の出力が延期されることが好ましい。
 この態様によれば、あるフレームの画像信号が生成されると、当該画像信号をN回表示するが、これが完了した時点で次のフレームの画像処理が所定のラインまで進捗していない場合には、垂直同期信号の出力を延期する。これにより、画像処理が所定のラインに達っした時点で垂直同期信号を出力できる。この結果、撮像部と表示部の動作を同期化しつつ、撮像から表示までの遅延を短縮することが可能となる。
 上述した撮像装置の一態様において、前記タイミング制御部は、前記垂直同期信号の出力が延期されている間において、ダミーの水平同期信号を出力することが好ましい。この態様によれば、水平走査期間の時間長は一定となり、水平走査期間の精度で、撮像部と表示部との動作を同期化することができる。
 この態様によれば、水平同期パルスにより定められる水平走査期間の精度で、各ラインの画像信号の出力タイミングを制御することができる。このため、画像信号の生成に要する画像処理時間がライン毎に変動する場合であっても、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となる。
 上述した撮像装置の一態様において、前記第2のフレームレートは、前記第1のフレームレートのN倍のフレームレートであることが好ましい。この場合には、撮像部と表示部とのフレームレートが整数倍の関係にあるので、画像処理された画像信号をN回表示することにより、撮像部と表示部との動作を同期化することができる。
 上述した撮像装置の一態様において、前記第2のフレームレートは、前記第1のフレームレートのN倍のフレームレートより1乃至数fps大きいことが好ましい。この態様によれば、第2のフレームレートは第1のフレームレートのN倍より若干高速となる。これにより、画像処理に要する時間が変動した場合であってもこれを吸収することができる。一方、第2のフレームレートが、第1のフレームレートのN倍のフレームレートより大きくなると、これに伴い表示部において画像を保持する時間が次第に長くなる。その程度によっては、フリッカや画質劣化が懸念されるが、第2のフレームレートは第1のフレームレートのN倍より若干高速となる程度であれば、そのような不都合もない。
本発明の第1実施形態に係る撮像表示装置1の構成を示すブロック図である。 有効イメージセンサ領域ASと表示領域ADとの関係を説明するための説明図である。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 表示領域ADを説明するための説明図である。 表示部40の構成を示すブロック図である。 画像処理部21の構成を示すブロック図である。 間引き処理を説明するための説明図である。 歪曲補正処理を説明するための説明図である。 本発明の第2実施形態に係る撮像表示装置1の構成を示すブロック図である。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 撮像表示装置1の動作を説明するためのタイミングチャートである。 本発明の第3実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。 第3実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。 第4実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。 第4実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。 第5実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。
 本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
<A.第1実施形態>
 以下、本発明の第1実施形態に係る撮像表示装置1について説明する。
<A-1:撮像表示装置の構成>
 図1は、撮像表示装置1の機能を示すブロック図である。
 図1に示すように、撮像表示装置1は、被写体を撮像し、撮像して得たデータを撮像信号DSとして出力する撮像部10と、撮像信号DSに対して画像処理を施して画像信号Dを生成する画像処理回路100と、画像信号Dに応じた画像を表示する表示部40と、撮像表示装置1の設定の変更、撮像の指示等を入力するための操作部60と、撮像表示装置1全体の動作を制御するCPU50と、を備える。
 この撮像表示装置1は、いわゆるミラーレスデジタルカメラであり、撮像表示装置1の利用者による操作部60の操作により、撮像部10で撮像した被写体に係る画像をほぼリアルタイムで表示部40に表示するライブビューモードによる動作と、撮像部10で撮像した被写体に係る画像を静止画格納用のメモリカード(図示せず)に静止画として格納する撮像モードによる動作と、を選択可能となっている。
 なお、撮像表示装置1から表示部40を除いた、撮像部10、画像処理回路100、操作部60、及び、CPU50は「撮像装置」の一例である。
 撮像部10は、被写体の像を結像させる撮像光学系11と、マトリックス状に配列された受光素子(撮像素子)からの信号を線順次に走査して被写体の像に応じた撮像信号DSを出力するイメージセンサ12と、イメージセンサ12に対して各種のタイミング信号を出力するタイミングジェネレータ13と、を備える。
 図2に示すように、イメージセンサ12は、有効イメージセンサ領域ASにおいて、複数の受光素子がX軸方向(水平方向)にQS列、X軸方向に交差するY軸方向(垂直方向)にPS行(PSライン)となるようにマトリックス状に配列されている(PSびQSは、2以上の自然数)。換言すれば、有効イメージセンサ領域ASには、X軸方向に配列されたQS個の受光素子からなるラインが、Y軸方向にPS行並ぶように構成されている。
 各受光素子は、検出した光量に応じた画素データ信号Sigを生成する。
 また、各受光素子に1対1に対応するように、赤色、緑色、または、青色のうちいずれか1色のカラーフィルターが市松模様に設けられている。以下では、1つの受光素子と、当該1つの受光素子に対応して設けられるカラーフィルターとの組を、イメージセンサ12の画素と称することがある。
 イメージセンサ12は、撮像表示装置1が撮像モードで動作する場合、有効イメージセンサ領域ASに設けられたPS行×QS列の受光素子から出力される画素データ信号Sigの全部を静止画用撮像データとして出力することができる。そして、静止画用撮像データが出力されると、後述する画像処理部21が、当該静止画用撮像データに対してフィルタ処理等の各種画像処理を施して静止画データを生成し、生成した静止画データを静止画格納用のメモリカードに格納する。
 一方、イメージセンサ12は、撮像表示装置1がライブビューモードで動作する場合、PS行×QS列の受光素子が出力する画素データ信号Sigに対して間引き処理を施すことで画素データ信号Sigのデータサイズを小さくして、図2に示すようなP行×Q列の画素に対応する撮像信号DSとして出力する(Pは、2≦P≦PSを満たす自然数。Qは、2≦Q≦QSを満たす自然数)。
 なお、イメージセンサ12は、有効イメージセンサ領域AS以外の領域に画素を備えるものであってもよいが、本明細書では簡単のために有効イメージセンサ領域ASの画素についての説明は省略する。
 タイミングジェネレータ13は、撮像垂直同期信号SVsync、撮像水平同期信号SHsync、及び、撮像ドットクロック信号SCLKを生成し、これら生成した信号をイメージセンサ12と、画像処理回路100とに対して出力する。
 図3は、タイミングジェネレータ13が生成する、撮像垂直同期信号SVsync、撮像水平同期信号SHsync、及び、撮像ドットクロック信号SCLKを説明するためのタイミングチャートである。撮像垂直同期信号SVsyncは、イメージセンサ12の有効イメージセンサ領域AS全体(PSライン分)の受光素子から画素データ信号Sigを読み出すための垂直走査期間Fsを規定する信号である。撮像水平同期信号SHsyncは、有効イメージセンサ領域ASの1ライン分の受光素子から画素データ信号Sigを読み出すための水平走査期間Hsを規定する信号である。撮像ドットクロック信号SCLKは、有効イメージセンサ領域ASの1画素分の受光素子から画素データ信号Sigを読み出すためのタイミングを規定する信号である。
 垂直走査期間Fsの時間長は一定(固定長)であり、水平走査期間Hsの時間長も一定(固定長)である。また、垂直走査期間Fsは、複数の水平走査期間Hsから構成される。
 説明を図1に戻す。表示部40は、撮像対象となる被写体を示す画像を表示して撮像表示装置1の利用者に被写体の様子を把握させるためのEVF(Electronic View Finder)であり、画像処理回路100が生成した画像信号Dに応じた画像を表示するための液晶パネル42と、液晶パネル42の動作を制御するEVFコントローラ41と、を備える。
 図2に示すように、液晶パネル42には、表示領域ADにおいて、複数の画素がX軸方向にN列、Y軸方向にM行(Mライン)となるようにマトリックス状に配列されている(Mは、2≦M≦Pを満たす自然数。Nは、2≦N≦Qを満たす自然数)。換言すれば、表示領域ADは、X軸方向に配列されたN個の画素からなるラインが、Y軸方向にM行並ぶように構成されている。これらM行×N列の画素は、赤色を表示するための画素、緑色を表示するための画素、及び、青色を表示するための画素を含む。当該表示領域ADには、画像処理回路100が生成する画像信号Dに応じた画像が表示される。
 上述のとおり、M≦Pであり、N≦Qである。つまり、有効イメージセンサ領域ASに設けられた有効画素数と、表示領域ADに設けられた画素数は、異なる場合がある。
 なお、図2に示す座標系は、それぞれ、有効イメージセンサ領域ASに固定された座標系、撮像信号DSを表すための概念上の座標系、及び、表示領域ADに固定された座標系であり、これら3つの座標系の各軸の向きは互いに相違するものであってもよい。
 表示部40の表示領域ADが1画面分の画像を表示可能な1フレームの時間長は、撮像部10が1画面分の画像を撮像可能な1フレームの時間長よりも短い。本実施形態においては、撮像部10から出力される撮像信号DSのフレームレートが30fps、表示部40に供給する画像信号Dのフレームレートが撮像信号DSの2倍の60fpsであるものとする。
 図1に示すように、画像処理回路100は、撮像信号DSに基づいて画像信号Dを生成し、生成した画像信号Dを表示部40に対して出力する画像信号生成部20と、画像信号生成部20が画像信号Dを出力するタイミングを制御するタイミング制御部30と、を備える。
 画像信号生成部20は、撮像信号DSに対して画像処理を施して画像信号Dを生成する画像処理部21と、画像処理部21が生成した画像信号Dを一時的に記憶するVRAM22と、VRAM22から画像信号Dを取得して、取得した画像信号Dを表示部40に対して出力する画像信号出力部23と、を備える。なお、VRAM22は、少なくとも2フレーム分の記憶容量を備える(4フレーム程度あるのが望ましい)。画像信号生成部20では画像信号DをVRAM22に書き込みつつ、画像信号DをVRAM22から読み出すことが可能である。
 画像信号Dは、液晶パネル42の表示領域ADに設けられるM行×N列の画素のそれぞれが表示すべき画像(階調)を規定する信号である。以下では、表示領域ADで表示すべき画像を示す画像信号Dのうち、表示領域ADの第m行のラインで表示すべき画像を示す1ライン分の画像信号Dを、画像信号D[m]と表記する(mは、1≦m≦Mを満たす自然数)。
 画像処理部21は、液晶パネル42の表示領域ADで表示すべき画像を示す画像信号Dを、1ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部21は、画像信号D[1]、画像信号D[2]、…、画像信号D[M]の順番で、画像信号Dを生成して、VRAM22に格納する。なお、画像処理部21が実行する画像処理の詳細については後述する。
 また、画像処理部21は、画像処理の状態を示す状態信号Stを生成してタイミング制御部30に対して出力する。本実施形態における状態信号Stは、画像信号処理部21で生成した画像信号D[m]のVRAM22への格納が完了したことを示す画像処理完了信号PtAを含む。
 本実施形態において、撮像信号DSは、図2に示すようなP行×Q列の画素に対応するものであるので、ライン番号mrは、1≦mr≦Pを満たす自然数となる。一方、画像処理完了信号PtAは、画像処理部21によるVRAM22への書込が完了した画像信号Dに対応するライン番号maを示す信号である(maは、1≦ma≦Mを満たす自然数)。画像処理完了信号PtAの示す値であるライン番号maは、画像処理が完了したラインを表す「画像処理完了ライン情報」の一例である。
 なお、画像処理完了信号PtAは、ラインの番号を示す信号に限定されるものではなく、画像処理部21による画像信号D[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む2値の信号であってもよい。画像処理完了信号PtAが2値の信号である場合、タイミング制御部30は、例えば、一の画面の表示が開始された後に画像処理完了信号PtAに含まれるパルスの個数をカウントすることで、画像処理部21により生成が完了した画像信号D[m]のライン番号を演算すればよい。この場合は、画像処理完了信号PtAに含まれるパルス波形(または、パルス波形の個数)が、「画像処理完了ライン情報」に該当することになる。加えて、画像処理完了ライン情報は、画像処理の進捗の程度を示す進捗情報に該当する。
 画像信号出力部23は、タイミング制御部30の制御に応じて、VRAM22から1ライン毎に画像信号Dを読み出し、読み出した1ライン分の画像信号D[m]を表示部40に対して出力する。
 なお、以下では、説明の都合上区別が必要な場合には、画像処理部21が生成してVRAM22に格納する画像信号Dを画像信号DGAと称し、画像信号出力部23がVRAM22から取得して表示部40に出力する画像信号Dを画像信号DGBと称する。また、画像処理部21がVRAM22に格納する画像信号DGAのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGAを画像信号DGA[m]と称し、画像信号出力部23が表示部40に出力する画像信号DGBのうち、表示領域ADの第m行のラインで表示すべき画像を示す画像信号DGBを画像信号DGB[m]と称する。
 図1に示すように、タイミング制御部30は、状態信号Stに基づいて出力制御信号CTRを生成する出力制御部31と、各種のタイミング信号を生成して画像信号出力部23が画像信号DGB[m]を出力するタイミングを制御するタイミングジェネレータ32と、EVFコントローラ41の動作を規定する設定パラメーターPRMをEVFコントローラ41に対して送信するパラメーター送信部33と、を備える。
 タイミングジェネレータ32は、出力制御信号CTRに基づいて、表示垂直同期信号DVsync、垂直有効データ信号DVactive、表示水平同期信号DHsync、表示ドットクロック信号DCLK、及び、イネーブル信号DEnbを生成し、生成したこれらの信号を、画像信号出力部23及び表示部40に対して出力する。
 出力制御部31は、状態信号Stに基づいて、画像信号出力部23が表示部40に対して表示領域ADの第m行で表示すべき画像を示す画像信号D[m](画像信号DGB[m])を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号CTRを生成する。
 上述したように本実施形態では、撮像信号DSのフレームレートが30fpsであり、画像信号DGBのフレームレートが60fpsである。このため、出力制御部31は、VRAM22から読み出す画像信号DGBのタイミングを制御することによって、撮像部10の動作と表示部40の動作と同期化している。
 本実施形態の出力制御部31が出力制御信号CTRを生成する態様、すなわち、表示部40が、画像信号DGBに基づいて表示を行う態様には、以下に述べる第1の態様と第2の態様とがある。
 第1の態様は、撮像部10からの撮像信号DSに基づき生成される画像信号DGBが1フレーム分、VRAM22に格納された後に、表示部40において、VRAM22に格納された画像信号DGBに基づいてN(Nは2以上の整数)回の表示を開始する態様であり、第2の態様は、撮像部10からの撮像信号DSに基づき生成される画像信号DGBが残り1/Nフレーム分になった後に、VRAM22に格納された画像信号DGBに基づいてN回の表示を開始する態様である。
 前記Nは、撮像部10のフレームレートと、それに組み合わされる表示部40のフレームレートにより定まり、例えば、2回、3回、4回等がある。
 具体的には、撮像部10から出力される撮像信号DSのフレームレートが30fps、表示部40に供給する画像信号Dのフレームレートが撮像信号DSの2倍の60fps(=30×2fps)以上の場合(2倍動作の場合)、第1の態様では、撮像部10からの撮像信号DS1に基づき生成される画像信号DGB1が1フレーム分、VRAM22に格納された後に、表示部40において、VRAM22に格納された画像信号DGB1に基づいて2回の表示が行われ、第2の態様では、撮像部10からの撮像信号DS1に基づく1フレーム分の画像信号DGB1の生成処理の残りが50%(1/2)以下になると、VRAM22に格納された画像信号DGB1に基づいて2回の表示が行われる。尚、表示部40のフレームレートは、61fps等の60fpsより若干速いフレームレートにするとよい。このように若干高速に設定したのは、仮に、表示部40のフレームレートYが撮像部10のフレームレートXのN倍よりもやや低い場合には、撮像信号DSの垂直走査期間FSに対して表示部40にN回同じ画像を表示させることができないためである。
 また、撮像部10から出力される撮像信号DSのフレームレートが24fps、表示部40に供給する画像信号Dのフレームレートが撮像信号DSの3倍の72fps(=24×3fps)以上の場合(3倍動作の場合)、第1の態様では、撮像部10からの撮像信号DS1に基づき生成される画像信号DGB1が1フレーム分、VRAM22に格納された後に、表示部40において、VRAM22に格納された画像信号DGB1に基づいて3回の表示が行われ、第2の態様では、撮像部10からの撮像信号DS1に基づく1フレーム分の画像信号DGB1の生成処理の残りが33%(1/3)以下になると、VRAM22に格納された画像信号DGB1に基づいて3回の表示が行われる。尚、表示部40のフレームレートは、上述したように73fps等の72fpsより若干速いフレームレートにするとよい。
 また、撮像部10から出力される撮像信号DSのフレームレートが24fps、表示部40に供給する画像信号Dのフレームレートが撮像信号DSの4倍の96fps(=24×4fps)以上の場合(4倍動作の場合)、第1の態様では、撮像部10からの撮像信号DS1に基づき生成される画像信号DGB1が1フレーム分、VRAM22に格納された後に、表示部40において、VRAM22に格納された画像信号DGB1に基づいて4回の表示が行われ、第2の態様では、撮像部10からの撮像信号DS1に基づく1フレーム分の画像信号DGB1の生成処理の残りが25%(1/4)以下になると、VRAM22に格納された画像信号DGB1に基づいて3回の表示が行われる。尚、表示部40のフレームレートは、上述したように97fps等の96fpsより若干速いフレームレートにするとよい。
 第1の態様の場合、出力制御部31は、画像処理完了信号PtAの示すライン番号maが「M」と一致した場合に、Nフレームについて画像信号D[1]~D[M]を出力する準備が完了したと判定して出力制御信号CTRをアクティブ(ハイレベル)にする。すなわち、1フレームの撮像信号DSに対する画像処理が完了した後、VRAM22から同じ画像信号DGBをN回読み出せるように出力制御信号CTRを生成する。これにより、表示部40は、1フレーム分の画像信号DGAが生成された後に、1フレーム分の画像信号DGAに基づいて、N回の表示を行うことになる。この場合、表示部40のフレームレートは、撮像部10のフレームレートのN倍のフレームレートより1乃至数fps大きいことが好ましい。
 図4は、第1の態様において、上記2倍動作で動作させる場合の撮像信号DSと画像信号DGBの関係を示すタイミングチャートである。同図において、画像信号DGB1は撮像信号DS1に信号処理を施して生成したものであり、画像信号DGB2は撮像信号DS2に信号処理を施して生成したものである。この例では、画像信号生成部20において、垂直走査期間Fs1に出力される1フレーム分の撮像信号DS1が時刻t1で読み込みが完了する。撮像信号DS1には画像処理が施されてVRAM22に書き込まれる。そして、垂直走査期間Fd1の時刻t2より、画像信号DGB1をVRAM22から読み出す。さらに、垂直走査期間Fd2の時刻t3より、画像信号DGB1をVRAM22から再び読み出す。この場合、垂直走査期間Fs1における撮像信号DS1が開始する時刻t0から時刻t2までの時間だけ表示が遅れることになるが、垂直走査期間Fd2では、既に画像信号DGB1がVRAM22に格納されているので、表示部40の動作を撮像部10の動作に同期させることができる。
 一方、第2の態様の場合、出力制御部31は、画像処理完了信号PtAの示すライン番号maが「K」と一致した場合に、あるフレームとその次のフレームについて画像信号D[1]~D[M]を出力する準備が完了したと判定して出力制御信号CTRをアクティブにする。これにより、表示部40は、1フレーム分の画像信号DGAのうち1フレーム分より少ない所定のライン分の画像信号DGAが生成された後に、N回の表示を開始する。
 この場合、画像処理は、第Kラインまでしか終了していないが、「K」は、1≦K≦Mを満たす自然数であり、且つ、VRAM22において、画像信号DGBの読み出しが画像信号DGAの書き込みを追い越すことがないように設定される。
 例えば、1フレームの撮像信号DSに画像処理を施して得た画像信号DGBをVRAM22からN(Nは2以上の自然数)回読み出す場合に、ライン毎の画像処理の負荷がほぼ同じとみなせる場合は、K=M×(N-1)/Nに設定してもよい。1フレームの撮像信号DSの画像処理において、Mライン分の画像信号DGBを生成することになるので、「M×(N-1)/N」は1フレーム分の撮像信号DSの画像処理が残り1/Nになったこと、を意味する。他方、歪曲収差補正等の処理により、ライン毎の画像処理の負荷が異なる場合は、1フレーム分の撮像信号DSの画像処理が残り1/Nになるラインの値をKに設定してもよい。要は、画像信号DGBの読み出しが画像信号DGAの書き込みを追い越すことがないようにKを設定することによって、VRAM22から円滑に画像信号DGBを読み出すことが可能となる。第2の態様は、第1の態様と比較して、撮像から表示までの遅延時間を短縮することができる。
 図5は、第2の態様において、上記2倍動作で動作させる場合の撮像信号DSと画像信号DGBの関係を示すタイミングチャートである。この例では、画像信号生成部20において、垂直走査期間Fs1に出力される撮像信号DS1が時刻t10において、K番目のラインの画像処理が完了し、画像信号DGA[K]のVRAM22への書き込みが完了したものとする。この場合、垂直走査期間Fd1の時刻t10より、画像信号DGB1をVRAM22から読み出す。さらに、垂直走査期間Fd2の時刻t11より、画像信号DGB1をVRAM22から読み出す。この場合、垂直走査期間Fs1における撮像信号DS1が開始する時刻t0から時刻t10までの時間だけ表示が遅れることになるが、第2の態様は、画像信号DS1の読み込みが完了する前に、画像信号DGB1をVRAM22から読み出すので、第1の態様と比較して、撮像から表示までの遅延時間を短縮することができる。
 図6Aは、タイミングジェネレータ32が生成する、表示垂直同期信号DVsync、垂直有効データ信号DVactive、表示水平同期信号DHsync、表示ドットクロック信号DCLK、及び、イネーブル信号DEnbを説明するためのタイミングチャートである。また、図6Bは、無効水平走査期間Hd-Dにおける表示水平同期信号DHsync、表示ドットクロック信号DCLK、及び、イネーブル信号DEnbを説明するためのタイミングチャートである。
 図6Aに示すように、表示垂直同期信号DVsyncは、液晶パネル42の表示領域AD全体(Mライン分)の画素で画像を表示するための垂直走査期間Fdを規定する信号である。表示水平同期信号DHsyncは、表示領域ADの1ライン分の画素で画像を表示すための水平走査期間Hdを規定する信号である。表示ドットクロック信号DCLKは、表示領域ADの各画素で画像を表示するためのタイミングを規定する信号である。
 本実施形態において、水平走査期間Hdは、予め定められた一定の時間長を有している。また、本実施形態において、垂直走査期間Fdは、複数の水平走査期間Hdから構成されており、予め定められた一定の時間長を有している。なお、表示垂直同期信号DVsyncの有する波形のうち、垂直走査期間Fdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスPlsVと称する。また、表示水平同期信号DHsyncの有する波形のうち、水平走査期間Hdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスPlsHと称する。
 図6Aに示すように、垂直走査期間Fdは、垂直同期期間DVpと、垂直バックポーチ期間DVbと、垂直有効データ期間DVIと、垂直フロントポーチ期間DVfと、からなる。
 垂直同期期間DVpは、表示垂直同期信号DVsyncがアクティブ(この図の例ではローレベル)である期間であり、垂直走査期間Fdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間DVbは、垂直同期期間DVpに後続する期間であり、予め定められた時間長を有する期間である。さらに、第1実施形態における垂直有効データ期間DVIは、垂直バックポーチ期間DVbに後続する、予め定められた時間長を有する期間である。
 当該垂直有効データ期間DVIにおいて、画像信号出力部23から画像信号DGB(画像信号DGB[1]~DGB[M])が出力される。垂直フロントポーチ期間DVfは、垂直有効データ期間DVIに後続する期間であり、垂直走査期間Fdの終了と同時に終了する、予め定められた時間長を有する期間である。
 垂直有効データ期間DVIは、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間である(イネーブル信号DEnbがアクティブとなる場合については、後述する)。
 当該垂直有効データ期間DVIは、例えば、イネーブル信号DEnbがアクティブとなる回数をカウントするカウンタ(図示省略)が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各垂直走査期間Fdにおいてイネーブル信号DEnbが最初にアクティブとなる水平走査期間Hdの開始からイネーブル信号DEnbがM回目にアクティブとなる水平走査期間Hdの終了までの期間においてアクティブ(この図の例ではハイレベル)となる垂直有効データ信号DVactiveを導入する。すなわち、本実施形態では、垂直有効データ信号DVactiveがアクティブである期間を垂直有効データ期間DVIとして説明する。なお、この垂直有効データ信号DVactiveは、説明の便宜上導入した信号であり、出力制御部31は、この垂直有効データ信号DVactiveを出力しないものであってもよい。
 図6Aに示すように、水平走査期間Hdは、水平同期期間DHpと、水平バックポーチ期間DHbと、水平有効データ期間DHIと、水平フロントポーチ期間DHfと、からなる。
 水平同期期間DHpは、表示水平同期信号DHsyncがアクティブ(この図の例ではローレベル)である期間であり、水平走査期間Hdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間DHbは、水平同期期間DHpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間DHIは、水平バックポーチ期間DHbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間DHfは、水平有効データ期間DHIに後続する期間であり、水平走査期間Hdの終了と同時に終了する、予め定められた時間長を有する期間である。
 水平走査期間Hdには、画像信号出力部23が画像信号D[m]を出力するための有効水平走査期間Hd-A(図6A参照)と、画像信号D[m]を出力する代わりに無効信号Dmy[m]を出力する無効水平走査期間Hd-D(図6B参照)と、が存在する。
 図6Aは、水平走査期間Hdが有効水平走査期間Hd-Aである場合を例示している。この図に示すように、イネーブル信号DEnbは、水平走査期間Hdが有効水平走査期間Hd-Aである場合には、水平有効データ期間DHIにおいてアクティブ(この図の例ではハイレベル)となる。そして、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号出力部23から画像信号D[m](画像信号DGB[m])が出力される。
 一方、イネーブル信号DEnbは、有効水平走査期間Hd-Aのうち、水平有効データ期間DHI以外の期間(水平同期期間DHp、水平バックポーチ期間DHb、水平フロントポーチ期間DHf)において、非アクティブとなる。画像信号出力部23は、有効水平走査期間Hd-Aのうち、イネーブル信号DEnbが非アクティブとなる、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
 また、本実施形態では、垂直走査期間Fdのうち、垂直有効データ期間DVIを除いた期間(垂直同期期間DVp、垂直バックポーチ期間DVb、及び垂直フロントポーチ期間DVf)における水平走査期間Hdは、無効水平走査期間Hd-Dとなっている。無効水平走査期間Hd-Dではイネーブル信号DEnbが非アクティブとなり、無効ライン信号DGB-dmyを出力する。
 図7は、タイミングジェネレータ32が生成する各種信号と、液晶パネル42の表示領域ADにおける画像の表示タイミングとの関係を説明するための説明図である。
 この図に示すように、表示領域ADの有する第1行のラインから第M行のラインに至るM行×N列の画素は、垂直走査期間Fdのうち、垂直有効データ信号DVactiveがアクティブとなる垂直有効データ期間DVIにおいて、画像信号D[1]~D[M]の示す1画面分の画像を表示する。
 また、表示領域ADのうち第m行のラインを構成するN個の画素は、水平走査期間Hd(有効水平走査期間Hd-A)のうち、イネーブル信号DEnbがアクティブとなる水平有効データ期間DHIにおいて、画像信号D[m]の示す画像を表示する。
 次に、図8を参照しつつ、表示部40について説明する。
 図8は、表示部40の構成を示すブロック図である。上述のとおり、表示部40は、液晶パネル42の動作を制御するEVFコントローラ41と、画像信号Dに応じた画像を表示するための液晶パネル42と、を備える。
 液晶パネル42には、上述のとおり、画像信号Dに応じた画像を表示するための表示領域ADが設けられている。表示領域ADは、X軸方向に延在するM行の走査線と、Y軸方向に延在するN列のデータ線と、走査線及びデータ線の交差に対応して設けられるM行×N列の画素と、を含んで構成されている(図7参照)。また、液晶パネル42は、走査線を選択するための走査線駆動回路421と、データ線を駆動するためのデータ線駆動回路422と、表示領域ADに表示される画像を拡大して観察可能とするための光学系(図示省略)と、を備える。
 EVFコントローラ41は、画像信号出力部23から画像信号D(画像信号DGB)が入力されるデータ入力部411と、各垂直有効データ期間DVIにおいて有効水平走査期間Hd-Aの個数(イネーブル信号DEnbがアクティブとなる回数)をカウントするカウンタ412と、液晶パネル42の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部413と、液晶パネル42に対して画像信号D(画像信号DGC)を出力するデータ出力部414と、EVFコントローラ41の動作を規定する設定パラメーターPRMを格納するためのレジスタ415と、を備える。
 なお、本実施形態において、画像処理回路100(画像信号生成部20、及び、タイミング制御部30)とEVFコントローラ41との間のデータ伝送は、パラレルインタフェース(図示省略)によって行う。
 撮像表示装置1の利用者が操作部60によりライブビューモードによる動作を選択する等して、撮像表示装置1がライブビューモードで動作する場合、撮像表示装置1がライブビューモードによる動作を開始するに先立ち、パラメーター送信部33から設定パラメーターPRMがタイミング生成部413に供給される。そして、タイミング生成部413は、送信された設定パラメーターPRMを、レジスタ415に格納(設定)する。
 レジスタ415に設定される設定パラメーターPRMは、液晶パネル42の仕様に応じてEVFコントローラ41を動作させるための、EVFコントローラ41の動作を規定する値である。
 設定パラメーターPRMとしては、例えば、水平走査期間Hdの時間長(または、水平走査期間Hdに含まれる表示ドットクロック信号DCLKのクロック数。以下、表示ドットクロック信号DCLKのクロック数を、単に「クロック数」と称する)、水平有効データ期間DHIの時間長(または、表示領域ADにおけるX軸方向の画素数(N))、水平同期期間DHpの時間長(または、クロック数)、水平バックポーチ期間DHbの時間長(または、クロック数)、水平フロントポーチ期間DHfの時間長(または、クロック数)、垂直有効データ期間DVIの時間長(または、表示領域ADにおけるY軸方向のライン数(M)。すなわち、垂直有効データ期間DVIに含まれる有効水平走査期間Hd-Aの個数)、垂直同期期間DVpの時間長(または、クロック数)、垂直バックポーチ期間DVbの時間長(または、クロック数)、垂直フロントポーチ期間DVfの時間長(または、クロック数)、等を含むものであればよい。
 本実施形態に係る撮像表示装置1では、画像処理回路100から、液晶パネル42の仕様に応じたEVFコントローラ41の動作タイミングを設定できるので、液晶パネル42のサイズを変更する場合や、フレームレート等の液晶パネル42の仕様を変更する場合であっても、EVFコントローラ41を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
 データ入力部411には、画像処理回路100から、表示ドットクロック信号DCLKと、画像信号D(画像信号DGB)及び無効信号Dmyを含む画像信号出力部23からの出力信号と、イネーブル信号DEnbと、が供給される。
 データ入力部411は、イネーブル信号DEnbがアクティブとなると、当該イネーブル信号DEnbがアクティブの間に表示ドットクロック信号DCLKに同期して画像信号出力部23から供給される1ライン分の画像信号D[m]を取り込み、取り込んだ画像信号D[m]をデータ出力部414に対して出力する。一方、データ入力部411は、イネーブル信号DEnbが非アクティブの場合、画像信号出力部23から供給される無効信号Dmyを取り込まずに破棄する。
 カウンタ412には、画像処理回路100から、イネーブル信号DEnbと、表示垂直同期信号DVsyncとが供給される。
 カウンタ412は、イネーブル信号DEnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Cntを、タイミング生成部413に対して出力する。また、カウンタ412は、表示垂直同期信号DVsyncがアクティブになり、表示垂直同期信号DVsyncとして垂直同期パルスPlsVが供給されると、カウント値Cntを「0」にリセットする。このため、カウンタ412は、各垂直走査期間Fdに含まれる有効水平走査期間Hd-Aの個数をカウントすることができる。すなわち、カウント値Cntは、データ入力部411が第m行のラインで表示すべき画像を指定する画像信号D[m]を取り込む場合には、当該画像信号D[m]に対応するライン番号(m)を示す。
 タイミング生成部413には、画像処理回路100から、表示垂直同期信号DVsyncと、表示水平同期信号DHsyncと、設定パラメーターPRMと、が供給され、また、カウンタ412から、カウント値Cntが供給される。
 上述のとおり、タイミング生成部413は、画像処理回路100から設定パラメーターPRMが供給されると、供給された設定パラメーターPRMをレジスタ415に設定する。
 タイミング生成部413は、カウント値Cntが「m」を示す場合には、走査線駆動回路421に対して、カウント値Cntに対応する第m行のライン(走査線)の選択を行わせる。また、タイミング生成部413は、カウント値Cntが「m」を示す場合には、データ出力部414に対して、データ入力部411が取り込んだ1ライン分の画像信号D[m]を画像信号DGC[m]としてデータ線駆動回路422に供給させる。この場合、データ線駆動回路422は、走査線駆動回路421が選択している第m行の走査線に対応して設けられるN個の画素(第m行のライン)に対し、データ出力部414から供給された画像信号DGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ADに表示される。なお、本実施形態では、画像信号DGA及びDGBはデジタルの信号であるが、画像信号DGCは、デジタルの信号であってもアナログの信号であってもよい。
 このように、EVFコントローラ41は、画像信号出力部23から供給された画像信号Dの示す画像を、液晶パネル42の表示領域ADに表示させる。
 なお、EVFコントローラ41は、カウント値Cntが、レジスタ415に設定された表示領域ADのライン数「M」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号DHsyncが供給されるタイミング、つまり、垂直フロントポーチ期間DVfが開始されるタイミングで、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間DVfが開始された後、タイミング生成部413は、データ入力部411及びデータ出力部414に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Cngを出力する。
 ここで、改フレーム処理とは、次の垂直走査期間Fdにおいて画像を表示する準備のための処理であり、例えば、データ入力部411及びデータ出力部414が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間DVfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間DVfの終了までに終了することが好ましい。
<A-2:画像処理>
 次に、図9乃至図11を参照しつつ、画像処理部21の詳細と、画像処理部21で実行される画像処理と、について説明する。
 図9は、画像処理部21の構成を示すブロック図である。
 この図に示すように、画像処理部21は、イメージセンサ12から出力される撮像信号DSを一時的に格納するラインバッファ211と、ラインバッファ211に格納された撮像信号DSに対して補完処理を行う画素補完処理部212と、補完された撮像信号DSに対して色再現処理を行う色再現処理部213と、色再現された撮像信号DSに対してフィルタ処理を行うフィルタ処理部214と、フィルタ処理された撮像信号DSに対してガンマ補正を施すガンマ補正部215と、ガンマ補正された撮像信号DSを一時的に格納するラインバッファ216と、ラインバッファ216に格納された撮像信号DSを表示領域ADの備える画素数の画像信号Dに変換するリサイズ処理を行うリサイズ処理部217と、を備える。
 図10は、イメージセンサ12が備える受光素子が出力する画素データ信号Sigと、撮像信号DSとの関係を説明するための説明図である。本実施形態では、イメージセンサ12の有効イメージセンサ領域ASにおいて、赤色、緑色、及び、青色の画素がベイヤー配列されており、また、液晶パネル42の表示領域ADにおいて、赤色、緑色、及び、青色の画素がストライプ配列されている。
 上述のとおり、撮像表示装置1が撮像モードで動作する場合、イメージセンサ12は、図10に示す画素データ信号Sigの全部を静止画用撮像データとして出力する。一方、撮像表示装置1がライブビューモードで動作する場合、イメージセンサ12は、画素データ信号Sigを間引きして、図10に示す撮像信号DSを出力する。
 図10の左側に示す、「R」が付された四角形の各々は、赤色の画素に対応する(赤色光を検出するための)受光素子から出力される画素データ信号Sigを示し、「G」が付された四角形の各々は、緑色の画素の受光素子から出力される画素データ信号Sigを示し、「B」が付された四角形の各々は、青色の画素の受光素子から出力される画素データ信号Sigを示す。
 また、図10の右側に示す、「R」が付された四角形の各々は、表示領域ADの有する赤色の画素に対応する(赤色の画素で表示すべき階調を指定する)画像信号Dを生成するための撮像信号DSを示し、「G」が付された四角形の各々は、表示領域ADの有する緑色の画素に対応する画像信号Dを生成するための撮像信号DSを示し、「B」が付された四角形の各々は、表示領域ADの有する青色の画素に対応する画像信号Dを生成するための撮像信号DSを示す。
 上述のとおり、イメージセンサ12は、PS行×QS列の受光素子が出力する画素データ信号Sigに対して間引き処理を施すことで、P行×Q列の画素に対応する撮像信号DSを出力する。
 間引き処理において、イメージセンサ12は、Y軸方向について、PS行の受光素子が出力する画素データ信号Sigを、P行の画素に対応する信号に間引きする。
 具体的には、イメージセンサ12は、PS行の中から読み出し対象ラインを選択し、読み出し対象ラインに位置する受光素子が出力する画素データ信号Sigを読み出す一方で、読み出し対象ライン以外のラインに位置する受光素子が出力する画素データ信号Sigを読み飛ばすことで、Y軸方向の間引きを行う。
 本実施形態では、イメージセンサ12の有効イメージセンサ領域ASに設けられる画素の配列がベイヤー配列であるため、奇数ラインに1ラインの割合で読み出し対象ラインを定める。
 画素がベイヤー配列されている場合、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Y軸方向において交互に並んでいる。このため、奇数ラインに1ラインの割合で読み出し対象ラインを定めることで、読み出し後の画素を、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Y軸方向において交互に並ぶように配列することができ、同色の画素が隣り合うことを防止することができる。
 図10の左側に示す例では、Y軸方向において、3ラインに1ラインの割合で読み出し対象ラインを定めている。具体的には、ライン1~9のうち、ライン1、ライン4、及び、ライン7を読み出し対象ラインとしている。この場合、図10の右側に示すように、画素データ信号SigをY軸方向に3分の1に間引いた撮像信号DSを得ることができる。
 また、イメージセンサ12は、間引き処理として、X軸方向の相加平均読み出しを行い、QS列の受光素子が出力する画素データ信号Sigを、Q列の画素に対応する信号(撮像信号DS)とする。
 具体的には、イメージセンサ12は、各読み出し対象ラインに位置するQS個の受光素子を、所定数個の受光素子が1つの組となるようにグループ分けし、各組を構成する所定数個の受光素子が出力する画素データ信号Sigの示す値を相加平均することで、QS個の受光素子が出力する画素データ信号Sigを、「所定数分の1」に縮小する。また,加法平均することで,ローパスフィルターの効果が得られ,折り返しノイズの発生を抑制できる。
 イメージセンサ12の画素がベイヤー配列の場合、各ラインには2色の画素が交互に配列されているため、X軸方向に1個おきに所定数個の受光素子を1組とするグループ分けを行う。そして、各組を構成する所定数個の受光素子が出力する画素データ信号Sigの示す値を相加平均する。
 図10の左側に示す例では、X軸方向において、1個おきに3個の受光素子を1組としてグループ分けし、各組を構成する同色の3個の受光素子が出力する画素データ信号Sigの示す値を平均している。具体的には、例えば、ライン1及びライン7において、第1列、第3列、第5列の赤色画素を1組として、当該3個の画素に対応する3個の受光素子が出力する画素データ信号Sigの値を加算器Ave1によって相加平均し、得られた平均値を第1列の赤色画素に対応する撮像信号DSの値として設定する。同様に、ライン1及びライン7において、第2列、第4列、第6列の緑色画素に対応する受光素子が出力する画素データ信号Sigの値を加算器Ave2によって相加平均し、得られた平均値を第2列の緑色画素に対応する撮像信号DSの値として設定する。この場合、図10の右側に示すように、画素データ信号SigをX軸方向に3分の1にリサイズ(縮小)した撮像信号DSを得ることができる。
 図11は、リサイズ処理部217が実行する歪曲収差補正処理を説明するための説明図である。
 リサイズ処理部217は、歪曲収差補正処理の他に、画像を拡大・縮小するリサイズ処理を行う。上述のとおり、撮像信号DSの示す画像の画素数と、画像信号Dの示す画像の画素数(表示領域ADの画素数)とは異なる。リサイズ処理部217では、撮像信号DSを、表示領域ADの画素数に対応した画像信号Dに変換する。
 なお、撮像信号DSの示す画像は、撮像光学系11が備えるレンズの光学特性に起因しする歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ADにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、リサイズ処理部217では、リサイズ処理において、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
 以下、図11を参照しつつ、リサイズ処理の中で実行される歪曲収差補正処理について説明する。なお、図11では、撮像信号DSの示す画像のライン数が16ライン(P=16)であり、画像信号D示す画像のライン数が12ライン(M=12)である場合を想定している。
 図11において、樽型収差が生じている場合に撮像信号DSの示す画像を符号Pc1で表し、画像Pc1を示す撮像信号DSに基づいて被写体を撮像した際に表示領域ADに表示されるべき、画像信号Dの示す画像を符号Pc2で表し、糸巻型収差が生じている場合に撮像信号DSの示す画像を符号Pc3で表し、画像Pc3を示す撮像信号DSに基づいて被写体を撮像した際に表示領域ADに表示されるべき、画像信号Dの示す画像を符号Pc4で表す。
 画像Pc1は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、樽型収差によって四角形SQが膨張した閉曲線CV1を示す。また、画像Pc3は、表示領域ADに表示すべき画像が四角形SQであるのにもかかわらず、撮像信号DSが、糸巻型収差によって四角形SQが収縮した閉曲線CV2を示す。
 リサイズ処理部217は、樽型収差が生じた場合、歪曲補正処理において、閉曲線CV1で示される画像Pc1を、四角形SQで示される画像Pc2へと補正する。同様に、リサイズ処理部217は、糸巻型収差が生じた場合、歪曲補正処理において、閉曲線CV2で示される画像Pc3を、四角形SQで示される画像Pc4へと補正する。
 これらの場合、リサイズ処理部217は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
 例えば、リサイズ処理部217は、画像Pc2または画像Pc4を構成する、補正後の画素PxS1の階調を決定する場合、画像Pc1または画像Pc3を構成する、補正前の画素PxC1を中心画素と定める。そして、リサイズ処理部217は、中心画素である画素PxC1を含む参照領域Area1内の各画素で表示すべき階調に基づいて、画素PxS1で表示すべき階調を定める。
 同様に、リサイズ処理部217は、画像Pc2または画像Pc4を構成する、補正後の画素PxS2の階調を決定する場合、画像Pc1または画像Pc3を構成する、補正前の画素PxC2を中心画素と定める。そして、リサイズ処理部217は、中心画素である画素PxC2を含む参照領域Area2内の各画素で表示すべき階調に基づいて、画素PxS2で表示すべき階調を定める。
 なお、画像Pc2および画像Pc4において濃いハッチングを付した画素は、画像信号Dにおける第1行、第7行、及び、第12行に位置する補正後の画素を示し、画像Pc1および画像Pc3において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素(中心画素)を示し、画像Pc1および画像Pc3において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
 図11に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向(Y軸方向)の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向(Y軸方向)の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
 よって、リサイズ処理部217が画像信号D[m]を生成する場合に必要となる撮像信号DSのライン数は、画像信号D[m]に対応するラインの位置(mの値)により変動する。このため、リサイズ処理部217がリサイズ処理に要する時間長は、ラインの位置により変動することになる。
 ここで、第p行のラインに対応する撮像信号DSを、撮像信号DS[p]と表す(pは、1≦p≦Pを満たす自然数)。
 このとき、例えば、図11に示す例では、リサイズ処理部217が、第1行のラインに対応する画像信号D[1]を生成するためには、第1行~第5行のラインに対応する撮像信号DS[1]~DS[5]が必要となる。これに対して、リサイズ処理部217が、第7行のラインに対応する画像信号D[7]を生成するためには、第8行~第10行のラインに対応する撮像信号DS[8]~DS[10]が必要となる。つまり、リサイズ処理部217が、画像信号D[1]を生成するために要する時間長は、画像信号D[7]を生成するために要する時間長よりも長くなる。
 以下では、画像信号D[m]を生成するために必要となる、1または複数ラインの撮像信号DS[p]を、撮像信号DGS[m]と総称する。
 例えば、図11に示す例では、画像信号D[1]を生成するために必要となる撮像信号DGS[1]は、撮像信号DS[1]~DS[5]の5ライン分の撮像信号DS[p]であり、画像信号D[7]を生成するために必要となる撮像信号DGS[7]は、撮像信号DS[8]~DS[10]の3ライン分の撮像信号DS[p]であり、画像信号D[12]を生成するために必要となる撮像信号DGS[12]は、撮像信号DS[12]~DS[16]の5ライン分の撮像信号DS[p]である。
 なお、リサイズ処理部217は、リサイズ処理が完了し、画像信号Dをライン毎に生成すると、生成した1ライン分の画像信号D[m](画像信号DGA[m])をVRAM22に格納すると共に、画像信号D[m]のVRAM22への格納が完了したことを示す画像処理完了信号PtAを出力する。
 以上、説明したように本実施形態においては、1フレームの撮像信号DSに基づいて生成された画像信号DをVRAM22に記憶し、VRAM22から同じ画像信号Dを2回読み出したので、30fpsのフレームレートで動作する撮像部10と60fpsのフレームレートで動作する表示部40とを同期させることができる。
 この場合、図4を参照して説明したように、1フレームブ分の撮像信号DSに画像処理を施して、VRAM22に1フレーム分の画像信号DGAを書き込んだ後、VRAM22から画像信号DGBを読み出して、表示部40に供給してもよいし、あるいは、図5を参照して説明したように第Kラインの画像信号DGAをVRAM22に書き込んだ後に、第1ラインの画像信号DGBをVRAM22から読み出すようにしてもよい。特に、後者の場合は、撮像から表示までの遅延時間を短縮することができる。
<B.第2実施形態>
 図12に第2実施形態に係る撮像表示装置1のブロック図を示す。第2実施形態に係る撮像表示装置1は、画像信号出力部23が出力完了信号PtBをタイミング制御部30に対して出力し、状態信号Stが画像処理完了信号PtAと出力完了信号PtBとからなる点、出力制御部31が画像処理完了信号PtA及び出力完了信号PtBに基づいて出力制御信号CTRを生成する点、撮像部10のフレームレートの自然数倍の速度で表示部40を動作させて、撮像部10と表示部40とを同期化するが、複数回表示(例えば、2回又は3回)の1回目における画像信号DGBの垂直走査期間Fdを、2回目以降の画像信号DGBの垂直走査期間Fdより長くする点で、図1に示す第1実施形態の撮像表示装置1と相違する。
 本実施形態において、画像信号出力部23は、VRAM22から画像信号DGB[m]を読み出して当該画像信号DGB[m]を表示部40に出力する処理が完了した場合、画像信号DGB[m]の表示部40への出力が完了したことを示す出力完了信号PtBを、タイミング制御部30に対して出力する。出力完了信号PtBは、画像信号出力部23による表示部40への出力が完了した画像信号Dに対応するライン番号mbを示す信号である(mbは、基本的には、0≦mb≦Mを満たす自然数)。出力完了信号PtBの示す値であるライン番号mbは、表示部40に対する出力が完了した画像信号D[m]のラインを示す「出力完了ライン情報」の一例である。
 尚,mbは,1フレームの最終ラインを出力した直後mb=Mになり以降mb=Mを維持する。そして,次のフレーム用の画像出力準備が完了した時点(垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにて)において,mb信号はリセットされて,mb=0になるものとする。
 出力制御部31は、状態信号Stに基づいて出力制御信号CTRを生成する。より具体的には、1フレームの画像信号DSに画像処理を施して得た画像信号DGAをVRAM22に書き込み、同じ画像信号DGBをN回読み出す場合に、最初の1回目は、画像処理完了信号PtA及び出力完了信号PtBに基づいて、画像信号出力部23が表示部40に対して表示領域ADの第m行で表示すべき画像を示す画像信号D[m](画像信号DGB[m])を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号CTR(正確には,CTR[m])を生成する。また、2回目以降は、所定のタイミングから連続して画像信号DGBをVRAM22から読み出すように出力制御信号CTRを生成する。
 ここで、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」とは、以下の第1条件及び第2条件を充足したことをいう。
 (第1条件) 画像処理部21が、第m行の画像信号D[m](画像信号DGA[m])の画像処理を完了し、ラインバッファ22にDGA[m]の書き込みが完了していること。
 (第2条件) 画像信号出力部23が、第m-1行の画像信号D[m-1](画像信号DGB[m-1])の出力を完了していること。
 第1条件は、画像処理完了信号PtAの示すライン番号maがライン番号m以上である場合を示し、つまり、mについて「m≦ma」を満たす場合に充足される。
 第2条件は、出力完了信号PtBの示すライン番号mbが「mb=m-1」を満たす場合に充足される(厳密には、「m=1」の場合には、「mb=0」を満たす場合に充足される(垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにおいて、mb信号はリセットされて,mb=0になる。))。
 以下、本明細書では、出力制御部31が判定の対象とする画像信号D[m]が示す画像を表示する表示領域ADのラインを、「表示対象ライン」と称する場合がある。表示対象ラインは、出力制御部31が表示部40に対して出力すべき画像信号Dのライン番号によって特定される。即ち、表示対象ラインは、出力制御部31が管理し、第1条件と第2条件とを充足するライン番号によって特定できる。まず、既に画像処理が完了していなければ、表示部40に画像信号Dを出力できないため、表示対象ラインが第m行であるとすれば、第1条件の示すm≦maとなる。一方、表示部40には、第1行から順番に画像が表示されることから、画像信号出力部23が、第m-1行の画像信号D[m-1]の出力を完了したこと、即ち、第2条件であるmb=m-1を充足する必要がある。
 なお、厳密には、画像信号出力部23が画像信号DGB[m]を出力するためには、以下の第3条件が充足される必要がある。
 (第3条件) 画像信号出力部23が第m行の画像信号D[m](画像信号DGB[m])を出力するタイミングが、表示領域ADが画像を表示可能な期間(図4で後述する水平有効データ期間DHI)に含まれること。
 しかし、上述した第1条件及び第2条件が充足されている場合、画像信号出力部23からの画像信号DGB[m]の出力タイミングをタイミングジェネレータ32が制御することにより第3条件は必然的に充足される。このため、本実施形態では、出力制御部31における判定において第3条件を考慮しない。
 以下,出力制御部31の制御方法の実現方法について,更に詳細に記載する。出力制御部31は、「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定を、例えば、以下の2つの態様により実行することができる。
 第1の態様としては、第1条件が充足されているか否かの判定(第1の判定)と、第2条件が充足されているか否かの判定(第2の判定)の2つの判定を、出力制御部31が直接に実行する態様である。
 具体的には、出力制御部31は、画像処理部21が画像処理完了信号PtAを出力すると、画像処理完了信号PtAの示すライン番号maをもとにmについて「m≦ma」を満たすか否かを判定し(第1の判定を実行し)、画像信号出力部23が出力完了信号PtBを出力すると、出力完了信号PtBの示すライン番号mbが「mb=m-1」を満たすか否かを判定し(第2の判定を実行し)、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定である場合に、「画像信号D[m]を出力する準備が完了した」と判定する。
 この場合、出力制御部31は、第1の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第2の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
 なお、出力制御部31は、第1の判定の判定結果、または、第2の判定の判定結果が否定である場合、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となるまで、第1の判定及び第2の判定を繰り返す。具体的には、出力制御部31は、例えば、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、画像処理部21から画像処理完了信号PtAが出力される毎に第1の判定を実行し、また、画像信号出力部23から出力完了信号PtBが出力される毎に第2の判定を実行すればよい。また、例えば、出力制御部31は、第1の判定及び第2の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Hdの周期で、第1の判定及び第2の判定を繰り返してもよい。そして、第1の判定の判定結果と、第2の判定の判定結果の両方が肯定となったときに、出力制御信号CTR(正確には,CTR[m])を、判定結果が肯定であることを示す値に設定する。
 次に、第2の態様は、出力制御部31が前回の判定(画像信号D[m-1]を出力する準備が完了したか否かの判定)の結果が肯定となった後であって、画像信号出力部23が出力完了信号PtBの示すライン番号mb=m-1を出力したタイミングで、第1条件が充足されているか否かの判定(第1の判定)を実行する態様である。
 この態様において、出力制御部31は、第1の判定の判定結果が否定である場合、第1の判定の判定結果が肯定となるまで第1の判定を繰り返し、第1の判定の判定結果が肯定となったときに、出力制御信号CTRを、判定結果が肯定であることを示す値(CTR[m])に設定する。
 具体的には、出力制御部31は、例えば、出力完了信号PtBが出力されたタイミングで第1の判定の判定結果が否定である場合には、その後、画像処理部21が画像処理完了信号PtAを出力する毎に、当該画像処理完了信号PtAの示すライン番号maをもとにmについて「m≦ma」を満たすか否かを判定し、「m≦ma」を満たしたときに、第1条件が充足されたと判定すればよい。
 上述のとおり、画像処理部21は、ライン番号順に画像信号D[m](画像信号DGA[m])を生成し、画像信号出力部23は、ライン番号順に画像信号D[m](画像信号DGB[m])を出力する。そして、本実施形態では、第m-2行の画像信号D[m-2]の出力が完了し、出力制御部31が「画像信号D[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部23が画像信号D[m-1]を出力する。よって、出力制御部31が「画像信号D[m](画像信号DGB[m])を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部23から画像信号D[m-2](画像信号DGB[m-2])が出力された後のタイミングであって、且つ、出力制御部31が「画像信号D[m-1](画像信号DGB[m-1])を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部31が、「画像信号D[m]を出力する準備が完了した」か否かの第1の判定を行うタイミングにおいて、画像信号出力部23が出力する出力完了信号PtBの示すライン番号mbは「m-1」となる。
 このため、第2の態様において、出力制御部31は、画像信号出力部23からの出力完了信号PtBの出力をもって第2条件が充足されたとみなす。そして、出力制御部31は、画像信号出力部23から出力完了信号PtBが出力されたタイミングにおいて第1条件が充足されているか否かの判定(第1の判定)を実行することで、「画像信号D[m](画像信号DGB[m])の出力準備が完了した」か否かの判定を行う。
 本実施形態では、上述した2つの態様のうち、第2の態様を採用することを前提として、以下の説明を行う。第1実施形態では、図6を参照して説明したように、水平走査期間Hdには、画像信号出力部23が画像信号D[m]を出力するための有効水平走査期間Hd-A(図6A参照)と、画像信号D[m]を出力する代わりに無効信号Dmy[m]を出力する無効水平走査期間Hd-D(図6B参照)とが存在する。但し、第1実施形態においては、無効水平走査期間Hd-Dが垂直有効データ期間DVIに存在しなかったが、第2実施形態においては、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入することにより、VRAM22からの第1回目の読み出しにおいて、画像信号D[m]の出力タイミングを、水平走査期間Hdの精度で調整する。
 画像信号出力部23は、有効水平走査期間Hd-Aのうち、イネーブル信号DEnbが非アクティブとなる、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
 上述した第3条件は、タイミングジェネレータ32が水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとすることで充足される。すなわち、出力制御部31及びタイミングジェネレータ32を備えるタイミング制御部30は、上述した第1条件~第3条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号D[m](画像信号DGB[m])を画像信号出力部23から出力させる。
 図6Bに示すように、イネーブル信号DEnbは、水平走査期間Hdが無効水平走査期間Hd-Dである場合には、水平有効データ期間DHIにおいて非アクティブとなる。そして、画像信号出力部23は、無効水平走査期間Hd-Dのうち、水平有効データ期間DHIにおいて、画像信号D[m](画像信号DGB[m])の代わりに、無効信号Dmyを出力する。一方、イネーブル信号DEnbは、無効水平走査期間Hd-Dのうち、水平有効データ期間DHI以外の期間(水平同期期間DHp、水平バックポーチ期間DHb、水平フロントポーチ期間DHf)においても非アクティブとなる。画像信号出力部23は、無効水平走査期間Hd-Dのうち、水平有効データ期間DHI以外の期間において、画像信号D[m](画像信号DGB[m])の出力を停止して、無効ライン信号DGB-dmyを出力する。
 なお、タイミングジェネレータ32は、出力制御部31が出力する出力制御信号CTRに基づいて、水平走査期間Hdを有効水平走査期間Hd-Aまたは無効水平走査期間Hd-Dのいずれにするか、換言すれば、水平有効データ期間DHIにおいてイネーブル信号DEnbをアクティブとするか否かを決定する。この、出力制御信号CTR、イネーブル信号DEnb、及び、水平走査期間Hdの種類の関係については、後述する。
 図13は、出力制御信号CTRと、イネーブル信号DEnbとを説明するための説明図である。
 上述のとおり、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したとき、つまり、第1条件及び第2条件が充足されたときに、出力制御信号CTRに判定結果が肯定であることを示す値CTR[m]を設定する。ここでは便宜的に、出力制御部31は、画像信号D[m]の出力準備が完了したと判定したときに、出力制御信号CTRに一時的にハイレベルに立ち上がるパルス状の波形を出力することとし、図13に示すように、出力制御信号CTRに設定される画像信号D[m]を出力する準備が完了した旨の判定結果を示す出力パルス波形を、出力許可パルスPL[m]と称することにする(=CTR[m])。
 上述のとおり、本実施形態に係る出力制御部31は、画像信号出力部23から出力完了信号PtBが出力されたことをもって、第2条件が充足されたとみなす。そして、出力制御部31は、出力完了信号PtBが出力されたときに画像信号D[m]の画像処理が完了しているか(第1条件が充足されているか)否かの判定(第1の判定)を実行することで、画像信号D[m]の出力準備が完了したか否かを判定する。
 図13に示すように、出力制御部31が画像信号D[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部31が画像信号D[m]の画像処理が完了したと判定(第1条件が充足されたと判定)するタイミング、つまり、第1の判定の結果が肯定となるタイミングを、画像処理判定時刻TA[m]と称する。
 また、出力制御部31に出力完了信号PtBが供給された(第2条件が充足されたとみなす)タイミングを、表示準備判定時刻TB[m]と称する。
 また、以下では、説明の便宜上、画像処理部21による画像信号D[m]の生成が実際に完了した時刻を、画像信号生成時刻TC[m]と定義する。つまり、画像信号生成時刻TC[m]は、画像処理部21が画像処理完了信号PtAを出力する時刻と略同じ時刻である。
 表示準備判定時刻TB[m]は、出力制御部31からの画像信号D[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号D[m-1]が出力される有効水平走査期間Hd-A(有効水平走査期間Hd-A[m-1]と称する)の水平有効データ期間DHIが終了する時刻と略同じ時刻である。
 なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であるとみなすことができる場合を含む概念である。
 画像処理判定時刻TA[m]は、表示準備判定時刻TB[m]までに画像信号D[m](画像信号DGA[m])の生成が完了している場合、すなわち、表示準備判定時刻TB[m]までに画像信号生成時刻TC[m]が経過している場合(Case-1と称する)には、表示準備判定時刻TB[m]と略同じ時刻となる。
 なお、Case-1の場合、表示準備判定時刻TB[m](=第2条件が充足されたとみなす)タイミングにおいて、出力制御部31が、当該表示準備判定時刻TB[m]までに出力制御部31に供給されている画像処理完了信号PtAの示すライン番号maをもとにmについて「m≦ma」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]の間には実際にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
 一方、画像処理判定時刻TA[m]については、表示準備判定時刻TB[m]までに画像信号D[m](画像信号DGA[m])の生成が完了していない場合においては(すなわち、表示準備判定時刻TB[m]までに画像信号生成時刻TC[m]が到来していない場合(Case-2と称する))には、画像処理部21が画像信号D[m]の生成を完了させた時刻(すなわち、画像信号生成時刻TC[m]と略同じ時刻)となる。
 なお、Case-2の場合、画像処理部21が画像信号生成時刻TC[m]に画像信号D[m]の生成を完了させた後に、画像処理部21が画像処理完了信号PtAを出力し、当該画像処理完了信号PtAの供給を受けた出力制御部31が「m≦ma」を満たす旨の判定をしたタイミングが画像処理判定時刻TA[m]であるため、画像処理判定時刻TA[m]及び画像信号生成時刻TC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
 この様にCase-1とCase-2の場合があり得るため,両ケースをまとめると、出力制御部31は、画像信号生成時刻TC[m]及び表示準備判定時刻TB[m]のうち遅い方の時刻において(すなわちこの時刻は、画像処理判定時刻TA[m])、出力制御信号CTRに出力許可パルスPL[m]を設定する。つまり、この出力許可パルスPL[m]は、画像信号D[m]についての第1条件及び第2条件が充足されたときに出力される。そして、タイミングジェネレータ32は、出力許可パルスPL[m]が出力された後であって第3条件が充足されたとき、換言すれば、出力許可パルスPL[m]が出力された後に最初にイネーブル信号DEnbがアクティブになるときに、画像信号出力部23から画像信号D[m]が出力されるように制御する。
 以下、説明の都合上、画像信号D[m]について、第1条件~第3条件の全てが充足された時刻を、出力条件充足時刻TJ[m]と称する。
 本実施形態では、タイミングジェネレータ32は、出力制御信号CTRに基づいて、タイミングジェネレータ32の内部処理で用いるための内部処理信号ISのレベルを決定する。そして、タイミングジェネレータ32は、内部処理信号ISに基づいて、イネーブル信号DEnbをアクティブにするタイミング、及び、水平走査期間Hdの種別(有効水平走査期間Hd-Aまたは無効水平走査期間Hd-D)を決定する。
 具体的には、タイミングジェネレータ32は、図6に示すように、出力制御信号CTRに出力許可パルスPL[m]が設定されると、内部処理信号ISをアクティブ(この図の例ではハイレベル)とする。
 タイミングジェネレータ32は、水平走査期間Hdが開始されるタイミングにおいて内部処理信号ISがアクティブである場合、当該水平走査期間Hdの種別を有効水平走査期間Hd-A[m]に決定(分類)し、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されるタイミングでイネーブル信号DEnbをアクティブにする。このイネーブル信号DEnbがアクティブとなるタイミングが、出力条件充足時刻TJ[m]に該当する。
 そして、タイミングジェネレータ32は、当該有効水平走査期間Hd-A[m]の水平有効データ期間DHIが開始されてイネーブル信号DEnbがアクティブとなるタイミング、つまり、出力条件充足時刻TJ[m]において、内部処理信号ISを非アクティブにする。
 一方、タイミングジェネレータ32は、水平走査期間Hdが開始されるタイミングにおいて内部処理信号ISが非アクティブである場合、当該水平走査期間Hdの種別を無効水平走査期間Hd-Dに決定(分類)し、当該無効水平走査期間Hd-Dの間はイネーブル信号DEnbを非アクティブとする。
 ここで、図13に示す例において、表示準備判定時刻TB[1]以前では、PtB信号のmbは、1フレームの最終ラインを出力した直後よりmb=Mを維持している。そして、垂直同期信号の出力後の垂直バックポーチ期間が完了後のある時点で、次のフレームのデータ出力が可能になる。このため、表示準備判定時刻TB[1]の時点において、mb信号がリセットされて、mb=0になる(Case-0)。Case-0は、1フレームの最初の1ライン目を表示開始するための特殊なタイミングであり、1フレームに1回のみ存在する。その結果、水平走査期間Hd[2]の水平有効データ期間DHIが開始される。
 次に,2ライン目以降の例を記載する。以下、図13に示す例において、出力制御部31が、画像信号D[2]の出力準備が完了したか否かの判定を行い、出力制御信号CTRに出力許可パルスPL[2]を設定する場合(Case-1に相当)を説明する。
 図13に示す例では、表示準備判定時刻TB[2]は、画像信号D[1]の出力が完了する水平走査期間Hd[1](有効水平走査期間Hd-A[1])の水平有効データ期間DHIの終了時である。また、この例では、画像信号D[2]の画像処理が完了する画像信号生成時刻TC[2]が、表示準備判定時刻TB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻TA[2]は、表示準備判定時刻TB[2]と略同じ時刻となる。このため、出力制御部31は、水平走査期間Hd[1]の水平有効データ期間DHIの終了時、つまり、表示準備判定時刻TB[2]に、出力制御信号CTRとして出力許可パルスPL[2]を出力する。
 タイミングジェネレータ32は、出力制御信号CTRとして出力許可パルスPL[2]が出力されるタイミング、つまり、水平走査期間Hd[1]の水平有効データ期間DHIの終了するタイミングにおいて、内部処理信号ISをアクティブにする。この場合、内部処理信号ISは、水平走査期間Hd[2]の開始時においてもアクティブとなっている。ここで、タイミングジェネレータ32は、水平走査期間の開始タイミング(DHsyncパルス)において、当該水平走査期間を有効水平走査期間Hd-A[m]とするのか、無効水平走査期間Hd-Dとするのかを内部処理信号ISの状態に基づいて判断を行うものとする。上記の場合は、内部処理信号ISは、アクティブである。このため、タイミングジェネレータ32は、水平走査期間Hd[2]を有効水平走査期間Hd-A[2]とし、水平走査期間Hd[2]の水平有効データ期間DHIにおいて、イネーブル信号DEnbをアクティブにする。
 すなわち、水平走査期間Hd[2]の水平有効データ期間DHIの開始時刻が、画像信号D[2]についての第1条件~第3条件の全てが充足された出力条件充足時刻TJ[2]となる。このため、水平走査期間Hd[2]において、画像信号D[2]が出力されることになる。また、タイミングジェネレータ32は、水平走査期間Hd[2]の水平有効データ期間DHIが開始されるタイミングにおいて、内部処理信号ISを非アクティブとする。
 次に、図13に示す例において、出力制御部31が、画像信号D[3]の出力準備が完了したか否かの判定を行い、出力制御信号CTRに出力許可パルスPL[3]を設定する場合(Case-2に相当)を説明する。
 図13に示す例では、表示準備判定時刻TB[3]は、画像信号D[2]の出力が完了する水平走査期間Hd[2](有効水平走査期間Hd-A[2])の水平有効データ期間DHIの終了時である。
 表示準備判定時刻TB[3]の直後に表示用水平同期信号DHsyncがアクティブとなるタイミングにおいて、「ma=2」且つ「mb=2」である。即ち、画像処理が完了していない状態である。このため、水平走査期間Hd[3]が開始されるタイミングにおいて、出力制御信号CTRは非アクティブとなり、内部処理信号ISも非アクティブとなる。
 従って、図中「×」で示したように、タイミングジェネレータ32は、水平走査期間Hd[3]を無効水平走査期間Hd-Dとして分類し、水平走査期間Hd[3]の水平有効データ期間DHIにおいて、イネーブル信号DEnbを非アクティブにする。この場合、画像信号出力部23は、水平走査期間Hd[3]の水平有効データ期間DHIにおいて、画像信号D[3]を出力せずに、無効信号Dmyを出力する。
 その後、タイミングジェネレータ32は、出力制御信号CTRとして出力許可パルスPL[3]が出力されるタイミングにおいて、内部処理信号ISをアクティブにする。この例では、出力許可パルスPL[3]が出力されるタイミングは、水平走査期間Hd[4]の開始前である。この場合、内部処理信号ISは、水平走査期間Hd[4]の開始時においてもアクティブとなっている。このため、タイミングジェネレータ32は、水平走査期間Hd[4]を有効水平走査期間Hd-A[3]とし、水平走査期間Hd[4]の水平有効データ期間DHIにおいて、イネーブル信号DEnbをアクティブにする。
 すなわち、水平走査期間Hd[4]の水平有効データ期間DHIの開始時刻が、画像信号D[3]についての第1条件~第3条件の全てが充足された出力条件充足時刻TJ[3]となる。このため、水平走査期間Hd[4]において、画像信号D[3]が出力されることになる。
 なお、この図に示す例では、出力制御部31が、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合、及び、画像信号D[1]の出力準備が完了したか否かの判定を行い出力制御信号CTRに出力許可パルスPL[1]を設定する場合(Case-0)については、Case-1としての条件である場合を想定している。
 このように本実施形態では、出力制御部31は、第1条件及び第2条件が充足されときに、出力許可パルスPL[m]を出力して、内部処理信号ISの状態をアクティブにし、水平走査期間の開始時(DHsyncパルス)において、有効水平走査期間Hd-A[m]とするのか、無効水平走査期間Hd-Dmとするかを決定する。有効水平走査期間と決定された場合、画像信号出力部23は、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hdにおいて、画像信号D[m]を出力する動作を行う。
 この様な動作により、画像処理部21によるライン単位D[m]の画像処理結果の画像信号出力部23からの画像信号D[m]の出力タイミングは、水平走査期間Hdの単位の精度で出力調整されることになる。
 なお、図13に示す例では、タイミングジェネレータ32は、水平走査期間Hdの種別を、水平走査期間Hdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスPL[m]が出力される水平走査期間Hdの水平フロントポーチ期間DHfの開始から、出力許可パルスPL[m]が出力された後の最初の水平走査期間Hdの水平バックポーチ期間DHbの終了までの間に決定すればよい。
 また、図13に示す例では、内部処理信号ISを非アクティブとするタイミングを、イネーブル信号DEnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレータ32が内部処理信号ISを非アクティブとするタイミングは、イネーブル信号DEnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間DHIの間であればいつでもよい。
 また、本実施形態において、タイミングジェネレータ32は、内部処理信号ISを用いて、イネーブル信号DEnbの波形と、水平走査期間Hdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ISを用いずに、出力制御信号CTRに基づいて、これらを決定してもよい。
 また、本実施形態において、出力制御信号CTRは、出力許可パルスPL[m]を含む波形となっているが、これは一例であり、出力制御信号CTRは、例えば、図13に示す内部処理信号ISの波形を有していてもよい。この場合、タイミングジェネレータ32は、出力制御部31が出力制御信号CTRの波形の決定をするために必要なイネーブル信号DEnb等の各種信号を、出力制御部31に供給すればよい。
 図14及び図15は、有効水平走査期間Hd-A及び無効水平走査期間Hd-Dと、垂直走査期間Fdとの関係を説明するための説明図である。
 垂直走査期間Fdは、M行のラインに対応する画像信号D[1]~D[M]を出力する期間である。このため、タイミングジェネレータ32は、各垂直走査期間Fdの垂直有効データ期間DVIに、M個の有効水平走査期間Hd-Aを設ける。
 一方、本実施形態に係るタイミングジェネレータ32は、水平走査期間Hdを、有効水平走査期間Hd-Aまたは無効水平走査期間Hd-Dの何れかに分類する。そして、水平走査期間Hdが有効水平走査期間Hd-Aである場合にのみ、当該水平走査期間Hdにおいて画像信号D[m]が出力される。
 このため、本実施形態に係るタイミングジェネレータ32は、垂直走査期間Fdの垂直有効データ期間DVIに無効水平走査期間Hd-Dを設ける場合には、当該無効水平走査期間Hd-Dに相当する時間長だけ垂直有効データ期間DVIを延長し、各垂直走査期間Fdの垂直有効データ期間DVIにM個の有効水平走査期間Hd-Aを設けるように、表示垂直同期信号DVsync及び垂直有効データ信号DVactiveを出力する。
 例えば、タイミングジェネレータ32は、図14に示す垂直走査期間Fd1のように、垂直有効データ期間DVIの全ての水平走査期間Hdを有効水平走査期間Hd-Aとする場合には、垂直有効データ期間DVIの時間長を、水平走査期間HdのM倍の時間長とする。ここで、垂直走査期間Fd1の内,垂直同期フロントポーチ期間(DVf)と垂直同期期間(DVp)と垂直同期バックポーチ期間(DVb)を除いた期間、すなわちDVIを垂直有効データ期間DVIと呼び、DVactive=Hの期間とする。
 一方、タイミングジェネレータ32は、図15に示す垂直走査期間Fd2のように、垂直有効データ期間DVIに1または複数の無効水平走査期間Hd-Dを設ける場合には、垂直有効データ期間DVIの時間長(DVactive=Hの期間)が、水平走査期間HdのM倍の時間長と、垂直有効データ期間DVIに存在する1または複数の無効水平走査期間Hd-Dの合計の時間長と、を加算した時間長とする。
 つまり、タイミングジェネレータ32は、垂直走査期間Fdの時間長を、水平走査期間Hdの単位で調整することで、各垂直走査期間Fdにおいて画像信号出力部23が画像信号D[1]~D[M]を出力することを可能としている。
 なお、図14に示す垂直走査期間Fd1のように、垂直有効データ期間DVIの全ての水平走査期間Hdが有効水平走査期間Hd-Aである場合における、垂直走査期間Fdの時間長を、標準垂直走査時間Tdと称する。
 また、図15に示す垂直走査期間Fd2のように、垂直有効データ期間DVIに1または複数の無効水平走査期間Hd-Dが設けられる場合における、当該1または複数の無効水平走査期間Hd-Dの時間長の合計値を、延長垂直走査時間Texと称する。つまり、垂直有効データ期間DVIに1または複数の無効水平走査期間Hd-Dが設けられる場合の垂直走査期間Fdの時間長は、標準垂直走査時間Tdと延長垂直走査時間Texとの合計である。
 次に、撮像部10からの撮像信号DSと、画像信号生成部20からの画像信号DGBとの関係について説明する。図16は、両者の関係を示すタイミングチャートである。なお、時刻t0以前に撮像信号DSは生成されていないものとする。
 垂直走査期間Fs1、Fs2、及びFs3の各々において、撮像信号DS1、DS2、及びDS3が生成される。そして、撮像信号DS1、DS2、及びDS3に画像処理が施され、画像信号DGB1a、DGB1b、DGB2a、DGB2b、DGB3a、及びDGB3bが出力される。垂直走査期間Fd1において出力される画像信号DGB1aは、撮像信号DS1に画像処理を施してVRAM22に格納した画像信号DGAを、VRAM22から最初に読み出して得た信号であり、垂直走査期間Fd2において出力される画像信号DGB1bは、VRAM22から2回目に読み出して得た信号である。同様に、画像信号DGB2a及び画像信号DGB3aは、VRAM22から最初に読み出して得た信号であり、画像信号DGB2b及び画像信号DGB3bは、VRAM22から2回目に読み出して得た信号である。
 この例では、時刻t20より画像信号DGB1aの第1ラインを生成するための処理が開始され、時刻t21においてVRAM22へ書き込みが完了し、VRAM22から画像信号DGB1aの第1ラインが読み出される。図16に示す例では、撮像信号DSを画像信号生成部20に取り込んでから、VRAM22に画像信号DGAを書き込むまでの時間を画像処理時間Txとしたとき、図示を簡略化するため、第1ラインから第Mラインまでの画像処理時間Txが等しくなる場合を例示している。
 しかしながら、実際には、図11を参照して説明した歪曲収差の補正処理などを実行するため、何番目のラインかによって、画像処理時間Txが相違する。画像処理時間Txが長くかかると、第1条件を充足しなくなるので、垂直有効データ期間DVIに無効水平走査期間Hd-Dが挿入されることになる。画像信号DGB1a、DGB2a、及びDGB3aは、このような画像処理を経て生成され、VRAM22から最初に読み出される信号である。このため、垂直有効データ期間DVI1、DVI3、及びDVI5では、無効水平走査期間Hd-Dが挿入され、垂直走査期間Fd1、Fd3、及びFd5の時間長は、標準垂直走査時間Tdより延長される。
 一方、画像信号DGB1b、DGB2b及びDGB3bは、既に画像処理を完了した画像信号DをVRAM22から読み出すことによって生成されるので、垂直有効データ期間DVI2、DVI4及びDVI6は有効水平走査期間Hd-Aのみから構成される。よって、垂直走査期間Fd2、Fd4及びFd6の時間長は、標準垂直走査時間Tdとなる。
 ここで、撮像部10の垂直走査期間Fs1、Fs2、及びFs3の時間長は等しくTsである。また、表示部40の垂直走査期間Fd1、Fd3、及びFd5の各時間長は、Tg1、Tg2、及びTg3であり、表示部40の垂直走査期間Fd2、Fd4、及びFd6の時間長は、標準垂直走査時間Tdである。ここで、Tg1≧Td、Tg2≧Td、Tg3≧Tdである。また、Tg2=Tg3であり、以下の式が成り立つ。
 Ts=Tg2+Td=Tg3+Td
 撮像部10のフレームレートが30fpsであればTs=Tg2+Td=33.333msである。表示部40のフレームレートの組み合わせは各種あるが、表示部の一方のフレームレートが61fpsの場合、他方のフレームレートをXfpsとすれば、1/30=1/61+1/Xより、X=61*30/31=59.032258…fpsとなる。
 このように撮像信号DSの垂直走査期間Fsの時間長は、VRAM22から同じ画像信号を読み出すことによって得られる画像信号DGBの垂直走査期間Fdの合計と一致する。
 なお、垂直走査期間Fd1の時間長Tg1は、Tg2、Tg3よりも長い。これは、画像信号DGB2については、時刻t24から時刻t25の間に画像処理を行って、VRAM22に画像信号DGAを予め記憶しておくことができるが、撮像信号DSは時刻t0から出力されるため、画像信号DGB1については、画像処理を先行させることができないからである。このように、撮像部10が動作して最初に出力される画像信号DGB1aについては、その垂直走査期間Fs1の時間長であるTsと、Tg1+Tdとが不一致となる。
<C.第3実施形態>
 上述した第2実施形態では、図6に示すように、垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入することにより、画像信号D[m]の出力タイミングを、水平走査期間Hdの精度で調整し、水平走査期間Hdの時間長は固定長としていた。
 これに対して、第3実施形態に係る撮像表示装置では、水平走査期間Hdの時間長を可変長として、画像信号D[m]の出力タイミングを、例えば表示ドットクロック信号DCLKの周期で調整する点において、第2実施形態に係る撮像表示装置1と相違する。
 即ち、第3実施形態の撮像表示装置1は、撮像信号DSに画像処理を施して得た画像信号DGAをVRAM22から読み出す場合に、第1回目の読み出しによって生成する画像信号DGBについては、画像処理が間に合わない場合に水平走査期間Hdの時間長を延長し、第2回目以降の読み出しによって生成する画像信号DGBについては、既に1フレーム分の画像信号DGAがVRAM22に記憶されているので、水平走査期間Hdの時間長を固定にする。
 以下、図17及び図18を参照しつつ、第3実施形態に係る撮像表示装置について説明する。なお、以下に例示する第2実施形態において作用や機能が第2実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する(以下で説明する変形例についても同様)。
 図17は、第3実施形態に係る撮像表示装置が備えるタイミング制御部30(出力制御部31及びタイミングジェネレータ32)が生成する、出力制御信号CTRと、イネーブル信号DEnbと、表示水平同期信号DHsync2との関係を説明するための説明図である。
 第3実施形態に係る撮像表示装置が備えるタイミング制御部30は、タイミングジェネレータ32が、表示水平同期信号DHsyncの代わりに、可変な周期の水平同期パルスPlsHを有する表示水平同期信号DHsync2を生成し、それに基づき表示垂直同期信号DVsync2を生成する点を除き、第2実施形態に係る撮像表示装置1(図12参照)と同様に構成されている。
 図17に示すように、第3実施形態に係る出力制御部31は、第2実施形態と同様に、画像処理判定時刻TA[m]及び表示準備判定時刻TB[m]のうち遅い方の時刻(この図では、上述した第2の態様を採用しているため、画像処理判定時刻TA[m])において、出力制御信号CTRに出力許可パルスPL[m]を設定する。
 また、図17に示すように、第3実施形態に係るタイミングジェネレータ32は、出力制御部31が出力する出力制御信号CTRに出力許可パルスPL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間TPの経過後に、表示水平同期信号DHsync2として水平同期パルスPlsHを出力する。
 このため、表示準備判定時刻TB[m]までに画像信号D[m]の生成が完了し、画像信号生成時刻TC[m]が経過している場合(Case-1)には、水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPとなる。
 一方、表示準備判定時刻TB[m]までに画像信号D[m]の生成が完了していない場合、すなわち、表示準備判定時刻TB[m]よりも後に画像信号生成時刻TC[m]が到来する場合(Case-2)には、水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、表示準備判定時刻TB[m]から画像信号生成時刻TC[m](画像処理判定時刻TA[m])までの時間長である延長フロントポーチ時間TPXとの合計となる。
 このように、第3実施形態に係るタイミングジェネレータ32は、出力制御部31が、画像信号D[m]の出力準備が完了したと判定し、出力制御信号CTRとして出力許可パルスPL[m]を出力するのを待ち、出力許可パルスPL[m]が出力されてから基準フロントポーチ時間TPだけ後に、水平走査期間Hd[m]を開始させる。換言すれば、第3実施形態に係るタイミングジェネレータ32は、画像信号D[m]の出力準備が完了するまで、水平フロントポーチ期間DHfを延長する。
 このため、画像信号出力部23は、たとえ画像処理部21における画像信号D[m]の画像処理が遅延した場合であっても、水平走査期間Hd[m]において画像信号D[m]を出力することが可能となる。この場合、撮像部10が撮像信号DGS[m]を出力してから、表示部40が画像信号D[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号DCLKの精度で最小化されることになる。
 図18は、画像処理部21の画像処理がボトルネックとなって表示に遅延が生じている状態における、第2実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。図18では、例えば、水平走査期間Hd3[2]におけるイネーブル信号DEnbの立下りのタイミングまでに、画像信号DGA3[3]が生成される。このため、水平走査期間Hd3[2]におけるイネーブル信号DEnbの立下りのタイミングにおいて、出力許可パルスPL[3]が出力される。この場合、水平走査期間Hd3[2]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPとなる。
 一方、この図に示す例では、画像信号DGA3[4]が生成されるタイミングは、水平走査期間Hd3[3]におけるイネーブル信号DEnbの立下りのタイミングよりも後である。このため、画像信号DGA3[4]が生成されるタイミングにおいて、出力許可パルスPL[4]が出力される。この場合、水平走査期間Hd2[3]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、延長フロントポーチ時間TPX(水平走査期間Hd2[3]におけるイネーブル信号DEnbの立下りのタイミングから、出力許可パルスPL[4]が出力されまでの時間)との、合計の時間長となる。すなわち、表示部40における表示準備がボトルネックとなる表示の遅延が解消される時刻以降は、画像処理の状況に応じて水平走査期間Hdが延長されることになる。
 また、図18では、画像信号DGA3[m]が生成されるタイミングは、水平走査期間Hd3[m-1]におけるイネーブル信号DEnbの立下りのタイミングよりも後である。このため、画像信号DGA3[m]が生成されるタイミングにおいて、出力許可パルスPL[m]が出力される。この場合、水平走査期間Hd3[m]の水平フロントポーチ期間DHfの時間長は、基準フロントポーチ時間TPと、延長フロントポーチ時間TPX(水平走査期間Hd3[m]におけるイネーブル信号DEnbの立下りのタイミングから、出力許可パルスPL[m]が出力されまでの時間)との、合計の時間長となる。すなわち、画像処理部21の画像処理がボトルネックとなって表示に遅延が生じている状態においては、画像処理の状況に応じて水平走査期間Hdが延長されることになる。
 なお、図18からも明らかなように、第3実施形態においては、無効水平走査期間Hd-Dは存在せず、全ての水平走査期間Hdは有効水平走査期間Hd-Aとなる。また、第3実施形態では、水平走査期間Hdが例えば表示ドットクロック信号DCLKの単位で可変となるため、垂直走査期間Fdも可変の時間長を有することとなる。
 第3実施形態の撮像表示装置1は、VRAM22から最初に読み出す画像信号DGBについて、水平走査期間Hdが延長される。この結果、図16に示すように画像信号DGBの垂直走査期間Fd1、Fd3、及びFd5の時間長が長くなる。一方、VRAM22から2回目以降に読み出される画像信号DGBについては、水平走査期間Hdの時間長が固定となる。これにより、撮像部10のフレームレートが表示部のフレームレートより低い場合に、撮像から表示までの遅延時間を短縮しつつ、撮像部10と表示部40との動作を同期させることができる。
<D.第4実施形態>
 上述した第2実施形態では、VRAM22から最初に読み出す画像信号DGBの垂直有効データ期間DVIに無効水平走査期間Hd-Dを挿入することにより、撮像部10と表示部40との動作を同期させた。これに対して、第4実施形態に係る撮像表示装置1は、VRAM22から最後に読み出す画像信号DGBの垂直フロントポーチ期間DVfに無効水平走査期間Hd-Dを挿入することにより、撮像部10と表示部40との動作を同期させる点で相違する。即ち、本実施形態では、N回の表示後において、次の1フレームに表示する1フレーム分の画像信号DGBのうち1フレーム分より少ない所定のライン分の画像信号DGAが生成されていない場合、所定のライン分の画像信号DGAが生成されるまで、表示用垂直同期信号DVsyncの出力を延期する。
 図19は、第4実施形態の撮像表示装置1における撮像部10からの撮像信号DSと、画像信号生成部20からの画像信号DGBとの関係を示すタイミングチャートである。この例では、撮像部10のフレームレートは30fpsであり、表示部40のフレームレートは60fpsよりも高速なフレームレートである。
 垂直走査期間Fs1において撮像部10から出力される撮像信号DS1は、時刻t30から画像処理が開始される。そして、時刻t31において第Kラインの画像処理が完了し、画像信号DGA[K]のVRAM22への書き込みが完了する。時刻t31において画像処理完了信号PtAの示すライン番号maは「K」となる。タイミング制御部30は、ライン番号maが「K」に達すると、表示垂直同期信号DVsyncをアクティブにする。そして、垂直バックポーチ期間DVb経過後に、VRAM22から画像信号DGB1aが読み出される。この際、第2実施形態のように垂直有効データ期間DVIに無効水平走査期間Hd-Dを設けることはない。即ち、本実施形態の垂直有効データ期間DVI(DVI1~DVI5)は、有効水平走査期間Hd-Aのみから構成される。これは、第1実施形態と同様に「K」を、VRAM22における画像信号DGBの読み出しが画像信号DGAの書き込みに先行しないように設定するからである。
 この例では、時刻t32において撮像信号DS1の画像処理が完了し、1フレーム分の画像信号DGAがVRAM22に書き込まれる。従って、時刻t34から開始する垂直走査期間Fd2では、VRAM22に画像信号DGAが既に用意されている。このため、垂直走査期間Fd2では画像信号DGBをVRAM22から高速で読み出すことができる。この例では、垂直走査期間Fd1の開始から画像信号DGB1aの生成が完了する時刻t33までの時間と、垂直走査期間Fd2の開始から画像信号DGB1bの生成が完了する時刻t35までの時間とが等しい。
 次に、垂直走査期間Fd3の表示垂直同期信号DVsyncは、垂直走査期間Fd1と同様に画像処理完了信号PtAの示すライン番号maが「K」に達した時点でアクティブになる。このため、垂直走査期間Fd2の垂直フロントポーチ期間DVfの時間長は可変となる。本実施形態においては、水平走査期間Hdの時間長は固定であるから、垂直フロントポーチ期間DVfに無効水平走査期間Hd-Dを設定することによって、垂直フロントポーチ期間DVfの時間長を調整する。
 ここで、垂直走査期間Fd1の時間長を標準垂直走査時間Tdとすると、垂直走査期間Fd2の時間長は、垂直フロントポーチ期間DVfが延長された時間だけ長くなる。垂直フロントポーチ期間DVfが延長された時間は延長垂直走査時間Texとなる。このため、垂直走査期間Fd2の時間長は、Td+Texとなる。延長垂直走査時間Texは、固定であっても、可変であっても良く、要は、撮像部10と表示部40が同期化できるように延長垂直走査時間Texが設定される。
 図20は、垂直走査期間Fd2における垂直フロントポーチ期間DVfの延長を示すタイミングチャートである。この例では、時刻t35から垂直フロントポーチ期間DVfが開始する。ここで、本来の垂直フロントポーチ期間DVfの時間長が10水平走査期間Hdであるとすれば、時刻t36において垂直フロントポーチ期間DVfが終了する。しかしながら、図20に示す例では、時刻t37において画像処理完了信号PtAの示すライン番号maが「K」となる。このため、時刻t36では垂直同期パルスPlsVを発生させず、垂直フロントポーチ期間DVfを延長して時刻t37において垂直同期パルスPlsVを発生させる。
 この例では、垂直フロントポーチ期間DVfの時間長が4水平走査期間Hdだけ延長される。即ち、表示用垂直同期信号DVsyncの出力が延期されている間において、ダミーの表示用水平同期信号DHsyncが出力される。
 上述した第2実施形態では、図16を参照して説明したように、最初の画像信号DGB1aを生成する垂直有効データ期間DVI1の時間が長時間になってしまう。これに対して、本実施形態では、画像処理の進捗を示す画像処理完了信号PtAを参照して、画像処理が第Kラインまで終了したことを検知すると、表示垂直同期信号DVsyncとして垂直同期パルスPlsVを発生させて表示部40の表示を開始させる。これにより、最初の画像信号DGB1aに対応する垂直走査期間Fd1の時間長を表示部40の仕様に合わせることが可能になる。
 さらに、本実施形態では、VRAM22からN回同じ画像信号DGBを読み出す場合、N回目の画像信号DGBを読み出す垂直走査期間Fdの終了時刻は、次のフレームの画像処理が第Kラインまで完了するまで待機することになる。これにより、撮像部10と表示部40との動作を同期させることが可能となる。
 ここで、撮像信号DSのフレームレートを「X」、垂直フロントポーチ期間DVfの時間延長がないとした場合の画像信号DGBのフレームレートを「Y」(全ての垂直走査期間Fdの時間長が標準垂直走査時間Tdであるとした場合)、VRAM22から同じ画像信号DGBを読み出す回数をNとしたとき、X,Yは、以下の式1が成立するフレームレートである。
 Y=N×X+r…式1
 ただし、Nは2以上の自然数であり、rは、0<r<Xであり、YをXで割った余りである。
 さらに、画像信号DGBのフレームレートYは、撮像信号DSのフレームレートXのN倍よりやや高速であることが好ましい。例えば、撮像信号DSのフレームレートが30fpsであり、N=2である場合には、画像信号DGBのフレームレートを例えば61fpsに設定すればよい。
 このように若干高速に設定したのは、仮に、表示部40のフレームレートYが撮像部10のフレームレートXのN倍よりもやや低い場合には、撮像信号DSの垂直走査期間FSに対して表示部40にN回同じ画像を表示させることができないため、同期できなくなるからである。
 また、画像信号Dsのフレーム周期をTs、画像信号DGBの標準垂直走査時間をTd、延長時間をTrとしたとき、式2が成り立つ。
 Ts=Td×N+Tr…式2
 ここで、延長時間Trがゼロの状態から、画像信号DGBを次第に高速にすると、延長時間Trが長くなる。これは、VRAM22から同じ画像信号DGAをN回読み出すことによって得られる画像信号DGBのうち、最後に読み出す画像信号DGBの垂直走査期間Fdが次第に長くなることを意味する。従って、若干高速に設定することによって、撮像部10と表示部40とを同期させつつ、フリッカや画像ムラを抑制することが可能となる。
<E.第5実施形態>
 上述した第4実施形態では、VRAM22から最後に読み出す画像信号DGBの垂直フロントポーチ期間DVfに無効水平走査期間Hd-Dを挿入することにより、撮像部10と表示部40との動作を同期させた。これに対して、第5実施形態の撮像表示装置1は、垂直フロントポーチ期間DVfの水平走査期間Hdを延長することによって、撮像部10と表示部40との動作を同期させる点を除いて、第4実施形態の撮像表示装置1と同様である。
 即ち、本実施形態においても図19を参照して説明したように、VRAM22から最後に読み出す画像信号DGBの垂直フロントポーチ期間DVfを、画像処理の進捗に応じて延長する。
 図21は、図19に示す垂直走査期間Fd2における垂直フロントポーチ期間DVfの延長を示すタイミングチャートである。この例では、時刻t35から垂直フロントポーチ期間DVfが開始する。ここで、本来の垂直フロントポーチ期間DVfの時間長が10水平走査期間Hdであるとすれば、時刻t36において垂直フロントポーチ期間DVfが終了する。
 しかしながら、図21に示す例では、時刻t37において画像処理完了信号PtAの示すライン番号maが「K」となる。このため、時刻t36では水平同期パルスPlsH及び垂直同期パルスPlsVを発生させず、水平走査期間Hdを延長して(垂直フロントポーチ期間DVfを延長して)時刻t37において水平同期パルスPlsH及び垂直同期パルスPlsVを発生させる。
 本実施形態においても、第4実施形態と同様に式1が成り立つ。また、画像処理の進捗を示す画像処理完了信号PtAを参照して、画像処理が第Kラインまで終了したことを検知すると、表示垂直同期信号DVsyncとして垂直同期パルスPlsVを発生させて表示部40の表示を開始させる。これにより、撮像部10と表示部40との動作を同期させることが可能となる。
<F.変形例>
 以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
<変形例1>
 上述した実施形態では、表示部40が液晶パネル42を備える場合を例示したが、本発明はこのような態様に限定されるものではなく、OLED(organic light emitting diode)パネル、プラズマ表示パネル等の表示素子を用いてもよい。
<変形例2>
 上述した実施形態及び変形例では、画像処理回路100と表示部40との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動(LVDS)の高速シリアルインタフェースによって行うようにしてもよい。
<変形例3>
 上述した実施形態及び変形例では、出力制御部31は、画像処理部21が出力する画像処理完了信号PtAと、画像信号出力部23が出力する出力完了信号PtBと、に基づいて、画像信号D[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部31がVRAM22を周期的に参照することで、VRAM22に画像信号D[m]が記録されていること、及び、VRAM22から画像信号D[m-1]が読み出されたことを判定することにより、画像信号D[m]を出力する準備が完了したか否かを判定してもよい。
<変形例4>
 上述した実施形態及び変形例では、撮像表示装置1に表示部40が内蔵されているが、本発明はこのような態様に限定されるものではなく、表示部40をデジタルカメラの外部に接続するファインダー(表示装置)等として構成してもよい。
<G.応用例>
 以上の各形態に例示した撮像表示装置1は、各種の電子機器に利用されうる。例えば、撮像表示装置1は、プロジェクター装置、HUD(ヘッドアップディスプレイ)、HMD(ヘッドマウントディスプレイ)等の電子機器(表示装置)等として構成してもよい。また、ライブビューを行う表示装置であれば、例えば電子双眼鏡、電子めがね、電子顕微鏡、医療用電子めがねのファインダ、車載のバックモニタ、車載のサイドミラーのモニタ等にも適用することができ、撮像から表示までの遅延を低減させることができる。くわえて、表示装置の態様においては、撮像部10を必ずしも備えてなくてもよい。すなわち、撮像信号DSが供給される画像処理回路100、及び、表示部40を表示装置として捉えてもよい。
 1……撮像表示装置、10……撮像部、11……撮像光学系、12……イメージセンサ、13……タイミングジェネレータ、20……画像信号生成部、21……画像処理部、22……ラインバッファ、23……画像信号出力部、30……タイミング制御部、31……出力制御部、32……タイミングジェネレータ、33……パラメーター送信部、40……表示部、41……EVFコントローラ、42……液晶パネル、50……制御部、60……操作部、100……画像処理回路。

Claims (8)

  1.  第1のフレームレートで被写体を撮像して撮像信号を出力する撮像部と、
     前記撮像信号に基づいて、画像信号を生成する画像処理部と、
     前記画像信号を記憶する記憶部と、
     前記画像信号に基づいて、前記第1のフレームレートのN(Nは2以上の自然数)倍以上の第2のフレームレートで表示を行う表示部とを備え、
     前記記憶部に、前記表示部で表示する1フレーム分の画像信号を記憶し、
     前記表示部は、前記1フレーム分の画像信号に基づいて、N回の表示を行うことを特徴とする撮像表示装置。
  2.  前記表示部は、前記1フレーム分の画像信号が生成された後に、前記1フレーム分の画像信号に基づいて、前記N回の表示を行うことを特徴とする請求項1に記載の撮像表示装置。
  3.  前記表示部は、前記1フレーム分の画像信号のうち前記1フレーム分より少ない所定のライン分の画像信号が生成された後に、前記N回の表示を開始することを特徴とする請求項1に記載の撮像表示装置。
  4.  前記所定のライン分は、(N-1)/Nであることを特徴とする請求項3に記載の撮像表示装置。
  5.  前記表示部に水平同期信号及び垂直同期信号を出力するタイミング制御部を備え、
     N回の表示後において、次の1フレームに表示する1フレーム分の画像信号のうち前記1フレーム分より少ない所定のライン分の画像信号が生成されていない場合、前記所定のライン分の画像信号が生成されるまで、前記垂直同期信号の出力が延期されることを特徴とする請求項3に記載の撮像表示装置。
  6.  前記タイミング制御部は、
     前記垂直同期信号の出力が延期されている間において、ダミーの水平同期信号を出力することを特徴とする請求項5に記載の撮像表示装置。
  7.  前記第2のフレームレートは、前記第1のフレームレートのN倍のフレームレートであることを特徴とする請求項1に記載の撮像表示装置。
  8.  前記第2のフレームレートは、前記第1のフレームレートのN倍のフレームレートより1乃至数fps大きいことを特徴とする請求項1に記載の撮像表示装置。
PCT/JP2015/003954 2014-08-11 2015-08-06 撮像表示装置 WO2016024393A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/500,169 US10477139B2 (en) 2014-08-11 2015-08-06 Imaging display apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-163440 2014-08-11
JP2014163440 2014-08-11
JP2015-135478 2015-07-06
JP2015135478A JP6601020B2 (ja) 2014-08-11 2015-07-06 撮像表示装置

Publications (1)

Publication Number Publication Date
WO2016024393A1 true WO2016024393A1 (ja) 2016-02-18

Family

ID=55304030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003954 WO2016024393A1 (ja) 2014-08-11 2015-08-06 撮像表示装置

Country Status (3)

Country Link
US (1) US10477139B2 (ja)
JP (1) JP6601020B2 (ja)
WO (1) WO2016024393A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916182B2 (en) 2017-05-03 2021-02-09 Apple Inc. Display scan time compensation systems and methods
KR102448031B1 (ko) * 2017-07-28 2022-09-28 삼성디스플레이 주식회사 센서 일체형 표시장치
US10943542B2 (en) * 2018-09-10 2021-03-09 Synaptics Incorporated Semiconductor device and method for driving a display panel
JP7398194B2 (ja) * 2018-09-10 2023-12-14 シナプティクス インコーポレイテッド 半導体装置及び表示パネル駆動方法
JP2021118479A (ja) * 2020-01-28 2021-08-10 株式会社ジャパンディスプレイ 画像処理装置およびヘッドアップディスプレイ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266373A (ja) * 2003-02-24 2004-09-24 Matsushita Electric Ind Co Ltd テレビジョンカメラ
JP2007158434A (ja) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd カメラレコーダ
JP2013201613A (ja) * 2012-03-26 2013-10-03 Mega Chips Corp 動画像処理システム、画像処理装置、および動画像処理システムの動作方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3914691B2 (ja) * 2000-06-21 2007-05-16 松下電器産業株式会社 Vtr一体型撮像装置
JP2003324644A (ja) * 2002-05-07 2003-11-14 Canon Inc 映像信号処理装置、画像表示制御方法、記憶媒体、及びプログラム
JP4306638B2 (ja) * 2005-04-14 2009-08-05 ソニー株式会社 画像処理システム,撮像装置,撮像方法,画像再生装置および画像再生方法
EP1950964A4 (en) * 2005-11-07 2012-05-16 Sharp Kk IMAGE DISPLAY DEVICE AND METHOD
JP4727457B2 (ja) 2006-03-08 2011-07-20 富士フイルム株式会社 撮影装置
JP4860488B2 (ja) * 2007-01-04 2012-01-25 ルネサスエレクトロニクス株式会社 画像表示制御装置
JP2009169601A (ja) * 2008-01-15 2009-07-30 Ricoh Co Ltd 画像処理システム及びこの画像処理システムを有するカメラ
JP5262546B2 (ja) * 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
EP2388771B1 (en) 2010-05-18 2019-10-16 Seiko Epson Corporation Image-displaying device and display control circuit
CN106057146B (zh) 2010-05-18 2019-06-28 精工爱普生株式会社 摄影装置、专用集成电路
JP5029725B2 (ja) 2010-05-18 2012-09-19 セイコーエプソン株式会社 撮影装置
CN103477631A (zh) * 2011-04-05 2013-12-25 松下电器产业株式会社 帧频变换方法以及采用该帧频变换方法的视频处理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266373A (ja) * 2003-02-24 2004-09-24 Matsushita Electric Ind Co Ltd テレビジョンカメラ
JP2007158434A (ja) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd カメラレコーダ
JP2013201613A (ja) * 2012-03-26 2013-10-03 Mega Chips Corp 動画像処理システム、画像処理装置、および動画像処理システムの動作方法

Also Published As

Publication number Publication date
JP2016040903A (ja) 2016-03-24
US20170264860A1 (en) 2017-09-14
JP6601020B2 (ja) 2019-11-06
US10477139B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
US10715733B2 (en) Imaging apparatus, imaging-displaying apparatus, and control method thereof
JP6601020B2 (ja) 撮像表示装置
US10347171B2 (en) Imaging device including timing generator that generates vertical synchronization signal after number of lines of valid image signal reaches number of valid lines of vertical scanning period
US9569160B2 (en) Display processing device and imaging apparatus
US10044912B2 (en) Imaging device and image processing device for outputting image signal to be displayed, and display control device and imaging display apparatus for displaying image signal
US9658815B2 (en) Display processing device and imaging apparatus
JP6565326B2 (ja) 撮像表示装置及びその制御方法
EP3197144B1 (en) Image pickup device, image processing device, and image pickup and display device
JP5537392B2 (ja) データ処理装置
JP6365097B2 (ja) 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832333

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15500169

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15832333

Country of ref document: EP

Kind code of ref document: A1