JP5246045B2 - 動画像処理装置およびそれを用いたビデオカメラ装置 - Google Patents

動画像処理装置およびそれを用いたビデオカメラ装置 Download PDF

Info

Publication number
JP5246045B2
JP5246045B2 JP2009132049A JP2009132049A JP5246045B2 JP 5246045 B2 JP5246045 B2 JP 5246045B2 JP 2009132049 A JP2009132049 A JP 2009132049A JP 2009132049 A JP2009132049 A JP 2009132049A JP 5246045 B2 JP5246045 B2 JP 5246045B2
Authority
JP
Japan
Prior art keywords
image data
speed clock
generation source
clock signal
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009132049A
Other languages
English (en)
Other versions
JP2010119081A (ja
Inventor
智幸 薄田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009132049A priority Critical patent/JP5246045B2/ja
Priority to US12/576,451 priority patent/US8194150B2/en
Publication of JP2010119081A publication Critical patent/JP2010119081A/ja
Application granted granted Critical
Publication of JP5246045B2 publication Critical patent/JP5246045B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像データ源から得られるプログレッシブ方式の画像データをインターレース方式の画像データに変換して出力する動画像処理装置、およびそれを利用したビデオカメラ装置に関する。
従来、撮像した映像を動画としての映像での表示を可能とするために、取得した映像をインターレース方式の画像データで出力するビデオカメラ装置が知られている。このようなビデオカメラ装置は、近年、小型化が進んでいることに伴って、例えば、車載カメラやセキュリティカメラ等のように、様々な分野で使用されるようになってきている。ビデオカメラ装置では、小型化させるにあたり、消費電力を低減させることが大きな課題となっている。これは、ビデオカメラ装置では、消費電力が大きいと発熱量が多くなることから、正常動作のために何らかの放熱機構が必要となってしまうこと、およびバッテリにより電力を供給する構成とした場合、消費電力が大きいとバッテリの大型化を招いてしまうこと、等から全体として大型になってしまうことによる。
このことから、ビデオカメラ装置では、全体での消費電力を抑えるために、画像データ源となるイメージセンサから読み出されたプログレッシブ方式の画像データを、インターレース方式の画像データに変換してから画像処理演算を施すことにより、画像処理における単位時間当たりの演算量を低減することが考えられている(例えば、特許文献1参照)。また、この従来のビデオカメラ装置では、画像データにおいて、インターレース方式に変換してから電子的な拡大処理を含む画像処理を施すと解像度が劣化してしまうことから、電子的なズームモードがオン状態とされている際には、プログレッシブ方式の画像データに画像処理を施した後にインターレース方式の画像データに変換する構成とされている。
しかしながら、変換されたインターレース方式の画像データは、変換の元となるプログレッシブ方式の画像データの約半分のデータ量とされていることから、従来のビデオカメラ装置では、画像データをインターレース方式に変換してから画像処理を施すと、その画像処理が電子的な拡大処理を含まないものであっても、適切な画像処理を施すことができなくなってしまう虞がある。
他方、従来のビデオカメラ装置では、電子的なズームモードがオン状態とされている際には、プログレッシブ方式の画像データに画像処理を施した後にインターレース方式の画像データに変換する構成とされていることから、消費電力を抑制することができない。
本発明は、上記の問題に鑑みて為されたもので、画像データ源から得られるプログレッシブ方式の画像データをインターレース方式の画像データに変換して出力するものであって、コストの増加を招くことなく消費電力や発熱量を低減させつつも適切な画像処理を施すことができる動画像処理装置、およびそれを利用したビデオカメラ装置を提供することを目的としている。
上記課題を解決するため、請求項1に係る発明は、画像データをプログレッシブ方式からインターレース方式に変換して出力する動画像処理装置であって、最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、プログレッシブ方式の画像データを出力する画像データ源と、該画像データ源から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行う演算部と、を備え、前記低速クロック発生源は、前記演算部に低速のクロック信号を供給し、前記高速クロック発生源は、前記画像データ源と前記PI変換部とに高速のクロック信号を供給することを特徴とする。
請求項2に係る発明は、画像データをプログレッシブ方式からインターレース方式に変換して出力する動画像処理装置であって、最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、プログレッシブ方式の画像データを出力する画像データ源と、該画像データ源から出力されるプログレッシブ方式の画像データを参照して画像処理演算を行う第1演算部と、該第1演算部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行う第2演算部と、を備え、前記低速クロック発生源は、前記第2演算部に低速のクロック信号を供給し、前記高速クロック発生源は、前記画像データ源と前記第1演算部と前記PI変換部とに高速のクロック信号を供給することを特徴とする。
請求項3に係る発明は、撮像した映像をプログレッシブ方式からインターレース方式の画像データに変換して出力するビデオカメラ装置であって、最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、撮像した映像をベイヤー配列のデジタルデータからなるプログレッシブ方式の画像データとして出力するイメージセンサと、該イメージセンサから出力されるプログレッシブ方式の画像データを参照してベイヤー補間演算を行うベイヤー補間部と、該ベイヤー補間部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して歪み補正演算を行う歪み補正部と、を備え、前記低速クロック発生源は、前記歪み補正部に低速のクロック信号を供給し、前記高速クロック発生源は、前記イメージセンサと前記ベイヤー補間部と前記PI変換部とに高速のクロック信号を供給することを特徴とする。
請求項4に係る発明は、請求項3に記載のビデオカメラ装置であって、前記高速クロック発生源が生成する高速のクロック信号の周波数に対する、前記低速クロック発生源が生成する低速のクロック信号の周波数が、1/2の関係とされていることを特徴とする。
請求項5に係る発明は、請求項3または請求項4に記載のビデオカメラ装置であって、前記低速クロック発生源は、生成する低速のクロック信号の周波数を、最終的に出力するインターレース方式の画像データに基づく映像の表示のために設定された規格に準拠させることを特徴とする。
本発明に係る動画像処理装置によれば、演算部を低速のクロック信号で動作させることが可能となるので、装置全体としての消費電力や発熱量を低減させることができる。このことは、以下のことからも言える。
デジタル回路の消費電力Pは、一般に、回路動作率をαとし負荷容量をCとし電源電圧をVとし動作周波数をfとすると、次式で現すことができる。
P=α*C*(V)*f
ここで、負荷容量Cは、デジタル回路を構成するトランジスタやCMOSの数が多くなるほど増えるものであり、回路規模を示すものと考えることができる。これに回路動作率αを乗じた値(α*C)は、実際に動作している回路の規模を示すことになる。このため、上式から、所定のデジタル回路を所定の電源電圧で動作させる場合、当該デジタル回路の消費電力が動作周波数に比例することが分かり、動作周波数を低減することにより消費電力を低減することができることとなる。よって、デジタル回路を含む装置において、動作周波数を低く抑えることは、消費電力を低減させる上で非常に効果的であるということができるので、演算部を低速のクロック信号で動作させることにより、装置全体としての動作周波数を低くすることができ、装置全体としての消費電力や発熱量を低減させることができる。
また、演算部は、PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行うものであることから、適切な画像処理を施すことができる。
画像データをプログレッシブ方式からインターレース方式に変換して出力する動画像処理装置であって、最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、プログレッシブ方式の画像データを出力する画像データ源と、該画像データ源から出力されるプログレッシブ方式の画像データを参照して画像処理演算を行う第1演算部と、該第1演算部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行う第2演算部と、を備え、前記低速クロック発生源は、前記第2演算部に低速のクロック信号を供給し、前記高速クロック発生源は、前記画像データ源と前記第1演算部と前記PI変換部とに高速のクロック信号を供給することとすると、第2演算部を低速のクロック信号で動作させることが可能となるので、装置全体としての消費電力や発熱量を低減させることができる。
また、2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して行うことのできる画像処理演算をPI変換後に第2演算部で行うとともに、その他の画像処理演算をPI変換前に第1演算部で行うことから、適切な画像処理を施すことができる。
撮像した映像をプログレッシブ方式からインターレース方式の画像データに変換して出力するビデオカメラ装置であって、最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、撮像した映像をベイヤー配列のデジタルデータからなるプログレッシブ方式の画像データとして出力するイメージセンサと、該イメージセンサから出力されるプログレッシブ方式の画像データを参照してベイヤー補間演算を行うベイヤー補間部と、該ベイヤー補間部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して歪み補正演算を行う歪み補正部と、を備え、前記低速クロック発生源は、前記歪み補正部に低速のクロック信号を供給し、前記高速クロック発生源は、前記イメージセンサと前記ベイヤー補間部と前記PI変換部とに高速のクロック信号を供給することとすると、歪み補正部を低速のクロック信号で動作させることが可能となるので、装置全体としての消費電力や発熱量を低減させることができる。
また、2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して行うことのできる歪み補正演算をPI変換後に歪み補正部で行うとともに、ベイヤー補間演算をPI変換前にベイヤー変換部で行うことから、ベイヤー補間および歪み補正を適切に行うことができる。
上記した構成に加えて、前記高速クロック発生源が生成する高速のクロック信号の周波数に対する、前記低速クロック発生源が生成する低速のクロック信号の周波数が、1/2の関係とされていることとすると、歪み補正部を低速のクロック信号で動作させることが可能となるので、装置全体としての消費電力や発熱量を低減させることができる。
また、2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して行うことのできる歪み補正演算をPI変換後に歪み補正部で行うとともに、ベイヤー補間演算をPI変換前にベイヤー変換部で行うことから、ベイヤー補間および歪み補正を適切に行うことができる。
さらに、イメージセンサとベイヤー変換部とPI変換部と歪み補正部との各々に、扱うデータの量に適合する適切な周波数のクロック信号を供給することができるので、より効率のよい構成とすることができる。
上記した構成に加えて、前記低速クロック発生源は、生成する低速のクロック信号の周波数を、最終的に出力するインターレース方式の画像データに基づく映像の表示のために設定された規格に準拠させることとすると、出力するインターレース方式の画像データに基づく映像の表示を容易なものとすることができる。
本発明に係る動画像処理装置の概略的な構成を示すブロック図である。 PI変換の概念を示す説明図である。 フィルタ処理の説明のための説明図である。 フィルタ係数の具体的な例を示す説明図であり、(a)が奇数列および偶数列の双方に係数が存在する例であり、(b)が奇数列にのみ係数が存在する例である。 従来の一般的な動画像処理装置の構成を示す説明図である。 本発明に係る動画像処理装置の他の概略的な構成を示すブロック図である。 本発明に係るビデオカメラ装置の具体例の概略的な構成を示すブロック図である。 ベイヤー配列の例を示す説明図である。 実施例1のベイヤー補間を説明するための説明図であり、(a)は欠損色がGの場合を示し、(b)は欠損色がRの場合を示している。 たる型の歪みおよびその補正を説明するための概念的な説明図であり、左側にたる型の歪みが生じている状態を示し、右側にたる型の歪みを補正した状態を示している。 たる型の歪み補正演算の概念を説明するための説明図である。 本発明に係るビデオカメラ装置の他の具体例の概略的な構成を示すブロック図である。
以下に、本発明に係る動画像処理装置、およびそれを利用したビデオカメラ装置の実施の形態を図面を参照しつつ説明する。
まず、本発明に係る動画像処理装置の基本的な概念について説明する。図1は、動画像処理装置10の概略的な構成を示すブロック図である。ここで、各図面では、データがプログレッシブ方式で出力(転送)されている個所には符号Pを付して示し、データがインターレース方式で出力(転送)されている個所には符号Iを付して示している。このプログレッシブ方式とは、一画面分の画像データで見て、各水平ラインにおいて一列目(左端)から順に最終列(右端)へ向かうように一行目(一番上)の水平ラインから順に下側へ向けて、映像全体の左上端の画素から右下端の画素までのデジタルデータを、ひとつずつ順々に送り出すものである。また、インターレース方式とは、一画面分の画像データで見て、各水平ラインにおいて一列目(左端)から順に最終列(右端)へ向かうように一行目(一番上)の水平ラインから一本置きにすなわち上から順に奇数行目の水平ラインを下側へ向けてデジタルデータを送り出し、次に上から順に偶数行目の水平ラインを下側へ向けてデジタルデータを送り出すものである。
動画像処理装置10は、画像データ源12と、PI変換部13と、演算部14と、高速クロック発生源16と、低速クロック発生源17と、を有する。
画像データ源12は、デジタルデータである画素データの集合で構成される画像データを、電気信号として出力するものである。この画像データ源12の具体的な例としては、イメージセンサや、当該動画像処理装置10とは別個のビデオカメラ装置や、画像データが格納された記録装置や、画像データが格納された記録媒体等がある。この画像データは、プログレッシブ方式でPI変換部13へと出力される。
PI変換部13は、画像データ源12から転送されたプログレッシブ方式の画像データをインターレース方式に変換する所謂PI変換を行うものである。このPI変換部13におけるPI変換について図2を用いて説明する。図2は、PI変換の概念を示す説明図である。なお、図2では、理解容易のために、1画面分の画像データが9本の水平ラインで構成されているものとして説明する。また、図2では、左側にプログレッシブ方式の画像データを上下に2つ並べて示し(以下、上から画像データDp1、画像データDp2とする。)、それぞれにおいて水平ラインの行番号を上から順にP1〜P9で示す。さらに、図2では、右側にインターレース方式に変換された画像データを上下に2つ並べて示し(以下、上から画像データDi1、画像データDi2とする。)、それら2つを通した水平ラインの行番号を上から順にI1〜I9で示す。
上述したように、画像データは、プログレッシブ方式およびインターレース方式のいずれであっても、各水平ラインにおいて一列目から最終列へ向かって順に画素データが出力されることには変わりはない。ところが、上述したように、プログレッシブ方式では、総ての水平ラインが一行目から順に出力されるのに対し、インターレース方式では、奇数行の水平ラインまたは偶数行の水平ラインのみが上から順に出力されることから、プログレッシブ方式の画像データをインターレース方式の画像データに変換するには、水平ラインを1行置きに読み出す、間引き処理を行えばよいこととなる。ここで、変換されたインターレース方式の画像データ(Di1、Di2)は、元となるプログレッシブ方式の画像データ(Dp1、Dp2)が1行置きに間引きされたものであることから、1画面分の水平ラインを揃えるには2つのインターレース方式の画像データ(Di1、Di2)が必要となる。このため、図2の例では、画像データDi1の水平ラインをI1〜I5で示し、画像データDi2の水平ラインをI6〜I9で示している。PI変換は、具体的には以下のように間引き処理を施すことにより行うことができる。
元となるプログレッシブ方式の画像データDp1の1行目の水平ラインP1を、インターレース方式の画像データDi1の1行目の水平ラインI1に採用する(P1→I1)。
元となるプログレッシブ方式の画像データDp1の2行目の水平ラインP2は捨てる。
同様に、画像データDp1の3行目の水平ラインP3を、インターレース方式の画像データDi1の2行目の水平ラインI2に採用する(P3→I2)。
同様に、画像データDp1の4行目の水平ラインP4は、捨てる。
このような処理を画像データDp1の9行目の水平ラインP9まで繰り返すことにより、プログレッシブ方式の画像データDp1をインターレース方式の画像データDi1に変換することができる。
次に、元となるプログレッシブ方式の画像データDp2の1行目の水平ラインP1を、捨てる。
元となるプログレッシブ方式の画像データDp2の2行目の水平ラインP2を、インターレース方式の画像データDi2の6行目の水平ラインI6に採用する(P2→I6)。
同様に、画像データDp2の3行目の水平ラインP3を、捨てる。
同様に、画像データDp2の4行目の水平ラインP4は、インターレース方式の画像データDi2の7行目の水平ラインI7に採用する(P4→I7)。
このような処理を画像データDp2の9行目の水平ラインP9まで繰り返すことにより、プログレッシブ方式の画像データDp2をインターレース方式の画像データDi2に変換することができる。
ここで、すべての水平ラインが揃った画像データをフレームと呼び、間引かれて約半分の水平ラインのみを持つ画像データをフィールドと呼ぶ。上記したようにPI変換が施されると、インターレース方式で1フレーム分の画像データを揃えるためには、プログレッシブ方式で2フレーム分の画像データが必要ということになる。すなわち、プログレッシブ方式の2フレーム分の画像データ(Dp1およびDp2)から、インターレース方式の2フィールド分の画像データ(Di1およびDi2)を生成することができ、この2フィールド分の画像データDi1および画像データDi2によりインターレース方式の1フレーム分の画像データが生成されることとなる。
このようにPI変換が施されたインターレース方式の画像データは、演算部14に出力される。この演算部14は、ノイズ除去や歪み補正演算等の画像処理演算を施すものであり、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行っても、何の支障もなく画像処理演算を施すことができるものとされている。
このような画像処理演算の一例について、以下で説明する。図3は、フィルタ処理の説明のための説明図である。図4は、フィルタ係数の具体的な例を示す説明図であり、(a)が奇数行および偶数行の双方に係数が存在する例であり、(b)が奇数行にのみ係数が存在する例である。
画像処理演算としてのフィルタ処理とは、画像データ上の任意の画素(Pr)に注目し、その注目画素の近傍の画素の画素データを元にした演算値で注目画素Prの画素データDを新たな画素データD´に更新する処理を、画像データ上の総ての画素について施す(画像データ上の総ての画素を注目画素とする)ものである。このとき、注目画素Prに対する近傍の画素とは、画像全体に比して十分に小さいものであり、図3の例では注目画素Prを中心とする5×5の領域とされている。近傍の画素の画素データを元にした演算値は、当該近傍の各画素データに、設定された領域に適合するマトリクスとされたパラメータであるフィルタ係数を乗算し、その各値を積算することにより求める。
このため、図3の例では、フィルタ処理を施すべく、画像データ全体から、注目画素Prを中心として縦横5画素ずつ、計25画素の画素データを取り出す。ここで、図3では、注目画素Pr(その画素データD)の座標を(i、j)として、画像データにおける読み出し順にしたがって左上隅の座標を(i−2、j−2)、右下隅の座標を(i+2、j+2)として示している(ただし、i、jは正の整数)。また、フィルタ処理において、注目画素Prに対応するフィルタ係数kの中心座標を(i、j)とし、左上隅の座標を(i−2、j−2)、右下隅の座標を(i+2、j+2)とする。
注目画素Prの画素データDにフィルタ係数kでフィルタ処理を施して更新されたデータD′は、次式(1)で表すことができる。
D′(i、j)=k(i−2、j−2)*D(i−2、j−2)+k(i−2、j−1)*D(i−2、j−1)+・・・+k(i+2、j+1)*D(i+2、j+1)+k(i+2、j+2)*D(i+2、j+2) ・・・・・・(1)
ここで、座標(i、j)を中心とする5×5の座標は、(i+a、j+b)(a、b=−2、−1、0、1、2)で示すことができることから、データD′は、次式(2)で表すことができる。
D′(i、j)=Σk(i+a、j+b)*D(i+a、j+b)(a、b=−2、−1、0、1、2) ・・・・・・(2)
フィルタ係数kは、注目画素Prの画素データDを画素データD′に更新するためのパラメータであることから、フィルタ係数kにおいてゼロである画素(画像データ)は、フィルタ処理の演算には不要な画素(画像データ)であるということになる。換言すると、注目画素Prの画素データDを画素データD′に更新するためのフィルタ処理の演算には、フィルタ係数kにおいて設定された数値のある(0ではない)画素(画像データ)のみが必要となる。
図4(a)に示すフィルタ係数の場合、5本の水平ラインのいずれにおいてもゼロ以外の係数を持つ画素が含まれていることに対し、図4(b)に示すフィルタ係数の場合、2行目と4行目(ドットを付して示す)の水平ライン画素の係数はすべてゼロである。このため、図4(b)に示すフィルタ係数によるものであれば、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行っても、何の支障もなくフィルタ処理演算(画像処理演算)を施すことができることとなる。
このように演算部14により画像処理演算が施された画像データは、図示は略すが、インターレース方式の入力信号に対応した表示装置や記録装置へと送出される。あるいは、図示は略すが、ビデオDACによりアナログ信号に変換された上で、アナログのインターレース方式の入力信号に対応した表示装置や記録装置へと送出される。
動画像処理装置10では、上記したデジタル回路である各部、すなわち画像データ源12、PI変換部13および演算部14の動作タイミングを決定するために、高速クロック発生源16および低速クロック発生源17が設けられている。この高速クロック発生源16および低速クロック発生源17は、動作タイミングの基準となるクロック信号を各部に供給するものであり、水晶発振器またはPLL回路等で構成することができる。
ここで、上述したように、インターレース方式で1フレーム分の画像データを揃えるためには、プログレッシブ方式で2フレーム分の画像データが必要である。このため、例えばインターレース方式で1秒間に1回フレームを更新したい(=1fps)のであれば、元のプログレッシブ方式では1秒間に少なくとも2回以上フレームを更新できる速さ(=2fps)で動作させねばならない。すると、動画像処理装置10において、プログレッシブ方式の画像データを扱うべく動作する部分には、インターレース方式の画像データを扱うべく動作する部分に比べて、少なくとも2倍の周波数のクロック信号を供給しなければならないこととなる。
このため、動画像処理装置10では、高速クロック発生源16が、低速クロック発生源17に比較して、少なくとも2倍以上の周波数のクロック信号を供給可能とされている。この高速クロック発生源16は、高い周波数のクロック信号(高速のクロック信号)を、画像データ源12およびPI変換部13に供給する構成とされている。また、低速クロック発生源17は、低い周波数のクロック信号(低速のクロック信号)を、演算部14に供給する構成とされている。
ここで、従来の動画像処理装置1の問題点について説明する。図5は、従来の一般的な動画像処理装置1の構成を示す説明図である。この動画像処理装置1は、基本的な構成は上記した動画像処理装置10と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
動画像処理装置1では、データの流れで見ると、画像データ源12の後に演算部14が設けられ、その後にPI変換部13が設けられている。
このため、動画像処理装置1では、画像データ源12、演算部14およびPI変換部13がプログレッシブ方式の画像データを扱うべく動作する部分となり、高速クロック発生源16で高い周波数のクロック信号を供給する構成とされており、インターレース方式の画像データを扱うべく動作する部分がないことから、低速クロック発生源(17)が設けられていない構成とされている。このため、動画像処理装置1では、すべてのデジタル回路、すなわち画像データ源12、演算部14およびPI変換部13が、高速のクロック信号で動作されるので、装置全体で見たクロック周波数の平均が高いものとなってしまう。デジタル回路では、クロック信号の周波数の大きさの大小に比例して単位時間当たりの動作量が増減し消費電力が増減することから、動画像処理装置1では、消費電力が大きくなってしまい、小型化の観点から望ましいものではない。
これに対し、本発明に係る動画像処理装置10では、図1に示すように、画像データ源12から出力されるプログレッシブ方式の画像データを、PI変換部13でインターレース方式の画像データへとPI変換し、その画像データを演算部14で画像処理演算するものであることから、PI変換部13よりも後のデジタル回路すなわち演算部14には、他のデジタル回路すなわち画像データ源12およびPI変換部13よりも低い周波数のクロック信号を供給することができるので、従来の動画像処理装置1に比較して、装置全体で見たクロック周波数の平均を下げることができ、単位時間当たりの動作量を低減することができる。よって、本発明に係る動画像処理装置10では、消費電力を低減させることができる。
また、動画像処理装置10では、画像処理演算を施す演算部14が、インターレース方式の画像データで各々構成されるどちらか一方のフィールドに存在する水平ラインのみを参照して行える画像処理演算(この例ではフィルタ処理演算)を行うものとされていることから、何の支障もなく画像処理演算を施すことができる。
次に、本発明に係る動画像処理装置の他の基本的な概念について説明する。図6は、動画像処理装置102の概略的な構成を示すブロック図である。この動画像処理装置102は、基本的な構成は上記した動画像処理装置10と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
動画像処理装置102は、画像データ源12と、第1演算部141と、PI変換部13と、第2演算部142と、高速クロック発生源16と、低速クロック発生源17と、を有する。
この第1演算部141と第2演算部142とは、各々画像処理演算するものである。すなわち、動画像処理装置102は、2つの演算部を有する点で、単独の演算部14を有する動画像処理装置10(図2参照)と異なるものである。動画像処理装置102では、データの流れで見ると、画像データ源12の後に第1演算部141が設けられ、その後にPI変換部13が設けられ、その後に第2演算部142が設けられている。
この第1演算部141は、画像データ源12から出力されるプログレッシブ方式の画像データに対して画像処理演算を施すものである。換言すると、第1演算部141は、インターレース方式の画像データで各々構成されるどちらか一方のフィールドにのみ存在する水平ラインを参照したのでは適切に行うことのできない画像処理演算を行うものである。このような画像処理演算としては、例えば、上述したフィルタ処理演算において、5本の水平ラインのいずれにおいてもゼロ以外の係数を持つ画素が含まれている図4(a)に示すフィルタ係数によるものがあげられる。
第2演算部142は、PI変換部13によりPI変換が施されてインターレース方式とされた画像データに対して画像処理演算を施すものである。このため、第2演算部142は、図1の動画像処理装置10における演算部14と同様に、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行うことのできる画像処理演算を行うものである。
このため、動画像処理装置102では、高速クロック発生源16が高い周波数のクロック信号を画像データ源12、PI変換部13および第1演算部141に供給する構成とされ、低速クロック発生源17が低い周波数のクロック信号を第2演算部142に供給する構成とされている。
このように、本発明に係る動画像処理装置102では、画像データ源12から出力されるプログレッシブ方式の画像データにおいて、総ての水平ラインを必要とする画像処理演算を第1演算部141が行い、その後にPI変換部13でインターレース方式の画像データへとPI変換し、その画像データを第2演算部142で画像処理演算するものであることから、適切な画像処理演算を行うことを可能としつつ装置全体で見たクロック周波数の平均を下げることができ、消費電力や発熱量を低減することができる。換言すると、動画像処理装置102では、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照したのでは適切に行うことのできない画像処理演算のみを第1演算部141で行うものとし、それ以外の画像処理演算(インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行うことのできる総ての画像処理演算)を第2演算部142で行うものとしたことから、適切な画像処理演算を可能としつつ消費電力や発熱量を効果的に低減することができる。
ここで、画像処理演算を、第1演算部141と第2演算部142とに分けて行わなくても、PI変換前のプログレッシブ方式の画像データを保持しておくバッファメモリを動画像処理装置(102)に備えておけば、望みの画像処理演算を施すことも可能である。ところが、このような構成とすると、バッファメモリ等の増設に伴ってコストの増加を招くこととなる。これに対し、本発明に係る動画像処理装置102では、総ての水平ラインを必要とする画像処理演算を第1演算部141で行い、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行うことのできる画像処理演算を第2演算部142で行う構成としたので、コストの増加を抑制することができる。
このため、本発明に係る動画像処理装置102では、コストの増加を招くことなく消費電力や発熱量を低減させつつも適切な画像処理を施すことができる。
次に、本発明に係るビデオカメラ装置の一例として、上記した動画像処理装置のビデオカメラ装置への適用の具体例について説明する。図7は、ビデオカメラ装置103の概略的な構成を示すブロック図である。このビデオカメラ装置103は、適用された動画像処理装置の基本的な構成が上記した動画像処理装置102と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
ここで、ビデオカメラ装置103において本発明に係る動画像処理装置を適用してPI変換を行うのは、後述するように画像データ源(12)に相当するイメージセンサ123から出力される画像データがプログレッシブ方式であるのに対し、入力される画像データを動画としての映像で表示させるためのテレビジョンといった表示装置での規格として世界中で広く採用されているNTSC方式やPAL方式が、インターレース方式であることによる。
ビデオカメラ装置103は、レンズ11を含む撮像光学系(図示せず)と、イメージセンサ123と、ベイヤー補完部20と、PI変換部13と、歪み補正部21と、エンコーダ15と、高速クロック発生源16と、低速クロック発生源17と、出力端子18と、を有する。すなわち、ビデオカメラ装置103は、動画像処理装置102における画像データ源12としてイメージセンサ123を設け、動画像処理装置102における第1演算部141としてベイヤー補間部20を設け、動画像処理装置102における第2演算部142として歪み補正部21を設けることに加えて、動画像処理装置102に対して、レンズ11を含む撮像光学系(図示せず)と、エンコーダ15と、出力端子18と、を設けて構成された例である。
撮像光学系は、図示を略す被写体からの映像光をイメージセンサ123の受光面に結像させるものであり、図示は略すが、複数のレンズが適宜組み合わされて構成されており、そのうちの1つとしてレンズ11を記載している。
映像光が受光面に結像されるイメージセンサ123は、結像された被写体像を電気信号(画像データ)に変換して出力するものであり、CCDやCMOS型イメージセンサ等で構成することができる。このイメージセンサ123は、受光面全体が画素(ピクセル)と呼ばれる格子状の領域に分割されており、デジタルデータである画素データの集合で構成される画像データを、電気信号として出力する画像データ源(12)として機能する。イメージセンサ123では、分割された各領域(画素)にベイヤー配列(図8参照)を構成するように色フィルタ(RGB、CYM等)が設けられている。このため、イメージセンサ123は、電気信号として、フィルタ(RGB、CYM等)に応じたベイヤー配列のデジタルデータである画素データの集合で構成される画像データを、プログレッシブ方式でベイヤー補間部20へと出力する。この実施例1では、イメージセンサ123には、図8に示すように、RGBの原色フィルタが用いられている。
ベイヤー補間部20は、イメージセンサ123から出力されるベイヤー配列のデジタルデータであるプログレッシブ方式の画像データを参照し、各画素での欠損色のデータを補間する演算を施すことによりフルカラーのRGBデータとしての画像データ(デジタルデータ)をプログレッシブ方式で出力するものである。
このようなベイヤー補間演算の一例について、以下で説明する。図8は、ベイヤー配列の例を示す説明図である。また、図9は、この例のベイヤー補間を説明するための説明図であり、(a)は欠損色がGの場合を示し、(b)は欠損色がRの場合を示している。なお、この実施例1では、ベイヤー補間演算として線形補間やバイリニア補間と呼ばれる演算方法を用いており、単純に平均値を計算するものである。
上述したように、イメージセンサ123では、分割された各領域(画素)にベイヤー配列(図8参照)を構成するように原色フィルタ(RGB)が設けられていることから、単一の画素(領域)で見ると、RGBのうちのいずれか1色分の画素データしか取得することができないこととなる。このため、イメージセンサ123から出力される画像データでは、ベイヤー補間を行うことにより、各画素(領域)における残りの2色分の画素データを補って、フルカラーの画像データ(RGBデータ)を得る必要がある。ここで、実施例1のベイヤー配列では、図8に示すように、RとBとが同様の配列関係とされていることから、互いに同様のベイヤー補間演算を行えばよいこととなるので、Rのみについて説明し、Bについては省略する。
まず、Gのフィルタについては、図8のベイヤー配列のいずれの個所であっても、図9(a)のような位置関係とされている。図9(a)において、ドットが付されている個所がGのフィルタが設けられている画素(領域)であり、他の個所はRまたはBのフィルタが設けられている画素(領域)となる。このため、Gのフィルタが設けられていない任意の位置の画素P0では、その周囲の上下左右の4つの画素にGのフィルタが設けられていることとなる。それら4つの画素におけるイメージセンサ123からの出力値(画素データ)をそれぞれG2、G4、G6およびG8とすると、画素P0におけるG色の画素データG0は、次式(3)で求めることができる。
G0=(G2+G4+G6+G8)/4 ・・・(3)
次に、Rのフィルタについては、図8のベイヤー配列のいずれの個所であっても、図9(b)のような位置関係とされている。図9(b)において、ドットが付されている個所がRのフィルタが設けられている画素(領域)であり、他の個所はGまたはBのフィルタが設けられている画素(領域)となる。このため、Rのフィルタが設けられている4つの画素(領域)の中心に位置する任意の位置の画素P0では、その周囲の上下左右の4つの画素P2、P4、P6およびP8でもRのフィルタが設けられていないこととなる。画素P0の周囲のRのフィルタが設けられた4つの画素(領域)におけるイメージセンサ123からの出力値(画素データ)をそれぞれR1、R3、R5およびR7とすると、各画素P0、P2、P4、P6およびP8におけるR色の画素データR0、R2、R4、R6およびR8は、次式(4)〜(8)で求めることができる。
R0=(R1+R3+R5+R7)/4 ・・・(4)
R2=(R1+R3)/2 ・・・(5)
R4=(R3+R5)/2 ・・・(6)
R6=(R5+R7)/2 ・・・(7)
R8=(R1+R7)/2 ・・・(8)
ベイヤー補間部20は、上記したようにベイヤー補間演算を行うことにより、イメージセンサ123から出力されるベイヤー配列に応じたデジタルデータであるプログレッシブ方式の画像データを、フルカラーのRGBデータとしての画像データに変換し、この画像データをプログレッシブ方式で出力することができる。なお、ベイヤー補間演算としての補間式は、フルカラーのRGBデータを得るために、存在している画素データを利用して欠損色の画素データを補間する演算を施すものであればよく、上記したものに限定されるものではない。
ここで、イメージセンサ123では、RGBの原色フィルタがベイヤー配列で配置されていることから、水平ラインで見ると、RのフィルタおよびBのフィルタが一行おきにしか設けられておらず(図8参照)、出力される画像データにおいて一行おきにしかRおよびBの色データ(画素データ)が存在していない。このため、イメージセンサ123から出力されるプログレッシブ方式の画像データをPI変換により水平ラインを間引してしまうと、一方のフィールドではRの画素データがまったく存在しなくなり、他方のフィールドではBの画素データがまったく存在しなくなってしまうこととなる。このことから、ベイヤー補間演算では、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照したのでは補間演算が実施できなくなる、すなわち総ての水平ラインを必要とする画像処理演算であるので、ベイヤー補間部20は、PI変換部13よりも前段に位置されている。
このようにベイヤー補間部20でベイヤー補間されることによりフルカラーのRGBデータとされたプログレッシブ方式の画像データは、PI変換部13へと出力され、PI変換が施される。このPI変換が施されてフルカラーのRGBデータとしてのインターレース方式の画像データは、歪み補正部21へと出力される。
この歪み補正部21は、PI変換部13から出力されるフルカラーのRGBデータとしてのインターレース方式の画像データを参照し、歪み補正のための演算を施すことにより、レンズ11を含む撮像光学系(図示せず)での光学的な歪みの解消されたインターレース方式の画像データを出力するものである。
このような歪み補正演算の一例について、以下で説明する。図10は、たる型の歪みおよびその補正を説明するための概念的な説明図であり、左側にたる型の歪みが生じている状態を示し、右側にたる型の歪みを補正した状態を示している。また、図11は、たる型の歪み補正演算の概念を説明するための説明図である。
ビデオカメラ装置103では、イメージセンサ123から出力される画像データにおいて、図10の左側に示すようなたる型の歪みが生じてしまっている。このたる型の歪みとは、レンズ11を含む撮像光学系(図示せず)での光学的な特性に起因するものであり、映像が全体的に丸まって見えてしまう歪みのことである。たる型の歪みは、レンズが広角であるほど顕著に現れ、取得した映像において光軸を中心に周辺に近づくほど歪み量が大きくなる。ここで、表示される映像は、横長の長方形状とされることから、当該映像においては、たる型の歪みの影響により横方向すなわち水平ラインに沿う方向に縮んでいるものと扱うことができる。このため、表示される映像におけるたる型歪みを補正するには、映像の中心座標(光軸位置)から垂直方向に離れるほどに拡大率を上げるように、画像データにおける各画素の垂直方向の座標に応じて拡大率を変えながら、画像データを水平方向に拡大すればよい。
この水平方向への拡大の様子を、図11を用いて説明する。この図11では、理解容易のために、1本の水平ラインが17個(1列目から17列目まで)の画素で構成されていることとしている。また、図11では、上方にたる型の歪み補正前のN行目の水平ラインの画素データを示し、下方にたる型の歪み補正後のN行目の水平ラインの画素データを示している。
映像を拡大するということは、少ない個数の画素データを元に演算することにより、多くの個数の画素データを生成することとなる。この図11では、N行目の水平ラインのうち、5列目から13列目までの9個の画素データを元に演算して、新たな17個分の画素データを生成する例を示している。
補正後の水平ラインにおける1列目(左端)の画素データは、補正前の水平ラインにおける5列目の画素データをコピーする。
補正後の水平ラインにおける2列目の画素データは、補正前の水平ラインにおける5列目と6列目の画素データの平均値とする。
補正後の水平ラインにおける3列目の画素データは、補正前の水平ラインにおける6列目の画素データをコピーする。
(中略)
補正後の水平ラインにおける16列目の画素データは、補正前の水平ラインにおける12列目と13列目の画素データの平均値とする。
補正後の水平ラインにおける17列目(右端)の画素データは、補正前の水平ラインにおける13列目の画素データをコピーする。
このようにして、N行目の水平ラインを新しく生成する。なお、この実施例1では、「コピーする」場合と「平均値とする」場合とを交互に使い分けて歪み補正演算を行っていたが、レンズ11を含む撮像光学系(図示せず)の光学的な特性に適合するように歪み補正を行うものであれば、例えば、5列目の画素データと6列目の画素データとを7:3の比率で合算する等のように適当な比率で重み付けをするものであってよく、実施例1に限定されるものではない。
ここで、上述したように、画像データにおける各画素の垂直方向の座標に応じて拡大率を変える必要があることから、例えば、N−1行目の水平ラインでは、補正後の水平ラインにおける1列目の画素データは補正前の水平ラインにおける3列目の画素データをコピーする等のように、レンズ11を含む撮像光学系(図示せず)の光学的な特性に適合させるべく行数に応じて、演算の内容が変わるのは言うまでもない。
このように歪み補正演算では、N番目の補正後の水平ラインの各画素データを生成するために、N番目の補正前の水平ラインの各画素データのみを参照するものであることから、インターレース方式の画像データのどちらか一方のみを参照して行える画像処理演算であるので、歪み補正部21は、PI変換部13よりも後段に位置させることができる。
この歪み補正部21により光学的な歪みの解消された画像データは、エンコーダ15に出力される。エンコーダ15は、所謂ビデオDACであり、デジタル信号であるインターレース方式の画像データを、NTSC方式やPAL方式等のアナログ信号のインターレース方式の画像データに変換する。
ビデオカメラ装置103では、エンコーダ15からの画像データの出力のための出力端子18が設けられている。この出力端子18には、テレビジョン等のNTSC方式やPAL方式に対応した表示装置(図示せず)の電気的な接続が可能であり、エンコーダ15によりNTSC方式やPAL方式等のアナログ信号に変換された画像データが、その接続された表示装置へと出力される。このため、ビデオカメラ装置103では、撮像した映像を動画として表示装置(図示せず)に表示させることができる。
ビデオカメラ装置103では、高速クロック発生源16が高い周波数のクロック信号をイメージセンサ123、ベイヤー補間部20およびPI変換部13に供給する構成とされ、低速クロック発生源17が低い周波数のクロック信号を歪み補正部21およびエンコーダ15に供給する構成とされている。
このように、実施例1のビデオカメラ装置103では、イメージセンサ123から出力されるプログレッシブ方式の画像データにおいて、総ての水平ラインを必要とするベイヤー補間演算をベイヤー補間部20が行い、その後にPI変換部13でインターレース方式の画像データへとPI変換し、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行える歪み補正演算を歪み補正部21で画像処理演算するものであることから、適切な画像処理演算を行うことを可能としつつ装置全体で見たクロック周波数の平均を下げることができる。
このため、実施例1のビデオカメラ装置103では、消費電力を低減させることができ、発熱量を低減させることができる。
次に、本発明に係るビデオカメラ装置の他の具体例について説明する。図12は、ビデオカメラ装置104の概略的な構成を示すブロック図である。このビデオカメラ装置104は、基本的な構成は上記したビデオカメラ装置103と同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
ビデオカメラ装置104は、図12に示すように、図7のビデオカメラ装置103において低速クロック発生源17が設けられていることに代えて、2分周回路22が設けられた例である。
ビデオカメラ装置104では、高速クロック発生源16が、イメージセンサ123、ベイヤー補間部20およびPI変換部13に接続されているとともに、2分周回路22にも接続されている。この2分周回路22は、歪み補正部21およびエンコーダ15に接続されている。2分周回路22は、高速クロック発生源16から入力されたクロック信号の周波数を1/2に分周して出力するものである。このため、2分周回路22は、低い周波数のクロック信号を供給することができる低速クロック発生源(17)として機能することとなる。
このビデオカメラ装置104では、歪み補正部21およびエンコーダ15に供給される低い周波数のクロック信号に対して、イメージセンサ123、ベイヤー補間部20およびPI変換部13に供給される高い周波数のクロック信号が2倍の速さ(周波数が2倍)とされていることとなる。このため、イメージセンサ123、ベイヤー補間部20およびPI変換部13は、歪み補正部21およびエンコーダ15と比較して2倍の速さで動作することとなる。
ここで、ビデオカメラ装置104において、上述したように、PI変換部13におけるPI変換が、プログレッシブ方式の画像データにおける水平ラインを1行置きに読み出す間引き処理を行ってインターレース方式の画像データに変換するものであり、プログレッシブ方式の画像データを扱うべく動作する部分には、インターレース方式の画像データを扱うべく動作する部分に比べて、少なくとも2倍以上の周波数のクロック信号を供給しなければならない。ところが、プログレッシブ方式の画像データを扱うべく動作する部分に2倍よりも速いクロック信号を供給する構成とすると、インターレース方式の画像データを扱うべく動作する部分での処理が完了するまで、プログレッシブ方式の画像データを扱うべく動作する部分における処理の開始を待たせる等の無駄な時間が生じてしまう。このため、プログレッシブ方式の画像データを扱うべく動作する部分には、インターレース方式の画像データを扱うべく動作する部分に供給されるクロック信号のちょうど2倍の周波数のクロック信号を供給する構成とすると、各部の動作を無駄のない円滑なものとすることができる。
なお、実施例2では、高速クロック発生源16からの高い周波数のクロック信号を2分周回路22で2分周することにより、半分の周波数とした低い周波数のクロック信号を生成していたが、高い周波数のクロック信号に対する低い周波数のクロック信号の周波数を1/2の関係とするものであれば、例えば、低速クロック発生源にPLL(Phase Locked Loop)回路を接続して低い周波数のクロック信号を2逓倍して高い周波数のクロック信号を生成するものであってもよく、上記した実施例2の構成に限定されるものではない。ここで、低い周波数のクロック信号を2逓倍するか、高い周波数のクロック信号を2分周するかは、例えば、原発振とする方(いずれかの速度のクロック発生源)に水晶発振器を使用するものとして、出力する周波数で見て水晶発振器の入手性の容易さや、装置全体としてのコスト等を考慮して、いずれの構成とするかを選べばよい。
このビデオカメラ装置104では、上記したように、高速クロック発生源16からの高い周波数のクロック信号を2分周回路22で2分周して半分の周波数とした低い周波数のクロック信号を生成するものとしており、高速クロック発生源16から出力されるクロック信号の周波数を27MHzまたは36MHzとし、2分周回路22から出力されるクロック信号の周波数を13.5MHzまたは18MHzとした。これは、ビデオカメラ装置104において、エンコーダ15を、ITU−R BT.601規格に準拠したNTSC方式やPAL方式等のアナログ信号の画像データに変換するものとしたことによる。このITU−R BT.601規格では、AD変換もしくはDA変換する際のサンプリング周波数が、13.5MHzまたは18MHzと規定されている。このため、ビデオカメラ装置104では、低速クロック発生源(実施例2では2分周回路22)が生成する低速のクロック信号の周波数を、エンコーダ15から出力されるインターレース方式の画像データに基づく映像の表示のため、すなわち出力端子18を介して接続される表示装置(図示せず)に映像として表示させるため、に設定された規格に準拠するものとしている。
このように、実施例2のビデオカメラ装置104では、プログレッシブ方式の画像データを扱うべく動作する部分に供給するクロック信号と、インターレース方式の画像データを扱うべく動作する部分に供給するクロック信号と、の周波数の関係性を、それぞれが扱うデータの量に適合する適切なものとすることができる。このため、ビデオカメラ装置104を、より効率のよい構成とすることができる。
また、実施例2のビデオカメラ装置104では、イメージセンサ123から出力されるプログレッシブ方式の画像データにおいて、総ての水平ラインを必要とするベイヤー補間演算をベイヤー補間部20が行い、その後にPI変換部13でインターレース方式の画像データへとPI変換し、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行える歪み補正演算を歪み補正部21で画像処理演算するものであることから、適切な画像処理演算を行うことを可能としつつ装置全体で見たクロック周波数の平均を下げることができる。
このため、実施例2のビデオカメラ装置104では、消費電力を低減させることができ、発熱量を低減させることができる。
したがって、本発明に係るビデオカメラ装置では、プログレッシブ方式で取得した画像データをインターレース方式で出力するものであって、コストの増加を招くことなく消費電力や発熱量を低減させつつも適切な画像処理を施すことができる。
以上、本発明を実施例に基づき詳述してきたが、この具体的な構成に限らず、本発明の趣旨を逸脱しない程度の設計的変更は、本発明の技術的範囲に含まれる。
なお、上記した実施の形態では、本発明に係る動画像処理装置を用いたビデオカメラ装置の一例としてビデオカメラ装置103を示したが、同様に図1に示す動画像処理装置10を用いてビデオカメラ装置を構成することができる。この場合、例えば、動画像処理装置10の画像データ源12としてイメージセンサを用い、そのイメージセンサの受光面に映像光を結像させるようにレンズ(11)を含む撮像光学系(図示せず)を設けるとともに、エンコーダ(15)および出力端子(18)を設ける構成とすればよい。このビデオカメラ装置は、演算部14が、インターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して行うことのできる画像処理演算を行うものであることから、例えば、赤外線を利用する暗視カメラのようにフルカラーの画像データ(RGBデータ)を得る必要のないものや、ベイヤー配列の原色フィルタとは異なる方式によりインターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照しても適切にフルカラーの画像データを得ることのできるものがあげられる。
また、上記した各実施例では、本発明に係るビデオカメラ装置の一例として、動画像処理装置102における第1演算部141としてベイヤー補間部20を設け、動画像処理装置102における第2演算部142として歪み補正部21を設けたビデオカメラ装置103(104)が示されていたが、第1演算部141(20)がインターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照したのでは適切に行うことのできない画像処理演算を行うものであり、かつ第2演算部142(21)がインターレース方式の画像データで各々構成されるどちらか一方のフィールドのみを参照して適切に行うことのできる画像処理演算を行うものであればよく、上記した各実施例に限定されるものではない。
10、102 動画像処理装置
103、104 ビデオカメラ装置
12 画像データ源
123 イメージセンサ
13 PI変換部
14 演算部
16 高速クロック発生源
17 低速クロック発生源
20 ベイヤー補間部
21 歪み補正部
22 (低速クロック発生源としての)2分周回路
141 第1演算部
142 第2演算部
特開2008−054221号公報

Claims (5)

  1. 画像データをプログレッシブ方式からインターレース方式に変換して出力する動画像処理装置であって、
    最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、
    該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、
    プログレッシブ方式の画像データを出力する画像データ源と、
    該画像データ源から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、
    該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行う演算部と、を備え、
    前記低速クロック発生源は、前記演算部に低速のクロック信号を供給し、
    前記高速クロック発生源は、前記画像データ源と前記PI変換部とに高速のクロック信号を供給することを特徴とする動画像処理装置。
  2. 画像データをプログレッシブ方式からインターレース方式に変換して出力する動画像処理装置であって、
    最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、
    該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、
    プログレッシブ方式の画像データを出力する画像データ源と、
    該画像データ源から出力されるプログレッシブ方式の画像データを参照して画像処理演算を行う第1演算部と、
    該第1演算部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、
    該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して画像処理演算を行う第2演算部と、を備え、
    前記低速クロック発生源は、前記第2演算部に低速のクロック信号を供給し、
    前記高速クロック発生源は、前記画像データ源と前記第1演算部と前記PI変換部とに高速のクロック信号を供給することを特徴とする動画像処理装置。
  3. 撮像した映像をプログレッシブ方式からインターレース方式の画像データに変換して出力するビデオカメラ装置であって、
    最終的にインターレース方式の画像データとして出力する際の任意の周波数のクロック信号を生成する低速クロック発生源と、
    該低速クロック発生源よりも高い周波数のクロック信号を生成する高速クロック発生源と、
    撮像した映像をベイヤー配列のデジタルデータからなるプログレッシブ方式の画像データとして出力するイメージセンサと、
    該イメージセンサから出力されるプログレッシブ方式の画像データを参照してベイヤー補間演算を行うベイヤー補間部と、
    該ベイヤー補間部から出力されるプログレッシブ方式の画像データをインターレース方式の画像データに変換するPI変換部と、
    該PI変換部から出力される2つのインターレース方式の画像データで構成される一対のフィールドのうちの一方のみを参照して歪み補正演算を行う歪み補正部と、を備え、
    前記低速クロック発生源は、前記歪み補正部に低速のクロック信号を供給し、
    前記高速クロック発生源は、前記イメージセンサと前記ベイヤー補間部と前記PI変換部とに高速のクロック信号を供給することを特徴とするビデオカメラ装置。
  4. 前記高速クロック発生源が生成する高速のクロック信号の周波数に対する、前記低速クロック発生源が生成する低速のクロック信号の周波数が、1/2の関係とされていることを特徴とする請求項3に記載のビデオカメラ装置。
  5. 前記低速クロック発生源は、生成する低速のクロック信号の周波数を、最終的に出力するインターレース方式の画像データに基づく映像の表示のために設定された規格に準拠させることを特徴とする請求項3または請求項4に記載のビデオカメラ装置。
JP2009132049A 2008-10-15 2009-06-01 動画像処理装置およびそれを用いたビデオカメラ装置 Expired - Fee Related JP5246045B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009132049A JP5246045B2 (ja) 2008-10-15 2009-06-01 動画像処理装置およびそれを用いたビデオカメラ装置
US12/576,451 US8194150B2 (en) 2008-10-15 2009-10-09 Moving image processing apparatus and video camera apparatus using the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008266157 2008-10-15
JP2008266157 2008-10-15
JP2009132049A JP5246045B2 (ja) 2008-10-15 2009-06-01 動画像処理装置およびそれを用いたビデオカメラ装置

Publications (2)

Publication Number Publication Date
JP2010119081A JP2010119081A (ja) 2010-05-27
JP5246045B2 true JP5246045B2 (ja) 2013-07-24

Family

ID=42098496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009132049A Expired - Fee Related JP5246045B2 (ja) 2008-10-15 2009-06-01 動画像処理装置およびそれを用いたビデオカメラ装置

Country Status (2)

Country Link
US (1) US8194150B2 (ja)
JP (1) JP5246045B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249878B2 (ja) * 2014-05-21 2017-12-20 三菱電機株式会社 撮像装置
CN207785129U (zh) * 2014-12-26 2018-08-31 奥林巴斯株式会社 内窥镜
JP7344650B2 (ja) * 2019-02-25 2023-09-14 オリンパス株式会社 撮像装置、撮像装置を含む内視鏡装置、および撮像装置を含む移動体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3410638B2 (ja) * 1997-07-31 2003-05-26 シャープ株式会社 ビデオカメラシステム
US6288743B1 (en) * 1997-10-20 2001-09-11 Eastman Kodak Company Electronic camera for processing image segments
JP2000307943A (ja) * 1999-04-20 2000-11-02 Matsushita Electric Ind Co Ltd 電子ズーム装置
JP3681940B2 (ja) * 1999-12-24 2005-08-10 松下電器産業株式会社 画像縮小装置
US7195588B2 (en) * 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
JP2005051296A (ja) 2003-07-29 2005-02-24 Ricoh Co Ltd 画像データ処理装置および画像処理装置
JP4697094B2 (ja) * 2006-08-28 2011-06-08 ソニー株式会社 画像信号出力装置及びその制御方法
JP4873721B2 (ja) * 2007-02-27 2012-02-08 京セラ株式会社 画像処理方法及び装置
JP5112238B2 (ja) * 2008-09-29 2013-01-09 株式会社リコー 撮像装置、設定値変更方法およびプログラム

Also Published As

Publication number Publication date
JP2010119081A (ja) 2010-05-27
US8194150B2 (en) 2012-06-05
US20100091129A1 (en) 2010-04-15

Similar Documents

Publication Publication Date Title
JP5113971B2 (ja) 投影用に画像を重ね合わせるための処理手法及び装置
JP2010245901A (ja) 画像処理装置及び画像処理方法等
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
KR100873880B1 (ko) 화상 처리 장치 및 화상 처리 방법
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
JP2008244981A (ja) 映像合成装置および映像出力装置
TWI649864B (zh) 影像感測裝置及影像感測方法
JP5246045B2 (ja) 動画像処理装置およびそれを用いたビデオカメラ装置
JP2006191362A (ja) 画像データ処理装置及び画像データ処理方法
JP2018157335A (ja) 画像処理システム
JP4285948B2 (ja) 撮像装置
US8482438B2 (en) Data processing device and data processing method
JP2007189361A (ja) イメージセンサおよびこれを用いたカメラ
JP2004193911A (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
KR20000017456A (ko) 비디오 신호 처리 회로 및 그를 사용한 영상 픽업 장치
JP7321685B2 (ja) 撮像装置
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
KR20120069543A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
JP2010251882A (ja) 撮像装置及び画像再生装置
JP2016095667A (ja) 画像処理装置および電子機器
JP2006303693A (ja) 縮小画像の生成機能を備える電子カメラ
JP6381219B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4919412B2 (ja) 固体撮像装置
JP2008301395A (ja) 映像信号処理回路および固体撮像装置
JP2009177258A (ja) 画像表示装置、及び画像表示装置における画像情報の解像度変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

R151 Written notification of patent or utility model registration

Ref document number: 5246045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees