JP3696536B2 - データ変換回路 - Google Patents
データ変換回路 Download PDFInfo
- Publication number
- JP3696536B2 JP3696536B2 JP2001297101A JP2001297101A JP3696536B2 JP 3696536 B2 JP3696536 B2 JP 3696536B2 JP 2001297101 A JP2001297101 A JP 2001297101A JP 2001297101 A JP2001297101 A JP 2001297101A JP 3696536 B2 JP3696536 B2 JP 3696536B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- buffer memory
- unit
- pixel
- key signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル・スチル・カメラやデジタル・ビデオ・カメラなどのデジタル・カメラにおいて、撮像した画像データの成分配列などを変換するデータ変換回路に関する。
【０００２】
【従来の技術】
図２０は、従来のデジタル・カメラの概略構成を示すブロック図である。このデジタル・カメラにおいて、光学系１００を透過した光はＣＣＤ撮像素子１０１で検出されアナログ信号に変換される。アナログ信号処理部１０２は、ＣＣＤ撮像素子１０１から入力するアナログ信号に対してゲイン調整やＡ／Ｄ変換などを施してデジタル信号（原画像データ；Raw Image Data）を生成し画像処理部１０３に出力する。その原画像データは、画像処理部１０３で画素補間、輪郭強調、色空間変換などのデジタル画像処理を施された後、主メモリ１０６のバッファ領域に転送され格納される。ＣＰＵ１０７は、そのバッファ領域に格納された画像データを読み出してソフトウェア処理を施したり、読出した画像データを圧縮伸長処理部１１０で圧縮符号化させ、カード・インターフェース１０８を介してＩＣメモリに記録させたりするように制御できる。
【０００３】
また、このデジタル・カメラは、撮像した画像データを電子的に表示する２種類の表示装置を備えている。一つは、デジタル・カメラの背面部などに設けられた比較的大画面のＬＣＤ（液晶ディスプレイ）装置１１１、もう一つは、デジタル・カメラの接眼部に設けられる電子ビューファインダー（以下、ＥＶＦと略す。）１１４である。ＥＶＦ１１４には、１フレームを面順次形式で表示する面順次ディスプレイが使用される。ユーザーは、デジタル・カメラに備わる切替ボタン（図示せず）などを操作して何れか一方の表示装置を選択できる。それら表示装置に画像データを動画像表示する際、ＣＰＵ１０７は、画像処理部１０３から低解像度の画像データを次々と出力させ、バス１１５を介してディスプレイ信号処理部１０９に転送する。ＬＣＤ装置１１１で動画像表示するとき、ディスプレイ信号処理部１０９は、その画像データをアナログＲＧＢ信号などの映像信号に変換してＬＣＤ装置１１１に出力する。ＬＣＤ装置１１１は、入力する映像信号に基づいて液晶パネルやバックライトを駆動することで動画像表示を行う。尚、ディスプレイ信号処理部１０９から出力された映像信号をケーブル１１２を介して外部のＴＶモニターに転送し、動画像表示することも可能である。
【０００４】
一方、ＥＶＦ１１４で動画像表示するとき、ディスプレイ信号処理部１０９は、バス１１５を介して入力する画像データをデータ変換回路１１３に転送する。画像処理部１０３からは、１画素当たりＲ（赤色），Ｇ（緑色），Ｂ（青色）の３原色成分、もしくは、１画素当たりＹ（輝度成分），Ｃｂ（色差成分），Ｃｒ（色差成分）などの３成分などが点順次形式で出力されており、データ変換回路１１３は、転送された画像データの各成分を画素単位で配列した点順次形式のデータ（以下、点順次データと呼ぶ。）から、フレーム単位で配列した面順次形式のデータ（以下、面順次データと呼ぶ。）に変換し、ＥＶＦ１１４に出力する。図２１は、Ｒ，Ｇ，Ｂの点順次形式の画像データを模式的に示す説明図である。同図に示すように、１フレームは、R[0, 0]，G[0, 0]，B[0, 0]，R[1, 0]，G[1, 0]，B[1, 0]，…，R[i, j]，G[i, j]，B[i, j]…，R[w-1, h-1]，G[w-1, h-1]，B[w-1, h-1]（ｉ：水平画素番号、ｊ：水平ライン番号）の順序で転送される。また、図２２は、Ｒ，Ｇ，Ｂの面順次形式の画像データを模式的に示す説明図である。同図に示すように、１フレームは、R[0, 0]，…，R[w-1, h-1]，G[0, 0]，…，G[w-1, h-1]，B[0, 0]，…，B[w-1, h-1]の順序で転送されることになる。すなわち、R[0, 0]，…，R[w-1, h-1]のみのＲフィールド、G[0, 0]，…，G[w-1, h-1]のみのＧフィールド、そして、B[0, 0]，…，B[w-1, h-1]のみのＢフィールドがこの順序で転送される。
【０００５】
従来のデータ変換回路１１３は、少なくとも１フレーム分のバッファ・メモリを備えており、入力する点順次データをそのバッファ・メモリに１フレーム分記憶し、面順次形式で読み出し、高いフレームレートでＥＶＦ１１４に出力していた。例えば、点順次データが各色８ビットの３成分からなる場合、総画素数×３バイトの容量をもつバッファ・メモリが必要となる。しかしながら、バッファ・メモリが１フレーム分の容量しか持たない場合、バッファ・メモリに点順次データを書き込む過程で、そのバッファ・メモリから面順次データが読み出されることが起こり得る。ＥＶＦ１１４は、各色フィールドを時系列で取り込むため、被写体が動いている場合にその被写体が各色フィールド毎に異なる位置に表示されるという、所謂「色ズレ」現象が起きるという問題がある。
【０００６】
また、ＥＶＦ１１４などの表示装置で点順次データを表示するとき、インタレース表示をプログレッシブ表示に変換する場合や、表示装置の表示速度に合わせてフレームを出力する場合に、所謂、フレームレート変換が行われている。しかしながら、１フレーム分のバッファ・メモリでフレームレート変換を行うとき、図２３に示すように、表示画像１１６中の高速で動く被写体１１７が、表示画像１１６の上部１１６ａと下部１１６ｂとでずれて見えるという、所謂「位置ズレ」現象が起こるという問題がある。
【０００７】
以上の点順次−面順次変換やフレームレート変換で生じる現象を防止するには、２フレーム分のバッファ・メモリを用意すればよい。図２４は、２フレーム分のバッファ・メモリ１２２Ａ，１２２Ｂを有するデータ変換回路１１３を示す概略図である。このデータ変換回路１１３では、色空間変換回路１２０は入力する点順次データの色空間をＲＧＢ空間に変換して出力する。この色空間変換回路１２０から出力された点順次データは、書込み制御部１２１により、第１バッファ・メモリ１２２Ａと第２バッファ・メモリ１２２Ｂとの何れか一方に書き込まれるように制御される。また、読出し制御部１２３は、何れか一方のバッファ・メモリ１２２Ａまたは１２２Ｂに点順次データが書き込まれている期間、他方のバッファ・メモリ１２２Ｂまたは１２２Ａから、高いフレームレートで面順次データを読出すように制御し、ＥＶＦ１１４に出力する。
【０００８】
【発明が解決しようとする課題】
しかしながら、図２４に示すデータ変換回路１１３では、２フレーム分のバッファ・メモリを用意しなければならない。これにより、回路の消費電力が増大するためデジタル・カメラの長時間の連続使用が難しくなり、また、回路規模も大きくなるためコストの増大が避けられないという問題があった。
【０００９】
以上の問題などに鑑みて本発明が解決しようとするところは、バッファ・メモリの容量を増大させず、上述の色ズレ現象や位置ズレ現象を起こさない、低消費電力で且つ低廉なデータ変換回路を提供する点にある。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、１画素当たり複数成分を有する入力画像データを、１画素当たり単成分を有する画像データにサンプリングし出力するサンプリング部と、前記入力画像データの着目画素と周辺画素との相関状態に対応する値をもつキー信号を算出するキー信号算出部と、前記サンプリング部から出力された画像データと前記キー信号とをフレーム単位またはフィールド単位でバッファ・メモリに記憶させるように制御する書込み制御手段と、前記バッファ・メモリに記憶済みの前記画像データと前記キー信号とをフレーム単位またはフィールド単位で読出すように制御する読出し制御手段と、前記読出し制御手段により読み出された前記画像データに対して１画素当たり複数成分を補間する画素補間処理を前記キー信号の値に応じて個別に実行し、該画素補間処理を施した補間データを表示装置に出力する補間部と、を備えることを特徴とするものである。
【００１１】
請求項２に係る発明は、請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データと前記キー信号とを結合した結合データを前記バッファ・メモリに記憶させ、前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出された前記結合データを分離して得られる前記画像データに対して前記画素補間処理を実行するものである。
【００１２】
請求項３に係る発明は、請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データの下位ビットに前記キー信号を含めたデータを前記バッファ・メモリに記憶させ、前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出されたデータから前記画像データと前記キー信号とを抽出して前記画素補間処理を実行するものである。
【００１３】
請求項４に係る発明は、請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、前記書込み制御手段は、前記画像データおよび前記キー信号を前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、前記補間部は、前記各成分を画素単位で配列した点順次形式の前記画像データから、前記各成分をフレーム単位またはフィールド単位で配列した面順次形式の前記補間データを生成するものである。
【００１４】
請求項５に係る発明は、請求項４記載のデータ変換回路であって、前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで面順次形式の前記補間データを生成するものである。
【００１５】
請求項６に係る発明は、請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、前記書込み制御手段は、前記サンプリング部から出力された画像データと前記キー信号とを前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで前記画素補間処理を実行して前記補間データを出力するものである。
【００１６】
【発明の実施の形態】
デジタル・カメラの構成．
最初に、本発明の実施の形態に係るデータ変換回路を組み込んだデジタル・カメラの構成例を示した後、各実施の形態に係るデータ変換回路を詳説する。図１は、そのデータ変換回路５を組み込んだデジタル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・カメラ１は、ＡＦ（オート・フォーカス；自動合焦）制御機能や自動露出制御機能などを有する光学機構２、この光学機構２を透過した光を受光するＣＣＤ撮像素子３、このＣＣＤ撮像素子３から出力されるアナログ画像信号を処理してデジタル画像データ（原画像データ；Raw Image Data）を出力するアナログ信号処理部４、そして、原画像データに対してデジタル画像処理を行う画像処理部８を備えている。尚、タイミング・ジェネレータ７は、ＣＣＤ駆動部３Ａ、アナログ信号処理部４、画像処理部８およびデータ変換回路５の動作タイミングを規律するクロック信号を生成し供給するものである。
【００１７】
前記ＣＣＤ撮像素子３は、ＣＣＤ駆動回路３Ａから駆動信号の供給を受けて動作し、光電効果で発生したキャリア（電子またはホール）を蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送する電荷転送部とを備えたものである。このＣＣＤ撮像素子３の感光部上には、入射した光を画素単位で着色する単板式の色フィルタ・アレイが設けられている。このため、ＣＣＤ撮像素子１２の感光部には、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色、若しくは、Ｙ（イエロー色），Ｍ（マゼンダ色），Ｃ（シアン色），Ｇ（緑色）などの４色で着色した光が入射し、光電変換を受けることになる。尚、ＣＣＤ撮像素子３の代わりに、電荷転送部をもたないＣＭＯＳ撮像素子を採用してもよい。
【００１８】
アナログ信号処理部４は、ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control；自動利得制御）回路およびＡ／Ｄ変換回路を備えている。ＣＣＤ撮像素子３は、通常黒レベルの基準レベルをもつ基準信号と、その基準信号を含む画像信号とを時分割で交互に出力する。ＣＤＳ回路は、画像信号に含まれるノイズ成分を除去するために、その基準信号と画像信号とをサンプリングし、両信号の差分信号を取り出して出力する。また、ＡＧＣ回路は、ＣＤＳ回路から入力する差分信号の信号レベルを適正化した信号を出力し、また、Ａ／Ｄ変換回路は、ＡＧＣ回路からの入力信号をサンプリングし、所定の量子化ビット数で量子化した原画像データ（Raw Image Data）を出力する。
【００１９】
画像処理部８は、タイミング・ジェネレータ７から供給されるクロック信号と同期して動作する集積回路である。この画像処理部８は、アナログ信号処理部４から入力する原画像データに対して、シェーディング補正処理、画素補間処理、ガンマ補正処理、色空間変換処理、輪郭強調処理および解像度変換処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。例えば、画素補間処理では、前記単板式の色フィルタ・アレイにより１画素につき単成分しか持たない画像信号に対して、１画素当たり複数成分が補間される。これにより、１画素につきＲ，Ｇ，Ｂの３原色成分、もしくはＹ，Ｍ，Ｃ，Ｇなどの補色系の４色成分をもつ画像信号が生成される。
【００２０】
画像処理部８が出力した画像信号は、バス１０を介してＣＰＵ（中央演算処理部）１１または主メモリ９に転送され、様々な処理を施される。ＣＰＵ１１は、主メモリ９を作業領域として利用し、画像信号に対して種々のソフトウェア処理を実行できる。また、ＣＰＵ１１は、圧縮伸長処理部１６を起動することで、その画像信号をＪＰＥＧ（Joint Photographic Expert Group）方式やモーションＪＰＥＧ方式などで圧縮符号化した後、その圧縮データをインターフェース部１５に転送し、メモリ・カードなどの記憶媒体に格納したり、パーソナル・コンピュータなどの外部機器に出力したりすることが可能である。
【００２１】
ＣＰＵ１１は、更に、画像処理部８から連続的に出力される静止画像（フレーム）を、ＬＣＤ装置１３やＥＶＦ６で動画像表示させるように制御できる。ＬＣＤ装置１３は、デジタル・カメラ１の背面部に設けられる比較的大画面の表示装置であり、ＥＶＦ６は、デジタル・カメラ１の接眼部に設けられる面順次ディスプレイである。ＣＣＤ撮像素子３で撮像した連続フレームをＬＣＤ装置１３で表示する場合、ＣＰＵ１１は、画像処理部８から、ＬＣＤ装置１３の解像度に合わせて解像度変換を施され出力される各フレームを、バス１０を介してディスプレイ信号処理部１２に次々と転送するように制御する。ディスプレイ信号処理部１２は、転送されたフレームをテレビ信号に変換してＬＣＤ装置１３に出力する。尚、そのテレビ信号は、ケーブル１４を介して外部のテレビモニタに出力されることも可能である。
【００２２】
また、ＣＣＤ撮像素子３で撮像した連続フレームをＥＶＦ６で表示する場合、ディスプレイ信号処理部１２は、画像処理部８から転送されたデジタルＲＧＢ信号を、ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）勧告ＢＴ．６０１準拠のＹＵＶ４４４形式の信号へ変換し、輝度信号（Ｙデータ）と色差信号（Ｕデータ，Ｖデータ）とからなる２４ビット幅のＹＵＶデータを出力するものとする。このＹＵＶデータは、本発明に係るデータ変換回路５で点順次データから面順次データに変換後、ＥＶＦ６に出力され、動画像表示される。
【００２３】
データ変換回路５は、データ書込・読出部２６と補間部２５とから構成されている。データ書込・読出部２６では、サンプリング・キー信号算出部２０は、入力するＹＵＶデータをサンプリングして１画素当たり単成分（Ｙ成分、Ｕ成分またはＶ成分）を有する画像データに変換して出力すると同時に、後に詳述するように、入力するＹＵＶデータの着目画素と周辺画素との相関状態に対応した値をもつキー信号を算出する機能を有する。このサンプリング・キー信号算出部２０に入力するＹＵＶデータは、１画素当たり３成分（Ｙ成分、Ｕ成分およびＶ成分）を有するものであるが、所定の配列で１画素当たり単成分にサンプリングされる。このため、１画素当たりＮ成分（Ｎ≧３）を有する画像データを格納する場合と比べると、第１バッファ・メモリ２２と第２バッファ・メモリ２３とに必要なメモリ容量は１／Ｎで済み、大幅に削減できることから、回路規模の縮小と低コスト化を図ることが可能となる。
【００２４】
また、書込み制御部２１は、サンプリング・キー信号算出部２０からの入力データを、第１バッファ・メモリ２２と第２バッファ・メモリ２３とにフレーム単位またはフィールド単位で交互に記憶させるように制御する。ここで、フィールドとは、偶数番目の水平ラインのみからなる偶数フィールド、もしくは奇数番目の水平ラインのみからなる奇数フィールドを意味している。また、読出し制御部２４は、第１バッファ・メモリ２２と第２バッファ・メモリ２３との一方のメモリにデータが書き込まれる期間は、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出して補間部２５に出力するように制御するものである。
【００２５】
補間部２５は、読出し制御部２４で読み出されたデータに対して、後に詳述するように上記キー信号に基づいて１画素当たり複数成分を補間する画素補間処理を行い、面順次データをＥＶＦ６に出力する。
【００２６】
以上の構成を有するデジタル・カメラ１に搭載されたデータ変換回路５の実施の形態について以下に詳説する。
【００２７】
実施の形態１．
図２および図３に、本発明の実施の形態１に係るデータ変換回路５1を示す。図２と図３は、図４に示す位置関係に従って１点鎖線を介して互いに連続している。本実施の形態１に係るデータ変換回路５1は、図２に示すデータ書込・読出部２６1と、図３に示す補間部２５1とから構成されている。
【００２８】
図２に示すデータ書込・読出部２６1のサンプリング・キー信号算出部２０は、上記ディスプレイ信号処理部１２から出力された２４ビット幅のＹＵＶデータを、１画素当たり単成分を有するデータに変換するサンプリング回路２０Ａと、そのＹＵＶデータに基づいて後述する２ビット幅のキー信号を画素単位で算出するキー信号算出回路２０Ｂとを備えている。図５は、サンプリング回路２０Ａが出力するデータの成分配列４０を示す説明図である。Ｙ成分，Ｕ成分，Ｖ成分をもつ各画素にそれぞれ「Ｙ」，「Ｕ」，「Ｖ」の文字が付されている。
【００２９】
サンプリング回路２０Ａは、図５に示す成分配列４０に従って各成分をサンプリングする。すなわち、Ｙ成分（輝度成分）は、各水平ライン上で１水平画素置きの千鳥配列でサンプリングされ、Ｕ成分とＶ成分（色差成分）はそれぞれ、１水平ライン置きに且つ１水平画素置きにサンプリングされて、８ビット幅の画素データとして出力される。そして、サンプリング回路２０Ａが出力した８ビット幅の画素データと、キー信号算出回路２０Ｂが出力した２ビット幅のキー信号とは結合され、１０ビット幅の結合データとなって第１バッファ・メモリ（ＳＲＡＭ）２２と第２バッファ・メモリ（ＳＲＡＭ）２３とに出力される。
【００３０】
このデータ書込・読出部２６1は、２バンクを構成する第１バッファ・メモリ２２と第２バッファ・メモリ２３を備えており、更に、データ書込み用のアドレス信号を生成する入力用アドレス・ジェネレータ２７、この入力用アドレス・ジェネレータ２７に対してデータ書込み用のタイミングを指示する入力用タイミング・ジェネレータ２８、データ読出し用のアドレス信号を生成する出力用アドレス・ジェネレータ３０、そして、この出力用アドレス・ジェネレータ３０に対してデータ読出しのタイミングを指示する出力用タイミング・ジェネレータ２９を備えている。
【００３１】
前記第１バッファ・メモリ２２と第２バッファ・メモリ２３は共に、少なくとも、３２０×２４０画素（＝水平画素数×垂直画素数）×１０ビットの記憶容量を有している。この記憶容量のうち３２０×２４０画素分は、ＥＶＦ６の表示画素数に対応したものである。これら第１バッファ・メモリ２２と第２バッファ・メモリ２３は共に、ライト・イネーブル端子ＷＥとリード・イネーブル端子ＲＥを備えており、各イネーブル端子ＷＥ，ＲＥは、何れかのＡＮＤゲート３１，３２，３３，３４から制御信号を供給される。
【００３２】
サンプリング・キー信号算出部２０が出力する１０ビット幅の結合データは、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各データ入力端子Ｄｉｎに入力し、各バッファ・メモリ２２，２３に、フレーム単位またはフィールド単位で交互に格納される。第１バッファ・メモリ２２にデータ書込みを行う間に第２バッファ・メモリ２３からデータ読出しを行う期間は、バンク選択信号ＢＳＣＴの信号レベルは"Ｈ（High）"に切り替えられ維持される。この期間、第１バッファ・メモリ２２のライト・イネーブル端子ＷＥに制御信号を供給するＡＮＤゲート３１と、第２バッファ・メモリ２３のリード・イネーブル端子ＲＥに制御信号を供給するＡＮＤゲート３４とに、Ｈレベル信号が伝達する。また、Ｈレベルのバンク選択信号ＢＳＣＴは、インバータ３５でＬ（Low）レベル信号にレベル反転される。このＬレベル信号は、第１バッファ・メモリ２２のリード・イネーブル端子ＲＥに制御信号を供給するＡＮＤゲート３２と、第２バッファ・メモリ２３のライト・イネーブル端子ＷＥに制御信号を供給するＡＮＤゲート３３とに供給されている。他方、第２バッファ・メモリ２３にデータ書込みを行う間に第１バッファ・メモリ２２からデータ読出しを行う期間は、バンク選択信号ＢＳＣＴの信号レベルは"Ｌ"に切り替えられ維持される。
【００３３】
入力用タイミング・ジェネレータ２８と入力用アドレス・ジェネレータ２７は共に、供給される入力画素クロックＩＣＬＫと同期して動作する。入力用タイミング・ジェネレータ２８は、レジスタ２８Ａに記憶された解像度変換係数α，β（α，β：１以上の値）に基づき、入力画素クロックＩＣＬＫ、水平同期信号ＨＤおよび垂直同期信号ＶＤを用いてライト・イネーブルパルスＷＥＢＬを生成し、入力用アドレス・ジェネレータ２７に出力する。ここで、水平同期信号ＨＤと垂直同期信号ＶＤは、図１に示すタイミング・ジェネレータ７から供給される。また、αは、当該ＹＵＶデータの画像サイズを水平方向に１／α倍に解像度変換するための係数、βは、その画像サイズを垂直方向に１／β倍に解像度変換するための係数である。係数α，βの値は、ＹＵＶデータの解像度がＥＶＦの解像度に適合するように調整される。
【００３４】
また、入力用アドレス・ジェネレータ２７は、書込みアドレスを増分するアドレス・カウンタ（図示せず）を内蔵しており、そのアドレス・カウンタは、前記ライト・イネーブルパルスＷＥＢＬが入力する度に書込みアドレスの増分動作を行い、アドレス信号を生成する。また、入力用アドレス・ジェネレータ２７は、データ書込み時には、生成したアドレス信号を、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各アドレス入力端子Ａｄｄｒ_ｉに供給すると同時に、Ｈレベルのライト・イネーブル信号をＡＮＤゲート３１，３３に供給する。ＡＮＤゲート３１は、そのライト・イネーブル信号とバンク選択信号ＢＳＣＴとを論理積演算した信号を第１バッファ・メモリ２２の端子ＷＥに出力する。また、ＡＮＤゲート３３は、そのライト・イネーブル信号と、インバータ３５から供給される反転信号とを論理積演算した信号を第２バッファ・メモリ２３の端子ＷＥに出力する。
【００３５】
尚、図１に示した書込み制御部２１は、上記の入力用アドレス・ジェネレータ２７、入力用タイミング・ジェネレータ２８、ＡＮＤゲート３１，３３で構成されるものである。
【００３６】
次に、出力用タイミング・ジェネレータ２９と出力用アドレス・ジェネレータ３０は共に、供給される出力画素クロックＯＣＬＫと同期して動作する。出力用タイミング・ジェネレータ２９は、出力画素クロックＯＣＬＫを用いてデータ読出しのタイミングを示すリード・イネーブルパルスＲＥＢＬを生成し、出力用アドレス・ジェネレータ３０に供給する。
【００３７】
また、出力用アドレス・ジェネレータ３０は、読出しアドレスを増分するアドレス・カウンタ（図示せず）を内蔵しており、このアドレス・カウンタは、リード・イネーブルパルスＲＥＢＬが入力する度に当該読出しアドレスの増分動作を行い、アドレス信号を生成する。また、出力用アドレス・ジェネレータ３０は、データ読出し時には、生成したアドレス信号を、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各アドレス入力端子Ａｄｄｒ_ｏに供給すると同時に、Ｈレベルのリード・イネーブル信号を各ＡＮＤゲート３２，３４に供給する。一方のＡＮＤゲート３４は、そのリード・イネーブル信号とバンク選択信号ＢＳＣＴとを論理積演算した信号を生成し、第２バッファ・メモリ２３の端子ＲＥに出力し、他方のＡＮＤゲート３２は、そのリード・イネーブル信号と、インバータ３５から供給される反転信号とを論理積演算した信号を第１バッファ・メモリ２２の端子ＲＥに出力している。
【００３８】
尚、データ読出し時のフレームレートを高めるため、出力画素クロックＯＣＬＫの周波数は入力画素クロックＩＣＬＫのそれよりも高く設定されている。
【００３９】
以上のように第１バッファ・メモリ２２のデータ出力端子Ｄｏｕｔから読み出された１０ビット幅の結合データはセレクタ２４Ａの「０」側端子に入力する一方、第２バッファ・メモリ２３のデータ出力端子Ｄｏｕｔから読み出された１０ビット幅の結合データはセレクタ２４Ａの「１」側端子に入力する。セレクタ２４Ａは、バンク選択信号ＢＳＣＴの信号レベルが"Ｌ"または"Ｈ"に応じて「０」側端子または「１」側端子を選択し、選択した端子から入力する結合データを図３に示す補間部２５1に出力する。
【００４０】
尚、図１に示した読出し制御部２４は、上記の出力用タイミング・ジェネレータ２９、出力用アドレス・ジェネレータ３０、ＡＮＤゲート３２，３４およびセレクタ２４Ａで構成されるものである。
【００４１】
次に、図３に示す補間部２５1について説明する。補間部２５1に入力した１０ビット幅の結合データは、８ビット幅の画素データと２ビット幅のキー信号とに分離される。補間部２５1は、８ビット幅の画素データを３×３画素の領域に保持するレジスタ群３６と、１水平ラインの画素データを一時的に記憶するＦＩＦＯメモリ３８と、補間・成分選択回路３９とから構成される。
【００４２】
レジスタ群３６は、９個のレジスタ３７Ａ，３７Ｂ，３７Ｃ，３７Ｄ，３７Ｅ，３７Ｆ，３７Ｇ，３７Ｈ，３７Ｉを、ＦＩＦＯメモリ３８を介して直列に多段接続したものである。レジスタ３７Ａ〜３７Ｉは、出力画素クロックＯＣＬＫが入力する度に、データ入力端子（Ｄ）に入力する画素データを取り込むと同時に、保持している画素データをデータ出力端子（Ｑ）から次段のレジスタまたはＦＩＦＯメモリ３８へシフトさせる。このようなレジスタ群３６は、１フレーム内または１フィールド内の任意の３×３画素領域の画素データを保持することが可能である。尚、図３に示した例では、レジスタ群３６は９個のレジスタ３７Ａ〜３７Ｉを有するが、この代わりに、２５個のレジスタを有することで５×５画素領域の画素データを保持してもよい。
【００４３】
また、補間・成分選択回路３９には、レジスタ３７Ａ〜３７Ｉの各データ出力端子（Ｑ）から出力された８ビット幅の画素データと、２ビット幅のキー信号とが入力する。補間・成分選択回路３９は、上記出力用タイミング・ジェネレータ２９から供給されるタイミング信号ＴＩと同期して動作し、入力する３×３画素領域の画素データを用いてキー信号の値に応じた画素補間処理を実行した後、色空間変換を実行してＲＧＢの３成分を出力する。本実施の形態１では、Ｒ成分のみのＲフィールド、Ｇ成分のみのＧフィールドおよびＢ成分のみのＢフィールドを画素補間処理でつくり出すために、第１バッファ・メモリ２２または第２バッファ・メモリ２３から同じ画素データが、各フィールド毎に３回読み出される。このように、補間・成分選択回路３９は、図２２に示したような面順次データをＥＶＦ６へ出力することとなる。
【００４４】
キー値算出処理と画素補間処理．
次に、上記したキー信号算出回路２０Ｂにおけるキー値算出処理と、補間・成分選択回路３９における画素補間処理について詳説する。上記サンプリング回路２０Ａでは、１画素当たり３成分を有する画像データから、１画素当たり単成分を有するデータがサンプリングされる。その後、補間・成分選択回路３９の画素補間処理により、１画素当たり３成分を有する画像データが復元されるが、サンプリングにより失われた画像情報を完全に再構築するのは難しく、画質低下は避けられない。特に、水平画素方向または垂直画素方向の境界線がギザギザ状で復元されたり、縦線からなる縞模様が横線からなる縞模様に誤って復元されたりするという問題が生じていた。本実施の形態１では、キー信号算出回路２０Ｂでサンプリング前の画像データの着目画素と周辺画素との相関状態に対応した値をもつキー信号を算出し、補間部２５でキー信号の値に対応した画素補間処理を個別に行うことで、前述の問題を大幅に改善することが可能となる。
【００４５】
キー値算出処理と画素補間処理の例１．
本例では、キー信号算出回路２０Ｂは、３×３画素領域の画像データを一時的に記憶するレジスタ（図示せず）を備えている。図６は、その３×３画素領域の画像データ４１を簡略的に示す説明図である。図６には、各画素に対応して「Ｘ」，「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｚ」の文字が付されている。本例では、「Ｚ」を付した画素は、サンプリングされない間引き対象の着目画素を示しており、「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｚ」を付した画素の画素データは、それぞれ、ＤA，ＤB，ＤC，ＤD，ＤZで示されるものとする。
【００４６】
キー信号算出回路２０Ｂは、間引き対象の着目画素と周辺画素との間の輝度成分に関する差分値Δ1，Δ2を次式（１），（２）に従って算出する。
【００４７】
【数１】
【００４８】
上式（１），（２）中、ＡＢＳ（ｘ）は、数値ｘの絶対値を求める記号である。差分値Δ１は、当該着目画素と垂直方向の周辺画素との相関状態を示し、差分値Δ２は、当該着目画素と水平方向の周辺画素との相関状態を示している。本例では、差分値Δ１，Δ２の値が小さい程に相関状態が高いとみなされる。また、サンプリング回路２０Ａが図５に示す成分配列４０に従って単成分をサンプリングするとき、着目画素ではＵ成分またはＶ成分がサンプリングされ、当該着目画素の垂直・水平方向に隣接する周辺画素ではＹ成分がサンプリングされる。よって、キー信号算出回路２０Ｂは、着目画素でＵ成分またはＶ成分がサンプリングされたときにＹ成分に関する差分値Δ１，Δ２を算出する。
【００４９】
次いで、キー信号算出回路２０Ｂは、双方の差分値Δ1，Δ2の大小関係を判定し、Δ1の値がΔ2の値以下である（Δ1≦Δ2）と判定した場合、「０」の値をもつキー信号を出力し、他方、Δ1の値がΔ2の値を超えている（Δ1＞Δ2）と判定した場合は、「１」の値をもつキー信号を出力する。従って、本例では、２ビット幅のキー信号の下位１ビットのみが使用される。
【００５０】
一方、補間・成分選択回路３９は、図３に示すレジスタ群３６の中央のレジスタ３７Ｅから出力される画素データを着目画素のデータとみなし、レジスタ３７Ｂ，３７Ｄ，３７Ｆ，３７Ｈから出力される画素データを周辺画素のデータとみなして、画素補間処理を実行する。補間・成分選択回路３９は、着目画素に対応するキー信号の値が「０」の場合、垂直方向に隣接する周辺画素のデータの平均値を補間データとし、他方、そのキー信号の値が「１」の場合は、水平方向に隣接する周辺画素のデータの平均値を補間データとして算出する。
【００５１】
このように本例では、サンプリング前の画像データの着目画素と周辺画素との相関状態の情報をキー信号に含め、このキー信号の値に対応した画素補間処理を個別に行うため、サンプリングによる画質劣化が抑制された面順次データを生成し出力することが可能である。
【００５２】
キー値算出処理と画素補間処理の例２．
上記例１の場合と同様に、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えている。キー信号算出回路２０Ｂは、間引き対象の着目画素と周辺画素との間で、輝度成分に関する差分値ΔU，ΔD，ΔR，ΔLを次式（３）〜（６）に従って算出する。但し、次式（３）〜（６）中、ＶKは、各式に対応するキー信号の値を示している。
【００５３】
【数２】
【００５４】
上式（３）〜（６）において、差分値ΔU，ΔDは、着目画素に対して垂直方向上下両側に隣接する周辺画素との相関状態を示しており、差分値ΔR，ΔLは、着目画素と水平方向左右両側に隣接する各周辺画素との相関状態を示している。本例では、差分値が小さい程に相関状態が高いとみなされる。
【００５５】
次に、キー信号算出回路２０Ｂは、差分値ΔU，ΔD，ΔR，ΔLの中から最小値をもつものを選択する。キー信号の値は、差分値ΔUを選択した場合が「０」、差分値ΔDを選択した場合が「１」、差分値ΔRを選択した場合が「２」、差分値ΔLを選択した場合が「３」に設定される。
【００５６】
一方、補間・成分選択回路３９は、上記の例１と同様に、図３に示すレジスタ群３６の中央のレジスタ３７Ｅから出力される画素データを着目画素のデータとみなし、レジスタ３７Ｂ，３７Ｄ，３７Ｆ，３７Ｈから出力される画素データを周辺画素のデータとみなして、画素補間処理を実行する。補間・成分選択回路３９は、キー信号の値が「０」の場合は、レジスタ３７Ｅに対して垂直方向上方に隣接するレジスタ３７Ｂから出力される画素データを補間データとし、キー信号の値が「１」の場合は、垂直方向下方に隣接するレジスタ３７Ｈから出力される画素データを補間データとし、キー信号の値が「２」の場合は、水平方向右隣のレジスタ３７Ｆから出力される画素データを補間データとし、キー信号の値が「３」の場合は、水平方向左隣のレジスタ３７Ｄから出力される画素データを補間データとして出力する。このように、本例でも、サンプリングによる画質劣化が抑制された面順次データを生成し出力することが可能である。
【００５７】
キー値算出処理と画素補間処理の例３．
上記例１，２の場合と同様に、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えている。また、本例では、後述するように３ビットのキー信号が出力されるため、サンプリング回路２０Ａから出力される８ビット幅の画像信号と、キー信号算出回路２０Ｂから出力される３ビット幅のキー信号とを結合した１１ビット幅の結合データが出力される。また、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００５８】
キー信号算出回路２０Ｂは、入力する画像データ（ＹＵＶデータ）の輝度成分に関して空間フィルタリング処理を実行する。このため、キー信号算出回路２０Ｂは、輝度成分に関して垂直画素方向の縦線、水平画素方向の横線、斜線、垂直画素方向の境界線（縦エッジ）、水平画素方向の境界線（横エッジ）、斜め方向の境界線（斜めエッジ）をそれぞれ検出する３×３画素の空間フィルタを備えている。図７に示すように、その空間フィルタ（重みマスク）４２は、３×３画素領域における各画素データに一対一対応する係数値Ａ（ｉ，ｊ）（ｉ，ｊは０〜２の整数）を有し、各係数値Ａ（ｉ，ｊ）を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有するものである。図８〜図１５は、各種の空間フィルタを例示する図である。図８は、縦線検出用の係数値をもつ空間フィルタ４２Ａを示し、図９は、横線検出用の係数値をもつ空間フィルタ４２Ｂを示し、図１０は、右下がりの斜線検出用の係数値をもつ空間フィルタ４２Ｃを示し、図１１は、右上がりの斜線検出用の係数値をもつ空間フィルタ４２Ｄを示し、図１２は、縦エッジ検出用の係数値をもつ空間フィルタ４２Ｅを示し、図１３は、横エッジ検出用の係数値をもつ空間フィルタ４２Ｆを示し、図１４は、右下がりの斜めエッジ検出用の係数値をもつ空間フィルタ４２Ｇを示し、図１５は、右上がりの斜めエッジ検出用の係数値をもつ空間フィルタ４２Ｈを示している。
【００５９】
また、これら空間フィルタ４２Ａ〜４２Ｈから出力される積和演算値が所定の閾値を超えたか否かが判定される。その積和演算値が閾値を超えた場合、所定値をもつキー信号が出力される。本例でのキー信号の値は、空間フィルタ４２Ａ（図８）で縦線を検出した場合が「０」、空間フィルタ４２Ｂ（図９）で横線を検出した場合が「１」、空間フィルタ４２Ｃ（図１０）で右下がりの斜線を検出した場合が「２」、空間フィルタ４２Ｄ（図１１）で右上がりの斜線を検出した場合が「３」、空間フィルタ４２Ｅ（図１２）で縦エッジを検出した場合が「４」、空間フィルタ４２Ｆ（図１３）で横エッジを検出した場合が「５」、空間フィルタ４２Ｇ（図１４）で右下がりの斜めエッジを検出した場合が「６」、空間フィルタ４２Ｈ（図１５）で右上がりの斜めエッジを検出した場合が「７」に設定される。
【００６０】
一方、補間部２５は、図３に示す３×３画素の画素データを保持するレジスタ群３６を備える代わりに、５×５画素の画素データを保持するレジスタ群を備える必要がある。図１５は、補間部２５が備えるレジスタ群に保持される５×５画素領域の画像データ４３を簡略的に示す図である。図１５には、各画素に対応して「Ｘ」，「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｅ」，「Ｆ」，「Ｇ」，「Ｈ」，「Ｉ」，「Ｊ」，「Ｋ」，「Ｌ」の文字が付されている。「Ｚ」を付した画素が、画素補間対象の着目画素である。また、「Ａ」〜「Ｌ」を付した各画素の画素データを、それぞれ、ＩＤA〜ＩＤLで表すものとする。
【００６１】
補間部２５に入力する１１ビット幅の結合データは８ビット幅の画素データと３ビット幅のキー信号とに分離される。補間・成分選択回路３９は、入力する３ビット幅のキー信号の値「０」〜「７」に応じて、それぞれ、次式（７）〜（１４）に従って補間データＤZを出力する。但し、次式（７）〜（１４）中、ＶKは、各式に対応するキー信号の値を示している。
【００６２】
【数３】
【００６３】
但し、上式（１１），（１２）の関数Median（Ｘ1，Ｘ2，Ｘ3，Ｘ4）は、引数Ｘ1〜Ｘ4を昇順に並べ替えたとき、その中央にくる数値（中央値）を算出する。すなわち、数値Ｘ1〜Ｘ4の中で中央値より小さな数値の個数と、中央値よりも大きな数値の個数とが等しくなる。例えば、Median（1, 2, 3, 4）＝2.5である。
【００６４】
このように、本例では、サンプリング前の画像データに現れる縦線や斜線などの特徴を相関状態として検出し、各特徴に応じてキー信号の値を設定するため、画素補間処理時に、サンプリング前の画像データの特徴を正確に復元することができ、画質劣化の少ない面順次データを生成し出力することが可能となる。
【００６５】
キー値算出処理と画素補間処理の例４．
上記例３と同様に本例では、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えており、３ビット幅のキー信号を出力する。このため、サンプリング回路２０Ａから出力される８ビット幅の画像信号と、キー信号算出回路２０Ｂから出力される３ビット幅のキー信号とを結合した１１ビット幅の結合データが出力される。また、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００６６】
キー信号算出回路２０Ｂは、間引き対象の着目画素について周辺画素の輝度成分に関する平均データ＜Ｖ＞，＜Ｈ＞，＜Ｏ1＞，＜Ｏ2＞，＜Ｏ3＞，＜Ｏ4＞，＜Ｏ5＞を、次式（１５）〜（２１）に従って算出する。また、次式中、各式に対応するキー信号の値ＶKも示す。
【００６７】
【数４】
【００６８】
キー信号算出回路２０Ｂは、それら平均データのうち、着目画素の画素データＤZに最も近い値をもつ平均データを選択し、選択した当該平均データに対応する値ＶKをもつキー信号を出力する。
【００６９】
一方、補間部２５は、上記例３と同様に、図１５に示す５×５画素領域の画像データ４３を保持するレジスタ群を備えている。この補間部２５の補間・成分選択回路３９は、入力する３ビット幅のキー信号の値「０」〜「６」に応じて、それぞれ、次式（２２）〜（２８）に従って補間データＩＤZを算出する。
【００７０】
【数５】
【００７１】
キー値算出処理と画素補間処理の例５．
上記例４，５と同様に本例では、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えており、３ビット幅のキー信号を出力する。このため、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００７２】
キー信号算出回路２０Ｂは、先ず、着目画素と周辺画素の平均値との差分値ＤYを、次式（２９）に従って算出し、９ビットのレジスタ（図示せず）に格納する。
【００７３】
【数６】
【００７４】
次に、差分値ＤYの再現レンジが−１６以上１５以下に限定される。すなわち、差分値ＤYが１５を超える場合（ＤY＞１５）、キー信号の値ＶKをＶK＝＋３に設定し、差分値ＤYが−１６未満の場合（ＤY＜−１６）は、キー信号の値ＶKをＶK＝−４に設定する。そして、差分値ＤYが１６以上１５以下の場合（−１６≦ＤY≦１５）は、９ビットのキー信号を２ビット右シフトし、その後、右シフト後の５ビットのキー信号を２の補数表現の３ビットのデータに変換する。
以下の表１に、１０進数表記の差分値ＤYと、１０進数表記のキー信号の値ＶKと、このキー信号の値ＶKの２の補数表現とを示す。
【００７５】
【表１】
【００７６】
このようにキー信号算出回路２０Ｂは、輝度成分に関して画素単位で差分値ＤYを算出した後、表１に示すように、差分値ＤYの各数値範囲に対応した３ビットの値ＶKをもつキー信号を算出して出力する。
【００７７】
一方、補間部２５は、上記の例４と同様に、図１５に示す５×５画素領域の画像データ４３を保持するレジスタ群を備えている。この補間部２５の補間・成分選択回路３９には３ビット幅のキー信号が入力するから、補間・成分選択回路３９は、キー信号を２ビット左シフトして５ビット値に拡張し、次いで、２の補数形式の８ビット値ＶK’に拡張する。例えば、キー信号の値ＶKが２進数で「０１１」（１０進数で「＋３」）の場合は、キー信号を２ビット左シフトした５ビット値は２進数で「０１１００」、更に、この５ビット値をビット拡張した８ビット値ＶK’は２進数で「００００１１００」である。また、キー信号の値ＶKが２進数で「１１０」（１０進数で「−２」）の場合は、キー信号を２ビット左シフトした５ビット値は２進数で「１１０００」、更に、この５ビット値をビット拡張した８ビット値ＶK’は２進数で「１１１１１０００」となる。
【００７８】
補間・成分選択回路３９は、そのような８ビット値ＶK’とレジスタ群に記憶された画素データとを用い、次式（３０）に従って各輝度成分毎に補間データＩＤZを算出する。
【００７９】
【数７】
【００８０】
上式（３０）により、サンプリング前の画素データを精度良く再現することが可能となる。
【００８１】
以上、キー値算出処理と画素補間処理の例１〜５について説明した。上記の例１〜５では、輝度成分（Ｙデータ）のみについてキー信号と補間データの算出方法を説明したが、色差成分（Ｕデータ，Ｖデータ）については、既知の画素補間方法を適用すればよい。また、上記の例４，５では、３ビットのキー信号を使用したが、４ビット以上のキー信号の使用も可能である。
【００８２】
実施の形態２．
次に、本発明の実施の形態２について説明する。図１７および図１８に、本発明の実施の形態２に係るデータ変換回路５2を示す。図１７と図１８は、図１９に示す位置関係に従って１点鎖線を介して互いに連続している。本実施の形態２に係るデータ変換回路５2は、図１７に示すデータ書込・読出部２６2と、図１８に示す補間部２５2とから構成されている。尚、図１７と図１８において、図２と図３に示した符号と同一符号を付した回路については、上記のそれと略同じ構成・機能を有するものとして詳細な説明を省略する。
【００８３】
データ書込・読出部２６2のサンプリング・キー信号算出部２０2は、上記実施の形態１と同様に、キー信号を算出するキー信号算出回路２０Ｂと、入力するデータを１画素当たり単成分をもつデータに変換するサンプリング回路２０Ａとを備えている。本実施の形態２では、サンプリング回路２０Ａには、８ビットのＹデータと、８ビットのＵデータの上位６ビットとキー信号とを結合した８ビットのデータと、８ビットのＶデータの上位６ビットとキー信号とを結合した８ビットのデータとが入力する。
【００８４】
尚、キー信号算出回路２０Ｂは、２ビットのキー信号を出力する代わりに、３ビットのキー信号の出力してもよい。かかる場合、キー信号の３ビット中の２ビットを色差成分（ＵデータまたはＶデータ）の上位ビットと結合し、当該キー信号の残る１ビットを輝度成分（Ｙデータ）の上位ビットと結合する。言い換えれば、キー信号の３ビット中の２ビットを色差成分の一部ビットに格納し、当該キー信号の残る１ビットを輝度成分の一部ビットに格納することとなる。サンプリング回路２０Ａは、キー信号を含む各色成分８ビットの結合データをサンプリングして出力し、第１バッファ・メモリ２２と第２バッファ・メモリ２３とは、８ビットの結合データを格納する必要がある。
【００８５】
また、第１バッファ・メモリ２２と第２バッファ・メモリ２３とは、３２０×２４０×８ビットの結合データを格納する記憶容量をもつ。データ書込・読出部２６2のその他の構成・機能は、上記実施の形態１のそれと略同じである。
【００８６】
一方、図１８に示す補間部２５2は、３×３画素領域の８ビットの結合データを格納するレジスタ群３６と、ＦＩＦＯメモリ３８Ａ，３８Ｂと、補間・成分選択回路３９とを備えている。レジスタ群３６から出力された８ビット幅の結合データは、６ビット幅の画素データと２ビット幅のキー信号とに分離して、補間・成分選択回路３９に入力する。補間・成分選択回路３９は、上記実施の形態１と略同様に、キー信号の値ＶKに応じて個別に画素補間処理を実行して、８ビット幅の面順次データをＥＶＦ６に出力する。
【００８７】
このように、本実施の形態２のサンプリング・キー信号算出部２０2は、人間の視覚感度への影響が少ない色差成分（Ｕデータ，Ｖデータ）の下位２ビットにキー信号を含めることで、第１バッファ・メモリ２２と第２バッファ・メモリ２３とに格納する結合データの記憶容量を小さく抑えることができる。このため、メモリ容量を節減でき、回路規模を小さく抑えることができ、低消費電力で且つ低廉なデータ変換回路を実現することが可能となる。
【００８８】
以上、本発明の実施の形態１，２について説明した。上記実施の形態１，２に係るデータ変換回路はデジタル・カメラのＥＶＦ６に対して適用されていたが、本発明に係るデータ変換回路は、デジタル・カメラに限定して適用される必要は無く、点順次データから面順次データへの変換およびフレームレート変換を必要とするあらゆるインターフェースなどに適用され得るものである。
【００８９】
【発明の効果】
以上の如く、本発明の請求項１に係るデータ変換回路によれば、１画素当たり複数成分を有する入力画像データを、１画素当たり単成分を有する画像データにサンプリングしてバッファ・メモリに記憶するから、バッファ・メモリの記憶容量が少なくて済む。従って、回路規模の縮小と低コスト化を図ることができる。更に、上記サンプリング部で入力画像データの情報量が削減されるが、サンプリング前の画像データの着目画素と周辺画素との相関状態の情報をキー信号に含め、このキー信号の値に対応した画素補間処理を個別に行うため、サンプリングによる画質劣化が抑制された補間データを生成し出力することが可能となる。
【００９０】
請求項２によれば、上記サンプリング部から出力された画像データとキー信号とを結合してバッファ・メモリに記憶させるから、その記憶容量を節減できる。従って、回路の小規模化と消費電力の低減を図ることが可能となる。
【００９１】
請求項３によれば、上記バッファ・メモリに必要な記憶容量を削減できるため、回路の小規模化と消費電力の低減を図ることが可能となる。
【００９２】
請求項４によれば、画像データを第１バッファ・メモリと第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶し、これらバッファ・メモリからデータを交互に出力するから、面順次駆動の表示装置で色ズレ現象や位置ズレ現象の無い動画像を表示することが可能となる。
【００９３】
請求項５によれば、色ズレ現象を低減させて、高品質な面順次データを出力し動画像表示させることが可能となる。
【００９４】
請求項６によれば、位置ズレ現象を大幅に低減させて、高品質な補間データを出力し動画像表示させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデータ変換回路を組み込んだデジタル・カメラの全体構成を示す機能ブロック図である。
【図２】本発明の実施の形態１に係るデータ変換回路のデータ書込・読出部を示す図である。
【図３】本発明の実施の形態１に係るデータ変換回路の補間部を示す図である。
【図４】図２と図３の相互の位置関係を示す図である。
【図５】実施の形態１に係るデータ変換回路のサンプリング回路が出力するデータの成分配列を示す説明図である。
【図６】キー信号算出回路に入力する画像データの３×３画素領域を示す説明図である。
【図７】空間フィルタリング処理を行う空間フィルタを示す図である。
【図８】縦線検出用の係数値をもつ空間フィルタを例示する図である。
【図９】横線検出用の係数値をもつ空間フィルタを例示する図である。
【図１０】右下がりの斜線検出用の係数値をもつ空間フィルタを例示する図である。
【図１１】右上がりの斜線検出用の係数値をもつ空間フィルタを例示する図である。
【図１２】縦エッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１３】横エッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１４】右下がりの斜めエッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１５】右上がりの斜めエッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１６】５×５画素の画素データを簡略的に示す図である。
【図１７】本発明の実施の形態２に係るデータ変換回路のデータ書込・読出部を示す図である。
【図１８】本発明の実施の形態２に係るデータ変換回路の補間部を示す図である。
【図１９】図１７と図１８の相互の位置関係を示す図である。
【図２０】従来のデジタル・カメラの概略構成を示すブロック図である。
【図２１】Ｒ，Ｇ，Ｂの点順次形式の画像データを示す説明図である。
【図２２】Ｒ，Ｇ，Ｂの面順次形式の画像データを示す説明図である。
【図２３】位置ズレ現象を説明するための概略図である。
【図２４】２フレーム分のバッファ・メモリを有するデータ変換回路を示す概略図である。
【符号の説明】
１ デジタル・カメラ
４ アナログ信号処理部
５ データ変換回路
６ ＥＶＦ
８ 画像処理部
９ 主メモリ
１０ バス
１１ ＣＰＵ
１２ ディスプレイ信号処理部
１３ ＬＣＤ装置
２０ サンプリング・キー信号算出部
２１ 書込み制御部
２２ 第１バッファ・メモリ
２３ 第２バッファ・メモリ
２５ 補間部
２６ データ書込・読出部
【発明の属する技術分野】
本発明は、デジタル・スチル・カメラやデジタル・ビデオ・カメラなどのデジタル・カメラにおいて、撮像した画像データの成分配列などを変換するデータ変換回路に関する。
【０００２】
【従来の技術】
図２０は、従来のデジタル・カメラの概略構成を示すブロック図である。このデジタル・カメラにおいて、光学系１００を透過した光はＣＣＤ撮像素子１０１で検出されアナログ信号に変換される。アナログ信号処理部１０２は、ＣＣＤ撮像素子１０１から入力するアナログ信号に対してゲイン調整やＡ／Ｄ変換などを施してデジタル信号（原画像データ；Raw Image Data）を生成し画像処理部１０３に出力する。その原画像データは、画像処理部１０３で画素補間、輪郭強調、色空間変換などのデジタル画像処理を施された後、主メモリ１０６のバッファ領域に転送され格納される。ＣＰＵ１０７は、そのバッファ領域に格納された画像データを読み出してソフトウェア処理を施したり、読出した画像データを圧縮伸長処理部１１０で圧縮符号化させ、カード・インターフェース１０８を介してＩＣメモリに記録させたりするように制御できる。
【０００３】
また、このデジタル・カメラは、撮像した画像データを電子的に表示する２種類の表示装置を備えている。一つは、デジタル・カメラの背面部などに設けられた比較的大画面のＬＣＤ（液晶ディスプレイ）装置１１１、もう一つは、デジタル・カメラの接眼部に設けられる電子ビューファインダー（以下、ＥＶＦと略す。）１１４である。ＥＶＦ１１４には、１フレームを面順次形式で表示する面順次ディスプレイが使用される。ユーザーは、デジタル・カメラに備わる切替ボタン（図示せず）などを操作して何れか一方の表示装置を選択できる。それら表示装置に画像データを動画像表示する際、ＣＰＵ１０７は、画像処理部１０３から低解像度の画像データを次々と出力させ、バス１１５を介してディスプレイ信号処理部１０９に転送する。ＬＣＤ装置１１１で動画像表示するとき、ディスプレイ信号処理部１０９は、その画像データをアナログＲＧＢ信号などの映像信号に変換してＬＣＤ装置１１１に出力する。ＬＣＤ装置１１１は、入力する映像信号に基づいて液晶パネルやバックライトを駆動することで動画像表示を行う。尚、ディスプレイ信号処理部１０９から出力された映像信号をケーブル１１２を介して外部のＴＶモニターに転送し、動画像表示することも可能である。
【０００４】
一方、ＥＶＦ１１４で動画像表示するとき、ディスプレイ信号処理部１０９は、バス１１５を介して入力する画像データをデータ変換回路１１３に転送する。画像処理部１０３からは、１画素当たりＲ（赤色），Ｇ（緑色），Ｂ（青色）の３原色成分、もしくは、１画素当たりＹ（輝度成分），Ｃｂ（色差成分），Ｃｒ（色差成分）などの３成分などが点順次形式で出力されており、データ変換回路１１３は、転送された画像データの各成分を画素単位で配列した点順次形式のデータ（以下、点順次データと呼ぶ。）から、フレーム単位で配列した面順次形式のデータ（以下、面順次データと呼ぶ。）に変換し、ＥＶＦ１１４に出力する。図２１は、Ｒ，Ｇ，Ｂの点順次形式の画像データを模式的に示す説明図である。同図に示すように、１フレームは、R[0, 0]，G[0, 0]，B[0, 0]，R[1, 0]，G[1, 0]，B[1, 0]，…，R[i, j]，G[i, j]，B[i, j]…，R[w-1, h-1]，G[w-1, h-1]，B[w-1, h-1]（ｉ：水平画素番号、ｊ：水平ライン番号）の順序で転送される。また、図２２は、Ｒ，Ｇ，Ｂの面順次形式の画像データを模式的に示す説明図である。同図に示すように、１フレームは、R[0, 0]，…，R[w-1, h-1]，G[0, 0]，…，G[w-1, h-1]，B[0, 0]，…，B[w-1, h-1]の順序で転送されることになる。すなわち、R[0, 0]，…，R[w-1, h-1]のみのＲフィールド、G[0, 0]，…，G[w-1, h-1]のみのＧフィールド、そして、B[0, 0]，…，B[w-1, h-1]のみのＢフィールドがこの順序で転送される。
【０００５】
従来のデータ変換回路１１３は、少なくとも１フレーム分のバッファ・メモリを備えており、入力する点順次データをそのバッファ・メモリに１フレーム分記憶し、面順次形式で読み出し、高いフレームレートでＥＶＦ１１４に出力していた。例えば、点順次データが各色８ビットの３成分からなる場合、総画素数×３バイトの容量をもつバッファ・メモリが必要となる。しかしながら、バッファ・メモリが１フレーム分の容量しか持たない場合、バッファ・メモリに点順次データを書き込む過程で、そのバッファ・メモリから面順次データが読み出されることが起こり得る。ＥＶＦ１１４は、各色フィールドを時系列で取り込むため、被写体が動いている場合にその被写体が各色フィールド毎に異なる位置に表示されるという、所謂「色ズレ」現象が起きるという問題がある。
【０００６】
また、ＥＶＦ１１４などの表示装置で点順次データを表示するとき、インタレース表示をプログレッシブ表示に変換する場合や、表示装置の表示速度に合わせてフレームを出力する場合に、所謂、フレームレート変換が行われている。しかしながら、１フレーム分のバッファ・メモリでフレームレート変換を行うとき、図２３に示すように、表示画像１１６中の高速で動く被写体１１７が、表示画像１１６の上部１１６ａと下部１１６ｂとでずれて見えるという、所謂「位置ズレ」現象が起こるという問題がある。
【０００７】
以上の点順次−面順次変換やフレームレート変換で生じる現象を防止するには、２フレーム分のバッファ・メモリを用意すればよい。図２４は、２フレーム分のバッファ・メモリ１２２Ａ，１２２Ｂを有するデータ変換回路１１３を示す概略図である。このデータ変換回路１１３では、色空間変換回路１２０は入力する点順次データの色空間をＲＧＢ空間に変換して出力する。この色空間変換回路１２０から出力された点順次データは、書込み制御部１２１により、第１バッファ・メモリ１２２Ａと第２バッファ・メモリ１２２Ｂとの何れか一方に書き込まれるように制御される。また、読出し制御部１２３は、何れか一方のバッファ・メモリ１２２Ａまたは１２２Ｂに点順次データが書き込まれている期間、他方のバッファ・メモリ１２２Ｂまたは１２２Ａから、高いフレームレートで面順次データを読出すように制御し、ＥＶＦ１１４に出力する。
【０００８】
【発明が解決しようとする課題】
しかしながら、図２４に示すデータ変換回路１１３では、２フレーム分のバッファ・メモリを用意しなければならない。これにより、回路の消費電力が増大するためデジタル・カメラの長時間の連続使用が難しくなり、また、回路規模も大きくなるためコストの増大が避けられないという問題があった。
【０００９】
以上の問題などに鑑みて本発明が解決しようとするところは、バッファ・メモリの容量を増大させず、上述の色ズレ現象や位置ズレ現象を起こさない、低消費電力で且つ低廉なデータ変換回路を提供する点にある。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、１画素当たり複数成分を有する入力画像データを、１画素当たり単成分を有する画像データにサンプリングし出力するサンプリング部と、前記入力画像データの着目画素と周辺画素との相関状態に対応する値をもつキー信号を算出するキー信号算出部と、前記サンプリング部から出力された画像データと前記キー信号とをフレーム単位またはフィールド単位でバッファ・メモリに記憶させるように制御する書込み制御手段と、前記バッファ・メモリに記憶済みの前記画像データと前記キー信号とをフレーム単位またはフィールド単位で読出すように制御する読出し制御手段と、前記読出し制御手段により読み出された前記画像データに対して１画素当たり複数成分を補間する画素補間処理を前記キー信号の値に応じて個別に実行し、該画素補間処理を施した補間データを表示装置に出力する補間部と、を備えることを特徴とするものである。
【００１１】
請求項２に係る発明は、請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データと前記キー信号とを結合した結合データを前記バッファ・メモリに記憶させ、前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出された前記結合データを分離して得られる前記画像データに対して前記画素補間処理を実行するものである。
【００１２】
請求項３に係る発明は、請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データの下位ビットに前記キー信号を含めたデータを前記バッファ・メモリに記憶させ、前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出されたデータから前記画像データと前記キー信号とを抽出して前記画素補間処理を実行するものである。
【００１３】
請求項４に係る発明は、請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、前記書込み制御手段は、前記画像データおよび前記キー信号を前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、前記補間部は、前記各成分を画素単位で配列した点順次形式の前記画像データから、前記各成分をフレーム単位またはフィールド単位で配列した面順次形式の前記補間データを生成するものである。
【００１４】
請求項５に係る発明は、請求項４記載のデータ変換回路であって、前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで面順次形式の前記補間データを生成するものである。
【００１５】
請求項６に係る発明は、請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、前記書込み制御手段は、前記サンプリング部から出力された画像データと前記キー信号とを前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで前記画素補間処理を実行して前記補間データを出力するものである。
【００１６】
【発明の実施の形態】
デジタル・カメラの構成．
最初に、本発明の実施の形態に係るデータ変換回路を組み込んだデジタル・カメラの構成例を示した後、各実施の形態に係るデータ変換回路を詳説する。図１は、そのデータ変換回路５を組み込んだデジタル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・カメラ１は、ＡＦ（オート・フォーカス；自動合焦）制御機能や自動露出制御機能などを有する光学機構２、この光学機構２を透過した光を受光するＣＣＤ撮像素子３、このＣＣＤ撮像素子３から出力されるアナログ画像信号を処理してデジタル画像データ（原画像データ；Raw Image Data）を出力するアナログ信号処理部４、そして、原画像データに対してデジタル画像処理を行う画像処理部８を備えている。尚、タイミング・ジェネレータ７は、ＣＣＤ駆動部３Ａ、アナログ信号処理部４、画像処理部８およびデータ変換回路５の動作タイミングを規律するクロック信号を生成し供給するものである。
【００１７】
前記ＣＣＤ撮像素子３は、ＣＣＤ駆動回路３Ａから駆動信号の供給を受けて動作し、光電効果で発生したキャリア（電子またはホール）を蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送する電荷転送部とを備えたものである。このＣＣＤ撮像素子３の感光部上には、入射した光を画素単位で着色する単板式の色フィルタ・アレイが設けられている。このため、ＣＣＤ撮像素子１２の感光部には、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色、若しくは、Ｙ（イエロー色），Ｍ（マゼンダ色），Ｃ（シアン色），Ｇ（緑色）などの４色で着色した光が入射し、光電変換を受けることになる。尚、ＣＣＤ撮像素子３の代わりに、電荷転送部をもたないＣＭＯＳ撮像素子を採用してもよい。
【００１８】
アナログ信号処理部４は、ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control；自動利得制御）回路およびＡ／Ｄ変換回路を備えている。ＣＣＤ撮像素子３は、通常黒レベルの基準レベルをもつ基準信号と、その基準信号を含む画像信号とを時分割で交互に出力する。ＣＤＳ回路は、画像信号に含まれるノイズ成分を除去するために、その基準信号と画像信号とをサンプリングし、両信号の差分信号を取り出して出力する。また、ＡＧＣ回路は、ＣＤＳ回路から入力する差分信号の信号レベルを適正化した信号を出力し、また、Ａ／Ｄ変換回路は、ＡＧＣ回路からの入力信号をサンプリングし、所定の量子化ビット数で量子化した原画像データ（Raw Image Data）を出力する。
【００１９】
画像処理部８は、タイミング・ジェネレータ７から供給されるクロック信号と同期して動作する集積回路である。この画像処理部８は、アナログ信号処理部４から入力する原画像データに対して、シェーディング補正処理、画素補間処理、ガンマ補正処理、色空間変換処理、輪郭強調処理および解像度変換処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。例えば、画素補間処理では、前記単板式の色フィルタ・アレイにより１画素につき単成分しか持たない画像信号に対して、１画素当たり複数成分が補間される。これにより、１画素につきＲ，Ｇ，Ｂの３原色成分、もしくはＹ，Ｍ，Ｃ，Ｇなどの補色系の４色成分をもつ画像信号が生成される。
【００２０】
画像処理部８が出力した画像信号は、バス１０を介してＣＰＵ（中央演算処理部）１１または主メモリ９に転送され、様々な処理を施される。ＣＰＵ１１は、主メモリ９を作業領域として利用し、画像信号に対して種々のソフトウェア処理を実行できる。また、ＣＰＵ１１は、圧縮伸長処理部１６を起動することで、その画像信号をＪＰＥＧ（Joint Photographic Expert Group）方式やモーションＪＰＥＧ方式などで圧縮符号化した後、その圧縮データをインターフェース部１５に転送し、メモリ・カードなどの記憶媒体に格納したり、パーソナル・コンピュータなどの外部機器に出力したりすることが可能である。
【００２１】
ＣＰＵ１１は、更に、画像処理部８から連続的に出力される静止画像（フレーム）を、ＬＣＤ装置１３やＥＶＦ６で動画像表示させるように制御できる。ＬＣＤ装置１３は、デジタル・カメラ１の背面部に設けられる比較的大画面の表示装置であり、ＥＶＦ６は、デジタル・カメラ１の接眼部に設けられる面順次ディスプレイである。ＣＣＤ撮像素子３で撮像した連続フレームをＬＣＤ装置１３で表示する場合、ＣＰＵ１１は、画像処理部８から、ＬＣＤ装置１３の解像度に合わせて解像度変換を施され出力される各フレームを、バス１０を介してディスプレイ信号処理部１２に次々と転送するように制御する。ディスプレイ信号処理部１２は、転送されたフレームをテレビ信号に変換してＬＣＤ装置１３に出力する。尚、そのテレビ信号は、ケーブル１４を介して外部のテレビモニタに出力されることも可能である。
【００２２】
また、ＣＣＤ撮像素子３で撮像した連続フレームをＥＶＦ６で表示する場合、ディスプレイ信号処理部１２は、画像処理部８から転送されたデジタルＲＧＢ信号を、ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）勧告ＢＴ．６０１準拠のＹＵＶ４４４形式の信号へ変換し、輝度信号（Ｙデータ）と色差信号（Ｕデータ，Ｖデータ）とからなる２４ビット幅のＹＵＶデータを出力するものとする。このＹＵＶデータは、本発明に係るデータ変換回路５で点順次データから面順次データに変換後、ＥＶＦ６に出力され、動画像表示される。
【００２３】
データ変換回路５は、データ書込・読出部２６と補間部２５とから構成されている。データ書込・読出部２６では、サンプリング・キー信号算出部２０は、入力するＹＵＶデータをサンプリングして１画素当たり単成分（Ｙ成分、Ｕ成分またはＶ成分）を有する画像データに変換して出力すると同時に、後に詳述するように、入力するＹＵＶデータの着目画素と周辺画素との相関状態に対応した値をもつキー信号を算出する機能を有する。このサンプリング・キー信号算出部２０に入力するＹＵＶデータは、１画素当たり３成分（Ｙ成分、Ｕ成分およびＶ成分）を有するものであるが、所定の配列で１画素当たり単成分にサンプリングされる。このため、１画素当たりＮ成分（Ｎ≧３）を有する画像データを格納する場合と比べると、第１バッファ・メモリ２２と第２バッファ・メモリ２３とに必要なメモリ容量は１／Ｎで済み、大幅に削減できることから、回路規模の縮小と低コスト化を図ることが可能となる。
【００２４】
また、書込み制御部２１は、サンプリング・キー信号算出部２０からの入力データを、第１バッファ・メモリ２２と第２バッファ・メモリ２３とにフレーム単位またはフィールド単位で交互に記憶させるように制御する。ここで、フィールドとは、偶数番目の水平ラインのみからなる偶数フィールド、もしくは奇数番目の水平ラインのみからなる奇数フィールドを意味している。また、読出し制御部２４は、第１バッファ・メモリ２２と第２バッファ・メモリ２３との一方のメモリにデータが書き込まれる期間は、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出して補間部２５に出力するように制御するものである。
【００２５】
補間部２５は、読出し制御部２４で読み出されたデータに対して、後に詳述するように上記キー信号に基づいて１画素当たり複数成分を補間する画素補間処理を行い、面順次データをＥＶＦ６に出力する。
【００２６】
以上の構成を有するデジタル・カメラ１に搭載されたデータ変換回路５の実施の形態について以下に詳説する。
【００２７】
実施の形態１．
図２および図３に、本発明の実施の形態１に係るデータ変換回路５1を示す。図２と図３は、図４に示す位置関係に従って１点鎖線を介して互いに連続している。本実施の形態１に係るデータ変換回路５1は、図２に示すデータ書込・読出部２６1と、図３に示す補間部２５1とから構成されている。
【００２８】
図２に示すデータ書込・読出部２６1のサンプリング・キー信号算出部２０は、上記ディスプレイ信号処理部１２から出力された２４ビット幅のＹＵＶデータを、１画素当たり単成分を有するデータに変換するサンプリング回路２０Ａと、そのＹＵＶデータに基づいて後述する２ビット幅のキー信号を画素単位で算出するキー信号算出回路２０Ｂとを備えている。図５は、サンプリング回路２０Ａが出力するデータの成分配列４０を示す説明図である。Ｙ成分，Ｕ成分，Ｖ成分をもつ各画素にそれぞれ「Ｙ」，「Ｕ」，「Ｖ」の文字が付されている。
【００２９】
サンプリング回路２０Ａは、図５に示す成分配列４０に従って各成分をサンプリングする。すなわち、Ｙ成分（輝度成分）は、各水平ライン上で１水平画素置きの千鳥配列でサンプリングされ、Ｕ成分とＶ成分（色差成分）はそれぞれ、１水平ライン置きに且つ１水平画素置きにサンプリングされて、８ビット幅の画素データとして出力される。そして、サンプリング回路２０Ａが出力した８ビット幅の画素データと、キー信号算出回路２０Ｂが出力した２ビット幅のキー信号とは結合され、１０ビット幅の結合データとなって第１バッファ・メモリ（ＳＲＡＭ）２２と第２バッファ・メモリ（ＳＲＡＭ）２３とに出力される。
【００３０】
このデータ書込・読出部２６1は、２バンクを構成する第１バッファ・メモリ２２と第２バッファ・メモリ２３を備えており、更に、データ書込み用のアドレス信号を生成する入力用アドレス・ジェネレータ２７、この入力用アドレス・ジェネレータ２７に対してデータ書込み用のタイミングを指示する入力用タイミング・ジェネレータ２８、データ読出し用のアドレス信号を生成する出力用アドレス・ジェネレータ３０、そして、この出力用アドレス・ジェネレータ３０に対してデータ読出しのタイミングを指示する出力用タイミング・ジェネレータ２９を備えている。
【００３１】
前記第１バッファ・メモリ２２と第２バッファ・メモリ２３は共に、少なくとも、３２０×２４０画素（＝水平画素数×垂直画素数）×１０ビットの記憶容量を有している。この記憶容量のうち３２０×２４０画素分は、ＥＶＦ６の表示画素数に対応したものである。これら第１バッファ・メモリ２２と第２バッファ・メモリ２３は共に、ライト・イネーブル端子ＷＥとリード・イネーブル端子ＲＥを備えており、各イネーブル端子ＷＥ，ＲＥは、何れかのＡＮＤゲート３１，３２，３３，３４から制御信号を供給される。
【００３２】
サンプリング・キー信号算出部２０が出力する１０ビット幅の結合データは、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各データ入力端子Ｄｉｎに入力し、各バッファ・メモリ２２，２３に、フレーム単位またはフィールド単位で交互に格納される。第１バッファ・メモリ２２にデータ書込みを行う間に第２バッファ・メモリ２３からデータ読出しを行う期間は、バンク選択信号ＢＳＣＴの信号レベルは"Ｈ（High）"に切り替えられ維持される。この期間、第１バッファ・メモリ２２のライト・イネーブル端子ＷＥに制御信号を供給するＡＮＤゲート３１と、第２バッファ・メモリ２３のリード・イネーブル端子ＲＥに制御信号を供給するＡＮＤゲート３４とに、Ｈレベル信号が伝達する。また、Ｈレベルのバンク選択信号ＢＳＣＴは、インバータ３５でＬ（Low）レベル信号にレベル反転される。このＬレベル信号は、第１バッファ・メモリ２２のリード・イネーブル端子ＲＥに制御信号を供給するＡＮＤゲート３２と、第２バッファ・メモリ２３のライト・イネーブル端子ＷＥに制御信号を供給するＡＮＤゲート３３とに供給されている。他方、第２バッファ・メモリ２３にデータ書込みを行う間に第１バッファ・メモリ２２からデータ読出しを行う期間は、バンク選択信号ＢＳＣＴの信号レベルは"Ｌ"に切り替えられ維持される。
【００３３】
入力用タイミング・ジェネレータ２８と入力用アドレス・ジェネレータ２７は共に、供給される入力画素クロックＩＣＬＫと同期して動作する。入力用タイミング・ジェネレータ２８は、レジスタ２８Ａに記憶された解像度変換係数α，β（α，β：１以上の値）に基づき、入力画素クロックＩＣＬＫ、水平同期信号ＨＤおよび垂直同期信号ＶＤを用いてライト・イネーブルパルスＷＥＢＬを生成し、入力用アドレス・ジェネレータ２７に出力する。ここで、水平同期信号ＨＤと垂直同期信号ＶＤは、図１に示すタイミング・ジェネレータ７から供給される。また、αは、当該ＹＵＶデータの画像サイズを水平方向に１／α倍に解像度変換するための係数、βは、その画像サイズを垂直方向に１／β倍に解像度変換するための係数である。係数α，βの値は、ＹＵＶデータの解像度がＥＶＦの解像度に適合するように調整される。
【００３４】
また、入力用アドレス・ジェネレータ２７は、書込みアドレスを増分するアドレス・カウンタ（図示せず）を内蔵しており、そのアドレス・カウンタは、前記ライト・イネーブルパルスＷＥＢＬが入力する度に書込みアドレスの増分動作を行い、アドレス信号を生成する。また、入力用アドレス・ジェネレータ２７は、データ書込み時には、生成したアドレス信号を、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各アドレス入力端子Ａｄｄｒ_ｉに供給すると同時に、Ｈレベルのライト・イネーブル信号をＡＮＤゲート３１，３３に供給する。ＡＮＤゲート３１は、そのライト・イネーブル信号とバンク選択信号ＢＳＣＴとを論理積演算した信号を第１バッファ・メモリ２２の端子ＷＥに出力する。また、ＡＮＤゲート３３は、そのライト・イネーブル信号と、インバータ３５から供給される反転信号とを論理積演算した信号を第２バッファ・メモリ２３の端子ＷＥに出力する。
【００３５】
尚、図１に示した書込み制御部２１は、上記の入力用アドレス・ジェネレータ２７、入力用タイミング・ジェネレータ２８、ＡＮＤゲート３１，３３で構成されるものである。
【００３６】
次に、出力用タイミング・ジェネレータ２９と出力用アドレス・ジェネレータ３０は共に、供給される出力画素クロックＯＣＬＫと同期して動作する。出力用タイミング・ジェネレータ２９は、出力画素クロックＯＣＬＫを用いてデータ読出しのタイミングを示すリード・イネーブルパルスＲＥＢＬを生成し、出力用アドレス・ジェネレータ３０に供給する。
【００３７】
また、出力用アドレス・ジェネレータ３０は、読出しアドレスを増分するアドレス・カウンタ（図示せず）を内蔵しており、このアドレス・カウンタは、リード・イネーブルパルスＲＥＢＬが入力する度に当該読出しアドレスの増分動作を行い、アドレス信号を生成する。また、出力用アドレス・ジェネレータ３０は、データ読出し時には、生成したアドレス信号を、第１バッファ・メモリ２２と第２バッファ・メモリ２３との各アドレス入力端子Ａｄｄｒ_ｏに供給すると同時に、Ｈレベルのリード・イネーブル信号を各ＡＮＤゲート３２，３４に供給する。一方のＡＮＤゲート３４は、そのリード・イネーブル信号とバンク選択信号ＢＳＣＴとを論理積演算した信号を生成し、第２バッファ・メモリ２３の端子ＲＥに出力し、他方のＡＮＤゲート３２は、そのリード・イネーブル信号と、インバータ３５から供給される反転信号とを論理積演算した信号を第１バッファ・メモリ２２の端子ＲＥに出力している。
【００３８】
尚、データ読出し時のフレームレートを高めるため、出力画素クロックＯＣＬＫの周波数は入力画素クロックＩＣＬＫのそれよりも高く設定されている。
【００３９】
以上のように第１バッファ・メモリ２２のデータ出力端子Ｄｏｕｔから読み出された１０ビット幅の結合データはセレクタ２４Ａの「０」側端子に入力する一方、第２バッファ・メモリ２３のデータ出力端子Ｄｏｕｔから読み出された１０ビット幅の結合データはセレクタ２４Ａの「１」側端子に入力する。セレクタ２４Ａは、バンク選択信号ＢＳＣＴの信号レベルが"Ｌ"または"Ｈ"に応じて「０」側端子または「１」側端子を選択し、選択した端子から入力する結合データを図３に示す補間部２５1に出力する。
【００４０】
尚、図１に示した読出し制御部２４は、上記の出力用タイミング・ジェネレータ２９、出力用アドレス・ジェネレータ３０、ＡＮＤゲート３２，３４およびセレクタ２４Ａで構成されるものである。
【００４１】
次に、図３に示す補間部２５1について説明する。補間部２５1に入力した１０ビット幅の結合データは、８ビット幅の画素データと２ビット幅のキー信号とに分離される。補間部２５1は、８ビット幅の画素データを３×３画素の領域に保持するレジスタ群３６と、１水平ラインの画素データを一時的に記憶するＦＩＦＯメモリ３８と、補間・成分選択回路３９とから構成される。
【００４２】
レジスタ群３６は、９個のレジスタ３７Ａ，３７Ｂ，３７Ｃ，３７Ｄ，３７Ｅ，３７Ｆ，３７Ｇ，３７Ｈ，３７Ｉを、ＦＩＦＯメモリ３８を介して直列に多段接続したものである。レジスタ３７Ａ〜３７Ｉは、出力画素クロックＯＣＬＫが入力する度に、データ入力端子（Ｄ）に入力する画素データを取り込むと同時に、保持している画素データをデータ出力端子（Ｑ）から次段のレジスタまたはＦＩＦＯメモリ３８へシフトさせる。このようなレジスタ群３６は、１フレーム内または１フィールド内の任意の３×３画素領域の画素データを保持することが可能である。尚、図３に示した例では、レジスタ群３６は９個のレジスタ３７Ａ〜３７Ｉを有するが、この代わりに、２５個のレジスタを有することで５×５画素領域の画素データを保持してもよい。
【００４３】
また、補間・成分選択回路３９には、レジスタ３７Ａ〜３７Ｉの各データ出力端子（Ｑ）から出力された８ビット幅の画素データと、２ビット幅のキー信号とが入力する。補間・成分選択回路３９は、上記出力用タイミング・ジェネレータ２９から供給されるタイミング信号ＴＩと同期して動作し、入力する３×３画素領域の画素データを用いてキー信号の値に応じた画素補間処理を実行した後、色空間変換を実行してＲＧＢの３成分を出力する。本実施の形態１では、Ｒ成分のみのＲフィールド、Ｇ成分のみのＧフィールドおよびＢ成分のみのＢフィールドを画素補間処理でつくり出すために、第１バッファ・メモリ２２または第２バッファ・メモリ２３から同じ画素データが、各フィールド毎に３回読み出される。このように、補間・成分選択回路３９は、図２２に示したような面順次データをＥＶＦ６へ出力することとなる。
【００４４】
キー値算出処理と画素補間処理．
次に、上記したキー信号算出回路２０Ｂにおけるキー値算出処理と、補間・成分選択回路３９における画素補間処理について詳説する。上記サンプリング回路２０Ａでは、１画素当たり３成分を有する画像データから、１画素当たり単成分を有するデータがサンプリングされる。その後、補間・成分選択回路３９の画素補間処理により、１画素当たり３成分を有する画像データが復元されるが、サンプリングにより失われた画像情報を完全に再構築するのは難しく、画質低下は避けられない。特に、水平画素方向または垂直画素方向の境界線がギザギザ状で復元されたり、縦線からなる縞模様が横線からなる縞模様に誤って復元されたりするという問題が生じていた。本実施の形態１では、キー信号算出回路２０Ｂでサンプリング前の画像データの着目画素と周辺画素との相関状態に対応した値をもつキー信号を算出し、補間部２５でキー信号の値に対応した画素補間処理を個別に行うことで、前述の問題を大幅に改善することが可能となる。
【００４５】
キー値算出処理と画素補間処理の例１．
本例では、キー信号算出回路２０Ｂは、３×３画素領域の画像データを一時的に記憶するレジスタ（図示せず）を備えている。図６は、その３×３画素領域の画像データ４１を簡略的に示す説明図である。図６には、各画素に対応して「Ｘ」，「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｚ」の文字が付されている。本例では、「Ｚ」を付した画素は、サンプリングされない間引き対象の着目画素を示しており、「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｚ」を付した画素の画素データは、それぞれ、ＤA，ＤB，ＤC，ＤD，ＤZで示されるものとする。
【００４６】
キー信号算出回路２０Ｂは、間引き対象の着目画素と周辺画素との間の輝度成分に関する差分値Δ1，Δ2を次式（１），（２）に従って算出する。
【００４７】
【数１】
上式（１），（２）中、ＡＢＳ（ｘ）は、数値ｘの絶対値を求める記号である。差分値Δ１は、当該着目画素と垂直方向の周辺画素との相関状態を示し、差分値Δ２は、当該着目画素と水平方向の周辺画素との相関状態を示している。本例では、差分値Δ１，Δ２の値が小さい程に相関状態が高いとみなされる。また、サンプリング回路２０Ａが図５に示す成分配列４０に従って単成分をサンプリングするとき、着目画素ではＵ成分またはＶ成分がサンプリングされ、当該着目画素の垂直・水平方向に隣接する周辺画素ではＹ成分がサンプリングされる。よって、キー信号算出回路２０Ｂは、着目画素でＵ成分またはＶ成分がサンプリングされたときにＹ成分に関する差分値Δ１，Δ２を算出する。
【００４９】
次いで、キー信号算出回路２０Ｂは、双方の差分値Δ1，Δ2の大小関係を判定し、Δ1の値がΔ2の値以下である（Δ1≦Δ2）と判定した場合、「０」の値をもつキー信号を出力し、他方、Δ1の値がΔ2の値を超えている（Δ1＞Δ2）と判定した場合は、「１」の値をもつキー信号を出力する。従って、本例では、２ビット幅のキー信号の下位１ビットのみが使用される。
【００５０】
一方、補間・成分選択回路３９は、図３に示すレジスタ群３６の中央のレジスタ３７Ｅから出力される画素データを着目画素のデータとみなし、レジスタ３７Ｂ，３７Ｄ，３７Ｆ，３７Ｈから出力される画素データを周辺画素のデータとみなして、画素補間処理を実行する。補間・成分選択回路３９は、着目画素に対応するキー信号の値が「０」の場合、垂直方向に隣接する周辺画素のデータの平均値を補間データとし、他方、そのキー信号の値が「１」の場合は、水平方向に隣接する周辺画素のデータの平均値を補間データとして算出する。
【００５１】
このように本例では、サンプリング前の画像データの着目画素と周辺画素との相関状態の情報をキー信号に含め、このキー信号の値に対応した画素補間処理を個別に行うため、サンプリングによる画質劣化が抑制された面順次データを生成し出力することが可能である。
【００５２】
キー値算出処理と画素補間処理の例２．
上記例１の場合と同様に、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えている。キー信号算出回路２０Ｂは、間引き対象の着目画素と周辺画素との間で、輝度成分に関する差分値ΔU，ΔD，ΔR，ΔLを次式（３）〜（６）に従って算出する。但し、次式（３）〜（６）中、ＶKは、各式に対応するキー信号の値を示している。
【００５３】
【数２】
上式（３）〜（６）において、差分値ΔU，ΔDは、着目画素に対して垂直方向上下両側に隣接する周辺画素との相関状態を示しており、差分値ΔR，ΔLは、着目画素と水平方向左右両側に隣接する各周辺画素との相関状態を示している。本例では、差分値が小さい程に相関状態が高いとみなされる。
【００５５】
次に、キー信号算出回路２０Ｂは、差分値ΔU，ΔD，ΔR，ΔLの中から最小値をもつものを選択する。キー信号の値は、差分値ΔUを選択した場合が「０」、差分値ΔDを選択した場合が「１」、差分値ΔRを選択した場合が「２」、差分値ΔLを選択した場合が「３」に設定される。
【００５６】
一方、補間・成分選択回路３９は、上記の例１と同様に、図３に示すレジスタ群３６の中央のレジスタ３７Ｅから出力される画素データを着目画素のデータとみなし、レジスタ３７Ｂ，３７Ｄ，３７Ｆ，３７Ｈから出力される画素データを周辺画素のデータとみなして、画素補間処理を実行する。補間・成分選択回路３９は、キー信号の値が「０」の場合は、レジスタ３７Ｅに対して垂直方向上方に隣接するレジスタ３７Ｂから出力される画素データを補間データとし、キー信号の値が「１」の場合は、垂直方向下方に隣接するレジスタ３７Ｈから出力される画素データを補間データとし、キー信号の値が「２」の場合は、水平方向右隣のレジスタ３７Ｆから出力される画素データを補間データとし、キー信号の値が「３」の場合は、水平方向左隣のレジスタ３７Ｄから出力される画素データを補間データとして出力する。このように、本例でも、サンプリングによる画質劣化が抑制された面順次データを生成し出力することが可能である。
【００５７】
キー値算出処理と画素補間処理の例３．
上記例１，２の場合と同様に、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えている。また、本例では、後述するように３ビットのキー信号が出力されるため、サンプリング回路２０Ａから出力される８ビット幅の画像信号と、キー信号算出回路２０Ｂから出力される３ビット幅のキー信号とを結合した１１ビット幅の結合データが出力される。また、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００５８】
キー信号算出回路２０Ｂは、入力する画像データ（ＹＵＶデータ）の輝度成分に関して空間フィルタリング処理を実行する。このため、キー信号算出回路２０Ｂは、輝度成分に関して垂直画素方向の縦線、水平画素方向の横線、斜線、垂直画素方向の境界線（縦エッジ）、水平画素方向の境界線（横エッジ）、斜め方向の境界線（斜めエッジ）をそれぞれ検出する３×３画素の空間フィルタを備えている。図７に示すように、その空間フィルタ（重みマスク）４２は、３×３画素領域における各画素データに一対一対応する係数値Ａ（ｉ，ｊ）（ｉ，ｊは０〜２の整数）を有し、各係数値Ａ（ｉ，ｊ）を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有するものである。図８〜図１５は、各種の空間フィルタを例示する図である。図８は、縦線検出用の係数値をもつ空間フィルタ４２Ａを示し、図９は、横線検出用の係数値をもつ空間フィルタ４２Ｂを示し、図１０は、右下がりの斜線検出用の係数値をもつ空間フィルタ４２Ｃを示し、図１１は、右上がりの斜線検出用の係数値をもつ空間フィルタ４２Ｄを示し、図１２は、縦エッジ検出用の係数値をもつ空間フィルタ４２Ｅを示し、図１３は、横エッジ検出用の係数値をもつ空間フィルタ４２Ｆを示し、図１４は、右下がりの斜めエッジ検出用の係数値をもつ空間フィルタ４２Ｇを示し、図１５は、右上がりの斜めエッジ検出用の係数値をもつ空間フィルタ４２Ｈを示している。
【００５９】
また、これら空間フィルタ４２Ａ〜４２Ｈから出力される積和演算値が所定の閾値を超えたか否かが判定される。その積和演算値が閾値を超えた場合、所定値をもつキー信号が出力される。本例でのキー信号の値は、空間フィルタ４２Ａ（図８）で縦線を検出した場合が「０」、空間フィルタ４２Ｂ（図９）で横線を検出した場合が「１」、空間フィルタ４２Ｃ（図１０）で右下がりの斜線を検出した場合が「２」、空間フィルタ４２Ｄ（図１１）で右上がりの斜線を検出した場合が「３」、空間フィルタ４２Ｅ（図１２）で縦エッジを検出した場合が「４」、空間フィルタ４２Ｆ（図１３）で横エッジを検出した場合が「５」、空間フィルタ４２Ｇ（図１４）で右下がりの斜めエッジを検出した場合が「６」、空間フィルタ４２Ｈ（図１５）で右上がりの斜めエッジを検出した場合が「７」に設定される。
【００６０】
一方、補間部２５は、図３に示す３×３画素の画素データを保持するレジスタ群３６を備える代わりに、５×５画素の画素データを保持するレジスタ群を備える必要がある。図１５は、補間部２５が備えるレジスタ群に保持される５×５画素領域の画像データ４３を簡略的に示す図である。図１５には、各画素に対応して「Ｘ」，「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」，「Ｅ」，「Ｆ」，「Ｇ」，「Ｈ」，「Ｉ」，「Ｊ」，「Ｋ」，「Ｌ」の文字が付されている。「Ｚ」を付した画素が、画素補間対象の着目画素である。また、「Ａ」〜「Ｌ」を付した各画素の画素データを、それぞれ、ＩＤA〜ＩＤLで表すものとする。
【００６１】
補間部２５に入力する１１ビット幅の結合データは８ビット幅の画素データと３ビット幅のキー信号とに分離される。補間・成分選択回路３９は、入力する３ビット幅のキー信号の値「０」〜「７」に応じて、それぞれ、次式（７）〜（１４）に従って補間データＤZを出力する。但し、次式（７）〜（１４）中、ＶKは、各式に対応するキー信号の値を示している。
【００６２】
【数３】
但し、上式（１１），（１２）の関数Median（Ｘ1，Ｘ2，Ｘ3，Ｘ4）は、引数Ｘ1〜Ｘ4を昇順に並べ替えたとき、その中央にくる数値（中央値）を算出する。すなわち、数値Ｘ1〜Ｘ4の中で中央値より小さな数値の個数と、中央値よりも大きな数値の個数とが等しくなる。例えば、Median（1, 2, 3, 4）＝2.5である。
【００６４】
このように、本例では、サンプリング前の画像データに現れる縦線や斜線などの特徴を相関状態として検出し、各特徴に応じてキー信号の値を設定するため、画素補間処理時に、サンプリング前の画像データの特徴を正確に復元することができ、画質劣化の少ない面順次データを生成し出力することが可能となる。
【００６５】
キー値算出処理と画素補間処理の例４．
上記例３と同様に本例では、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えており、３ビット幅のキー信号を出力する。このため、サンプリング回路２０Ａから出力される８ビット幅の画像信号と、キー信号算出回路２０Ｂから出力される３ビット幅のキー信号とを結合した１１ビット幅の結合データが出力される。また、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００６６】
キー信号算出回路２０Ｂは、間引き対象の着目画素について周辺画素の輝度成分に関する平均データ＜Ｖ＞，＜Ｈ＞，＜Ｏ1＞，＜Ｏ2＞，＜Ｏ3＞，＜Ｏ4＞，＜Ｏ5＞を、次式（１５）〜（２１）に従って算出する。また、次式中、各式に対応するキー信号の値ＶKも示す。
【００６７】
【数４】
キー信号算出回路２０Ｂは、それら平均データのうち、着目画素の画素データＤZに最も近い値をもつ平均データを選択し、選択した当該平均データに対応する値ＶKをもつキー信号を出力する。
【００６９】
一方、補間部２５は、上記例３と同様に、図１５に示す５×５画素領域の画像データ４３を保持するレジスタ群を備えている。この補間部２５の補間・成分選択回路３９は、入力する３ビット幅のキー信号の値「０」〜「６」に応じて、それぞれ、次式（２２）〜（２８）に従って補間データＩＤZを算出する。
【００７０】
【数５】
キー値算出処理と画素補間処理の例５．
上記例４，５と同様に本例では、キー信号算出回路２０Ｂは、図６に示す３×３画素領域の画像データ４１を一時的に記憶するレジスタ（図示せず）を備えており、３ビット幅のキー信号を出力する。このため、第１バッファ・メモリ２２と第２バッファ・メモリ２３はそれぞれ、１１ビット幅の結合データを格納する記憶容量を有する。
【００７２】
キー信号算出回路２０Ｂは、先ず、着目画素と周辺画素の平均値との差分値ＤYを、次式（２９）に従って算出し、９ビットのレジスタ（図示せず）に格納する。
【００７３】
【数６】
次に、差分値ＤYの再現レンジが−１６以上１５以下に限定される。すなわち、差分値ＤYが１５を超える場合（ＤY＞１５）、キー信号の値ＶKをＶK＝＋３に設定し、差分値ＤYが−１６未満の場合（ＤY＜−１６）は、キー信号の値ＶKをＶK＝−４に設定する。そして、差分値ＤYが１６以上１５以下の場合（−１６≦ＤY≦１５）は、９ビットのキー信号を２ビット右シフトし、その後、右シフト後の５ビットのキー信号を２の補数表現の３ビットのデータに変換する。
以下の表１に、１０進数表記の差分値ＤYと、１０進数表記のキー信号の値ＶKと、このキー信号の値ＶKの２の補数表現とを示す。
【００７５】
【表１】
このようにキー信号算出回路２０Ｂは、輝度成分に関して画素単位で差分値ＤYを算出した後、表１に示すように、差分値ＤYの各数値範囲に対応した３ビットの値ＶKをもつキー信号を算出して出力する。
【００７７】
一方、補間部２５は、上記の例４と同様に、図１５に示す５×５画素領域の画像データ４３を保持するレジスタ群を備えている。この補間部２５の補間・成分選択回路３９には３ビット幅のキー信号が入力するから、補間・成分選択回路３９は、キー信号を２ビット左シフトして５ビット値に拡張し、次いで、２の補数形式の８ビット値ＶK’に拡張する。例えば、キー信号の値ＶKが２進数で「０１１」（１０進数で「＋３」）の場合は、キー信号を２ビット左シフトした５ビット値は２進数で「０１１００」、更に、この５ビット値をビット拡張した８ビット値ＶK’は２進数で「００００１１００」である。また、キー信号の値ＶKが２進数で「１１０」（１０進数で「−２」）の場合は、キー信号を２ビット左シフトした５ビット値は２進数で「１１０００」、更に、この５ビット値をビット拡張した８ビット値ＶK’は２進数で「１１１１１０００」となる。
【００７８】
補間・成分選択回路３９は、そのような８ビット値ＶK’とレジスタ群に記憶された画素データとを用い、次式（３０）に従って各輝度成分毎に補間データＩＤZを算出する。
【００７９】
【数７】
上式（３０）により、サンプリング前の画素データを精度良く再現することが可能となる。
【００８１】
以上、キー値算出処理と画素補間処理の例１〜５について説明した。上記の例１〜５では、輝度成分（Ｙデータ）のみについてキー信号と補間データの算出方法を説明したが、色差成分（Ｕデータ，Ｖデータ）については、既知の画素補間方法を適用すればよい。また、上記の例４，５では、３ビットのキー信号を使用したが、４ビット以上のキー信号の使用も可能である。
【００８２】
実施の形態２．
次に、本発明の実施の形態２について説明する。図１７および図１８に、本発明の実施の形態２に係るデータ変換回路５2を示す。図１７と図１８は、図１９に示す位置関係に従って１点鎖線を介して互いに連続している。本実施の形態２に係るデータ変換回路５2は、図１７に示すデータ書込・読出部２６2と、図１８に示す補間部２５2とから構成されている。尚、図１７と図１８において、図２と図３に示した符号と同一符号を付した回路については、上記のそれと略同じ構成・機能を有するものとして詳細な説明を省略する。
【００８３】
データ書込・読出部２６2のサンプリング・キー信号算出部２０2は、上記実施の形態１と同様に、キー信号を算出するキー信号算出回路２０Ｂと、入力するデータを１画素当たり単成分をもつデータに変換するサンプリング回路２０Ａとを備えている。本実施の形態２では、サンプリング回路２０Ａには、８ビットのＹデータと、８ビットのＵデータの上位６ビットとキー信号とを結合した８ビットのデータと、８ビットのＶデータの上位６ビットとキー信号とを結合した８ビットのデータとが入力する。
【００８４】
尚、キー信号算出回路２０Ｂは、２ビットのキー信号を出力する代わりに、３ビットのキー信号の出力してもよい。かかる場合、キー信号の３ビット中の２ビットを色差成分（ＵデータまたはＶデータ）の上位ビットと結合し、当該キー信号の残る１ビットを輝度成分（Ｙデータ）の上位ビットと結合する。言い換えれば、キー信号の３ビット中の２ビットを色差成分の一部ビットに格納し、当該キー信号の残る１ビットを輝度成分の一部ビットに格納することとなる。サンプリング回路２０Ａは、キー信号を含む各色成分８ビットの結合データをサンプリングして出力し、第１バッファ・メモリ２２と第２バッファ・メモリ２３とは、８ビットの結合データを格納する必要がある。
【００８５】
また、第１バッファ・メモリ２２と第２バッファ・メモリ２３とは、３２０×２４０×８ビットの結合データを格納する記憶容量をもつ。データ書込・読出部２６2のその他の構成・機能は、上記実施の形態１のそれと略同じである。
【００８６】
一方、図１８に示す補間部２５2は、３×３画素領域の８ビットの結合データを格納するレジスタ群３６と、ＦＩＦＯメモリ３８Ａ，３８Ｂと、補間・成分選択回路３９とを備えている。レジスタ群３６から出力された８ビット幅の結合データは、６ビット幅の画素データと２ビット幅のキー信号とに分離して、補間・成分選択回路３９に入力する。補間・成分選択回路３９は、上記実施の形態１と略同様に、キー信号の値ＶKに応じて個別に画素補間処理を実行して、８ビット幅の面順次データをＥＶＦ６に出力する。
【００８７】
このように、本実施の形態２のサンプリング・キー信号算出部２０2は、人間の視覚感度への影響が少ない色差成分（Ｕデータ，Ｖデータ）の下位２ビットにキー信号を含めることで、第１バッファ・メモリ２２と第２バッファ・メモリ２３とに格納する結合データの記憶容量を小さく抑えることができる。このため、メモリ容量を節減でき、回路規模を小さく抑えることができ、低消費電力で且つ低廉なデータ変換回路を実現することが可能となる。
【００８８】
以上、本発明の実施の形態１，２について説明した。上記実施の形態１，２に係るデータ変換回路はデジタル・カメラのＥＶＦ６に対して適用されていたが、本発明に係るデータ変換回路は、デジタル・カメラに限定して適用される必要は無く、点順次データから面順次データへの変換およびフレームレート変換を必要とするあらゆるインターフェースなどに適用され得るものである。
【００８９】
【発明の効果】
以上の如く、本発明の請求項１に係るデータ変換回路によれば、１画素当たり複数成分を有する入力画像データを、１画素当たり単成分を有する画像データにサンプリングしてバッファ・メモリに記憶するから、バッファ・メモリの記憶容量が少なくて済む。従って、回路規模の縮小と低コスト化を図ることができる。更に、上記サンプリング部で入力画像データの情報量が削減されるが、サンプリング前の画像データの着目画素と周辺画素との相関状態の情報をキー信号に含め、このキー信号の値に対応した画素補間処理を個別に行うため、サンプリングによる画質劣化が抑制された補間データを生成し出力することが可能となる。
【００９０】
請求項２によれば、上記サンプリング部から出力された画像データとキー信号とを結合してバッファ・メモリに記憶させるから、その記憶容量を節減できる。従って、回路の小規模化と消費電力の低減を図ることが可能となる。
【００９１】
請求項３によれば、上記バッファ・メモリに必要な記憶容量を削減できるため、回路の小規模化と消費電力の低減を図ることが可能となる。
【００９２】
請求項４によれば、画像データを第１バッファ・メモリと第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶し、これらバッファ・メモリからデータを交互に出力するから、面順次駆動の表示装置で色ズレ現象や位置ズレ現象の無い動画像を表示することが可能となる。
【００９３】
請求項５によれば、色ズレ現象を低減させて、高品質な面順次データを出力し動画像表示させることが可能となる。
【００９４】
請求項６によれば、位置ズレ現象を大幅に低減させて、高品質な補間データを出力し動画像表示させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデータ変換回路を組み込んだデジタル・カメラの全体構成を示す機能ブロック図である。
【図２】本発明の実施の形態１に係るデータ変換回路のデータ書込・読出部を示す図である。
【図３】本発明の実施の形態１に係るデータ変換回路の補間部を示す図である。
【図４】図２と図３の相互の位置関係を示す図である。
【図５】実施の形態１に係るデータ変換回路のサンプリング回路が出力するデータの成分配列を示す説明図である。
【図６】キー信号算出回路に入力する画像データの３×３画素領域を示す説明図である。
【図７】空間フィルタリング処理を行う空間フィルタを示す図である。
【図８】縦線検出用の係数値をもつ空間フィルタを例示する図である。
【図９】横線検出用の係数値をもつ空間フィルタを例示する図である。
【図１０】右下がりの斜線検出用の係数値をもつ空間フィルタを例示する図である。
【図１１】右上がりの斜線検出用の係数値をもつ空間フィルタを例示する図である。
【図１２】縦エッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１３】横エッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１４】右下がりの斜めエッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１５】右上がりの斜めエッジ検出用の係数値をもつ空間フィルタを例示する図である。
【図１６】５×５画素の画素データを簡略的に示す図である。
【図１７】本発明の実施の形態２に係るデータ変換回路のデータ書込・読出部を示す図である。
【図１８】本発明の実施の形態２に係るデータ変換回路の補間部を示す図である。
【図１９】図１７と図１８の相互の位置関係を示す図である。
【図２０】従来のデジタル・カメラの概略構成を示すブロック図である。
【図２１】Ｒ，Ｇ，Ｂの点順次形式の画像データを示す説明図である。
【図２２】Ｒ，Ｇ，Ｂの面順次形式の画像データを示す説明図である。
【図２３】位置ズレ現象を説明するための概略図である。
【図２４】２フレーム分のバッファ・メモリを有するデータ変換回路を示す概略図である。
【符号の説明】
１ デジタル・カメラ
４ アナログ信号処理部
５ データ変換回路
６ ＥＶＦ
８ 画像処理部
９ 主メモリ
１０ バス
１１ ＣＰＵ
１２ ディスプレイ信号処理部
１３ ＬＣＤ装置
２０ サンプリング・キー信号算出部
２１ 書込み制御部
２２ 第１バッファ・メモリ
２３ 第２バッファ・メモリ
２５ 補間部
２６ データ書込・読出部
Claims (6)
- １画素当たり複数成分を有する入力画像データを、１画素当たり単成分を有する画像データにサンプリングし出力するサンプリング部と、
前記入力画像データの着目画素と周辺画素との相関状態に対応する値をもつキー信号を算出するキー信号算出部と、
前記サンプリング部から出力された画像データと前記キー信号とをフレーム単位またはフィールド単位でバッファ・メモリに記憶させるように制御する書込み制御手段と、
前記バッファ・メモリに記憶済みの前記画像データと前記キー信号とをフレーム単位またはフィールド単位で読出すように制御する読出し制御手段と、
前記読出し制御手段により読み出された前記画像データに対して１画素当たり複数成分を補間する画素補間処理を前記キー信号の値に応じて個別に実行し、該画素補間処理を施した補間データを表示装置に出力する補間部と、
を備えることを特徴とするデータ変換回路。 - 請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データと前記キー信号とを結合した結合データを前記バッファ・メモリに記憶させ、
前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出された前記結合データを分離して得られる前記画像データに対して前記画素補間処理を実行する、
データ変換回路。 - 請求項１記載のデータ変換回路であって、前記書込み制御手段は、前記サンプリング部から出力された前記画像データの下位ビットに前記キー信号を含めたデータを前記バッファ・メモリに記憶させ、
前記補間部は、前記読出し制御手段により前記バッファ・メモリから読み出されたデータから前記画像データと前記キー信号とを抽出して前記画素補間処理を実行する、
データ変換回路。 - 請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、
前記書込み制御手段は、前記画像データおよび前記キー信号を前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、
前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、
前記補間部は、前記各成分を画素単位で配列した点順次形式の前記画像データから、前記各成分をフレーム単位またはフィールド単位で配列した面順次形式の前記補間データを生成する、
データ変換回路。 - 請求項４記載のデータ変換回路であって、前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで面順次形式の前記補間データを生成する、データ変換回路。
- 請求項１〜３の何れか１項に記載のデータ変換回路であって、前記バッファ・メモリは、第１バッファ・メモリと第２バッファ・メモリとからなり、
前記書込み制御手段は、前記サンプリング部から出力された画像データと前記キー信号とを前記第１バッファ・メモリと前記第２バッファ・メモリとにフレーム単位またはフィールド単位で交互に記憶するように制御し、
前記読出し制御手段は、前記第１バッファ・メモリおよび前記第２バッファ・メモリの何れか一方のメモリにデータが書き込まれる期間に、他方のメモリに記憶済みのデータをフレーム単位またはフィールド単位で読出すように制御し、
前記補間部は、前記入力画像データのフレームレートと異なるフレームレートで前記画素補間処理を実行して前記補間データを出力する、
データ変換回路。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001297101A JP3696536B2 (ja) | 2001-09-27 | 2001-09-27 | データ変換回路 |
| US10/103,795 US20020191104A1 (en) | 2001-03-26 | 2002-03-25 | Image conversion device, image conversion method and data conversion circuit as well as digital camera |
| US11/226,387 US7408587B2 (en) | 2001-03-26 | 2005-09-15 | Image conversion device, image conversion method and data conversion circuit as well as digital camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001297101A JP3696536B2 (ja) | 2001-09-27 | 2001-09-27 | データ変換回路 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003111092A JP2003111092A (ja) | 2003-04-11 |
| JP2003111092A5 JP2003111092A5 (ja) | 2004-09-02 |
| JP3696536B2 true JP3696536B2 (ja) | 2005-09-21 |
Family
ID=19118234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001297101A Expired - Fee Related JP3696536B2 (ja) | 2001-03-26 | 2001-09-27 | データ変換回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3696536B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4333997B2 (ja) | 2004-08-24 | 2009-09-16 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| JP4730105B2 (ja) * | 2006-01-20 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、学習装置および方法、並びにプログラム |
| JP4730106B2 (ja) * | 2006-01-20 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、学習装置および方法、並びにプログラム |
| JP4703666B2 (ja) * | 2008-02-08 | 2011-06-15 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
-
2001
- 2001-09-27 JP JP2001297101A patent/JP3696536B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003111092A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7408587B2 (en) | Image conversion device, image conversion method and data conversion circuit as well as digital camera | |
| JP3923335B2 (ja) | データ転送システム、データ転送方法およびデジタル・カメラ | |
| US6661451B1 (en) | Image pickup apparatus capable of performing both a still image process and a dynamic image process | |
| JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| US20100328485A1 (en) | Imaging device, imaging module, electronic still camera, and electronic movie camera | |
| JP4555775B2 (ja) | 撮像装置 | |
| US20070206207A1 (en) | Imaging apparatus | |
| US7181092B2 (en) | Imaging apparatus | |
| CN101505368A (zh) | 逐行到隔行转换方法、图像处理装置、成像装置 | |
| US20090167917A1 (en) | Imaging device | |
| JP4445870B2 (ja) | 撮像装置 | |
| KR101016490B1 (ko) | 화상 데이터의 변환 방법 및 변환 회로와, 전자 카메라 | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
| JP3696536B2 (ja) | データ変換回路 | |
| JP4133283B2 (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
| JP4246244B2 (ja) | 撮像装置 | |
| KR100719988B1 (ko) | 화상 신호 처리 장치 | |
| JP3983500B2 (ja) | データ変換回路およびデジタル・カメラ | |
| JP4436733B2 (ja) | 撮像装置および再生装置 | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JP7022544B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP3926023B2 (ja) | 撮像装置 | |
| JP2003348616A (ja) | データ変換装置、データ転送システムおよびデジタルカメラ | |
| KR100710688B1 (ko) | 이미지 센서 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050629 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150708 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |