JP4187425B2 - 画像制御装置およびディジタルカメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像制御装置およびディジタルカメラに関し、メモリに記憶されている画像データを所定の規格、たとえば、テレビジョン規格での画像表示に用いる画像データの転送を制御する画像制御処理部や画像表示部を備えて画像データの入出力をともなって供給される画像データの表示機能、再生機能、印刷機能を少なくとも一つ有する画像表示装置、ディジタルカメラ、プリンタ等に適用して好適なものに関する。
【０００２】
【従来の技術】
画像データを記録しておくフレームメモリから画像データを読出し、たとえば、テレビジョンセット等のような画像表示装置に表示させる場合において、従来、画像表示期間中にフレームメモリ上のデータを書き換えることは、ノイズ発生にともなう表示画像の乱れや時間的な制約から難しかった。この困難さのため放送規格のブランキング期間中にCPU (Central Processor Unit)がフレームメモリにアクセスしてデータを書き換える方法が一般的である。この一般的な方法から想定されるように、画像の表示中のフレームメモリへのCPUの平均アクセス速度は非常に遅いものであった。
【０００３】
この問題を解消させる方法として、FIFO (First-In First-Out）等のバッファメモリを設けて、そこに一旦データをテレビジョン信号のクロックレートより高速に転送して、余った時間でフレームメモリ上のデータを書き換える方法が知られている。バッファメモリは、画像の水平方向の画素数以上の容量を持つ場合が一般的である。このとき、バッファメモリからのデータの読出しはテレビジョン信号のクロックレートに一致させる。この方法を用いれば、ブランキング期間以外でもフレームメモリに対してCPUはアクセス可能な時間を確保することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した場合であっても、フレームメモリからバッファメモリへと１ライン分の画像データを転送している期間、CPU はフレームメモリにアクセスができない。フレームメモリからバッファメモリへのクロックレートは、現実的にはテレビジョン信号のクロックレートの数倍といった速度であるため、CPUの待機時間は無駄なものになっている。
【０００５】
また、上述した問題とは独立して、画像表示システムとして電子ズーム機能を盛り込んでいる場合も多い。テレビジョン信号にし易いこと、またはメモリの容量等の制約から、フレームメモリ上にY/C_R/C_Bを（4:2:2）の点順次のフォーマットでデータが記録されている。この場合において、従来の電子ズーム回路では、ズームの倍率によってはアドレスの関係からC_R/C_Bのサンプリングペアが崩れるために画質が劣化していた。これを避けるためにC_R/C_Bを再度サンプリングし直してデータを同時化し、Y/C_R/C_Bを（4:4:4）の関係に戻してからズームを行うようにしていた。
【０００６】
これに対して、本出願人は１ラインの表示期間中のどの位置でもCPUのアクセス要求に対して待機時間を短縮させることによってCPUのアクセス要求に対する応答を速めて、システム全体のパフォーマンスを向上させる装置およびデータ出力方法を提案してきている。この提案によりシステム全体のパフォーマンスは大幅に向上してきたが、より高度な機能の実現が要求されている。また、機能の向上にともない消費電力も増加する。このため、消費電力を抑制する工夫も望まれている。
【０００７】
本発明はこのような従来技術の欠点を解消し、画像表示期間中のどの位置（時間）でもCPUのメモリへのアクセス要求に対する応答を速めてシステム全体のパフォーマンスを一層向上させるとともに、消費電力の低減を図ることのできる画像制御装置およびディジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、供給される画像データに対する出力が制御され、この制御された画像データに信号処理を行い、さらに、得られた画像データを所定の規格に合わせて出力する画像制御装置において、この装置は、供給される画像データを記憶するメモリ手段と、このメモリ手段からの画像データを書き込むとともに、すでに書き込まれた画像データを所定の規格にタイミング調整して出力する規格調整手段と、メモリ手段に供給する画像データの入出力を制御し、画像データの出力の際に連続してひとまとめに扱う画像データ量およびこの画像データ量を１単位に１ラインに出力する画像データ量を所定の単位数としてそれぞれ設定し、メモリ手段にアクセスを要求して読み出す制御を行い、少なくともメモリ手段および規格調整手段を制御するメモリ制御手段とを含み、さらに、この装置は、メモリ手段から読み出した所定の単位数よりも少なく供給された画像データに含まれる画面表示に関する固有の情報を解析して、この解析結果に基づいて供給される区分された画像データの各単位のデータに復元処理および加工処理の少なくとも一方の処理を施す画像修正処理手段と、固有の情報をエンコードして画像修正処理手段に供給する指示情報供給手段とを含み、規格調整手段の前段に画像修正処理手段および指示情報供給手段を配することを特徴とする。
【０００９】
本発明の画像制御装置は、通信手段を介して供給された画像データをメモリ制御手段の制御に応動してメモリ手段に入出力し、このうち、メモリ手段から出力される画像データをメモリ制御手段の制御下にある規格調整手段によって所定の規格にタイミング調整して出力させ、規格調整手段の前段に画像修正処理手段および指示情報供給手段を配して、指示情報供給手段で固有の情報をエンコードして画像修正処理手段に供給し、画像修正処理手段で画像データをタイミング調整して出力させる画像データ量としてメモリ制御手段で設定した所定の単位数よりも少ない画像データが含む固有の情報を解析し、復元処理および加工処理の少なくとも一方の処理を行うことにより、画像データの送出を従来よりも少ない時間で済ませることができ、各種の信号処理も施して画像データの価値をより一層高いものにしている。
【００１０】
また、本発明は上述の課題を解決するために、供給される画像データをそれぞれ輝度成分と色成分ごとに分離し、それぞれ区分してまとめた区分データに対して該区分データが含む輝度成分と色成分とのサンプリングのずれを補償する調整の施された区分データにして、この区分データを所定の規格に合わせた出力制御を行う画像制御装置の制御方法において、この方法は、画像データに対する各成分の分離、区分、およびサンプリングのずれの補償をそれぞれ調整するとともに、画像データが有する固有の情報に応じて調整した区分データのデータサイズを異なる区分のサイズへの変更処理を施して共有するバスへの該調整した区分データを調停し、送出する第１の工程と、この調整した区分データごとに対して複数の加工処理、および／または復元処理をどのように行うかを供給される指示情報に応じて画像の修正処理として施す第２の工程と、第２の工程を経た区分データを選択して一時記憶させ、一時記憶した複数の区分データのうちの一つを画像の一部として選択して読み出す第３の工程とを含むことを特徴とする。
【００１１】
本発明の画像制御装置の制御方法は、輝度成分と色成分とを分離し、所定の単位をひとまとめに画像データを区分し、区分した画像データのサンプリングのずれの補償を調整し、さらにデータサイズを異なる区分のサイズへの変更処理を固有の情報に応じて行うことにより、調停に応じて共有するバスへの調整した区分データの送出量を抑制して画像表示の処理におけるレスポンスを向上させることができる。抑制して送出された区分データごとにどのように復元するか指示情報に応じた画像データの復元や各種の加工処理を行うことで本来用いる画像データ量を確保するとともに、区分データごとに施される加工によって少ない補正で済ませながら、区分データの価値をより高いものにする。このように得られた画像データを所定の規格に合わせて出力することにより、所定の規格の出力に要する処理時間の短縮を図っている。
【００１２】
本発明は上述の課題を解決するために、被写界からの入射光を光学系を介して該光学系の焦点位置に結像させ、供給される入射光を光電変換により撮像し、この撮像により得られた信号電荷をディジタル信号に変換して生の画像データを生成し、この得られた生の画像データにマトリクス処理を施してそれぞれ得られる輝度／色差データの点順次の画像データの圧縮／この圧縮した画像データの再生にともなう画像データの伸張を行い、圧縮した画像データを媒体に書き込ませ、再生において記録した圧縮データを読み出すディジタルカメラにおいて、このカメラは、供給される画像データを記憶するメモリ手段と、このメモリ手段からの画像データを書き込むとともに、すでに書き込まれた画像データを所定の規格にタイミング調整して出力する規格調整手段と、メモリ手段に供給する画像データの入出力を制御し、画像データの出力の際に連続してひとまとめに扱う画像データ量およびこの画像データ量を１単位に１ラインに出力する画像データ量を所定の単位数としてそれぞれ設定し、メモリ手段にアクセスを要求して読み出す制御を行い、少なくともメモリ手段および規格調整手段を制御するメモリ制御手段と、供給される画像データの送受信を行う機能を有する通信手段とを含み、さらに、このカメラは、メモリ手段から読み出した所定の単位数よりも少なく供給された画像データに含まれる画面表示に関する固有の情報を解析して、この解析結果に基づいて供給される区分された画像データの各単位のデータに復元処理および加工処理の少なくとも一方の処理を施す画像修正処理手段と、固有の情報をエンコードして画像修正処理手段に供給する指示情報供給手段とを含み、規格調整手段の前段に画像修正処理手段および指示情報供給手段を配することを特徴とする。
【００１３】
本発明のディジタルカメラは、撮像、再生により得られる画像データまたは通信手段を介して得られる画像データをメモリ制御手段の制御に応動してメモリ手段に入出力し、このうち、メモリ手段から出力される画像データをメモリ制御手段の制御下にある規格調整手段によって所定の規格にタイミング調整して出力させ、規格調整手段の前段に画像修正処理手段および指示情報供給手段を配して、指示情報供給手段で固有の情報をエンコードして画像修正処理手段に供給し、画像修正処理手段で画像データをタイミング調整して出力させる画像データ量としてメモリ制御手段で設定した所定の単位数よりも少ない画像データが含む固有の情報を解析し、復元処理および加工処理の少なくとも一方の処理を行うことにより、画像データの送出を従来よりも少ない時間で済ませることができ、各種の信号処理も施して画像データの価値をより一層高いものにしている。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による画像制御装置の実施例を詳細に説明する。
【００１５】
本実施例は、本発明を適用したディジタルカメラ10である（図１を参照）。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１６】
ディジタルカメラ10には、概略的に光学レンズ系10A、ドライバ10B、タイミング信号発生部10c、撮像部10d、前処理部10e、信号処理部10f、ストレージ部10gおよび画像制御処理部10hが含まれている。
【００１７】
光学レンズ系10Aは、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系10Aには、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を図示しない操作部からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus：自動焦点）調節機構が含まれている。操作信号140は、後段で示すように、図28のカメラ10用のシステム制御部10jに供給される。光学レンズ系10Aには、図示しないがドライバ10Bから複数の駆動信号が供給されている。
【００１８】
ドライバ10Bには、タイミング信号発生部（Timing signal Generator）10cから各種タイミング信号が供給されている。ドライバ10Bは、Vドライバ、廃棄信号生成部および転送信号生成部を有している。通常の露光モードでのドライバ10Bの動作を説明する。Vドライバは信号電荷の垂直転送に対応して３値レベル（H, M, L)の信号を生成する回路であり、光電変換する素子に対してバイアス電圧を供給している。Vドライバには、たとえばフィールドシフトゲートパルス等のタイミング信号がタイミング信号発生部10cから垂直駆動に係る信号として撮像部10dに供給されている。廃棄信号生成部は、リセットドレインおよびオーバーフロードレインのそれぞれが要求時にこれらを介して余分な信号電荷を基板に逃がす機能を果たすように廃棄信号を撮像部10dに出力する。
【００１９】
また、転送信号生成部は転送信号として垂直転送信号φV、水平転送信号φHおよびリセットパルスφRを生成する回路である。転送信号生成部は、素子内に蓄積した信号電荷を固体撮像素子101cに形成されている転送レジスタ内へのフィールドシフト、転送レジスタ内での多相駆動による転送、ラインシフト等を順次行わせて信号電荷を転送させるとともに、所定のタイミングでリセットパルスを供給して撮像部22の素子内に蓄積している信号電荷を廃棄している。このように撮像部10dは、タイミング信号発生部10cから供給されるタイミング信号およびドライバ10Bからの駆動信号に応じて動作する。タイミング信号発生部10cは、前処理部10eや信号発生部10fにもそれぞれのタイミング信号を供給している。
【００２０】
具体的に図示していないが、操作部には、レリーズシャッタボタンやたとえばモニタ画面に表示される項目を選択する選択機能等が備えられている。レリーズシャッタボタンの操作は、撮像タイミングの供給とともに、複数の段階（S1, S2）のそれぞれでのカメラ10の操作を行うように撮像に関する予備撮像と本撮像撮像とをボタンの押込み具合いにより選択する。操作部は、半押しの予備撮像モードと全押しの静止画撮像のモードのいずれが選択されたかを操作信号140によりシステム制御部10jに出力して報知する（図28を参照）。
【００２１】
また、レリーズシャッタボタンが半押し操作された場合、システム制御部10jは、図示しないが光学レンズ系10Aに対してAF駆動制御を行う。このとき、システム制御部10jは、検出した信号から光学レンズ系10Aのフォーカスサーボ調整にともなって移動させる方向を求めて制御信号をAF駆動制御部（図示せず）に供給し、AF駆動制御部で制御方向に光学レンズ系10Aのレンズを移動させるように駆動信号を生成する。AF駆動制御部は、このような制御を行うように生成した駆動信号を光学レンズ系10Aの移動機構に出力する。AF駆動制御部はこの駆動制御を行うことにより光学レンズ系10Aを最適なフォーカス位置に到達するように位置調節することができる。
【００２２】
同様に、予備撮像のモードにおいてシステム制御部10jは、AE（Automatic Exposure control：自動露出調節）機構駆動制御用に制御信号およびAE評価値に基づく絞り・シャッタ速度（露光時間）のデータを供給する。図示しないが、AE駆動制御部は、絞り機構およびメカシャッタの駆動に対して供給される制御信号およびデータに応動して駆動信号を生成し、この生成した駆動信号を出力する。なお、AE評価値は、撮像部10dの複数の部分領域および／または中央領域から得られた信号電荷を測光信号として読み出して、前処理部10eを介して信号処理部10fに供給し、供給されるディジタル信号に対する信号処理を行って算出される。
【００２３】
撮像部10dには、光学ローパスフィルタ101a、色フィルタ101bおよび固体撮像素子101cが含まれている。光学ローパスフィルタ101aは、入射光の空間周波数をナイキスト周波数以下にする光学フィルタである。色フィルタ101bは、三原色RGBの色フィルタセグメントが固体撮像素子101cの個々の撮像素子と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタ101bは、固体撮像素子101cの撮像素子の配置に依存する。固体撮像素子101cを各画素ずらしして配置する、いわゆるハニカム配置の場合もある。このような場合の色フィルタ101bには、たとえば、ハニカム用のG正方RB完全市松パターン等が用いられる。色フィルタ101bは、三原色RGBに限定するものでなく、補色系の色フィルタセグメントであってもよい。ただし、この場合、後段の信号処理には補色を原色に変換する処理が追加される。
【００２４】
固体撮像素子101cには、CCD (Charge Coupled Device)型やMOS (Metal Oxide Semiconductor）型がある。本実施例ではCCD型が用いられ、固体撮像素子101cは入射光を光電変換して信号電荷を生成している。図示しないが撮像素子のアレイ配置は垂直および水平方向の画素間隔をピッチとして２次元配置されている。上述したハニカム配置では、互いに隣接する素子間隔が垂直および水平方向に半ピッチずつ画素がずれている。ハニカム配置では、この配置に合わせて信号電荷を垂直方向に転送する垂直転送レジスタが、隣接する素子を迂回するように蛇行またはジグザグに形成されている。
【００２５】
水平転送レジスタは、垂直転送レジスタと直交する方向に形成されている。水平転送レジスタは供給される信号電荷を出力アンプに向けて転送する。出力アンプは、信号電荷(Q)を電圧(V)に変換して出力する。固体撮像素子101cは、実際の入射光に対する露光、信号電荷の転送、素子のリセット等をドライバ10Bから供給される駆動信号に応動して行う。撮像部10dは、撮像信号101dを前処理部10eに出力する。
【００２６】
前処理部10eには、図示しないが相関二重サンプリング回路、アンプ、クランプ回路、前置白バランス調整回路、色分離回路および A/D変換部が含まれている。前処理部10eは、図示しないが、システム制御部10jの制御を受けるとともに、タイミング信号発生部10cから供給される各種のタイミング信号に応じて動作する。相関二重サンプリング回路は、供給される信号が含む低周波のノイズ成分を除去する。ノイズ除去された信号はアンプでのAGC (Automatic Gain Control)による増幅により波形整形され、クランプ回路では波形整形した信号をあらかじめ規定した基準レベルに固定される。前置白バランス調整回路は、たとえば、光学調整用の白バランスセンサでの検出結果に応じた制御をクランプした信号に対して前置白バランス調整を施す。前置白バランス調整は原色または補色系を考慮して行うとよい。色分離回路は白バランス調整した信号が有する三原色RGBのうちの各色ごとに分離する。A/D変換部は各色のアナログ信号をディジタル信号101eに変換して信号処理部10fに出力する。
【００２７】
信号処理部10fは、画像信号処理部で、RISC（Reduced Instruction Set Computer：縮小命令セットコンピュータ）チップである。このチップ内には、図示しないが前処理バッファ部、画像処理部、D/A部、PLL (Phase Locked Loop）回路、および圧縮伸長部が含まれている。信号処理部10fは、システム制御部10jからの制御信号101jが共有バス32を介して供給され、この制御に応動して動作している。
【００２８】
前処理バッファ部には、ディジタルデータに変換した画像データ101eが入力され、一時的に記憶される。前処理バッファ部には、たとえばガンマ補正用のルックアップテーブルが含まれている。前処理部は、前処理の一つとして格納している画像データをテーブルのデータを用いてガンマ補正する。画像処理部は、ハニカムタイプの固体撮像素子101cが撮像部10dに用いられている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置（実画素）や画素の存在しない位置（仮想画素）に三原色RGB の画素データを補間処理により生成する。また、画像処理部は、上述した各画素における三原色RGB のデータおよび高周波成分を含む高輝度データY_Hの生成を行って得られた画像データにマトリクス処理を施す。画像処理部はマトリクス処理を施して得られた画像データY, C_r, C_bを生成する。
【００２９】
画像処理部は、予備撮像およびムービーモードの際にガンマ補正した画像データを間引いて画像データY, C_r, C_bを生成し、静止画撮影モードでは前述した補間処理を駆使して画素数を増やして画像データY, C_r, C_bを生成する。画像処理部は、これらのモードおよびモニタの表示画素数等を考慮した画像データに調整して、間引いた画像データを画像制御処理部10hに供給し、処理された画像データをD/A部に供給する。D/A部は供給された画像データをアナログ信号に変換する。D/A変換部はアナログ信号をモニタに出力する。
【００３０】
PLL回路は、信号発生部から供給されるクロック信号（図示せず)を入力し、位相管理しながら逓倍して信号処理部10f内で使用する所望の周波数を生成している。PLL回路は要求される動作速度に応じた周波数の信号を信号処理部10f内の各部に供給している。圧縮伸長部は、たとえば、直交変換を用いたJPEG（Joint Photographic image coding Experts Group)規格での圧縮を画像データに施すエンコード回路と、この圧縮した画像データを再び元のデータに伸長するデコード回路とを有する。圧縮伸長部は、システム制御部10jの制御により記録時には圧縮したデータ101fを共有バス32、信号線101gを介してストレージ部10gに供給する。また、圧縮伸長部が伸長処理を行う場合、逆にストレージ部10gから信号線101g、共有バス32を介して圧縮伸長部にデータを取り込んで処理する。圧縮伸長処理を行う際に前置バッファ部に画像データを一時的に格納する記憶部として用いてもよい。ここで、伸長処理されたデータは、画像制御処理部10h、D/A変換部を介してモニタに表示させる。
【００３１】
信号処理部10fは、このように画像処理を施して画像データを生成し、圧縮データに限らず前述した機能が駆使されたデータが共有バス32を介して各部に出力している。
【００３２】
ストレージ部10gには、基本的に記録媒体に記録する記録処理機能と、記録媒体から記録した画像データを読み出す再生処理機能とを含む（ともに図示せず）。また、ストレージ部10gには、ハードディスクインターフェースの規格の一つであるATA (AT Attachment）規格のインターフェースが用いられている。また、ストレージ部10gには、記録媒体として、たとえば、いわゆる、スマートメディア（登録商標）のような半導体メモリや磁気ディスク、光ディスク等がある。これら記録媒体のうち、磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドが配設されている。
【００３３】
画像制御処理部10hには、タイミング調節部12、画像メモリ14、メモリ制御部16、バス調停部18、表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26、エンコード処理部28、データ修正部30および外部I/F部31が備えられている。画像制御処理部10hは、画像メモリ14に記憶した画像データを的確に、たとえば、放送規格に合うように読み出し、表示装置に制御して転送する装置である。一般的に、画像制御処理部10hは、本実施例のディジタルカメラだけでなく、たとえば画像処理装置や画像表示装置やプリンタ等に組み込んで用いるとよい。画像制御処理部10hも信号処理部10fのようにチップ化されることが望ましい。
【００３４】
上述した構成要素は全体として後述するシステム制御部10jにより制御されている。このシステム制御部10jの制御機能をも持たせることができれば、CPU 22に持たせるようにしてもよい。
【００３５】
本実施例においてCPU 22は、後述するように画像データに対してどのような処理を行うかを示す指示データ（指示情報）32a を出力している。そして、これらの構成要素のうち、特に、メモリ制御部16は、タイミング調節部12、画像メモリ14、バス調停部18および表示シーケンサ20に対して制御を行っている。また、メモリ制御部16は、単に制御するだけでなく、バス調停部18、表示シーケンサ20および後述する外部の制御装置によって供給されるコマンドで応動もする。
【００３６】
外部の制御装置として、本実施例では、ダイレクトメモリアクセス（Direct Memory Access：以下、DMAと略す）制御部24、信号入力部26および外部I/F部31を含んでいる。画像制御処理部10hは、メモリ制御部16、バス調停部18、表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26および外部I/F部31が共有バス32に接続されている。共有バス32には、本実施例においてデータおよび動作の制御に加えて、たとえば、後述するようにCPU 22から供給される固有の情報に含まれる指示データ32aが供給できるようにバス幅の拡張および／または独立した専用線が追加されている。共有バス32から分岐した信号線32aがこの専用線を示している（図１を参照）。また、バス幅の拡張は図４に示している。
【００３７】
次に各構成要素について説明する。タイミング調節部12には、画像制御用のタイミング信号発生部12aおよびバッファメモリ部12bが含まれている。本実施例のタイミング信号発生部12aには、図示しないが放送規格でよく用いられるクロック4f_SCを第１クロック10aとし、第２クロック10bとしてクロック4f_SCよりも高い周波数のクロックを生成する発振器をそれぞれ、有している。クロック4f_SCとは、たとえばNTSC（National Television System Committee）方式で用いるサブキャリア周波数f_SC＝3.579545MHzの４倍、すなわち14.31818MHzである。このクロック10aは、バッファメモリ部12bに供給され、バッファメモリ部12bから出力される画像データにエンコード処理を施すエンコード処理部28にも供給される。
【００３８】
これに対して、第２クロック10bは、上述した条件を満たす高周波信号であればよい。本実施例では、50MHzに近い高周波信号を生成し、用いている。図１に示すように、このクロック10bは、バッファメモリ部12b、画像メモリ14および表示シーケンサ20に供給されている。図示していないが、共有バス32を介して他の要素にも供給されている。
【００３９】
なお、サブキャリア周波数を逓倍した周波数関係を用いる場合、タイミング調節部12は第２クロックを原発にし、得られる第２クロックを分周して用いるとよい。これにより発振器を一つで済ますことができる。しかしながら、両クロックは必ずしも同期関係を保たれていなくてもよい。
【００４０】
バッファメモリ部12bには、複数のFIFO（First-In First-Out)メモリが備えられている。一つのFIFOメモリが出力しているとき、残りのFIFOメモリには供給される画像メモリの１水平ライン分のデータ書込みが行われている。このことからもわかるようにFIFOメモリは少なくとも２つ、すなわち２ライン分用意している。しかしながら、FIFOメモリは２ラインに限定されるものでない。バッファメモリ部12bのより詳細な構成は後段で説明する。
【００４１】
画像メモリ14は、同期式揮発性ランダムアクセスメモリ（Synchronous Dynamic Random Access Memory：SDRAMと略す）または揮発性ランダムアクセスメモリ（Dynamic Random Access Memory：DRAMと略す）を用いている。両者の違いはメモリの制御が同期式と非同期式と異なっている点にある。大量の画像データを扱う要求等から、画像メモリ14は複数のバンクで構成する。このように構成するとともに、画像メモリ14にSDRAMを用いると、画像メモリ14は、コマンド（リクエスト信号等）によるアクセス方式が行われることにより、バンクごとに独立した制御が行える。また、この場合、通常のDRAMの動作に比べてバンクごとのインターリーブ動作も行わせることが可能になる。画像メモリ14には、第２のクロック10bが供給されている。
【００４２】
メモリ制御部16は、画像メモリ14への画像データの入出力を制御し、画像メモリ14のリフレッシュ処理の指示（REF_REQP=1）も出している。メモリ制御部16には、このリフレッシュ処理を行えるようにリフレッシュタイマを有している。メモリ制御部16は、自己の設定および各部に対する制御等を行うように、たとえば、初期設定機能部16a、表示制御機能部16b、バス制御機能部16c、およびリフレッシュ機能部16dを有する（図２を参照）。
【００４３】
メモリ制御部16は、共有バス32とが信号線16eを介して接続されている。また、メモリ制御部16は、画像メモリ14と信号線16fを介して画像データの入出力およびその制御を行う。そして、メモリ制御部16は、バッファメモリ部12bと信号線16gによって接続されている。この信号線16gには、たとえば信号線16eを介して供給される画像データ、および制御データに加えてバッファメモリ部12bの制御を行う各種の制御信号が含まれている。図２に示した各機能部16a〜16dの機能には、ハードウェア構成およびソフトウェア的な手法によりどのように動作するか条件に基づく処理手順が含まれている。
【００４４】
初期設定機能部16aは、画像制御処理部10hに初めて電源供給された場合やリセットがかけられた際の立上り時にあらかじめ設定している条件（パラメータ）に各部を設定する機能である。
【００４５】
表示制御機能部16bは、表示する上での画像データの読出し順序をどのように考慮して行うかコマンドの供給に応動して表示制御する機能部である。バス制御機能部16cは、本実施例においてバス制御機能部16cを除く、初期設定機能部16a、表示制御機能部16b、リフレッシュ機能部16d、図示しない外部のCPUの書込み機能部および読出し機能部、ならびにDMA制御部24のDMA機能部のいずれの機能部がバス占有できるかを各機能部の持つ優先度に応じて許可選択を行い、この選択に応じてイネーブルにする情報を出力する機能部である。
【００４６】
リフレッシュ機能部16dは、リフレッシュタイマ（図示せず）からの情報に応じて画像メモリ14をリフレッシュさせる機能を有する。
【００４７】
図１に戻って、バス調停部18は、このバス制御機能部16cにより許可選択してイネーブルにされた際に、あらかじめ設定されていた優先度に応じた許可の可否情報を出力する。図１が示すように、バス調停部18は、上述した表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26、外部I/F部31がそれぞれ入出力ラインで結ばれている。バス調停部18は、バス占有要求の情報を優先度に応じて判断し、バス占有許可の情報を対象に出力する。画像制御処理部10hにおいてメモリ制御部16のリフレッシュ処理が最も高い優先度として割りつけられている。それぞれの優先度の許可選択については後段の動作において詳述する。
【００４８】
表示シーケンサ20には、データ分離部20a、色信号選択部20b、ペア生成部20cおよびパケットサイズ制御部20dが備えられている（図３を参照）。表示シーケンサ20は、供給される要求信号（DISP_REQ）に応じて動作を開始する。データ分離部20aには、画像メモリ14から供給される16ビットの読み出した画像データ34を８ビットずつのデータに分けてラッチするデータ保持部200a, 202a, 204aがある。データ保持部200aは、供給される16ビットの読出しデータのうち、８ビットを輝度イネーブルYENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。この８ビットのデータが輝度データY (36)である。また、分離した残りの８ビットの画像データはデータ保持部202a, 204aにそれぞれ供給される。データ保持部202aは、供給される色RイネーブルCRENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。データ保持部204aは、供給される色BイネーブルCBENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。供給する各イネーブル期間に応じて分離して一時的に保持した輝度データ36を、データ保持部200aはペア生成部20cに供給し、データ保持部202a, 204aは、それぞれ色データC_R, C_B（38, 40)を色信号選択部20bに供給する。
【００４９】
色信号選択部20bは、拡大／縮小表示または等倍の要求があった場合、供給される色データC_R, C_Bを輝度データYとペアを組む際の対応関係が取れる色の色データ42を選択してペア生成部20cに供給する。この選択には、色C_Rと色C_Bを選択する色選択信号RLBが供給される。この色選択のタイミング等については後段で詳述する。
【００５０】
ペア生成部20cは、データラッチで構成される。ペア生成部20cには、供給される８ビットの輝度データY (36)と選択した８ビットの色データ色C_R／色C_Bのいずれか（42）とを合わせた16ビットの画像データ44が供給される。供給される画像データ44をペア生成部20cは、データイネーブルDENのイネーブル期間に供給されるクロックCLKの立上りエッジで取り込む。そして、この期間中に供給されるクロックCLKの立上りエッジで一時的に保持した画像データ46をパケットサイズ制御部20dに出力する。
【００５１】
パケットサイズ制御部20dには、ヘッダ情報解析部206a, 小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aが備えられている。ヘッダ情報解析部206aは、供給される画像データ46の、たとえば、先頭位置に画像全体のサイズ、日付等の個々の情報を解析し、解析した結果に基づいて通常のサイズの場合を除き、小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aのいずれか一つをイネーブルにするコード48を供給する。小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aにもそれぞれ画像データ46が供給されている。ヘッダ情報解析部206aは、通常のサイズ（M)の場合、そのまま区分を変えることなく、出力する。
【００５２】
なお、パケットサイズ制御部20dは、通常のサイズ（M)に対する処理も設け、後述するサイズS, M, L の３つのサイズに分けて対応処理を行わせてもよい。
【００５３】
小区分機能部208aは、所定のパターンを繰り返して表示すると解析された際に通常のサイズよりも小さいSサイズに設定して再区分（パッキング）を行い、供給先のメモリに対するアドレス設定も行う。また、直接的にSサイズにパッキングした画像を繰り返して供給してもよいが、最初にSサイズの画像を供給し、その後にこの画像のコピーを繰り返す回数だけを供給するようにしてもよい。
【００５４】
大区分機能部210aは、サムネイル表示すると解析された際に通常のサイズよりも大きいLサイズに設定して再区分し、上述したと同様に供給先のアドレス設定も行う。大区分機能部210aは、扱うサムネイル画像の画像サイズが小さいので、Lサイズに設定することにより一度ないし最小限の回数で済ませることが可能になる。この結果、書込みにおけるアクセス回数を低減させることができる。
【００５５】
そして、最適サイズ区分機能部212aは、画像の空間周波数特性を考慮して区分するサイズの最適化を図る。たとえば、砂丘を表示するとき、その画像は空間周波数が低く、ビル等の細かい描写が要求される画像は空間周波数が高い。このような扱う画像における空間周波数の高低に比例して区分するサイズの大小を調整する。再区分した画像データには供給先のアドレス設定が行われる。
【００５６】
このように構成して輝度データと色データとのペアが表示の指示要求にかかわらず、所定の関係（本実施例において4:2:2の関係）にして表示シーケンスを保ち、かつ解析した個々の画像データが有するヘッダ情報を考慮して画像データ46を再区分することにより出力される画像データ50のバス32の占有時間またはバス32へのアクセス回数も減らすことができる。
【００５７】
この得られた画像データは、メモリ制御部16の制御を受ける表示シーケンサ20により本実施例では８個の画像データを１つのパケットとして１ライン中に80個の画像パケットを含むとともに、外部のDMA読出し/書込みに関する制御データ、CPUの読出し/書込みに関する制御データ、外部のI/Fとやり取りする画像データ等もパケット化し、直接に共有バス32、メモリ制御部16または間接に共有バス32、メモリ制御部16を介して画像メモリ14に格納した後、格納したパケットデータを読み出してデータ修正部30に出力する。
【００５８】
図４に示すように、データ修正部30には、デコーダ300、フリップフロップ回路302、レジスタ回路304、データ選択部306、電子ズーム修正部308、演算・フィルタ部310、アパーチャ生成回路312、加算器314およびデータ格納部316が備えられている。
【００５９】
デコーダ300は、メモリ制御部16を介して供給される画像データ52とともに、データサイズ（パケットサイズ）とは独立した有効画素数データ54および／またはCPU 22からの指示データ32aの２通りの信号を入力している。デコーダ300は、フリップフロップ回路302、データ選択部306、電子ズーム修正部308、演算・フィルタ部310、およびアパーチャ生成回路312に制御信号56〜64をそれぞれ供給している。
【００６０】
フリップフロップ回路302は、デコーダ300からの制御信号（イネーブル信号）56がオン時に供給される画像データ52を供給される第２クロック10bのエッジで取り込んで一時的にデータ保持をし、次の第２クロック10bのエッジで保持したデータをデータ選択部304に出力する。したがって、取り込んだ画像データ（パケットデータ）52は、データを取り込んだ後、制御信号56がオフになるとそのままデータ保持され、所望のイネーブル時に出力させることもできる。本実施例においてフリップフロップ回路302は、単にクロックごとにデータ選択部306に出力する。
【００６１】
なお、フリップフロップ回路302やレジスタ回路304に供給するクロック10bは省略している。
【００６２】
レジスタ回路304は、CPU 22から供給される指示データ32aを格納する記憶部である。指示データ32aは、たとえば、背景用のデータ等である。レジスタ回路304はパケットサイズのデータ量に対応した容量を有し、フリップフロップ回路302と同様のタイミングで動作している。
【００６３】
データ選択部306は、データの選択およびコピーに際して用いる１ライン分のメモリを有している。本実施例においてデータ選択部306はフリップフロップ回路302の出力66、レジスタ回路304の出力68およびそのまま供給される画像データ52のいずれかの入力信号を選択する。データ選択部306には、デコーダ300からのイネーブル信号58とともに、これら３種類のうちの一つを選択する選択信号および選択したデータを記憶させるアドレス先の指示が供給される。
【００６４】
この機能を用い、たとえば、データ選択部306は、そのまま供給される画像データ52を本来格納する先頭アドレス位置を指定し、フリップフロップ回路302からの出力66を全ラインメモリ容量の半分の位置にアドレス指定してデータを格納していくと、１ラインの半分のデータしか供給されていないにもかかわらず、コピーされたと同様にデータを倍に増やし１ライン分のデータを埋め尽くすことができる。
【００６５】
また、データ選択部306が、たとえば、アドレス指示に応じて画像周辺のデータの代わりにレジスタ回路304からのデータ68を選択し、格納させると表示した画像が額縁に入ったように見せることもできる（図27を参照）。さらには具体的に説明しないが、小区分に対応する画像が供給されて、デコーダ300が画像を解析した際に、デコーダ300は供給されたパケットデータのコピー回数に応じてコピーを行わせる制御信号58をデータ選択部306に供給し、データ選択部306では制御信号58に応動してデータの増加を図ることができる。データ選択部306は、このようにして得られたパケットデータ70を電子ズーム修正部308に供給する。デコーダ300では、一般的にデータサイズを有効画素数情報が示す値で割って得られる割合分の画像データを受けるものとして、この割合の画像データを割合の逆数倍の回数分コピーさせる制御信号58を生成している。
【００６６】
電子ズーム修正部308は、先に処理済みの電子ズームに対して個々のパケットごとに補正を施す機能を有する。処理済みの電子ズームについては後段で詳述する。デコーダ300では解析結果に応じて制御信号60を生成する。電子ズーム修正部308は、デコーダ300からの制御信号60に応動してパケット単位に修正が加えられる。パケット単位に修正を行う場合に限り歪み補正や特殊効果を施す。これ以外の場合何もしないでパケットデータをスルーさせる。パケット単位の修正により、不要な箇所に対する修正を行わないで済ませることができるので、無駄な信号処理を省くことができ、効率のよい修正を行うことができる。電子ズーム修正部308 は修正の有無にかかわらず、パケットデータ72を演算・フィルタ部310に出力する。
【００６７】
演算・フィルタ部310には、図示しないが画像データのうち、個々のパケットデータに対する固有の明るさ、コントラスト、およびノイズレベルの少なくとも一つの項目を変化させる演算処理部と、特殊効果処理を行うフィルタ処理部が含まれている。フィルタ処理部は、ディジタルフィルタで構成している場合、演算処理部とみなすこともできる。演算・フィルタ部310は、前述した電子ズーム修正部308と同様にパケットデータごとにデコーダ300から供給される制御信号62に応じて行うことができる。
【００６８】
特に、ノイズ低減処理を施す場合低階調領域を消去するコアリング処理やローパスフィルタ処理を施すことができる。また、特殊処理には、たとえば、モザイク等の処理がある。この他、固有の明るさに変更する例として、画像の上半分だけを赤っぽい色に変えて擬似的に夕焼けの画像表現させることも容易に行える。
【００６９】
これ以外の制御オフの場合には、何もしないでパケットデータをスルーさせる。ここでのパケット単位の修正の利点は、前述した通り、電子ズーム修正の場合と同じである。また、演算・フィルタ部310は、信号修正の有無にかかわらず、パケットデータ74をアパーチャ生成回路312および加算器314の一端314aにそれぞれ、出力する。
【００７０】
アパーチャ生成回路312は、供給される画像データに対するアパーチャの生成をハードウェアまたはソフトウェアのどちらでも実現させることができる。すなわち、アパーチャ生成回路312は、一般的に輪郭強調処理を行う際に適用される回路または処理手順を含んでいる。デコーダ300は、供給される固有の情報のうち、指示データ32aからパケット固有の鮮鋭度をどのようにするか情報を解析し、この解析に基づく制御信号64をアパーチャ生成回路312に供給している。アパーチャ生成回路312は、供給される制御信号64に応動して生成した信号成分を加算器314の他端314bに出力する。アパーチャ生成回路312は制御オフの場合何も生成しない。
【００７１】
加算器314は、指示データに応じて生成した成分76とパケットデータ74とを加算する。これにより加算器314は、アパーチャ生成を行った場合に対象のパケットデータ78の鮮鋭度を向上させて、バッファメモリ部12b に出力する。
【００７２】
この出力に際してデコーダ300は、指示データ32aまたは画像データ54から供給されるアドレス（情報）を独立したパラメータとして扱い、生成したアドレス80をバッファメモリ部12bに供給する。また、デコーダ300は、バッファメモリ部12bにイネーブル信号82を供給している。これにより、供給された画像データを任意の表示領域から表示させることができる。
【００７３】
データ修正部30は、前述したようにCPU 22からデータ修正の都度供給される指示データ32aに応じて動作させる説明をしてきたが、これら供給される指示データ32aは、あらかじめ行う処理が決まっている場合、指示データ32aをデータ格納部316に記憶させておいてもよい。データ格納部316は、ROM (Read Only Memory)またはRAM (Random Access Memory)を用いる。ROMを使用する場合、データ修正部30内に指示データの手順やアドレス情報が書き込まれている。RAMを使用する場合、ディジタルカメラ10（または画像制御処理部10h)の起動時にCPU 22からデータ修正を行う手順を設定し、あらかじめ指示データをRAMに供給し、記憶させるようにしている。データ格納部316は、レジスタ回路304に供給される、たとえば背景のデータも格納している。
【００７４】
データ格納部316は、図示しない供給されるクロックおよび読出しイネーブル信号の供給に応じて指示データ84をデコーダ300に供給している。デコーダ300は、前述したそれぞれの場合と同様に制御信号やアドレスの生成等を行い、各部に出力する。
【００７５】
図５に示すように、バッファメモリ部12bには、R/Wタイミング制御回路（バンク切換）120b、読出しカウンタ122b、書込みカウンタ124b、入力セレクタ126b、FIFOメモリ128b, 130b、および出力セレクタ132bが備えられている。この他に、W/Rクロック生成回路も有する（図示しない）。
【００７６】
R/Wタイミング制御回路120bには、イネーブル信号86および水平同期信号HD（88)が供給される。R/Wタイミング制御回路120bは、水平同期信号HDに同期して入力セレクタ126bおよび出力セレクタ132bにそれぞれ制御信号90と選択信号92を生成し、供給している。水平同期信号HDは、FIFOメモリ128b, 130bへの入力／出力においていずれを読出し／書込みにするかの動作タイミングを提供しているに過ぎない。制御信号90と選択信号92は、図示しないが、第１のクロック10a、リセット信号（RSTL)、およびブランク信号（FIFO_BLANK)を用い、各信号に対する実際の読出し／書込み条件に合わせて生成されている。R/Wタイミング制御回路120bは、FIFOメモリ128b, 130bに対する入出力制御をバンク選択条件に応じて行っている。また、R/Wタイミング制御回路120bは、図示していないがFIFOメモリ128b, 130bのブランクに関する信号（FIFO_BLKST）も生成し、書込みカウンタ124bにも供給している。
【００７７】
読出しアドレスカウンタ122bは、読出しアドレスをカウントして出力する計数機能を有する。読出しアドレスカウンタ122bには、各種のタイミング信号94が供給されている。タイミング信号94は、テレビジョン信号の水平同期信号や垂直同期信号を含んでいる。読出しアドレスカウンタ122bは、10ビットのカウンタである。読出しアドレスカウンタ122bは、供給されるタイミング信号94に応じて順次カウントし、カウント値96を入力セレクタ126bに供給している。この他のタイミング信号として第１クロック10a、リセット信号（RSTL)、およびブランク信号（FIFO_BLANK）を供給し、これらの信号を用いてデータをマスクする信号（図示せず）を生成してもよい。マスクすることによって画像データだけが読み出される。
【００７８】
書込みアドレスカウンタ124bは、書込みアドレスをカウントして出力する計数機能を有する。書込みアドレスカウンタ124bも読出しアドレスカウンタ122bと同様に10ビットカウンタである。書込みカウンタ124bには、デコーダ300からアドレスデータ80およびイネーブル信号82が供給されている。イネーブル信号82は、CPU 22からの指示データ32aに応じたアドレスに書き込んで読み出す指示が出された際にアドレスデータ80の取込み許可を示す信号である。
【００７９】
イネーブル信号82が取込み許可を示している場合（イネーブル状態のとき）、書込みアドレスカウンタ124bは、アドレスデータ80を書込み先の先頭アドレスとして取り込むとともに、この先頭アドレスから順次カウントアップしたFIFOメモリ128b/130bに書込むアドレス98として供給している。また、イネーブル信号82が取込み禁止を示している場合、書込みアドレスカウンタ124bは、読出しアドレスカウンタ122bに供給されるタイミング信号94に応じて順次カウントアップさせた場合と同様に書込みアドレス98を入力セレクタ126bに供給している。
【００８０】
なお、たとえば、データのマスクは、このマスクした位置には他の制御データがパケット化して格納されていて画面表示に直接的に寄与しないので、このデータの書込みを行わないようにする意味がある。これにより、実質的に画像データが稠密に格納される。書込みアドレスカウンタ124bには、より複雑な制御を行うためカウントに際して図示しないがリセット信号（RSTL）、FIFO書込みイネーブル信号（FIFO_WEL）、クロック（M2CLK）、および信号（FIFO_BLKST）が供給され、これらの信号の組合せにより各種条件のタイミング信号が生成されている。
【００８１】
入力セレクタ126bは、FIFOメモリ128b, 130bのいずれか一方のメモリを書込みにし他方のメモリを読出しにする制御を行う機能を有する。入力セレクタ126bには、制御信号90、読出しアドレスデータ96、書込みアドレスデータ98、およびパケット化された画像データ100が供給されている。画像データ100は、16ビットの画像データである。入力セレクタ126bは、FIFOメモリ128b, 130bとそれぞれアドレスライン102, 108、データライン104, 110、およびイネーブルライン106, 112が接続されている。
【００８２】
入力セレクタ126bは、制御信号90に応じて一方のイネーブルライン106/112を介してFIFOメモリ128b/130bを書込み許可にした際に他方のイネーブルライン112/106を介してFIFOメモリ130b/128bを読出し許可にするイネーブル信号をそれぞれ送出する。書込み許可されたFIFOメモリ128b/130bには、入力セレクタ126bに供給された書込みアドレスデータ98および画像データ100が供給される。また、読出し許可されたFIFOメモリ130b/128bには、入力セレクタ126bに供給された読出しアドレスデータ96が供給される。
【００８３】
図示しないがこの他の各信号の関係を簡単に説明すると、入力セレクタ126bには書込みイネーブル信号（FIFO_WEL）が供給されている。このイネーブル信号が供給されている間に、供給される制御信号90（バンク選択信号）に応じてFIFOメモリ128b, 130bのいずれかにそれぞれ書込み禁止信号（F1_WEI) 、書込み禁止信号 (F2_WEI) を供給する。この信号により書込み禁止されているFIFOメモリには画像データの書込みが行われない。また、入力セレクタ126bは、１ビットずつ独立して書込む制御もFIFOメモリ128b, 130bに対して行っている（F1_V1, F2_V1：ともに図示せず）。これ以外にも、各種の禁止信号がFIFOメモリ128b, 130bに対応して生成され、FIFOメモリ128b, 130bにそれぞれ供給されている。
【００８４】
FIFOメモリ128b, 130bは、ラインメモリを形成している。FIFOメモリ128b, 130bには、前述したように一方が読出しを行っている場合、他方が書込みを行うように、図示しない書込みクロックおよび読出しクロックが供給されている。FIFOメモリ128b, 130bには、ともに、16ビットの画像データが供給されている。FIFOメモリ128b, 130bのうち、書込み禁止信号が供給されたFIFOメモリは読出しモードになる。FIFOメモリ128b, 130bは、読出しモードのメモリから読出しクロックで出力セレクタ132bに出力する。いずれがこのモードになってもよいようにFIFOメモリ130b, 132bは、出力セレクタ132bと接続させて、それぞれ出力114, 116を供給している。
【００８５】
なお、本実施例のバッファメモリ部12bでは、２本のラインメモリを用いた場合を説明したが、２本に限定されるものでなく、バッファメモリ部12b はたとえば16本のラインメモリを配設してもよい。このような構成は、供給する画像がサムネイル等の小さな画像表示（すなわち、書換え）を行う場合、部分的に画像を置換して指定したアドレスに所望のデータだけを供給すると効率的な画面表示を行わせることができる。
【００８６】
出力セレクタ132bは、供給される画像データ114, 116のいずれか一方を選択する機能を有している。また、出力セレクタ132bは、具体的に図示していないがこの選択した画像データに他から供給される制御データをパケット挿入する機能もある。これらの機能を実現させるため、供給される画像データ114, 116の他に、出力タイミングを調整する第１クロック10a、信号（DMASK）、制御信号90、およびリセット信号が供給されている（図示せず）。出力セレクタ132bは、これらの信号を用いて画像データ以外のデータも含むパケットを１ライン中に挿入した16ビットの読み出した一連のデータ118をエンコード処理部28に出力する。
【００８７】
また、図示していないがW/Rクロック生成回路もバッファメモリ部12bに配設されている。W/Rクロック生成回路は、バッファメモリ部12bにおいて使用するクロックのうち、書込み／読出しのクロックを生成している。W/Rクロック生成回路には、第１クロック10a、第２クロック10b、およびリセット信号（RSTL）の他、クロック（M2CLK ）, クロック（M4CLK) が供給されている。これらの信号を用いて、W/Rクロック生成回路は、FIFOメモリ128b, 130bに図示していないがそれぞれ、書込みクロック（F_WCK）および読出しクロック（F_RCK）を供給している。
【００８８】
図１に戻って、CPU 22は、画像制御処理部10hの制御部ではなく、外部に設けられた中央演算処理ユニットとして機能を発揮する。CPU 22には、あらわに図示していないがCPU書込み機能部およびCPU読出し機能部が備えられている。本実施例の外部制御装置の一つであるCPU 22からの書込みに関する制御情報および読出しに関する制御情報がそれぞれ共有バス32を介して供給される。これらの情報が指示データ32aに対応している。この観点から外部の装置とみなして扱ってきたが、CPU 22を画像制御処理部10hの構成要素に含めるようにみなしてもよい。
【００８９】
また、DMA制御部24は、データの受け渡しをCPUを介さずに、たとえば、周辺機器のインターフェース装置に制御権を渡して、直接に主記憶とのデータの受け渡しの制御を行う。DMA制御部24には、外部制御装置の一つであるDMA制御部24からの書込みに関する制御情報および読出しに関する制御情報がそれぞれ供給され、出力される。供給された制御情報には、共有バス32に対する優先順位に応じたデータ転送等が施される。
【００９０】
信号入力部26は、上述した周辺機器のインターフェース装置に相当し、たとえば、キーボード等のような装置が共有バス32に接続されている。そして、共有バス32を介して画像データ以外の情報もメモリ制御部16の制御を受けて、前述したようにバッファメモリ部12bからエンコード処理部28に供給される。
【００９１】
エンコード処理部28は、所定の放送規格に合ったエンコーダ処理を行う機能を有している。この機能を発揮させるように、エンコード処理部28は、供給されるパケットのなかから、表示に用いる画像データだけを取り出してエンコードする。エンコードした画像データ120を図示しない表示装置に出力する。
【００９２】
また、外部I/F部31には、たとえば、PIO (Programmed Input/Output)、UART (Universal Asynchronous Receive-Transceiver：非同期シリアル通信用送受信回路)、USB（Universal Serial Bus)、IEEE1394規格（the Institute of Electrical and Electronics Engineers, Inc.：米国電気電子技術者協会)に基づくインタフェース等がある。
【００９３】
PIOは、入出力をプログラムで変更することのできるインターフェース部である。UARTは、シリアル・インターフェースに用いられるデバイスである。このデバイスは、供給されるパラレル信号をシリアル信号に変換したり、シリアル・デバイスから送られるシリアル信号をパラレル信号に変換する機能を有している。IEEE1394規格のI/Fは、たとえば400Mbpsまでのデータ転送をサポートしている。この規格は、アイソクロナス転送とアシンクロナス転送とを同じバス上に同時に実現している。外部I/F部31は、前述したようにバス調停部18の制御下にある。
【００９４】
このように構成することにより、画像制御処理部10hでの処理により高速化に対応した表示が可能になり、特に、共有バス32の占有がこれまで以上に避けられ、他の制御部および外部装置からのメモリアクセスも容易に可能になる。これにより、ディジタルカメラ10は、レスポンスの高い処理を提供できるようになる。
【００９５】
また、パケットごとに含まれる画像データに対して各種の信号処理を施すことができるので、信号処理の不要なパケットには何等の処理も施さず、要求のあるパケットだけに信号処理を施すことから効率を向上させることができる。しかもこの信号処理は効率の向上を図りながら、システム制御の負担を強いることなく高品位な画像処理を行うことができる。そして、表示の等倍を含む拡大／縮小表示のような、いわゆる電子ズームを施しても、サンプリングのペア関係を崩さないようにサンプリングさせることができるので、偽色の発生を抑えることができる。
【００９６】
次に、ディジタルカメラ10における画像制御処理部10hの上述した各部がどのように動作し、それぞれ処理されているかその理由も踏まえて順次説明する。最初に、上述した表示のような、いわゆる電子ズームを行う場合について検討する。たとえば、水平方向に１ラインを640画素で表示する場合、Y/C分離した画像データの各成分データは、図6(a)に示す（4:4:4)方式のサンプリングが行われると、一つの輝度データYに対して色データC_R, C_Bが一つずつ対応してサンプリングされる、すなわち、４つの輝度データYに対して色データC_R, C_Bが４つずつ対応している。
【００９７】
これに対して、よく知られている図6(b)に示す（4:2:2)方式のサンプリングが行われると、この方式は、４つの輝度データYに対して色データC_R, C_Bがそれぞれ２つずつサンプリングされるとともに、色データC_Bが隣接する輝度データYの色データのペアとして画像データを生成している。（4:2:2)方式そのままにいわゆる、２倍の拡大電子ズームを行うと（図6(c)を参照）、表示する画素間隔に同じ画像データを２つずつ配したサンプリングを行うことになる。
【００９８】
ところで、(4:2:2)方式において1/2の縮小電子ズームを行う場合（図6(d)を参照）、画素データのサンプリングは、たとえば、奇数の輝度データYだけがサンプリングされる。このとき、色のサンプリングは、色データC_Rだけのサンプリングになる。この場合、色データC_Bはなくなってしまう。また、逆に偶数の輝度データだけをサンプリングしたとすると、色データC_Rがなくなる。このように電子ズーム表示に応じて一方の色データがなくなってしまうことが生じる。これにより、表示させた画像には偽色が発生してしまう。
【００９９】
このような問題に対して表示シーケンサ20は、図３の構成を用いながら、供給する第２クロック10bの３クロックを１単位に輝度データY, 色データCをどのようにサンプリング調整するか３つの場合について説明する。一般的なサンプリングを説明するため輝度データには、Y_n, Y_n+1, Y_n+Kを、色データには、CR_n, CB_nとを用いる。ここで、添字nは自然数、Kは、ズーム係数を表す。まず、第１に連続読出しで等倍、すなわち、K=1 のとき、図７に示すタイミング関係で色データの選択が次のように行われる。輝度データはK=1からY_n, Y_n+1が８ビットサンプリングされる（図7(a)を参照）。図6(b)の（4:2:2)方式の色データのサンプリングを考慮すると、色データは、記号CR_n, CB_nの順序で供給される（図7(b)を参照）。図7(c)に示す輝度イネーブルYEN中に、たとえばクロック10bの立上りで取り込み、２クロック目の立上りで輝度データY_nをペア生成部20cに出力する（図7(d)を参照)。
【０１００】
一方、図7(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの立上りで色データCR_nを取り込み、図7(f)に示すように、２クロック目の立上りでこの色データCR_nを出力し続ける。同様に、図7(g)の色BイネーブルCBENのイネーブル状態においてクロック10bの立上りで色データCB_nを取り込み、図7(h)に示すように、３クロック目の立上りでこの色データCB_nを出力し続ける。
【０１０１】
色信号選択部20bに供給される色選択信号RLBが、図7(i)の信号レベルで供給されると、この信号のレベルが“L”のとき色データCRを選択し、信号のレベルが“H”のとき色データCBを選択する関係があるから、色信号選択部20b による色選択は、図7(j)の色データの順序で色データがペア生成部20cに供給される。
【０１０２】
図7(k)に示すように、ペア生成部20cには、２クロック目において図7(d)の出力された輝度データと図7(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが供給されて16ビットの輝度データY_n, 色データCR_nが取り込まれる。このことから、明らかなようにこの場合２クロック分で選択が完了していることがわかる。
【０１０３】
そして３クロック目の立上りで図7(l)および図7(m)の関係で出力される。連続読出しのためこの場合２クロックの間に２画素分のデータ、すなわち、輝度データと色データのペア（Y_n, CR_n）および（Y_n+1, CB_n）が連続して出力される。図7(n)では、範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELはデータイネーブルDENの反転ラッチ出力として出力する。
【０１０４】
表示シーケンサ20における拡大／縮小表示に対するサンプリング調整を説明する。添字nは偶数とする。供給された画像データのうち、輝度データYの先頭の輝度データY_n、すなわち偶数のとき、輝度データYは３つのデータを読み出す。すなわち、偶数の輝度データY_n, 隣接する奇数の輝度データY_n+1および拡大／縮小の係数を考慮した輝度データY_n+Kである（図8(a)を参照）。また、色データは、連続して供給される輝度データY_n, Y_n+1にそれぞれ対応したCR_n, CB_nが供給される（図8(b)を参照）。
【０１０５】
この場合における輝度データYは、データ分離部20aのデータ保持部200aに供給される、図8(c)の輝度イネーブルYENのイネーブル（ハイレベル）期間中でクロックCLKの立上りエッジで取り込まれる。データ保持部200aに取り込まれる輝度データYとクロック10bの立上りエッジとの関係から、データ保持部200aの出力は図8(d)に示すようになる。
【０１０６】
これに対して、色データCRは、図8(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの立上りで色データCR_nを取り込み、図8(f)に示すように、２クロック目の立上りでこの色データCR_nを出力し続ける。同様に、図8(g)の色BイネーブルCBENのイネーブル状態においてクロック10bの立上りで色データCB_nを取り込み、図8(h)に示すように、３クロック目の立上りでこの色データCB_nを出力し続ける。
【０１０７】
色信号選択部20bに供給される色選択信号RLBが、図8(i)の信号レベルで供給されると、色信号選択部20bによる色選択は、図8(j)の色データの順序、すなわち色CR, CBの色データがペア生成部20cに供給される。
【０１０８】
図8(k)に示すように、ペア生成部20cには、２クロック目において図8(d)の出力された輝度データと図8(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが３クロック目に供給されることにより、16ビットの輝度データY_n, 色データCR_nが取り込まれる。このことから、明らかなようにこの場合、３クロック分で選択が完了していることがわかる。
【０１０９】
そして４クロック目の立上り、すなわち図8(l)および図8(m)の関係で輝度データY_n, 色データCR_nが出力される。結果として連続読出しのため３クロックの間に２画素分のデータ、すなわち、輝度データと色データのペア（Y_n, CR_n）および（Y_n+1, CB_n）が連続して出力される。図8(n)では範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELはデータイネーブルDENの反転ラッチ出力として出力する。このとき、(4:2:2)方式での輝度データと色データの関係が保たれている。
【０１１０】
最後に、供給された画像データのうち、輝度データYの先頭の輝度データY_n+1、すなわち奇数のとき、輝度データYは３つのデータを読み出す。すなわち、偶数の輝度データY_n+1, 隣接する一つ前の偶数の輝度データY_nおよび拡大／縮小の係数を考慮した輝度データY_n+Kである（図9(a)を参照）。これは、これまでのサンプリング関係、すなわち、(4:2:2)方式の輝度データと色データとの関係が示すように、最初の輝度データに対して色データは、色CRを対応させなければならない。しかしながら、奇数の輝度データに対応する色データは後述するように色CBである。このままサンプリングすると、輝度データと色データとのペアにずれが生じ、たとえば、偽色等の画質劣化を、いわゆる電子ズームした際に発生する虞がでてくる。そこで、奇数が先頭になった場合、２番目に読み出す画像データのアドレスを一つ前に戻して画像データを読み出すように調整するとともに、以後のサンプリングのタイミングもこの点を考慮して行っている。
【０１１１】
また、色データは、連続して供給される輝度データY_n+1, Y_nにそれぞれ対応したCB_n, CR_nが供給される（図9(b)を参照）。図８での説明との相違点はこの点である。
【０１１２】
この場合における輝度データYはデータ分離部20aのデータ保持部200aに供給される、図9(c)の輝度イネーブルYENのイネーブル（ハイレベル）期間中でクロックCLKの立上りエッジで取り込まれる。データ保持部200aに取り込まれる輝度データYとクロック10bの立上りエッジとの関係からデータ保持部200aの出力は、図9(d)に示すようになる。
【０１１３】
これに対して、色データCRは、奇数が先頭の場合、図9(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの２クロック目の立上りで色データCR_nを取り込み、図9(f)に示すように、３クロック目の立上りでこの色データCR_nを出力し続ける。また、図9(g)の色BイネーブルCBENのイネーブル状態では、クロック10bの１クロック目の立上りで色データCB_nを取り込み、図9(h)に示すように、２クロック目の立上りでこの色データCB_nを出力し続ける。
【０１１４】
色信号選択部20bに供給される色選択信号RLBが、図9(i)の信号レベルで供給される。このタイミングでの供給は、ペアとなる輝度データY_n+Kを選択させる輝度イネーブルYEN の立上りと同時に色選択信号RLBをレベル“L”にする。この色選択信号RLBの供給により、色信号選択部20bによる色選択は、図9(j)の色データの順序が色CB, CR, CBの色データの順に行われる。
【０１１５】
ペア生成部20cでは、図9(k)に示すように、２クロック目において図9(d)の出力された輝度データと図9(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが３クロック目に供給されることにより、16ビットの輝度データY_n+1, 色データCR_nが取り込まれる。そして連続してデータイネーブルDENがイネーブル状態にあることから、連続した２画素が選択されるとともに、これらの選択が３クロック分で選択が完了していることがわかる。
【０１１６】
そして４クロック目の立上りで図9(l)および図9(m)の関係で出力される。連続読出しのため３クロックの間に２画素分のデータは、輝度データと色データのペア（Y_n+1, CR_n）および（Y_n+K, CB_n）が連続して出力される。図9(n)では範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELは、データイネーブルDENの反転ラッチ出力として出力する。このようにサンプリング調整することにより、いわゆる、電子ズーム処理が（4:2:2)方式で行われても輝度データと色データの関係を保つことができる。
【０１１７】
次に、バス調停部18によりバッファメモリ部12b に出力されるパケットの送出について簡単に説明する。本実施例では、１パケットは８ビットのデータを８個まとめたデータの集まりとして定義している。パケットを供給する期間は、図10(a)の水平同期信号HDが示す有効走査期間に供給する（図10(b)を参照）。バッファメモリ部12bのFIFOメモリ128b, 130bのいずれかにパケットデータが書き込まれる。１ラインには、80個の画像データのパケットが書き込まれている。図10(c)の番号は、パケットの番号を表している。図10(c)のパケット番号80以降の文字「FREE」は、情報が何もなことを示している。また、文字「REF 」は、画像メモリ14に対して行うリフレッシュ処理の指示を行うパケットを示す。
【０１１８】
また、図10(d)および図10(e)に示すように、画像データの他に、文字「CPU」，「DMA」が画像データのパケット間に挿入され、たとえば、外部のCPU 22に関する制御および外部からのDMA制御部24からのDMA制御に関する情報が入っている。図10(c)および図10(e)が示すように、画像データのパケットは、ともに有効走査期間中に80パケット/ラインが完了している。しかしながら、図10(f)および図10(g)のパケットの関係が示すように有効走査期間中に80パケット/ラインが完了していない場合、画像の端にデータがなく切れてしまう。１ラインに表示させる画像データのパケット数は、調停処理を受けながらも定義した80個を満たされなければならない。この関係を満たすようにパケットを送出する。
【０１１９】
次に、ディジタルカメラ10における画像制御処理部10hの全体的な動作について説明する。電源をオン状態にして動作を開始する。この開始によりタイミング信号発生部12aが直ちにクロック10a, 10bを含む各種のタイミング信号を生成する。そして、サブルーチンSUB1のメモリ制御処理に移行する。メモリ制御処理とは、初期設定等の各種設定を行い、共有バス32の優先度に応じて調停して画像メモリ14から読み出した画像データに表示処理を施す。サブルーチンSUB1での画像データに対して、特に表示シーケンス制御によりパケット化する通常のパケットサイズを指示データ32aや有効画素数データ54等に基づいて変更した画像データのパケットをラインごとにデータ修正部30に出力する。このサイズ変更等の設定に基づく画像データの送出により共有バス32のアクセス占有率を従来に比べて低下させることができる。
【０１２０】
データ修正部30では、供給されたパケットごとの画像修正を指示データ32a等に応じて行う（サブルーチンSUB2）。画像修正は、たとえば、パケットサイズの変更に応じたパケットデータの復元、各パケットに対する各種の信号処理、およびバッファメモリ部12bで書き込むアドレス位置の指定の少なくとも一つを行う。データ修正部30は、この処理後、バッファメモリ部12bにパケット化した画像データ118を出力する。この処理により、パケットサイズを変更した画像データは復元されるとともに、パケットごとに高品位な画像にすることができる。本実施例のディジタルカメラ10のように、画像制御処理部10hを適用したシステムは高いパフォーマンスを有することになる。
【０１２１】
バッファメモリ部12bにおいて供給されたパケットの高速レートの書込み/通常レートの読出しが制御される（ステップS10)。読み出されたパケット化した画像データは、エンコード処理部28で画像データを抽出し、得られた画像データにエンコード処理を施して図示しない表示装置に出力される（ステップS12)。
【０１２２】
この後、画像表示が完了したのか否かを判断する（ステップS14)。まだ画像表示の途中ならば（NO）、サブルーチンSUB1に戻って前述した一連の画像データの制御を繰り返す。また、画像表示が完了したならば（YES)、画像表示に関わる制御を終了する。
【０１２３】
本実施例の特徴を含むサブルーチンSUB1について説明する（図12および図13を参照）。サブルーチンSUB1では、まず画像制御処理部10hにおける初期設定が済んでいるか否かを判断する（サブステップSS100)。まだ初期設定が済んでいないとき（YES)、初期設定の処理に進む（サブステップSS102)。また、すでに初期設定が行われているとき（NO）、バス調停処理に移行する（サブステップSS104)。バス調停処理において優先度の高い順に判断を行う。
【０１２４】
最優先の処理は、画像メモリ14のリフレッシュ処理である。この処理は、画像メモリ14にDRAMまたはSDRAMを用いていることから所定のサイクルでメモリをリフレッシュさせる必要性がある。バス調停部18にリフレッシュ処理を行うフラグが立っているか否かで要求の有無を判断する（サブステップSS104)。
【０１２５】
このフラグは、たとえばリフレッシュカウンタ（図示せず）の計数値に応じて立たせることができる。リフレッシュ用フラグが立っているまたはカウント値が所定の値になった場合（YES)、現時点での共有バス32が使用可能か否か判断する（サブステップSS106)。使用可能でない場合（NO）、図12にあらわに表示させていないが、直ちに現在の共有バス32を使用中の処理を退避させる処理を行い、その間、待機する。共有バス32が使用可能なとき（YES)、リフレッシュ処理を行う（サブステップSS108)。リフレッシュ処理は、リフレッシュをさせる制御情報をパケット化してデータ修正部30に出力する。また、リフレッシュ用のフラグまたはリフレッシュのカウント値に達していない場合（NO）、表示読込み（サブステップSS110)に進む。
【０１２６】
表示読込み用のフラグまたは要求信号（REQ)が供給されているか判断する（サブステップSS110)。表示読込みの要求がある場合（YES)、共有バス32が使用可能か否かを、先に使用している処理の優先度も考慮して処理の一時退避させるかの判断を行う（サブステップSS112)。先の処理が表示読込み処理よりも低いとき（NO）、先の処理を退避させる。共有バス32が使用可能のとき（YES)、表示読込み処理に進む（サブルーチンSUB3）。
【０１２７】
サブルーチンSUB3では、画像データのパケット化に対応した処理、(4:2:2)方式でのペアに対応した処理等を行って画像データをデータ修正部30に出力する。この他の処理も含めて後段にてサブルーチンSUB3を詳述する。表示読込みの要求がなかった場合（NO）、外部のCPU 22による制御に関する処理に移行する。
【０１２８】
この移行により、バス調停部18では、CPU 制御用のフラグまたは要求信号（REQ)が供給されているか否かを判断する（サブステップSS114)。CPU制御の要求がある場合（YES)、次にCPUの制御が書込み処理か否かの判断をする（サブステップSS116)。書込み処理の場合（YES)、共有バス32の使用可能かの判断に進み（サブステップSS118)、書込み処理でない場合（NO）、他の共有バス32の使用可能かの判断に進む（サブステップSS120)。
【０１２９】
サブステップSS118、SS120では、ともに先行処理の優先度とこれから行う処理の優先度を比較して優先度の高い方の処理を行う。この際、優先度がCPU制御処理の方が高いとき（NO）、先行処理を一時退避させる。共有バス32が使用可能なとき（YES)、それぞれ、サブステップSS118、SS120以降の書込み制御処理（サブステップSS122)、読出し処理（サブステップSS124)に進む。それぞれ書込み・読出し処理を行った後だけでなく、サブステップ SS108, サブルーチンSUB3以後も接続子Aを介してパケット制御の終了判断に進む（図13のサブステップSS126)。
【０１３０】
他の制御データのパケットを含む、パケット化したデータの出力制御が終了したか否かを判断する（サブステップSS126)。終了した場合（YES)、リターンを介して図11のメインルーチンに戻る。また、まだ終了していない場合（NO）、接続子Bを介してサブステップSS104に戻る。
【０１３１】
先に説明したサブステップSS114において、バス調停部18では要求がCPU制御でなかった場合（NO）、接続子Cを介してDMA制御部24がDMA制御の要求を出しているか否かの判断に進む（図13のサブステップSS128を参照）。ここでの判断は、DMA制御を行う場合（YES)、DMA制御が書込みか否かの判断を行う処理に進む（サブステップSS130)。書込み処理と判断された場合（YES)、これまで述べてきたように共有バス32が使用可能か否かを判断する（サブステップSS132)。使用可能状態にないとき（NO）、待機するとともに、優先度に応じて低い優先度を先行処理していたとき一時退避処理も行う。共有バス32の使用許可が降りた際に（YES)、DMAの書込み制御を行う（サブステップSS134)。
【０１３２】
また、DMA制御を行う場合、かつ書込みでないと判断された場合（NO）、サブステップSS136に進んで共有バス32の使用許可の判断を行う。この判断に基づく処理は、特に使用許可がないときのサブステップSS132の処理と同じである（サブステップSS136)。共有バス32の使用許可を受けた際に、DMA制御における読出し制御処理を行う（サブステップSS138）。DMA制御における書込み制御と読出し制御の処理のいずれも処理により１パケットに制御情報を入れて出力する。この後、サブステップSS126に進んでパケット制御終了か否かの判断を行う。
【０１３３】
ところで、DMA制御を行わない場合（NO）、外部の装置からのデータ入力や制御の有無を判断する（サブステップSS140)。この要求がある場合（YES)、外部からの制御を行う（サブステップSS142)。このような制御としては、たとえば、キーボード等の装置が挙げられる。また、上述した判断の結果がいずれにも該当しない場合（NO）、何も処理しないでサブステップSS126に進む。サブステップSS126での判断は前述した通りである。一連の判断が終了していれば（YES)、リターンを介してメインルーチンに戻る。このように要求される処理に対して共有バス32が空いているか判断し、この際に優先度に応じて各処理が行われるので、画像データのパケット化に限らず、他の制御も効率的に行うことができる。このパケット化した画像データを含む各種のデータ供給は、図10に示したように１ラインの有効画像表示期間中に行われる。処理に対して時間を有効に使うことができるようになった。
【０１３４】
次に前出したサブルーチンSUB3における画像データをパケット化し、表示シーケンス（順序）に合わせて読み出すとともに、パケットサイズの変更処理の手順について説明する（図14および図15を参照）。画像制御処理部10hの構成にあらわに図示していないが、たとえば信号入力部26には、備えられたマウスまたはキーボードを介して、これから処理される画像に対して、いわゆる、電子ズームの大きさを設定する（サブステップSS300)。ここでの設定値が、画像表示を行う際のズーム係数である。等倍（1.0）を基準に256とすると、２倍の拡大は、512、半分の縮小は、128となる。また、画像データのパケットあたりのデータ量および画像データの１ラインあたりのパケット数も設定する。
【０１３５】
パケットのデータ量およびパケット数は、ハードウェア的な制約を受ける場合、固定的に設定されることもある。本実施例では、８個の連続した画像データを１パケットとして固定的に扱う。そして、画像データに対して80個のパケットが１ラインに含まれるように設定されている。なお、電子ズームの設定は、割込み処理によっても設定可能にしておくとよい。
【０１３６】
この設定の後、画像メモリ14から読み出す画像データのアドレスを算出する（サブステップSS302)。ここでのアドレス算出は、上述したパケットの先頭のアドレスをランダムに設定してもよい。指定したパケットの先頭のアドレスに対して以下に連続する７個の画像データを電子ズームのズーム係数を考慮して算出する。算出したアドレスデータがメモリ制御部16に供給される。より具体的な本実施例でのアドレス算出は、ズーム距離を加算した後の小数点以下の値は四捨五入して求めている。この算出により、先頭位置がずれることを防ぐことができる。
【０１３７】
メモリ制御部16では、画像データのデータ読出し行うとともに、たとえば、（4:2:2)方式に対応した輝度データおよび色データのペア関係を保たれた調節の読出し制御を行う（サブルーチンSUB4：データ読出し；順序調節）。実際の順序調節は表示シーケンサ20で行う。この読出しにより、(4:2:2)方式で電子ズームを行っても、偽色等の画質を劣化させる現象を抑制させることができる。特に、上述したペア関係を保つ制御について後段でさらに詳述する。
【０１３８】
この処理後、サブステップSS304に進んで、垂直ブランキング信号（Vertical BLanKing：以後、VBLKという）を表示開始する際の同期信号に用いるため、サブルーチンSUB4が終了した後に到来するVBLK信号を検出している。VBLK信号が未検出のとき（NO）、サブステップSS304に処理を戻して待機する。また、VBLK信号が到来したとき（YES)、表示シーケンス処理（サブルーチンSUB5）に移行する。
【０１３９】
サブルーチンSUB5では、これまで読み出した画像データのパケットをデータ修正部30に供給する順序を整える処理を行う。この一連の処理は、前述した表示シーケンサ20で行う。水平方向の読出しとともに、この処理では、電子ズームに対応して垂直方向の読出し制御に関する処理も行っている。これらの処理についても後段で詳述する。
【０１４０】
この処理後、供給されるパケットが含むヘッダ情報の検出を行う（サブステップSS306)。パケットの各種情報を示すヘッダ情報を含んでいる場合（YES)、検出したヘッダ情報から画面表示の指示を含むか否かパラメータ解析を行う（サブステップSS308)。また、ヘッダ情報を含んでいない場合（NO）、パラメータ解析を行わないで、パケットに対する処理の指示対象のパケットか否かの判定に進む（サブステップSS310)。指示対象のパケットでないとき（NO)、接続子Sを介して供給されたパケットデータをそのままデータ転送する（図15のサブステップSS312)。また、指示対象のパケットと判定したとき（YES)、接続子Tを介して指示内容がサイズ変更か否かの判定を行う（図15のサブステップSS314)。
【０１４１】
指示内容がサイズ変更を含んでいないとき（NO）、パケットのデータ転送を行う（サブステップSS312)。また、指示内容がサイズ変更を含むとき（YES)、パケットサイズ変更の対応処理を対象のパケットに施す（サブルーチンSUB6）。この後、サイズ変更されたパケットがデータ転送される（サブステップSS312)。このデータ転送を行った後、リターンに移行してサブルーチンSUB1に戻る。
【０１４２】
なお、高速処理を目的としてこの表示シーケンス後に１画面分の画像データの送出が完了したか否かの判断を行うようにしてもよい。データの送出が未完のとき（NO）、アドレス算出処理に戻って処理を繰り返す。ただし、本実施例では、一例の処理として、この一連の繰返し処理が行われるようにVBLK信号の立上りを基準に画像表示のライン数が所定の値に達するまで、サブステップSS304における判断処理を素通りさせる。データの送出が完了したとき（YES)、リターンに移行してこのサブルーチンSUB3を終了させる。
【０１４３】
次にデータ読出しおよびペア関係を保つ順序に関する手順について説明する（サブルーチンSUB4：図16〜図20を参照）。まず、画像データの読出しがこれまで行われてきた処理と継続性があるか否かの判断を行う（サブステップSS400)。継続性に関する情報は、フラグまたは組合せの条件フラグを用いて判断する。継続性がある場合（YES)、サブステップSS402に進んでアドレスをロードする。この際にロードするアドレスは、一つ前のパケットの最後に読み出したアドレスである。この処理後、サブステップSS404に進む。また、継続性がない場合（NO）も同様に、今回初めて画像データの読出しを行うことからサブステップSS404に進む。
【０１４４】
サブステップSS404では、メモリ制御に用いる各種のパラメータの初期化を行う。このパラメータの設定を行い、次にアドレスの設定を行う（サブステップSS406)。そして、動作開始の設定を行う（サブステップSS408)。ここでの動作とは、画像メモリ14に対する動作制御を意味する。たとえば、チップセレクト（CS）やロー・アドレス・セレクト（RAS）等の動作であり、これらの開始が動作開始である。
【０１４５】
次に設定した最初の先頭アドレスが偶数か否かの判定を行う（サブステップSS410)。色の選択処理の開始である。この場合もフラグを有効に用いる。たとえば、奇数フラグが立っているか否かで判定を行う。奇数フラグが立っていないとき、すなわち、先頭アドレスが偶数のとき（YES)、カウント数N=0 をセットする（サブステップSS412)。また、奇数フラグが立っているとき（NO）、先頭アドレスを奇数と判定して接続子Dを介して後段の図19に示す奇数の色選択処理に移行する。
【０１４６】
偶数の色選択処理においてカウント数N=1にセットした後、(4:2:2)方式における最初の読出しである先頭アドレスにアクセスして画像メモリ14から読み出す（サブステップSS414：READ_YCR)。この読み出した画像データは16ビットである。この画像データを輝度データYと色データCRに分離して一時的にデータの保持を行う。この段階が、図7(a), (b)の画像データに対して図7(c), (e)の各イネーブル信号による輝度データYと色データCRの領域選択を行って一時保持することに対応する。そして、この保持とともに、データに対してズーム処理を行うか否かを判断する（サブステップSS416)。
【０１４７】
等倍処理を行う場合（NO）、一時保持した色CRを色信号選択部20bが色CRを選択するように色選択信号RLB=0が供給される。そして、この間に選択し出力された画像データがペアとしてペア生成部20cに取り込まれる（図7(k)を参照）。接続子Eを介して図17に進む（サブステップSS420)。一方、ズーム処理を行う場合（YES)、接続子Fを介して後述する処理(READ_CB：図18を参照）を行う。
【０１４８】
等倍処理に戻って、ここで、色CRの選択に応じてカウント数Nを１だけ歩進させて（サブステップSS420)、輝度データおよび色データCBの一時保持およびその保持データの出力を行う（サブステップSS422)。これにより（4:2:2)方式の際の２番目の画像データの元になる領域が選択されたことになる（READ_YCB)。
【０１４９】
ところで、この処理の後に、カウント数が８を越えたか否かの判定を行う（サブステップSS424：優先度１)。パケットのデータ数を８に設定しているからである。１パケット分の画像データの区切りに達したとき（YES)、接続子Gを介して図18に処理を移行させる。また、１パケット分の画像データがパッキングされていないとき（NO）、サブステップSS426に進む。
【０１５０】
ここでは、画像メモリ14のメモリ領域が２次元で表されているアドレス空間のうち、このアドレス空間が右端に達したか否かの判定を行う（サブステップSS426：優先度２)。この判定もフラグが立っているか否かに応じて行う。右端に達しているとき（YES)、色CBの識別において順序を考慮して選択する（サブステップSS428)。順序の考慮された色選択を行わせるため色選択信号RLBは、“1”が供給されている。このとき、カウント数を１だけ歩進する（サブステップSS430)。そして、次に読むアドレス空間における改行処理およびそれに伴うアドレス更新の処理を行う（サブステップSS432：READNOP2)。アドレス更新処理は、たとえば、あらかじめアドレス値にゼロをセットする処理等を行う。この処理後に、接続子Hを介して図16のサブステップSS406に戻る。
【０１５１】
先に行ったサブステップSS426における判定でアドレス空間のアクセスがまだ右端に達していないとき（NO）、次の判定処理に移る（サブステップSS434：優先度３）。この判定では次の先頭アドレスが奇数か否かを判定している。先頭アドレスが奇数のとき（YES)、色CBの識別を行うとともに、順序の考慮された色選択を行わせるため色選択信号RLBは、“1”が供給される。これにより色CBが選択される（サブステップSS436)。このとき、カウント数を１だけ歩進する（サブステップSS438)。以後、先頭アドレスが奇数になった場合に対応した処理に接続子Iを介して図19に移る（READ_YCB1)。この処理については後段で述べる。
【０１５２】
また、次の先頭アドレスが奇数でないとき（NO）、等倍処理のサブステップSS422により得られた領域のうち、順序の考慮した色CBの識別を行うことにより（サブステップSS440)、色CRに連続して輝度データYと色データCBのペアが組み合わせて得られる。このとき、カウント数Nを１だけ歩進して（サブステップSS442)、接続子Jを介して図16のサブステップSS414に戻る。このループにより等倍処理ループが形成されている。この等倍処理を行うとき、すなわち、最初のアドレス値に１だけ歩進したアドレス値と次に読む予定のアドレス値が一致するとき、この予定のアドレス値に対応する色データCBを選択してペアを形成して、この後、予定のアドレスの輝度データYを選択している。
【０１５３】
次に、先頭のアドレスが偶数であり、かつズーム処理を行う場合、前述したように接続子Fを介して図18のサブステップSS444（READ_CB)に進む。ここで、フローには現れていないが、サブステップSS418で行っている色データCRの領域を一時選択し、領域抽出を行っている（図8(e), (f)を参照）。一方、色データCBの領域選択は、イネーブル信号CBENがレベル“L”なので結果的に何も選択されない。そして、接続子Fを介してサブステップSS444では、色データCBの識別し、領域選択が行われているが、この段階では図8(h)に示すように何もデータがないから、不確定なデータがサンプリングされることになる。ここで、この選択において色選択信号RLBは“1”が供給される（図8(g)〜(j)を参照）。このとき、カウント数Nを１だけ歩進している（サブステップSS446)。
【０１５４】
次に、色CBの領域を一時的にラッチする処理を行う（サブステップSS448：色イネーブルCBEN=“1” を参照）。この処理後に前述したように読み出すアドレス空間へのアクセスが右端に到達しているか否かの判定を行う（サブステップSS450)。右端の検出もあらかじめ設定したフラグの値によって判定することができる。右端に達していれば（YES)、アクセスするアドレス空間に対する改行処理を行う（サブステップSS452)。改行処理は、一連のアドレスの更新処理である。この後、次の新たな輝度データYの選択に進む（サブステップSS454)。
【０１５５】
また、アドレスがまだ右端に到達していないとき（NO）、図8(i),(j)に示すように色データCRを識別選択し、領域も選択する（サブステップSS454：RLB=0, DEN=1)。この結果に対するカウントは先のサブステップSS446で行われているので略す。
【０１５６】
次に、連続して読み出す２番目の輝度データYを選択する（サブステップSS456：READ_Y2）。この選択は先頭アドレスが偶数でサブステップSS414からズーム処理を行う場合、最初に得られた輝度データYおよび色データCRのペアを有効にした後、ズーム分離れた２番目の輝度データYを読み出す処理に対応している。このとき、カウント数Nが８を越えているかの判定を行う（サブステップSS458：優先度１）。カウント数Nが８を越えているとき（YES)、選択した輝度データYに対応する色データCBを選択する（サブステップSS460：RLB=1）。また、まだカウント数Nが８より小さいとき（NO）、アドレス空間の右端に達し、かつ改行を行うか否かの判定処理に移る（サブステップSS462：優先度２ ）。アドレス空間の右端に到達して改行する場合（YES)、サブステップSS464で色CBを選択する。
【０１５７】
これは、色CBが等倍のときのようにアドレス値を+1する場合と異なるアドレス、すなわちズームの大きさを表すズーム距離分を加えたアドレスをアクセスすることになるから、先に選択したCRと対をなす色CBの色データを選択する。このとき、カウント数Nを１だけ歩進している（サブステップSS466)。そして、接続子Kを介して図17のサブステップSS432（READNOP）に進む。
【０１５８】
サブステップSS462での条件が満たされなかったとき（NO）、接続子Iを介して図19のサブステップSS468（優先度３）に進む。ここでは、次の先頭のアドレスが奇数か否かの判定を行っている。このアドレス値が偶数のとき（NO）、サブステップSS464での処理と同じ理由から色CBを選択する（サブステップSS470)。このとき、カウント数Nを１だけ歩進している（サブステップSS472)。この処理後、接続子Lを介して図16のサブステップSS414 (READ_YCR）に戻る。
【０１５９】
また、サブステップSS468にて先頭のアドレス値が奇数のとき（YES)、サブステップSS474で色CBを選択し、そしてカウント数Nを１だけ歩進している（サブステップSS476)。この処理後、奇数の先頭のアドレス処理に移行する（サブステップSS478：READ_YCB1)。
【０１６０】
このような一連の動作により、先頭のアドレスが偶数のとき、輝度データYといわゆる、電子ズームのアドレス距離（またはズーム距離）離れたデータでなく最初に読み出したアドレス値に１歩進したアドレス値の色データCBを選択して次の輝度データYを読むことにより、輝度データと色データのペア関係を保つようにしている。
【０１６１】
次に、サブステップSS478以降で奇数の場合の処理手順が行われる。最初に輝度データYをイネーブル信号で抽出するとともに、色データCBも抽出する（サブステップSS478：CBEN=1）。この処理を行って得られる色データCBは色選択信号RLBのレベル“H”期間を選択する（サブステップSS480)。このとき、カウント数Nを１だけ歩進している（サブステップSS482)。そして、この奇数処理の場合、アドレスを１個戻した際に得られる色データCRを選択する（サブステップSS484：READ_CR)。
【０１６２】
この段階において、アドレス空間の右端に達しているか否かの判定を行う（サブステップSS486)。達していないとき（NO）、１個戻した際の輝度データYのアドレスに対応した色データCRを読んで、選択する（サブステップSS488：RLB=0)。そして輝度データYとともにペアを組んで出力する。この後、接続子Mを介して図18のサブステップSS456 (READ_Y2）に進む。このように動作させることにより、(4:2:2) 方式の画像データに対していわゆる電子ズームを行っても、輝度データに対する色データのペア関係をずらすことなく、画像データを読み出すことができる。
【０１６３】
また、アドレス空間の右端に達している場合（YES)、接続子Nを介して図18のサブステップSS452 (READNOP3）に移行する。ここで、右端の到達は、たとえば設定しているフラグ等の情報を監視して検出している。
【０１６４】
ところで、偶数の場合でも述べたように読んだ画像データ（輝度データY,色データCR/CB)が１パケット分の読み込まれたとき（優先度１）、図18に示すサブステップSS490に進む。ここでは、画像メモリ14に画像データの読込みを行う。この処理の後、接続子Pを介して図20のタイミング調整処理に移行する（サブステップSS492)。このタイミング調整処理は、クロック10bでサンプリングする動作が水平同期信号および垂直同期信号といったテレビジョン信号と非同期の関係にある。これらの信号との画像データの受渡しのタイミングがうまく取れるように調整している。このタイミングの監視をサブステップSS494で行っている。調整完了のとき（YES)、リターンに移行する。また、調整が未完のとき（NO）、サブステップSS492に戻って調整を続ける。
【０１６５】
このように処理することにより、表示シーケンサ20では、(4:2:2) 方式で等倍、ズームに対する画像データのサンプリングを行った際に色ずれによる偽色等の発生を抑制させることができる。
【０１６６】
このように読み出した画像データを表示シーケンサ20では、サブルーチンSUB5に従って出力させる（図21および図22を参照）。表示シーケンスを開始する際の初期設定を行う（サブステップSS500)。表示の順序調整する際に用いる各種のパラメータを設定する。表示出力のシーケンス処理の前処理を開始するか否か判断する。たとえば、表示ストップのフラグが立っているとき（NO：STOP_DISP=１）、動作準備段階として待機させる。
【０１６７】
次に準備開始のとき（YES)、供給されるパラメータ（たとえば、DVD, DFLD)に応じてサブステップSS504に進む。この段階で、パラメータDVD=0, DFLD=0のとき表示出力が偶数として表示が２フィールド目と判定する。また、偶数でないと判定した場合（NO）、パラメータDVD=0, DFLD=1 のとき表示出力が奇数として表示が１フィールド目と判定する。
【０１６８】
次に、サブステップSS508 で動作開始の条件（STFLG=1, DVD=1, DHD=1, DISP_REQ=1)が満たされるとき（YES)、開始アドレスが設定される（サブステップSS510)。このとき同時に、カウントするパケットの初期値をセットする（サブステップSS512)。この処理後、接続子Qを介して図22のサブステップSS514に進む。また、動作開始条件が満たされていないとき（NO）、サブステップSS508に戻って待機状態になる。
【０１６９】
次に、動作開始状態にあるが、画像データをバッファメモリ部12 に受渡しする際に用いる共有バス32が使用可能にあるか否か判断する（サブステップSS516)。共有バス32の使用許可をバス調停部18に供給し、バス調停部18ではその優先順位に応じて使用許可を要請した処理部に出力される。この使用許可が得られないとき（NO）、待機状態にする。また、使用許可が得られたとき（YES)、サブステップSS518に進む。
【０１７０】
ここで、これまでのパケットが１ラインに挿入する個数に達したか否かを判定する。所定のパケットの個数にまだ達していない場合（NO）、サブステップSS520に進む。この判定に応じてパケット送出要求が出力される（DISP_REQ=1）。この要求に応じて実際にパケットが送出される（サブステップSS522)。この処理後、サブステップSS516に戻る。また、所定のパケット数を越えている場合（YES)、パケットの送出を禁止する（サブステップSS524)。これにより、１ライン分の画像データがパケットとして供給される。本実施例では、このパケット数を80個に設定している。
【０１７１】
この処理の後、いわゆる電子ズームを行っている場合、これまで説明してきた水平方向だけでなく、垂直方向に対してもズーム制御を行うと、アスペクト比の考慮された良好なズーム画像を表示させることができるようになる。このため、サブステップSS526では、ズーム距離（またはアドレス距離）に対応した縦方向の次に読み出す開始アドレスを算出する。この算出したアドレス値に基づいて次のラインに対する画像データの送出が行われる。
【０１７２】
この算出後、表示シーケンサ20は、水平同期信号HDの到来、すなわち１ラインの最後がきたか否か判定している（サブステップSS528)。まだ、水平同期信号HDの最後が到来していないと判定した場合（NO）、サブステップSS530で待機する。この状態は、図10(b)に示すように文字「FREE」の期間に相当する。また、水平同期信号HDの最後が到来したと判定された場合（YES ）、表示終了コマンドが供給されるたか判定する（サブステップSS532)。コマンドが供給されるまで接続子Rを介して図21のサブステップSS508に戻って一連の処理を繰り返す。また、表示終了コマンドが供給されている場合（YES)、リターンに移行してサブルーチンSUB5を終了する。
【０１７３】
このように動作させると、画像データを所定の時間内にバッファメモリ部12bに供給して書き込ませることができるとともに、あらわに説明していないが、図10に示したように画像データだけでなく、CPU, DMA等のデータも供給して限られた時間内にメモリ制御を有効に行わせることもできるようになる。
【０１７４】
また、行方向のアドレス変化は、有効な輝度データを読み出すときだけ、列方向のアドレスの変化を検出するようにアドレスを更新させて電子ズームを効率よく処理している。
【０１７５】
次に表示シーケンス20においてパケットサイズを変更する手順について説明する（サブルーチンSUB6：図23を参照）。パケットのパラメータ解析の結果、画像の種類としてパラメータがたとえば、背景を示しているか否かを判定する（サブステップSS600)。パラメータが背景を示しているとき（YES)、画像の一部の領域の表示に用いる元々のデータ量が小さいことから、パケットサイズをS サイズに設定し、この設定したサイズでパケットを再区分する（サブステップSS602)。また、パラメータが背景を示していないとき（NO）、パラメータがサムネイルを示しているか否かの判定を行う（サブステップSS604)。
【０１７６】
パラメータの解析結果がサムネイルを示しているとき（YES)、サムネイル画像の総量は、一枚の全画面領域を表示する画像データ量に比べて大幅に小さい量であることから、パケットサイズを通常のサイズよりも大きくとって、Lサイズに設定し、この設定したサイズでパケットを再区分する（サブステップSS606)。また、パケットに対する解析結果が背景でもサムネイル画像でもなく、かつ通常のサイズ（M）でない場合（NO）、データの転送効率を高めるように、最適なパケットサイズの算出を行う（サブステップSS608)。そして、算出したパケットサイズに設定し、この設定したサイズでパケットを再区分する。
【０１７７】
前述したパケットサイズをサイズSで区分した後、パケット情報の設定を行う（サブステップSS610)。パケット情報は、たとえば、背景のパケットデータを少なくとも１回送出させるとともに、このパケットデータを何回コピーさせると１ライン分のデータが復元できるかを示すコピー回数である。このコピー回数は、送出するパケットサイズが８ビットで、有効画素数データ16ビットとした場合、パケットサイズに対する有効画素数データの比から容易に２回であることがわかる。このコピー回数は供給される指示データ32aに基づいて行うようにしてもよい。また、逆にこの場合の送出量は、半分の40パケットの送出だけで済むこともわかる。
【０１７８】
次にサブステップSS606, SS608, およびSS610の処理後、送出先のデータ修正部30におけるメモリアドレスの設定を行う（サブステップSS612)。アドレスの指示は、CPU 22から共有バス32を介して供給される指示データ32aに基づいて行うとよい。この処理後、リターンに移行してサブルーチンSUB6を終了する。
【０１７９】
このようにパケットのサイズを情報に基づいて変更してそれぞれ的確な回数でパケットデータを共有バス32を介してデータ修正部30に供給する場合を簡単に説明する（図24を参照）。最初にこれまで行われてきた通常のパケットサイズによるデータ送出の関係を示す。図24(a),(b),(c)は、それぞれ水平同期信号HD, 所定のサイズ（M）のパケット、および各パケットに書き込まれるデータの内容を示している。水平同期の立上りから立下りまでの映像期間中に80パケットが供給されている（図24(c)を参照）。
【０１８０】
同じ水平同期期間内に図24(e), (f)のパケットサイズは、図24(b)と同じでありながら、パケットを通常の半分、かつコピー回数２だけを送出する場合を示している。通常の場合と同じデータを半分受取り側で受けてコピー回数に応じて２倍に復元する。このため、実際に送出する画像データに関するパケットは、半分の40パケットで済ませることができる。また、受取り側であらかじめ背景データを保有し、指示に応じて背景データを画像の背景領域に送出するようにすると、この領域に対する実際のデータ送出を不要にし、コピー回数およびデータの供給先を示すアドレスだけを提供すればよい。
【０１８１】
さらに、図24(g), (h)に示す送出例は、パケットサイズをダイナミックに可変させた場合である。この場合、送出するパケット数は44であるが、部分的に画素コピー機能を適用することでデータ転送を実現させている。
【０１８２】
このように共有バス32を介してデータ転送させることにより、画像データ自体のデータ転送量を抑えることができる。したがって、画像データの転送に際して共有バス32の画像データ占有率を低下させることができる。この低下にともない生じる空きパケットにCPU等の他の装置からの情報を担わせることができる。これにより、CPU等のアクセスのレスポンスが向上し、フレームメモリ上の画像書き換え等の処理をより一層迅速に行わせることができる。
【０１８３】
次にデータ修正部30で行われるパケットの復元処理および加工処理について説明する（サブルーチンSUB2：図25および図26を参照）。ここでの復元処理は、サイズの変更にともなう処理の逆を考えるとよい。データ修正部30では、デコーダ300で供給される指示データ32a や有効画素数データを解析する（サブステップSS200)。ここでは、指示データ32aの指示に基づいて各種信号処理を行うことにする。
【０１８４】
指示データ32aの解析結果から現時点に供給されるパケットが復元および加工を施す対象のパケットか否か判定を行う。供給されるパケットが対象のパケットでないとき（NO）、接続子Uを介して図26のリターンに移行してサブルーチンSUB2を終了させる。また、供給されるパケットが何等かの信号処理を施す対象のパケットと判定したとき（YES)、信号処理がデータの復元を指示しているか否か判定を行う（サブステップSS204)。
【０１８５】
判定結果がデータの復元を指示しているとき（YES)、復元処理を行う（サブステップSS206)。復元処理は、データ選択部306でコピー回数やデータの供給先の先頭アドレスに基づいて供給されたパケットデータまたはレジスタ回路304からのデータを繰返しコピーして１ライン分のデータを復元生成する。また、このデータの復元生成処理の終了後と判定結果が復元を指示していないとき（NO）、電子ズームの調整か否かの判定に進む（サブステップSS208)。
【０１８６】
指示データ32aが電子ズームの調整を示していると判定したとき（YES)、電子ズーム修正部308でパケットごとに電子ズームの大きさ（倍率）を変更する。前述したサンプリングの関係を維持したまま、ズーム倍率を微調整する。この処理により、歪曲、周波数特性やMTF (Modulation Transfer Function)に基づくレンズの収差を簡易的に補正することができる。この微調整は、実際に水平方向のサンプリングの他、垂直方向のサンプリングをライン単位で調整するとよい。補正は１画面あたりパケットの分割数だけ行えばよいことから補正データが少なくて済む。これにより、小さな背景データを拡大表示させることもできるようになる。また、電子ズームの調整後と判定結果が電子ズームの調整を指示していないとき（NO）、特殊効果処理の指示か否かの判定に進む（サブステップSS210)。
【０１８７】
指示データ32aが特殊効果処理を示していると判定したとき（YES)、演算・フィルタ処理部310でパケットごとにディジタル信号処理を施す。この信号処理は、パケットデータに対するノイズ対策として周波数特性を変化させるローパスフィルタ処理や所定の低域レベル以下を削除するコアリング処理のような処理、パケット固有の明るさにするゲイン調整、コントラスト調整、特殊効果処理等を行う。ゲイン調整は、たとえば、広角レンズで撮影した画像の周辺領域の減光を補正する。また、特殊効果処理は、モザイク、ぼかし、部分増殖、画像を湾曲させる魚眼効果等を行う。また、演算・フィルタ処理後および特殊効果処理の指示ではないとき（NO）、接続子Vを介して図26のアパーチャ調整の指示か否かの判定に進む（サブステップSS216)。
【０１８８】
アパーチャ調整すると判定したとき（YES)、個々のパケットに固有の鮮鋭度になるようにアパーチャ生成回路312でアパーチャを向上させる信号成分の生成を行う。このとき加算器314にはパケットデータが加算器314の端子314aに供給され、生成した成分信号が加算器314の端子314bに供給されている。加算器314は、供給される２つの信号を合成してアパーチャを向上させる。アパーチャ調整後と判定結果がアパーチャの調整をしないと判定したとき（NO）、リターンに移行してサブルーチンSUB2を終了する。
【０１８９】
サブルーチンSUB3でのパケットサイズの変更とサブルーチンSUB2のパケットデータの復元を行う一連の処理により、画像メモリ14への書込みアクセスの回数を減らすことができる。このアクセスの減少は、消費電力を低下させることにつながる。
【０１９０】
また、これは共有バス32のデータ転送に関わる占有時間の低下も意味し、これまで用いていたパケットにCPUやDMA制御等のデータを挿入することができるようになるから、制御を行う上でのアクセスのレスポンスが向上する。この結果、データ転送および制御アクセスが向上するからフレームメモリ上の画像の書換え等の迅速化を図ることができる。
【０１９１】
このように動作させ、図27のように画像122を額縁にはめ込んだ絵のように見せたいとき、額縁部分124はパケットサイズSでアドレスを指定するとともに、コピー回数をデータ修正部30にデータ転送し、データ選択部306で供給されるコピー回数に基づいて復元させる。また、この手順の他にデータ修正部30は指示データ32aとしてCPU 22から供給されたデータをレジスタ回路304に格納し指定のアドレスに読み出したデータをデータ選択部306に供給して額縁を形成してもよい。
【０１９２】
また、帆船およびこの帆船周辺海域の状況を表す小さな画像データを一回画像制御処理部10hに供給し、画像制御処理部10hで対象の表示位置および表示サイズを考慮してコピーすることにより、画像122が示すように、相似な帆船を前方側に大きな拡大した画像にして表示させることもできる。この手法を用いることにより、サムネイルサイズの画像から大きな画像を拡大表示用に生成することが容易に行うことができる。
【０１９３】
なお、本実施例はパケットデータとして画像データを転送する場合を説明したが画像データに限定するものではなく、たとえば音声データを供給してもよい。これにより、画像表示させながら、音楽を流すこともできる。
【０１９４】
ディジタルカメラのモニタ表示制御に適用して、撮像画像の迅速な表示とともに、ディジタルカメラにより表示に関わる信号処理を的確に行わせ、消費電力を抑えることもできる。そして、単に撮像した画像をそのまま記録するだけでなく、ユーザの要望に応じた信号処理の施された画像を記録することも選択的にでき、パフォーマンスをより一層高めることができることは言うまでもない。
【０１９５】
さらに、他の実施例として、ディジタルカメラ10は、上述したように消費電力が抑制できることを積極的に利用するようにしてもよい。ディジタルカメラ10には、たとえば、図28に示すように、画像制御処理部10jに電源電圧検出部10kが配されている。ここでは、図１に示した撮像処理系と直接関係のない部分を省略している。電源電圧検出部10kには、ADC（Analog-to-Digital Converter）が電源100aの電圧検出デバイスとして用いられる。電源電圧検出部10kは、所定のタイミングで電源電圧を測定し、得られたディジタル電圧レベルをレジスタ10mに供給し、記憶する。システム制御部10jは、レジスタ回路10mを制御して所定の期間ごとに一つ前に検出した電圧レベルを読み出して、この電圧レベルと現在検出した電圧レベルとの差を算出し、さらに、電圧の減少率（傾き）を算出する。システム制御部10jは、あらかじめ設定した減少率に算出した減少率が達したか否かを判断し、電圧の減少率が等しくなった際に画像制御処理部10hの表示制御を開始するように制御する。また、画像データの表示出力速度も抑えて表示させるようにシステム制御部10jは、タイミング調整部12の動作クロックを低下させる制御信号101kを供給する。
【０１９６】
なお、レジスタ回路10mは、システム制御部10jに内蔵するレジスタ回路を用いてもよい。電源電圧検出部10kは、ADCのようにディジタルに限定されるものでなく、アナログ電圧を基に検出するようにしてもよい。この場合、アナログ比較器を用い、アナログ比較器は、比較器の一方にあらかじめ設定したアナログ電圧レベルを比較基準として印加し、他方に電源と接続して比較器の比較結果が等しくなった際に比較器がシステム制御部10jに、たとえば、レベル“H”の信号を供給する。システム制御部10jは、画像制御処理部10jを制御する。
【０１９７】
このように構成し、制御して動作させることにより、画像データの再生に要する電力が少なくても従来よりも表示可能期間を延ばすことができる。電池が有する電力を有効に使うことができる。
【０１９８】
以上のように構成することにより、画像表示期間中でも共有バスの占有を避けて有効に他の装置とのアクセスが可能にするとともに、これまで以上に画像データの共有バスの占有率を低下させることによりCPU等の制御部のアクセスの応答をより一層向上させることから、フレームメモリ上の画像データの書換え等の処理が従来よりも短時間に行うことができる。すなわち、データ転送速度はそのままでありながら、アクセス回数を低下させ、処理の高速化が図れるので装置全体として低消費電力化することができる。１パケットの有効画素数（パケットサイズ）を可変することにより共有バスの占有時間を可変させて相対的に読み出すデータのアクセスに優先度を持たせることもできる。
【０１９９】
また、(4:2:2)方式のサンプリングを行い、かつ電子ズームする際に、輝度データと色データのサンプリングのペア関係を維持するように動作させていることから、表示する画像に偽色が生じて画質を劣化させることも防ぎ、制御の負担を抑えながら画像の修正や補正を的確に行うことができる。これにより適用した装置は本来の画像を高速表示だけでなく、各種の特殊な効果を持たせた表示も行うことを可能にするので装置のパフォーマンスをより一層高めることができる。
【０２００】
【発明の効果】
このように本発明の画像制御装置ならびにディジタルカメラによれば、通信手段を介して供給された画像データをメモリ制御手段の制御に応動してメモリ手段に入出力し、このうち、メモリ手段から出力される画像データをメモリ制御手段の制御下にある規格調整手段によって所定の規格にタイミング調整して出力させ、規格調整手段の前段に画像修正処理手段および指示情報供給手段を配して、指示情報供給手段で固有の情報をエンコードして画像修正処理手段に供給し、画像修正処理手段で画像データをタイミング調整して出力させる画像データ量としてメモリ制御手段で設定した所定の単位数よりも少ない画像データが含む固有の情報を解析し、復元処理および加工処理の少なくとも一方の処理を行い、所定の単位数より少ない画像データが送られても所定の単位数に増やしたり加工された画像にすることにより、画像データの送出を従来よりも少ない時間で済ませることができ、各種の信号処理も施して画像データの価値をより一層高いものにしている。規格調整手段は、このように書き込まれた画像データを所定の規格に合わせて出力するので、付加価値の高い画像表示させながら、特にメモリへの書込みアクセス（回数）を減らして消費電力をこれまでになく抑えることができる。
【０２０１】
また、本発明の画像制御装置の制御方法によれば、輝度成分と色成分とを分離し、所定の単位をひとまとめに画像データを区分し、区分した画像データのサンプリングのずれの補償を調整し、さらにデータサイズを異なる区分のサイズへの変更処理を固有の情報に応じて行うことにより、調停に応じて共有するバスへの調整した区分データの送出量を抑制して画像表示の処理におけるレスポンスを向上させることができ、抑制して送出された区分データごとにどのように復元するか指示情報に応じた画像データの復元や各種の加工処理を行うことで本来用いる画像データ量を確保するとともに、区分データごとに施される加工によって少ない補正で済ませながら、区分データの価値をより高いものにして、画像データを所定の規格に合わせて出力して、所定の規格の出力に要する処理時間の短縮を図ることにより、アクセス回数が減ることから消費電力を低下させることができる。
【図面の簡単な説明】
【図１】本発明の画像制御装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１のメモリ制御部に備えた各機能部を示す図である。
【図３】図１の表示シーケンサにおける輝度データと色データとのペア生成の選択およびサイズ変更を行う回路図である。
【図４】図１のデータ修正部の概略的な構成を示すブロック図である。
【図５】図１のバッファメモリ部の概略的な構成を示すブロック図である。
【図６】画像データにおける輝度データ、および２つの色データの各方式のサンプリングによる関係を示す図である。
【図７】輝度データおよび色データを(4:2:2) 方式の等倍処理でペア関係を保つ処理のタイミングチャートである。
【図８】輝度データおよび色データを(4:2:2) 方式のズーム処理で先頭が偶数でのペア関係を保つ処理のタイミングチャートである。
【図９】輝度データおよび色データを(4:2:2) 方式のズーム処理で先頭が奇数でのペア関係を保つ処理のタイミングチャートである。
【図１０】画像制御処理部における１ライン内において送出される各パケットの関係を模式的に示すタイミングチャートである。
【図１１】図１の画像制御処理部の動作を説明するメインフローチャートである。
【図１２】画像制御処理部のサブルーチンSUB1の動作手順を説明するフローチャートである。
【図１３】図12に示した画像制御処理部のサブルーチンSUB1の続きの動作手順を説明するフローチャートである。
【図１４】画像制御処理部のサブルーチンSUB3の動作手順を説明するフローチャートである。
【図１５】図14に示した画像制御処理部のサブルーチンSUB3の続きの動作手順を説明するフローチャートである。
【図１６】画像制御処理部のサブルーチンSUB4の動作手順を説明するフローチャートである。
【図１７】図16に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。
【図１８】図16に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。
【図１９】図18に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。
【図２０】図18に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。
【図２１】画像制御処理部のサブルーチンSUB5の動作手順を説明するフローチャートである。
【図２２】図20に示した画像制御処理部のサブルーチンSUB5の続きの動作手順を説明するフローチャートである。
【図２３】画像制御処理部のサブルーチンSUB6の動作手順を説明するフローチャートである。
【図２４】画像制御処理部における１ライン内において送出される各パケット、パケットサイズおよびパケット送出量の関係を模式的に示すタイミングチャートである。
【図２５】画像制御処理部のサブルーチンSUB2の動作手順を説明するフローチャートである。
【図２６】図25に示した画像制御処理部のサブルーチンSUB2の続きの動作手順を説明するフローチャートである。
【図２７】画像制御処理部の動作により表示される画像の一例を示す図である。
【図２８】図１のディジタルカメラに電源電圧検出部を配した構成を示すブロック図である。
【符号の説明】
10 ディジタルカメラ
10A 光学レンズ系
10B ドライバ
10c, 12b タイミング信号発生部（TG）
10d 撮像部
10e 前処理部
10f 信号処理部
10g ストレージ部
10h 画像制御処理部
12 タイミング調節部
12b バッファメモリ部
14 画像メモリ
16 メモリ制御部
18 バス調停部
20 表示シーケンサ
28 エンコード処理部
30 データ修正部
32 共有バス

Claims (44)

1. 供給される画像データに対する出力が制御され、該制御された画像データに信号処理を行い、さらに、得られた画像データを所定の規格に合わせて出力する画像制御装置において、該装置は、
   前記供給される画像データを記憶するメモリ手段と、
   該メモリ手段からの前記画像データを書き込むとともに、すでに書き込まれた画像データを前記所定の規格にタイミング調整して出力する規格調整手段と、
   前記メモリ手段に供給する画像データの入出力を制御し、前記画像データの出力の際に連続してひとまとめに扱う画像データ量および該画像データ量を１単位に１ラインに出力する画像データ量を所定の単位数としてそれぞれ設定し、前記メモリ手段にアクセスを要求して読み出す制御を行い、少なくとも前記メモリ手段および前記規格調整手段を制御するメモリ制御手段と、
   供給される画像データの送受信を行う機能を有する通信手段とを含み、
   さらに、該装置は、
   前記メモリ手段から読み出した前記所定の単位数よりも少なく供給された画像データに含まれる画面表示に関する固有の情報を解析して、該解析結果に基づいて供給される区分された画像データの各単位のデータに復元処理および加工処理の少なくとも一方の処理を施す画像修正処理手段と、
   前記固有の情報をエンコードして前記画像修正処理手段に供給する指示情報供給手段とを含み、前記規格調整手段の前段に前記画像修正処理手段および前記指示情報供給手段を配することを特徴とする画像制御装置。
2. 請求項１に記載の装置において、前記通信手段は、該装置の外部に設けられた装置と前記画像データの入出力を行うインターフェース手段を含むことを特徴とする画像制御装置。
3. 請求項２に記載の装置において、前記通信手段は、前記データおよび動作の制御に加え、前記固有の情報を供給するバス幅の拡張または独立した専用線の付加を介して通信することを特徴とする画像制御装置。
4. 請求項２または３に記載の装置において、該装置は、
   前記メモリ手段から読み出した画像データにおける輝度データと色データとの組合せに応じて供給される条件に基づいてサンプリングの順序の調整および前記画像データにおける前記所定の単位数の供給の管理を行う表示調整手段と、
   前記メモリ手段をリフレッシュさせるアクセスを最優先にし、前記画像データの出力とともに、残りのアクセス可能時間に対して前記画像データと異なる制御データのアクセス要求の調停を行う調停手段とを含み、
   前記表示調整手段は、前記画像データ量を１単位とするデータサイズと独立し、かつ実際表示に使用する画素数を示す有効画素数情報が供給された際に該有効画素数情報に基づいて供給される所定の単位数に満たない画像データの出力管理または前記データサイズを１単位にし１ラインに出力する画像データを所定の単位数の供給の管理を行い、前記メモリ手段に供給するサイズ制御手段を含むことを特徴とする画像制御装置。
5. 請求項４に記載の装置において、前記サイズ制御手段は、前記画像データに含まれるヘッダ情報を解析するヘッダ解析手段と、
   該ヘッダ情報の解析結果に応動して該画像データを区分する前記１単位のデータ量のサイズを再設定し、該再設定に応じて前記画像データを区分するサイズ再設定手段とを含むことを特徴とする画像制御装置。
6. 請求項５に記載の装置において、前記サイズ再設定手段は、前記ヘッダ情報から所定の画像パターンの繰り返しで表示領域の形成を示す解析結果が得られた際に、前記画像データの区分するサイズを通常のサイズよりも小さいサイズにする小区分機能ブロックと、
   前記解析結果がサムネイルサイズの画像の形成を示す際に、前記画像データを区分するサイズを通常のサイズよりも大きいサイズにする大区分機能ブロックと、
   前記所定の画像パターンの繰り返し、前記サムネイルサイズの画像、および前記通常の大きさと前記画像データの区分が異なるサイズでの形成を示す場合、該画像データを最適に区分するサイズを算出するとともに、算出したサイズで該画像データを再区分する最適区分機能ブロックとを含むことを特徴とする画像制御装置。
7. 請求項６に記載の装置において、前記小区分機能ブロックは、前記所定の画像パターンの供給および該供給の指示の少なくとも一方を行いならびに繰り返す回数の算出を行い、該所定の画像パターンの画像データを送出することを特徴とする画像制御装置。
8. 請求項１に記載の装置において、前記画像修正処理手段は、前記固有の情報の内容を前記指示情報として抽出し、該抽出した指示情報の解析結果を制御信号として出力する指示解析手段と、
   該制御信号に含まれる指示情報のうち該画像データのサイズ指示を示す第１情報に応動して前記画像データを所定のサイズに復元調整する復元調整手段とを含むことを特徴とする画像制御装置。
9. 請求項８に記載の装置において、前記画像修正処理手段は、前記固有の情報のうち前記データサイズと独立し、かつ前記指示情報のひとつとして前記有効画素数情報を示す第２情報を抽出し、第２情報に応動させる際に前記データサイズを第２情報の示す値で割って得られる割合分の前記画像データおよび前記指示情報から供給先の先頭アドレスを検出して、該割合の逆数倍をコピーさせる回数として算出し、これらの情報を制御信号として出力する指示解析手段と、
   該制御信号に含まれる前記アドレスをそれぞれ復元する各アドレスの先頭位置から供給される画像データを対応させて、算出した回数のコピーするデータ複製手段とを含むことを特徴とする画像制御装置。
10. 請求項９に記載の装置において、前記データ複製手段は、第２情報を基に前記メモリ手段に記憶している画像データのうちの所定の領域の画像データの読出しまたは前記指示情報を記憶しているレジスタから読み出したデータを前記算出した回数繰り返して出力することを特徴とする画像制御装置。
11. 請求項８に記載の装置において、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なる前記規格調整手段の任意の位置に書き込む際の先頭のアドレスを示す第３情報を抽出し解析した指示情報を制御信号として前記規格調整手段に出力する指示解析手段と、
    第２情報および第３情報の少なくとも一方の情報に応動して前記画像データから所定の領域、前記画像データおよび前記指示情報のデータのいずれか一つを選択して前記規格調整手段に出力するデータ選択手段とを含むことを特徴とする画像制御装置。
12. 請求項11に記載の装置において、前記データ選択手段は、第３情報を基に前記先頭のアドレスに応じて前記画像データと異なる位置に前記所定の領域の画像データまたはあらかじめ用意した前記指示情報が示す所定の絵柄のパターンデータを出力することを特徴とする画像制御装置。
13. 請求項８に記載の装置において、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の鮮鋭度を示す第４情報を抽出し解析した指示情報を制御信号として出力する指示解析手段と、
    第４情報に応動して前記各区分データに加えるアパーチャ成分を生成するアパーチャ生成手段と、
    前記画像データに前記アパーチャ成分を加える加算手段とを含むことを特徴とする画像制御装置。
14. 請求項13に記載の装置において、前記アパーチャ生成手段は、第４情報を基に前記各区分データの前記鮮鋭度の変更を処理するアパーチャ調整機能ブロックを含むことを特徴とする画像制御装置。
15. 請求項８に記載の装置において、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の明るさ、コントラスト、ノイズレベルおよび特殊効果処理の少なくとも一つを示す第５情報を抽出して、解析した指示情報を制御信号として出力する指示解析手段と、
    第５情報に応動して前記各区分データに固有の明るさの改善、コントラストの改善、ノイズレベル低減処理および特殊効果処理の少なくとも一つを施す信号修正手段とを含むことを特徴とする画像制御装置。
16. 請求項15に記載の装置において、前記信号修正手段は、第５情報を基に前記各区分データの前記固有の明るさ、前記コントラスト、および前記ノイズレベルの少なくとも一つを変化させる演算処理手段と、
    第５情報を基に前記各区分データの前記特殊効果処理および周波数特性の変更を行うフィルタ処理手段とを含むことを特徴とする画像制御装置。
17. 請求項８に記載の装置において、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の電子ズーム倍率を示す第６情報を抽出して、解析した指示情報を制御信号として出力する指示解析手段と、
    第６情報に応動して前記各区分データに固有の電子ズーム処理を施すズーム修正手段とを含むことを特徴とする画像制御装置。
18. 請求項17に記載の装置において、前記ズーム修正手段は、第６情報を基に前記各区分データに光学系の歪み補正を施すことを特徴とする画像制御装置。
19. 請求項４に記載の装置において、前記画像修正処理手段は、前記データを区分してひとまとめにした区分データの一つひとつに対応して前記固有の情報または置換用のデータをあらかじめ保持する記憶手段を含むことを特徴とする画像制御装置。
20. 請求項４に記載の装置において、前記画像修正処理手段は、前記固有の情報の内容を抽出して、解析した複数種類の前記指示情報を制御信号として出力する指示解析手段と、
    該制御信号に含まれる指示情報のうち該画像データのサイズ指示を示す第１情報に応動して所定のサイズに復元調整する復元調整手段と、
    第２情報に基づき算出した回数のコピーを行わせるとともに、前記制御信号に含まれる前記アドレスをそれぞれ復元する各アドレスの先頭位置から供給される画像データのコピーを行わせるデータ複製手段と、
    第２および第３情報の少なくとも一方の情報に応動して前記画像データから所定の領域、前記画像データおよび前記指示情報のデータのいずれか一つを選択して前記規格調整手段に出力するデータ選択手段と、
    第４情報に応動して前記各区分データに加えるアパーチャ成分を生成するアパーチャ生成手段と、
    前記画像データに前記アパーチャ成分を加える加算手段と、
    第５情報に応動して前記各区分データに固有の明るさの改善、コントラストの改善、ノイズレベル低減処理および特殊効果処理の少なくとも一つを施す信号修正手段と、
    第６情報に応動して前記各区分データに固有の電子ズーム処理を施すズーム修正手段とを含むことを特徴とする画像制御装置。
21. 請求項７または８に記載の装置において、さらに、該装置は、
    該装置の駆動に用いる電源電圧を検出する電源電圧検出手段と、
    該電源電圧検出手段からの検出値を受けて、所定の電圧値より低い検出値の供給に応動して少なくとも前記メモリ制御手段および前記画像修正処理手段を制御するシステム制御手段とを含むことを特徴とする画像制御装置。
22. 請求項21に記載の装置において、前記システム制御手段は、前記規格調整手段が生成するクロック信号の周波数を調整することを特徴とする画像制御装置。
23. 被写界からの入射光を光学系を介して該光学系の焦点位置に結像させ、供給される入射光を光電変換により撮像し、該撮像により得られた信号電荷をディジタル信号に変換して生の画像データを生成し、該得られた生の画像データにマトリクス処理を施してそれぞれ得られる輝度／色差データの点順次の画像データの圧縮／圧縮した画像データの再生にともなう該画像データの伸張を行い、圧縮した画像データを媒体に書き込ませ、再生において記録した圧縮データを読み出すディジタルカメラにおいて、該カメラは、
    前記供給される画像データを記憶するメモリ手段と、
    該メモリ手段からの前記画像データを書き込むとともに、すでに書き込まれた画像データを前記所定の規格にタイミング調整して出力する規格調整手段と、
    前記メモリ手段に供給する画像データの入出力を制御し、前記画像データの出力の際に連続してひとまとめに扱う画像データ量および該画像データ量を１単位に１ラインに出力する画像データ量を所定の単位数としてそれぞれ設定し、前記メモリ手段にアクセスを要求して読み出す制御を行い、少なくとも前記メモリ手段および前記規格調整手段を制御するメモリ制御手段と、
    供給される画像データの送受信を行う機能を有する通信手段とを含み、
    さらに、該カメラは、
    前記メモリ手段から読み出した前記所定の単位数よりも少なく供給された画像データに含まれる画面表示に関する固有の情報を解析して、該解析結果に基づいて供給される区分された画像データの各単位のデータに復元処理および加工処理の少なくとも一方の処理を施す画像修正処理手段と、
    前記固有の情報をエンコードして前記画像修正処理手段に供給する指示情報供給手段とを含み、前記規格調整手段の前段に前記画像修正処理手段および前記指示情報供給手段を配することを特徴とするディジタルカメラ。
24. 請求項23に記載のカメラにおいて、前記通信手段は、該装置の外部に設けられた装置と前記画像データの入出力を行うインターフェース手段を含むことを特徴とするディジタルカメラ。
25. 請求項24に記載のカメラにおいて、前記通信手段は、前記データおよび動作の制御に加え、前記固有の情報を供給するバス幅の拡張または独立した専用線の付加を介して通信することを特徴とするディジタルカメラ。
26. 請求項24または25に記載のカメラにおいて、該カメラは、
    前記メモリ手段から読み出した画像データにおける輝度データと色データとの組合せに応じて供給される条件に基づいてサンプリングの順序の調整および前記画像データにおける前記所定の単位数の供給の管理を行う表示調整手段と、
    前記メモリ手段をリフレッシュさせるアクセスを最優先にし、前記画像データの出力とともに、残りのアクセス可能時間に対して前記画像データと異なる制御データのアクセス要求の調停を行う調停手段とを含み、
    前記表示調整手段は、前記画像データ量を１単位とするデータサイズと独立し、かつ実際表示に使用する画素数を示す有効画素数情報が供給された際に該有効画素数情報に基づいて供給される所定の単位数に満たない画像データの出力管理または前記データサイズを１単位にし１ラインに出力する画像データを所定の単位数の供給の管理を行い、前記メモリ手段に供給するサイズ制御手段を含むことを特徴とするディジタルカメラ。
27. 請求項26に記載のカメラにおいて、前記サイズ制御手段は、前記画像データに含まれるヘッダ情報を解析するヘッダ解析手段と、
    該ヘッダ情報の解析結果に応動して該画像データを区分する前記１単位のデータ量のサイズを再設定し、該再設定に応じて前記画像データを区分するサイズ再設定手段とを含むことを特徴とするディジタルカメラ。
28. 請求項27に記載のカメラにおいて、前記サイズ再設定手段は、前記ヘッダ情報から所定の画像パターンの繰り返しで表示領域の形成を示す解析結果が得られた際に、前記画像データの区分するサイズを通常のサイズよりも小さいサイズにする小区分機能ブロックと、
    前記解析結果がサムネイルサイズの画像の形成を示す際に、前記画像データを区分するサイズを通常のサイズよりも大きいサイズにする大区分機能ブロックと、
    前記所定の画像パターンの繰り返し、前記サムネイルサイズの画像、および前記通常の大きさと前記画像データの区分が異なるサイズでの形成を示す場合、該画像データを最適に区分するサイズを算出するとともに、算出したサイズで該画像データを再区分する最適区分機能ブロックとを含むことを特徴とするディジタルカメラ。
29. 請求項28に記載のカメラにおいて、前記小区分機能ブロックは、前記所定の画像パターンの供給および該供給の指示の少なくとも一方を行いならびに繰り返す回数の算出を行い、該所定の画像パターンの画像データを送出することを特徴とするディジタルカメラ。
30. 請求項23に記載のカメラにおいて、前記画像修正処理手段は、前記固有の情報の内容を前記指示情報として抽出し、該抽出した指示情報の解析結果を制御信号として出力する指示解析手段と、
    該制御信号に含まれる指示情報のうち該画像データのサイズ指示を示す第１情報に応動して前記画像データを所定のサイズに復元調整する復元調整手段とを含むことを特徴とするディジタルカメラ。
31. 請求項30に記載のカメラにおいて、前記画像修正処理手段は、前記固有の情報のうち前記データサイズと独立し、かつ前記指示情報のひとつとして前記有効画素数情報を示す第２情報を抽出し、第２情報に応動させる際に前記データサイズを第２情報の示す値で割って得られる割合分の前記画像データおよび前記指示情報から供給先の先頭アドレスを検出して、該割合の逆数倍をコピーさせる回数として算出し、これらの情報を制御信号として出力する指示解析手段と、
    該制御信号に含まれる前記アドレスをそれぞれ復元する各アドレスの先頭位置から供給される画像データを対応させて、算出した回数のコピーするデータ複製手段とを含むことを特徴とするディジタルカメラ。
32. 請求項31に記載のカメラにおいて、前記データ複製手段は、第２情報を基に前記メモリ手段に記憶している画像データのうちの所定の領域の画像データの読出しまたは前記指示情報を記憶しているレジスタから読み出したデータを前記算出した回数繰り返して出力することを特徴とするディジタルカメラ。
33. 請求項30に記載のカメラにおいて、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なる前記規格調整手段の任意の位置に書き込む際の先頭のアドレスを示す第３情報を抽出し解析した指示情報を制御信号として前記規格調整手段に出力する指示解析手段と、
    第２情報および第３情報の少なくとも一方の情報に応動して前記画像データから所定の領域、前記画像データおよび前記指示情報のデータのいずれか一つを選択して前記規格調整手段に出力するデータ選択手段とを含むことを特徴とするディジタルカメラ。
34. 請求項33に記載のカメラにおいて、前記データ選択手段は、第３情報を基に前記先頭のアドレスに応じて前記画像データと異なる位置に前記所定の領域の画像データまたはあらかじめ用意した前記指示情報が示す所定の絵柄のパターンデータを出力することを特徴とするディジタルカメラ。
35. 請求項30に記載のカメラにおいて、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の鮮鋭度を示す第４情報を抽出し解析した指示情報を制御信号として出力する指示解析手段と、
    第４情報に応動して前記各区分データに加えるアパーチャ成分を生成するアパーチャ生成手段と、
    前記画像データに前記アパーチャ成分を加える加算手段とを含むことを特徴とするディジタルカメラ。
36. 請求項35に記載のカメラにおいて、前記アパーチャ生成手段は、第４情報を基に前記各区分データの前記鮮鋭度の変更を処理するアパーチャ調整機能ブロックを含むことを特徴とするディジタルカメラ。
37. 請求項30に記載のカメラにおいて、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の明るさ、コントラスト、ノイズレベルおよび特殊効果処理の少なくとも一つを示す第５情報を抽出して、解析した指示情報を制御信号として出力する指示解析手段と、
    第５情報に応動して前記各区分データに固有の明るさの改善、コントラストの改善、ノイズレベル低減処理および特殊効果処理の少なくとも一つを施す信号修正手段とを含むことを特徴とするディジタルカメラ。
38. 請求項37に記載のカメラにおいて、前記信号修正手段は、第５情報を基に前記各区分データの前記固有の明るさ、前記コントラスト、および前記ノイズレベルの少なくとも一つを変化させる演算処理手段と、
    第５情報を基に前記各区分データの前記特殊効果処理および周波数特性の変更を行うフィルタ処理手段とを含むことを特徴とするディジタルカメラ。
39. 請求項30に記載のカメラにおいて、前記画像処理修正手段は、前記固有の情報のうち前記データサイズと異なり前記データを区分してひとまとめにした区分データそれぞれに固有の電子ズーム倍率を示す第６情報を抽出して、解析した指示情報を制御信号として出力する指示解析手段と、
    第６情報に応動して前記各区分データに固有の電子ズーム処理を施すズーム修正手段とを含むことを特徴とするディジタルカメラ。
40. 請求項39に記載のカメラにおいて、前記ズーム修正手段は、第６情報を基に前記各区分データに光学系の歪み補正を施すことを特徴とするディジタルカメラ。
41. 請求項26に記載のカメラにおいて、前記画像修正処理手段は、前記データを区分してひとまとめにした区分データの一つひとつに対応して前記固有の情報または置換用のデータをあらかじめ保持する記憶手段を含むことを特徴とするディジタルカメラ。
42. 請求項26に記載のカメラにおいて、前記画像修正処理手段は、前記固有の情報の内容を抽出して、解析した複数種類の前記指示情報を制御信号として出力する指示解析手段と、
    該制御信号に含まれる指示情報のうち該画像データのサイズ指示を示す第１情報に応動して所定のサイズに復元調整する復元調整手段と、
    第２情報に基づき算出した回数のコピーを行わせるとともに、前記制御信号に含まれる前記アドレスをそれぞれ復元する各アドレスの先頭位置から供給される画像データのコピーを行わせるデータ複製手段と、
    第２および第３情報の少なくとも一方の情報に応動して前記画像データから所定の領域、前記画像データおよび前記指示情報のデータのいずれか一つを選択して前記規格調整手段に出力するデータ選択手段と、
    第４情報に応動して前記各区分データに加えるアパーチャ成分を生成するアパーチャ生成手段と、
    前記画像データに前記アパーチャ成分を加える加算手段と、
    第５情報に応動して前記各区分データに固有の明るさの改善、コントラストの改善、ノイズレベル低減処理および特殊効果処理の少なくとも一つを施す信号修正手段と、
    第６情報に応動して前記各区分データに固有の電子ズーム処理を施すズーム修正手段とを含むことを特徴とするディジタルカメラ。
43. 請求項29または30に記載のカメラにおいて、さらに、該カメラは、
    該カメラの駆動に用いる電源電圧を検出する電源電圧検出手段と、
    該電源電圧検出手段からの検出値を受けて、所定の電圧値より低い検出値の供給に応動して少なくとも前記メモリ制御手段および前記画像修正処理手段を制御するシステム制御手段とを含むことを特徴とするディジタルカメラ。
44. 請求項43に記載のカメラにおいて、前記システム制御手段は、前記規格調整手段が生成するクロック信号の周波数を調整することを特徴とするディジタルカメラ。

Images