WO2006009019A1

WO2006009019A1 - 画像処理装置

Info

Publication number: WO2006009019A1
Application number: PCT/JP2005/012865
Authority: WO
Inventors: Masao Hamada
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-07-21
Filing date: 2005-07-12
Publication date: 2006-01-26

Abstract

　画像処理装置は、輝度Ｙデータを格納する第１メモリ（２１）、色差Ｃｂデータを格納する第２メモリ（２２）、色差Ｃｒデータを格納する第３メモリ（２３）を有するメモリ部（２０）と、色情報判別部（１１）、メモリ制御部（１２）、アドレス演算部（１３）、及び、データ制御部（１４）を有するメモリインターフェイス部（１０）とを備える装置である。色情報制御線（４０）によって供給される色情報に従って、メモリインターフェイス部（１０）は、バス（３０）上の画像データの格納／読出しの際に、画像データのアドレス変換、データ処理などを行う。この結果、異なるフォーマットの画像データをメモリに格納しメモリから読み出す際の、アドレス変換の効率を改善できる。

Description

画像処理装置

技術分野

[0001] 本発明は、画像処理装置に適したメモリインターフェイス技術に関し、特に異なる画像フォーマットに基づく画像データの読出し及び書込みに有用な技術に関する。背景技術

[0002] 近年、画像を取り扱う画像処理装置は、その処理性能の向上に伴い、静止画から動画、グラフィックスまで各種の画像データに対応できるようになつている。しかも、この画像処理装置では、処理速度のさらなる向上が要求されており、より高速なメモリアクセスが必要となってきて、る。

[0003] 例えば、文献 1 (特開 2002— 117397号公報）は、 RGBフォーマットの画像データ処理におけるメモリアクセスの効率を向上させる手法として、メモリに連続して書き込める単位毎に色を変え、かつ色が変わる毎に画像メモリのバンクを切り替えることで、 3色分の画像データを連続的に書き込む技術を開示して、る。

[0004] また、文献 2 (特開 2003— 84751号公報）は、ビデオメモリ上の画像データを、描画形式の異なる複数の矩形領域に分割し、アドレスを変換することで、描画処理におけるメモリアクセス性能向上及び CPUの負荷低減を図る技術を開示している。

[0005] し力し、近年の画像処理装置は、 MPEG— 2や MPEG— 4等の動画、 JPEG等の静止画、あるいは、コンピュータグラフィックス（以下、「CG」という）などの各種画像データを処理し、表示や圧縮、伸長等を行っている。この動画、静止画、あるいは、 CG 等の画像データは、必要に応じて別個のエンジンで画像伸張処理され、共通のメモリに画像データとして格納される。

[0006] この動画、静止画、あるいは、 CG等の画像データは、 Red Green Blueフォーマット（以下、「RGBフォーマット」という）や輝度'色差フォーマット（以下、「YCbCrフォ一マット」という）等、複数のフォーマットを含む。また、 YCbCrフォーマットは、 YCbC r4 : 2 : 2フォーマットや YCbCr4： 2： 0フォーマット等の、細分化された複数のフォーマットを含む。 [0007] さらに、例えば、 YCbCr4 : 2 : 2フォーマットを例にとると、画像データをメモリに格納する場合、輝度 Yデータと色差 Cbデータと色差 Crデータとをそれぞれ連続したアドレスの領域に個別に格納する形式 (以下、プラナ形式と呼ぶ)や、 2画素分の YCbCr データを 32ビットにパックして格納する形式 (以下、パック形式と呼ぶ)等がある。最適なアクセスのためには、メモリ上の画像データの配置は、これらのフォーマットごとに異なる。

[0008] このように、異なる格納形式を持つ画像処理エンジン間で画像データの受け渡しを行い画像処理をする場合、例えば、 YCbCr4 : 2 : 2フォーマットという同じ画像データのフォーマットでも、メモリ上の格納形式に依存して、メモリへのアクセス効率が低下し、それに伴い処理性能が低下する。

[0009] すなわち、 RGBフォーマット、 YCbCr4 : 2 : 2フォーマット、 YCbCr4 : 2 : 0フォーマットのそれぞれに対応する異なる処理エンジンが設けられてヽる場合、共通メモリは、動作するエンジン毎に異なるフォーマットに対応して、画像データを格納する必要がある。このため、動作するエンジンが変化するたびに、共通メモリの画像データの格納フォーマットが変更され、アドレス配置が相違するので、アクセス効率が低下する。あるいは、共通メモリが、フォーマットの違いに合わせて画像データを格納する場合は、メモリの使用効率が低下する問題もある。

[0010] このアクセス効率の低下を防止するために、フォーマット毎に対応した専用メモリを設ける場合には、回路規模が増加する問題もある。

[0011] また、 YCbCr4 :4 :4フォーマットの場合、 1画素につき 1つの輝度信号と 2つの色差信号が存在し、それぞれの信号は、 8ビットで表現されており、 1画素の画像データは、 24ビットとなる。このような信号を 24ビットの画素単位で格納すると、 32ビット形式のメモリでは、アクセスする毎にアドレスを計算する必要があるため、アクセス効率が低下する。対応策として、 1画素 24ビットの画像データに 8ビットのダミーデータを付カロし、 32ビットにパック化して格納するとアクセス効率は向上する。しかし、この方法では、必要となるメモリ容量が増加すると言った問題がある。

[0012] また、 YCbCrフォーマットのみに対応した画像処理エンジンと RGBフォーマットのみに対応した画像処理エンジン間で画像データの受け渡しを行う場合、 YCbCrフォ一マットから RGBフォーマット、もしくは、 RGBフォーマットから YCbCrフォーマットへの変換が必要となる。フォーマット変換を行う変換処理エンジンを別途用意して変換を行えば、 2つの画像処理エンジン間の画像データの受け渡しは出来る。しかし、フォーマット変換を行うために一度メモリから画像データを読出し、フォーマット変換後、再びメモリ上に格納する必要があるため、データノスのバンド幅を圧迫し、処理性能が低下する問題もある。

特許文献 1 :特開 2002— 117397号公報

特許文献 2 :特開 2003— 84751号公報

発明の開示

発明が解決しょうとする課題

[0013] そこで本発明は、異なるフォーマットの画像データをメモリに格納し、メモリから読み出す際の、アドレス変換の効率を改善したメモリインターフェースを備える画像処理装置を提供することを目的とする。

課題を解決するための手段

[0014] 第 1の発明に係る画像処理装置は、伝送画像データを伝送するバスと、伝送画像データが有する色情報を伝送する色情報制御線と、バスと色情報制御線とに接続されるメモリインターフェイス部と、メモリインターフェイス部を介してバスに接続され、伝送画像データを格納画像データとして格納するメモリ部とを備え、メモリインターフエイス部は、色情報に基づいて、伝送画像データのバス力メモリ部への格納と、格納画像データのメモリ部からバスへの読出しとを制御する。

[0015] この構成によれば、メモリインターフェイス部は、各画像処理エンジン力受け取るデータ形式とフォーマット形式とを含む色情報に従って、画像データのメモリ部への格納と画像データのメモリ部力ゝらの読出しを制御できる。この結果、データ形式とフォ一マット形式が異なる複数の画像処理エンジンは、メモリ部の格納形式を考慮せず、メモリ部との画像データの転送を行うことができ、アクセス効率が向上する。更に、データ形式とフォーマット形式とが異なる各種画像処理エンジンが混在する画像処理装置にお、ても、整然とした効率よ 1、メモリ格納が実現できる。

[0016] 第 2の発明に係る画像処理装置では、メモリインターフェイス部は、伝送画像データを格納画像データとしてバスからメモリ部に格納する際に、色情報に基づいて、伝送画像データを格納するメモリ部のアドレスを指定する。

[0017] この構成によれば、格納形式の異なる画像処理エンジンからの画像データを、色情報に従って格納先のメモリ部のアドレスを指定することによって、メモリ部に常に同じ形式で格納できる。その結果、データ形式の異なる各種画像処理エンジンが混在する画像処理装置にお、ても、整然とした効率よ!/、メモリ格納が実現できる。

[0018] 第 3の発明に係る画像処理装置では、メモリインターフェイス部は、格納画像データをメモリ部力読み出し伝送画像データとしてバスに送出する際に、色情報に基づいて、格納画像データを読み出すメモリ部のアドレスを指定する。

[0019] この構成によれば、色情報に従って格納先のメモリ部のアドレスを指定することにより、メモリ部に格納されている画像データを読み出し、画像処理エンジンの好適なデータ形式の画像データとして、効率よく送出することができる。その結果、データ形式の異なる各種画像処理エンジンが混在する画像処理装置におヽても、効率よヽメモリ読出しが実現できる。

[0020] 第 4の発明に係る画像処理装置では、メモリインターフェイス部は、伝送画像データを格納画像データとしてバスからメモリ部に格納する際に、色情報に基づいて、伝送画像データ力ダミーデータを削除してメモリ部に格納する。

[0021] 第 5の発明に係る画像処理装置では、メモリインターフェイス部は、格納画像データをメモリ部力読み出し伝送画像データとしてバスに送出する際に、色情報に基づいて、読み出した格納画像データにダミーデータを付加してノスに送出する。

[0022] これらの構成によれば、輝度信号と 2つの色差信号をパック形式で読み出す場合、アクセスするバス幅に応じてダミーデータを付カ卩し、また、ノック形式のデータを格納する場合、ダミーデータを削除してメモリに格納することにより、メモリからの読出しァドレスを直截に管理でき、また、メモリへの不要なデータの格納を回避できる。

[0023] 第 6の発明に係る画像処理装置では、伝送画像データと格納画像データとは、輝度データと第 1色差データと第 2色差データとを含み、メモリ部は、輝度データを格納する第 1メモリと、第 1色差データを格納する第 2メモリと、第 2色差データを格納する第 3メモリとを有する。 [0024] 第 7の発明に係る画像処理装置では、メモリインターフェイス部は、伝送画像データを格納画像データとしてバスからメモリ部に格納する際に、色情報に基づいて、輝度データを格納するアドレスを第 1メモリ内のアドレスに指定し、第 1色差データを格納するアドレスを第 2メモリ内のアドレスに指定し、第 2色差データを格納するアドレスを第 3メモリ内のアドレスに指定する。

[0025] 第 8の発明に係る画像処理装置では、メモリインターフェイス部は、格納画像データをメモリ部力読み出し伝送画像データとしてバスに送出する際に、色情報に基づいて、輝度データを読み出すアドレスを第 1メモリ内のアドレスに指定し、第 1色差データを読み出すアドレスを第 2メモリ内のアドレスに指定し、第 2色差データを読み出すアドレスを第 3メモリ内のアドレスに指定する。

[0026] これらの構成によれば、フォーマット形式の異なる画像データを、輝度 Yデータ、第 1色差 Cbデータ、及び、第 2色差 Crデータにそれぞれ区別して、 3個のメモリに格納できる。この結果、各画像処理エンジン力も受け取る色情報に従って、メモリインターフェイス部において、アドレス変換を行い、輝度 Yデータ、第 1色差 Cbデータ、及び、第 2色差 Crデータの格納と読出しを連続的に実行できるので、メモリアクセス効率が改善される。

[0027] 第 9の発明に係る画像処理装置では、色情報は、伝送画像データのデータ形式、及び色フォーマットの少なくとも一つを含む。

[0028] 第 10の発明に係る画像処理装置では、データ形式は、プラナ形式とパック形式のうちの少なくとも 1つを含む。

[0029] これらの構成によれば、プラナ形式とパック形式の画像データに対して、データ形式に従ったアドレス変換を行、、効率の良、メモリアクセスができる。

[0030] 第 11の発明に係る画像処理装置では、色フォーマットは、 YCbCr4 :4 :4フォーマット、 YCbCr4： 2： 2フォーマット、 YCbCr4： 2： 0フォーマット、及び、 RGBフォーマツトのうちの少なくとも 1つを含む。

[0031] これらの構成によれば、各種色フォーマットに対応できる高効率メモリアクセスの画像処理装置を実現できる。

発明の効果 [0032] 本発明によれば、異なるフォーマットの画像データをメモリに格納しメモリから読み出す際の、アドレス変換の効率を改善したメモリインターフェースを備える画像処理装置を提供することができる。

[0033] また、共通に設けられたメモリは、任意の画像フォーマットに対応した格納を行い、メモリインターフェイス部力所望の画像フォーマットに変換してメモリとのデータのやり取りを仲介するため、画像処理エンジンはメモリのフォーマットを考慮せずにデータの読み書きができる。このため、アクセス効率が向上する。

[0034] また、異なるフォーマット毎に対応する専用メモリを設ける必要がないため、回路規模が削減される。

図面の簡単な説明

[0035] [図 1]本発明の実施の形態 1における画像処理装置のブロック図

[図 2]本発明の実施の形態 1におけるメモリインターフェイス部のブロック図

[図 3] (a)本発明の実施の形態 1におけるプラナ形式のメモリ部のデータ配置図（b) 本発明の実施の形態 1におけるプラナ形式のメモリ上のデータ配置図

[図 4] (a)本発明の実施の形態 1におけるパック形式 YCbCr4 : 2 : 2フォーマットのメモリ部のデータ配置図（b)本発明の実施の形態 1におけるパック形式 YCbCr4 : 2 : 2 フォーマットのメモリ上のデータ配置図

[図 5] (a)本発明の実施の形態 1におけるパック形式 YCbCr4： 4： 4フォーマットのメモリ部のデータ配置図（b)本発明の実施の形態 1におけるパック形式 YCbCr4 :4 :4 フォーマットのメモリ上のデータ配置図

[図 6] (a)本発明の実施の形態 1における第 1メモリのデータ配置図（b)本発明の実施の形態 1における第 2メモリのデータ配置図（c)本発明の実施の形態 1における第 3メモリのデータ配置図

[図 7]本発明の実施の形態 1における画像処理装置のフローチャート

符号の説明

[0036] 10 メモリインターフェイス部

11 色情報判別部

12 メモリ制御部 13 アドレス演算部

14 データ制御部

20 メモリ部

21 第 1メモリ

22 第 2メモリ

23 第 3メモリ

30 バス

40 色情報制御線

発明を実施するための最良の形態

[0037] 以下、図面を参照しながら、本発明の実施の形態を説明する。

[0038] 図 1は、本発明の実施の形態 1における画像処理装置のブロック図である。図 1に示される画像処理装置は、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23を有するメモリ部 20とメモリインターフェイス部 10とを備える。

[0039] 第 1メモリ 21は、輝度 Yデータを格納し、第 2メモリ 22は、第 1色差データに相当する色差 Cbデータを格納し、第 3メモリ 23は、第 2色差データに相当する色差 Crデータを格納する。メモリインターフェイス部 10は、メモリ部 20をバス 30に接続する。バス 30は、アドレス、画像データ、バス制御信号を伝送している。メモリインターフェイス部 10は、さらに色情報制御線 40に接続している。色情報制御線 40によって供給される色情報に従って、メモリインターフェイス部 10は、格納 Z読出しの際に、画像データのアドレス変換、データ処理などを行う。

[0040] 以下の記述では、画像データが、バス 30で伝送される画像データを特に意味する場合は、「伝送画像データ」の用語が用いられ、メモリ部 20に格納されている画像データを特に意味する場合は、「格納画像データ」の用語が用いられる。画像データが、両者を総合的に意味する場合は、単に「画像データ」の用語が用いられる。

[0041] 伝送画像データをバス 30から取り込み、格納画像データとしてメモリ部 20に格納する際、メモリインターフェイス部 10は、色情報制御線 40から取込んだ色情報により、格納する伝送画像データの色フォーマットが、 YCbCr4 :4 :4フォーマットか、 YCbC r4 : 2 : 2フォーマットか、 YCbCr4 : 2 : 0フォーマットかを判別する。更に、メモリインタ一フェイス部 10は、格納する伝送画像データのデータ形式がプラナ形式かパック形式を判別する。これらの判別結果を基に、メモリインターフェイス部 10は、アドレス演算を行い、輝度 Yデータを第 1メモリ 21に、色差 Cbデータを第 2メモリ 22に、色差 Cr データを第 3メモリ 23に、それぞれ格納する。

[0042] また、格納画像データをメモリ部 20から読み出し、バス 30へ伝送画像データとして送出する場合、メモリインターフェイス部 10は、色情報制御線 40から取込んだ色情報により、送出する伝送画像データの色フォーマット、及び、データ形式を判別する。メモリインターフェイス部 10は、これらの判別結果を基にアドレス演算を行い、格納画像データをメモリ部 20から読み出す。さらに、メモリインターフェイス部 10は、読み出した格納画像データを、要求されたデータ形式の伝送画像データに変換して、バス 3 0へ送出する。たとえば、データ形式がパック形式である場合は、輝度 Yデータ、色差 Cbデータ、及び、色差 Crデータを 32ビットにパックしてバス 30へ送出する。

[0043] バス 30と色情報制御線 40には、メモリインターフェイス部 10の他に、図 1には図示されて、な、複数の画像処理エンジンと CPUなどが接続される。複数の画像処理ェンジンは、それぞれの画像処理エンジンで処理する画像データをバス 30とメモリインターフェイス部 10を介してメモリ部 20から読み出し、処理後の画像データをメモリ部 2 0に格納する。この時、それぞれの画像処理エンジンは、メモリ部 20とやり取りする画像データ（すなわち、伝送画像データ）のデータ形式と色フォーマットに関する情報を、色情報として、色情報制御線 40を介して出力する。メモリインターフェイス部 10は、この色情報制御線 40を介して、色情報を認識できる。

[0044] ノス 30と色情報制御線 40は、 CPUにより制御される。ある、は、バス 30と色情報制御線 40に、さらに DMAが接続されている場合は、バス 30と色情報制御線 40は、 CPUの命令の下で DMAにより制御される。

[0045] なお、複数の画像処理エンジンは、色情報をバス 30を介してメモリインターフェイス部 10に伝送することも出来る。この場合、それぞれの画像処理エンジンは、メモリ部 2 0へ画像データを格納する際は、格納対象の画像データ（すなわち、伝送画像データ）を伝送する前に色情報を伝送する。同様に、それぞれの画像処理エンジンは、画像データをメモリ部 20から読み出す際は、先ず、色情報をメモリインターフェイス部 1 0に伝送し、その後、メモリ部 20からの画像データを伝送画像データとして受信する。このように、色情報をバス 30を介してメモリインターフェイス部 10に伝送すれば、色情報制御線 40を省略しても良ヽ。

[0046] ここで、画像処理エンジンは、 MPEG2、 MPEG4、 JPEGなどの画像圧縮 '伸長を行う処理回路や処理プログラムなどを含む。画像処理エンジンは、ハードウェアで実現されても、ソフトウェアで実現されても良い。

[0047] 以下に、本形態の画像処理装置の構成の動作をさらに詳しく述べる。

[0048] 図 2は、本発明の実施の形態におけるメモリインターフェイス部のブロック図である。

図 2に示すように、本形態のメモリインターフェイス部 10は、色情報判別部 11、メモリ制御部 12、アドレス演算部 13、及び、データ制御部 14を有する。

[0049] 図 2に示す本形態のメモリインターフェイス部 10の動作を説明する前に、データ形式とメモリ部 20への画像データの格納形式について説明する。

[0050] なお、ここではバス 30のデータ幅は、 32ビットであるとして説明する。

[0051] 図 3 (a)は、本発明の実施の形態 1におけるプラナ形式のバス 30上のデータ配置図（すなわち、プラナ形式の伝送画像データのデータ配置図）であり、図 3 (b)は、対応するプラナ形式のメモリ部 20のデータ配置図である。

[0052] 図 3 (a)に示すように、プラナ形式の伝送画像データ YCbCrは、輝度 Yデータ、色差 Cbデータ、及び色差 Crデータのそれぞれが 8ビットで構成されている。それぞれ 8 ビットのデータ力個ずつ配置され、 32ビットのバス幅に合せて、 4個のデータが並列に伝送される。このとき、輝度 Yデータのすべて、色差 Cbのデータすベて、色差 Crデータが、連続して伝送される。すなわち、バス 30上の伝送画像データのデータ配置は、括弧内に記載された 4個のデータを一塊のデータとして、以下のような連続したデータとなる。

[0053] (YO、 Yl、 Y2、 Y3)、（Υ4、 Υ5、 Υ6、 Υ7)、（Υ8、 Υ9、 Υ10、 Y11)、（Υ12、Υ13 、 Υ14、 Y15) · · · (CbO、 Cbl、 Cb2、 Cb3)、（Cb4、 Cb5、 Cb6、 Cb7)、（Cb8、 Cb 9、 CblO、 Cbl l)、（Cbl2、 Cbl3、 Cbl4、 Cbl5)…（CrO、 Crl、 Cr2、 Cr3)、 ( Cr4、 Cr5、 Cr6、 Cr7)、（Cr8、 Cr9、 CrlO、 Crl l)、（Crl2、 Crl3、 Crl4、 Crl5 ) · · ·。 [0054] このような伝送画像データ YCbCrは、メモリ部 20には次のように配置されて、格納画像データとして格納される。すなわち、図 3 (b)に示すように、輝度 Yデータは、第 1 メモリ 21の領域に、色差 Cbデータは、第 2メモリ 22の領域に、色差 Crデータは、第 3 メモリ 23の領域に分けて格納される。各メモリ上の配置は後述する。

[0055] 図 4 (a)は、本発明の実施の形態 1におけるパック形式 YCbCr4 : 2 : 2フォーマットの伝送画像データのデータ配置図であり、図 4 (b)は、対応するパック形式 YCbCr4 ： 2： 2フォーマットのメモリ部 20に格納される格納画像データのデータ配置図である。

[0056] 図 4 (a)に示されるように、パック形式 YCbCr4： 2： 2フォーマットの画像データ YCb Crでは、 2画素が、 2個の輝度 Yデータ、 1個の色差 Cbデータ、及び 1個の色差 Crデータで構成されており、それぞれが 8ビットのデータである。これらのデータは、 4個ずつパックされ、 32ビットのバス 10幅に合わせた 32ビットの伝送画像データとされて、順次伝送される。すなわち、バス 30上の伝送画像データのデータ配置は、括弧内に記載された 4個のデータを 32ビットの一塊のデータとして、以下のような連続したデータとなる。

(YO、 CbO、 Yl、 CrO)、（Y2、 Cb2、 Y3、 Cr2)、（Y4、 Cb4、 Y5、 Cr4)、（Y6、 Cb 6、 Y7、 Cr6) · · ·。

[0057] このようなバス 30上のパック形式 YCbCr4： 2： 2フォーマットの伝送画像データは、メモリ部 20には次のように配置されて、格納画像データとして格納される。すなわち、各 32ビットのデータのうちの最上位 8ビット（第 1バイト）と第 3位 8ビット (第 3バイト）の輝度 Yデータは、第 1メモリ 21の領域に、各 32ビットのデータのうちの第 2位の 8ビット (第 2バイト）の色差 Cbデータは、第 2メモリ 22の領域に、各 32ビットのデータのうちの下位 8ビット (第 4バイト）の色差 Crデータは、第 3メモリ 23の領域に、それぞれ格納される。

[0058] 図 5 (a)は、本発明の実施の形態 1におけるパック形式 YCbCr4 :4 :4フォーマットの伝送画像データのデータ配置図であり、図 5 (b)は、対応するパック形式 YCbCr4 :4 :4フォーマットのメモリ部 20に格納される格納画像データのデータ配置図である。

[0059] パック形式 YCbCr4 :4 :4フォーマットの画像データ YCbCrでは、 1画素が、 1個の輝度 Yデータ、 1個の色差 Cbデータ、及び 1個の色差 Crデータ（それぞれが 8ビット）で構成されている。したがって、 1画素の画像データは、 24ビットである。この 1画素 2 4ビットの画像データは、 32ビットのバス幅に合せるために、図 5 (a)に示すように、最上位 8ビットにダミーデータ「X」が付加されて、 32ビットの伝送画像データとして、ノス 30に順次伝送される。すなわち、バス 30上の伝送画像データのデータ配置は、括弧内に記載された 4個のデータを 32ビットの一塊のデータとして、以下のような連続したデータとなる。

(X、 YO、 CbO, CrO)、（X、 Yl, Cbl, Crl)、（X、 Y2, Cb2, Cr2)、（X、 Y3, Cb3 , Cr3) · · ·。

[0060] このようなパック形式 YCbCr4 :4 :4フォーマットの伝送画像データは、メモリ部 20 には次のように配置されて、格納画像データとして格納される。すなわち、各 32ビットのデータのうちの第 2位の 8ビット（第 2バイト）の輝度 Yデータは、第 1メモリ 21の領域に、各 32ビットのデータのうちの第 3位の 8ビット（第 3バイト）の色差 Cbデータは、第 2 メモリ 22の領域に、各 32ビットのデータのうちの下位 8ビット（第 4バイト）の色差 Crデータは、第 3メモリ 23の領域に、それぞれ格納される。各 32ビットのデータのうちの最上位 8ビット (第 1バイト）のダミーデータ「X」は、削除されてメモリ部 20には格納されない。

[0061] 次に、メモリ部 20内部に設けられた第 1メモリ 21、第 2メモリ 22、第 3メモリ 23のそれぞれにおけるデータの配置を説明する。ここで、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23は、一つのメモリが分割されて構成されてもよぐ異なるメモリで構成されても良い

[0062] また、第 1メモリ 21は輝度 Yデータを格納し、第 2メモリ 22は色差 Cbデータを格納し、第 3メモリ 23は色差 Crデータを格納する。

[0063] 図 6 (a)は、本発明の実施の形態 1における第 1メモリ 21のデータ配置図、図 6 (b) は、本発明の実施の形態 1における第 2メモリ 22のデータ配置図、図 6 (c)は、本発明の実施の形態 1における第 3メモリ 23のデータ配置図である。

[0064] 図 6 (a)に示されるように、本形態の画像処理装置では、第 1メモリ 21には、画像データのうちの輝度 Yデータのみが、（Y0, Yl, Y2, Υ3)、 (Υ4, Υ5, Υ6, Υ7)、 (Υ8 , Υ9, Y10, Yl l)、 (Y12, Y13, Y14, Y15) · · ·の順に、 32ビット幅で、連続したアドレスに格納される。

[0065] また、図 6 (b)に示されるように、本形態の画像処理装置では、第 2メモリ 22には、画像データのうちの色差 Cbデータのみ力（CbO、 Cbl、 Cb2、 Cb3)、（Cb4、 Cb5、 C b6、Cb7)、（Cb8、 Cb9、 CblO、 Cbl l)、（Cbl2、 Cbl3、 Cbl4、 Cbl5) - - -の順に、 32ビット幅で、連続したアドレスに格納される。

[0066] さらに、図 6 (c)に示されるように、本形態の画像処理装置では、第 3メモリ 23には、画像データのうちの色差 Crデータのみが、（CrO、 Crl、 Cr2、 Cr3)、（Cr4、 Cr5、 C r6、Cr7)、（Cr8、 Cr9、 CrlO、 Crl l)、（Crl2、 Crl3、 Crl4、 Crl5) ' . 'の順に、 32ビット幅で、連続したアドレスに格納される。

[0067] 以上説明したように、本形態の画像処理装置では、格納画像データは、バス 30上の伝送画像データのデータ形式と色フォーマットとに関係なぐ輝度 Yデータ、色差 C bデータ、色差 Crデータに区別されてメモリ部 20に格納される。

[0068] 次に、図 2に戻って、本形態のメモリインターフェイス部 10の動作を説明する。

[0069] 先ず、メモリインターフェイス部 10力バス 30から伝送画像データを取込み、メモリ部 20に格納画像データとして格納する場合の動作を説明する。

[0070] 色情報判別部 11は、色情報制御線 40から色情報を取得し、取得した色情報を基に、格納する伝送画像データの色フォーマットを判別する。すなわち、格納する伝送画像データの画像データは、 YCbCr4 :4 :4フォーマット、 YCbCr4 : 2 : 2フォーマット、 YCbCr4 : 2 : 0フォーマット、及び、 RGBフォーマットのいずれであるかを判別する。

[0071] 続いて、色情報判別部 11は、取得した色情報を基に、格納する伝送画像データのデータ形式が、プラナ形式力パック形式かを判別する。

[0072] 色情報判別部 11の判別結果を基に、アドレス演算部 13は、格納先メモリのアドレスを演算し、データ制御部 14は、バス 30上のデータをメモリ部 20に出力する。メモリ制御部 12は、色情報判別部 11の判別結果を基に、メモリ部 20のどのメモリにデータを格納するかを判別して、格納先のメモリに対して、書き込みィネーブル信号を出力する。

[0073] メモリインターフェイス部 10において、色情報判別部 11が色情報を判別した後の画像データの格納における具体的な動作を、いくつかの場合について以下に説明する [0074] (プラナ形式の画像データの格納）

プラナ形式のデータ形式を有する伝送画像データをメモリ部 20に格納する場合、アドレス演算部 13は、伝送画像データの色フォーマットに関係なぐ伝送画像データは、図 3 (a)に示したように、バス 30上の連続したアドレス空間に配置されていると認識する。アドレス演算部 13は、伝送画像データの輝度 Yデータと色差 Cbデータと色差 Crデータの格納先のメモリのアドレス演算を行い、第 1メモリ 21、第 2メモリ 22、第 3 メモリ 23に対して同じアドレスを指定する。データ制御部 14は、バス 30上の画像デ一タを第 1メモリ 21、第 2メモリ 22、第 3メモリ 23へ出力する。メモリ制御部 12は、バス 30上の画像データのアドレスから、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23のどのメモリに対するアクセスかを判別し、書き込み対象のメモリに対して書き込みィネーブル信号を出力する。書き込みィネーブル信号により、画像データカモリに格納される。

[0075] (パック形式 YCbCr4： 2： 2フォーマットの画像データの格納）

色情報判別部 11が、格納すべき伝送画像データはパック形式 YCbCr4： 2： 2フォ一マットであると判別した場合、色情報判別部 11は、その判別結果を色フォーマット情報及びデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。アドレス演算部 13は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、パックされた伝送画像データの輝度 Yデータと色差 Cbデータと色差 Crデータに対して、格納先のメモリのアドレスを別々に計算し、それぞれのメモリに対応したアドレスを個別に指定する。例えば、バス 30上から見た画像データのアドレス空間は、図 4 (_a)に示される形態である。データ制御部 14は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、 YCbCr4 : 2 : 2フォーマットに従って、バス 30から取込んだ伝送画像データを輝度 Yデータと色差 Cbデータと色差 Crデータに分ける。更に、データ制御部 14は、輝度 Yデータを第 1メモリ 21に、色差 Cbデータを第 2メモリ 22へ、色差 Crデータを第 3メモリ 23へ出力する。メモリ制御部 12は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23に対して書込みィネーブル信号を出力する。そして、書き込みィネーブル信号が出力されたメモリに画像データが格納される。 [0076] 図 7は、本発明の実施の形態 1における画像処理装置のフローチャートである。図 7 は、パック形式 YCbCr4： 2： 2フォーマットの伝送画像データを格納する場合の本形態の画像処理装置のフローチャートを示している。格納する伝送画像データは、 (Y( n)、 Cb (n)、 Y(n+ 1)、 Cr (n) )の 32ビット形式にパックされている。図 2を参照しつつ、図 7に従って、パック形式 YCbCr4： 2： 2フォーマットの伝送画像データを格納する場合の本形態の画像処理装置の動作を説明する。

[0077] 図 7のステップ SOにおいて格納処理が開始されると、ステップ S1において、色情報判別部 11は、色情報制御線 40から色情報を取得する。

[0078] ステップ S2において、色情報判別部 11は、バス 30上の格納すべき伝送画像データの色フォーマットを判別する。この場合、判別の結果、格納すべき伝送画像データの色フォーマットは、 YCbCr4 : 2 : 2フォーマットである。色情報判別部 11は、色フォ一マットの判別結果を、色フォーマット情報として、メモリ制御部 12、アドレス演算部 1 3、データ制御部 14に送る。

[0079] ステップ S3において、色情報判別部 11は、格納すべき伝送画像データのデータ形式を判別する。この場合、判別の結果により、格納すべき伝送画像データのデータ形式は、パック形式である。色情報判別部 11は、データ形式の判別結果をデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。

[0080] ステップ S4において、データ制御部 14は、 32ビットの伝送画像データの中力輝度 Y(n)データと輝度 Y(n+ 1)データを抽出する。

[0081] ステップ S5において、アドレス演算部 13は、輝度 Υ(η)データと輝度 Υ(η+ 1)データの、第 1メモリ 21上のアドレスを計算する。

[0082] ステップ S6において、メモリ制御部 12は、書き込みィネーブル信号を第 1メモリ 21 に出力し、輝度 Υ(η)データと輝度 Υ(η+ 1)データ力第 1メモリ 21の所定のアドレスに格納される。

[0083] ステップ S7において、データ制御部 14は、 32ビットの画像データの中力色差 Cb

(n)データを抽出する。

[0084] ステップ S8において、アドレス演算部 13は、色差 Cb (n)データの、第 2メモリ 22上のアドレスを計算する。 [0085] ステップ S6において、メモリ制御部 12は、書き込みィネーブル信号を第 2メモリ 22 に出力し、色差 Cb (n)データ力第 2メモリ 22の所定のアドレスに格納される。

[0086] ステップ S10において、データ制御部 14は、 32ビットの画像データの中力色差 C r (n)データを抽出する。

[0087] ステップ S8において、アドレス演算部 13は、色差 Cr (n)データの、第 3メモリ 23上のアドレスを計算する。

[0088] ステップ S6において、メモリ制御部 12は、書き込みィネーブル信号を第 3メモリ 23 に出力し、色差 Cr (n)データが、第 3メモリ 23の所定のアドレスに格納される。

[0089] 以上の処理が終わると、制御はステップ S 13に移り、画像データ (Y(n)、 Cb (n)、 Y

(n+ l)、 Cr (n) )の格納が終了する。このような一連の格納処理を n=0〜n— max - 1 (n_maxは、格納する輝度 Yデータの最大個数）について繰り返す。

[0090] (パック形式 YCbCr4： 4： 4フォーマットの画像データの格納）

色情報判別部 11が、格納すべき伝送画像データはパック形式 YCbCr4： 4： 4フォ一マットであると判別した場合、色情報判別部 11は、その判別結果を色フォーマット情報及びデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。この例では、図 5 (a)に示すように、バス 30上の伝送画像データには、有効な画像データ 24ビットにダミーデータ 8ビットが付加されている。この時、アドレス演算部 13は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、メモリ部 20が、図 5 (b)に示すようなアドレス空間に配置されているものと判断して、伝送画像データのそれぞれの格納先のメモリのアドレスを演算して発行する。データ制御部 14は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、格納する画像データ力ダミーデータを削除し、有効な輝度 Yデータと色差 Cbデータと色差 Crデータとを、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23に、それぞれ出力する。メモリ制御部 12は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23に対して書込みィネーブル信号を出力する。書き込みィネーブル信号が出力されたメモリに、画像データが格納される。

[0091] (RGBフォーマットの画像データの格納）色情報判別部 11が、格納すべき伝送画像データは RGBフォーマットであると判別した場合、色情報判別部 11は、その判別結果を色フォーマット情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に出力する。データ制御部 14は、色情報判別部 11からの色フォーマット情報に基づき、格納すべき伝送画像データを R GBフォーマットから YCbCr4 :4 :4フォーマットへ変換し、各メモリへ出力する。この時、メモリ容量を削減するために、画質を多少犠牲にして、格納すべき伝送画像データを RGBフォーマットから YCbCr4： 2： 2フォーマットに変換しても良!、。その後の動作は、それぞれのフォーマットの画像データの格納と同じである。

[0092] 次に、メモリインターフェイス部 10において、色情報判別部 11が色情報を判別した後の画像データの読出しにおける具体的な動作を、いくつかの場合について以下に説明する。

[0093] (プラナ形式の画像データの読出し）

色情報判別部 11が、メモリ部 20から格納画像データを読み出し、バス 30ヘプラナ形式の伝送画像データとして送出すると判別した場合、色情報判別部 11は、その判別結果をデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。色情報判別部 11からのデータ形式情報に基づき、アドレス演算部 13は、第 1メモリ 21、第 2メモリ 22、第 3メモリ 23に対して、同じアドレスを発行する。メモリ制御部 12は、データを読み出すメモリに対する読出しィネーブル信号を出力する。データ制御部 14は、読み出した画像データを、図 3 (a)に示すアドレス空間に従って、 4データ 32ビットの伝送画像データ形式で、輝度 Yデータ、色差 Cbデータ、色差 Cr データの順にバス 30に出力する。

[0094] (パック形式 YCbCr4： 2： 2フォーマットの画像データの読出し）

色情報判別部 11が、メモリ部 20から格納画像データを読み出し、バス 30へパック形式 YCbCr4： 2： 2フォーマットの伝送画像データとして送出すると判別した場合、色情報判別部 11は、その判別結果を色フォーマット情報及びデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。アドレス演算部 13は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、第 1メモリ 2 1、第 2メモリ 22、第 3メモリ 23に対して、アドレスを別々に計算し、それぞれのメモリに対応したアドレスを個別に発行する。

[0095] メモリ制御部 12は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、データを読み出すメモリに対する読出しィネーブル信号を出力する。データ制御部 14は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、読み出した画像データを、図 4 (a)に示すアドレス空間に従って、（Y(n)、 Cb (n) 、 Y(n+ 1)、 Cr(n) )の 32ビット形式にパックして、伝送画像データとしてバス 30に出力する。

[0096] (パック形式 YCbCr4： 4： 4フォーマットの画像データの読出し）

色情報判別部 11が、メモリ部 20から格納画像データを読み出し、バス 30へパック形式 YCbCr4： 4： 4フォーマットの伝送画像データとして送出すると判別した場合、色情報判別部 11は、その判別結果を色フォーマット情報及びデータ形式情報として、メモリ制御部 12、アドレス演算部 13、データ制御部 14に送る。アドレス演算部 13は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、第 1メモリ 2 1、第 2メモリ 22、第 3メモリ 23に対して、アドレスを別々に計算し、それぞれのメモリに対応したアドレスを個別に発行する。メモリ制御部 12は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、データを読み出すメモリに対する読出しィネーブル信号を出力する。データ制御部 14は、色情報判別部 11からの色フォーマット情報とデータ形式情報に基づき、図 5 (a)に示すアドレス空間に従って、読み出した格納画像データに 8ビットのダミーデータ「X」を付カ卩して、（X、 Y(n)、 Cb (n)、 C r (n) )の 32ビット形式にパックして、伝送画像データとしてバス 30に送出する。ダミーデータ「X」は、メモリインターフェイス部 10のレジスタに予め設定された値を用いてもよいし、アクセス毎に色情報制御線 40にダミーデータを付加させることで、そのダミーデータを用いてもよい。

[0097] 以上説明したように、本発明の画像処理装置は、輝度 Yデータを格納する第 1メモリ 21と色差 Cbデータを格納する第 2メモリ 22と色差 Crデータを格納する第 3メモリ 23 を有するメモリ部 20を備え、バス 30とメモリ部 20の間にメモリインターフェイス部 10を設け、さらに、色情報制御線 40を介して、画像データのデータ形式と色フォーマットを色情報として、メモリインターフェイス部 10に与えている。 [0098] この構成により、色情報に基づ!/、て、各画像処理エンジンの好適なデータのァドレス空間を、メモリ部 20のアドレス空間に変換することができる。その結果、ノス 30上に画像データをプラナ形式で処理する画像処理エンジンとパック形式で処理する画像処理エンジンが共存する場合でも、各画像処理エンジンは、アクセス効率を低下することなくメモリ部 20にアクセスすることができる。

[0099] また、好適とする色フォーマットが異なる画像処理エンジンが共存する場合でも、各画像処理エンジンは、アクセス効率を低下することなくメモリ部 20にアクセスすることができる。

[0100] さらに、 YCbCr4 :4 :4フォーマットをパック形式で読み書きする際に、ダミーデータ分のメモリ領域を保持する必要がな、ためメモリ容量を削減することが出来る。

[0101] 以上説明したように、本発明の趣旨は、画像データに色情報を付与して、異なるフォーマットの画像データをメモリに格納し、メモリから読み出す際のアドレス変換の効率を改善した画像処理装置を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の適用が可能である。

産業上の利用可能性

[0102] 本発明に係わる画像処理装置は、例えば、異なる色空間又は異なるメモリ格納形式を有する画像処理エンジンを複数搭載する画像処理装置とその応用分野において利用できる。

Claims

請求の範囲

[1] 伝送画像データを伝送するバスと、

前記伝送画像データが有する色情報を伝送する色情報制御線と、

前記バスと前記色情報制御線とに接続されるメモリインターフェイス部と、前記メモリインターフェイス部を介して前記バスに接続され、前記伝送画像データを格納画像データとして格納するメモリ部とを備え、

前記メモリインターフェイス部は、前記色情報に基づいて、前記伝送画像データの前記バスから前記メモリ部への格納と、前記格納画像データの前記メモリ部から前記バスへの読出しとを制御する画像処理装置。

[2] 前記メモリインターフェイス部は、前記伝送画像データを格納画像データとして前記バスから前記メモリ部に格納する際に、前記色情報に基づいて、前記伝送画像データを格納する前記メモリ部のアドレスを指定する請求項 1記載の画像処理装置。

[3] 前記メモリインターフェイス部は、前記格納画像データを前記メモリ部から読み出し伝送画像データとして前記バスに送出する際に、前記色情報に基づいて、前記格納画像データを読み出す前記メモリ部のアドレスを指定する請求項 1記載の画像処理装置。

[4] 前記メモリインターフェイス部は、前記伝送画像データを格納画像データとして前記バスから前記メモリ部に格納する際に、前記色情報に基づいて、前記伝送画像データに含まれるダミーデータを削除して前記メモリ部に格納する請求項 1記載の画像処理装置。

[5] 前記メモリインターフェイス部は、前記格納画像データを前記メモリ部から読み出して前記バスに送出する際に、前記色情報に基づいて、読み出された格納画像データにダミーデータを付加して前記バスに送出する請求項 1記載の画像処理装置。

[6] 前記伝送画像データと前記格納画像データとは、輝度データと第 1色差データと第 2 色差データとを含み、前記メモリ部は、前記輝度データを格納する第 1メモリと、前記第 1色差データを格納する第 2メモリと、前記第 2色差データを格納する第 3メモリとを有する、請求項 1記載の画像処理装置。

[7] 前記メモリインターフェイス部は、前記伝送画像データを前記格納画像データとして前記バスから前記メモリ部に格納する際に、前記色情報に基づいて、前記輝度データを格納するアドレスを前記第 1メモリ内のアドレスに指定し、前記第 1色差データを格納するアドレスを前記第 2メモリ内のアドレスに指定し、前記第 2色差データを格納するアドレスを前記第 3メモリ内のアドレスに指定する請求項 6記載の画像処理装置。

[8] 前記メモリインターフェイス部は、前記格納画像データを前記メモリ部から読み出して前記バスに送出する際に、前記色情報に基づいて、前記輝度データを読み出すアドレスを前記第 1メモリ内のアドレスに指定し、前記第 1色差データを読み出すアドレスを前記第 2メモリ内のアドレスに指定し、前記第 2色差データを読み出すアドレスを前記第 3メモリ内のアドレスに指定する請求項 6記載の画像処理装置。

[9] 前記色情報は、前記伝送画像データのデータ形式、及び色フォーマットの少なくとも一つを含む、請求項 1記載の画像処理装置。

[10] 前記データ形式は、プラナ形式とパック形式のうちの少なくとも 1つを含む、請求項 9 記載の画像処理装置。

[11] 前記色フォーマットは、 YCbCr4 :4 :4フォーマット、 YCbCr4 : 2 : 2フォーマット、 YC bCr4 : 2 : 0フォーマット、及び、 RGBフォーマットのうちの少なくとも 1つを含む請求項

9記載の画像処理装置。

[12] 前記メモリインターフェイス部は、前記色情報から前記データ形式、及び前記色フォ一マットの少なくとも一方を判別する色情報判別部を備える請求項 9記載の画像処理装置。

[13] 前記メモリインターフェイス部は、前記色情報判別部の判別結果に基づ!、て、前記メモリ部のアドレスを演算するアドレス演算部を更に備え、前記アドレス演算部の演算結果に基づいて、前記メモリ部のアドレスが指定される請求項 12記載の画像処理装置。