JP6365102B2 - データ処理装置およびプログラム - Google Patents

データ処理装置およびプログラム Download PDF

Info

Publication number
JP6365102B2
JP6365102B2 JP2014165063A JP2014165063A JP6365102B2 JP 6365102 B2 JP6365102 B2 JP 6365102B2 JP 2014165063 A JP2014165063 A JP 2014165063A JP 2014165063 A JP2014165063 A JP 2014165063A JP 6365102 B2 JP6365102 B2 JP 6365102B2
Authority
JP
Japan
Prior art keywords
data
processing
block size
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014165063A
Other languages
English (en)
Other versions
JP2016042223A (ja
Inventor
松本 大輔
大輔 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014165063A priority Critical patent/JP6365102B2/ja
Priority to US14/598,359 priority patent/US9519948B2/en
Publication of JP2016042223A publication Critical patent/JP2016042223A/ja
Application granted granted Critical
Publication of JP6365102B2 publication Critical patent/JP6365102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Stored Programmes (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

本発明は、データ処理装置およびプログラムに関する。
対象データ内のデータを処理するデータ処理装置として、例えば、画像データに対して色変換処理やフィルタ処理などの画像処理を施す画像処理装置が知られており、従来からその画像処理に係る技術がいくつか提案されている。
例えば、特許文献1には、複数の画素をパックとしてまとめ、パック内の画素が同等な場合に画素データを削除してその画素データに対する処理を回避することにより、画像処理を高速化する技術が記載されている。
また、特許文献2には、カラー画像のデータを並列に画像処理する複数の画像処理プロセッサを備えたカラー画像処理装置が記載されている。つまり、画像処理プロセッサを複数とすることにより画像処理の高速化が実現される。
また、特許文献3には、画像データに対してベクター型の処理を行うベクター処理部とベクター型の処理が行われた画像データに対してスカラー型の処理を行うスカラー処理部を備えた画像処理装置が記載されている。つまり、ベクター型の処理とスカラー型の処理のそれぞれに適した複数の処理部を用いて画像処理の高速化が実現される。
特開2012−231230号公報 特開平5−143720号公報 特開2008−40614号公報
本発明は、対象データ内の複数領域において、各領域ごとにその領域に適用されるブロックサイズによりデータを処理することを目的とする。
請求項1に係る発明は、対象データ内の複数領域において各領域ごとにデータを解析することにより、複数のブロックサイズの各々を処理単位としたデータの処理について予測される指標を導出し、複数のブロックサイズの中からそれらの指標を比較して当該領域におけるデータの処理単位として適用されるブロックサイズを選択する解析部と、対象データ内の複数領域においてデータを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する制御部とを有することを特徴とするデータ処理装置である。
請求項に係る発明は、請求項に記載のデータ処理装置において、前記解析部は、各領域ごとに複数のブロックサイズの各々を処理単位としたデータの処理について予測される処理時間を反映した前記指標を導出し、複数のブロックサイズの中から処理時間に係る選択条件を満たすブロックサイズを選択する、ことを特徴とするデータ処理装置である。
請求項に係る発明は、請求項1または2に記載のデータ処理装置において、前記解析部は、複数のブロックサイズについて、各ブロックサイズごとに、当該ブロックサイズの回路を再構成可能回路内に構成するのに必要な再構成時間と、当該ブロックサイズの回路を利用したデータの処理に必要なデータ処理時間と、を含む前記指標を導出する、ことを特徴とするデータ処理装置である。
請求項に係る発明は、請求項1から3のいずれか1項に記載のデータ処理装置において、前記解析部は、画像データ内の複数領域において画素データを解析することにより、各領域ごとに、互いに異なる画素数に対応した複数のブロックサイズの中から当該領域に適用されるブロックサイズを選択し、前記制御部は、画像データ内の複数領域において画素データを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する、ことを特徴とするデータ処理装置である。
請求項に係る発明は、コンピュータに、対象データ内の複数領域において各領域ごとにデータを解析することにより、複数のブロックサイズの各々を処理単位としたデータの処理について予測される指標を導出し、複数のブロックサイズの中からそれらの指標を比較して当該領域におけるデータの処理単位として適用されるブロックサイズを選択する解析機能と、対象データ内の複数領域においてデータを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する制御機能と、を実現させることを特徴とするプログラムである。
請求項1に係る発明によれば、対象データ内の複数領域において、各領域ごとにその領域に適用されるブロックサイズによりデータを処理することができる。また、請求項1に係る発明によれば、複数のブロックサイズの各々を処理単位としたデータの処理についての予測を踏まえて、各領域に適用されるブロックサイズを選択することができる。
請求項に係る発明によれば、複数のブロックサイズの各々を処理単位としたデータの処理について予測される処理時間を踏まえて、各領域に適用されるブロックサイズを選択することができる。
請求項に係る発明によれば、再構成時間とデータ処理時間を考慮して各領域に適用されるブロックサイズを選択することができる。
請求項に係る発明によれば、画像データ内の複数領域において、各領域ごとに、互いに異なる画素数に対応した複数のブロックサイズの中からその領域に適用されるブロックサイズを選択することができる。
請求項に係る発明によれば、対象データ内の複数領域において、各領域ごとにその領域に適用されるブロックサイズによりデータを処理することができる。また、請求項5に係る発明によれば、複数のブロックサイズの各々を処理単位としたデータの処理についての予測を踏まえて、各領域に適用されるブロックサイズを選択することができる。
本発明の実施において好適なデータ処理装置の具体例を示す図である。 対象データに対するキャッシュ処理を説明するための図である。 データ解析部の具体例を示す図である。 BS予測部の具体例を示す図である。 図1のデータ処理装置が実行する処理を纏めたフローチャートである。 画像データの解析処理を示すフローチャートである。 画像データのキャッシュ処理を示すフローチャートである。 画像データの分割に係る変形例を説明するための図である。 画像データの処理時間に関するシミュレーション結果を示す図である。
図1は、本発明の実施において好適なデータ処理装置の具体例を示す図である。図1のデータ処理装置は、再構成可能回路100と再構成メモリ110とDRAM120と再構成制御部200を備えており、処理対象となるデータに対してデータ処理を実行する。図1のデータ処理装置は、例えばDRP(Dynamic Reconfigurable Processor:動的再構成可能プロセッサ)などにより実現することができる。なお、DRPに限らず、回路を再構成することができる他のデバイスにより図1のデータ処理装置が実現されてもよい。
再構成可能回路100は、その内部の論理回路構成を動的に、すなわち当該回路の動作中に再構成が可能な回路であり、例えば多数の回路要素(PE:プロセッサエレメント)を内部に備えている。そして、それら回路要素間の接続構成が再構成データ(コンフィギュレーションデータ)に従って比較的高速に再構成可能(組み替え可能)となっており、再構成された回路構成により、図1に示す再構成可能回路100内の各部が実現される。
再構成可能回路100内の回路構成は、再構成メモリ110に記憶された再構成データに基づいて再構成(リコンフィギュレーション)される。再構成メモリ110には、1つ以上の回路構成に対応した再構成データが記憶可能である。図1に示す具体例では、再構成メモリ110内に、再構成データBS2と再構成データBS4と再構成データBS8が記憶されている。
また、図1のデータ処理装置において利用される多数の再構成データは、DRAM120に記憶されており、DRAM120に記憶された再構成データが、必要に応じて再構成メモリ110にロード(移し入れ)され、再構成可能回路100内の回路の再構成に利用される。図1に示す具体例では、DRAM120内に、多数の再構成データBSn(nは自然数)が記憶されている。
再構成制御部200は、図1のデータ処理装置内の再構成に係る処理を制御する。再構成制御部200は、例えば演算機能等を実現するハードウェアとその動作を規定するソフトウェア(制御プログラム等)によって構成され、ハードウェアとソフトウェアとの協働により実現することができる。再構成制御部200の機能は、例えば、DRP内において実現されてもよいし、コンピュータ等により実現されてもよい。
再構成制御部200の機能をコンピュータにより実現する場合には、後に詳述する再構成制御部200の制御機能に対応したプログラム(制御プログラム)が、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネット等の電気通信回線を介して当該プログラムがコンピュータに提供されてもよい。そして、コンピュータが備えるCPUやメモリ等のハードウェア資源と、提供された当該プログラム(ソフトウェア)との協働により、再構成制御部200の機能が実現される。
また、再構成制御部200の機能の他に、再構成可能回路100内において実現される機能の一部、例えばデータ解析部80の機能がコンピュータ等により実現されてもよい。
図1のデータ処理装置によって処理されるデータの好適な具体例は画像データであり、例えばコンピュータなどの外部の装置から、図1のデータ処理装置に画像データが提供され、図示しないデータバス等を介して、画像データが再構成可能回路100内のロードバッファ10に入力される。また、図1のデータ処理装置が、画像読み取り機能(スキャン機能)等を備えた画像処理装置内に組み込まれ、その機能を介して紙などの媒体から得られた画像データがロードバッファ10に入力されてもよい。さらに、図1のデータ処理装置による処理後の画像データがストアバッファ70から出力され、処理後の画像データに対応した画像が紙などに印刷されてもよいし、処理後の画像データが外部の装置に提供されてもよい。このように図1のデータ処理装置により画像処理装置が実現されてもよい。
なお、画像データは、図1のデータ処理装置において処理が可能な好適な具体例の一つに過ぎず、図1のデータ処理装置が画像データ以外のデータを処理してもよい。例えば、図1のデータ処理装置が、情報処理装置、情報処理端末、オーディオ・ビジュアル機器やその他の家電機器、車両等に搭載され、様々なデータ処理や制御等に利用されてもよい。
再構成可能回路100内には、処理対象となるデータ(対象データ)を処理するための回路構成が実現される。例えば、対象データに対してキャッシュ処理を施すための回路構成が実現される。
図2は、対象データに対するキャッシュ処理を説明するための図であり、図2(I)には、キャッシュ処理の具体例が示されている。つまり、図1の再構成可能回路100内に構成されるデータ処理部50とキャッシュ制御部60による、画像データに対するキャッシュ画像処理が図示されている。
図2(I)の具体例において、処理対象となる画像データを構成する複数の画素データが、いくつかの画素データからなるブロックに纏められる。例えば、図2(I)に示すように、4個の画素データAからなるブロックに纏められる。
データ処理部50は、画像データに対してデータ処理、つまり画像処理を行う。その画像処理において、ブロック内における1つの画素データに対する処理結果から他の全ての画素データの処理結果を得ることができる場合に、つまりヒット時に、データ処理部50は、ブロック内における1つの画素データに対する処理のみを実行して他の画素データに対する処理を省略する。
例えば、ブロック内の画素データが全て同一である場合に、つまり、図2(I)に示す具体例のように、ブロック内の4つの画素データが全て同じ画素データAである場合に、データ処理部50は、ブロック内の先頭の画素データAのみに画像処理を施して処理結果である画像データA´を得て、他の画素データAに対する処理を省略する。
そして、データ処理部50において画像処理が省略された場合に、つまりヒット時に、キャッシュ制御部60は、ブロック内における1つの画素データに対する処理結果から他の画素データの処理結果を得る。例えば、図2(I)に示す具体例のように、ブロック内における先頭の画素データAに関する処理結果である画像データA´をコピーして、他の画素データAに関する処理結果とする。
これにより、例えば、図2(I)に示す具体例のように、4個の画素データAからなるブロックに対する画像処理結果として、4個の画素データA´からなるブロックが得られる。
一方、ブロック内における1つの画素データに対する処理結果から他の全ての画素データの処理結果を得ることができない場合、つまりミス時に、データ処理部50は、ブロック内における全ての画素データの各々に対して処理を実行して各画素データごとに処理結果を得る。
そして、画像データ内における複数の画素データが次々にブロックに纏められ、ブロックごとに図2(I)のキャッシュ処理が実行される。
図2(II)は、キャッシュ処理の性能に関する具体例を示している。キャッシュ処理の性能は、ブロック内におけるデータ数、つまり、1つのブロックを構成する画素数であるブロックサイズに依存する。図2(II)には、ブロックサイズが「2」「4」「8」の場合におけるキャッシュ処理の性能が示されている。
図2(II)に示す具体例において、ブロックサイズ「2」は、2個の画素データを1つのブロックに纏めたものであり、ブロックサイズ「4」は、4個の画素データを1つのブロックに纏めたものであり、ブロックサイズ「8」は、8個の画素データを1つのブロックに纏めたものである。
判定データ数は、各ブロックがヒット状態にあるか又はミス状態にあるかを判定するのに必要とされるデータ数である。例えば、ブロックサイズ「2」の場合に、各ブロックを構成する2つの画素データが同じである場合にそのブロックがヒットとなり、2つの画素データが互いに異なる場合にそのブロックがミスとなる。また、ブロックサイズ「4」の場合には、各ブロックを構成する4つの画素データが全て同じである場合に、そのブロックがヒットとなり、その他の場合にはミスとなる。同様に、ブロックサイズ「8」の場合には、各ブロックを構成する8つの画素データが全て同じである場合に、そのブロックがヒットとなり、その他の場合にはミスとなる。
図2(II)には、キャッシュ処理の性能として、通常パイプライン処理を基準とした場合における性能比が示されている。通常パイプライン処理では、ブロックを単位としたキャッシュ処理が行われず、複数の画素データが各画素データごとに次々に画像処理される。
図2(II)において、「ヒット時」は、ヒット状態の場合における性能比を示しており、「ミス時」は、ミス状態の場合における性能比を示している。例えば、ブロックサイズ「2」の場合、「ヒット時」において、2つの画素データのうちの一方のみを画像処理すればよいため、2つの画素データの両方を処理する通常パイプライン処理の場合に比べて、2.0倍の性能向上(例えば処理時間が1/2に短縮)となる。また、ブロックサイズ「4」「8」の場合、「ヒット時」において、それぞれ4.0倍と8.0倍の性能向上となる。
一方、「ミス時」においては、ブロック内の複数の画素データが各画素データごとに次々に画像処理されるため、ブロックサイズに係わらず性能向上が1.0倍となる。つまり通常パイプライン処理と同じになる。
また、図2(II)には、状態変化時の制御遅延(クロック数)が示されている。例えば、画像データ内において、ブロックサイズ「2」の複数ブロックを次々に処理する場合に、ブロックの状態が、ヒットからミスまたはミスからヒットへ変化する際に、1クロック分の制御遅延が必要となる。なお、ブロックサイズ「4」「8」の場合、状態変化時の制御遅延は、それぞれ3クロックと7クロックになる。この制御遅延は、状態変化制御の回路が、フィードバック回路により構成されている事によるフィードバック遅延である。但しキャッシュ処理の例であり、必ず発生する遅延では無い。
一般に、ブロックサイズが大きいほど、ヒット時における性能が向上する。しかし、ブロックサイズが大きいほど、ヒットする確率が低くなってしまう。また、ヒットする確率は、対象データ内のデータの状態にも依存する。例えば、画像データを構成する複数の画素データについて、近傍データとの類似性が高い場合には、比較的大きなブロックサイズでもヒットする確率が高まる。一方、近傍データとの類似性が低い場合には、比較的小さなブロックサイズとしなければヒットする確率を高めることができない。
そこで、図1のデータ処理装置は、対象データを複数領域に分割し、各領域ごとにデータを解析することにより、その領域におけるデータのキャッシュ処理に適用されるブロックサイズを決定する。
図1に戻り、対象データの分割と解析とキャッシュ処理は、再構成可能回路100内に構成される各部によって実現される。そこで、再構成可能回路100内に構成される各部の機能と処理等について説明する。なお、以下においては、対象データとして画像データを処理対象とする具体例について説明する。
処理対象となる画像データは、一時的にロードバッファ10に記憶された後、データ分割部20に送られる。データ分割部20は、画像データを複数の画像領域に分割する。画像データは、例えば、縦方向と横方向に配列された複数の画素データで構成されている。つまり、横方向に一列に配列された複数の画素データにより各ラインが構成され、複数のラインが縦方向に並べられて画像データが構成される。データ分割部20は、例えば、1つのラインを1つの画像領域として、画像データを複数のラインに分割する。
データ判定部30とデータ削除部40とデータ処理部50とキャッシュ制御部60は、画像データに対してデータ処理(例えば図2を利用して説明したキャッシュ処理)を実行する。複数のラインに分割された画像データは、各ラインごとにデータ処理を施され、処理後の画像データがストアバッファ70に記憶される。
データ判定部30からキャッシュ制御部60におけるデータ処理に先だって、画像データの各ラインは、データ解析部80において解析処理される。
データ解析部80は、複数領域に分割された画像データを解析することにより、各領域ごとにその領域におけるデータ処理(例えば図2を利用して説明したキャッシュ処理)の処理単位として適用されるブロックサイズを決定する。データ解析部80は、各ラインごとに複数の画素データを解析することにより、複数のブロックサイズの中から、そのラインに適用されるブロックサイズを選択する。
図3は、データ解析部80の具体例を示す図である。図3の具体例において、データ解析部80は、解析制御部82と、複数のブロックサイズ(BS)に対応した複数のBS予測部84と、BS(ブロックサイズ)選択部86を備えている。
データ分割部20において複数のラインに分割された画像データは、各ラインごとに複数のBS予測部84に送られる。図3に示す具体例において、データ解析部80は、ブロックサイズ2,4,8(BS2,BS4,BS8)に対応した3つのBS予測部84を備えている。各BS予測部84は、それに対応するブロックサイズを各ラインに適用した場合におけるヒット数とミス数を計数し、さらに、ヒットとミスの切替わり数を計数する。
図4は、BS予測部84の具体例を示す図である。図3における3つのBS予測部84の各々が図4に示す構成を備えている。
BS予測部84は、それに対応するブロックサイズを各ラインに適用した場合におけるヒット数を計数するヒットカウンタと、ミス数を計数するミスカウンタと、ヒットとミスの切替わり数を計数する切替わりカウンタを備えている。
例えば、ブロックサイズ2(BS2)のBS予測部84は、データ分割部20から各ラインごとに得られる複数の画素データに対して、ブロックサイズ2を適用した場合におけるヒット数とミス数と切替わり数をそれぞれ計数する。つまり、2つの画素からなるブロックごとにそのブロック内の画素データを確認し、ブロック内の画素データが全て同一であればヒットカウンタにおいてヒット数が計数され、ブロック内の画素データに1つでも他と異なるものがあればミスカウンタにおいてミス数が計数される。そして、各ライン内においてブロックを移動させながら各位置においてヒットまたはミスの判定が行われ、互いに隣り合うブロックの位置において、ヒットからミスに又はミスからヒットに状態が切り替わる場合に、切替わりカウンタにおいて切替わり数が計数される。
同様に、ブロックサイズ4(BS4)のBS予測部84は、データ分割部20から各ラインごとに得られる複数の画素データに対して、4つの画素からなるブロックサイズ4を適用した場合におけるヒット数とミス数と切替わり数をそれぞれ計数する。また、ブロックサイズ8(BS8)のBS予測部84は、データ分割部20から各ラインごとに得られる複数の画素データに対して、8つの画素からなるブロックサイズ8を適用した場合におけるヒット数とミス数と切替わり数をそれぞれ計数する。
さらに、BS予測部84は、予測性能に係る指標を算出する指標算出部を備えている。指標算出部は、各カウンタから得られる計数値と解析制御部82から得られる回路管理データに基づいて、例えば次式に示す予測性能に係る指標Pfn(nはブロックサイズ)を算出する。
(数1)
Pfn(clk)=ヒットブロック処理時間+ミスブロック処理時間+再構成時間+ロード時間+その他
ヒットブロック処理時間=ヒット数×1clk
ミスブロック処理時間=ミス数×nclk
再構成時間=回路構成時間+パイプラインデータ追い出し時間
ロード時間(再構成メモリ110に再構成データをロードするのに必要な時間)
例えば、ブロックサイズ2(BS2)のBS予測部84において、ブロックサイズ2に関する予測性能Pf2が算出され、ブロックサイズ4(BS4)のBS予測部84において、ブロックサイズ4に関する予測性能Pf4が算出され、ブロックサイズ8(BS8)のBS予測部84において、ブロックサイズ8に関する予測性能Pf8が算出される。
図3に戻り、BS(ブロックサイズ)選択部86は、各ラインごとに、複数のBS予測部84から得られる複数の予測性能Pfnを比較することにより、そのラインに適用するブロックサイズを決定する。BS選択部86は、複数のブロックサイズの中から処理時間に係る選択条件を満たすブロックサイズを選択する。例えば、ブロックサイズ2に関する予測性能Pf2と、ブロックサイズ4に関する予測性能Pf4と、ブロックサイズ8に関する予測性能Pf8の中から、最も高速なブロックサイズ、つまりPfnが最も小さいクロック数(clk数)となるブロックサイズを選択する。
BS選択部86は、複数のラインについて、各ラインごとにそのラインに適用するブロックサイズを選択し、その選択結果を再構成判定部90へ出力する。
図1に戻り、再構成判定部90は、画像データに対するデータ処理(例えば図2を利用して説明したキャッシュ処理)において、再構成可能回路100内の回路構成を再構成する必要がある場合に、再構成制御部200に対して再構成を要求する。
画像データは、データ分割部20において複数のラインに分割され、各ラインごとにデータ処理される。そのデータ処理において、各ラインごとにそのラインに対して選択されたブロックサイズが適用される。
図1に示す再構成可能回路100内の回路構成のうち、ブロックサイズに応じて、例えば、データ判定部30とデータ削除部40とキャッシュ制御部60に係る回路構成が再構成される。つまり、再構成可能回路100内の回路構成が部分的に再構成される。
例えば、データ処理においてブロックサイズ2が適用される場合に、再構成メモリ110内の再構成データBS2に基づいて、ブロックサイズ2に対応した回路構成(データ判定部30とデータ削除部40とキャッシュ制御部60)が再構成可能回路100内に再構成(リコンフィギュレーション)される。
同様に、ブロックサイズ4が適用される場合に、再構成メモリ110内の再構成データBS4に基づいて、ブロックサイズ4に対応した回路構成が再構成され、ブロックサイズ8が適用される場合に、再構成メモリ110内の再構成データBS8に基づいて、ブロックサイズ8に対応した回路構成が再構成される。
再構成判定部90は、各ラインごとのデータ処理において、そのラインに適用されるブロックサイズに対した回路構成が再構成可能回路100内に構成されていない場合に、再構成を要求する割り込み信号を再構成制御部200に出力する。つまり、複数のラインについて各ラインごとにデータ処理が進められる際に、データ処理が行われている現行のラインに適用されたブロックサイズとは異なるブロックサイズを次のラインに適用する場合に、再構成判定部90から割り込み信号が出力される。
再構成制御部200は、再構成判定部90から割り込み信号を得ると、データ解析部80において選択されたブロックサイズに対応した回路構成を再構成可能回路100内に再構成する。
図5は、図1のデータ処理装置が実行する処理を纏めたフローチャートである。図1に示した構成(各部)については図1の符号を利用して、図5のフローチャートについて説明する。
データ分割部20は、ロードバッファ10から得られる画像データを複数の画像領域に分割する(S501)。データ分割部20は、例えば、1つのラインを1つの画像領域として、画像データを複数のラインに分割する。
データ処理に先だって、画像データの各ラインは、データ解析部80において解析処理される。データ解析部80は、各ラインごとに複数の画素データを解析することにより、複数のブロックサイズの中から、そのラインに適用されるブロックサイズを選択する(S502)。
図6は、画像データの解析処理を示すフローチャートである。データ解析部80は、各ラインごとに図6に示す解析処理を実行して、そのラインに適用されるブロックサイズを選択する。
まず、データ解析部80は、複数のブロックサイズについて各ブロックサイズごとに、そのブロックサイズを、解析の対象となっている現行ラインに適用した場合における、ヒット数とミス数と切替わり数を計数する(S601)。例えば、ブロックサイズ2,4,8の各々について、ヒット数とミス数が計数され、さらに、ヒットとミスの切替わり数が計数される(図4参照)。
次に、データ解析部80は、各ブロックサイズごとに、そのブロックサイズを現行ラインに適用した場合における再構成時間を算出する(S602)。再構成時間は、ブロックサイズに変更が有る場合(1)とブロックサイズに変更が無い場合(2)において、互いに算出手法が異なる。
現行ラインよりも1つだけ前のライン(前ライン)に適用されたブロックサイズと同じブロックサイズについては、つまり、ブロックサイズに変更が無い場合には、前ラインに適用されたブロックサイズの回路構成を現行ラインにおいても利用できるため再構成の必要がなく、従って再構成時間は0(ゼロ)となる。
一方、前ラインに適用されるブロックサイズとは異なるブロックサイズについては、つまり、ブロックサイズに変更が有る場合には、前ラインに適用されたブロックサイズの回路構成から、現行ラインに適用されるブロックサイズの回路構成へと再構成する必要がある。そのため、再構成時間は、回路構成時間とデータ追出時間の和になる。なお、回路構成時間は、再構成可能回路100内に再構成データに対応した回路を再構成するのに必要とされる時間であり、データ追出時間は、その再構成の前に、前ラインの画像処理においてデータが回路構成から抜け切るまでに必要とされる時間である。
次に、データ解析部80は、各ブロックサイズごとに、そのブロックサイズを現行ラインに適用した場合におけるロード時間を算出する(S603)。ロード時間は、各ブロックサイズに対応した再構成データが、再構成メモリ110内に無い場合(1)と再構成メモリ110内に有る場合(2)において互いに算出手法が異なる。
再構成メモリ110内に再構成データが有るブロックサイズについては、再構成メモリ110へのロードが必要なく、従ってロード時間は0(ゼロ)となる。一方、再構成メモリ110内に再構成データが無いブロックサイズについては、DRAM120から再構成メモリ110へ再構成データのロードが必要となる。そのため、そのロードに必要とされる時間がロード時間となる。
そして、データ解析部80は、各ブロックサイズごとに、予測性能に係る指標Pfn(数1式)を算出する(S604)。S601からS604までの処理は、各ブロックサイズごとに実行され、全てのブロックサイズについての解析が完了まで繰り返される(S605)。
こうして、全てのブロックサイズについての解析が完了すると、データ解析部80は、全てのブロックサイズについての予測性能Pfnを比較することにより、現行ラインに適用するブロックサイズを選択する(S606)。例えば、最も高速なブロックサイズ、つまりPfnが最も小さいクロック数(clk数)となるブロックサイズが選択される。
図5に戻り、データ解析部80により現行ラインに適用されるブロックサイズが選択されると(S502)、再構成判定部90は、前ラインから現行ラインへの移行において、ブロックサイズの変更が有るか否かを判定する(S503)。つまり、前ラインに適用されたブロックサイズと現行ラインに適用されるブロックサイズが、互いに異なるか否かが判定される。
ブロックサイズの変更が有る場合、再構成制御部200は、現行ラインに適用されるブロックサイズに対応した回路構成を再構成可能回路100内に再構成する(S504)。一方、ブロックサイズの変更が無い場合には、再構成が行われず、前ラインに適用されたブロックサイズに対応した回路構成が再構成可能回路100内に維持される。
そして、データ判定部30とデータ削除部40とデータ処理部50とキャッシュ制御部60により、現行ラインの画像データに対して、データ処理(例えば図2を利用して説明したキャッシュ処理)が実行される(S505)。
図7は、画像データのキャッシュ処理を示すフローチャートである。画像データ内の各ラインごとに、そのラインについて選択されたブロックサイズにより、そのラインに属する複数の画素データがブロックに纏められ、ブロックごとに図7に示すキャッシュ処理が実行される。
まず、データ判定部30が、ブロック内の全画素データを確認し、ブロック内の全画素データが同一であるか否かを判定する(S701)。ブロック内の全画素データが同一であれば、そのブロックはヒット状態にあると判定され、ブロック内の全画素データのうち1つでも他と異なる画素データがあれば、そのブロックはミス状態にあると判定される。
ブロックがヒット状態の場合、データ削除部40は、そのブロック内の画素データのうちの1つだけを残して、例えば先頭の画素データのみを残して、他の画素データを削除する(S702)。
そして、データ処理部50は、削除されずに残された画素データに対してデータ処理、例えば色変換処理やフィルタ処理等の画像処理を実行し(S703:図2参照)、キャッシュ制御部60は、ブロック内における1つの画素データに対する処理結果をコピーして他の画素データに関する処理結果を得る(S704:図2参照)。
一方、ブロックがミス状態の場合に、データ処理部50は、ブロック内の全画素データの各々に対してデータ処理、例えば色変換処理やフィルタ処理等の画像処理を実行する(S705)。
図5に戻り、現行ラインに対するキャッシュ処理が終了すると(S505)、画像データ内の全領域、つまり全ラインに対する処理が終了したか否かが確認され(S506)、全ラインに対する処理が終了するまでS502からS505の処理が繰り返される。そして、全ラインに対する処理が完了すると図5のフローチャートが終了する。
上述した具体例においては、画像データを複数のラインに分割しているが、画像データの分割については、いくつかの変形例も可能である。
図8は、画像データの分割に係る変形例を説明するための図である。図8(I)には、可変領域による分割の具体例が図示されている。図8(I)の具体例では、ヒット状態が続く複数の画素データが1つの領域とされる。つまり、図8(I)において、ラインの先頭から続く複数の画素データAにより領域1が形成される。
但し、領域が小さく成りすぎることを防ぐために、分割の最低画素数を設けることが望ましい。図8(I)の具体例では、分割の最低画素数が100画素とされている。したがって、ヒット状態が続かない場合においても、100画素の集合により領域2が形成される。
図8(I)の可変領域による分割によれば、ヒット状態が続く複数の画素データが1つの領域に纏められるため、その領域に対して、例えば最大のブロックサイズを適用してもヒット状態が続き、その領域におけるキャッシュ処理の性能が大いに高められる。もちろん、ヒット状態が続かない領域においては、その領域内における画素データの解析結果に基づいて、その領域に応じたブロックサイズが選択される。
図8(II)には、二次元領域による分割の具体例が図示されている。例えば、図8(II)に示すように、画像データが、複数の二次元領域1,2,3,4,・・・に分割されてもよい。なお、領域が二次元の場合には、ブロックの形状が二次元であってもよい。
図9は、画像データの処理時間に関するシミュレーション結果を示す図である。図9には、本発明に係る具体例A,Bと比較例について、同一の画像データに同一の画像処理を行った場合における結果が図示されている。
具体例Aは、画像データを複数のラインに分割して、各ラインごとにブロックサイズ(BS2またはBS4)を選択した場合における、画像データ全体に対する画像処理の処理時間を示している。
また、具体例Bは、画像データを可変領域により分割(図8(I)参照)して、各可変領域ごとにブロックサイズ(BS2またはBS4)を選択した場合における、画像データ全体に対する画像処理の処理時間を示している。
これらに対し、比較例は、ブロックサイズを2(BS2)に固定して、画像データ全体に対して画像処理を行った場合の結果である。
比較例に対して、本発明に係る具体例Aと具体例Bは、共に、約1.3倍程度に高速化(処理時間が短縮)されている。つまり、各領域ごとにブロックサイズを選択することにより、画像処理に係る性能の向上が認められる。
なお、図9のシミュレーション結果においては、領域を1ラインに固定した具体例Aと領域を可変とした具体例Bとの間に顕著な差が現れていないものの、画像データの状態によっては、例えば画素の配列状態などによっては、領域を可変とすることによる顕著な性能の向上が期待される。
以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。
10 ロードバッファ、20 データ分割部、30 データ判定部、40 データ削除部、50 データ処理部、60 キャッシュ制御部、70 ストアバッファ、80 データ解析部、90 再構成判定部、100 再構成可能回路、110 再構成メモリ、120 DRAM、200 再構成制御部。

Claims (5)

  1. 対象データ内の複数領域において各領域ごとにデータを解析することにより、複数のブロックサイズの各々を処理単位としたデータの処理について予測される指標を導出し、複数のブロックサイズの中からそれらの指標を比較して当該領域におけるデータの処理単位として適用されるブロックサイズを選択する解析部と、
    対象データ内の複数領域においてデータを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する制御部と、
    を有する、
    ことを特徴とするデータ処理装置。
  2. 請求項に記載のデータ処理装置において、
    前記解析部は、各領域ごとに複数のブロックサイズの各々を処理単位としたデータの処理について予測される処理時間を反映した前記指標を導出し、複数のブロックサイズの中から処理時間に係る選択条件を満たすブロックサイズを選択する、
    ことを特徴とするデータ処理装置。
  3. 請求項1または2に記載のデータ処理装置において、
    前記解析部は、複数のブロックサイズについて、各ブロックサイズごとに、当該ブロックサイズの回路を再構成可能回路内に構成するのに必要な再構成時間と、当該ブロックサイズの回路を利用したデータの処理に必要なデータ処理時間と、を含む前記指標を導出する、
    ことを特徴とするデータ処理装置。
  4. 請求項1から3のいずれか1項に記載のデータ処理装置において、
    前記解析部は、画像データ内の複数領域において画素データを解析することにより、各領域ごとに、互いに異なる画素数に対応した複数のブロックサイズの中から当該領域に適用されるブロックサイズを選択し、
    前記制御部は、画像データ内の複数領域において画素データを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する、
    ことを特徴とするデータ処理装置。
  5. コンピュータに、
    対象データ内の複数領域において各領域ごとにデータを解析することにより、複数のブロックサイズの各々を処理単位としたデータの処理について予測される指標を導出し、複数のブロックサイズの中からそれらの指標を比較して当該領域におけるデータの処理単位として適用されるブロックサイズを選択する解析機能と、
    対象データ内の複数領域においてデータを処理するにあたり、各領域ごとにその領域に適用されるブロックサイズの回路を再構成可能回路内に構成する制御機能と、
    を実現させる、
    ことを特徴とするプログラム。
JP2014165063A 2014-08-14 2014-08-14 データ処理装置およびプログラム Active JP6365102B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014165063A JP6365102B2 (ja) 2014-08-14 2014-08-14 データ処理装置およびプログラム
US14/598,359 US9519948B2 (en) 2014-08-14 2015-01-16 Data processing apparatus, data processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165063A JP6365102B2 (ja) 2014-08-14 2014-08-14 データ処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016042223A JP2016042223A (ja) 2016-03-31
JP6365102B2 true JP6365102B2 (ja) 2018-08-01

Family

ID=55302543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165063A Active JP6365102B2 (ja) 2014-08-14 2014-08-14 データ処理装置およびプログラム

Country Status (2)

Country Link
US (1) US9519948B2 (ja)
JP (1) JP6365102B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874219B (zh) * 2016-12-23 2018-11-02 深圳云天励飞技术有限公司 一种卷积神经网络的数据调度方法、系统及计算机设备
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
US20220046200A1 (en) * 2020-08-10 2022-02-10 Micron Technology, Inc. Methods and apparatus for integrated image signal processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2702488B2 (ja) * 1988-01-18 1998-01-21 富士通株式会社 動画像の予測符号化方式
JP2757634B2 (ja) 1991-11-18 1998-05-25 株式会社富士通ゼネラル カラー画像処理装置
JP2006127460A (ja) * 2004-06-09 2006-05-18 Renesas Technology Corp 半導体装置、半導体信号処理装置、およびクロスバースイッチ
JP2006033161A (ja) * 2004-07-13 2006-02-02 Canon Inc 符号化処理装置
JP2008040614A (ja) 2006-08-02 2008-02-21 Fuji Syst Kiki Kk 画像処理装置、画像処理システム及び画像処理方法
JP2008242850A (ja) * 2007-03-27 2008-10-09 Ricoh Co Ltd 画像処理装置、画像処理システム及び画像処理方法
JP5703781B2 (ja) * 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
JP5742427B2 (ja) 2011-04-25 2015-07-01 富士ゼロックス株式会社 画像処理装置
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method
JP5935366B2 (ja) * 2012-02-09 2016-06-15 富士ゼロックス株式会社 画像処理装置
KR102072832B1 (ko) * 2012-09-26 2020-02-03 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치

Also Published As

Publication number Publication date
US9519948B2 (en) 2016-12-13
US20160048971A1 (en) 2016-02-18
JP2016042223A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
CN108133270B (zh) 卷积神经网络加速方法及装置
US8782591B1 (en) Physically aware logic synthesis of integrated circuit designs
US10048739B2 (en) Managing power consumption of a gated clock mesh
US9384316B2 (en) Path-based congestion reduction in integrated circuit routing
JP6365102B2 (ja) データ処理装置およびプログラム
US10303648B1 (en) Logical and physical optimizations for partial reconfiguration design flow
WO2019214489A1 (zh) 曲线擦除
CN110737401B (zh) 用于管理独立冗余磁盘阵列的方法、设备和计算机程序产品
JP2017151604A (ja) 演算処理装置
CN104571956A (zh) 一种数据写入方法及拆分装置
US11106968B1 (en) Circuit arrangements and methods for traversing input feature maps
US8473881B1 (en) Multi-resource aware partitioning for integrated circuits
US10719906B2 (en) Processing system for graphs and operating method thereof
US9230047B1 (en) Method and apparatus for partitioning a synthesis netlist for compile time and quality of results improvement
US10360338B2 (en) Method for improving capacitance extraction performance by approximating the effect of distant shapes
US9684751B2 (en) Slack redistribution for additional power recovery
JP4310500B2 (ja) 重要成分優先計算方式ならびに装置
KR102574449B1 (ko) 데이터 처리 방법 및 장치
WO2019156060A1 (ja) 並列ユニオン制御装置、並列ユニオン制御方法、および記憶媒体
CN117057290A (zh) 时序优化方法、装置、电子设备及存储介质
US10296699B1 (en) Implementing circuit designs adapted for partial reconfiguration
US9507794B2 (en) Method and apparatus for distributed processing of file
US10824905B2 (en) Information processing device, information processing method, and program
KR20190039159A (ko) 분기 예측을 위한 분기 이력을 결정하기 위한 방법 및 디바이스
US8495275B2 (en) List structure control circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6365102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350