JP6632709B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6632709B2
JP6632709B2 JP2018506749A JP2018506749A JP6632709B2 JP 6632709 B2 JP6632709 B2 JP 6632709B2 JP 2018506749 A JP2018506749 A JP 2018506749A JP 2018506749 A JP2018506749 A JP 2018506749A JP 6632709 B2 JP6632709 B2 JP 6632709B2
Authority
JP
Japan
Prior art keywords
image processing
task
processing
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506749A
Other languages
English (en)
Other versions
JPWO2017163441A1 (ja
Inventor
長尾 隆
隆 長尾
和幸 板垣
和幸 板垣
昂生 竹本
昂生 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Corp
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Corp, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JPWO2017163441A1 publication Critical patent/JPWO2017163441A1/ja
Application granted granted Critical
Publication of JP6632709B2 publication Critical patent/JP6632709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0207Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877Cache access modes
    • G06F12/0884Parallel mode, e.g. in parallel with main memory or CPU
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0842Multiuser, multiprocessor or multiprocessing cache systems for multiprocessing or multitasking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10Providing a specific technical effect
    • G06F2212/1016Performance improvement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10Providing a specific technical effect
    • G06F2212/1048Scalability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60Details of cache memory
    • G06F2212/603Details of cache memory of operating mode, e.g. cache mode or local memory mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
特許文献1には、プログラムモジュールの組合せを表したグラフ構造を、分割した入力データ毎にノードを分割したグラフ構造に変換し、変換したグラフ構造の先行ノードの処理が終わったノードを並列に処理する情報処理装置が開示されている。
また、非特許文献1及び非特許文献2には、DAG(Directed Acyclic Graph:有向非循環(非巡回)グラフ)で表された画像処理の実行順序に従って、並列に画像処理を行う技術が開示されている。
日本国特許第4965995号公報
遅延モード画像処理フレームワーク、[online]、[平成28年3月11日検索]、インターネット<URL: http://www.isus.jp/article/library−special/deferred−mode−image−processing−framework/> The OpenVX Specification、[online]、[平成28年3月11日検索]、インターネット<URL: https://www.khronos.org/registry/vx/specs/1.0.1/OpenVX_Specification_1_0_1.pdf>
画像処理の対象となる画像データを分割した分割画像データに対応する部分処理を複数の演算装置で並列に実行する場合、画像処理の処理効率が低下する場合があった。
本発明の少なくとも実施形態の目的は、画像処理の対象となる画像データを分割した分割画像データに対応する部分処理を複数の演算装置で並列に実行する場合に比較して、画像処理の処理効率を高めた並列処理を実現できる画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。
[1] 本発明のある観点によれば、オブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置が提供される。前記画像処理装置は、前記画像処理の対象となる画像データを第1サイズの分割画像データに分割する分割部と、前記分割画像データに対して行う画像処理である部分処理毎に、前後の依存関係に基づいて処理可能と判定された前記部分処理に対応する前記分割画像データを前記第1サイズよりも小さい第2サイズの再分割画像データに再分割する再分割部と、前記再分割画像データに対して行う画像処理である再分割部分処理を複数の演算装置に並列して実行させる制御を行う制御部と、を備える。
[2] [1]に記載の画像処理装置において、前記制御部は、前記複数の演算装置のうち、自身が備えるメモリのみを用いて部分処理を実行する演算装置に対しては、前記再分割画像データに替わり、前記分割画像データに対する部分処理を実行させる制御を行ってもよい。
[3] [1]または[2]に記載の画像処理装置において、前記第1サイズは、前記複数の演算装置が前記部分処理の実行に用いる複数のキャッシュメモリのうち、前記複数の演算装置から最も遠いレベルのキャッシュメモリの容量と、格納された前記部分処理を前記複数の演算装置の各々が順次取り出して実行するためのタスクキューに格納可能な前記部分処理の数と、に基づいたサイズであってもよい。
[4] [1]から[3]のいずれかに記載の画像処理装置において、前記第2サイズは、前記複数の演算装置が前記再分割部分処理の実行に用いる複数のキャッシュメモリのうち、前記複数の演算装置から最も遠いレベルのキャッシュメモリよりも前記複数の演算装置に近いレベルのキャッシュメモリの容量以下のサイズであってもよい。
[5] [1]から[4]のいずれかに記載の画像処理装置において、前記制御部は、前記複数の演算装置のうち、自身が備えるメモリのみを用いて部分処理を実行する第2演算部が他の第1演算部と非同期に前記部分処理を実行可能な場合、前記第2演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第1演算部において実行後に、前記第2演算部における前記部分処理の終了を検知する終了検知タスクを、前記終了を検知するまで前記第1演算部に繰り返し実行させてもよい。
[6] 本発明の他の観点によれば、オブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法が提供される。前記画像処理方法においては、前記画像処理の対象となる画像データを第1サイズの分割画像データに分割し、前記分割画像データに対して行う画像処理である部分処理毎に、前後の依存関係に基づいて処理可能と判定された前記部分処理に対応する前記分割画像データを前記第1サイズよりも小さい第2サイズの再分割画像データに再分割し、前記再分割画像データに対して行う画像処理である再分割部分処理を複数の演算装置に並列して実行させる制御を行う。
[7] 本発明の他の観点によれば、コンピュータを、[1]から[5]のいずれかに記載の画像処理装置の分割部、再分割部、及び制御部として機能させるための画像処理プログラムが提供される。
[1]の装置、[6]の方法、及び[7]のプログラムによれば、画像処理の対象となる画像データを分割した分割画像データに対応する部分処理を複数の演算装置で並列に実行する場合に比較して、画像処理の処理効率を高めた並列処理を実現できる。
[2]の装置によれば、複数の演算装置のうち、自身が備えるメモリのみを用いて部分処理を実行する演算装置が再分割画像データに対応する再分割部分処理を実行する場合に比較して、処理の実行に要するオーバーヘッドの増加を抑制することができる。
[3]の装置によれば、並列処理を実行する演算装置の数に応じて適切なサイズとすることができる。
[4]の装置によれば、複数の演算装置の稼働率を向上させることができる。
[5]の装置によれば、複数の演算装置の稼働率を向上させることができる。
実施形態に係る画像処理装置として機能するコンピュータの構成の一例を示すブロック図である。 画像処理DAGの一例を示す概略図である。 画像処理DAGに入出力用のメモリを加えた場合の一例を示す概略図である。 実施形態に係る処理制御部の機能的な構成の一例を示すブロック図である。 入力画像の分割処理の一例の説明に供する概略図である。 画像処理モジュールが部分処理に分割された画像処理DAGの一例を示す概略図である。 実施形態に係るDAG構築・実行処理の流れを示すフローチャートである。 実施形態に係るタスク格納処理の流れを示すフローチャートである。 実施形態に係る画像処理実行処理の説明に供する概略図である。 実施形態に係るタスク実行処理の流れを示すフローチャートである。 GPU処理である2つのタスクが連続して行われる場合における処理の流れの一例を示す概略図である。 第1演算部のコアと同期して第2演算部(GPU)が処理を行う場合における処理の流れの一例を示す概略図である。 第1演算部のコアと非同期に第2演算部(GPU)が処理を行う場合における処理の流れの一例を示す概略図である。
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。
まず、図1を参照して、画像処理装置として機能するコンピュータ10の構成を説明する。なお、コンピュータ10は、複写機、プリンタ、ファクシミリ装置、これらの装置の機能を兼ね備えた複合機、及びスキャナ等の内部で画像処理を行う画像取扱機器に組み込まれたコンピュータであってもよい。また、コンピュータ10は、PC(Personal Computer)等の独立したコンピュータであってもよく、PDA(Personal Digital Assistant)及び携帯電話機等の携帯機器に組み込まれたコンピュータであってもよい。
図1に示すように、本実施形態に係るコンピュータ10は、第1演算部12A、第2演算部12B、メモリ14、表示部16、操作部18、記憶部20、画像データ供給部22、及び画像出力部24を備えている。また、第1演算部12A、第2演算部12B、メモリ14、表示部16、操作部18、記憶部20、画像データ供給部22、及び画像出力部24の各部は、バス26を介して互いに接続されている。
本実施形態に係る第1演算部12Aは、コンピュータ10のメイン・プロセッサであり、一例として複数のプロセッサ・コア13(以下、「コア13」という。)を有するCPU(Central Processing Unit)である。なお、各コア13が、画像処理を実行する演算装置の一例である。また、以下では、各コア13を区別して説明する場合は、コア13A、コア13Bのように、符号の末尾にアルファベットを付して説明する。
また、本実施形態に係る第2演算部12Bは、一例として内部にローカルメモリ15を有するGPU(Graphics Processing Unit)である。なお、第2演算部12Bは、ローカルメモリ15等の内部メモリを備え、内部メモリに記憶された画像データに対して画像処理を行う演算装置であれば、特に限定されず、例えば、CPUでもよい。また、第2演算部12Bは、第1演算部12Aに内蔵されたGPUでもよい。また、第1演算部12A及び第2演算部12Bは、FPGA(Field Programmable Gate Array)等の演算器でもよい。
メモリ14は、第1演算部12Aが一時的にデータを記憶させる不揮発性の記憶手段である。本実施形態に係る第2演算部12Bにより画像処理を行う場合、第1演算部12Aはメモリ14又は記憶部20の記憶領域に記憶された画像データを第2演算部12Bにバス26を介して転送する。そして、第2演算部12Bは、第1演算部12Aから転送された画像データをローカルメモリ15に記憶し、記憶した画像データに対して画像処理を行う。
コンピュータ10が前述した画像取扱機器に組み込まれている場合、表示部16及び操作部18は、例えば画像取扱機器に設けられたLCD(Liquid Crystal Display)等の表示パネル及びテンキー等が適用される。また、コンピュータ10が独立したコンピュータである場合、表示部16及び操作部18は、例えばコンピュータ10に接続されたディスプレイ、及びキーボード、マウス等が適用される。また、表示部16及び操作部18は、タッチパネル及びディスプレイが一体化して構成されたタッチパネルディスプレイ等でもよい。また、記憶部20は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等の不揮発性の記憶媒体が適用される。
画像データ供給部22は、処理対象の画像データを供給するものであればよく、例えば紙又は写真フィルム等の記録材料に記録されている画像を読み取って画像データを出力する画像読取部が適用される。また、画像データ供給部22は、例えば通信回線を介して外部装置から画像データを受信する受信部、及び画像データを記憶する画像記憶部(メモリ14又は記憶部20)等が適用される。
画像出力部24は、画像処理を経た画像データ又は画像処理を経た画像データが表す画像を出力するものであればよく、例えば画像データが表す画像を紙又は感光材料等の記録材料に記録する画像記録部が適用される。また、画像出力部24は、画像データが表す画像をディスプレイ等に表示する表示部(表示部16)、画像データをCD−ROM(Compact Disk Read Only Memory)等の記録媒体に書き込む書込装置が適用される。また、画像出力部24は、画像処理を経た画像データを、通信回線を介して外部装置に送信する送信部が適用される。また、画像出力部24は、画像処理を経た画像データを記憶する画像記憶部(メモリ14又は記憶部20)であってもよい。
図1に示すように、記憶部20には、第1演算部12A及び第2演算部12Bによって実行される各種プログラムが記憶されている。記憶部20には、各種プログラムとして、リソースの管理、プログラムの実行の管理、及びコンピュータ10と外部装置との通信等を司るオペレーティングシステム30のプログラムが記憶されている。また、記憶部20には、各種プログラムとして、コンピュータ10を画像処理装置として機能させるための画像処理プログラム群34が記憶されている。また、記憶部20には、各種プログラムとして、上記画像処理装置に対して所望の画像処理を行わせる各種のアプリケーションプログラム群32(以下、「アプリケーション32」という。)が記憶されている。
画像処理プログラム群34は、前述した画像取扱機器、携帯機器、及びPC等で実行される画像処理プログラムを開発する際の負荷を軽減することを目的として開発されたプログラムである。また、画像処理プログラム群34は、前述した画像取扱機器、携帯機器、及びPC等の各種機器(プラットフォーム)で共通に実行可能に開発されたプログラムである。
画像処理プログラム群34によって実現される画像処理装置は、アプリケーション32からの構築指示に従い、アプリケーション32が指示した画像処理を行う画像処理DAG50A(詳細は後述)を構築する。そして、上記画像処理装置は、アプリケーション32からの実行指示に従い画像処理DAG50Aの処理を実行する。このように、画像処理プログラム群34は、所望の画像処理を行う画像処理DAG50Aの構築を指示したり、構築された画像処理DAG50Aによる画像処理の実行を指示したりするためのインタフェースをアプリケーション32に提供している。
以上の構成により、内部で画像処理を行う必要のある任意の機器を新規に開発する場合等にも、上記画像処理を行うプログラムの開発に関しては、上記任意の機器で必要とされる画像処理を、上記インタフェースを利用して画像処理プログラム群34に行わせるアプリケーション32を開発すればよい。したがって、開発者は、実際に画像処理を行うプログラムを新たに開発する必要が無くなり、開発者の負荷が軽減される。
次に、本実施形態に係る画像処理プログラム群34について詳細に説明する。図1に示すように、画像処理プログラム群34は、モジュールライブラリ36、処理構築部42のプログラム、及び処理制御部46のプログラムを含む。
モジュールライブラリ36には、予め定められた互いに異なる画像処理を行う複数種類の画像処理モジュール38のプログラムが各々登録されている。この画像処理としては、例えば、入力処理、フィルタ処理、色変換処理、拡大・縮小処理(図1では「拡縮処理」と表記)、スキュー角検知処理、画像回転処理、画像合成処理、及び出力処理等が挙げられる。
また、モジュールライブラリ36には、画像処理の種類が同一で、かつ実行する画像処理の内容が異なる画像処理モジュール38も登録されている。図1では、この種の画像処理モジュールを「モジュール1」、「モジュール2」と、末尾に数字を付して区別している。例えば、拡大・縮小処理を行う画像処理モジュール38としては、入力された画像データを、水平方向及び垂直方向の各方向ともに1画素おきに間引くことで画像の縦横のサイズを50%に縮小する縮小処理を行う画像処理モジュール38が用意されている。さらに、例えば、拡大・縮小処理を行う画像処理モジュール38としては、入力された画像データに対して指定された拡大・縮小率で拡大・縮小処理を行う画像処理モジュール38等が用意されている。
また、例えば、色変換処理を行う画像処理モジュール38としては、RGB(Red Green Blue)色空間の画像をCMYK(Cyan Magenta Yellow Key−Plate(黒))色空間の画像へ変換する画像処理モジュール38、及びCMYK色空間の画像をRGB色空間の画像へ変換する画像処理モジュール38が用意されている。さらに、例えば、色変換処理を行う画像処理モジュール38としては、RGB色空間の画像をYCbCr色空間の画像へ変換する画像処理モジュール38、及びYCbCr色空間の画像をRGB色空間の画像へ変換する画像処理モジュール38等が用意されている。
また、モジュールライブラリ36には、画像データを記憶するための記憶領域(バッファ)を備えたバッファモジュール40も登録されている。
本実施形態に係る処理構築部42は、アプリケーション32からの指示により、DAG形態の画像処理DAG50Aを構築する。画像処理DAG50Aは、一例として図2Aに示すように、1つ以上の画像処理モジュール38が、個々の画像処理モジュール38の前段及び後段の少なくとも一方に配置されたバッファモジュール40を介して連結される。
なお、個々の画像処理モジュール38は、入力画像データに対して画像処理を実行するオブジェクトの一例である。また、図2Aに示す例は、バッファモジュール40を介して前段に画像処理モジュール38が連結された画像処理モジュール38について、前段の画像処理モジュール38による画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。また、図2Aに示す例は、バッファモジュール40を介して前段に複数の画像処理モジュール38が連結された画像処理モジュール38について、前段の複数の画像処理モジュール38の全ての画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。
また、図2Aは、各モジュールのみが処理の順に接続されたDAGを示しているが、このDAGが実行される際には、図2Bに示すようにメモリ14に記憶された入力画像データが入力されてDAGに従って画像処理が行われる。そして、最終的にメモリ14に処理済みの出力画像データ等の処理結果が記憶される。
次に、図3を参照して、本実施形態に係る処理制御部46の機能的な構成を説明する。図3に示すように、処理制御部46は、分割部60、再分割部61、制御部62、タスクキュー64、及び出力部66を備えている。
本実施形態に係る分割部60は、入力画像データのうち、画像処理の対象(以下、「画像処理の対象」を単に「処理対象」という)となる画像データを第1サイズの複数の分割画像データに分割する。本実施形態では、具体例として、入力画像データの処理対象とする部分により示される画像を、複数の部分領域(以下、「分割画像」という。)に分割する。一例として図4に示すように、分割部60は、入力画像データの処理対象となる部分により示される画像Gを、第1サイズに応じて複数(図4に示す例では3つ)の分割画像B1〜B3に分割する。入力画像データの処理対象とする部分は、色変換処理のように入力画像全体を処理対象とする画像処理では、入力画像データ全体が処理対象とする部分を意味する。また、入力画像データの処理対象とする部分は、切り抜き(トリミング)処理のように、入力画像の一部を処理対象とする画像処理では、入力画像の一部を意味する。以下では、錯綜を回避するために、入力画像データの処理対象とする部分を、単に「入力画像データ」という。
また、図4に示した例では、分割部60が画像Gを正面視上下に分割しているが、これに限定されない。例えば分割部60は画像Gを正面視左右に分割してもよいし、正面視上下左右に分割してもよい。
なお、本実施形態では、分割部60が入力画像データを分割する上記第1サイズは、画像処理モジュール38による画像処理を実行する演算部のプロセッサから最も遠いレベルのキャッシュメモリ、いわゆるLLC(Last Level Cache)の容量を、タスクキュー64に格納するタスクT(詳細後述)の数で除した値(小数点以下は切り捨て)としている。なお、第1サイズは、本実施形態に限られない。しかしながら、第1サイズは、LLC以外のコア13毎に備えられるキャッシュメモリ以外のキャッシュメモリの容量をタスクキュー64に格納するタスクTの数で除した値以上、LLCの容量をタスクキュー64に格納するタスクTの数で除した値以下であることが好ましい。
本実施形態に係る再分割部61は、分割画像データを第2サイズの再分割画像データに分割する。本実施形態では、具体例として、再分割部61が、分割画像をさらに分割(再分割)する。一例として図4に示すように、再分割部61は、分割画像B1〜B3を、第2サイズに応じて、複数(図4に示す例では2つずつ、合計6つ)の再分割画像C11〜C32に再分割する。従って、第2サイズの再分割画像データのタスク(タスクt、詳細後述)は、細粒度となり、第1サイズの分割画像データタスク(タスクT、詳細後述)は、中粒度となる。
なお、再分割部61が入力画像データを分割する上記第2サイズは、第1サイズよりも小さいサイズである。本実施形態では、第2サイズを、画像処理モジュール38による画像処理を実行する演算部のプロセッサに最も近いレベルのキャッシュメモリ、いわゆるL1(Level 1)キャッシュの容量以下としている。
本実施形態に係る制御部62は、再分割画像データに対応するタスクを複数のコア13に並列に実行させる制御を行う。なお、ここでいう並列とは、依存関係に基づいて実行可能となったタスクが複数のコア13により並列に(同時に)実行されることを意味する。
具体的には、制御部62は、一例として図5に示すように、画像処理DAG50Aの各画像処理モジュール38で実行される画像処理を分割画像データ(分割部60により分割された分割画像データ)の各々に対応する部分処理39に分割して、画像処理DAG50Aを画像処理DAG50Bに更新する。なお、画像処理DAG50Bは、各部分処理39のタスクにおけるDAGを表すものであり、いわゆるタスクDAGである。
なお、図5は、図2Aに示した画像処理DAG50Aにおいて、入力画像データを4つの分割画像データに分割した場合の画像処理DAG50Bを示している。図5では、錯綜を回避するために、バッファモジュール40の図示を省略している。
本実施形態に係る制御部62は、画像処理モジュール38で実行される画像処理の種類に応じて、前段に連結された画像処理モジュール38の部分処理39と、後段に連結された画像処理モジュール38の部分処理39との間で依存関係を付与する。なお、図5では、この依存関係を破線の矢印で示している。
例えば、色変換処理のように、処理対象とする画素のみに対して画像処理を行う処理は、各部分処理39も1対1の依存関係となる。一方、例えば、フィルタ処理のように、処理対象とする画素の周辺画素も必要な画像処理では、周辺画素に対して画像処理を行う前段の部分処理39にも依存関係を付与することとなる。すなわち、この依存関係は、連結された画像処理モジュール38間において、前段に連結された画像処理モジュール38の部分処理39が終了した場合に、後段に連結された画像処理モジュール38の部分処理39が実行可能となる関係である。従って、各部分処理39は、前段に依存関係が付与された部分処理39が存在しない場合か、又は依存関係が付与された前段の全ての部分処理39が終了した場合に実行可能となる。
具体的には、例えば、図5に示す部分処理39A及び部分処理39Bは、画像処理の実行開始時に実行可能となる。また、例えば、図5に示す部分処理39Cは、依存関係が付与された前段の部分処理39A及び部分処理39Bの双方の処理が終了した場合に実行可能となる。
なお、本実施形態においては、分割画像データに対応する部分処理39について、「タスクT」と称している。また、再分割画像データに対応する再分割部分処理について、「タスクt」と称している。さらに、タスクT及びタスクtを区別せずに総称する場合は、単に「タスク」という。なお、説明の便宜上、以下では、タスクTに対応する分割画像データを再分割してタスクtに対応する再分割画像データとすることを、「タスクTを再分割してタスクtにする」等という。
制御部62は、実行可能となっているタスクTを、格納されたタスクを複数のコア13の各々が順次取り出して実行するためのタスクキュー64に格納する。なお、一例として、本実施形態の制御部62がタスクキュー64に同時に格納するタスクTの数は、2つ以下としている。なお、タスクキュー64に同時に格納するタスクTの数は、本実施形態に限定されないが、2つ以上であることが好ましい。タスクキュー64にタスクTを1つだけ格納する場合に、タスクTの実行が完了するまで新たなタスクTをタスクキュー64に格納しないとすると、タスクTを再分割した複数のタスクtのうち1つでも実行が完了していないタスクtがあると新たなタスクTがタスクキュー64に格納されない。この場合、複数あるコア13のうち、稼働しないコア13が増加してしまい、コア13の稼働率が低下する。一方、タスクキュー64が同時に格納可能なタスクTの数を制限しない場合、タスクキュー64に格納された全てのタスクTに対して、前処理(詳細後述)において、メモリが確保されるため、確保されるメモリ容量が多くなってしまう。そのため、タスクキュー64が同時に格納可能なタスクTの数を制限することにより、前処理において確保されるメモリ等のリソースの量が増加するのが抑制される。そのため、タスクキュー64が同時に格納可能なタスクTの数は、メモリの容量等に応じて定めてもよいし、コア13の稼働率に応じて可変としてもよい。
さらに制御部62は、再分割部61により再分割された再分割画像データに対応するタスクtを、タスクキュー64に格納する。
本実施形態に係る出力部66は、制御部62による制御により、画像処理DAG50Bの最終段の画像処理モジュール38により実行された画像処理の結果得られた出力画像データを出力する。本実施形態では、出力部66は、得られた出力画像データにより示される出力画像を表示部16に表示する。なお、出力部66は、出力画像データを外部装置に出力(送信)してもよい。また、コンピュータ10がプリンタに組み込まれている場合は、出力部66は、出力画像データにより示される出力画像を紙等の記録材料に出力(形成)してもよい。
次に、図6〜図10を参照して、本実施形態に係るコンピュータ10の作用を説明する。なお、図6は、アプリケーション32により画像処理の実行開始の指示が入力された場合に第1演算部12Aによって実行されるDAG構築・実行処理の流れを示すフローチャートである。また、DAG構築・実行処理のプログラム(DAG構築・実行処理プログラム)は記憶部20に予めインストールされている。また、第1演算部12Aにおける何らかのタスクを実行してなく、タスクを実行可能なコア13がDAG構築・実行処理プログラムを実行することで、前述した処理構築部42及び制御部62として機能する。
図6のステップ100で、処理構築部42は、アプリケーション32からの構築指示に従い、アプリケーション32が指示した画像処理を行う画像処理DAG50Aを構築する。また、処理構築部42は、画像処理DAG50Aを上述したように画像処理DAG50Bに更新する。なお、本実施形態では、この際に、各タスクTを再分割する第2サイズの情報を付加する。
次のステップ102で、制御部62及び処理構築部42は、ステップ100で構築された画像処理DAG50Bによる画像処理の実行を、第1演算部12A(コア13)及び第2演算部12Bに実行させる画像処理DAG実行処理を実行した後、本DAG構築・実行処理を終了する。
本DAG構築・実行処理を実行することにより、アプリケーション32が所望する画像処理の結果が出力部66から得られる。なお、本実施形態では、本DAG構築・実行処理が終了した場合、制御部62は、処理が完了したことを表す情報をアプリケーション32へ通知する。または、制御部62は、処理中に何らかのエラーが生じた場合、その旨を表す情報をアプリケーション32へ通知する。
次に、上記DAG構築・実行処理のステップ102における画像処理DAG実行処理について詳細に説明する。本実施形態のDAG構築・実行処理には、画像処理DAG50Bの実行可能なタスクTをタスクキュー64に格納するタスク格納処理と、タスクキュー64に格納されているタスクを実行するタスク実行処理と、2つの処理が含まれる。
まず、図7を参照してタスク格納処理について説明する。図7は、タスク格納処理の流れを示すフローチャートである。本実施形態では、タスク格納処理のプログラム(タスク格納処理プログラム)は、DAG構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部20に予めインストールされている。
第1演算部12Aにおける何らかのタスクを実行してなく、タスクを実行可能なコア13がタスク格納処理プログラムを実行することで、制御部62として機能し、図7に示したタスク格納処理を実行する。
図7のステップ110で制御部62は、タスクキュー64に、実行可能なタスクTが格納されているか否かを判定する。なお、この際、タスクキュー64にタスクT以外のタスク(本実施形態では、タスクt)が格納されていても、本判定には関与しない。本実施形態では、制御部62は、タスクキュー64に格納されている実行可能なタスクTが2以上の場合、肯定判定として、ステップ114へ移行する。
一方、制御部62は、タスクキュー64に格納されている実行可能なタスクTが2つ未満の場合、ステップ110で否定判定として、ステップ112へ移行する。
ステップ112で制御部62は、画像処理DAG50Bから実行可能なタスクを見つけ出してタスクキュー64に格納する。図8に示した例は、画像処理DAG50Bの実行可能な(ハッチングを施された)タスクTをタスクキュー64に格納した状態を示している。
なお、この際、上述したように、タスクキュー64に格納されているタスクTの数は2以下であればよく、本ステップにおいて制御部62がタスクキュー64に同時に格納させるタスクTの数は1つでもよいし、2つでもよい。具体的には、タスクキュー64にタスクTが格納されていない場合、制御部62は、タスクTを1つもしくは2つ格納すればよいし、タスクキュー64にタスクTが1つ格納されている場合、タスクキュー64は、タスクTを1つ格納すればよい。タスクキュー64が、本ステップにおいてタスクキュー64に同時に格納させるタスクTの数をいずれとするかは、予め定めておいてもよいし、各コア13におけるタスク処理の進行に応じて可変としてもよい。
次のステップ114で、制御部62は、画像処理DAG50Bの全タスクTをタスクキュー64に格納したか否かを判定する。制御部62は、未だタスクキュー64に格納していないタスクTが有る場合、否定判定として、ステップ110に戻り本タスク格納処理を繰り返す。一方、制御部62は、全てのタスクTをタスクキュー64に格納した場合、肯定判定として、本タスク格納処理を終了する。
次に、図9を参照してタスク実行処理について説明する。図9は、タスク実行処理の流れを示すフローチャートである。本実施形態では、タスク実行処理のプログラム(タスク実行処理プログラム)は、DAG構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部20に予めインストールされている。
第1演算部12Aにおける何らかのタスクを実行してなく、タスクを実行可能なコア13の各々がタスク実行処理プログラムを実行することで、制御部62として機能し、図9に示したタスク実行処理を実行する。なお、本実施形態では、上記タスク格納処理及びタスク実行処理を異なるコア13で実行することにより、タスク格納処理及びタスク実行処理が並列に実行される。
図9のステップ120で、制御部62は、タスクキュー64からタスクを取得する。なお、ここで取得するタスクはタスクTである場合もあれば、その他のタスク(本実施形態では、タスクt)である場合もある。
次のステップ122で、制御部62は、取得したタスクがタスクTであるか否かを判定する。制御部62は、取得したタスクがタスクTである場合、肯定判定として、ステップ118へ移行する。
ステップ124で、制御部62は、タスクTの実行において予め定められた前処理を実行した後、ステップ126へ移行する。本ステップにおいて実行する前処理は画像処理前に行っておくことが予め定められている処理であり、特に限定されないが、例えば、画像処理結果を格納するための出力バッファ領域の確保や画像処理用の変数の初期化等の演算用のリソースの確保を行う処理である。
一方、制御部62は、ステップ122において、取得したタスクがタスクTでない場合、本実施形態ではタスクtの場合、否定判定として、ステップ126へ移行する。
ステップ126で、制御部62は、上記ステップ120で取得したタスクが、再分割可能であるか否かを判定する。
本実施形態では、画像処理を第2演算部12Bで実行するタスクの場合、再分割部61による再分割を行わない。第2演算部12Bでタスクを実行する場合、ローカルメモリ15への画像データの転送や、第2演算部12Bの起動等、オーバーヘッドとして付加される処理が、第1演算部12Aでタスクを実行する場合に比べて大きい。このオーバーヘッドは、タスク毎に生じるため、タスクTをタスクtに再分割した場合、タスクの数が増加することに対応してオーバーヘッドが増加する。そのため、本実施形態では、画像処理を第2演算部12Bで実行するタスクTについては、再分割をせずタスクTのまま画像処理を実行する。したがって、タスクTが画像処理を第2演算部12Bで実行するタスクである場合、再分割不能となる。なお、タスクTが第2演算部12Bで実行するタスクであるか否かを表す情報は、上記DAG構築・実行処理のステップ100(図6参照)において処理構築部42が画像処理DAG50Aから画像処理DAG50Bを生成する際に付与される。
また、本実施形態では、取得したタスクに対応する画像データ(分割画像データまたは再分割画像データ)のサイズがタスクtに対応する再分割画像データのサイズ以下の場合も、再分割不能となる。
一方、取得したタスクが第1演算部12Aのコア13で実行するタスクであり、また、取得したタスクに対応する画像データ(分割画像データまたは再分割画像データ)のサイズがタスクtに対応する再分割画像データのサイズ以上の場合(本実施形態ではタスクTに対応する分割画像データのサイズの場合)も再分割不能となる。
このように、本実施形態では、具体的には取得したタスクがタスクTであって、第1演算部12Aで実行するタスクの場合、再分割が可能であるため、制御部62は、ステップ126において肯定判定として、ステップ128へ移行する。
ステップ128で再分割部61は、タスク(本実施形態ではタスクT)を、上述した第2サイズで分割してタスクtとする。なお、本実施形態の再分割部61は、上記ステップ120で取得したタスクを再分割することにより、タスクtとする。図8に示した一例では、コア13CがタスクTを3つのタスクtに再分割した場合を示している。このように本実施形態では、一例として、タスクTを全てタスクtに再分割して複数のタスクtを得る。
次のステップ130で、制御部62は、再分割により得られたタスクtを全てタスクキュー64に格納した後、ステップ120に戻る。
一方、制御部62は、上記ステップ126で上述したように再分割不能の場合、否定判定となして、ステップ132へ移行する。
ステップ132で、制御部62は、タスクを、第1演算部12Aのコア13または第2演算部12Bに実行させる。なお、第2演算部12BにタスクTを実行させる場合、第1演算部12Aのコア13が、第2演算部12BにタスクTを実行させる処理を行うことにより、第2演算部12BによりタスクTが実行される。
次のステップ134で、制御部62は、上記ステップ132で実行させたタスクが、最後のタスクtであるか否かを判定する。具体的には、制御部62は、ステップ132で実行させたタスクがタスクtであり、再分割元のタスクTが同一であるタスクtがタスクキュー64に格納されていないか否か、すなわち全てのタスクtが実行されたか否かを判定する。
最後のタスクtではない場合、制御部62は、否定判定として、ステップ120に戻る。一方、最後のタスクtの場合、制御部62は、肯定判定として、ステップ136へ移行する。
ステップ136で、制御部62は、後処理を行う。
本ステップにおいて実行する後処理はタスクTに対応する部分処理後に行うことが予め定められている処理であり、特に限定されないが、例えば、上記ステップ124の処理において確保した演算用のリソースの解放等を行う処理である。
次のステップ138でタスクキュー64は、処理構築部42にタスクTの完了通知を行った後、本タスク実行処理を終了する。タスクTの完了通知を受け取った処理構築部42は、画像処理DAG50Bの依存関係を更新する。このように、画像処理DAG50Bの依存関係が更新されると、上述したタスク格納処理(図7参照)において、処理構築部42は、更新された依存関係に基づいて、実行可能なタスクTを判定する。
なお、タスクTが第2演算部12Bで実行されるタスクTの場合、高速に処理を行うため、一般的に処理に必要なデータ(画像データ)は第2演算部12Bのローカルメモリ15に転送して処理される。以下では、第2演算部12Bの一例としてGPUである場合を具体例として説明する。一例として、図10Aに示すように、GPU処理であるタスクT1、T2が連続して行われる場合、図10Bに一例を示すように、タスクT1の実行前にメモリ14から第2演算部12Bのローカルメモリ15への転送処理、及びタスクT2の実行後にローカルメモリ15からメモリ14への処理結果の転送処理が行われる。この転送処理はコア13の制御によりDMA(Diregt Memory Access)転送等を用いて行われるため、処理単位を小さくするとDMA転送の回数が増加して転送レートが低下する。また、小さい単位でGPUの起動を行うためその制御によるオーバーヘッドも増加するため、処理性能が低下する。そのためGPUで実行されるタスクTの分割画像データのサイズを第1サイズ以上と設定することにより、上述したようにタスクTの再分割は行わない。
上述したように、コア13がタスクTを実行してCPUに指示することによりGPUが起動・制御され、GPUによりタスクTが実行される。図10Bに一例を示した同期処理(GPUにおける処理が完了するまでコア13に制御が戻らない)の場合、通常のCPUにより実行されるタスクTと同じように構成されるが、図10BにおけるGPU処理1とGPU処理2との間、コア13は処理が完了するまで待機状態となりコア13の稼働において無駄が生じる。
図10Cに一例を示した非同期処理(コア13がGPUに処理の実行を指示すると処理の完了を待たずに、コア13側に制御が戻る)の場合、コア13はGPU処理1及びGPU処理2と並行して別のタスクが実行可能であるため稼働率が向上される。なお、非同期処理の場合、GPUにより実行されるタスク(図10Cでは、タスクT1、T2)の終了の検知を行う必要がある。そのため、図10Cに示すように、GPUへの転送、処理、及びGPUからの処理結果の転送の各々(タスクT0〜T3)を非同期で処理するようコア13が指示する。そして、コア13側に制御が戻ると、コア13は、GPUにおけるタスクの終了を検知するタスクT4を実行し、終了を検知しない場合、終了検知タスクT4をタスクキュー64に再投入する。このコア13は、タスクT4と別のタスクをタスクキュー64から取り出して処理を進めることで、図10Bを一例として説明した待機状態が無くなるため、コア13の稼働における無駄が抑制される。
なお、GPUにより実行されるタスクTは、GPU上での処理時間とメモリ14からローカルメモリ15への転送時間やローカルメモリ15からメモリ14への転送時間と、を等しく(誤差を含む)することにより、転送時間が隠れるため、より処理速度等の性能が向上される。
以上説明したように、本実施形態のコンピュータ10は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行するコンピュータ10であって、画像処理の対象となる画像データを第1サイズの分割画像データに分割する分割部60と、分割画像データに対して行う画像処理である部分処理毎に、前後の依存関係に基づいて処理可能と判定された部分処理に対応する分割画像データを前記第1サイズよりも小さい第2サイズの再分割画像データに再分割する再分割部61と、再分割画像データに対して行う画像処理である再分割部分処理を複数の第1演算部12A(コア13)及び第2演算部12Bに並列して実行させる制御を行う制御部62と、を備える。
このように本実施形態のコンピュータ10では、画像データを第2サイズよりも大きい第1サイズで分割した分割画像データに対応するタスクTを実行することにより、並列処理によるオーバーヘッドが削減される。また、分割画像データを第2サイズで再分割した分割画像データに対応するタスクtを実行することにより、コア13及び第2演算部12Bの稼働率を向上させるとともに、必要なデータ量が大きくなるのが抑制されるため、キャッシュのミスヒットも生じにくくなる。
従って、本実施形態のコンピュータ10によれば、画像処理の処理効率、いわゆるスケーラビリティを高めた並列処理を実現できる。
なお、本実施形態において、上述した画像処理DAG50Bの更新やタスクキュー64へのタスクの格納、及びタスクキュー64からタスクの取り出しの各々の処理は、排他制御しながら行う必要があることは言うまでもない。
なお、本実施形態では、タスク実行処理のステップ134(図9参照)において、予めステップ128においてタスクTを全て再分割して複数のタスクtに再分割してタスクキュー64に格納することにより、タスクキュー64に格納されているタスクtの有無により、最後のタスクtであるか否かを判定しているが、判定方法は、これに限られない。例えば、タスクTに各コア13が共有する共有ポインタを備えたカウンタを紐付けておき、カウンタの初期値を0とし、タスクTから1つのタスクtを再分割した場合(もしくは1つのタスクtをタスクキュー64に格納した場合)は、カウンタを1つインクリメントし、タスクtの実行が完了した場合(もしくはタスクキュー64からタスクtを取り出した場合)、カウンタをデクリメントすることにより、カウンタの値が0となった場合に最後のタスクtであると判定してもよい。
なお、本実施形態では、第2演算部12Bがコンピュータ10内部に備えられている場合について説明したが、第2演算部12Bは、コンピュータ10の外部に設けられていてもよいし、コンピュータ10と異なるコンピュータに備えられていてもよい。
また、上記実施形態では、各種プログラムが記憶部20に予め記憶(インストール)されている態様を説明したが、これに限定されない。各種プログラムは、CD−ROM、DVD−ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、各種プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記では種々の実施の形態を説明したが、これらの実施の形態を組み合わせて構成してもよい。
また、本開示は上記の実施の形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。
本出願は、2016年3月24日出願の日本特許出願(特願2016−060525)に基づくものであり、それらの内容はここに参照として取り込まれる。
10 コンピュータ
12A 第1演算部
12B 第2演算部
13、13A〜13C コア
14 メモリ
15 ローカルメモリ
16 表示部
18 操作部
20 記憶部
22 画像データ供給部
24 画像出力部
26 バス
30 オペレーティングシステム
32 アプリケーションプログラム群(アプリケーションプログラム)
34 画像処理プログラム群
36 モジュールライブラリ
38 画像処理モジュール
39、39A〜39C 部分処理
40 バッファモジュール
42 処理構築部
46 処理制御部
50A、50B 画像処理DAG
60 分割部
61 再分割部
62 制御部
64 タスクキュー
66 出力部
B1〜B3、C11〜C32 分割画像
G 画像
T、t タスク

Claims (7)

  1. オブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、
    前記画像処理の対象となる画像データを第1サイズの分割画像データに分割する分割部と、
    前記分割画像データに対して行う画像処理である部分処理毎に、前後の依存関係に基づいて処理可能と判定された前記部分処理に対応する前記分割画像データを前記第1サイズよりも小さい第2サイズの再分割画像データに再分割する再分割部と、
    前記再分割画像データに対して行う画像処理である再分割部分処理を複数の演算装置に並列して実行させる制御を行う制御部と、
    を備えた画像処理装置。
  2. 前記制御部は、前記複数の演算装置のうち、自身が備えるメモリのみを用いて部分処理を実行する演算装置に対しては、前記再分割画像データに替わり、前記分割画像データに対する部分処理を実行させる制御を行う、
    請求項1に記載の画像処理装置。
  3. 前記第1サイズは、前記複数の演算装置が前記部分処理の実行に用いる複数のキャッシュメモリのうち、前記複数の演算装置から最も遠いレベルのキャッシュメモリの容量と、格納された前記部分処理を前記複数の演算装置の各々が順次取り出して実行するためのタスクキューに格納可能な前記部分処理の数と、に基づいたサイズである、
    請求項1または請求項2に記載の画像処理装置。
  4. 前記第2サイズは、前記複数の演算装置が前記再分割部分処理の実行に用いる複数のキャッシュメモリのうち、前記複数の演算装置から最も遠いレベルのキャッシュメモリよりも前記複数の演算装置に近いレベルのキャッシュメモリの容量以下のサイズである、
    請求項1から請求項3のいずれか1項に記載の画像処理装置。
  5. 前記制御部は、前記複数の演算装置のうち、自身が備えるメモリのみを用いて部分処理を実行する第2演算部が他の第1演算部と非同期に前記部分処理を実行可能な場合、前記第2演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第1演算部において実行後に、前記第2演算部における前記部分処理の終了を検知する終了検知タスクを、前記終了を検知するまで前記第1演算部に繰り返し実行させる、
    請求項1から請求項4のいずれか1項に記載の画像処理装置。
  6. オブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法であって、
    前記画像処理の対象となる画像データを第1サイズの分割画像データに分割し、
    前記分割画像データに対して行う画像処理である部分処理毎に、前後の依存関係に基づいて処理可能と判定された前記部分処理に対応する前記分割画像データを前記第1サイズよりも小さい第2サイズの再分割画像データに再分割し、
    前記再分割画像データに対して行う画像処理である再分割部分処理を複数の演算装置に並列して実行させる制御を行う画像処理方法。
  7. コンピュータを、請求項1から請求項5のいずれか1項に記載の画像処理装置の分割部、再分割部、及び制御部として機能させるための画像処理プログラム。
JP2018506749A 2016-03-24 2016-07-27 画像処理装置、画像処理方法、及び画像処理プログラム Active JP6632709B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016060525 2016-03-24
JP2016060525 2016-03-24
PCT/JP2016/072031 WO2017163441A1 (ja) 2016-03-24 2016-07-27 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017163441A1 JPWO2017163441A1 (ja) 2019-01-17
JP6632709B2 true JP6632709B2 (ja) 2020-01-22

Family

ID=59899887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506749A Active JP6632709B2 (ja) 2016-03-24 2016-07-27 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10650481B2 (ja)
JP (1) JP6632709B2 (ja)
CN (1) CN108463836B (ja)
WO (1) WO2017163441A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104246B1 (ko) * 2020-02-17 2020-04-24 주식회사 비에이템 화면 분할을 이용한 이미지 병렬 검색 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7114321B2 (ja) * 2018-04-26 2022-08-08 キヤノン株式会社 データ処理装置及びその方法
JP7039424B2 (ja) * 2018-08-31 2022-03-22 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN109685748B (zh) * 2018-12-07 2021-03-30 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备、计算机可读存储介质
DE102020117505A1 (de) * 2019-07-27 2021-01-28 Analog Devices International Unlimited Company Autonomes system zum einreihen von jobs in eine warteschlange für hardware -beschleuniger
CN112114960B (zh) * 2020-08-06 2022-11-01 河南大学 一种适应互联网场景的遥感影像并行集群处理的调度策略
US12073938B2 (en) 2021-09-23 2024-08-27 Canon Medical Systems Corporation Task allocation for use in medical imaging and diagnostics
CN117408271B (zh) * 2023-10-17 2024-07-16 北京控制工程研究所 航天测控光电编码器读数器安装位置校准方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2956201B2 (ja) 1990-11-06 1999-10-04 日本電信電話株式会社 画像信号のタスク分割並列処理方法
JPH0844678A (ja) 1994-07-29 1996-02-16 Canon Inc 画像処理装置及びシステム
JP2002251610A (ja) * 2001-02-26 2002-09-06 Matsushita Electric Ind Co Ltd 並列画像処理装置
US6628154B2 (en) * 2001-07-31 2003-09-30 Cypress Semiconductor Corp. Digitally controlled analog delay locked loop (DLL)
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法
JP4965995B2 (ja) 2006-12-22 2012-07-04 株式会社東芝 プログラム処理方法、処理プログラム及び情報処理装置
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8310492B2 (en) * 2009-09-03 2012-11-13 Ati Technologies Ulc Hardware-based scheduling of GPU work
JP2012003619A (ja) * 2010-06-18 2012-01-05 Sony Corp 情報処理装置、情報処理装置の制御方法、およびプログラム
CN103021017B (zh) * 2012-12-04 2015-05-20 上海交通大学 基于gpu加速的三维场景重建方法
US9652817B2 (en) * 2015-03-12 2017-05-16 Samsung Electronics Co., Ltd. Automated compute kernel fusion, resizing, and interleave

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104246B1 (ko) * 2020-02-17 2020-04-24 주식회사 비에이템 화면 분할을 이용한 이미지 병렬 검색 시스템

Also Published As

Publication number Publication date
CN108463836A (zh) 2018-08-28
US20180365793A1 (en) 2018-12-20
JPWO2017163441A1 (ja) 2019-01-17
WO2017163441A1 (ja) 2017-09-28
US10650481B2 (en) 2020-05-12
CN108463836B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP6632709B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6648257B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10949942B2 (en) Image processing apparatus, image processing method, and image processing program
US11341599B2 (en) Image processing apparatus, image processing method, and computer readable medium storing image processing program
US11257178B2 (en) Image processing device, image processing method, and storage medium
US10878526B2 (en) Image processing apparatus, image processing method, and image processing program
US11315212B2 (en) Image processing apparatus, image processing method, and computer readable medium for executing partial processes on image-section data items
JP7039424B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10783604B2 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191210

R150 Certificate of patent or registration of utility model

Ref document number: 6632709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250