WO2019044340A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2019044340A1
WO2019044340A1 PCT/JP2018/028743 JP2018028743W WO2019044340A1 WO 2019044340 A1 WO2019044340 A1 WO 2019044340A1 JP 2018028743 W JP2018028743 W JP 2018028743W WO 2019044340 A1 WO2019044340 A1 WO 2019044340A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
unit
task
processing
operation unit
Prior art date
Application number
PCT/JP2018/028743
Other languages
English (en)
French (fr)
Inventor
和幸 板垣
長尾　隆
Original Assignee
富士フイルム株式会社
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社, 富士ゼロックス株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019539104A priority Critical patent/JP6945634B2/ja
Priority to CN201880055557.1A priority patent/CN111052084B/zh
Publication of WO2019044340A1 publication Critical patent/WO2019044340A1/ja
Priority to US16/803,884 priority patent/US11257178B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
  • Japanese Patent Laid-Open No. 2004-030312 discloses a control method that achieves high-speed processing by dividing a series of processes by a plurality of threads and simultaneously processing them while synchronizing a plurality of threads (arithmetic units). It is disclosed.
  • the first operation unit mainly performs partial processing.
  • the second operation unit executes the partial process in accordance with an instruction from the first operation unit asynchronously, the end of the partial process in the second operation unit may not be efficiently detected.
  • the second arithmetic unit can not be newly performed partial processing until the completion of the partial processing is detected, so the second arithmetic unit is sufficiently operated. In some cases, the processing efficiency of the image processing may be reduced.
  • the present disclosure provides an image processing apparatus, an image processing method, and an image processing program, which accelerates image processing by more efficiently detecting the end of partial processing in the second operation unit.
  • a first aspect of the present disclosure is an image processing apparatus that executes image processing with each object of an object group in which objects for which image processing is to be executed are connected in a plurality in a directed non-cyclic graph form.
  • the first operation unit is a division unit that divides the image data into a plurality of divided image data, and a partial process that is an image process performed on the divided image data, and a partial process that can be performed according to the dependency relationship before and after
  • the control unit performs control to be executed in parallel to each of the plurality of operation devices provided, and executes the partial processing for the second operation unit.
  • the end detection task for detecting the end of partial processing in the second operation unit is registered in the end detection task management information
  • access to the end detection task management information includes a determination unit that determines whether the end detection tasks second operation unit has completed the partial processing, the.
  • the arithmetic device may operate as a determination unit after execution of the partial processing.
  • the arithmetic device performs another partial process again by the control of the control unit after the determination of the presence or absence of the termination detection task as the determination unit. It is also good.
  • the arithmetic device may operate as the registration unit.
  • the arithmetic device may continuously perform the operation as the registration unit and the operation as the determination unit.
  • control unit may cause the arithmetic device to execute a determination task for operating as the determination unit.
  • access to the end detection task management information of the registration unit and the determination unit may be exclusively controlled.
  • the determination unit may delete, from the termination detection task management information, the termination detection task for which the second operation unit has finished partial processing.
  • control unit may sequentially fetch partial processes stored in the task queue and cause the plurality of arithmetic devices to execute the partial processes in parallel.
  • a tenth aspect of the present disclosure is an image processing method by an image processing apparatus in which image processing is performed by each object of an object group in which a plurality of objects for performing image processing are connected in a directed acyclic graph form.
  • a partial process which is image processing to be performed on divided image data by dividing image data to be subjected to image processing into a plurality of divided image data, and a partial process that can be processed according to a preceding / following dependency relationship; Control is performed in parallel to each of a plurality of arithmetic devices included in the arithmetic unit, and when the second arithmetic unit can execute partial processing asynchronously to the first arithmetic unit, execution of partial processing on the second arithmetic unit is performed After the execution instructing task to be instructed is executed in the operation device of the first operation unit, the end detection task for detecting the end of partial processing in the second operation unit is registered in the end detection task management information. And, access to the end detection task management information, determines the presence or
  • An eleventh aspect of the present disclosure is an image processing program, which causes a computer to function as a division unit, a control unit, a registration unit, and a determination unit of the image processing apparatus of the present disclosure.
  • a twelfth aspect of the present disclosure is an image processing apparatus that executes image processing with each object of an object group in which objects for which image processing is to be executed are connected in a plurality in a directed non-cyclic graph form.
  • the first operation unit includes partial processes that can be processed according to the preceding and following dependency relationships.
  • An execution instruction task for instructing the execution of partial processing to the second operation unit is performed when control is performed in parallel to each of the operation devices and the second operation unit can execute partial processing asynchronously to the first operation unit.
  • An end detection task for detecting the end of partial processing in the second operation unit after being executed in the operation device of the first operation unit is registered in the end detection task management information, and the end detection task management Access the distribution, having a processor determines the presence or absence of termination detection task in which the second calculating unit has completed the partial processing.
  • an image processing apparatus an image processing method, and an image processing program, which accelerates image processing by more efficiently detecting the end of partial processing in the second operation unit. .
  • FIG. 6 is a schematic diagram for describing an example of an input image division process.
  • FIG. 6 is a schematic diagram for describing an example of an input image division process.
  • FIG. 10 is a schematic diagram for describing an asynchronous process end detection task list.
  • FIG. 10 is a schematic diagram for describing an asynchronous process end detection task list.
  • FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list.
  • FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list.
  • FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list. It is a flow chart which shows an example of a flow of DAG construction / execution processing concerning a 1st example embodiment. It is a flowchart which shows an example of the flow of the task storage process which concerns on 1st exemplary embodiment.
  • FIG. 7 is a schematic diagram for describing image processing DAG execution processing according to the first exemplary embodiment.
  • GPU 2nd calculating part
  • the computer 10 may be a copier, a printer, a facsimile machine, a multifunction machine having the functions of these devices, and a computer incorporated in an image processing device that performs image processing such as a scanner. Further, the computer 10 may be an independent computer such as a PC (Personal Computer), or may be a computer incorporated in a portable device such as a PDA (Personal Digital Assistant) and a cellular phone.
  • PC Personal Computer
  • PDA Personal Digital Assistant
  • a computer 10 includes a first operation unit 12A, a second operation unit 12B, a memory 14, a display unit 16, an operation unit 18, a storage unit 20, and an image data supply unit 22. , And an image output unit 24. Further, the respective units of the first calculation unit 12A, the second calculation unit 12B, the memory 14, the display unit 16, the operation unit 18, the storage unit 20, the image data supply unit 22, and the image output unit 24 It is connected.
  • the first operation unit 12A is a main processor of the computer 10, and includes, by way of example, a central processing unit (CPU) having a plurality of processor cores 13 (hereinafter referred to as "cores 13"). is there.
  • CPU central processing unit
  • cores 13 processor cores 13
  • each core 13 is described separately, like the core 13A and the core 13B, alphabets are added to the end of reference numerals.
  • the core 13 of the present exemplary embodiment is an example of the arithmetic device of the present disclosure.
  • the second operation unit 12B is, for example, a GPU (Graphics Processing Unit) having a local memory 15 therein.
  • the second operation unit 12B is not particularly limited as long as it is an operation device that includes an internal memory such as the local memory 15 and performs image processing on image data stored in the internal memory, and may be, for example, a CPU .
  • the second operation unit 12B may be a GPU built in the first operation unit 12A.
  • the first operation unit 12A and the second operation unit 12B may be operation units such as a field programmable gate array (FPGA).
  • FPGA field programmable gate array
  • the memory 14 is a non-volatile storage unit that causes the first operation unit 12A to temporarily store data.
  • the first operation unit 12A transfers the image data stored in the storage area of the memory 14 or the storage unit 20 to the second operation unit 12B via the bus 26. Transfer through. Then, the second operation unit 12B stores the image data transferred from the first operation unit 12A in the local memory 15, and performs image processing on the stored image data.
  • the display unit 16 and the operation unit 18 for example, a display panel such as an LCD (Liquid Crystal Display) provided on the image processing apparatus and a numeric keypad are applied.
  • a display panel such as an LCD (Liquid Crystal Display) provided on the image processing apparatus and a numeric keypad
  • the computer 10 is an independent computer, for example, a display connected to the computer 10, a keyboard, a mouse, and the like are applied to the display unit 16 and the operation unit 18.
  • the display unit 16 and the operation unit 18 may be a touch panel display or the like in which a touch panel and a display are integrated.
  • a non-volatile storage medium such as a hard disk drive (HDD), a solid state drive (SSD), and a flash memory is applied.
  • the image data supply unit 22 only needs to supply image data to be processed, and for example, an image reading unit that reads an image recorded on a recording material such as paper or a photographic film and outputs the image data is applied. Ru. Further, as the image data supply unit 22, for example, a reception unit that receives image data from an external device via a communication line, an image storage unit (memory 14 or storage unit 20) that stores image data, and the like are applied.
  • the image output unit 24 only needs to output image data subjected to image processing or an image represented by image data subjected to image processing. For example, an image for recording an image represented by image data on a recording material such as paper or photosensitive material A recording unit is applied.
  • the image output unit 24 is a display unit (display unit 16) that displays an image represented by the image data on a display or the like, and a writing device that writes the image data to a recording medium such as a compact disk read only memory (CD-ROM). Applied.
  • the image output unit 24 is applied with a transmission unit that transmits image data subjected to image processing to an external device through a communication line.
  • the image output unit 24 may be an image storage unit (memory 14 or storage unit 20) that stores image data subjected to image processing.
  • the storage unit 20 stores various programs executed by the first operation unit 12A and the second operation unit 12B.
  • the storage unit 20 stores, as various programs, a program of an operating system 30 that manages resources, manages program execution, and communicates between the computer 10 and an external device.
  • an image processing program group 34 for causing the computer 10 to function as an image processing apparatus is stored as various programs.
  • the storage unit 20 also stores, as various programs, various application programs 32 (hereinafter referred to as “applications 32”) that cause the image processing apparatus to perform desired image processing.
  • the image processing program group 34 is a program developed for the purpose of reducing the load when developing an image processing program executed by the above-described image handling device, portable device, PC or the like. Further, the image processing program group 34 is a program developed to be able to be executed commonly by various devices (platforms) such as the image processing device, the portable device, and the PC described above.
  • the image processing apparatus realized by the image processing program group 34 performs image processing instructed by the application 32 according to a construction instruction from the application 32.
  • Image processing DAG Directed Acyclic Graph
  • 50A (details will be described later) Build). Then, the image processing apparatus executes the processing of the image processing DAG 50A in accordance with the execution instruction from the application 32. Therefore, the image processing program group 34 provides the application 32 with an interface for instructing construction of the image processing DAG 50A for performing desired image processing, and instructing execution of image processing by the constructed image processing DAG 50A. doing.
  • the image processing program group 34 includes a module library 36, a program of the processing construction unit 42, and a program of the processing control unit 46.
  • the module library 36 programs of a plurality of types of image processing modules 38 that perform different predetermined image processing are registered.
  • image processing for example, input processing, filter processing, color conversion processing, enlargement / reduction processing (denoted as “enlargement / reduction processing” in FIG. 1), skew angle detection processing, image rotation processing, image synthesis processing, and output processing Etc.
  • image processing modules 38 which have the same type of image processing and different contents of image processing to be executed are also registered.
  • this type of image processing module is distinguished by appending numerals at the end to “module 1” and “module 2”.
  • An image processing module 38 is provided to perform processing.
  • an image processing module 38 that performs enlargement / reduction processing an image processing module 38 that performs enlargement / reduction processing at a designated enlargement / reduction ratio is provided.
  • the image processing module 38 that converts an image in an RGB (Red Green Blue) color space to an image in a CMYK (Cyan Magenta Yellow Key-Plate (black)) color space.
  • an image processing module 38 for converting an image in the CMYK color space into an image in the RGB color space For example, for the image processing module 38 that performs color conversion processing, the image processing module 38 converts an image in RGB color space to an image in YCbCr color space, and converts an image in YCbCr color space to an image in RGB color space
  • An image processing module 38 and the like are prepared.
  • a buffer module 40 having a storage area (buffer) for storing image data is also registered.
  • the processing construction unit 42 constructs the image processing DAG 50A in the DAG form according to an instruction from the application 32.
  • the image processing DAG 50A as shown in FIG. 2A as an example, one or more image processing modules 38 are connected via a buffer module 40 arranged at least one of the front and rear of each image processing module 38. .
  • Each image processing module 38 is an example of an object that performs image processing on input image data. Further, in the example shown in FIG. 2A, the image processing module 38 in which the image processing module 38 is connected to the previous stage through the buffer module 40 performs its own image processing when the image processing by the image processing module 38 of the previous stage is completed. Indicates that it is possible to In addition, the image processing module 38 in which the plurality of image processing modules 38 are connected to the previous stage through the buffer module 40 performs the image processing of its own when all the image processing of the plurality of image processing modules 38 in the previous stage is completed. It shows that it is possible to execute.
  • FIG. 2A shows the DAG in which only each module is connected in the order of processing, but when this DAG is executed, input image data stored in the memory 14 is input as shown in FIG. 2B. And image processing is performed according to DAG. Finally, processing results such as processed output image data are stored in the memory 14.
  • the process control unit 46 includes a division unit 60, a control unit 62, a task queue 64, an output unit 66, a registration unit 67, a determination unit 68, and an asynchronous process end detection task list (hereinafter simply referred to as “list ') 69).
  • the dividing unit 60 divides an image indicated by a portion to be processed of input image data into a plurality of partial areas (hereinafter, referred to as “divided images”). As an example shown in FIG. 4A, the dividing unit 60 divides the image G indicated by the portion to be processed of the input image data into a plurality of (three in the example shown in FIG. 4A) divided images B1 to B3. .
  • image data indicating a divided image is referred to as "divided image data”.
  • the portion to be processed of the input image data means a portion to be processed by the entire input image data in image processing to process the entire input image as in color conversion processing.
  • the part to be processed of the input image data means a part of the input image in the image processing in which a part of the input image is to be processed like a trimming process.
  • input image data a portion to be processed of input image data is simply referred to as “input image data”.
  • the dividing unit 60 divides the image G into upper and lower views in a front view, but is not limited thereto.
  • the dividing unit 60 may divide the image G into the left and right in a front view, or may divide the image G into upper, lower, left and right in front view as shown in FIG. 4B.
  • the number of divisions of the input image data by the dividing unit 60 is not particularly limited.
  • the division unit 60 may divide the input image data by a predetermined number or size.
  • the dividing unit 60 may divide the input image data into a number equal to or less than the number of processor cores of the computing unit that executes the image processing by the image processing module 38, and to two or more.
  • the dividing unit 60 may divide input image data with a size equal to or less than the capacity of the cache memory of the computing unit that executes the image processing by the image processing module 38.
  • the dividing unit 60 is a cache memory at a level farthest from the processor of the computing unit that executes image processing by the image processing module 38, that is, less than the capacity of so-called LLC (Last Level Cache) and as much as possible.
  • LLC Last Level Cache
  • the control unit 62 performs control to cause a plurality of cores 13 to execute tasks corresponding to divided image data in parallel.
  • parallel means that tasks that can be executed based on the dependency are executed in parallel (simultaneously) by a plurality of cores 13.
  • the control unit 62 divides the image processing performed by each image processing module 38 of the image processing DAG 50A into divided image data (divided image data divided by the dividing unit 60) And the image processing DAG 50A is updated to the image processing DAG 50B.
  • the image processing DAG 50B represents DAG in the task of each partial processing 39, and is a so-called task DAG.
  • FIG. 5 shows the image processing DAG 50B when the input image data is divided into four divided image data in the image processing DAG 50A shown in FIG. 2A.
  • the buffer module 40 is omitted to avoid confusion.
  • the control unit 62 performs partial processing 39 of the image processing module 38 coupled to the previous stage and image processing coupled to the subsequent stage according to the type of image processing performed by the image processing module 38.
  • a dependency is given to the partial process 39 of the module 38. In FIG. 5, this dependency is indicated by a broken arrow.
  • each partial process 39 also has a one-to-one dependency.
  • a dependency is also given to partial processing 39 in the previous stage that performs image processing on peripheral pixels. That is, when the partial processing 39 of the image processing module 38 connected to the previous stage is completed between the connected image processing modules 38, the dependency relation is calculated based on the partial processing 39 of the image processing module 38 connected to the latter stage. It is a relation that becomes feasible. Therefore, each partial process 39 can be executed when there is no partial process 39 to which the dependency is given in the former stage or when all partial processes 39 in the former stage to which the dependency is given are completed.
  • the partial process 39A and the partial process 39B shown in FIG. 5 can be executed at the start of execution of the image processing. Further, for example, the partial process 39C shown in FIG. 5 can be executed when the processes of both the partial process 39A and the partial process 39B of the previous stage to which the dependency is given are completed.
  • the partial process 39 corresponding to the divided image data is referred to as a “task”.
  • the control unit 62 stores the tasks that can be executed in the task queue 64 for the plurality of cores 13 to sequentially fetch and execute the stored tasks. Note that, as an example, the control unit 62 of the present exemplary embodiment sets the number of tasks stored simultaneously in the task queue 64 to two or less.
  • the number of tasks simultaneously stored in the task queue 64 is not limited to the present exemplary embodiment, but is preferably two or more.
  • the new task is not stored in the task queue 64, and there are multiple cores 13 Among them, the number of non-operating cores 13 increases, and the operation rate of the cores 13 decreases.
  • the task queue 64 does not limit the number of tasks that can be stored simultaneously, memory is secured for all tasks stored in the task queue 64 in the pre-processing (described in detail later). Memory capacity will increase.
  • the number of tasks that the task queue 64 can simultaneously store may be determined according to the memory capacity or the like, or may be variable according to the operating rate of the core 13.
  • the synchronization task is a task that does not return control to the core 13A until the processing in the core 13B or the second operation unit 12B ends when the core 13A instructs the core 13B or the second operation unit 12B to execute the process.
  • an asynchronous task is a task whose control returns to the core 13A without waiting for the end of the processing in the core 13B or the second operation unit 12B when the core 13A instructs the core 13B or the second operation unit 12B to execute the process. is there.
  • the control unit 62 acquires a task from the task queue 64 and causes the acquired task to be executed.
  • information indicating whether the task has ended processing or is ongoing is output to the control unit 62.
  • it is not limited to this exemplary embodiment, For example, it may be a form which does not output about the information showing whether it is continuing, and outputs only the information showing that the process was complete
  • the task If the task is an asynchronous task, the task outputs information indicating that processing is ongoing because it is the timing at which the task has just started to be executed.
  • the control unit 62 registers, in the list 69, an asynchronous task whose processing is continuing via the registration unit 67.
  • the list 69 of the present exemplary embodiment is an example of the end detection task management information of the present disclosure.
  • the asynchronous task registered in the list 69 is a combination of an end detection task (described in detail later) for detecting the end of asynchronous processing.
  • an asynchronous task in which an end detection task is combined is simply referred to as an “end detection task”.
  • the end detection task the state in which the processing of the combined asynchronous task is continuing is referred to as "the ongoing end detection task”, and the state in which the processing of the combined asynchronous task is ended. Is called "a finished end detection task”.
  • FIG. 6A shows an example of the state of the list 69.
  • a state in which two ongoing end detection tasks TEp are already registered in the list 69 is schematically shown.
  • the solid arrows shown in the list 69 indicate the direction from the top to the end of the list. Specifically, in FIG. 6A, the left side of the list 69 is the top, and the right side, which is the tip of the arrow, is the end.
  • FIG. 6B schematically illustrates an example in which the registration unit 67 registers one new ongoing termination detection task TEp in the list 69.
  • Registration unit 67 to register the termination detection task T Ep list 69, as shown in FIG. 6B as an example, to register the termination detection task T Ep at the end of the list 69.
  • the task when the task is a synchronous task, the task outputs information indicating that the processing has been completed. In this case, the control unit 62 executes list determination processing (described in detail later) in the determination unit 68 before the task queue 64 acquires the next task.
  • the determination unit 68 sequentially scans the list 69 from the top to check whether there is an end detection task that has been completed. If it is determined that there is an end detection task that has been completed, the determination unit 68 deletes the completed end detection task that has been determined from the list 69 to delete it and update the list 69.
  • FIG. 7A schematically shows an example of a state in which the determination unit 68 sequentially scans the list 69 from the top and determines that the second end detection task in the list 69 is the end detection task TEf that has been completed. ing.
  • the determination unit 68 determines that the end detection task TEf is completed, the determined end detection task TEf is deleted by extracting it from the list 69, and the list 69 is updated. Do.
  • the determination unit 68 determines whether or not the end detection task of the next turn is the end detection task TEf that has been ended.
  • the determination unit 68 executes the above processing up to the end of the list 69.
  • the output unit 66 outputs output image data obtained as a result of the image processing performed by the image processing module 38 of the final stage of the image processing DAG 50B under the control of the control unit 62.
  • the output unit 66 displays the output image indicated by the obtained output image data on the display unit 16.
  • the output unit 66 may output (send) output image data to an external device.
  • the output unit 66 may output (form) an output image indicated by the output image data to a recording material such as paper.
  • FIG. 8 is a flowchart showing an example of the flow of DAG construction / execution processing executed by the first operation unit 12A when an instruction to start execution of image processing is input by the application 32.
  • a program for DAG construction / execution processing (DAG construction / execution processing program) is installed in advance in the storage unit 20.
  • the core 13 capable of executing a task without executing any task in the first operation unit 12A functions as the above-mentioned process construction unit 42 and control unit 62 by executing the DAG construction / execution processing program.
  • the processing construction unit 42 constructs an image processing DAG 50A that performs the image processing instructed by the application 32 in accordance with the construction instruction from the application 32. Further, the processing construction unit 42 updates the image processing DAG 50A to the image processing DAG 50B as described above.
  • control unit 62 causes the first operation unit 12A (core 13) and the second operation unit 12B to execute image processing by the image processing DAG 50B constructed in step 100. After this, the DAG construction / execution processing ends.
  • the output unit 66 can obtain the result of the image processing desired by the application 32.
  • the control unit 62 indicates that the process has been completed, or indicates that an error has occurred during the process. The information is notified to the application 32.
  • the DAG construction / execution processing of this exemplary embodiment includes a task storage processing for storing an executable task of the image processing DAG 50B in the task queue 64, and a task execution processing for executing the tasks stored in the task queue 64. , Contains two processes.
  • FIG. 9 is a flowchart showing an example of the flow of task storage processing.
  • the program for task storage processing (task storage processing program) is installed in advance in the storage unit 20 as a part of the DAG construction / execution processing program, or another so-called sub program or the like.
  • the core 13 capable of executing a task without executing any task in the first operation unit 12A executes the task storage processing program to function as the control unit 62, and executes the task storage processing shown in FIG. .
  • the control unit 62 determines whether or not an executable task is stored in the task queue 64. In the present exemplary embodiment, when the number of executable tasks stored in the task queue 64 is two or more, the determination in step 110 is positive and the process proceeds to step 114.
  • step 110 determines whether the number of executable tasks stored in the task queue 64 is less than two. If the number of executable tasks stored in the task queue 64 is less than two, the determination in step 110 is negative and the process proceeds to step 112.
  • the control unit 62 finds out an executable task from the image processing DAG 50B and stores the task in the task queue 64.
  • the number of tasks stored in the task queue 64 may be two or less, and the number of tasks to be simultaneously stored in the task queue 64 by the control unit 62 in this step is One or two may be used. Specifically, when no task is stored in the task queue 64, the control unit 62 may store one or two tasks in the task queue 64, and one task is stored in the task queue 64. If it is, the control unit 62 may store one task in the task queue 64. The number of tasks to be simultaneously stored in the task queue 64 by the control unit 62 in this step may be determined in advance, or may be variable according to the progress of the task processing in each core 13.
  • the control unit 62 determines whether or not all the tasks of the image processing DAG 50B have been stored in the task queue 64. If there is a task not yet stored in the task queue 64, the determination at step 114 is negative, the process returns to step 110, and the task storage process is repeated. On the other hand, when all the tasks have been stored in the task queue 64, the determination in step 114 is affirmed and the task storage processing ends.
  • FIG. 11 is a flowchart showing an example of the flow of task execution processing.
  • the program for task execution processing (task execution processing program) is previously installed in the storage unit 20 as a part of the DAG construction / execution processing program, or another so-called sub program or the like.
  • Each of the cores 13 capable of executing a task without executing any task in the first operation unit 12A executes a task execution processing program, thereby functioning as a control unit 62, a registration unit 67, and a determination unit 68.
  • the task execution process shown in FIG. 11 is executed.
  • the task storage process and the task execution process are executed in parallel by executing the task storage process and the task execution process in different cores 13.
  • control unit 62 acquires a task from the task queue 64.
  • the control unit 62 executes a pre-processing predetermined in the execution of the task.
  • the preprocessing to be executed in this step is a process that is predetermined to be performed before image processing, and is not particularly limited. For example, it is for securing an output buffer area for storing an image processing result and for image processing It is a process of securing a resource for calculation such as initialization of variables.
  • the control unit 62 causes the core 13 or the second operation unit 12B of the first operation unit 12A to execute the task acquired in step 120.
  • the core 13 of the first operation unit 12A causes the second operation unit 12B to execute the task so that the second operation unit 12B executes the task.
  • Ru The task to be executed by the second operation unit 12B of the present exemplary embodiment is an example of the execution instruction task of the present disclosure.
  • information indicating whether the task is a task to be executed by the second operation unit 12B is the image processing DAG 50B from the image processing DAG 50A at step 100 (see FIG. 8) of the DAG construction / execution processing. Is given in the process of generating
  • control unit 62 determines whether the task executed at step 124 is finished (finished).
  • the data (image data) generally required for the processing is the second operation unit 12B because processing is performed at high speed. Is transferred to the local memory 15 of FIG.
  • the second operation unit 12B is a GPU
  • FIG. 13A when the tasks T1 and T2 which are GPU processing are continuously performed, as shown in FIG. 13B, an example of the second operation unit 12B from the memory 14 before execution of the task T1.
  • a transfer process to the local memory 15 and a transfer process of the processing result from the local memory 15 to the memory 14 are performed after execution of the task T2.
  • the core 13 executes a task and instructs the CPU
  • the GPU is activated and controlled, and the GPU executes the task.
  • synchronous processing processing in which control does not return to the core 13 until processing in the GPU is completed
  • FIG. 13B it is configured in the same way as a task executed by a normal CPU.
  • the core 13 is in a standby state until the processing is completed, and the operation of the core 13 is wasted.
  • the core 13 instructs to asynchronously process each of the transfer to the GPU, the process, and the transfer of the processing result from the GPU (tasks T0 to T3). Then, when control returns to the core 13 side, the core 13 executes an end detection task T4 that detects the end of the task in the GPU.
  • step S124 the process is hardly finished. If the process has not been completed, the determination in step 126 is negative, and the process proceeds to step 128.
  • step 128 the control unit 62 causes the registration unit 67 to register the end detection task T4 at the end of the list 69, and then ends the task execution process.
  • step 126 when the task is a task to be executed by the first operation unit 12A (see arrow (c) in FIG. 10), execution is performed in synchronization processing in the core 13 and control is sent to the control unit 62 until synchronization processing is completed. Dont return. Therefore, in the determination of step 126 after the control returns to the control unit 62, since the synchronization processing has been completed, the determination of step 126 is positive and the process proceeds to step 130.
  • the control unit 62 performs post-processing.
  • the post-processing to be executed in this step is a process which is predetermined to be performed after the partial process corresponding to the task, and is not particularly limited. For example, release of the operation resource secured in the process of step 122 Processing.
  • the control unit 62 notifies the process construction unit 42 of the completion of the task.
  • the processing construction unit 42 that has received the task completion notification updates the dependency of the image processing DAG 50B. As described above, when the dependency of the image processing DAG 50B is updated, the processing construction unit 42 determines an executable task based on the updated dependency in the above-described task storage process (see FIG. 9).
  • control unit 62 causes the determination unit 68 to execute list determination processing for determining the end detection task registered in the list 69, and then ends the task execution processing.
  • FIG. 12 is a flowchart illustrating an example of the flow of the list determination process.
  • step 150 the determination unit 68 acquires the end detection task registered at the top of the list 69.
  • the determination unit 68 determines whether acquisition of the end detection task has succeeded. If the list 69 is empty and the end detection task can not be acquired, the determination in step 152 is negative, and the list determination process ends.
  • step 152 determines whether the end detection task can be acquired. If the end detection task can be acquired, the determination in step 152 is positive, and the process proceeds to step 154.
  • step 154 the determination unit 68 determines whether the asynchronous processing corresponding to the acquired end detection task is ended.
  • the termination detection task acquired by the determination unit 68 is termination detection task T Ep
  • the determination in step 154 is negative and the process proceeds to step 162.
  • the determination unit 68 acquires the termination detection task registered next from the list 69, and returns to the processing of step 152.
  • the termination detection task acquired by the determination unit 68 is the termination detection task TEf .
  • the process proceeds to step 156.
  • step 156 the determination unit 68 extracts the termination detection task that has been terminated from the list 69 and deletes it (see also FIG. 7B).
  • the determination unit 68 performs post-processing in the same manner as step 130 of the above-described task execution process (see FIG. 11). Furthermore, in the next step 160, the determination unit 68 notifies the process construction unit 42 of the completion of the task, as in step 132 of the task execution process described above.
  • the determination unit 68 acquires the termination detection task registered next from the list 69, and returns to the processing in step 152.
  • control unit 62 sequentially scans the list 69 from the top to the end, and determines, for each of the end detection tasks, whether or not the combined asynchronous processing has ended.
  • the core 13 that instructs the second operation unit 12B to execute the process of the asynchronous task and does not finish the execution of the task registers the end detection task in the list 69.
  • the core 13 which has completed the execution of the task performs list determination processing, deletes the completed termination detection task from the list 69, and performs post-processing of the corresponding asynchronous task to the processing construction unit 42. Give notification of completion.
  • management of the end detection task is performed by the list 69, so detection of the end of the asynchronous task executed by the second operation unit 12B can be efficiently performed.
  • the second operation unit 12B can be efficiently operated, and parallel processing with improved scalability can be realized.
  • the termination detection task registered in the list 69 May be stored in the task queue 64. This makes it possible to prevent the core 13 from entering a standby state and causing a deadlock.
  • each process of updating the image processing DAG 50B, storing the task in the task queue 64, and taking out the task from the task queue 64 described above needs to be performed while performing exclusive control. Needless to say.
  • Second Exemplary Embodiment In this exemplary embodiment, a form is described in which the access to the list 69 for performing registration of the end detection task, scanning for determination, and deletion for each is exclusively controlled to avoid confusion.
  • the access to the list 69 for performing registration of the end detection task, scanning for determination, and deletion for each is exclusively controlled to avoid confusion.
  • movement similar to the said 1st exemplary embodiment, that is described and detailed description is abbreviate
  • the configuration of the computer 10 of the present exemplary embodiment is similar to the configuration (see FIGS. 1 and 3) of the computer 10 of the first exemplary embodiment, and thus the detailed description is omitted.
  • the task storage process in the DAG construction / execution process (see FIG. 8) executed by the computer 10 is the same as the task storage process (see FIG. 9) of the first exemplary embodiment Do.
  • the task execution process since the task execution process includes a process different from the task execution process (see FIG. 11) in the first exemplary embodiment, the task execution process in the present exemplary embodiment will be described in detail below.
  • FIG. 14 is a flowchart showing an example of the flow of task execution processing according to the present exemplary embodiment.
  • the task execution process of the present exemplary embodiment includes the process of steps 127A and 127B between step 126 and step 128, and includes the process of step 129 after step 128. It differs from the task execution process (see FIG. 11) of the exemplary embodiment.
  • step 127A the control unit 62 determines whether or not the lock of exclusive control for the access of the list 69 has been acquired. The determination in step 127A is negative until the lock can be acquired, and when the lock can be acquired, the determination in step 127A is positive and the process proceeds to step 127B.
  • step 127 B the control unit 62 performs the list determination process by the determination unit 68 as in step 134 of the task execution process of the first exemplary embodiment described above, and then proceeds to step 128.
  • step 129 the control unit 62 performs the list determination process by the determination unit 68 as in step 134 of the task execution process of the first exemplary embodiment described above, and then proceeds to step 128.
  • the process proceeds to step 129.
  • control unit 62 After releasing the acquired lock in step 129, the control unit 62 ends the task execution process.
  • the task execution process of the present exemplary embodiment includes the process of step 133 between step 132 and step 134, and includes the process of step 135 after the process of step 134, This differs from the task execution process (see FIG. 11) of the first exemplary embodiment.
  • step 133 the control unit 62 determines whether the lock of the exclusive control for the access of the list 69 has been acquired. If the lock can not be acquired, the determination in step 133 is negative, and the task execution processing ends. On the other hand, if the lock can be acquired, the determination in step 133 becomes affirmative and the process proceeds to step 134.
  • control unit 62 ends the task execution process.
  • the core 13 registering the termination detection task in the list 69 is in a standby state until the lock for access to the list 69 can be acquired, and the list determination process is performed when the lock is acquired. After that, the end detection task is registered in the list 69. Also, the core 13 having received the task completion notification performs the list determination process when the lock for access to the list 69 can be acquired, and does not perform the list determination process when the lock can not be acquired.
  • the access to the list 69 is simply exclusive controlled, there is a plurality of cores 13 that execute the list determination process, and when each of the cores 13 accesses the list 69 at the same timing, one core While 13 is accessing the list 69, the other cores 13 are blocked. In this case, the operation of the blocked core 13 is wasted. Since the core 13 which has acquired the lock for access to the list 69 scans all the end detection tasks in the list 69 by the list determination process, the list determination process by the other cores 13 may not be performed.
  • the core 13 that can not acquire the lock can perform processing efficiently by suppressing the list determination process, and the waste of the operation of the core 13 can be suppressed.
  • the core 13 that registers the end detection task acquires a lock on the list 69
  • the core 13 that performs list determination processing is blocked.
  • the determination of the completed end detection task is delayed, and the second operation unit 12B is caused to newly perform the asynchronous task. It becomes impossible, and waste occurs in operation of the 2nd operation part 12B.
  • the list determination process is also performed to make the determination on the termination detection task completed more efficient. It can be carried out.
  • the second operation unit 12B can be operated more efficiently, and parallel processing with improved scalability can be realized.
  • the configuration of the computer 10 of the present exemplary embodiment is similar to the configuration (see FIGS. 1 and 3) of the computer 10 of the first exemplary embodiment, and thus the detailed description is omitted.
  • the task storage process in the DAG construction / execution process (see FIG. 8) executed by the computer 10 is the same as the task storage process (see FIG. 9) of the first exemplary embodiment Do.
  • the task execution process since the task execution process includes a process different from the task execution process (see FIG. 11) in the first exemplary embodiment, the task execution process in the present exemplary embodiment will be described in detail below.
  • FIG. 15 is a flowchart showing an example of the flow of task execution processing according to the present exemplary embodiment. As shown in FIG. 15, the task execution process of the present exemplary embodiment differs from the task execution process (see FIG. 11) of the first exemplary embodiment in that the process of step 139 is included after step 128.
  • the control unit 62 After the end detection task is registered in the list 69, the control unit 62 stores the determination task for causing the list determination process to be performed in the task queue 64 in step 139, and then ends the task execution process.
  • the core 13A stored the end detection task T Ep in the list 69 shows a state in which the judgment task T J is stored in the task queue 64 (see arrow (e)).
  • the task execution process of the present exemplary embodiment includes the process of step 121 between step 120 and step 122, and the timing of executing the process of step 134 is the first example. This is different from the task execution process (see FIG. 11) of the embodiment.
  • step 121 the control unit 62 determines whether the acquired task is a determination task. If the acquired task is not a determination task, the determination in step 121 is negative, and the process proceeds to step 122. On the other hand, if the acquired task is a determination task, the determination in step 121 is affirmative, and the process proceeds to step 134 to execute the list determination process, and then the task execution process is ended. In the present exemplary embodiment, after the task construction unit 42 is notified of task completion in step 132, the task execution processing is terminated.
  • the timing when the list determination process is performed is set as the timing when the core 13 acquires the determination task from the task queue 64. There is.
  • a plurality of termination detection tasks are collectively managed by the list 69, and execution of one list determination process completes termination for all termination detection tasks registered in the list 69. It is determined whether or not it is an end detection task of Therefore, for example, as compared with the case where individual end detection tasks are stored in the task queue 64, it is possible to efficiently determine the end detection tasks that have been ended.
  • the second operation unit 12B can be efficiently operated, and parallel processing with improved scalability can be realized.
  • the computer 10 is the computer 10 that executes image processing with each object of an object group in which objects for performing image processing are connected in a plurality in a directed acyclic graph form.
  • a division unit 60 that divides image data to be processed into a plurality of divided image data, and a task that is image processing performed on the divided image data and that can be processed according to the dependency between before and after
  • the control unit 62 performs control to execute each of the plurality of cores 13 included in the first operation unit 12A in parallel.
  • a registration unit 67 that registers in the list 69 an end detection task that detects the end of the task to be completed, and a determination unit 68 that accesses the list 69 and the second operation unit 12B determines the presence / absence of the end detection task that ended the task; Equipped with
  • the core 13 that has instructed the second operation unit 12B to execute the process of the asynchronous task registers the end detection task in the list 69. Also, the core 13 deletes the termination detection task that has been terminated by the list determination processing from the list 69, and notifies the processing construction unit 42 of the completion of the task.
  • the termination detection task is stored in the task queue 64
  • the execution of other tasks stored before the termination detection task is terminated, and the termination detection task is the task queue, unlike the above-described exemplary embodiments.
  • the second operation unit 12B can not newly perform the task. Therefore, the second arithmetic unit 12B can not be operated sufficiently, and the processing efficiency of the image processing is reduced.
  • the second operation unit 12B may be provided inside the computer 10
  • the second operation unit 12B may be provided outside the computer 10, It may be provided in a computer different from the computer 10.
  • the said each exemplary embodiment demonstrated the aspect by which various programs were beforehand memorize
  • the various programs may be provided in the form of being recorded on a recording medium such as a CD-ROM, a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
  • various programs may be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

コンピュータは、画像データを複数の分割画像データに分割する分割部と、分割画像データに対して行うタスクで、かつ前後の依存関係に応じて処理可能なタスクを第１演算部が備える複数のコアの各々に並列して実行させる制御を行う制御部と、第１演算部と非同期に第２演算部がタスクを実行可能な場合、第２演算部に対するタスクの実行を指示する実行指示タスクを第１演算部のコアにおいて実行した後に、第２演算部におけるタスクの終了を検知する終了検知タスクをリストに登録する登録部と、リストにアクセスし、第２演算部がタスクを終了した終了検知タスクの有無を判定する判定部と、を備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　特開２００４－０３０３１２号公報には、複数のスレッド（演算装置）が同期をとりながら、一連の処理を複数のスレッドで分担して同時に処理することで、処理の高速化を実現する制御方式が開示されている。
　また、Mark Grand, Patterns in Java: A Catalog of Reusable Design Patterns Illustrated with UML, 2nd Edition, Vol. 1, Wiley Pub., 2003/02/17, p. 495-500、及び、Rajat P. Gang and Ilya Sharapov, Techniques for Optimizing Applications: High Performance Computing, Prentice-Hall, 2001/07/25, p. 394-395には、タスク供給者（Producer）がキューに投入されたタスクを、複数のワーカースレッドによるタスク消費者（Consumer）に供給する技術が開示されている。
　上記特開２００４－０３０３１２号公報や、Mark Grand, Patterns in Java: A Catalog of Reusable Design Patterns Illustrated with UML, 2nd Edition, Vol. 1, Wiley Pub., 2003/02/17, p. 495-500、及び、Rajat P. Gang and Ilya Sharapov, Techniques for Optimizing Applications: High Performance Computing, Prentice-Hall, 2001/07/25, p. 394-395に開示された技術では、主として部分処理を行う第１演算部と非同期に、第１演算部の指示により第２演算部で部分処理を実行する場合、第２演算部における部分処理の終了の検知が効率的に行われない場合があった。この場合、部分処理が終了しているにもかかわらず、部分処理の終了が検知されるまで第２演算部に新たに部分処理を行わせることができないため、第２演算部を十分に稼働させることができず、画像処理の処理効率が低下する場合があった。
　本開示は、第２演算部における部分処理の終了の検知をより効率的に行うことにより画像処理を高速化する、画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
　本開示の第１の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、画像処理の対象となる画像データを複数の分割画像データに分割する分割部と、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第１演算部が備える複数の演算装置の各々に並列して実行させる制御を行う制御部と、第１演算部と非同期に第２演算部が部分処理を実行可能な場合、第２演算部に対する部分処理の実行を指示する実行指示タスクを第１演算部の演算装置において実行した後に、第２演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録する登録部と、終了検知タスク管理情報にアクセスし、第２演算部が部分処理を終了した終了検知タスクの有無を判定する判定部と、を備える。
　また、本開示の第２の態様は、上記第１の態様において、演算装置は、部分処理の実行後に判定部として動作してもよい。
　また、本開示の第３の態様は、上記第２の態様において、演算装置は、判定部として終了検知タスクの有無の判定の終了後、再び制御部の制御により他の部分処理を実行してもよい。
　また、本開示の第４の態様は、上記態様において、演算装置は、登録部として動作してもよい。
　また、本開示の第５の態様は、上記態様において、演算装置は、登録部としての動作と判定部としての動作とを連続して行ってもよい。
　また、本開示の第６の態様は、上記第１の態様において、制御部は、判定部として動作させるための判定タスクを演算装置に実行させてもよい。
　また、本開示の第７の態様は、上記態様において、登録部及び判定部の終了検知タスク管理情報へのアクセスが排他制御されていてもよい。
　また、本開示の第８の態様は、上記態様において、判定部は、第２演算部が部分処理を終了した終了検知タスクを終了検知タスク管理情報から削除してもよい。
　また、本開示の第９の態様は、上記態様において、制御部は、タスクキューに格納された部分処理を順次取り出して複数の演算装置に並列して実行させてもよい。
　また、本開示の第１０の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法であって、画像処理の対象となる画像データを複数の分割画像データに分割し、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第１演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、第１演算部と非同期に第２演算部が部分処理を実行可能な場合、第２演算部に対する部分処理の実行を指示する実行指示タスクを第１演算部の演算装置において実行した後に、第２演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、終了検知タスク管理情報にアクセスし、第２演算部が部分処理を終了した終了検知タスクの有無を判定する、処理を含む。
　また、本開示の第１１の態様は、画像処理プログラムであって、コンピュータを本開示の画像処理装置の分割部、制御部、登録部、及び判定部として機能させる。
　本開示の第１２の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、画像処理の対象となる画像データを複数の分割画像データに分割し、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第１演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、第１演算部と非同期に第２演算部が部分処理を実行可能な場合、第２演算部に対する部分処理の実行を指示する実行指示タスクを第１演算部の演算装置において実行した後に、第２演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、終了検知タスク管理情報にアクセスし、第２演算部が部分処理を終了した終了検知タスクの有無を判定するプロセッサを有する。
　本開示の上記態様によれば、第２演算部における部分処理の終了の検知をより効率的に行うことにより画像処理を高速化する、画像処理装置、画像処理方法、及び画像処理プログラムを提供できる。
第１例示的実施形態に係る画像処理装置として機能するコンピュータの構成の一例を示すブロック図である。 画像処理ＤＡＧの一例を示す概略図である。 画像処理ＤＡＧに入出力用のメモリを加えた場合の一例を示す概略図である。 第１例示的実施形態に係る処理制御部の機能的な構成の一例を示すブロック図である。 入力画像の分割処理の一例の説明に供する概略図である。 入力画像の分割処理の一例の説明に供する概略図である。 画像処理モジュールが部分処理に分割された画像処理ＤＡＧの一例を示す概略図である。 非同期処理終了検知タスクリストの説明に供する概略図である。 非同期処理終了検知タスクリストの説明に供する概略図である。 非同期処理終了検知タスクリストの判定の説明に供する概略図である。 非同期処理終了検知タスクリストの判定の説明に供する概略図である。 非同期処理終了検知タスクリストの判定の説明に供する概略図である。 第１例示的実施形態に係るＤＡＧ構築・実行処理の流れの一例を示すフローチャートである。 第１例示的実施形態に係るタスク格納処理の流れの一例を示すフローチャートである。 第１例示的実施形態に係る画像処理ＤＡＧ実行処理の説明に供する概略図である。 第１例示的実施形態に係るタスク実行処理の流れの一例を示すフローチャートである。 第１例示的実施形態に係る非同期処理終了検知タスクリスト判定処理の流れを示すフローチャートである。 ＧＰＵ処理である２つのタスクが連続して行われる場合における処理の流れの一例を示す概略図である。 第１演算部のコアと同期して第２演算部（ＧＰＵ）が処理を行う場合における処理の流れの一例を示す概略図である。 第１演算部のコアと非同期に第２演算部（ＧＰＵ）が処理を行う場合における処理の流れの一例を示す概略図である。 第２例示的実施形態に係るタスク実行処理の流れの一例を示すフローチャートである。 第３例示的実施形態に係るタスク実行処理の流れの一例を示すフローチャートである。 第３例示的実施形態に係る画像処理ＤＡＧ実行処理の説明に供する概略図である。
　以下、図面を参照して、本開示を実施するための形態例を詳細に説明する。
［第１例示的実施形態］
　まず、図１を参照して、画像処理装置として機能するコンピュータ１０の構成を説明する。なお、コンピュータ１０は、複写機、プリンタ、ファクシミリ装置、これらの装置の機能を兼ね備えた複合機、及びスキャナ等の内部で画像処理を行う画像取扱機器に組み込まれたコンピュータであってもよい。また、コンピュータ１０は、ＰＣ（Personal Computer）等の独立したコンピュータであってもよく、ＰＤＡ（Personal Digital Assistant）及び携帯電話機等の携帯機器に組み込まれたコンピュータであってもよい。
　図１に示すように、本例示的実施形態に係るコンピュータ１０は、第１演算部１２Ａ、第２演算部１２Ｂ、メモリ１４、表示部１６、操作部１８、記憶部２０、画像データ供給部２２、及び画像出力部２４を備えている。また、第１演算部１２Ａ、第２演算部１２Ｂ、メモリ１４、表示部１６、操作部１８、記憶部２０、画像データ供給部２２、及び画像出力部２４の各部は、バス２６を介して互いに接続されている。
　本例示的実施形態に係る第１演算部１２Ａは、コンピュータ１０のメイン・プロセッサであり、一例として複数のプロセッサ・コア１３（以下、「コア１３」という。）を有するＣＰＵ（Central Processing Unit）である。以下では、各コア１３を区別して説明する場合は、コア１３Ａ、コア１３Ｂのように、符号の末尾にアルファベットを付して説明する。本例示的実施形態のコア１３が、本開示の演算装置の一例である。
　また、本例示的実施形態に係る第２演算部１２Ｂは、一例として内部にローカルメモリ１５を有するＧＰＵ（Graphics Processing Unit）である。なお、第２演算部１２Ｂは、ローカルメモリ１５等の内部メモリを備え、内部メモリに記憶された画像データに対して画像処理を行う演算装置であれば、特に限定されず、例えば、ＣＰＵでもよい。また、第２演算部１２Ｂは、第１演算部１２Ａに内蔵されたＧＰＵでもよい。また、第１演算部１２Ａ及び第２演算部１２Ｂは、ＦＰＧＡ（Field Programmable Gate Array）等の演算器でもよい。
　メモリ１４は、第１演算部１２Ａが一時的にデータを記憶させる不揮発性の記憶手段である。本例示的実施形態に係る第２演算部１２Ｂにより画像処理を行う場合、第１演算部１２Ａはメモリ１４又は記憶部２０の記憶領域に記憶された画像データを第２演算部１２Ｂにバス２６を介して転送する。そして、第２演算部１２Ｂは、第１演算部１２Ａから転送された画像データをローカルメモリ１５に記憶し、記憶した画像データに対して画像処理を行う。
　コンピュータ１０が前述した画像取扱機器に組み込まれている場合、表示部１６及び操作部１８は、例えば画像取扱機器に設けられたＬＣＤ（Liquid Crystal Display）等の表示パネル及びテンキー等が適用される。また、コンピュータ１０が独立したコンピュータである場合、表示部１６及び操作部１８は、例えばコンピュータ１０に接続されたディスプレイ、及びキーボード、マウス等が適用される。また、表示部１６及び操作部１８は、タッチパネル及びディスプレイが一体化して構成されたタッチパネルディスプレイ等でもよい。また、記憶部２０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の不揮発性の記憶媒体が適用される。
　画像データ供給部２２は、処理対象の画像データを供給するものであればよく、例えば紙又は写真フィルム等の記録材料に記録されている画像を読み取って画像データを出力する画像読取部が適用される。また、画像データ供給部２２は、例えば通信回線を介して外部装置から画像データを受信する受信部、及び画像データを記憶する画像記憶部（メモリ１４又は記憶部２０）等が適用される。
　画像出力部２４は、画像処理を経た画像データ又は画像処理を経た画像データが表す画像を出力するものであればよく、例えば画像データが表す画像を紙又は感光材料等の記録材料に記録する画像記録部が適用される。また、画像出力部２４は、画像データが表す画像をディスプレイ等に表示する表示部（表示部１６）、画像データをＣＤ－ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に書き込む書込装置が適用される。また、画像出力部２４は、画像処理を経た画像データを、通信回線を介して外部装置に送信する送信部が適用される。また、画像出力部２４は、画像処理を経た画像データを記憶する画像記憶部（メモリ１４又は記憶部２０）であってもよい。
　図１に示すように、記憶部２０には、第１演算部１２Ａ及び第２演算部１２Ｂによって実行される各種プログラムが記憶されている。記憶部２０には、各種プログラムとして、リソースの管理、プログラムの実行の管理、及びコンピュータ１０と外部装置との通信等を司るオペレーティングシステム３０のプログラムが記憶されている。また、記憶部２０には、各種プログラムとして、コンピュータ１０を画像処理装置として機能させるための画像処理プログラム群３４が記憶されている。また、記憶部２０には、各種プログラムとして、上記画像処理装置に対して所望の画像処理を行わせる各種のアプリケーションプログラム群３２（以下、「アプリケーション３２」という。）が記憶されている。
　画像処理プログラム群３４は、前述した画像取扱機器、携帯機器、及びＰＣ等で実行される画像処理プログラムを開発する際の負荷を軽減することを目的として開発されたプログラムである。また、画像処理プログラム群３４は、前述した画像取扱機器、携帯機器、及びＰＣ等の各種機器（プラットフォーム）で共通に実行可能に開発されたプログラムである。
　画像処理プログラム群３４によって実現される画像処理装置は、アプリケーション３２からの構築指示に従い、アプリケーション３２が指示した画像処理を行う画像処理ＤＡＧ（有向非循環グラフ：Directed Acyclic Graph）５０Ａ（詳細は後述）を構築する。そして、上記画像処理装置は、アプリケーション３２からの実行指示に従い画像処理ＤＡＧ５０Ａの処理を実行する。このため、画像処理プログラム群３４は、所望の画像処理を行う画像処理ＤＡＧ５０Ａの構築を指示したり、構築された画像処理ＤＡＧ５０Ａによる画像処理の実行を指示したりするためのインタフェースをアプリケーション３２に提供している。
　以上の構成により、内部で画像処理を行う必要のある任意の機器を新規に開発する場合等にも、上記画像処理を行うプログラムの開発に関しては、上記任意の機器で必要とされる画像処理を、上記インタフェースを利用して画像処理プログラム群３４に行わせるアプリケーション３２を開発すればよい。従って、開発者は、実際に画像処理を行うプログラムを新たに開発する必要が無くなり、開発者の負荷が軽減される。
　次に、本例示的実施形態に係る画像処理プログラム群３４について詳細に説明する。図１に示すように、画像処理プログラム群３４は、モジュールライブラリ３６、処理構築部４２のプログラム、及び処理制御部４６のプログラムを含む。
　モジュールライブラリ３６は、予め定められた互いに異なる画像処理を行う複数種類の画像処理モジュール３８のプログラムが各々登録されている。この画像処理としては、例えば、入力処理、フィルタ処理、色変換処理、拡大・縮小処理（図１では「拡縮処理」と表記）、スキュー角検知処理、画像回転処理、画像合成処理、及び出力処理等が挙げられる。
　また、モジュールライブラリ３６には、画像処理の種類が同一で、かつ実行する画像処理の内容が異なる画像処理モジュール３８も登録されている。図１では、この種の画像処理モジュールを「モジュール１」、「モジュール２」と、末尾に数字を付して区別している。例えば、拡大・縮小処理を行う画像処理モジュール３８については、入力された画像データを、水平方向及び垂直方向の各方向ともに１画素おきに間引くことで画像の縦横のサイズを５０％に縮小する縮小処理を行う画像処理モジュール３８が用意されている。さらに、例えば、拡大・縮小処理を行う画像処理モジュール３８については、入力された画像データに対して指定された拡大・縮小率で拡大・縮小処理を行う画像処理モジュール３８等が用意されている。
　また、例えば、色変換処理を行う画像処理モジュール３８については、ＲＧＢ（Red Green Blue）色空間の画像をＣＭＹＫ（Cyan Magenta Yellow Key-Plate（黒））色空間の画像へ変換する画像処理モジュール３８、及びＣＭＹＫ色空間の画像をＲＧＢ色空間の画像へ変換する画像処理モジュール３８が用意されている。さらに、例えば、色変換処理を行う画像処理モジュール３８については、ＲＧＢ色空間の画像をＹＣｂＣｒ色空間の画像へ変換する画像処理モジュール３８、及びＹＣｂＣｒ色空間の画像をＲＧＢ色空間の画像へ変換する画像処理モジュール３８等が用意されている。
　また、モジュールライブラリ３６には、画像データを記憶するための記憶領域（バッファ）を備えたバッファモジュール４０も登録されている。
　本例示的実施形態に係る処理構築部４２は、アプリケーション３２からの指示により、ＤＡＧ形態の画像処理ＤＡＧ５０Ａを構築する。画像処理ＤＡＧ５０Ａは、一例として図２Ａに示すように、１つ以上の画像処理モジュール３８が、個々の画像処理モジュール３８の前段及び後段の少なくとも一方に配置されたバッファモジュール４０を介して連結される。
　なお、個々の画像処理モジュール３８は、入力画像データに対して画像処理を実行するオブジェクトの一例である。また、図２Ａに示す例では、バッファモジュール４０を介して前段に画像処理モジュール３８が連結された画像処理モジュール３８は、前段の画像処理モジュール３８による画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。また、バッファモジュール４０を介して前段に複数の画像処理モジュール３８が連結された画像処理モジュール３８は、前段の複数の画像処理モジュール３８の全ての画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。
　また、図２Ａでは、各モジュールのみが処理の順に接続されたＤＡＧを示しているが、このＤＡＧが実行される際には、図２Ｂに示すようにメモリ１４に記憶された入力画像データが入力されてＤＡＧに従って画像処理が行われる。そして、最終的にメモリ１４に処理済みの出力画像データ等の処理結果が記憶される。
　次に、図３を参照して、本例示的実施形態に係る処理制御部４６の機能的な構成を説明する。図３に示すように、処理制御部４６は、分割部６０、制御部６２、タスクキュー６４、出力部６６、登録部６７、判定部６８、及び非同期処理終了検知タスクリスト（以下、単に「リスト」という）６９を備えている。
　本実施の形態に係る分割部６０は、入力画像データの処理対象とする部分により示される画像を複数の部分領域（以下、「分割画像」という。）に分割する。一例として図４Ａに示すように、分割部６０は、入力画像データの処理対象とする部分により示される画像Ｇを、複数（図４Ａに示す例では３つ）の分割画像Ｂ１～Ｂ３に分割する。なお、以下では分割画像を示す画像データを「分割画像データ」という。また、入力画像データの処理対象とする部分とは、色変換処理のように入力画像全体を処理対象とする画像処理では、入力画像データ全体が処理対象とする部分を意味する。また、入力画像データの処理対象とする部分とは、切り抜き（トリミング）処理のように、入力画像の一部を処理対象とする画像処理では、入力画像の一部を意味する。以下では、錯綜を回避するために、入力画像データの処理対象とする部分を、単に「入力画像データ」という。
　また、図４Ａに示した例では、分割部６０が画像Ｇを正面視上下に分割しているが、これに限定されない。例えば分割部６０は画像Ｇを正面視左右に分割してもよいし、図４Ｂに示すように、正面視上下左右に分割してもよい。
　なお、分割部６０による入力画像データの分割数は特に限定されない。例えば、分割部６０は、予め定められた数又はサイズで入力画像データを分割してもよい。また、例えば、分割部６０は、画像処理モジュール３８による画像処理を実行する演算部が有するプロセッサ・コア数以下で、かつ２以上の数に入力画像データを分割してもよい。
　また、例えば、分割部６０は、画像処理モジュール３８による画像処理を実行する演算部が有するキャッシュメモリの容量以下のサイズで入力画像データを分割してもよい。この場合、例えば、分割部６０は、画像処理モジュール３８による画像処理を実行する演算部のプロセッサから最も遠いレベルのキャッシュメモリ、所謂ＬＬＣ（Last Level Cache）の容量以下で、かつＬＬＣの容量に極力一致するサイズで入力画像データを分割する形態が例示される。
　本例示的実施形態に係る制御部６２は、分割画像データに対応するタスクを複数のコア１３に並列に実行させる制御を行う。なお、ここでいう並列とは、依存関係に基づいて実行可能となったタスクが複数のコア１３により並列に（同時に）実行されることを意味する。
　具体的には、制御部６２は、一例として図５に示すように、画像処理ＤＡＧ５０Ａの各画像処理モジュール３８で実行される画像処理を分割画像データ（分割部６０により分割された分割画像データ）の各々に対応する部分処理３９に分割して、画像処理ＤＡＧ５０Ａを画像処理ＤＡＧ５０Ｂに更新する。なお、画像処理ＤＡＧ５０Ｂは、各部分処理３９のタスクにおけるＤＡＧを表すものであり、いわゆるタスクＤＡＧである。
　なお、図５は、図２Ａに示した画像処理ＤＡＧ５０Ａにおいて、入力画像データを４つの分割画像データに分割した場合の画像処理ＤＡＧ５０Ｂを示している。図５では、錯綜を回避するために、バッファモジュール４０の図示を省略している。
　本例示的実施形態に係る制御部６２は、画像処理モジュール３８で実行される画像処理の種類に応じて、前段に連結された画像処理モジュール３８の部分処理３９と、後段に連結された画像処理モジュール３８の部分処理３９との間で依存関係を付与する。なお、図５では、この依存関係を破線の矢印で示している。
　例えば、色変換処理のように、処理対象とする画素のみに対して画像処理を行う処理は、各部分処理３９も１対１の依存関係となる。一方、例えば、フィルタ処理のように、処理対象とする画素の周辺画素も必要な画像処理では、周辺画素に対して画像処理を行う前段の部分処理３９にも依存関係を付与することとなる。すなわち、この依存関係は、連結された画像処理モジュール３８間において、前段に連結された画像処理モジュール３８の部分処理３９が終了した場合に、後段に連結された画像処理モジュール３８の部分処理３９が実行可能となる関係である。従って、各部分処理３９は、前段に依存関係が付与された部分処理３９が存在しない場合か、又は依存関係が付与された前段の全ての部分処理３９が終了した場合に実行可能となる。
　具体的には、例えば、図５に示す部分処理３９Ａ及び部分処理３９Ｂは、画像処理の実行開始時に実行可能となる。また、例えば、図５に示す部分処理３９Ｃは、依存関係が付与された前段の部分処理３９Ａ及び部分処理３９Ｂの双方の処理が終了した場合に実行可能となる。
　なお、本例示的実施形態においては、分割画像データに対応する部分処理３９について、「タスク」と称している。
　制御部６２は、実行可能となっているタスクを、格納されたタスクを複数のコア１３の各々が順次取り出して実行するためのタスクキュー６４に格納する。なお、一例として、本例示的実施形態の制御部６２は、タスクキュー６４に同時に格納するタスクの数を２つ以下としている。
　なお、タスクキュー６４に同時に格納するタスクの数は、本例示的実施形態に限定されないが、２つ以上であることが好ましい。タスクキュー６４にタスクを１つだけ格納する場合に、タスクの実行が完了するまで新たなタスクをタスクキュー６４に格納しないとすると、新たなタスクがタスクキュー６４に格納されず、複数あるコア１３のうち、稼働しないコア１３が増加してしまい、コア１３の稼働率が低下する。一方、タスクキュー６４が同時に格納可能なタスクの数を制限しない場合、タスクキュー６４に格納された全てのタスクに対して、前処理（詳細後述）において、メモリが確保されるため、確保されるメモリ容量が多くなってしまう。
　そのため、タスクキュー６４が同時に格納可能なタスクの数を制限することにより、前処理において確保されるメモリ等のリソースの量が増加するのが抑制される。そのため、タスクキュー６４が同時に格納可能なタスクの数は、メモリの容量等に応じて定めてもよいし、コア１３の稼働率に応じて可変としてもよい。
　本例示的実施形態におけるタスクには、同期タスクと非同期タスクとの２種類がある。同期タスクとは、コア１３Ａがコア１３Ｂまたは第２演算部１２Ｂに処理の実行を指示すると、コア１３Ｂまたは第２演算部１２Ｂにおける処理が終了するまでコア１３Ａに制御が戻らないタスクである。一方、非同期タスクとは、コア１３Ａがコア１３Ｂまたは第２演算部１２Ｂに処理の実行を指示すると、コア１３Ｂまたは第２演算部１２Ｂにおける処理の終了を待たずにコア１３Ａに制御が戻るタスクである。
　制御部６２は、タスクキュー６４からタスクを取得し、取得したタスクを実行させる。タスクの実行が開始されると、本例示的実施形態では、タスクから処理を終了したか又は継続中かを表す情報が制御部６２に出力される。なお、本例示的実施形態に限定されず、例えば、継続中かを表す情報については出力せず、処理を終了したことを表す情報のみを制御部６２に出力する形態であってもよい。
　タスクが非同期タスクの場合、タスクの実行を開始したばかりのタイミングであるためタスクからは処理が継続中であることを表す情報が出力される。この場合、制御部６２は、登録部６７を介して、処理が継続中である非同期タスクをリスト６９に登録する。本例示的実施形態のリスト６９が、本開示の終了検知タスク管理情報の一例である。
　リスト６９に登録される非同期タスクは、非同期処理の終了を検知するための終了検知タスク（詳細後述）が組み合わされたタスクとされている。以下では、終了検知タスクが組み合わされた非同期タスクを単に「終了検知タスク」という。また、以下では、終了検知タスクにおいて、組み合わされた非同期タスクの処理が継続中である状態のものを「継続中の終了検知タスク」といい、組み合わされた非同期タスクの処理が終了している状態のものを「終了済の終了検知タスク」という。
　図６Ａは、リスト６９の状態の一例を示している。図６Ａに示した例では、既に２つの継続中の終了検知タスクＴＥｐがリスト６９に登録された状態が模式的に示されている。なお、リスト６９において示した実線の矢印は、リストの先頭から末尾へ向かう方向を表している。具体的には、図６Ａ中では、リスト６９の左側が先頭であり、矢印の先に当たる右側が末尾になる。
　図６Ｂは、登録部６７が、新たな継続中の終了検知タスクＴＥｐを１つ、リスト６９に登録する例を模式的に示している。登録部６７は、リスト６９に終了検知タスクＴＥｐを登録する場合、一例として図６Ｂに示すように、リスト６９の末尾に終了検知タスクＴＥｐを登録する。
　一方、タスクが同期タスクの場合、タスクからは処理を終了したことを表す情報が出力される。この場合、制御部６２は、タスクキュー６４に次のタスクを取得しに行く前に、判定部６８でのリスト判定処理（詳細後述）を実行する。
　判定部６８は、リスト６９を先頭から順番に走査し、終了済の終了検知タスクの有無を調べる。判定部６８は、終了済の終了検知タスクが有ると判定した場合、判定した終了済の終了検知タスクをリスト６９から抜き出すことにより削除してリスト６９を更新する。
　図７Ａは、判定部６８がリスト６９を先頭から順番に走査し、リスト６９中の２番目の終了検知タスクが終了済の終了検知タスクＴＥｆであると判定した状態の例を模式的に示している。図７Ｂに示すように判定部６８は、終了済の終了検知タスクＴＥｆであると判定した場合、判定した終了済の終了検知タスクＴＥｆをリスト６９から抜き出すことにより削除してリスト６９を更新する。図７Ｃに示すように続けて判定部６８は、次の順番の終了検知タスクが終了済の終了検知タスクＴＥｆであるか否かを判定する。判定部６８は、以上の処理をリスト６９の末尾まで実行する。
　本例示的実施形態に係る出力部６６は、制御部６２による制御により、画像処理ＤＡＧ５０Ｂの最終段の画像処理モジュール３８により実行された画像処理の結果得られた出力画像データを出力する。本例示的実施形態では、出力部６６は、得られた出力画像データにより示される出力画像を表示部１６に表示する。なお、出力部６６は、出力画像データを外部装置に出力（送信）してもよい。また、コンピュータ１０がプリンタに組み込まれている場合は、出力部６６は、出力画像データにより示される出力画像を紙等の記録材料に出力（形成）してもよい。
　次に、図８～図１３を参照して、本例示的実施形態に係るコンピュータ１０の作用を説明する。なお、図８は、アプリケーション３２により画像処理の実行開始の指示が入力された場合に第１演算部１２Ａによって実行されるＤＡＧ構築・実行処理の流れの一例を示すフローチャートである。また、ＤＡＧ構築・実行処理のプログラム（ＤＡＧ構築・実行処理プログラム）は記憶部２０に予めインストールされている。また、第１演算部１２Ａにおける何らかのタスクを実行していなく、タスクを実行可能なコア１３がＤＡＧ構築・実行処理プログラムを実行することで、前述した処理構築部４２及び制御部６２として機能する。
　図８のステップ１００で、処理構築部４２は、アプリケーション３２からの構築指示に従い、アプリケーション３２が指示した画像処理を行う画像処理ＤＡＧ５０Ａを構築する。また、処理構築部４２は、画像処理ＤＡＧ５０Ａを上述したように画像処理ＤＡＧ５０Ｂに更新する。
　次のステップ１０２で、制御部６２は、ステップ１００で構築された画像処理ＤＡＧ５０Ｂによる画像処理の実行を、第１演算部１２Ａ（コア１３）及び第２演算部１２Ｂに実行させる画像処理ＤＡＧ実行処理を実行した後、本ＤＡＧ構築・実行処理を終了する。
　本ＤＡＧ構築・実行処理を実行することにより、出力部６６からアプリケーション３２が所望する画像処理の結果が得られる。なお、本例示的実施形態では、本ＤＡＧ構築・実行処理が終了した場合、制御部６２は、処理が完了したことを表す情報、もしくは、処理中に何らかのエラーが生じた場合、その旨を表す情報をアプリケーション３２へ通知する。
　次に、上記ＤＡＧ構築・実行処理のステップ１０２における画像処理ＤＡＧ実行処理について詳細に説明する。本例示的実施形態のＤＡＧ構築・実行処理には、画像処理ＤＡＧ５０Ｂの実行可能なタスクをタスクキュー６４に格納するタスク格納処理と、タスクキュー６４に格納されているタスクを実行するタスク実行処理と、２つの処理が含まれる。
　まず、図９を参照してタスク格納処理について説明する。図９は、タスク格納処理の流れの一例を示すフローチャートである。本例示的実施形態では、タスク格納処理のプログラム（タスク格納処理プログラム）は、ＤＡＧ構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部２０に予めインストールされている。
　第１演算部１２Ａにおける何らかのタスクを実行していなく、タスクを実行可能なコア１３がタスク格納処理プログラムを実行することで、制御部６２として機能し、図９に示したタスク格納処理を実行する。
　図９のステップ１１０で制御部６２は、タスクキュー６４に、実行可能なタスクが格納されているか否かを判定する。本例示的実施形態では、タスクキュー６４に格納されている実行可能なタスクが２以上の場合、ステップ１１０の判定が肯定判定となりステップ１１４へ移行する。
　一方、タスクキュー６４に格納されている実行可能なタスクが２つ未満の場合、ステップ１１０の判定が否定判定となりステップ１１２へ移行する。
　ステップ１１２で制御部６２は、画像処理ＤＡＧ５０Ｂから実行可能なタスクを見つけ出してタスクキュー６４に格納する。図１０に示した例では、制御部６２が、画像処理ＤＡＧ５０Ｂの実行可能な同期タスクＴＳを、既に実行可能な非同期タスクＴＡが格納されているタスクキュー６４に格納した状態を示している。
　なお、タスクを格納する場合、上述したように、タスクキュー６４に格納されているタスクの数が２以下であればよく、本ステップにおいて制御部６２がタスクキュー６４に同時に格納させるタスクの数は１つでもよいし、２つでもよい。具体的には、タスクキュー６４にタスクが格納されていない場合、制御部６２は、タスクキュー６４にタスクを１つもしくは２つ格納すればよいし、タスクキュー６４にタスクが１つ格納されている場合、制御部６２は、タスクキュー６４にタスクを１つ格納すればよい。制御部６２が、本ステップにおいてタスクキュー６４に同時に格納させるタスクの数をいずれとするかは、予め定めておいてもよいし、各コア１３におけるタスク処理の進行に応じて可変としてもよい。
　次のステップ１１４で制御部６２は、画像処理ＤＡＧ５０Ｂの全タスクをタスクキュー６４に格納したか否かを判定する。未だタスクキュー６４に格納していないタスクが有る場合、ステップ１１４の判定が否定判定となりステップ１１０に戻り本タスク格納処理を繰り返す。一方、全てのタスクをタスクキュー６４に格納した場合、ステップ１１４の判定が肯定判定となり本タスク格納処理を終了する。
　次に、図１１を参照してタスク実行処理について説明する。図１１は、タスク実行処理の流れの一例を示すフローチャートである。本例示的実施形態では、タスク実行処理のプログラム（タスク実行処理プログラム）は、ＤＡＧ構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部２０に予めインストールされている。
　第１演算部１２Ａにおける何らかのタスクを実行していなく、タスクを実行可能なコア１３の各々がタスク実行処理プログラムを実行することで、制御部６２、登録部６７、及び判定部６８として機能し、図１１に示したタスク実行処理を実行する。なお、本例示的実施形態では、上記タスク格納処理及びタスク実行処理を異なるコア１３で実行することにより、タスク格納処理及びタスク実行処理が並列に実行される。
　図１１のステップ１２０で制御部６２は、タスクキュー６４からタスクを取得する。
　次のステップ１２２で制御部６２は、タスクの実行において予め定められた前処理を実行する。本ステップにおいて実行する前処理は画像処理前に行っておくことが予め定められている処理であり、特に限定されないが、例えば、画像処理結果を格納するための出力バッファ領域の確保や画像処理用の変数の初期化等の演算用のリソースの確保を行う処理である。
　次のステップ１２４で制御部６２は、上記ステップ１２０で取得したタスクを、第１演算部１２Ａのコア１３または第２演算部１２Ｂに実行させる。なお、第２演算部１２Ｂにタスクを実行させる場合、第１演算部１２Ａのコア１３が、第２演算部１２Ｂにタスクを実行させる処理を行うことにより、第２演算部１２Ｂによりタスクが実行される。本例示的実施形態の第２演算部１２Ｂに実行させるタスクが、本開示の実行指示タスクの一例である。
　なお、タスクが第２演算部１２Ｂで実行するタスクであるか否かを表す情報は、上記ＤＡＧ構築・実行処理のステップ１００（図８参照）で処理構築部４２が画像処理ＤＡＧ５０Ａから画像処理ＤＡＧ５０Ｂを生成する処理において付与される。
　次のステップ１２６で制御部６２は、上記ステップ１２４で実行したタスクが終了した（終了済）であるか否かを判定する。
　タスクが第２演算部１２Ｂで実行されるタスクの場合（図１０の矢印(a）参照）、高速に処理を行うため、一般的に処理に必要なデータ（画像データ）は第２演算部１２Ｂのローカルメモリ１５に転送して処理される。以下では、第２演算部１２ＢがＧＰＵである場合を具体例として説明する。一例として、図１３Ａに示すように、ＧＰＵ処理であるタスクＴ１、Ｔ２が連続して行われる場合、図１３Ｂに一例を示すように、タスクＴ１の実行前にメモリ１４から第２演算部１２Ｂのローカルメモリ１５への転送処理、及びタスクＴ２の実行後にローカルメモリ１５からメモリ１４への処理結果の転送処理が行われる。
　上述したように、コア１３がタスクを実行してＣＰＵに指示することによりＧＰＵが起動及び制御され、ＧＰＵによりタスクが実行される。図１３Ｂに一例を示した同期処理（ＧＰＵにおける処理が終了するまでコア１３に制御が戻らない処理）の場合、通常のＣＰＵにより実行されるタスクと同じように構成されるが、図１３ＢにおけるＧＰＵ処理１とＧＰＵ処理２との間、コア１３は処理が終了するまで待機状態となりコア１３の稼働において無駄が生じる。
　図１３Ｃに一例を示した非同期処理（コア１３がＧＰＵに処理の実行を指示すると処理の終了を待たずに、コア１３側に制御が戻る処理）の場合、コア１３はＧＰＵ処理１及びＧＰＵ処理２と並行して別のタスクが実行可能であるため稼働率が向上される。
　なお、非同期処理の場合、ＧＰＵにより実行されるタスク（図１３Ｃでは、タスクＴ１、Ｔ２）の終了の検知を行う必要がある。そのため、図１３Ｃに示すように、ＧＰＵへの転送、処理、及びＧＰＵからの処理結果の転送の各々（タスクＴ０～Ｔ３）を非同期で処理するための指示をコア１３が行う。そして、コア１３側に制御が戻ると、コア１３は、ＧＰＵにおけるタスクの終了を検知する終了検知タスクＴ４を実行する。
　この場合、ステップＳ１２４が実行されたタイミングでは、処理が終了済となることは、殆どない。処理が終了済ではない場合、ステップ１２６の判定が否定判定となり、ステップ１２８へ移行する。
　ステップ１２８で制御部６２は、登録部６７によりリスト６９の末尾に終了検知タスクＴ４を登録させた後、本タスク実行処理を終了する。
　図１０に示した例では、既に２つの終了検知タスクＴＥｐ、ＴＥｆが登録されているリスト６９の末尾に、非同期タスクＴＡを第２演算部１２Ｂに実行させたコア１３Ａが、その終了検知タスクＴＥｐを登録した状態を示している（矢印（ｂ）参照）。
　一方、タスクが第１演算部１２Ａで実行されるタスクの場合（図１０の矢印(ｃ）参照）、コア１３において同期処理で実行が行われ、同期処理が終了するまで制御部６２に制御が戻らない。従って制御部６２に制御が戻った後のステップ１２６の判定では同期処理が終了済となっているため、ステップ１２６の判定が肯定判定となり、ステップ１３０へ移行する。
　ステップ１３０で制御部６２は、後処理を行う。本ステップにおいて実行する後処理はタスクに対応する部分処理の後に行うことが予め定められている処理であり、特に限定されないが、例えば、上記ステップ１２２の処理において確保した演算用のリソースの解放等を行う処理である。
　次のステップ１３２で制御部６２は、処理構築部４２にタスクの完了通知を行う。タスクの完了通知を受け取った処理構築部４２は、画像処理ＤＡＧ５０Ｂの依存関係を更新する。このように、画像処理ＤＡＧ５０Ｂの依存関係が更新されると、上述したタスク格納処理（図９参照）において処理構築部４２は、更新された依存関係に基づいて、実行可能なタスクを判定する。
　次のステップ１３４で制御部６２は、リスト６９に登録された終了検知タスクに対する判定を行うリスト判定処理を判定部６８に実行させた後、本タスク実行処理を終了する。
　次に、図１２を参照して、上記タスク実行処理（図１１参照）のステップ１３４のリスト判定処理について詳細に説明する。図１２は、リスト判定処理の流れの一例を示すフローチャートである。
　ステップ１５０で判定部６８は、リスト６９の先頭に登録されている終了検知タスクを取得する。
　次のステップ１５２で判定部６８は、終了検知タスクの取得が成功したか否かを判定する。リスト６９が空であり、終了検知タスクを取得できなかった場合、ステップ１５２の判定が否定判定となり、本リスト判定処理を終了する。
　一方、終了検知タスクを取得できた場合、ステップ１５２の判定が肯定判定となり、ステップ１５４へ移行する。
　ステップ１５４で判定部６８は、取得した終了検知タスクに対応する非同期処理が終了済であるか否かを判定する。非同期処理が継続しており、終了検知タスクにより非同期処理の終了を未だ検知していない場合、例えば図１０に示した例では判定部６８が取得した終了検知タスクが終了検知タスクＴＥｐである場合、ステップ１５４の判定が否定判定となり、ステップ１６２へ移行する。ステップ１６２で判定部６８は、リスト６９から次に登録されている終了検知タスクを取得して、ステップ１５２の処理に戻る。
　一方、非同期処理が終了済であり、対応する終了検知タスクにより非同期処理の終了を検知した場合、例えば図１０に示した例では判定部６８が取得した終了検知タスクが終了検知タスクＴＥｆである場合、ステップ１５４の判定が肯定判定となり、ステップ１５６へ移行する。
　ステップ１５６で判定部６８は、終了済である終了検知タスクをリスト６９から抜き出して削除する（図７Ｂも参照）。
　次のステップ１５８で判定部６８は、上述したタスク実行処理（図１１参照）のステップ１３０と同様に後処理を行う。さらに次のステップ１６０で判定部６８は、上述したタスク実行処理のステップ１３２と同様に、処理構築部４２にタスクの完了通知を行う。
　次のステップ１６２で判定部６８は、リスト６９から次に登録されている終了検知タスクを取得して、ステップ１５２の処理に戻る。
　すなわち、制御部６２は、リスト６９を先頭から末尾まで順番に走査し、終了検知タスクの各々について、組み合わされている非同期処理を終了したか否かの判定を実行する。図１０の矢印（ｄ）は、同期タスクＴｓの処理を終了したコア１３Ｂが、２番目に登録されている終了検知タスクが、終了済の終了検知タスクＴＥｆである状態のリスト６９を先頭から順番に走査する場合を例示している。
　このように本例示的実施形態では、第２演算部１２Ｂに非同期タスクの処理の実行を指示し、かつタスクの実行が終了していないコア１３は、リスト６９に終了検知タスクを登録する。また、タスクの実行が終了したコア１３は、リスト判定処理を行って、終了済みの終了検知タスクをリスト６９から削除し、さらに対応する非同期タスクの後処理を行って処理構築部４２にタスクの完了通知を行う。
　本例示的実施形態では、終了検知タスクの管理をリスト６９により行うため、第２演算部１２Ｂで実行される非同期タスクの終了の検知を効率的に行うことができる。これにより、本例示的実施形態では、第２演算部１２Ｂを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
　なお、リスト６９に終了検知タスクが登録されているにもかかわらず、タスク格納処理（図９参照）によりタスクキュー６４に格納されたタスクがなくなった場合、リスト６９に登録されている終了検知タスクをタスクキュー６４に格納するとよい。これにより、コア１３が待機状態になり、デッドロックしてしまうのを抑制することができる。
　なお、本例示的実施形態において、上述した画像処理ＤＡＧ５０Ｂの更新やタスクキュー６４へのタスクの格納、及びタスクキュー６４からタスクの取り出しの各々の処理は、排他制御しながら行う必要があることは言うまでもない。
［第２例示的実施形態］
　本例示的実施形態では、終了検知タスクの登録、判定のための走査、及び削除の各々を行うためのリスト６９へのアクセスを、錯綜を回避するために排他制御する形態について説明する。なお、上記第１例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
　本例示的実施形態のコンピュータ１０の構成は第１例示的実施形態のコンピュータ１０の構成（図１及び３参照）と同様であるため、詳細な説明を省略する。
　本例示的実施形態では、コンピュータ１０が実行するＤＡＧ構築・実行処理（図８参照）におけるタスク格納処理は第１例示的実施形態のタスク格納処理（図９参照）と同様であるため説明を省略する。一方、タスク実行処理は、第１例示的実施形態のタスク実行処理（図１１参照）と異なる処理を含むため、以下では、本例示的実施形態におけるタスク実行処理について詳細に説明する。
　図１４は、本例示的実施形態のタスク実行処理の流れの一例を示すフローチャートである。図１４に示すように本例示的実施形態のタスク実行処理は、ステップ１２６とステップ１２８との間にステップ１２７Ａ及び１２７Ｂの処理を含み、ステップ１２８の後にステップ１２９の処理を含む点で、第１例示的実施形態のタスク実行処理（図１１参照）と異なっている。
　本例示的実施形態ではステップ１２６で否定判定となった場合、ステップ１２７Ａに移行する。ステップ１２７Ａで制御部６２は、リスト６９のアクセスに対する排他制御のロックを取得できたか否かを判定する。ロックが取得できるまでステップ１２７Ａの判定が否定判定となり、ロックが取得できるとステップ１２７Ａの判定が肯定判定となりステップ１２７Ｂへ移行する。
　ステップ１２７Ｂで制御部６２は、上述した第１例示的実施形態のタスク実行処理のステップ１３４と同様に、判定部６８によりリスト判定処理を行った後、ステップ１２８に移行する。ステップ１２８で上述したように、登録部６７によりリスト６９の末尾に終了検知タスクを登録させた後、ステップ１２９へ移行する。
　ステップ１２９で制御部６２は、取得したロックを解放した後、本タスク実行処理を終了する。
　また、図１４に示すように本例示的実施形態のタスク実行処理は、ステップ１３２とステップ１３４との間にステップ１３３の処理を含み、ステップ１３４の処理の後にステップ１３５の処理を含む点で、第１例示的実施形態のタスク実行処理（図１１参照）と異なっている。
　ステップ１３３で制御部６２は、リスト６９のアクセスに対する排他制御のロックを取得できたか否かを判定する。ロックが取得できなかった場合、ステップ１３３の判定が否定判定となり、本タスク実行処理を終了する。一方、ロックが取得できた場合、ステップ１３３の判定が肯定判定となりステップ１３４へ移行する。
　また、ステップ１３５で制御部６２は、取得したロックを解放した後、本タスク実行処理を終了する。
　このように本例示的実施形態のコンピュータ１０では、リスト６９に終了検知タスクを登録するコア１３は、リスト６９に対するアクセスのロックが取得できるまで待機状態となり、ロックが取得できるとリスト判定処理を行った後、リスト６９に終了検知タスクを登録する。また、タスクの完了通知を受け取ったコア１３は、リスト６９に対するアクセスのロックが取得できた場合、リスト判定処理を行い、ロックが取得できない場合、リスト判定処理を行わない。
　本例示的実施形態と異なり、リスト６９へのアクセスを単に排他制御した場合、リスト判定処理を実行するコア１３が複数有り、コア１３の各々がリスト６９にアクセスするタイミングが重なると、１つのコア１３がリスト６９にアクセスしている間、他のコア１３がブロックされてしまう。この場合、ブロックされるコア１３の稼働に無駄が生じる。リスト６９に対するアクセスのロックを取得したコア１３がリスト判定処理によりリスト６９内の全ての終了検知タスクを走査するため、他のコア１３によるリスト判定処理は行わなくてよい。
　そこで、本例示的実施形態では、ロックが取得できなかったコア１３は、リスト判定処理を行わないことで、処理を効率化し、コア１３の稼働の無駄を抑制することができる。
　また、終了検知タスクの登録を行うコア１３がリスト６９へのロックを取得している間、リスト判定処理を行うコア１３はブロックされてしまう。本例示的実施形態と異なり、リスト判定処理を行うコア１３のブロックのみを行うと、終了済みの終了検知タスクの判定が遅れてしまい、第２演算部１２Ｂに新たに非同期タスクを行わせることができなくなり、第２演算部１２Ｂの稼働に無駄が生じる。
　そこで、本例示的実施形態では、終了検知タスクの登録を行うコア１３がリスト６９へのロックを取得した場合、リスト判定処理も行うことで、終了済みの終了検知タスクの判定をより効率的に行うことができる。これにより、本例示的実施形態では、第２演算部１２Ｂをより効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
［第３例示的実施形態］
　本例示的実施形態では、リスト判定処理を１つのタスクとして扱う形態について説明する。なお、上記第１例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
　本例示的実施形態のコンピュータ１０の構成は第１例示的実施形態のコンピュータ１０の構成（図１及び３参照）と同様であるため、詳細な説明を省略する。
　本例示的実施形態では、コンピュータ１０が実行するＤＡＧ構築・実行処理（図８参照）におけるタスク格納処理は第１例示的実施形態のタスク格納処理（図９参照）と同様であるため説明を省略する。一方、タスク実行処理は、第１例示的実施形態のタスク実行処理（図１１参照）と異なる処理を含むため、以下では、本例示的実施形態におけるタスク実行処理について詳細に説明する。
　図１５は、本例示的実施形態のタスク実行処理の流れの一例を示すフローチャートである。図１５に示すように本例示的実施形態のタスク実行処理は、ステップ１２８の後にステップ１３９の処理を含む点で、第１例示的実施形態のタスク実行処理（図１１参照）と異なっている。
　終了検知タスクをリスト６９に登録した後、ステップ１３９で制御部６２は、リスト判定処理を行わせるための判定タスクをタスクキュー６４に格納した後、本タスク実行処理を終了する。図１６に示して例では、リスト６９に終了検知タスクＴＥｐ格納したコア１３Ａが、タスクキュー６４に判定タスクＴＪを格納する状態を示している（矢印（ｅ）参照）。
　また、図１５に示すように本例示的実施形態のタスク実行処理は、ステップ１２０とステップ１２２との間にステップ１２１の処理を含む点、及びステップ１３４の処理を実行するタイミングが第１例示的実施形態のタスク実行処理（図１１参照）と異なっている。
　ステップ１２１で制御部６２は、取得したタスクが判定タスクであるか否かを判定する。取得したタスクが判定タスクではない場合、ステップ１２１の判定が否定判定となり、ステップ１２２へ移行する。一方、取得したタスクが判定タスクである場合、ステップ１２１の判定が肯定判定となり、ステップ１３４移行し、リスト判定処理を実行した後、本タスク実行処理を終了する。なお、本例示的実施形態では、ステップ１３２で処理構築部４２にタスクの完了通知を行った後、本タスク実行処理を終了する。
　このように本例示的実施形態では、リスト判定処理を行うための判定タスクをタスクキュー６４に格納することにより、リスト判定処理を行うタイミングをコア１３がタスクキュー６４から判定タスクを取得したタイミングとしている。
　本例示的実施形態の場合においても、複数の終了検知タスクを一括してリスト６９により管理し、一度のリスト判定処理の実行により、リスト６９に登録されている全ての終了検知タスクについて、終了済みの終了検知タスクであるか否かを判定している。そのため、例えば、個々の終了検知タスクをタスクキュー６４に格納する場合に比べて、終了済みの終了検知タスクの判定を効率的に行うことができる。これにより、本例示的実施形態では、第２演算部１２Ｂを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
　以上説明したように、上記各例示的実施形態のコンピュータ１０は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行するコンピュータ１０であって、画像処理の対象となる画像データを複数の分割画像データに分割する分割部６０と、分割画像データに対して行う画像処理であるタスクで、かつ前後の依存関係に応じて処理可能なタスクを第１演算部１２Ａが備える複数のコア１３の各々に並列して実行させる制御を行う制御部６２と、第１演算部１２Ａと非同期に第２演算部１２Ｂがタスクを実行可能な場合、第２演算部１２Ｂに対するタスクの実行を指示する実行指示タスクを第１演算部１２Ａのコア１３において実行した後に、第２演算部１２Ｂにおけるタスクの終了を検知する終了検知タスクをリスト６９に登録する登録部６７と、リスト６９にアクセスし、第２演算部１２Ｂがタスクを終了した終了検知タスクの有無を判定する判定部６８と、を備える。
　このように上記各例示的実施形態では、第２演算部１２Ｂに非同期タスクの処理の実行を指示したコア１３は、リスト６９に終了検知タスクを登録する。また、コア１３は、リスト判定処理により終了済みの終了検知タスクをリスト６９から削除し、処理構築部４２にタスクの完了通知を行う。
　これに対して上記各例示的実施形態と異なり、終了検知タスクをタスクキュー６４に格納する場合、終了検知タスクの前に格納されている他のタスクの実行が終了し、終了検知タスクがタスクキュー６４から取得されるまでタスクの実行が終了しているにもかかわらず、第２演算部１２Ｂに新たにタスクを行わせることができない。そのため、第２演算部１２Ｂを十分に稼働させることができず、画像処理の処理効率が低下する。
　一方、上記各例示的実施形態では、複数の終了検知タスクの管理をリスト６９により行うため、第２演算部１２Ｂで実行される非同期タスクの終了の検知を効率的に行うことができる。これにより、上記各例示的実施形態では、第２演算部１２Ｂを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
従って、上記各例示的実施形態のコンピュータ１０によれば、第２演算部１２Ｂにおけるタスクの終了の検知をより効率的に行うことにより画像処理を高速化することができる。
　なお、上記各例示的実施形態では、第２演算部１２Ｂがコンピュータ１０内部に備えられている場合について説明したが、第２演算部１２Ｂは、コンピュータ１０の外部に設けられていてもよいし、コンピュータ１０と異なるコンピュータに備えられていてもよい。
　また、上記各例示的実施形態では、各種プログラムが記憶部２０に予め記憶（インストール）されている態様を説明したが、これに限定されない。各種プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、各種プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　日本出願特願２０１７－１６５５１０の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 　画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、
    　前記画像処理の対象となる画像データを複数の分割画像データに分割する分割部と、
    　前記分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第１演算部が備える複数の演算装置の各々に並列して実行させる制御を行う制御部と、
    　前記第１演算部と非同期に第２演算部が前記部分処理を実行可能な場合、前記第２演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第１演算部の演算装置において実行した後に、前記第２演算部における前記部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録する登録部と、
    　前記終了検知タスク管理情報にアクセスし、前記第２演算部が前記部分処理を終了した前記終了検知タスクの有無を判定する判定部と、
    　を備えた画像処理装置。
  2. 　前記演算装置は、前記部分処理の実行後に前記判定部として動作する、請求項１に記載の画像処理装置。
  3. 　前記演算装置は、前記判定部として前記終了検知タスクの有無の判定の終了後、再び前記制御部の制御により他の部分処理を実行する、請求項２に記載の画像処理装置。
  4. 　前記演算装置は、前記登録部として動作する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
  5. 　前記演算装置は、前記登録部としての動作と前記判定部としての動作とを連続して行う、請求項１から請求項４のいずれか１項に記載の画像処理装置。
  6. 　前記制御部は、前記判定部として動作させるための判定タスクを前記演算装置に実行させる、請求項１に記載の画像処理装置。
  7. 　前記登録部及び前記判定部の前記終了検知タスク管理情報へのアクセスは排他制御されている、請求項１から請求項６のいずれか１項に記載の画像処理装置。
  8. 　前記判定部は、前記第２演算部が前記部分処理を終了した前記終了検知タスクを前記終了検知タスク管理情報から削除する、請求項１から請求項７のいずれか１項に記載の画像処理装置。
  9. 　前記制御部は、タスクキューに格納された前記部分処理を順次取り出して前記複数の演算装置に並列して実行させる、請求項１から請求項８のいずれか１項に記載の画像処理装置。
  10. 　画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法であって、
    　前記画像処理の対象となる画像データを複数の分割画像データに分割し、
    　前記分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第１演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、
    　前記第１演算部と非同期に第２演算部が前記部分処理を実行可能な場合、前記第２演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第１演算部の演算装置において実行した後に、前記第２演算部における前記部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、
    　前記終了検知タスク管理情報にアクセスし、前記第２演算部が前記部分処理を終了した前記終了検知タスクの有無を判定する、
    　処理を含む画像処理方法。
  11. 　コンピュータを、請求項１から請求項９のいずれか１項に記載の画像処理装置の分割部、制御部、登録部、及び判定部として機能させるための画像処理プログラム。
PCT/JP2018/028743 2017-08-30 2018-07-31 画像処理装置、画像処理方法、及び画像処理プログラム WO2019044340A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019539104A JP6945634B2 (ja) 2017-08-30 2018-07-31 画像処理装置、画像処理方法、及び画像処理プログラム
CN201880055557.1A CN111052084B (zh) 2017-08-30 2018-07-31 图像处理装置、图像处理方法以及图像处理程序
US16/803,884 US11257178B2 (en) 2017-08-30 2020-02-27 Image processing device, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-165510 2017-08-30
JP2017165510 2017-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/803,884 Continuation US11257178B2 (en) 2017-08-30 2020-02-27 Image processing device, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019044340A1 true WO2019044340A1 (ja) 2019-03-07

Family

ID=65527284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028743 WO2019044340A1 (ja) 2017-08-30 2018-07-31 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US11257178B2 (ja)
JP (1) JP6945634B2 (ja)
CN (1) CN111052084B (ja)
WO (1) WO2019044340A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022379A (ja) * 2019-07-27 2021-02-18 アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー ハードウェアアクセラレータの自律ジョブキューイングシステム
JP2022188077A (ja) * 2019-07-27 2022-12-20 アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー ハードウェアアクセラレータの自律ジョブキューイングシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861126B1 (en) * 2019-06-21 2020-12-08 Intel Corporation Asynchronous execution mechanism

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03246746A (ja) * 1990-02-26 1991-11-05 Hitachi Ltd 並列実行方法およびコンパイラおよび並列プロセススケジュール支援ツール
JP2010146055A (ja) * 2008-12-16 2010-07-01 Fujifilm Corp 画像処理装置、方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2956201B2 (ja) * 1990-11-06 1999-10-04 日本電信電話株式会社 画像信号のタスク分割並列処理方法
JP2003263331A (ja) * 2002-03-07 2003-09-19 Toshiba Corp マルチプロセッサシステム
JP2004030321A (ja) 2002-06-26 2004-01-29 Mitsubishi Heavy Ind Ltd ３ｄ―ｃａｄ図面干渉確認方法および３ｄ―ｃａｄ図面干渉確認システム
US8310491B2 (en) * 2007-06-07 2012-11-13 Apple Inc. Asynchronous notifications for concurrent graphics operations
JP5479519B2 (ja) * 2012-03-30 2014-04-23 富士フイルム株式会社 画像処理装置、方法及びプログラム
US9588804B2 (en) * 2014-01-21 2017-03-07 Qualcomm Incorporated System and method for synchronous task dispatch in a portable device
US10026145B2 (en) * 2016-12-13 2018-07-17 Qualcomm Incorporated Resource sharing on shader processor of GPU

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03246746A (ja) * 1990-02-26 1991-11-05 Hitachi Ltd 並列実行方法およびコンパイラおよび並列プロセススケジュール支援ツール
JP2010146055A (ja) * 2008-12-16 2010-07-01 Fujifilm Corp 画像処理装置、方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022379A (ja) * 2019-07-27 2021-02-18 アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー ハードウェアアクセラレータの自律ジョブキューイングシステム
US11397612B2 (en) 2019-07-27 2022-07-26 Analog Devices International Unlimited Company Autonomous job queueing system for hardware accelerators
JP2022188077A (ja) * 2019-07-27 2022-12-20 アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー ハードウェアアクセラレータの自律ジョブキューイングシステム
JP7467554B2 (ja) 2019-07-27 2024-04-15 アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー ハードウェアアクセラレータの自律ジョブキューイングシステム

Also Published As

Publication number Publication date
JP6945634B2 (ja) 2021-10-06
JPWO2019044340A1 (ja) 2020-10-29
US20200202482A1 (en) 2020-06-25
CN111052084B (zh) 2023-10-17
US11257178B2 (en) 2022-02-22
CN111052084A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108463836B (zh) 图像处理装置、图像处理方法和图像处理程序
US7652671B2 (en) Image processing device and method and storage medium storing program
US11257178B2 (en) Image processing device, image processing method, and storage medium
CN108475213B (zh) 图像处理装置、图像处理方法和图像处理程序
US10949942B2 (en) Image processing apparatus, image processing method, and image processing program
US11341599B2 (en) Image processing apparatus, image processing method, and computer readable medium storing image processing program
JP6592184B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7039424B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020059161A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP6600077B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010146055A (ja) 画像処理装置、方法及びプログラム
JP2008140170A (ja) 画像処理装置及びプログラム
JP2009258908A (ja) 画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851318

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019539104

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18851318

Country of ref document: EP

Kind code of ref document: A1