JP6340333B2 - Endoscope device - Google Patents

Endoscope device Download PDF

Info

Publication number
JP6340333B2
JP6340333B2 JP2015053187A JP2015053187A JP6340333B2 JP 6340333 B2 JP6340333 B2 JP 6340333B2 JP 2015053187 A JP2015053187 A JP 2015053187A JP 2015053187 A JP2015053187 A JP 2015053187A JP 6340333 B2 JP6340333 B2 JP 6340333B2
Authority
JP
Japan
Prior art keywords
kernel
unit
usage rate
processing
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015053187A
Other languages
Japanese (ja)
Other versions
JP2016171900A (en
Inventor
田子 宏樹
宏樹 田子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015053187A priority Critical patent/JP6340333B2/en
Publication of JP2016171900A publication Critical patent/JP2016171900A/en
Application granted granted Critical
Publication of JP6340333B2 publication Critical patent/JP6340333B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡により取得された映像信号を処理する内視鏡装置に関する。 The present invention relates to endoscopic KagamiSo location for processing the video signal acquired by the endoscope.

従来、映像信号を処理する分野においては、GPU(Graphics Processing Unit)が知られている。GPUは、例えば複数のVALU(Vector Arithmetic Logic Unit)を含むCU(Compute Unit)を複数備えた構成を有し、映像処理等を非常に高速に行うことができる。近年では、CKE(Concurrent Kernel Execution)と称する、複数のカーネル(GPU上で動作するプログラム)を並列処理する仕組みを持ったGPUが一般的であり、全てのCUをフル活用した高度な並列処理が実現可能になっている。   Conventionally, a GPU (Graphics Processing Unit) is known in the field of processing video signals. The GPU has a configuration including a plurality of CUs (Compute Units) including, for example, a plurality of VALUs (Vector Arithmetic Logic Units), and can perform video processing and the like at a very high speed. In recent years, GPUs with a mechanism for parallel processing of multiple kernels (programs running on GPUs) called CKE (Concurrent Kernel Execution) are common, and advanced parallel processing that fully utilizes all CUs It has become feasible.

一方で、GPU上でカーネルの処理をどのように分割し、また、分割した処理をどのようにCUに配分して実行させるかについては、カーネルコンパイラやGPU上のスケジューラに委ねられる部分が多く、カーネルを実行する際のGPUの状態(ハードウェアリソースの使用状況等)に依存する。これは、GPUが実行するカーネルが同一であっても、GPUに対してカーネルの実行を指示してからGPUがそのカーネルの実行を完了するまでに要する時間が、その都度、異なってしまい、その時間を予測することができないことを示唆する。   On the other hand, as to how to divide kernel processing on the GPU and how to divide and execute the divided processing on the CU, there are many parts left to the kernel compiler or scheduler on the GPU. It depends on the state of the GPU (hardware resource usage, etc.) when executing the kernel. This is because even if the kernel executed by the GPU is the same, the time required for the GPU to complete the execution of the kernel after it is instructed to the GPU is different each time. Suggests that time cannot be predicted.

このことから、特に処理時間に制約のある医療分野の内視鏡装置では、GPUを安易に採用することはできない。仮に、GPUを採用するのであれば、カーネルの処理を適切に分割し、分割した処理を適切にCUに配分して実行させる仕組みが必要になる。   For this reason, it is not possible to easily adopt a GPU in an endoscope apparatus in the medical field that has a limitation in processing time. If a GPU is used, a mechanism for appropriately dividing kernel processing and appropriately distributing the divided processing to CUs is required.

なお、映像信号を処理する分野においては、次のような装置も知られている。
例えば、描画コマンドに基づいて画像データの複数の描画領域を夫々描画する複数の描画手段を有する画像形成装置において、現在の画像データが描画される際の、複数の描画領域夫々に対する描画処理の負荷量を算出し、描画コマンドに基づいて、次の画像データが描画される際の、複数の描画領域夫々に対する描画処理の負荷量の変化を予測し、上記の算出結果と予測結果とに基づいて、次の画像データが描画される際の、複数の描画領域夫々に対する描画処理の負荷量を算出し、その算出結果に基づいて、複数の描画手段に対して処理を割り当てるようにしたものが知られている(例えば特許文献1参照)。
The following devices are also known in the field of processing video signals.
For example, in an image forming apparatus having a plurality of drawing units that respectively draw a plurality of drawing areas of image data based on a drawing command, the load of drawing processing on each of the plurality of drawing areas when the current image data is drawn The amount is calculated, and based on the drawing command, a change in the drawing processing load amount for each of the plurality of drawing regions when the next image data is drawn is predicted. Based on the calculation result and the prediction result, It is known that when the next image data is drawn, the amount of drawing processing applied to each of a plurality of drawing areas is calculated, and processing is assigned to a plurality of drawing means based on the calculation result. (See, for example, Patent Document 1).

特開2013−127664号公報JP 2013-127664 A

以上のような実情を踏まえ、本発明は、並列処理が可能な複数の演算ユニットを含む内視鏡装置において、その複数の演算ユニットにプログラムの処理を適切に配分して実行させることができる内視鏡装置を提供することを目的とする。 In light of the above situation, the present invention provides an endoscope apparatus that includes a plurality of arithmetic units capable of parallel processing, and can appropriately distribute and execute program processing among the plurality of arithmetic units. an object of the present invention is to provide an endoscope equipment.

本発明の第1の態様は、複数の演算ユニットと、前記複数の演算ユニットの使用率を取得する第1の取得部と、過去に実行されたプログラム毎の、当該プログラムの実行に使用された前記複数の演算ユニットの使用率を記憶する記憶部と、前記第1の取得部により取得された用率と、前記記憶部に記憶されているプログラム毎の使用率とに基づいて、実行待ちのプログラムの中から、次に実行させるプログラムを決定する決定部と、を備える内視鏡装置を提供する。   The first aspect of the present invention was used to execute a plurality of arithmetic units, a first acquisition unit that acquires the usage rate of the plurality of arithmetic units, and each program executed in the past. Based on the storage unit that stores the usage rates of the plurality of arithmetic units, the usage rate acquired by the first acquisition unit, and the usage rate for each program stored in the storage unit, An endoscope apparatus comprising: a determining unit that determines a program to be executed next from among programs.

本発明の第2の態様は、第1の態様において、プログラムが実行されたときに、当該プログラムの実行に使用された前記複数の演算ユニットの使用率を取得する第2の取得部を更に備え、前記第2の取得部により取得された使用率が前記記憶部に記憶される、内視鏡装置を提供する。   According to a second aspect of the present invention, in the first aspect, when the program is executed, the second aspect further includes a second acquisition unit that acquires usage rates of the plurality of arithmetic units used to execute the program. An endoscope apparatus in which the usage rate acquired by the second acquisition unit is stored in the storage unit is provided.

本発明の第3の態様は、第1又は2の態様において、前記決定部は、即時に実行を開始させることが可能なプログラムであって、且つ、実行待ちの順番が最先のプログラムを、次に実行させるプログラムとして決定する、内視鏡装置を提供する。   According to a third aspect of the present invention, in the first or second aspect, the determining unit is a program that can immediately start execution, and that has the earliest waiting order for execution, An endoscope apparatus that is determined as a program to be executed next is provided.

本発明の第4の態様は、第1乃至3の何れか一つの態様において、前記決定部は、前記実行待ちのプログラムの中に、所定時間内に実行しなければならないプログラムがある場合には、当該プログラムを優先して、次に実行させるプログラムとして決定する、内視鏡装置を提供する。   According to a fourth aspect of the present invention, in any one of the first to third aspects, the determination unit includes a program that must be executed within a predetermined time in the execution waiting program. There is provided an endoscope apparatus in which the program is prioritized and determined as a program to be executed next.

本発明の第5の態様は、第1乃至4の何れか一つの態様において、前記複数の演算ユニットは、GPU(Graphics Processing Unit)に含まれる複数の演算ユニットである、内視鏡装置を提供する。   A fifth aspect of the present invention provides an endoscope apparatus according to any one of the first to fourth aspects, wherein the plurality of arithmetic units are a plurality of arithmetic units included in a GPU (Graphics Processing Unit). To do.

本発明によれば、並列処理が可能な複数の演算ユニットを含む内視鏡装置において、その複数の演算ユニットにプログラムの処理を適切に配分して実行させることができる、という効果を奏する。   According to the present invention, in an endoscope apparatus including a plurality of arithmetic units capable of parallel processing, there is an effect that program processing can be appropriately distributed and executed to the plurality of arithmetic units.

第1の実施形態に係る内視鏡装置を含む内視鏡システムの構成例を示す図である。It is a figure which shows the structural example of the endoscope system containing the endoscope apparatus which concerns on 1st Embodiment. 第1の実施形態に係る、画像処理部及びシステム制御部の内部構成例を示す図である。It is a figure which shows the internal structural example of the image process part and system control part which concern on 1st Embodiment. 第1の実施形態に係る、画像処理部及びシステム制御部の動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of operations of an image processing unit and a system control unit according to the first embodiment. 第2の実施形態に係る、画像処理部及びシステム制御部の内部構成例を示す図である。It is a figure which shows the internal structural example of the image process part and system control part which concern on 2nd Embodiment. 第2の実施形態に係る、画像処理部及びシステム制御部の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the image process part and system control part which concern on 2nd Embodiment.

以下、図面を参照しながら、本発明の実施の形態について説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る内視鏡装置を含む内視鏡システムの構成例を示す図である。なお、この内視鏡システムは、例えば医療機関(病院等)で使用される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram illustrating a configuration example of an endoscope system including an endoscope apparatus according to the first embodiment of the present invention. This endoscope system is used in, for example, medical institutions (hospitals and the like).

図1に示したように、内視鏡システム1は、内視鏡2、ケーブル3、及び内視鏡装置4を含み、内視鏡2がケーブル3を介して内視鏡装置4に接続される構成を有する。
内視鏡2は、スコープ制御部21、照明光学系22、対物光学系23、及び撮像素子24を含む。スコープ制御部21は、内視鏡装置4の後述のビデオプロセッサ機能部41のシステム制御部412からケーブル3を介して入力される撮像制御信号に応じて撮像素子24を制御する。照明光学系22は、内視鏡装置4の後述の光源機能部42の光源422から出射されて図示しないライトガイドを介して導かれた照明光を被写体に照明する。対物光学系23は、被写体からの反射光(被写体に照明された照明光の反射光)を撮像素子24の撮像面に結像する。撮像素子24は、スコープ制御部21の制御の下に、撮像面に結像されている被写体像(被写体からの反射光)を電気信号である映像信号に変換し、その映像信号を、ケーブル3を介して内視鏡装置4の後述のビデオプロセッサ機能部41の画像処理部411へ出力する。
As shown in FIG. 1, the endoscope system 1 includes an endoscope 2, a cable 3, and an endoscope apparatus 4, and the endoscope 2 is connected to the endoscope apparatus 4 via the cable 3. Has a configuration.
The endoscope 2 includes a scope control unit 21, an illumination optical system 22, an objective optical system 23, and an image sensor 24. The scope control unit 21 controls the imaging element 24 according to an imaging control signal input via the cable 3 from a system control unit 412 of a video processor function unit 41 (to be described later) of the endoscope apparatus 4. The illumination optical system 22 illuminates a subject with illumination light emitted from a light source 422 of a light source function unit 42 (to be described later) of the endoscope apparatus 4 and guided through a light guide (not shown). The objective optical system 23 forms an image of reflected light from the subject (reflected light of illumination light illuminated on the subject) on the imaging surface of the imaging device 24. Under the control of the scope control unit 21, the image sensor 24 converts a subject image (reflected light from the subject) formed on the imaging surface into a video signal that is an electrical signal, and the video signal is converted to the cable 3. To the image processing unit 411 of the video processor function unit 41 (to be described later) of the endoscope apparatus 4.

ケーブル3は、内視鏡2と内視鏡装置4との間で送受される信号(映像信号、撮像制御信号)を伝送する信号線を含む。
内視鏡装置4は、ビデオプロセッサ機能部41、光源機能部42、モニタ43、記録媒体44、及び操作部45を含む。
The cable 3 includes a signal line for transmitting a signal (video signal, imaging control signal) transmitted / received between the endoscope 2 and the endoscope apparatus 4.
The endoscope apparatus 4 includes a video processor function unit 41, a light source function unit 42, a monitor 43, a recording medium 44, and an operation unit 45.

ビデオプロセッサ機能部41は、画像処理部411及びシステム制御部412を含む。画像処理部411は、CKE機能を有するGPUであって、システム制御部412の制御の下に、撮像素子24からケーブル3を介して入力される映像信号を処理する。システム制御部412は、画像処理部411、光源機能部42の光源制御部421、及び内視鏡2のスコープ制御部21など、内視鏡システム1の各部を制御する。また、システム制御部412は、操作部45が受け付けたユーザ操作に応じた制御等も行う。   The video processor function unit 41 includes an image processing unit 411 and a system control unit 412. The image processing unit 411 is a GPU having a CKE function, and processes a video signal input from the image sensor 24 via the cable 3 under the control of the system control unit 412. The system control unit 412 controls each unit of the endoscope system 1 such as the image processing unit 411, the light source control unit 421 of the light source function unit 42, and the scope control unit 21 of the endoscope 2. In addition, the system control unit 412 performs control according to the user operation received by the operation unit 45.

光源機能部42は、光源制御部421及び光源422を含む。光源制御部421は、システム制御部412の制御の下に、光源制御信号を光源422へ出力し、光源422を制御する。光源422は、光源制御部421から入力される光源制御信号に応じて照明光を出射する。   The light source function unit 42 includes a light source control unit 421 and a light source 422. The light source control unit 421 outputs a light source control signal to the light source 422 under the control of the system control unit 412 to control the light source 422. The light source 422 emits illumination light according to the light source control signal input from the light source control unit 421.

モニタ43は、画像処理部411により処理された映像信号に応じた映像を表示する。記録媒体44は、画像処理部411により処理された映像信号に応じた映像を記録する。操作部45は、ユーザからの各種操作を受け付け、システム制御部412に通知する。   The monitor 43 displays a video corresponding to the video signal processed by the image processing unit 411. The recording medium 44 records a video corresponding to the video signal processed by the image processing unit 411. The operation unit 45 receives various operations from the user and notifies the system control unit 412.

なお、内視鏡システム1において、ビデオプロセッサ機能部41及び光源機能部42は、図1に示したように一体として構成してもよいし、又は別体として構成してもよい。後者の場合には、光源機能部42が内視鏡装置4に対して別の装置として設けられるように構成してもよい。あるいは内視鏡2、ケーブル3、及び内視鏡装置4を一体として構成してもよい。   In the endoscope system 1, the video processor function unit 41 and the light source function unit 42 may be configured integrally as illustrated in FIG. 1 or may be configured separately. In the latter case, the light source function unit 42 may be provided as a separate device with respect to the endoscope device 4. Or you may comprise the endoscope 2, the cable 3, and the endoscope apparatus 4 as integral.

また、内視鏡2は、軟性内視鏡、硬性内視鏡、又は光学式内視鏡(ファイバースコープや外科手術用の光学視管)に接続されたカメラヘッド等としてもよい。
また、撮像素子24は、CCD(Charge-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサとしてもよい。
The endoscope 2 may be a flexible endoscope, a rigid endoscope, or a camera head connected to an optical endoscope (fiber scope or surgical optical tube).
The image sensor 24 may be an image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).

また、被写体への照明光の照明方式は、同時式又は面順次式等としてもよい。ここで、同時式とは、白色光を被写体に照明する方式であり、面順次式とは、波長帯域の異なる光を時系列に順次照明する方式である。   Further, the illumination method for illuminating the subject may be a simultaneous method, a frame sequential method, or the like. Here, the simultaneous method is a method of illuminating a subject with white light, and the frame sequential method is a method of sequentially illuminating light having different wavelength bands in time series.

また、光源422は、半導体光源又はランプ光源等としてもよい。ここで、半導体光源は、例えば白色光を出射する白色LED、RGB(赤緑青)の各色の色成分毎に異なる半導体光源を用いるもの(R、G、及びBの各LEDを有する光源)、又はレーザ光源等である。あるいは、上述のように内視鏡2、ケーブル3、及び内視鏡装置4を一体として構成した場合等に、光源422としての半導体光源が内視鏡2の先端部に設けられるように構成してもよい。   The light source 422 may be a semiconductor light source or a lamp light source. Here, the semiconductor light source is, for example, a white LED that emits white light, a light source that uses a different semiconductor light source for each color component of RGB (red, green, and blue) (a light source that has R, G, and B LEDs), or A laser light source or the like. Alternatively, when the endoscope 2, the cable 3, and the endoscope apparatus 4 are integrally configured as described above, a semiconductor light source as the light source 422 is configured to be provided at the distal end portion of the endoscope 2. May be.

また、内視鏡2と内視鏡装置4との間の信号の送受は、図1に示したように有線により行われるように構成してもよいし、又は無線により行われるように構成してもよい。
また、モニタ43は、液晶モニタ等としてもよい。また、モニタ43は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は内視鏡装置4に対して外付けされる構成としてもよい。
Further, transmission / reception of signals between the endoscope 2 and the endoscope apparatus 4 may be performed by wire as shown in FIG. 1, or configured to be performed wirelessly. May be.
The monitor 43 may be a liquid crystal monitor or the like. Further, the monitor 43 may be configured to be built in the endoscope apparatus 4 as illustrated in FIG. 1 or may be configured to be externally attached to the endoscope apparatus 4.

また、記録媒体44は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は記録媒体44を内視鏡装置4に対して着脱自在のSDカードやUSB( Universal Serial Bus )メモリ等の記録媒体として構成してもよい。あるいは、記録媒体44を、内視鏡装置4にローカル接続された外部記録装置の記録媒体、又は内視鏡装置4にネットワークを介して接続された外部記録装置(サーバ等)の記録媒体等として構成してもよい。   Further, the recording medium 44 may be configured to be built in the endoscope apparatus 4 as shown in FIG. 1, or the recording medium 44 may be detachably attached to the endoscope apparatus 4 from an SD card or USB ( Universal Serial Bus) It may be configured as a recording medium such as a memory. Alternatively, the recording medium 44 is used as a recording medium of an external recording apparatus locally connected to the endoscope apparatus 4 or a recording medium of an external recording apparatus (server or the like) connected to the endoscope apparatus 4 via a network. It may be configured.

また、操作部45は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は内視鏡装置4に対して外付けされる構成としてもよい。前者の場合には、操作部45を、内視鏡装置4の前面に設けられたフロントパネルスイッチ等として構成してもよい。この場合、そのフロントパネルスイッチは、物理的なスイッチ、又はタッチパネル等によって実現される仮想的なスイッチ等であってもよい。また、操作部45が内視鏡装置4に対して外付けされる構成とした場合には、操作部45を、内視鏡装置4に接続されるキーボード、内視鏡2に設けられたスコープスイッチ、又は内視鏡装置4に有線又は無線による接続される可搬型情報端末装置(タブレット型PC(Personal Computer)、スマートフォン等)等として構成してもよい。   Further, the operation unit 45 may be configured to be built in the endoscope apparatus 4 as illustrated in FIG. 1 or may be configured to be externally attached to the endoscope apparatus 4. In the former case, the operation unit 45 may be configured as a front panel switch or the like provided on the front surface of the endoscope apparatus 4. In this case, the front panel switch may be a physical switch or a virtual switch realized by a touch panel or the like. Further, when the operation unit 45 is configured to be externally attached to the endoscope apparatus 4, the operation unit 45 includes a keyboard connected to the endoscope apparatus 4 and a scope provided in the endoscope 2. You may comprise as a switch or the portable information terminal device (Tablet type PC (Personal Computer), a smart phone, etc.) etc. which are connected to the endoscope apparatus 4 by wire or radio | wireless.

図2は、画像処理部411及びシステム制御部412の内部構成例を示す図である。但し、ここでは、システム制御部412の内部構成例として、画像処理部411に主に関係する要素(映像信号の処理に主に関係する要素)のみを示す。   FIG. 2 is a diagram illustrating an internal configuration example of the image processing unit 411 and the system control unit 412. However, here, as an example of the internal configuration of the system control unit 412, only elements mainly related to the image processing unit 411 (elements mainly related to processing of video signals) are shown.

図2に示したように、画像処理部411は、映像信号を処理するための複数の処理ユニット4111を含む。各処理ユニット4111は、複数のVALUを含み、カーネルの処理を実行する。なお、以下では、複数の処理ユニット4111を、「処理ユニット群」という。   As shown in FIG. 2, the image processing unit 411 includes a plurality of processing units 4111 for processing a video signal. Each processing unit 4111 includes a plurality of VALUs and executes kernel processing. Hereinafter, the plurality of processing units 4111 are referred to as “processing unit group”.

また、画像処理部411は、システム制御部412により実行指示されたカーネルを、その時点で使用されていない処理ユニット4111を使用して実行する機能を有する。また、画像処理部411は、処理ユニット群の使用率(使用量)を算出し、その使用率をシステム制御部412に通知する機能を有する。さらに、画像処理部411は、カーネルを実行したときに、当該カーネルの実行に使用した処理ユニット群の使用率(使用量)を算出し、その使用率をシステム制御部412に通知する機能を有する。なお、カーネルの実行に使用される処理ユニット群の使用率は、カーネルが同一であれば同一(又は略同一)の使用率となる。   Further, the image processing unit 411 has a function of executing the kernel instructed to be executed by the system control unit 412 using the processing unit 4111 that is not used at that time. Further, the image processing unit 411 has a function of calculating a usage rate (usage amount) of the processing unit group and notifying the system control unit 412 of the usage rate. Further, when the kernel is executed, the image processing unit 411 has a function of calculating the usage rate (usage amount) of the processing unit group used for executing the kernel and notifying the usage rate to the system control unit 412. . The usage rate of the processing unit group used for executing the kernel is the same (or substantially the same) usage rate if the kernels are the same.

システム制御部412は、第1の使用率取得部4121、第2の使用率取得部4122、使用率記憶部4123、メモリ4124、カーネル選択部4125、及びカーネル実行指示部4126を含む。   The system control unit 412 includes a first usage rate acquisition unit 4121, a second usage rate acquisition unit 4122, a usage rate storage unit 4123, a memory 4124, a kernel selection unit 4125, and a kernel execution instruction unit 4126.

第1の使用率取得部4121は、画像処理部411の処理ユニット群の使用率を画像処理部411から取得する。第2の使用率取得部4122は、画像処理部411によりカーネルが実行されたときに、当該カーネルの実行に使用された処理ユニット群の使用率を画像処理部411から取得する。   The first usage rate acquisition unit 4121 acquires the usage rate of the processing unit group of the image processing unit 411 from the image processing unit 411. When the kernel is executed by the image processing unit 411, the second usage rate acquisition unit 4122 acquires the usage rate of the processing unit group used to execute the kernel from the image processing unit 411.

使用率記憶部4123は、過去に画像処理部411により実行されたカーネル毎の、当該カーネルの実行に使用された処理ユニット群の使用率を記憶する。例えば、図示はしないが、使用率記憶部4123には、過去の色補正処理カーネルの実行に使用された処理ユニット群の使用率が30%、過去の明るさ補正処理カーネルの実行に使用された処理ユニット群の使用率が20%、過去の画像合成処理カーネルの実行に使用された処理ユニット群の使用率が10%、及び過去のJPEG(Joint Photographic Experts Group)圧縮処理カーネルの実行に使用された処理ユニット群の使用率が10%等というように、過去に実行されたカーネル毎の処理ユニット群の使用率が記憶される。なお、このカーネル毎の処理ユニット群の使用率は、第2の使用率取得部4122により取得されたものである。   The usage rate storage unit 4123 stores the usage rate of the processing unit group used for executing the kernel for each kernel executed by the image processing unit 411 in the past. For example, although not shown, in the usage rate storage unit 4123, the usage rate of the processing unit group used for the execution of the past color correction processing kernel is 30%, and used for the execution of the past brightness correction processing kernel. The processing unit group usage rate is 20%, the past image composition processing kernel usage rate is 10%, and the past JPEG (Joint Photographic Experts Group) compression processing kernel is used. The usage rate of the processing unit group for each kernel executed in the past is stored such that the usage rate of the processing unit group is 10%. Note that the usage rate of the processing unit group for each kernel is acquired by the second usage rate acquisition unit 4122.

メモリ4124は、実行待ちのカーネルを格納(記憶)する。図2に示した例では、メモリ4124への格納順に、「カーネル#1」(色補正処理カーネル)、「カーネル#2」(明るさ補正処理カーネル)、「カーネル#3」(画像合成処理カーネル)、及び「カーネル#4」(JPEG圧縮処理カーネル)が格納されている状態を示している。なお、メモリ4124へのカーネルの格納順は、実行待ちのカーネルの順番でもある。   The memory 4124 stores (stores) a kernel waiting for execution. In the example shown in FIG. 2, “kernel # 1” (color correction processing kernel), “kernel # 2” (brightness correction processing kernel), “kernel # 3” (image composition processing kernel) in the order of storage in the memory 4124. ) And “kernel # 4” (JPEG compression processing kernel) are stored. Note that the storage order of kernels in the memory 4124 is also the order of kernels waiting to be executed.

カーネル選択部4125は、第1の使用率取得部4121により取得された処理ユニット群の使用率と、使用率記憶部4123に記憶されているカーネル毎の処理ユニット群の使用率とに基づいて、メモリ4124に格納されている実行待ちのカーネルの中から、次に実行させるカーネルを選択(決定)する。例えば、カーネル選択部4125は、画像処理部411が即時に実行開始可能なカーネルであって、且つ、その中でメモリ4124への格納順が最先のカーネルを、次に実行させるカーネルとして選択する。なお、この選択において、カーネルの実行に使用される処理ユニット群の使用率は、カーネルが同一であれば同一(又は略同一)の使用率になることから、メモリ4124に格納されている実行待ちの各カーネルの実行に使用される処理ユニット群の使用率は、使用率記憶部4123に記憶されている同一のカーネルについての処理ユニット群の使用率から予測することができる。また、第1の使用率取得部4121により取得された処理ユニット群の使用率から、その時点の処理ユニット群の未使用率を求めることができる。従って、実行待ちのカーネルの中で画像処理部411が即時に実行開始可能なカーネルは、予測された処理ユニット群の使用率が、処理ユニット群の未使用率以下に収まるカーネルとすることができる。   The kernel selection unit 4125 is based on the usage rate of the processing unit group acquired by the first usage rate acquisition unit 4121 and the usage rate of the processing unit group for each kernel stored in the usage rate storage unit 4123. A kernel to be executed next is selected (determined) from the execution waiting kernels stored in the memory 4124. For example, the kernel selection unit 4125 selects a kernel that can be immediately started by the image processing unit 411 and that is stored first in the memory 4124 as a kernel to be executed next. . In this selection, the usage rate of the processing unit group used for executing the kernel is the same (or substantially the same) usage rate if the kernels are the same. The usage rate of the processing unit group used to execute each of the kernels can be predicted from the usage rate of the processing unit group for the same kernel stored in the usage rate storage unit 4123. Further, the unused rate of the processing unit group at that time can be obtained from the usage rate of the processing unit group acquired by the first usage rate acquiring unit 4121. Therefore, a kernel that can be immediately started to be executed by the image processing unit 411 among the waiting kernels can be a kernel in which the usage rate of the predicted processing unit group falls below the unused rate of the processing unit group. .

例えば、第1の使用率取得部4121により取得された処理ユニット群の使用率が80%(すなわち未使用率が20%)であり、使用率記憶部4123に記憶されているカーネル毎の処理ユニット群の使用率が上記に例示したものであり、メモリ4124に格納されている実行待ちのカーネルが図2に例示したものであるとする。この場合、実行待ちのカーネルの中で画像処理部411が即時に実行開始可能なカーネルは、「カーネル#2」(明るさ補正処理)、「カーネル#3」(画像合成処理カーネル)、及び「カーネル#4」(JPEG圧縮処理カーネル)となる。そして、この場合には、その中でメモリ4124への格納順が最先のカーネルである「カーネル#2」(明るさ補正処理)が、次に実行させるカーネルとして、カーネル選択部4125により選択されることになる。   For example, the usage rate of the processing unit group acquired by the first usage rate acquisition unit 4121 is 80% (that is, the unused rate is 20%), and the processing unit for each kernel stored in the usage rate storage unit 4123 It is assumed that the usage rate of the group is exemplified above, and the execution waiting kernel stored in the memory 4124 is exemplified in FIG. In this case, among the kernels waiting to be executed, the kernels that can be immediately started by the image processing unit 411 are “kernel # 2” (brightness correction processing), “kernel # 3” (image synthesis processing kernel), and “kernel # 2”. Kernel # 4 "(JPEG compression kernel). In this case, “kernel # 2” (brightness correction processing) that is the first storage order in the memory 4124 is selected by the kernel selection unit 4125 as the kernel to be executed next. Will be.

あるいは、例えば、第1の使用率取得部4121により取得された処理ユニット群の使用率が80%(すなわち未使用率が20%)であり、使用率記憶部4123に記憶されているカーネル毎の処理ユニット群の使用率が上記に例示したものであり、メモリ4124に格納されている実行待ちのカーネルが、メモリ4124への格納順に「カーネル#1」(色補正処理カーネル)、「カーネル#2」(画像合成処理カーネル)、及び「カーネル#3」(JPEG圧縮処理カーネル)であるとする。この場合、実行待ちのカーネルの中で画像処理部411が即時に実行開始可能なカーネルは、「カーネル#2」(画像合成処理カーネル)、及び「カーネル#3」(JPEG圧縮処理カーネル)となる。そして、この場合には、その中でメモリ4124への格納順が最先のカーネルである「カーネル#2」(画像合成処理カーネル)が、次に実行させるカーネルとして、カーネル選択部4125により選択されることになる。なお、この場合において、処理ユニット群の未使用率が20%であり、画像合成処理カーネル及びJPEG圧縮処理カーネルの各々の処理ユニット群の使用率が10%になると予測されることから、カーネル選択部4125が、次に実行させるカーネルとして、「カーネル#2」(画像合成処理カーネル)及び「カーネル#3」(JPEG圧縮処理カーネル)の両方を選択するようにしてもよい。   Alternatively, for example, the usage rate of the processing unit group acquired by the first usage rate acquisition unit 4121 is 80% (that is, the unused rate is 20%), and for each kernel stored in the usage rate storage unit 4123 The usage rate of the processing unit group is exemplified above, and the execution waiting kernels stored in the memory 4124 are “kernel # 1” (color correction processing kernel), “kernel # 2” in the order of storage in the memory 4124. "(Image composition processing kernel)" and "kernel # 3" (JPEG compression processing kernel). In this case, among the kernels waiting to be executed, the kernels that can be immediately started by the image processing unit 411 are “kernel # 2” (image composition processing kernel) and “kernel # 3” (JPEG compression processing kernel). . In this case, the kernel selection unit 4125 selects “kernel # 2” (image composition processing kernel), which is the first kernel stored in the memory 4124, as the kernel to be executed next. Will be. In this case, the unused rate of the processing unit group is 20%, and the usage rate of each processing unit group of the image synthesis processing kernel and the JPEG compression processing kernel is predicted to be 10%. The unit 4125 may select both “kernel # 2” (image composition processing kernel) and “kernel # 3” (JPEG compression processing kernel) as kernels to be executed next.

そして、カーネル選択部4125は、このようにして選択したカーネルを、カーネル実行指示部4126へ転送する。
カーネル実行指示部4126は、カーネル選択部4125により転送されたカーネルを画像処理部411に実行させるように指示する。
Then, the kernel selection unit 4125 transfers the kernel selected in this way to the kernel execution instruction unit 4126.
The kernel execution instruction unit 4126 instructs the image processing unit 411 to execute the kernel transferred by the kernel selection unit 4125.

以上のように構成された内視鏡システム1に含まれる内視鏡装置4において、処理ユニット群(複数の処理ユニット4111)は、複数の演算ユニットの一例である。第1の使用率取得部4121は、複数の演算ユニットの使用率を取得する第1の取得部の一例である。第2の使用率取得部4122は、プログラムが実行されたときに、当該プログラムの実行に使用された複数の演算ユニットの使用率を取得する第2の取得部の一例である。使用率記憶部4123は、過去に実行されたプログラム毎の、当該プログラムの実行に使用された複数の演算ユニットの使用率を記憶する記憶部の一例である。カーネル選択部4125は、第1の取得部により取得された使用率と、記憶部に記憶されているプログラム毎の使用率とに基づいて、実行待ちのプログラムの中から、次に実行させるプログラムを決定する決定部の一例である。   In the endoscope apparatus 4 included in the endoscope system 1 configured as described above, the processing unit group (a plurality of processing units 4111) is an example of a plurality of arithmetic units. The first usage rate acquisition unit 4121 is an example of a first acquisition unit that acquires usage rates of a plurality of arithmetic units. The second usage rate acquisition unit 4122 is an example of a second acquisition unit that acquires usage rates of a plurality of arithmetic units used to execute the program when the program is executed. The usage rate storage unit 4123 is an example of a storage unit that stores usage rates of a plurality of arithmetic units used for executing the program for each program executed in the past. Based on the usage rate acquired by the first acquisition unit and the usage rate for each program stored in the storage unit, the kernel selection unit 4125 selects a program to be executed next from among the programs waiting to be executed. It is an example of the determination part to determine.

次に、内視鏡システム1の動作の一例として、図2に示した画像処理部411及びシステム制御部412の動作について説明する。なお、本動作の説明では、画像処理部411をGPU411と称して説明する。   Next, operations of the image processing unit 411 and the system control unit 412 illustrated in FIG. 2 will be described as an example of the operation of the endoscope system 1. In the description of this operation, the image processing unit 411 is described as the GPU 411.

図3は、その動作の一例を示すフローチャートである。
図3に示したように、本動作では、まず、GPU411が、処理ユニット群の使用率を算出する(S100)。
FIG. 3 is a flowchart showing an example of the operation.
As shown in FIG. 3, in this operation, first, the GPU 411 calculates the usage rate of the processing unit group (S100).

続いて、第1の使用率取得部4121は、S100で算出された使用率をGPU411から取得し(S105)、カーネル選択部4125に通知する(S110)。
なお、S100及びS105では、例えば、第1の使用率取得部4121がGPU411に対して使用率の問い合わせを行い、その問い合わせに応じてGPU411がS100の処理を行い、そして、第1の使用率取得部4121がS105の処理を行うようにしてもよい。
Subsequently, the first usage rate acquisition unit 4121 acquires the usage rate calculated in S100 from the GPU 411 (S105), and notifies the kernel selection unit 4125 (S110).
In S100 and S105, for example, the first usage rate acquisition unit 4121 inquires of the GPU 411 about the usage rate, the GPU 411 performs the processing of S100 in response to the inquiry, and acquires the first usage rate. The unit 4121 may perform the process of S105.

続いて、カーネル選択部4125は、使用率記憶部4123に記憶されているカーネル毎の処理ユニット群の使用率に基づいて、メモリ4124に格納されている実行待ちの各カーネルの実行に使用される処理ユニット群の使用率を予測する(S115)。   Subsequently, the kernel selection unit 4125 is used to execute each kernel waiting for execution stored in the memory 4124 based on the usage rate of the processing unit group for each kernel stored in the usage rate storage unit 4123. The usage rate of the processing unit group is predicted (S115).

続いて、カーネル選択部4125は、その予測を完了することができたか否かを判定する(S120)。
S120の判定結果がNoの場合、カーネル選択部4125は、処理ユニット群の使用率を予測することができなかった実行待ちのカーネルを1つ選択してカーネル実行指示部4126へ転送し、そのカーネルの実行をカーネル実行指示部4126がGPU411に指示する(S125)。続いて、GPU411は、カーネル実行指示部4126により指示されたカーネルを実行し、そのカーネルの実行に使用された処理ユニット群の使用率を算出する(S130)。続いて、第2の使用率取得部4122は、S130で算出された使用率をGPU411から取得し、その使用率が、S125で実行が指示されたカーネルの処理ユニット群の使用率として使用率記憶部4123に記憶され(S135)、処理がS115に戻る。
Subsequently, the kernel selection unit 4125 determines whether or not the prediction has been completed (S120).
When the determination result in S120 is No, the kernel selection unit 4125 selects one kernel waiting for execution for which the usage rate of the processing unit group could not be predicted, and transfers the selected kernel to the kernel execution instruction unit 4126. Is executed by the kernel execution instructing unit 4126 to the GPU 411 (S125). Subsequently, the GPU 411 executes the kernel designated by the kernel execution instruction unit 4126, and calculates the usage rate of the processing unit group used for executing the kernel (S130). Subsequently, the second usage rate acquisition unit 4122 acquires the usage rate calculated in S130 from the GPU 411, and the usage rate is stored as the usage rate of the processing unit group of the kernel instructed to be executed in S125. Stored in the unit 4123 (S135), and the process returns to S115.

一方、S120の判定結果がYesの場合、カーネル選択部4125は、S110で通知された処理ユニット群の使用率とS115で行われた予測とに基づいて、メモリ4124に格納されている実行待ちのカーネルの中から、GPU411が即時に実行開始可能なカーネルであって、且つ、その中でメモリ4124への格納順が最先のカーネルを、次に実行させるカーネルとして選択する(S140)。但し、メモリ4124に格納されている実行待ちのカーネルの中に、GPU411が即時に実行開始可能なカーネルが無い場合には、メモリ4124への格納順が最先のカーネルを選択する。   On the other hand, when the determination result in S120 is Yes, the kernel selection unit 4125 waits for execution stored in the memory 4124 based on the usage rate of the processing unit group notified in S110 and the prediction performed in S115. Among the kernels, the kernel in which the GPU 411 can start execution immediately is selected, and the kernel having the earliest storage order in the memory 4124 is selected as the kernel to be executed next (S140). However, if there is no kernel that can be immediately executed by the GPU 411 among the kernels waiting for execution stored in the memory 4124, the kernel having the earliest storage order in the memory 4124 is selected.

続いて、カーネル選択部4125は、選択したカーネルをカーネル実行指示部4126へ転送する(S145)。
続いて、カーネル実行指示部4126は、S145でカーネル選択部4125により転送されたカーネルの実行をGPU411に指示する(S150)。
Subsequently, the kernel selection unit 4125 transfers the selected kernel to the kernel execution instruction unit 4126 (S145).
Subsequently, the kernel execution instruction unit 4126 instructs the GPU 411 to execute the kernel transferred by the kernel selection unit 4125 in S145 (S150).

続いて、GPU411は、S150でカーネル実行指示部4126により指示されたカーネルを、使用されていない処理ユニット4111を用いて実行し(S155)、本フローが終了する。   Subsequently, the GPU 411 executes the kernel instructed by the kernel execution instructing unit 4126 in S150 using the unused processing unit 4111 (S155), and this flow ends.

以上のように、本実施形態に係る内視鏡装置4では、メモリ4124に格納されている実行待ちのカーネルの中から、画像処理部(GPU)411が即時に実行開始可能なカーネルであって、且つ、その中でメモリ4124への格納順が最先のカーネルを、次に実行させるカーネルとして選択するようにしたことから、画像処理部(GPU)411では、カーネルの処理が、使用されていない処理ユニット4111に滞りなく配分されて即時に実行されるようになる。従って、本実施形態に係る内視鏡装置4によれば、カーネルの処理を、処理ユニット群(複数の処理ユニット4111)に適切に配分して実行させることができる。また、その結果として、映像信号の処理を、より高速に行うことができる。   As described above, in the endoscope apparatus 4 according to this embodiment, the image processing unit (GPU) 411 is a kernel that can immediately start execution from the execution waiting kernels stored in the memory 4124. Since the kernel having the earliest storage order in the memory 4124 is selected as the kernel to be executed next, the image processing unit (GPU) 411 uses kernel processing. The processing units 4111 that are not present are distributed without delay and are immediately executed. Therefore, according to the endoscope apparatus 4 according to the present embodiment, kernel processing can be appropriately distributed and executed among processing unit groups (a plurality of processing units 4111). As a result, the video signal can be processed at a higher speed.

<第2の実施形態>
本発明の第2の実施形態に係る内視鏡装置は、第1の実施形態に係る内視鏡装置4において、更に、実行待ちのカーネルの中に、処理制限時間内に実行しなければならないカーネルがある場合には、それを優先して実行させるようにしたものである。
<Second Embodiment>
The endoscope apparatus according to the second embodiment of the present invention must be executed within the processing time limit in the kernel waiting for execution in the endoscope apparatus 4 according to the first embodiment. If there is a kernel, it is executed with priority.

なお、第2の実施形態の説明では、第1の実施形態で説明した要素と同一の要素については同一の符号を付し、その詳細な説明は省略する。
図4は、第2の実施形態に係る内視鏡システム1における、画像処理部(GPU)411及びシステム制御部412の内部構成例を示す図である。なお、図4は、図2に示した内部構成例に対応する図でもある。
In the description of the second embodiment, the same elements as those described in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
FIG. 4 is a diagram illustrating an internal configuration example of the image processing unit (GPU) 411 and the system control unit 412 in the endoscope system 1 according to the second embodiment. FIG. 4 is also a diagram corresponding to the internal configuration example shown in FIG.

図4において、第1の実施形態(図2に示した内部構成例)と異なる点は、システム制御部412が、処理制限時間を設定する処理制限時間設定部4127を更に備える点である。なお、この処理制限時間は、例えば、1フレーム分の処理に許容される最大時間である。例えば60フレーム/秒の映像を取得する場合には、処理制限時間が1/60秒とされる。また、処理制限時間設定部4127により設定される処理制限時間は、例えば、ユーザによる操作部45の操作により変更可能である。   4 is different from the first embodiment (internal configuration example shown in FIG. 2) in that the system control unit 412 further includes a processing time limit setting unit 4127 for setting a processing time limit. Note that this processing time limit is, for example, the maximum time allowed for processing for one frame. For example, when acquiring 60 frames / second video, the processing time limit is set to 1/60 seconds. Further, the processing time limit set by the processing time limit setting unit 4127 can be changed, for example, by an operation of the operation unit 45 by the user.

この処理制限時間設定部4127を備えることに伴い、第2の実施形態では、カーネル選択部4125が、更に、メモリ4124に格納されている実行待ちのカーネルの中に、処理制限時間設定部4127により設定されている処理制限時間内に実行しなければならないカーネルがある場合には、そのカーネルの中でメモリ4124への格納順が最先のカーネルを、次に実行させるカーネルとして優先して選択(決定)し、カーネル実行指示部4126に転送する。ここで、処理制限時間設定部4127により設定されている処理制限時間内に実行しなければならないカーネルとは、例えば、1フレーム分の処理の中で実行しなければならないカーネルであり、JPEG圧縮処理カーネル等は除かれる。   Along with the provision of this processing time limit setting unit 4127, in the second embodiment, the kernel selection unit 4125 further includes a processing time limit setting unit 4127 in the execution waiting kernel stored in the memory 4124. If there is a kernel that must be executed within the set processing time limit, the kernel having the earliest storage order in the memory 4124 is selected with priority as the kernel to be executed next ( Determined) and transferred to the kernel execution instruction unit 4126. Here, the kernel that must be executed within the processing time limit set by the processing time limit setting unit 4127 is, for example, a kernel that must be executed in the processing for one frame, and is JPEG compression processing. Kernel etc. are excluded.

その他の構成については、第1の実施形態と同様である。
次に、内視鏡システム1の動作の一例として、図4に示した画像処理部(GPU)411及びシステム制御部412の動作について説明する。
About another structure, it is the same as that of 1st Embodiment.
Next, operations of the image processing unit (GPU) 411 and the system control unit 412 illustrated in FIG. 4 will be described as an example of the operation of the endoscope system 1.

図5は、その動作の一例を示すフローチャートである。なお、図5は、図3に示したフローチャートに対応する図でもある。
図5において、第1の実施形態(図3に示したフローチャート)と異なる点は、S120の判定結果がYesの場合にS200の判定が行われ、S200の判定結果がNoの場合にはS140へ進み、Yesの場合にはS205の処理を行ってからS145へ進むようにした点である。
FIG. 5 is a flowchart showing an example of the operation. FIG. 5 is also a diagram corresponding to the flowchart shown in FIG.
In FIG. 5, the difference from the first embodiment (the flowchart shown in FIG. 3) is that when the determination result of S120 is Yes, the determination of S200 is performed, and when the determination result of S200 is No, the process proceeds to S140. In the case of Yes and Yes, the process of S205 is performed and then the process proceeds to S145.

より詳しくは、S120の判定結果がYesの場合、カーネル選択部4125は、メモリ4124に格納されている実行待ちのカーネルの中に、処理制限時間設定部4127により設定されている処理制限時間内に実行しなければならないカーネルがあるか否かを判定する(S200)。ここで、その判定結果がNoの場合には、処理がS140へ進む。   More specifically, when the determination result in S120 is Yes, the kernel selection unit 4125 within the processing time limit set by the processing time limit setting unit 4127 in the execution waiting kernel stored in the memory 4124. It is determined whether there is a kernel to be executed (S200). Here, when the determination result is No, the process proceeds to S140.

一方、S200の判定結果がYesの場合、カーネル選択部4125は、メモリ4124に格納されている実行待ちのカーネルの中から、処理制限時間設定部4127により設定されている処理制限時間内に実行しなければならないカーネルであって、且つ、その中でメモリ4124への格納順が最先のカーネルを、次に実行させるカーネルとして選択し(S205)、処理がS145へ進む。   On the other hand, when the determination result in S200 is Yes, the kernel selection unit 4125 executes the processing within the processing time limit set by the processing time limit setting unit 4127 from the execution waiting kernels stored in the memory 4124. The kernel that must be stored and that has the earliest storage order in the memory 4124 is selected as the kernel to be executed next (S205), and the process proceeds to S145.

その他については、第1の実施形態と同様である。
以上のように、第2の実施形態に係る内視鏡装置4によれば、第1の実施形態で述べた効果に加え、更に、実行待ちのカーネルの中に、処理制限時間内に実行しなければならないカーネルがある場合には、それを優先して画像処理部(GPU)411に実行させるようにすることができる。
About others, it is the same as that of 1st Embodiment.
As described above, according to the endoscope device 4 according to the second embodiment, in addition to the effects described in the first embodiment, the execution is performed within the processing time limit in the kernel waiting for execution. If there is a kernel that must be present, the image processing unit (GPU) 411 can be made to execute it preferentially.

なお、上述の各実施形態では、次のような変形も可能である。
例えば、第1の使用率取得部4121が、処理ユニット群の使用率を画像処理部(GPU)411から取得する際に、使用中(又は未使用中)の処理ユニット4111が何れであるかを示す情報(以下、「処理ユニット群使用状態情報」という)も画像処理部(GPU)411から取得するようにしてもよい。そして、カーネル実行指示部4126が、カーネルの実行を画像処理部(GPU)411に指示する際に、その処理ユニット群使用状態情報に基づいて、実行指示するカーネルの処理を何れの処理ユニット4111(未使用中の処理ユニット4111)を用いて実行させるかも画像処理部(GPU)411に指示するようにしてもよい。
In the above-described embodiments, the following modifications are possible.
For example, when the first usage rate acquisition unit 4121 acquires the usage rate of the processing unit group from the image processing unit (GPU) 411, which processing unit 4111 is in use (or unused) is determined. Information (hereinafter referred to as “processing unit group use state information”) may be acquired from the image processing unit (GPU) 411. Then, when the kernel execution instructing unit 4126 instructs the image processing unit (GPU) 411 to execute the kernel, the processing unit 4111 ( The image processing unit (GPU) 411 may be instructed to execute using the unused processing unit 4111).

また、例えば、ビデオプロセッサ機能部41が複数の画像処理部(GPU)411を含むように構成してもよい。この場合、システム制御部412は、上述の各実施形態で説明した画像処理部(GPU)411に対する制御を、複数の画像処理部(GPU)411の各々に対して行うことになる。   For example, the video processor function unit 41 may include a plurality of image processing units (GPUs) 411. In this case, the system control unit 412 controls the image processing unit (GPU) 411 described in each of the above-described embodiments for each of the plurality of image processing units (GPU) 411.

以上、上述した実施形態は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明は上述の実施形態に限定されるものではない。本発明は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。   As mentioned above, the embodiment described above shows a specific example of the present invention in order to facilitate understanding of the invention, and the present invention is not limited to the above-described embodiment. The present invention can be variously modified and changed without departing from the concept of the present invention defined in the claims.

1 内視鏡システム
2 内視鏡
3 ケーブル
4 内視鏡装置
21 スコープ制御部
22 照明光学系
23 対物光学系
24 撮像素子
41 ビデオプロセッサ機能部
42 光源機能部
43 モニタ
44 記録媒体
45 操作部
411 画像処理部
412 システム制御部
421 光源制御部
422 光源
4111 処理ユニット
4121 第1の使用率取得部
4122 第2の使用率取得部
4123 使用率記憶部
4124 メモリ
4125 カーネル選択部
4126 カーネル実行指示部
4127 処理制限時間設定部
DESCRIPTION OF SYMBOLS 1 Endoscope system 2 Endoscope 3 Cable 4 Endoscope apparatus 21 Scope control part 22 Illumination optical system 23 Objective optical system 24 Image sensor 41 Video processor function part 42 Light source function part 43 Monitor 44 Recording medium 45 Operation part 411 Image Processing unit 412 System control unit 421 Light source control unit 422 Light source 4111 Processing unit 4121 First usage rate acquisition unit 4122 Second usage rate acquisition unit 4123 Usage rate storage unit 4124 Memory 4125 Kernel selection unit 4126 Kernel execution instruction unit 4127 Processing restriction Time setting section

Claims (5)

複数の演算ユニットと、
前記複数の演算ユニットの使用率を取得する第1の取得部と、
過去に実行されたプログラム毎の、当該プログラムの実行に使用された前記複数の演算ユニットの使用率を記憶する記憶部と、
前記第1の取得部により取得された使用率と、前記記憶部に記憶されているプログラム毎の使用率とに基づいて、実行待ちのプログラムの中から、次に実行させるプログラムを決定する決定部と、
を備えることを特徴とする内視鏡装置。
Multiple arithmetic units;
A first acquisition unit for acquiring a usage rate of the plurality of arithmetic units;
A storage unit that stores a usage rate of each of the plurality of arithmetic units used for executing the program for each program executed in the past;
A determination unit that determines a program to be executed next from among the programs waiting to be executed based on the usage rate acquired by the first acquisition unit and the usage rate for each program stored in the storage unit When,
An endoscope apparatus comprising:
プログラムが実行されたときに、当該プログラムの実行に使用された前記複数の演算ユニットの使用率を取得する第2の取得部を更に備え、
前記第2の取得部により取得された使用率が前記記憶部に記憶される、
ことを特徴とする請求項1記載の内視鏡装置。
When the program is executed, the system further comprises a second acquisition unit that acquires usage rates of the plurality of arithmetic units used for executing the program,
The usage rate acquired by the second acquisition unit is stored in the storage unit.
The endoscope apparatus according to claim 1.
前記決定部は、即時に実行を開始させることが可能なプログラムであって、且つ、実行待ちの順番が最先のプログラムを、次に実行させるプログラムとして決定する、
ことを特徴とする請求項1又は2記載の内視鏡装置。
The determining unit determines a program that can immediately start execution and that has the earliest waiting order for execution as a program to be executed next.
The endoscope apparatus according to claim 1 or 2, characterized by the above-mentioned.
前記決定部は、前記実行待ちのプログラムの中に、所定時間内に実行しなければならないプログラムがある場合には、当該プログラムを優先して、次に実行させるプログラムとして決定する、
ことを特徴とする請求項1乃至3の何れか一項に記載の内視鏡装置。
The determination unit, when there is a program that must be executed within a predetermined time among the programs waiting for execution, determines the program as a program to be executed next with priority.
The endoscope apparatus according to any one of claims 1 to 3, wherein the endoscope apparatus is characterized in that
前記複数の演算ユニットは、GPU(Graphics Processing Unit)に含まれる複数の演算ユニットである、
ことを特徴とする請求項1乃至4の何れか一項に記載の内視鏡装置
The plurality of arithmetic units are a plurality of arithmetic units included in a GPU (Graphics Processing Unit).
The endoscope apparatus according to any one of claims 1 to 4, characterized in that.
JP2015053187A 2015-03-17 2015-03-17 Endoscope device Active JP6340333B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015053187A JP6340333B2 (en) 2015-03-17 2015-03-17 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015053187A JP6340333B2 (en) 2015-03-17 2015-03-17 Endoscope device

Publications (2)

Publication Number Publication Date
JP2016171900A JP2016171900A (en) 2016-09-29
JP6340333B2 true JP6340333B2 (en) 2018-06-06

Family

ID=57008549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015053187A Active JP6340333B2 (en) 2015-03-17 2015-03-17 Endoscope device

Country Status (1)

Country Link
JP (1) JP6340333B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5478929B2 (en) * 2009-04-07 2014-04-23 株式会社東芝 Medical image processing device
EP2508116B1 (en) * 2010-09-24 2013-11-13 Olympus Medical Systems Corp. Image-display device and capsule-type endoscope system
WO2013133368A1 (en) * 2012-03-07 2013-09-12 オリンパス株式会社 Image processing device, program, and image processing method
WO2014065378A1 (en) * 2012-10-24 2014-05-01 オリンパスメディカルシステムズ株式会社 Examination management device and examination management system

Also Published As

Publication number Publication date
JP2016171900A (en) 2016-09-29

Similar Documents

Publication Publication Date Title
US20160335751A1 (en) Endoscopic Image Enhancement Using Contrast Limited Adaptive Histogram Equalization (CLAHE) Implemented In A Processor
JP6577887B2 (en) Image processing apparatus, endoscope system, image processing method, image processing program, and recording medium
CN110573054B (en) Medical image processing apparatus, medical image processing method, and endoscope system
US20170296033A1 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
WO2012039171A1 (en) Image-display device and capsule-type endoscope system
JP5933868B1 (en) Control device and endoscope system
US9826209B2 (en) Medical system, method for performing image processing setting of medical system, and image processing device
CN106455945A (en) Wireless endoscope system, endoscope, display device, image transmission method, image display method, and program
US10748279B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
EP3173011A1 (en) Signal processing device and endoscope system
US20210375323A1 (en) Information processing apparatus and information processing method
JP2011024628A (en) Image processor, image processing program, and image processing method
CN103750805A (en) High-definition medical endoscope video processing device and method
JP6615550B2 (en) Image recording system for electronic endoscope
US10413156B2 (en) Endoscope device, endoscopic system, method, and computer-readable storage device
JP6340333B2 (en) Endoscope device
US8692869B2 (en) Image processing device, image processing method, machine readable recording medium, endoscope system
US20220151467A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
US20190122344A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
US20180267291A1 (en) Endoscope system
US10231602B2 (en) Video processor for processing a video signal input
CN112656352B (en) Endoscope camera host, control method thereof, endoscope imaging system and storage medium
JP6011561B2 (en) Control device, head mounted display, and program
US11727550B2 (en) Image processing systems and methods of using the same
JP7222662B2 (en) Biological information system, biological information sensor, and biological information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180514

R151 Written notification of patent or utility model registration

Ref document number: 6340333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250