JP6960773B2 - Captured image processing system - Google Patents
Captured image processing system Download PDFInfo
- Publication number
- JP6960773B2 JP6960773B2 JP2017104206A JP2017104206A JP6960773B2 JP 6960773 B2 JP6960773 B2 JP 6960773B2 JP 2017104206 A JP2017104206 A JP 2017104206A JP 2017104206 A JP2017104206 A JP 2017104206A JP 6960773 B2 JP6960773 B2 JP 6960773B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- index
- unit
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、特に、ヘモグロビンを含む生体組織の酸素指標分布を可視化することで、使用者、例えば、医師が、局所的な生体組織の酸素欠乏と、その程度に関する情報を認識しやすくする撮像画像処理システムに関するものである。 In particular, the present invention visualizes the oxygen index distribution of a biological tissue containing hemoglobin, thereby making it easier for a user, for example, a doctor to recognize information on local oxygen deficiency in the biological tissue and its degree. It is about the processing system.
従来から、ヘモグロビンの酸化還元による吸光度の変化の大きい波長に着目し、分光的なアプローチにより、該当する波長の分光感度を高めるような照明及び撮像素子を組み合わせることで、酸素飽和度の２次元分布を画像化（以下、特殊撮影とする。）することがなされている。 Conventionally, focusing on wavelengths where the absorbance changes greatly due to the oxidation-reduction of hemoglobin, a two-dimensional distribution of oxygen saturation has been achieved by combining illumination and an imaging element that enhance the spectral sensitivity of the corresponding wavelength by a spectral approach. Is imaged (hereinafter referred to as special photography).
何れも、白色光照明下で、観察される生体組織のカラー画像も撮影（以下、通常撮影とする。）できるような工夫がなされているが、特殊な分光感度との切り替えのために、光学的、機械的、或いは、電気的な構造が必要となっている。 All of them have been devised so that color images of living tissues observed under white light illumination can also be taken (hereinafter referred to as normal photography), but optical is used to switch to special spectral sensitivity. There is a need for a physical, mechanical, or electrical structure.
例えば、特許文献１に開示されている技術は、回転する色フィルタにＲＧＢの３バンド及び特殊な狭帯域の３バンドのフィルタを並べており、所望の画像を得るために、必要なフィルタが光源を通過するタイミングに合わせて光源を明滅させる構造が必要となる。 For example, in the technique disclosed in Patent Document 1, a rotating color filter is arranged with a 3-band RGB filter and a special narrow-band 3-band filter, and the filter required to obtain a desired image is a light source. A structure that blinks the light source according to the passing timing is required.
また、特許文献２に開示されている技術は、回転する色フィルタにＲＧＢの３バンド及び特殊な狭帯域の３バンドのフィルタが、それぞれ外径側、又は、内径側に配置されており、所望の画像を得るために必要なフィルタが光源を通過するように、フィルタの回転軸を移動させる構造が必要となる。
Further, in the technique disclosed in
さらに、特許文献３に開示されている技術は、通常撮影及び特殊撮影のための白色光と、特殊撮影だけのための狭帯域の青色光を時分割で照射するもので、照明光学系を２系統必要としている。そして、本文献中の実施形態２及び４において、特殊撮影のための狭帯域の青色光に加えて緑と赤色光の感度を実現する光を補完することで、１系統の照明光学系のみで、通常撮影及び特殊撮影を実現することができるとしている。 Further, the technique disclosed in Patent Document 3 irradiates white light for normal photography and special photography and blue light in a narrow band only for special photography in a time-division manner, and irradiates the illumination optical system with 2 I need a system. Then, in the second and fourth embodiments in this document, by supplementing the light that realizes the sensitivity of green and red light in addition to the narrow band blue light for special photography, only one system of illumination optical system is used. , Normal shooting and special shooting can be realized.
しかしながら、上記特許文献３に開示されている技術では、可視光線の限定されたスペクトルのみの利用となるために、通常撮影における色再現性に問題があるとされている。また、上記の従来技術において、通常撮影において用いられている分光感度は、人の目の分光感度とは異なっており、対象物を撮影した画像をディスプレイに表示したときの色再現性が、人の目で直接対象物を観察したときのものとは、異なった印象を受けてしまう。 However, in the technique disclosed in Patent Document 3, it is said that there is a problem in color reproducibility in normal photographing because only a limited spectrum of visible light is used. Further, in the above-mentioned conventional technique, the spectral sensitivity used in normal photography is different from the spectral sensitivity of the human eye, and the color reproducibility when an image of an object is displayed on a display is improved. I get a different impression from what I see when I directly observe the object with my eyes.
本発明は、上述の課題を解決するためのもので、ヘモグロビンを含む生体組織の酸素指標分布を可視化することで、使用者が、局所的な生体組織の酸素欠乏と、その程度に関する情報を認識しやすくするとともに、通常撮影においても、色再現性が極めて良好な撮像画像処理システムを提供することにある。 The present invention is for solving the above-mentioned problems, and by visualizing the oxygen index distribution of living tissue containing hemoglobin, the user can recognize information on local oxygen deficiency of living tissue and its degree. It is an object of the present invention to provide an image processing system having extremely good color reproducibility even in normal photographing while facilitating the process.
上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、前記撮像装置に接続され、前記撮像装置により撮像することで得られる撮像画像の画像補正を行う画像補正部と、前記画像補正部により画像補正された撮像画像を記録及び再生する画像記録部と、前記画像補正部により画像補正された標準色空間に基づく撮像画像、又は、前記画像記録部により再生される標準色空間に基づく撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、前記画像補正部により画像補正された撮像画像、又は、前記画像記録部により再生される撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部とを有する画像処理装置と、前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置とを具備し、前記所定の色域は、前記表示装置の色域に応じたものであり、前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、前記撮像装置は、撮像した前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システムである。
In order to cope with the above-mentioned problems, the present invention takes the following technical measures.
That is, the invention according to claim 1 takes an image of an object containing hemoglobin from the front surface side or the back surface side of the object and the object illuminated by the illumination device via an optical system. An image pickup device, an image correction unit connected to the image pickup device and performing image correction of an image captured by the image pickup device, and an image for recording and reproducing an image corrected by the image correction unit. a recording unit, the image correcting unit by the image corrected captured image based on the standard color space, or, by converting the color of the captured image based on the standard color space to be reproduced by the image recording unit in a predetermined color gamut An index of the object corresponding to each pixel value of the color reproduction unit that generates the color reproduction image, the image corrected by the image correction unit, or the image captured by the image recording unit. A color that generates an index display image by assigning an arbitrary color to the pixel value of the index image based on a color table and an index image conversion unit that generates an index image by converting to an index pixel value according to An image processing device having an allocation unit, a screen configuration unit that generates screen configuration information by the color reproduction image, and the index display image, and a screen configuration unit connected to the image processing device and generated by the screen configuration unit. It is provided with a display device that outputs and displays a screen based on screen configuration information, the predetermined color range corresponds to the color range of the display device, and the color reproduction unit has the standard color space. If it is not an XYZ display system, the standard color space is converted to the XYZ color space by a matrix of 3 rows and 3 columns, and then the image converted to the XYZ color space is converted to the display color space. The imaging device outputs an captured image of the N channel (N is an integer of 3 or more) of the captured object, and the linear coupling of the spectral sensitivities of each channel is the human eye. It is an image pickup image processing system characterized in that it corresponds to a color matching function representing the sensitivity of.
次に、請求項２記載の発明は、ヘモグロビンを含む対象物を当該対象物の表面側又は裏面側から照明する照明装置と、前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、前記撮像装置により撮像することで得られる撮像画像を記録及び再生する画像記録装置と、前記撮像装置と、前記画像記録装置に接続され、前記撮像装置により撮像することで得られる標準色空間に基づく撮像画像、又は、前記画像記録装置により再生される標準色空間に基づく撮像画像の画像補正を行う画像補正部と、前記画像補正部により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、前記画像補正部により画像補正された撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部とを有する画像処理装置と、前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置とを具備し、前記所定の色域は、前記表示装置の色域に応じたものであり、前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、前記撮像装置は、撮像した前記対象物、又は、前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システムである。 Next, according to the second aspect of the present invention, an illuminating device that illuminates an object containing hemoglobin from the front surface side or the back surface side of the object and the object illuminated by the illuminating device are imaged via an optical system. An image pickup device, an image recording device that records and reproduces an image captured by the image pickup device, the image pickup device, and an image recording device connected to the image recording device and imaged by the image pickup device. An image correction unit that corrects an image captured based on a standard color space or an image corrected based on a standard color space reproduced by the image recording device, and a color of the captured image corrected by the image correction unit are predetermined. A color reproduction unit that generates a color reproduction image by converting to the color range of, and an index pixel corresponding to the index of the object corresponding to each pixel value of the captured image image-corrected by the image correction unit. An index image conversion unit that generates an index image by converting to a value, a color allocation unit that assigns an arbitrary color to the pixel value of the index image based on a color table, and generates an index display image, and the above. Based on an image processing device having a screen configuration unit that generates screen configuration information from the color reproduction image and the index display image, and screen configuration information connected to the image processing device and generated by the screen configuration unit. When the standard color space is not an XYZ display system, the predetermined color range corresponds to the color range of the display device, and the color reproduction unit includes a display device for outputting and displaying the screen. Is a process of converting the standard color space into an XYZ color space by a matrix of 3 rows and 3 columns, and then performing a process of converting an image converted into the XYZ color space into a display color space. apparatus, the object to be imaged, or, N-channel of the object (N is an integer of 3 or more) and outputs a captured image, and, the linear combination of the spectral sensitivity of each channel, the human It is an image pickup image processing system characterized in that it corresponds to a color matching function representing the sensitivity of the eye.
また、請求項３記載の発明は、請求項１記載の撮像画像処理システムであって、前記画像記録部は、前記画像補正部により画像補正された撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴としている。 The invention according to claim 3 is the captured image processing system according to claim 1, wherein the image recording unit uses the image corrected by the image correction unit as a moving image for an arbitrary period and intermittently. The moving image and the frame at an arbitrary time can be recorded as a still image, and the moving image and the intermittent moving image can be reproduced, or the frame at an arbitrary time can be reproduced as a still image. It is characterized by.
そして、請求項４記載の発明は、請求項２記載の撮像画像処理システムであって、前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像を任意期間における動画像、及び、間欠動画像、並びに、任意時刻のフレームを静止画像として記録することができるとともに、前記動画像、及び、前記間欠動画像を再生、又は、前記任意時刻のフレームを静止画像として再生する機能を有することを特徴としている。
The invention according to claim 4 is the captured image processing system according to
さらに、請求項５記載の発明は、請求項１又は３記載の撮像画像処理システムであって、前記画像記録部は、前記画像補正部により画像補正された撮像画像、前記画像記録部により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴としている。 Further, the invention according to claim 5 is the captured image processing system according to claim 1 or 3, wherein the image recording unit reproduces an image corrected by the image correction unit and the image recording unit. The moving image and the intermittent moving image are characterized by having a function of recording a frame at an arbitrary time as a still image and reproducing the still image.
そして、請求項６記載の発明は、請求項２又は４記載の撮像画像処理システムであって、前記画像記録装置は、前記撮像装置により撮像することで得られる撮像画像、前記画像記録装置により再生される動画像、及び、間欠動画像について、任意時刻のフレームを静止画像として記録し、当該静止画像を再生する機能を有することを特徴としている。
The invention according to claim 6 is the captured image processing system according to
またさらに、請求項７記載の発明は、請求項１〜６何れか１項記載の撮像画像処理システムであって、前記画像補正部は、前記照明装置の経年変化や、当該照明装置と、前記対象物との位置関係の変動により生じる撮像画像上の輝度変化を一定に補正する画像レベル補正機能、及び、前記照明装置の空間照度分布、及び、光学系の作用により生じる撮像画像上の面内輝度、及び、色のむらを均一に補正する、むら補正機能を有しており、前記画像レベル補正機能は、既知の反射率の白色板を撮像することにより、画像レベル補正係数を求め、当該画像レベル補正係数を前記各チャネル全ての全画素に乗じる処理を行うことで、前記輝度変化を一定に補正し、前記むら補正機能は、均一照度面を撮像することによって、むら画像を取得し、当該むら画像の各画素値の逆数に、当該むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、当該むら補正係数画像を前記撮像画像に乗じる処理を行うことで、前記面内輝度、及び、色のむらを均一に補正することを特徴としている。 Furthermore, the invention according to claim 7 is the image pickup image processing system according to any one of claims 1 to 6, wherein the image correction unit is used for aging of the lighting device, the lighting device, and the above. An image level correction function that constantly corrects the change in brightness on the captured image caused by changes in the positional relationship with the object, the spatial illuminance distribution of the lighting device, and the in-plane on the captured image caused by the action of the optical system. It has an unevenness correction function that uniformly corrects brightness and color unevenness. The image level correction function obtains an image level correction coefficient by imaging a white plate having a known reflectance, and obtains the image level correction coefficient. By performing a process of multiplying all the pixels of all the channels by multiplying the level correction coefficient, the change in brightness is corrected to be constant, and the unevenness correction function acquires an unevenness image by imaging a uniform illuminance surface and obtains the unevenness image. The unevenness correction coefficient image is obtained by multiplying the inverse number of each pixel value of the unevenness image by the image level at the center coordinates of the unevenness image, and further, the unevenness correction coefficient image is multiplied by the captured image. It is characterized in that the in-plane brightness and color unevenness are uniformly corrected.
そして、請求項８記載の発明は、請求項１〜７何れか１項記載の撮像画像処理システムであって、前記色割当部は、指標の種類によって、異なるカラーテーブルを選択し、当該カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当て可能であることを特徴としている。 The invention according to claim 8 is the captured image processing system according to any one of claims 1 to 7, wherein the color assigning unit selects a different color table depending on the type of the index, and the color table is used. Based on the above, an arbitrary color can be assigned to the pixel value of the index image.
また、請求項９記載の発明は、請求項１〜８何れか１項記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて任意形状の関心領域が設定されると、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に、設定された前記関心領域を描画表示し、前記画像処理装置は、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示された前記関心領域に含まれる前記指標表示画像の画素値から、指標値の統計量を計算する関心領域処理部を有していることを特徴としている。 The invention according to claim 9 is the image processing system according to any one of claims 1 to 8, wherein the screen component has an arbitrary shape by using an input device connected to the image processing device. When the region of interest is set, the set region of interest is drawn and displayed on the color reproduction image displayed on the screen of the display device and the index display image, and the image processing device displays the set. The region of interest for which the statistic of the index value is calculated from the pixel value of the color reproduction image displayed on the screen of the display device and the index display image included in the region of interest drawn and displayed on the index display image. It is characterized by having a processing unit.
さらに、請求項１０記載の発明は、請求項９記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示されている関心領域を所定の色に変更、又は、所定のパターンに変更、或いは、点滅させることを特徴としている。 Further, the invention according to claim 10 is the captured image processing system according to claim 9, wherein the screen configuration unit is set with an allowable range of the index by using an input device connected to the image processing device. Then, when the statistic of the index value deviates from the permissible range, the color reproduction image displayed on the screen of the display device and the region of interest drawn and displayed on the index display image. Is changed to a predetermined color, changed to a predetermined pattern, or blinks.
そして、請求項１１記載の発明は、請求項９記載の撮像画像処理システムであって、前記画面構成部は、前記画像処理装置に接続される入力装置を用いて前記指標の許容範囲が設定されると、前記指標値の統計量が、前記許容範囲を逸脱した際には、前記画像処理装置に接続される音声再生装置により、警告音を発生させることを特徴としている。 The invention according to claim 11 is the image processing system according to claim 9, wherein the screen configuration unit is set with an allowable range of the index by using an input device connected to the image processing device. Then, when the statistic of the index value deviates from the permissible range, the sound reproduction device connected to the image processing device generates a warning sound.
また、請求項１２記載の発明は、請求項１〜１１何れか１項記載の撮像画像処理システムであって、前記画面構成部に対し、前記表示装置に、前記色再現画像と、前記指標表示画像の、何れか一方を出力表示させる画面構成情報を生成する指令、又は、前記色再現画像と、前記指標表示画像とを並べて出力表示させる画面構成情報を生成する指令を切り替えて送ることができる切替器が、前記画像処理装置に接続されていることを特徴としている。 The invention according to claim 12 is the captured image processing system according to any one of claims 1 to 11, wherein the screen component, the display device, the color reproduction image, and the index display. It is possible to switch and send a command for generating screen configuration information for outputting and displaying one of the images, or a command for generating screen configuration information for displaying the color reproduction image and the index display image side by side. The switch is characterized in that it is connected to the image processing device.
本発明によれば、例えば、外科手術の際に、生体組織の酸素飽和度が局所的に低下した場合、撮像により得られる画像を処理して、酸素飽和度の分布を可視化することで、医師が、局所的な生体組織の酸欠と、その程度に気づきやすくなり、生体組織の損傷を防止することが可能となる。また、通常撮影においても、色再現性の良い画像を得ることができる。 According to the present invention, for example, when the oxygen saturation of a living tissue is locally reduced during a surgical operation, a doctor can visualize the distribution of the oxygen saturation by processing an image obtained by imaging. However, it becomes easier to notice the local oxygen deficiency of the living tissue and its degree, and it becomes possible to prevent the damage of the living tissue. Further, even in normal shooting, an image having good color reproducibility can be obtained.
本発明に係る撮像画像処理システムの第１の実施形態について図面を参照しながら説明する。図１は、本発明に係る撮像画像処理システムの第１の実施形態を示したブロック図である。なお、符号については、１０が撮像画像処理システム、１２が照明装置、１４が撮像装置、１６が画像補正部、１８が画像記録部、２０が色再現部、２２が指標画像変換部、２４が色割当部、２６が画面構成部、２８が画像処理装置、３０が表示装置、３２が入力装置、３４は関心領域処理部を示している。 A first embodiment of the captured image processing system according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of the captured image processing system according to the present invention. Regarding the reference numerals, 10 is an image processing system, 12 is a lighting device, 14 is an image pickup device, 16 is an image correction unit, 18 is an image recording unit, 20 is a color reproduction unit, 22 is an index image conversion unit, and 24 is an index image conversion unit. A color assigning unit, 26 is a screen configuration unit, 28 is an image processing device, 30 is a display device, 32 is an input device, and 34 is an area of interest processing unit.
本実施形態における撮像画像処理システム１０は、図１に示すように、まず、ヘモグロビンを含む対象物を表面又は裏面から照明する照明装置１２と、照明装置１２により照明された対象物を光学系を介して撮像する撮像装置１４と、撮像装置１４に接続される画像処理装置２８を備えている。 As shown in FIG. 1, in the captured image processing system 10 of the present embodiment, first, a lighting device 12 that illuminates an object containing hemoglobin from the front surface or a back surface, and an optical system of the object illuminated by the lighting device 12 are used. It includes an image pickup device 14 for taking an image through the image pickup device 14 and an image processing device 28 connected to the image pickup device 14.
そして、画像処理装置２８は、撮像装置１４により撮像することで得られる撮像画像の画像補正を行う画像補正部１６と、画像補正部１６により画像補正された撮像画像を記録及び再生する画像記録部１８と、画像補正部１６により画像補正された撮像画像、又は、画像記録部１８により再生される撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部２０を有している。 Then, the image processing device 28 includes an image correction unit 16 that corrects the image of the captured image obtained by capturing the image by the image pickup device 14, and an image recording unit that records and reproduces the captured image that has been image-corrected by the image correction unit 16. The color reproduction unit 20 that generates a color reproduction image by converting the color of the image corrected by the image correction unit 16 and the image corrected by the image correction unit 16 or the image reproduced by the image recording unit 18 into a predetermined color range. have.
さらに、画像処理装置２８は、画像補正部１６により画像補正された撮像画像、又は、画像記録部１８により再生される撮像画像の各画素値に対応して、対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部２２と、カラーテーブルに基づいて、指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部２４と、色再現画像と、指標表示画像とにより、画面構成情報を生成する画面構成部２６を有している。 Further, the image processing device 28 corresponds to each pixel value of the captured image image-corrected by the image correction unit 16 or the captured image reproduced by the image recording unit 18, and is an index pixel corresponding to the index of the object. An index image conversion unit 22 that generates an index image by converting it into a value, and a color allocation unit 24 that assigns an arbitrary color to the pixel value of the index image based on the color table and generates an index display image. It has a screen configuration unit 26 that generates screen configuration information from a color reproduction image and an index display image.
続いて、本実施形態における撮像画像処理システム１０は、画像処理装置２８に接続され、画面構成部２６により生成される画面構成情報に基づいた画面を出力表示する表示装置３０を具備している。そして、本実施形態における撮像画像処理システム１０では、色再現部２０により、撮像画像の色が変換される際の所定の色域は、表示装置３０の色域に応じたものであり、撮像装置１４は、撮像した対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像（カラー動画像）を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものである。 Subsequently, the captured image processing system 10 in the present embodiment includes a display device 30 that is connected to the image processing device 28 and outputs and displays a screen based on the screen configuration information generated by the screen configuration unit 26. In the captured image processing system 10 of the present embodiment, the predetermined color gamut when the color of the captured image is converted by the color reproducing unit 20 corresponds to the color gamut of the display device 30, and the imaging device Reference numeral 14 denotes an image (color moving image) of N channels (N is an integer of 3 or more) of the captured object, and the linear coupling of the spectral sensitivities of each channel is the human eye. It corresponds to the color matching function that expresses the sensitivity.
ここで、生体組織の酸素飽和度の変化は、色の変化として人の目で認識することができるものである。例えば、図５にあるモル濃度２．３×１０−３mol/litter、厚さ０．１mmの血液層に標準イルミナントであるＤ６５の光を当てて透過した光について、血液層の酸化ヘモグロビンの総ヘモグロビンの割合の変化に対する三刺激値ＸＹＺの変化を表したグラフに示すように、三刺激値に変化が生じることから、酸素飽和度の変化を人の目で認識することができる。 Here, the change in oxygen saturation of living tissue can be recognized by the human eye as a change in color. For example, for the light transmitted by irradiating a blood layer having a molar concentration of 2.3 × 10 -3 mol / litter and a thickness of 0.1 mm with light of D65, which is a standard illuminant, as shown in FIG. 5, the total amount of oxidized hemoglobin in the blood layer is obtained. As shown in the graph showing the change in the tristimulus value XYZ with respect to the change in the proportion of hemoglobin, the change in the tristimulus value occurs, so that the change in oxygen saturation can be recognized by the human eye.
本実施形態では、演色性の高い照明と、Ｎチャネル（Ｎは、３以上の整数）の分光感度の線形結合が、人の目の感度を表す等色関数に一致するように設計された分光感度をもつカメラ（撮像装置１４）を採用することで、ＸＹＺ画像など、人の目に忠実な数値からなる画像を得ることで、ディスプレイモニタ（表示装置３０）での色再現性をＲＧＢカメラよりも高められることを保証するとともに、得られた画像の色の変化から酸素飽和度を推定することができるわけである。 In this embodiment, the spectroscopic design is such that the linear combination of highly color rendering illumination and the spectral sensitivity of the N channel (N is an integer of 3 or more) matches the color matching function that represents the sensitivity of the human eye. By adopting a camera with sensitivity (imaging device 14), it is possible to obtain an image consisting of numerical values faithful to the human eye, such as an XYZ image, so that the color reproducibility on the display monitor (display device 30) can be improved from that of an RGB camera. It is possible to estimate the degree of oxygen saturation from the change in the color of the obtained image while guaranteeing that it is also enhanced.
つまり、単純な照明・光学系だけで撮像された画像から、ディスプレイモニタ（表示装置３０）上に忠実に色再現した画像を表示することと、酸素飽和度の分布を表示することとを両立し、同時に処理することができるものである。 In other words, it is possible to both display an image that faithfully reproduces colors on a display monitor (display device 30) from an image captured only by a simple lighting / optical system and display the distribution of oxygen saturation. , Can be processed at the same time.
これは、例えば、画像を遠隔地に伝送したり、録画して後から確認する場合に、撮像した画像のみ伝送及び録画するだけで、観察者が、任意に色再現画像と、酸素飽和度分布画像の表示を切り替えたり、各画像を同時に観察することができるようになるというメリットが生じる。 For example, when an image is transmitted to a remote location or recorded and confirmed later, only the captured image is transmitted and recorded, and the observer can arbitrarily transmit and record the color reproduction image and the oxygen saturation distribution. There is an advantage that the display of images can be switched and each image can be observed at the same time.
続いて、本実施形態における撮像画像処理システム１０について、より詳細に説明していく。本実施形態において、対象物は、ヘモグロビンを含む生体組織、又は、生体組織を模したヘモグロビンを含む物体を意味していて、生体組織酸素指標には、例えば、組織酸素飽和度や、総血流量、ヘモグロビン濃度といったものを想定している。 Subsequently, the captured image processing system 10 in the present embodiment will be described in more detail. In the present embodiment, the object means a biological tissue containing hemoglobin or an object containing hemoglobin that imitates the biological tissue, and the biological tissue oxygen index includes, for example, tissue oxygen saturation and total blood flow. , Hemoglobin concentration is assumed.
また、照明装置１２は、可視光線の波長の範囲で、分光放射強度の変化の小さい演色性の高い白色光を照射する光源を採用する。さらに、照明装置１２の形態には、表面から照明するものには、例えば、リングライト、無影灯、実体顕微鏡に内蔵された同軸落射照明などがあり、裏面から照明するものには、例えば、ライトボックス、透過型顕微鏡の照明などがある。なお、表面から照明するものには、生体組織表面での照明光の鏡面反射成分の除去のために、偏光板を挿入する場合がある。 Further, the lighting device 12 employs a light source that irradiates white light having a high color rendering property with a small change in spectral radiation intensity within the wavelength range of visible light. Further, in the form of the illuminating device 12, there are, for example, a ring light, a shadowless lamp, a coaxial epi-illumination built in a stereomicroscope, and the like for illuminating from the front surface, and for example, a light for illuminating from the back surface. There are boxes, lighting for transmission microscopes, etc. In addition, a polarizing plate may be inserted into the object to be illuminated from the surface in order to remove the specular reflection component of the illumination light on the surface of the living tissue.
続いて、撮像装置１４には、生体組織をレンズ、プリズム、ミラーなどから構成される光学系を介して撮像し、Ｎチャネルの撮像画像（カラー動画像）を出力できるカメラで、光学系の分光透過率と、撮像センサの分光感度の積で表されるＮチャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するように設計され、視覚に忠実なカラー動画像を出力できるものを用いる。例として、分光感度に等色関数を採用した３チャネル出力のカメラや、多チャネル出力のマルチスペクトルカメラを用いるのが好ましい。なお、撮像装置１４が出力するＮチャネルのカラー画像の色空間を以下、撮像色空間と呼ぶ。 Subsequently, the imaging device 14 is a camera capable of capturing an image of living tissue via an optical system composed of a lens, a prism, a mirror, etc., and outputting an N-channel image (color moving image). A color moving image that is faithful to the eyes and is designed so that the linear coupling of the spectral sensitivity of the N channel, which is the product of the transmittance and the spectral sensitivity of the imaging sensor, matches the color matching function that represents the sensitivity of the human eye. Use the one that can output. As an example, it is preferable to use a 3-channel output camera or a multi-channel output multi-spectral camera that employs a color matching function for spectral sensitivity. The color space of the N-channel color image output by the image pickup apparatus 14 is hereinafter referred to as an image pickup color space.
そして、画像補正部１６は、撮像装置１４から送られてきたＮチャネル（Ｎは、３以上の整数）の撮像画像（カラー動画像）に対して、照明装置１２の経年変化（光源、電源、光学系等の経年変化）や、照明装置１２と、対象物との位置関係の変動により生じる撮像画像上の輝度変化を一定に補正する画像レベル補正処理、そして、照明装置１２の空間照度分布、光学系の作用により生じる撮像画像上の面内輝度や色のむらを均一にするむら補正処理（照明のむらの分布を保持し、その分布が平坦になるように、画像の輝度や、色のむらを除去する）を行う。 Then, the image correction unit 16 changes the illuminating device 12 over time (light source, power supply, etc.) with respect to the captured image (color moving image) of the N channel (N is an integer of 3 or more) sent from the imaging device 14. Image level correction processing that constantly corrects the change in brightness on the captured image caused by changes in the positional relationship between the lighting device 12 and the object, and the spatial illuminance distribution of the lighting device 12. Unevenness correction processing that makes the in-plane brightness and color unevenness on the captured image uniform due to the action of the optical system (the brightness and color unevenness of the image are removed so that the distribution of the unevenness of illumination is maintained and the distribution becomes flat. To do).
また、画像補正部１６は、画像のシャープネスを調整や、ノイズを低減などを行うフィルタ処理、光学系の結像に伴う画像の幾何学的歪みや、倍率色収差を除去する幾何学的補正処理、撮像色空間からＸＹＺ表色系などの標準色空間に変換する色空間変換処理を行うことができる。なお、撮像色空間画像に適用されているガンマが、１．０でない場合は、画像レベル補正処理の前に、ガンマが１．０となるように変換しておく。 Further, the image correction unit 16 performs filter processing for adjusting the sharpness of the image, reducing noise, etc., geometric correction processing for removing geometric distortion of the image due to imaging of the optical system, and chromatic aberration of magnification. It is possible to perform a color space conversion process for converting an imaged color space into a standard color space such as an XYZ color system. If the gamma applied to the captured color space image is not 1.0, it is converted so that the gamma becomes 1.0 before the image level correction processing.
上記、画像レベル補正処理は、既知の反射率の白色板を撮像装置１４で撮像することにより、画像レベル補正係数を求め、この画像レベル補正係数を各チャネル全ての全画素に乗じる処理を行うことで、輝度変化を一定に補正するというもので、具体的には、撮像装置１４で、仮に、反射率１００％の完全拡散反射板を撮像したときの、特定のチャネル（i_base)の画像レベル（Sref, i_base）が、規定の値（Sperfect, i_base）となるように画像レベルを規格化する処理を行う。 In the above image level correction process, an image level correction coefficient is obtained by imaging a white plate having a known reflectance with the image pickup device 14, and this image level correction coefficient is multiplied by all the pixels of all channels. The change in brightness is corrected to be constant. Specifically, when the image pickup device 14 captures an image of a completely diffuse reflector with a reflectance of 100%, the image level of a specific channel (i_base) (i_base). Performs processing to standardize the image level so that S ref , i_base) becomes the specified value (S perfect , i_base).
なお、本処理の校正のために、反射率１００％の完全拡散反射板の代替として、反射率Refの白色板を撮像し、次式（数１）で示される画像レベル補正係数Clevelを求めておく。 For the calibration of this process, as an alternative to the perfect diffuse reflector with a reflectance of 100%, a white plate with a reflectance of Ref is imaged, and the image level correction coefficient C level represented by the following equation (Equation 1) is obtained. Keep it.
画像レベル補正処理においては、次式（数２）に示すように、画像の全チャネルの全画素に画像レベル補正係数Clevelを乗じる。対象物上の照度変化が見込まれるたびに、白色板を撮像して、校正することで、常に一定のレベルの画像が得られることになる。 In the image level correction process, as shown in the following equation (Equation 2), the image level correction coefficient C level is multiplied by all the pixels of all channels of the image. By imaging and calibrating the white plate each time a change in illuminance on the object is expected, an image of a constant level can always be obtained.
続いて、むら補正処理は、均一照度面を撮像装置１４により撮像することにより、むら画像を取得し、このむら画像の各画素値の逆数に、むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、むら補正係数画像を撮像画像に乗じる処理を行うことで、面内輝度、及び、色のむらを均一に補正するものである。 Subsequently, the unevenness correction process acquires an unevenness image by imaging a uniform illuminance surface with the imaging device 14, and multiplies the inverse number of each pixel value of the unevenness image by the image level at the center coordinate of the unevenness image. , The unevenness correction coefficient image is obtained, and further, the unevenness correction coefficient image is multiplied by the captured image to uniformly correct the in-plane brightness and the color unevenness.
具体的には、事前の校正として、反射率が一様な面を撮像装置１４で、画角全体が面で満たされるように撮像しておいたむら画像Sshade,i(x,y)をもとに、むら画像の各画素値の逆数に、むら画像の中心座標(xc,yc)における画像レベルSshade,i(xc,yc)を乗じたむら補正係数画像Cshade,i(x,y)を用意しておく（次式（数３）参照）。 Specifically, as a preliminary calibration, an uneven image S shade , i (x, y) in which a surface having a uniform reflectance is imaged by the image pickup device 14 so that the entire angle of view is filled with the surface is also obtained. The unevenness correction coefficient image C shade , i (x, y), which is obtained by multiplying the inverse of each pixel value of the uneven image by the image level S shade , i (xc, yc) at the center coordinates (xc, yc) of the uneven image. (Refer to the following equation (Equation 3)).
ここで、Sshade,i(x,y)は、(xc,yc)を中心とする複数画素の平均画素値としても良い。そして、むら補正処理は、補正前の画像に対して、むら補正係数画像を乗じることで実施される（次式（数４）参照）。 Here, S shade , i (x, y) may be an average pixel value of a plurality of pixels centered on (xc, yc). Then, the unevenness correction processing is performed by multiplying the image before correction by the unevenness correction coefficient image (see the following equation (Equation 4)).
ここで、標準色空間は、ＸＹＺ表色系など、視覚で認識できる全ての色を包含する３チャネルの色空間とする。また、撮像色空間から標準色空間への変換は、次式（数５）に示すように、３行Ｎ列の行列［aij］との積で表される。 Here, the standard color space is a three-channel color space that includes all visually recognizable colors such as the XYZ color system. Further, the conversion from the imaged color space to the standard color space is represented by the product of the matrix [a ij ] of 3 rows and N columns as shown in the following equation (Equation 5).
次に、フィルタ処理、幾何学的補正処理を加えた処理手順は、例えば、図２のようになる。そして、画像補正部１６において補正された画像は、画像記録部１８、色再現部２０及び、指標画像変換部２２に送られることになる。 Next, the processing procedure including the filter processing and the geometric correction processing is as shown in FIG. 2, for example. Then, the image corrected by the image correction unit 16 is sent to the image recording unit 18, the color reproduction unit 20, and the index image conversion unit 22.
画像記録部１８は、磁気テープ、磁気ディスク、光学ディスク、半導体メモリなどの記録媒体を有し、この記録媒体に、任意期間の動画像、及び、間欠動画像、又は、任意時刻のフレームを静止画像として圧縮、又は、非圧縮形式で記録できるものを用いる。 The image recording unit 18 has a recording medium such as a magnetic tape, a magnetic disk, an optical disk, or a semiconductor memory, and a moving image of an arbitrary period, an intermittent moving image, or a frame at an arbitrary time is stationary on the recording medium. Use an image that can be recorded in a compressed or uncompressed format.
そして、記録された動画像、及び、間欠動画像の任意期間、又は、静止画像は、再生させることで、色再現部２０、及び、指標画像変換部２２に送られる。また、動画像、及び、間欠動画像の再生時に、これらの任意時刻のフレームを静止画像として、再び、画像記録部１８に記録することができるようになっている。 Then, the recorded moving image and the intermittent moving image for an arbitrary period or the still image are regenerated and sent to the color reproduction unit 20 and the index image conversion unit 22. Further, at the time of reproducing the moving image and the intermittent moving image, the frame at an arbitrary time can be recorded again as a still image in the image recording unit 18.
続いて、色再現部２０は、画像補正部１６、又は、画像記録部１８から送られてきた標準色空間に基づく画像について、表示装置３０の表示色空間に適合するように色変換を行う。標準色空間が、ＸＹＺ表色系でない場合は、標準色空間は、色再現部２０の内部にて、一旦、３行３列の行列により、ＸＹＺ色空間に変換処理される。また、標準色空間が、ＸＹＺ表色系の場合には、この変換処理は行われない。 Subsequently, the color reproduction unit 20 performs color conversion on the image based on the standard color space sent from the image correction unit 16 or the image recording unit 18 so as to match the display color space of the display device 30. When the standard color space is not the XYZ color system, the standard color space is once converted into the XYZ color space by a matrix of 3 rows and 3 columns inside the color reproduction unit 20. Further, when the standard color space is the XYZ color system, this conversion process is not performed.
次に、ＸＹＺ色空間に変換された画像は、色再現部２０の内部にて表示色空間に変換される。ＸＹＺ色空間から、表示色空間に変換するパラメータは、１つの方法では、例えば、表示装置３０が、ＲＧＢ三原色のカラーディスプレイの場合には、三原色、及び、白色の色度座標と、ＲＧＢの逆ガンマ値で表される。 Next, the image converted into the XYZ color space is converted into the display color space inside the color reproduction unit 20. The parameter for converting from the XYZ color space to the display color space is one method, for example, when the display device 30 is a color display of the three primary colors of RGB, the chromaticity coordinates of the three primary colors and white and the inverse of RGB. Expressed as a gamma value.
三原色、及び、白色の色度座標により、ＸＹＺ色空間から、各チャネルの最大値が１．０に規格化された規格化ＲＧＢ色空間に変換する３行３列の行列が求められ、この行列によって、ＸＹＺ色空間から、規格化ＲＧＢ色空間に変換された画素値を逆ガンマ処理した上で、２４ビットＲＧＢ値へと変換される。 A 3-by-3 matrix for converting the XYZ color space into a standardized RGB color space in which the maximum value of each channel is standardized to 1.0 is obtained from the three primary colors and the chromaticity coordinates of white. The pixel values converted from the XYZ color space to the standardized RGB color space are subjected to inverse gamma processing and then converted into 24-bit RGB values.
ここで、２４ビットＲＧＢ値は、表示色空間の各チャネルＲ、Ｇ、Ｂをそれぞれ、８ビット整数値で表したものとする。さらに、もう１つの方法では、ＸＹＺ色空間から、２４ビットＲＧＢ値に対応付けられたルックアップテーブルで表される。そして、これらのパラメータは、色再現部２０に保持される。 Here, it is assumed that the 24-bit RGB value represents each channel R, G, and B of the display color space as an 8-bit integer value. Further, in the other method, it is represented by a look-up table associated with a 24-bit RGB value from the XYZ color space. Then, these parameters are held in the color reproduction unit 20.
このようにして色変換された画像は、対象物を目で見たときと同じ色で表示装置３０上に再現されるため、色再現画像と呼ばれ、この色再現画像は、色再現部２０から、画面構成部２６へと送られる。 Since the image color-converted in this way is reproduced on the display device 30 with the same color as when the object is visually observed, it is called a color reproduction image, and this color reproduction image is the color reproduction unit 20. Is sent to the screen configuration unit 26.
続いて、指標画像変換部２２は、画像補正部１６、又は、画像記録部１８から送られてきた標準色空間に基づく画像について、指標毎に規定された多項式に基づき、画素単位で各生体組織酸素指標値を求めた複数の指標画像に変換する。 Subsequently, the index image conversion unit 22 describes the image based on the standard color space sent from the image correction unit 16 or the image recording unit 18 on a pixel-by-pixel basis based on the polynomial defined for each index. The oxygen index value is converted into a plurality of index images.
標準色空間画像上の、ある座標（x,y）のチャネルiの画素値をSi(x,y)とすると、該当座標における生体組織酸素指標値I(x,y)は、例えば、１次多項式ならば、次式（数６）で表される。 Assuming that the pixel value of the channel i at a certain coordinate (x, y) on the standard color space image is S i (x, y), the biological tissue oxygen index value I (x, y) at the corresponding coordinate is, for example, 1. If it is a degree polynomial, it is expressed by the following equation (Equation 6).
また、２次多項式ならば、次式（数７）で表される。 If it is a quadratic polynomial, it is expressed by the following equation (Equation 7).
なお、これらの多項式には、次式（数８）で表される色度siの項を加えても良い。 A term of chromaticity s i represented by the following equation (Equation 8) may be added to these polynomials.
これらの多項式の係数a0〜a3、a11〜a31は、別途求めた数値、又は、数値をまとめたファイルをタッチパネルや、キーボードなどの入力装置３２を用いて直接設定する。多項式の係数は、変換する指標の種類毎に用意されるものである。また、異なる種類の指標同士の四則演算により、別の指標を計算することもできる。このようにして得られる指標画像の画素値は、固定小数点数、或いは、浮動小数点数で表現される。そして、複数の指標画像は、色割当部２４、及び関心領域処理部３４に送られる。 The coefficients a 0 to a 3 and a 11 to a 31 of these polynomials are directly set by using a separately obtained numerical value or a file summarizing the numerical values by using an input device 32 such as a touch panel or a keyboard. The coefficients of the polynomial are prepared for each type of index to be converted. It is also possible to calculate another index by four arithmetic operations between different types of indexes. The pixel value of the index image obtained in this way is represented by a fixed-point number or a floating-point number. Then, the plurality of index images are sent to the color allocation unit 24 and the area of interest processing unit 34.
色割当部２４は、指標画像の各画素値を０から２５５の８ビット整数値に変換し、各８ビット整数に２４ビットＲＧＢ値を割り当てるカラーテーブルを指標の種類によって選択参照して、指標値を擬似カラーに変換した指標表示画像に変換する。ここで、24ビットＲＧＢ値は、表示色空間の各チャネルＲ、Ｇ、Ｂをそれぞれ８ビット整数値で表したものとする。 The color assigning unit 24 converts each pixel value of the index image into an 8-bit integer value from 0 to 255, selects and refers to a color table that assigns a 24-bit RGB value to each 8-bit integer according to the type of the index, and refers to the index value. Is converted to an index display image converted to pseudo color. Here, it is assumed that the 24-bit RGB value represents each channel R, G, and B in the display color space as an 8-bit integer value.
指標画像において、擬似カラーに変換する画素値Iの最小値Iminと、最大値Imaxを指定し、次式（数９）によって８ビット整数値I8bitに変換する。なお、式中のroundは、四捨五入を意味している。 In the index image, the minimum value I min and the maximum value I max of the pixel value I to be converted into pseudo color are specified, and the 8-bit integer value I 8 bits is converted by the following equation (Equation 9). Note that round in the formula means rounding.
変換された８ビット整数値をカラーテーブルに則り、２４ビットＲＧＢ値に置換する。カラーテーブルは、生体組織酸素指標の種類によって異なるものを選択可能とする。そして、色割当部２４から出力される指標表示画像は、画面構成部２６へと送られる。 The converted 8-bit integer value is replaced with a 24-bit RGB value according to the color table. A different color table can be selected depending on the type of biological tissue oxygen index. Then, the index display image output from the color allocation unit 24 is sent to the screen configuration unit 26.
次に、関心領域処理部３４は、色再現画像、及び、指標表示画像上に設定される複数の関心領域の座標情報を保持し、指標画像上の関心領域内における生体組織酸素指標値の統計量を計算する。 Next, the region of interest processing unit 34 holds the color reproduction image and the coordinate information of a plurality of regions of interest set on the index display image, and statistics of the oxygen index value of biological tissue in the region of interest on the index image. Calculate the amount.
この関心領域は、表示装置３０と一体化されたタッチパネル、又は、画面上にカーソルを表示して座標を指定するマウスなどのポインティングデバイスといった入力装置３２を用いて、表示装置３０の画面上の色再現画像、又は、指標表示画像上に重畳するように、領域の境界線を描画することで、色再現画像に対応した座標が設定される。 This region of interest is a color on the screen of the display device 30 using a touch panel integrated with the display device 30 or an input device 32 such as a pointing device such as a mouse that displays a cursor on the screen and specifies coordinates. By drawing the boundary line of the area so as to be superimposed on the reproduced image or the index display image, the coordinates corresponding to the color reproduced image are set.
続いて、指標画像変換部２２から送られてきた指標表示画像上に、設定された複数の関心領域に含まれる全ての画素値から、各関心領域における生体組織酸素指標値の統計量を計算する。この統計量は、例えば、平均値や、中央値がある。そして、各関心領域の座標情報と、生体組織酸素指標値の統計量は、画面構成部２６に送られる。 Subsequently, the statistic of the biological tissue oxygen index value in each region of interest is calculated from all the pixel values included in the set plurality of regions of interest on the index display image sent from the index image conversion unit 22. .. This statistic has, for example, an average value and a median value. Then, the coordinate information of each region of interest and the statistic of the biological tissue oxygen index value are sent to the screen configuration unit 26.
次に、画面構成部２６は、表示装置３０で表示する画面の描画、及び、レイアウトを実施する。対象物の色再現画像、又は、指標表示画像の他に、関心領域の境界線、及び、関心領域内の生体組織酸素指標値の統計量の数値やグラフ、パラメータ設定メニュー、数値入力用キーパッドなどを必要に応じて、描画、及び、レイアウトする。 Next, the screen configuration unit 26 draws and lays out the screen to be displayed by the display device 30. In addition to the color reproduction image or index display image of the object, the boundary line of the region of interest and the numerical value and graph of the statistic of the oxygen index value of the biological tissue in the region of interest, the parameter setting menu, the keypad for inputting the numerical value. Etc. are drawn and laid out as needed.
また、タッチパネル、又は、マウスなどのポインティングデバイスといった入力装置３２を用いて、色再現画像、又は、指標表示画像上に関心領域を設定する際に、カーソルと、設定途中の関心領域の境界線を描画し、カーソルの移動に応じて、描画を更新する。なお、ポインティングデバイスにより操作されるカーソルの座標は、画面構成部２６により管理される。 Further, when setting an area of interest on a color reproduction image or an index display image using an input device 32 such as a touch panel or a pointing device such as a mouse, the boundary line between the cursor and the area of interest being set is set. Draw and update the drawing as the cursor moves. The coordinates of the cursor operated by the pointing device are managed by the screen configuration unit 26.
対象物の画像については、図３（ａ）の色再現画像のみ、又は、図３（ｂ）の１つの指標表示画像のみ、図３（ｃ）の色再現画像と指標表示画像の併置、或いは、図３（ｄ）の色再現画像と複数種類の指標画像の併置の何れかとなり、その切り替えは、タッチパネルや、キーボードなどのボタン・フットスイッチを用いて随時可能な構成とする。 Regarding the image of the object, only the color reproduction image of FIG. 3A, or only one index display image of FIG. 3B, the color reproduction image of FIG. 3C and the index display image are juxtaposed, or , The color reproduction image of FIG. 3D and a plurality of types of index images are juxtaposed, and the switching can be performed at any time by using a touch panel, a button / foot switch of a keyboard, or the like.
また、本実施形態では、これらの画像は、画像の任意の領域を任意の倍率で画面上に表示することができ、タッチパネル、又は、マウスなどのポインティングデバイスといった入力装置３２を用いてズームや、スクロールを可能とする。 Further, in the present embodiment, these images can display an arbitrary area of the image on the screen at an arbitrary magnification, and can be zoomed using an input device 32 such as a touch panel or a pointing device such as a mouse. Allows scrolling.
関心領域の設定については、ポインティングデバイスといった入力装置３２を用いて色再現画像、又は、指標表示画像上に領域の境界線を描画することで、画像に対応した座標が設定される。１つの領域の描画が完了した時点で、描画された境界線の画面上座標から色再現画像、又は、指標表示画像のズーム・スクロール情報を勘案し、画像上の領域境界線座標を求め、この座標を関心領域処理部３４に設定する。 Regarding the setting of the region of interest, the coordinates corresponding to the image are set by drawing the boundary line of the region on the color reproduction image or the index display image using an input device 32 such as a pointing device. When the drawing of one area is completed, the area boundary line coordinates on the image are obtained from the on-screen coordinates of the drawn boundary line in consideration of the zoom / scroll information of the color reproduction image or the index display image. The coordinates are set in the region of interest processing unit 34.
関心領域の描画については、関心領域処理部３４から送られてきた関心領域の座標情報を元に、図４に示すように、各関心領域の境界線を色再現画像、又は、指標表示画像上に重畳するように描画表示する。また、描画表示された関心領域に隣接するように、関心領域の番号、及び、関心領域内の生体組織酸素指標値の統計量を表示可能とする。 Regarding the drawing of the region of interest, as shown in FIG. 4, the boundary line of each region of interest is drawn on the color reproduction image or the index display image based on the coordinate information of the region of interest sent from the region processing unit 34. Draw and display so that it overlaps with. In addition, the number of the region of interest and the statistic of the oxygen index value of the biological tissue in the region of interest can be displayed so as to be adjacent to the drawn and displayed region of interest.
また、関心領域の境界線・番号・領域内の生体組織酸素指標値の統計量を領域内の生体組織酸素指標値の統計量に対応する擬似カラーで描画することも選択可能とすることが好ましい。さらに、関心領域内の生体組織酸素指標値の統計量が、入力装置３２を用いて設定された正常値の範囲（許容範囲）を逸脱すると、該当関心領域について、境界線を警告色として設定された色に変更、又は、領域内を警告テクスチャで塗りつぶしたり、点滅表示、音声再生装置を用いて、警告音を発したりすることにより、観察者の注意を喚起する構成とするのが良い。 It is also preferable to be able to select to draw the statistic of the biological tissue oxygen index value in the boundary line / number / region of interest in a pseudo color corresponding to the statistic of the biological tissue oxygen index value in the region. .. Further, when the statistic of the biological tissue oxygen index value in the region of interest deviates from the range of normal values (allowable range) set by using the input device 32, the boundary line is set as a warning color for the region of interest. It is preferable to use a configuration that draws the attention of the observer by changing the color to a different color, filling the area with a warning texture, displaying a blinking display, or issuing a warning sound using a voice reproduction device.
さらに、画面構成部２６は、必要に応じて動画、及び、静止画表示ボタン、画像記録再生ボタン、パラメータ設定メニュー、数値入力用キーパッドをレイアウトし、必要でないときは、画面上に現れないような構成とするのも良い。そして、これらの要素が、レイアウトされた画面を表示装置３０に送り、表示装置３０は、この画面を表示するようになっている。 Further, the screen configuration unit 26 lays out a moving image, a still image display button, an image recording / playback button, a parameter setting menu, and a numerical input keypad as needed, and does not appear on the screen when it is not necessary. It is also good to have a simple configuration. Then, these elements send the laid-out screen to the display device 30, and the display device 30 displays this screen.
また、画面構成部２６に対して、表示装置３０に色再現画像と、指標表示画像の何れか一方を出力表示させる指令、又は、色再現画像と、指標表示画像とを並べて出力表示させる指令を切り替えて送ることができる切替器を画像処理装置２８に接続する構成を採用しても良い。 Further, the screen configuration unit 26 is instructed to output and display either one of the color reproduction image and the index display image on the display device 30, or a command to output and display the color reproduction image and the index display image side by side. A configuration may be adopted in which a switch capable of switching and sending is connected to the image processing device 28.
続いて、本発明に係る撮像画像処理システムの第２の実施形態について図面を参照しながら説明する。図６は、本発明に係る撮像画像処理システムの第２の実施形態を示したブロック図である。なお、符号については、画像記録装置が３６、画像分配装置が３８である以外は、図１と同様である。 Subsequently, a second embodiment of the captured image processing system according to the present invention will be described with reference to the drawings. FIG. 6 is a block diagram showing a second embodiment of the captured image processing system according to the present invention. The reference numerals are the same as those in FIG. 1 except that the image recording device is 36 and the image distribution device is 38.
本実施形態における撮像画像処理システム１０は、図６に示すように、まず、ヘモグロビンを含む対象物を表面又は裏面から照明する照明装置１２と、照明装置１２により照明された対象物を光学系を介して撮像する撮像装置１４と、撮像装置１４により撮像することで得られる撮像画像を記録及び再生する画像記録装置３６と、撮像装置１４に接続される画像処理装置２８を備えている。 As shown in FIG. 6, in the captured image processing system 10 of the present embodiment, first, a lighting device 12 that illuminates an object containing hemoglobin from the front surface or a back surface, and an optical system of the object illuminated by the lighting device 12 are used. It includes an image pickup device 14 that captures images through the image pickup device 14, an image recording device 36 that records and reproduces an image captured by the image pickup device 14, and an image processing device 28 that is connected to the image pickup device 14.
そして、画像処理装置２８は、撮像装置１４により撮像することで得られる撮像画像、又は、画像記録装置３６により再生される撮像画像の画像補正を行う画像補正部１６と、画像補正部１６により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部２０を有している。 Then, the image processing device 28 is an image correction unit 16 that corrects an image obtained by capturing an image by the image pickup device 14 or an image captured image reproduced by the image recording device 36, and an image correction unit 16. It has a color reproduction unit 20 that generates a color reproduction image by converting the corrected color of the captured image into a predetermined color range.
さらに、画像処理装置２８は、画像補正部１６により画像補正された撮像画像に対応して、対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部２２と、カラーテーブルに基づいて、指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部２４と、色再現画像と、指標表示画像とにより、画面構成情報を生成する画面構成部２６を有している。 Further, the image processing device 28 generates an index image by converting the captured image corrected by the image correction unit 16 into an index pixel value corresponding to the index of the object. The screen configuration information is generated by the color assigning unit 24 that assigns an arbitrary color to the pixel value of the index image based on the color table and generates the index display image, the color reproduction image, and the index display image. It has a screen configuration unit 26.
続いて、本実施形態における撮像画像処理システム１０は、画像処理装置２８に接続され、画面構成部２６により生成される画面構成情報に基づいた画面を出力表示する表示装置３０を具備している。そして、本実施形態における撮像画像処理システム１０では、色再現部２０により、撮像画像の色が変換される際の所定の色域は、表示装置３０の色域に応じたものであり、撮像装置１４は、撮像した対象物のＮチャネル（Ｎは、３以上の整数）のカラー動画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものである。 Subsequently, the captured image processing system 10 in the present embodiment includes a display device 30 that is connected to the image processing device 28 and outputs and displays a screen based on the screen configuration information generated by the screen configuration unit 26. In the captured image processing system 10 of the present embodiment, the predetermined color gamut when the color of the captured image is converted by the color reproducing unit 20 corresponds to the color gamut of the display device 30, and the imaging device Reference numeral 14 is to output a color moving image of N channels (N is an integer of 3 or more) of the captured object, and the linear coupling of the spectral sensitivities of each channel represents the sensitivity of the human eye. It matches the color function.
本実施形態における撮像画像処理システム１０は、第１の実施形態とは異なり、画像記録装置３６を画像記録部１８として画像処理装置２８内に持たず、外部の記録装置として接続するものである。この場合、撮像装置１４と、画像補正部１６との間に画像分配装置３８が挿置され、画像記録装置３６は、画像分配装置３８を介して、画像の記録、及び、再生を行う。なお、画像記録装置３６が、撮像色空間の画像を記録、及び、再生することや、画面構成部２６により、画像記録再生ボタンの画面情報がなくなる以外は、第１の実施形態の機能、効果において異なる点はない。
Unlike the first embodiment, the captured image processing system 10 in the present embodiment does not have the image recording device 36 as the image recording unit 18 in the image processing device 28, but is connected as an external recording device. In this case, an
本発明に係る撮像画像処理システムは、撮像により得られる画像を処理して、酸素飽和度の分布を可視化することができるため、特に、医師が、外科手術の際に、局所的な生体組織の酸欠と、その程度に気づきやすくなることから、生体組織の損傷を防止するという面で、極めて有用なシステムとなる。 The captured image processing system according to the present invention can process the image obtained by imaging to visualize the distribution of oxygen saturation. Therefore, especially when a doctor performs a surgical operation, a local biological tissue Since oxygen deficiency and its degree are easily noticed, it is an extremely useful system in terms of preventing damage to living tissues.
１０ 撮像画像処理システム
１２ 照明装置
１４ 撮像装置
１６ 画像補正部
１８ 画像記録部
２０ 色再現部
２２ 指標画像変換部
２４ 色割当部
２６ 画面構成部
２８ 画像処理装置
３０ 表示装置
３２ 入力装置
３４ 関心領域処理部
３６ 画像記録装置
３８ 画像分配装置
10 Image processing system 12 Lighting device 14 Imaging device 16 Image correction unit 18 Image recording unit 20 Color reproduction unit 22 Index image conversion unit 24 Color allocation unit 26 Screen configuration unit 28 Image processing device 30 Display device 32 Input device 34 Interest area processing Part 36
Claims (12)
前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、
前記撮像装置に接続され、
前記撮像装置により撮像することで得られる撮像画像の画像補正を行う画像補正部と、
前記画像補正部により画像補正された撮像画像を記録及び再生する画像記録部と、
前記画像補正部により画像補正された標準色空間に基づく撮像画像、又は、前記画像記録部により再生される標準色空間に基づく撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、
前記画像補正部により画像補正された撮像画像、又は、前記画像記録部により再生される撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、
カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、
前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部と、
を有する画像処理装置と、
前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置と、
を具備し、
前記所定の色域は、前記表示装置の色域に応じたものであり、
前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、
前記撮像装置は、撮像した前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システム。 A lighting device that illuminates an object containing hemoglobin from the front side or the back side of the object,
An imaging device that captures an image of the object illuminated by the lighting device via an optical system,
Connected to the imaging device
An image correction unit that corrects an image obtained by taking an image with the image pickup device, and an image correction unit.
An image recording unit that records and reproduces an image corrected by the image correction unit, and an image recording unit.
Captured image based on the standard color space, which is the image corrected by the image correcting unit, or, by converting the color of the captured image based on the standard color space to be reproduced by the image recording unit in a predetermined color gamut, color reproduction image And the color reproduction part that generates
By converting each pixel value of the captured image image-corrected by the image correction unit or the captured image reproduced by the image recording unit into an index pixel value corresponding to the index of the object. An index image conversion unit that generates an index image and
Based on the color table, an arbitrary color is assigned to the pixel value of the index image to generate an index display image, and a color assigning unit.
A screen configuration unit that generates screen configuration information from the color reproduction image and the index display image,
Image processing device with
A display device connected to the image processing device and outputting and displaying a screen based on the screen configuration information generated by the screen configuration unit.
Equipped with
The predetermined color gamut corresponds to the color gamut of the display device.
When the standard color space is not an XYZ display system, the color reproduction unit converts the standard color space into an XYZ color space by a matrix of 3 rows and 3 columns, and then converts the standard color space into an XYZ color space. It is a process that converts an image into a display color space.
The image pickup device outputs an image of N channels (N is an integer of 3 or more) of the object to be imaged, and the linear combination of the spectral sensitivities of each channel determines the sensitivity of the human eye. An captured image processing system characterized in that it matches the represented color matching function.
前記照明装置により照明された前記対象物を光学系を介して撮像する撮像装置と、
前記撮像装置により撮像することで得られる撮像画像を記録及び再生する画像記録装置と、
前記撮像装置と、前記画像記録装置に接続され、
前記撮像装置により撮像することで得られる標準色空間に基づく撮像画像、又は、前記画像記録装置により再生される標準色空間に基づく撮像画像の画像補正を行う画像補正部と、
前記画像補正部により画像補正された撮像画像の色を所定の色域に変換することで、色再現画像を生成する色再現部と、
前記画像補正部により画像補正された撮像画像の各画素値に対応して、前記対象物の指標に応じた指標画素値に変換することで、指標画像を生成する指標画像変換部と、
カラーテーブルに基づいて、前記指標画像の画素値に任意の色を割り当てて、指標表示画像を生成する色割当部と、
前記色再現画像と、前記指標表示画像とにより、画面構成情報を生成する画面構成部と、
を有する画像処理装置と、
前記画像処理装置に接続され、前記画面構成部により生成される画面構成情報に基づいた画面を出力表示する表示装置と、
を具備し、
前記所定の色域は、前記表示装置の色域に応じたものであり、
前記色再現部は、前記標準色空間が、ＸＹＺ表示系でない場合は、当該標準色空間を３行３列の行列により、ＸＹＺ色空間に変換処理を行い、続いて、ＸＹＺ色空間に変換した画像を表示色空間に変換する処理を行うものであり、
前記撮像装置は、撮像した前記対象物、又は、前記対象物のＮチャネル（Ｎは、３以上の整数）の撮像画像を出力するものであり、且つ、各チャネルの分光感度の線形結合が、人の目の感度を表す等色関数に一致するものであることを特徴とする撮像画像処理システム。 A lighting device that illuminates an object containing hemoglobin from the front side or the back side of the object,
An imaging device that captures an image of the object illuminated by the lighting device via an optical system,
An image recording device that records and reproduces an captured image obtained by imaging with the image pickup device, and an image recording device.
Connected to the image pickup device and the image recording device,
An image correction unit that corrects an image based on a standard color space obtained by taking an image with the image recording device or an image corrected based on a standard color space reproduced by the image recording device.
A color reproduction unit that generates a color reproduction image by converting the color of the captured image image-corrected by the image correction unit into a predetermined color gamut.
An index image conversion unit that generates an index image by converting each pixel value of the captured image image-corrected by the image correction unit into an index pixel value corresponding to the index of the object.
Based on the color table, an arbitrary color is assigned to the pixel value of the index image to generate an index display image, and a color assigning unit.
A screen configuration unit that generates screen configuration information from the color reproduction image and the index display image,
Image processing device with
A display device connected to the image processing device and outputting and displaying a screen based on the screen configuration information generated by the screen configuration unit.
Equipped with
The predetermined color gamut corresponds to the color gamut of the display device.
When the standard color space is not an XYZ display system, the color reproduction unit converts the standard color space into an XYZ color space by a matrix of 3 rows and 3 columns, and then converts the standard color space into an XYZ color space. It is a process that converts an image into a display color space.
The imaging device, the object to be imaged, or, N-channel of the object (N is an integer of 3 or more) and outputs a captured image, and, the linear combination of the spectral sensitivity of each channel, An captured image processing system characterized in that it matches a color matching function that represents the sensitivity of the human eye.
前記画像レベル補正機能は、既知の反射率の白色板を撮像することにより、画像レベル補正係数を求め、当該画像レベル補正係数を前記各チャネル全ての全画素に乗じる処理を行うことで、前記輝度変化を一定に補正し、
前記むら補正機能は、均一照度面を撮像することによって、むら画像を取得し、当該むら画像の各画素値の逆数に、当該むら画像の中心座標における画像レベルを乗じることで、むら補正係数画像を求め、さらに、当該むら補正係数画像を前記撮像画像に乗じる処理を行うことで、前記面内輝度、及び、色のむらを均一に補正することを特徴とする請求項１〜６何れか１項記載の撮像画像処理システム。 The image correction unit has an image level correction function that constantly corrects an aging change of the lighting device and a change in brightness on a captured image caused by a change in the positional relationship between the lighting device and the object, and the lighting. It has an unevenness correction function that uniformly corrects the spatial illuminance distribution of the device, the in-plane brightness on the captured image caused by the action of the optical system, and the color unevenness.
The image level correction function obtains an image level correction coefficient by imaging a white plate having a known reflectance, and multiplies the image level correction coefficient by all pixels of all the channels to obtain the brightness. Correct the change to be constant,
The unevenness correction function acquires an unevenness image by imaging a uniform illuminance surface, and multiplies the inverse number of each pixel value of the unevenness image by the image level at the center coordinates of the unevenness image to obtain an unevenness correction coefficient image. Any one of claims 1 to 6, wherein the in-plane brightness and the color unevenness are uniformly corrected by performing a process of multiplying the image of the unevenness correction coefficient image by the captured image. The captured image processing system described.
前記画像処理装置は、前記表示装置の画面上に表示された前記色再現画像、及び、前記指標表示画像に描画表示された前記関心領域に含まれる前記指標表示画像の画素値から、指標値の統計量を計算する関心領域処理部を有していることを特徴とする請求項１〜８何れか１項記載の撮像画像処理システム。 When an area of interest of an arbitrary shape is set by using an input device connected to the image processing device, the screen configuration unit displays the color reproduction image displayed on the screen of the display device and the index display. The set area of interest is drawn and displayed on the image.
The image processing device determines the index value from the pixel value of the color reproduction image displayed on the screen of the display device and the index display image included in the area of interest drawn and displayed on the index display image. The captured image processing system according to any one of claims 1 to 8, further comprising an area of interest processing unit for calculating statistics.
前記関心領域を所定の色に変更、又は、所定のパターンに変更、或いは、点滅させることを特徴とする請求項９記載の撮像画像処理システム。 When the permissible range of the index is set by using the input device connected to the image processing device, the screen component unit displays the index value when the statistic of the index value deviates from the permissible range. The color reproduction image displayed on the screen of the apparatus and the area of interest drawn and displayed on the index display image are changed to a predetermined color, changed to a predetermined pattern, or blinked. 9. The captured image processing system according to claim 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017104206A JP6960773B2 (en) | 2017-05-26 | 2017-05-26 | Captured image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017104206A JP6960773B2 (en) | 2017-05-26 | 2017-05-26 | Captured image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018198703A JP2018198703A (en) | 2018-12-20 |
| JP6960773B2 true JP6960773B2 (en) | 2021-11-05 |
Family
ID=64667441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017104206A Active JP6960773B2 (en) | 2017-05-26 | 2017-05-26 | Captured image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6960773B2 (en) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2810718B2 (en) * | 1989-05-09 | 1998-10-15 | オリンパス光学工業株式会社 | Endoscope device |
| JPH05211996A (en) * | 1992-02-03 | 1993-08-24 | Toshiba Corp | Correcting method for uniformity of scope image |
| JP4983093B2 (en) * | 2006-05-15 | 2012-07-25 | ソニー株式会社 | Imaging apparatus and method |
| JP4931199B2 (en) * | 2006-09-29 | 2012-05-16 | 富士フイルム株式会社 | Electronic endoscope device |
| JP2008093225A (en) * | 2006-10-13 | 2008-04-24 | Olympus Medical Systems Corp | Endoscope system and image processing method in this endoscope system |
| JP2009131324A (en) * | 2007-11-28 | 2009-06-18 | Hoya Corp | Field sequential imaging display system |
| JP2010258110A (en) * | 2009-04-22 | 2010-11-11 | Panasonic Corp | Solid-state imaging element |
| JP2012020028A (en) * | 2010-07-16 | 2012-02-02 | Hoya Corp | Processor for electronic endoscope |
| JP5737899B2 (en) * | 2010-10-07 | 2015-06-17 | Hoya株式会社 | Diagnostic system |
| JP5405445B2 (en) * | 2010-12-17 | 2014-02-05 | 富士フイルム株式会社 | Endoscope device |
| CN103476320A (en) * | 2011-03-29 | 2013-12-25 | Hoya株式会社 | Diagnostic system |
| JP2012245223A (en) * | 2011-05-30 | 2012-12-13 | Hoya Corp | Electronic endoscope apparatus and spectral image optimization method |
| JP6257926B2 (en) * | 2013-05-31 | 2018-01-10 | Hoya株式会社 | Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device |
| JP6204314B2 (en) * | 2014-09-03 | 2017-09-27 | Hoya株式会社 | Electronic endoscope system |
| JP6257551B2 (en) * | 2015-03-31 | 2018-01-10 | 有限会社パパラボ | Color fidelity environment correction apparatus and color fidelity environment correction method |
-
2017
- 2017-05-26 JP JP2017104206A patent/JP6960773B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018198703A (en) | 2018-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11399123B2 (en) | Image transformation and display for fluorescent and visible imaging | |
| JP6456416B2 (en) | Medical inspection devices such as microscopes and endoscopes using pseudo colors | |
| KR100998805B1 (en) | Image combining apparatus | |
| JP4935822B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5968944B2 (en) | Endoscope system, processor device, light source device, operation method of endoscope system, operation method of processor device, operation method of light source device | |
| US20180220052A1 (en) | Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination | |
| US20200169686A1 (en) | Simultaneous Display of Two or More Different Sequentially Processed Images | |
| US20140233914A1 (en) | Image appearance framework and applications for digital image creation and display | |
| JP2007047045A (en) | Apparatus, method and program for image processing | |
| JP6389140B2 (en) | Endoscope system, processor device, and operation method of endoscope system | |
| EP1963802A1 (en) | Dental colorimetry apparatus | |
| JP2001258044A (en) | Medical use image processing unit | |
| CN106163367A (en) | Medical image-processing apparatus and method of work thereof and endoscopic system | |
| US20220211251A1 (en) | Image processing device, endoscope system, and method of operating image processing device | |
| JP3989522B2 (en) | Dental colorimetry apparatus, system, method, and program | |
| JP3989521B2 (en) | Image composition apparatus, method and program | |
| US8169475B2 (en) | Image processing system, imaging system, and microscope imaging system | |
| JP2008093225A (en) | Endoscope system and image processing method in this endoscope system | |
| JP6960773B2 (en) | Captured image processing system | |
| EP2204980B1 (en) | Image processing system, imaging system, and microscope imaging system | |
| JP4831962B2 (en) | Imaging device | |
| JP5885652B2 (en) | Imaging apparatus, endoscope apparatus, and biological pattern enhancement processing method | |
| US20220095891A1 (en) | Color correction device for medical apparatus | |
| EP4275577A1 (en) | Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light | |
| WO2019244254A1 (en) | Image processing device, operating method for image processing device, and operation program for image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6960773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |