WO2025205644A1 - 色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システム - Google Patents

色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システム

Info

Publication number
WO2025205644A1
WO2025205644A1 PCT/JP2025/011519 JP2025011519W WO2025205644A1 WO 2025205644 A1 WO2025205644 A1 WO 2025205644A1 JP 2025011519 W JP2025011519 W JP 2025011519W WO 2025205644 A1 WO2025205644 A1 WO 2025205644A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
color space
conversion
conversion rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/011519
Other languages
English (en)
French (fr)
Inventor
徹 杉山
芳彦 荻野
渉 吉村
岳志 長屋
悠史 藤嶋
星児 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2025534258A priority Critical patent/JP7779444B1/ja
Publication of WO2025205644A1 publication Critical patent/WO2025205644A1/ja
Priority to JP2025195305A priority patent/JP2026020204A/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals

Definitions

  • This disclosure relates to a color conversion device, a color conversion method, a program, a training device, an image assessment device, a machine learning model, and a color conversion system.
  • Patent Document 1 discloses a color correction device that performs color correction on image data obtained by imaging with a medical imaging device, with biological tissues as the subject, to make it suitable for display on a color monitor.
  • Patent Document 2 discloses an endoscopic device that records a color chart during an examination and corrects the color image during the next examination based on the color difference between a temporary color chart created for the next examination and the color chart used during the previous examination.
  • the purpose of this disclosure is to provide a color conversion device, color conversion method, program, training device, image assessment device, and machine learning model that can correct images generated by different imaging devices and bring color tones closer together.
  • a color conversion device includes a conversion rule storage unit that stores an inverse conversion rule of a first conversion rule that converts an image expressed in a first color space into an image expressed in a reference color space, and a second conversion rule that converts an image expressed in a second color space into an image expressed in the reference color space, and a conversion unit that converts a captured image that reflects color characteristics specific to the second imaging device into a reference image expressed in the reference color space in accordance with the second conversion rule, and converts the reference image into a converted image expressed in the first color space in accordance with the inverse conversion rule.
  • a color conversion method is a color conversion method executed by a color conversion device that stores an inverse conversion rule of a first conversion rule that converts an image expressed in a first color space into an image expressed in a reference color space, and a second conversion rule that converts an image expressed in a second color space into an image expressed in the reference color space.
  • the color conversion method acquires a captured image expressed in the second color space, converts the captured image into a reference image expressed in the reference color space according to the second conversion rule, and converts the reference image into a converted image expressed in the first color space according to the inverse conversion rule.
  • a program is stored on a non-transitory storage medium, and is executed by a computer of a color conversion device that stores an inverse conversion rule of a first conversion rule for converting an image expressed in a first color space into an image expressed in a reference color space, and a second conversion rule for converting an image expressed in a second color space into an image expressed in the reference color space.
  • the program instructs the computer to perform the following steps: acquiring a captured image expressed in the second color space; converting the captured image into a reference image expressed in the reference color space in accordance with the second conversion rule; and converting the reference image into a converted image expressed in the first color space in accordance with the inverse conversion rule.
  • a training device includes an acquisition unit that acquires a training dataset including training images expressed in a first color space and annotations to be judged; and a training unit that uses the training dataset to train a machine learning model that judges images expressed in the first color space, wherein the training images are generated by converting a captured image expressed in the second color space into a reference image expressed in the reference color space in accordance with a second transformation rule that converts an image expressed in the second color space into an image expressed in the reference color space, and converting the reference image into a transformed image expressed in the first color space in accordance with an inverse transformation rule of the first transformation rule that converts an image expressed in the first color space into an image expressed in the reference color space.
  • the training images are generated by converting a captured image expressed in the second color space into a reference image expressed in the reference color space in accordance with a second conversion rule that converts an image expressed in the second color space into an image expressed in a reference color space, and converting the reference image into a converted image expressed in the first color space in accordance with an inverse conversion rule of the first conversion rule that converts an image expressed in the first color space into an image expressed in the reference color space.
  • a color conversion device includes a conversion rule storage unit that stores an inverse conversion rule of a first conversion rule that converts an image reflecting color characteristics specific to a first imaging device into a reference image that is not dependent on the color characteristics of a specific imaging device, and a second conversion rule that converts an image reflecting color characteristics specific to a second imaging device into the reference image; and a conversion unit that converts the captured image reflecting color characteristics specific to the second imaging device into the reference image in accordance with the second conversion rule, and converts the reference image into a converted image having color characteristics specific to the first imaging device in accordance with the inverse conversion rule.
  • Images created using different imaging devices can be corrected to bring the color tones closer together.
  • FIG. 1 is a diagram showing an example of the configuration of a first example of a color conversion system.
  • FIG. 1 is a diagram showing an example of the functional configuration of a color conversion device according to a first example;
  • FIG. 1 is a diagram showing an example of a functional configuration of an imaging device;
  • 1 is a flowchart illustrating an example of the operation of a color conversion device during a process for generating a conversion rule.
  • 1 is a flowchart illustrating an example of the operation of a color conversion device when performing color conversion processing.
  • FIG. 10 is a diagram showing an example of the configuration of a color conversion system according to a fourth modified example.
  • FIG. 13 is a diagram showing an example of the functional configuration of a color conversion device according to Modification 4.
  • FIG. 1 is a diagram showing an example of the configuration of a first example of a color conversion system.
  • FIG. 1 is a diagram showing an example of the functional configuration of a color conversion device according to a first example
  • FIG. 1
  • FIG. 1 is a diagram showing an example of a functional configuration of a conversion rule generation device.
  • FIG. 13 is a diagram showing an example of the configuration of a color conversion system according to a fifth modified example.
  • FIG. 1 is a diagram showing an example of the functional configuration of a standard conversion rule generation device.
  • FIG. 1 is a diagram showing an example of the functional configuration of an inverse conversion rule generation device.
  • FIG. 10 is a diagram showing an example of the configuration of a second example of a color conversion system.
  • FIG. 1 is a diagram showing an example of the functional configuration of a training device. Flowchart for explaining an example of the operation of the training device A flowchart for explaining an example of the operation of a color conversion system including a training device.
  • FIG. 13 is a diagram showing an example of the configuration of a color conversion system according to a fifth modified example.
  • FIG. 1 is a diagram showing an example of the functional configuration of a standard conversion rule generation device.
  • FIG. 1 is a diagram showing an
  • FIG. 10 is a diagram showing an example of the configuration of a third example of a color conversion system.
  • FIG. 1 is a diagram showing an example of a functional configuration of an image assessment device.
  • Flowchart for explaining an example of operation of the image assessment device A flowchart for explaining an example of the operation of a color conversion system including an image determination device.
  • FIG. 10 is a diagram showing an example of the hardware configuration of each device.
  • Pathological diagnoses are commonly performed in which an observer such as a pathologist examines a pathology image created by extracting tissue from a subject to determine the presence and type of a lesion.
  • a pathology image is, for example, an image obtained by taking a magnified photograph of a specimen that has been extracted, fixed, stained, and thinly sliced from a portion of the subject's tissue.
  • Pathology images are generated by photographing the specimen using an imaging device with a magnification function, such as a microscope, that is placed in a hospital.
  • the color or intensity of the stained tissue can be an important clue.
  • the color tone of the pathology image can change due to the color characteristics specific to the imaging device, which can have a negative impact on the diagnosis.
  • [Configuration example] 1 is a diagram showing an example of the configuration of a first example of a color conversion system.
  • the color conversion system 100 according to the first example includes a color conversion device 10, a plurality of image capture devices 20, and an observation device 30.
  • Each of the multiple imaging devices 20 has a camera that captures an image of the subject and generates a digital image. More specifically, the multiple imaging devices 20 are devices that generate pathological images. This disclosure does not particularly limit the number of multiple imaging devices, but the following description will explain the case where the multiple imaging devices 20 include a first imaging device 20_1 and a second imaging device 20_2, as shown in Figure 1.
  • first imaging device 20_1 and the second imaging device 20_2 may be collectively referred to as imaging device 20, or either the first imaging device 20_1 or the second imaging device 20_2 may be referred to simply as imaging device 20.
  • the first imaging device 20_1 generates an image expressed in a first color space.
  • the second imaging device 20_2 generates an image expressed in a second color space.
  • the first color space or the second color space may each be an RGB color space.
  • the image generated by the first imaging device 20_1 will be referred to as the first image
  • the image generated by the second imaging device 20_2 will be referred to as the second image.
  • the first image reflects color characteristics specific to the first imaging device.
  • the second image reflects color characteristics specific to the second imaging device.
  • the first image and the second image each have a different color tone. In this way, each imaging device included in the multiple imaging devices 20 generates an image that reflects a different color characteristic.
  • the first imaging device 20_1 is a specific imaging device, i.e., an imaging device that generates images that the observer has observed many times in the past.
  • step S32 the color conversion device 10 converts the second image into a reference image using the second conversion rule.
  • step S34 the training device 40 executes the training process described in FIG. 14.
  • the color conversion device 10 converts the image generated by the second imaging device 20_2 into a converted image having color characteristics specific to the first imaging device 20_1, and the training device 40 performs training using this converted image.
  • the training device 40 performs training using this converted image.
  • a trained machine learning model trained using such converted images can effectively support pathologists so that they can make accurate diagnoses when diagnosing pathological images.
  • the image assessment device 50 performs a judgment process in which images (pathological images) acquired directly from multiple imaging devices 20 or via the color conversion device 10 are input into a trained machine learning model, and a judgment result is output.
  • the trained machine learning model is a machine learning model generated by the training device 40 performing the training process in the second example described above.
  • the trained machine learning model is a machine learning model that is expressed in the first color space and is trained using images that reflect the color characteristics unique to the first imaging device 20_1.
  • the image assessment device 50 is a type of computer, such as a PC, workstation, or tablet terminal.
  • FIG. 17 is a diagram showing an example of the functional configuration of an image assessment device 50.
  • the image assessment device 50 includes a communication unit 51, an acquisition unit 52, a determination unit 53, and a storage unit 54.
  • the communication unit 51 transmits and receives various information to and from the color conversion device 10 or the imaging device 20 via wired or wireless communication.
  • the acquisition unit 52 acquires the first image from the first imaging device 20_1 and the converted image from the color conversion device 10. Both the first image and the converted image are images that reflect the color characteristics unique to the first imaging device 20_1.
  • the memory unit 54 stores a trained machine learning model 55.
  • the determination unit 53 uses the trained machine learning model 55 to determine an image that is expressed in the first color space and reflects color characteristics specific to the first imaging device 20_1. More specifically, the determination unit 53 inputs at least one of the newly acquired first image and the converted image into the trained machine learning model 55, and generates a determination result based on the output result. The determination result is output to a device used by pathologists and others to assist in diagnosis, such as a display device not shown in FIG. 16.
  • the image assessment device can accurately assess new images that reflect the color characteristics specific to a specific imaging device using a trained machine learning model that has been trained using images that reflect the color characteristics specific to a specific imaging device.
  • the number of imaging devices is not limited to two. Furthermore, if sufficient processing power can be ensured, for example, the image assessment device may have the functionality of a color conversion device and be able to perform conversion rule generation processing and color conversion processing.
  • FIG. 18 is a flowchart for explaining an example of the operation of the image determination process in the image determination device 50.
  • step S41 the acquisition unit 52 of the image assessment device 50 acquires the first image transmitted from the first imaging device 20_1.
  • the image assessment device 50 may acquire multiple first images.
  • step S42 the acquisition unit 52 acquires the converted image transmitted from the color conversion device 10.
  • the image assessment device 50 may acquire multiple converted images. Note that the order in which steps S41 and S42 are performed may be reversed. Furthermore, steps S41 and S42 may be performed in parallel.
  • step S43 the determination unit 53 inputs at least one of the first image acquired in step S41 and the converted image acquired in step S42 into the trained machine learning model 55.
  • step S44 the determination unit 53 generates a determination result based on the output result from the trained machine learning model 55.
  • the determination result may be the output result itself, or may have been processed in some way. An example of processing would be if the output result was text information, presenting the determination result in the form of a table or diagram that makes it easy for a pathologist to understand the content at a glance.
  • This operation enables highly accurate determination processing to be performed on input images that reflect the color characteristics unique to a particular imaging device 20.
  • FIG. 19 is a flowchart for explaining an example of the operation of the color conversion system 300 including the image assessment device 50.
  • step S53 the conversion unit 133 of the color conversion device 10 uses the inverse conversion rules to convert the reference image into a converted image having color characteristics specific to the first imaging device 20_1.
  • the converted image generated in step S53 is transmitted to the training device 40.
  • the image assessment device 50 can accurately assess new images that reflect the color characteristics unique to the first imaging device 20_1 using a trained machine learning model that has been trained using images that reflect the color characteristics unique to the first imaging device 20_1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本開示の色変換装置は、第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する変換規則格納部と、前記第２変換規則に従って前記第２撮像装置に特有の色特性が反映された撮像画像を前記基準色空間で表現された基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する変換部と、を有する。

Description

色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システム
　本開示は、色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システムに関する。
　撮像装置を用いて被写体を撮影し、画像を生成することが一般的に行われている。同じ撮像装置を用いて生成した画像でも、例えば照明など、撮影時の条件が変化した場合、生成された画像の色調が変化することがある。このため、複数の画像の色調を揃える技術が要望されている。
　特許文献１には、医療用撮像装置による撮像によって得られた、生体組織群を被写体とする画像データに対して、カラーモニタへの表示に適した色修正を行う色修正装置が開示されている。また、特許文献２には、検査時にカラーチャートを記録し、次回検査時に生成された一時的なカラーチャートと前回検査時のカラーチャートとの色差に基づいて、次回検査時のカラー画像を補正する内視鏡装置が開示されている。
国際公開第２０２０／１６６６９７号 特開２０１６－５４７５８号公報
　撮像装置を用いて被写体を撮影し、画像を生成したとき、一般的に、生成された画像には、撮像装置に特有の色特性が反映される。これにより、同じ被写体を撮影した画像であっても、画像を生成する撮像装置が異なる場合、色調が異なることがある。
　本開示は、異なる撮像装置により生成された画像を補正し、色調を近づけることができる色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、および機械学習モデルを提供することを目的とする。
　本開示の一態様に係る色変換装置は、第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する変換規則格納部と、前記第２変換規則に従って前記第２撮像装置に特有の色特性が反映された撮像画像を前記基準色空間で表現された基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する変換部と、を有する。
　本開示の一態様に係る色変換方法は、第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する色変換装置により実行される色変換方法であって、前記第２色空間で表現された撮像画像を取得し、前記第２変換規則に従って前記撮像画像を前記基準色空間で表現された基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する。
　本開示の一態様に係るプログラムは、非一時的な記憶媒体に格納されており、当該プログラムは、第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する色変換装置のコンピューターにより実行されるプログラムであって、前記第２色空間で表現された撮像画像を取得する手順と、前記第２変換規則に従って前記撮像画像を前記基準色空間で表現された基準画像に変換する手順と、前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する手順と、を前記コンピューターに実行させる。
　本開示の一態様に係る訓練装置は、第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを取得する取得部と、前記訓練データセットを利用して、前記第１色空間で表現された画像を判定する機械学習モデルを訓練する訓練部と、を有し、前記訓練画像は、第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、ことによって生成されている。
　本開示の一態様に係る画像判定装置は、第１色空間で表現された画像を取得する取得部と、前記第１色空間で表現された画像を判定する訓練済み機械学習モデルを利用して、前記第１色空間で表現された画像を判定する判定部と、を有し、前記訓練済み機械学習モデルは、前記第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを利用して訓練されており、前記訓練画像は、第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、ことによって生成されている。
　本開示の一態様に係る機械学習モデルは、第１色空間で表現された画像を取得することと、前記第１色空間で表現された画像を判定することと、をコンピューターに実行させる機械学習モデルであって、前記機械学習モデルは、前記第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを利用して訓練され、前記訓練画像は、第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、ことによって生成されている。
　本開示の一態様に係る色変換システムは、上記の色変換装置と、変換規則生成装置と、を備える色変換システムであって、前記変換規則生成装置は、前記逆変換規則および前記第２変換規則を生成し、前記色変換装置は、生成された前記逆変換規則および前記第２変換規則を取得する。
　本開示の一態様に係る色変換システムは、上記の色変換装置と、標準変換規則生成装置と、逆変換規則生成装置と、を備える色変換システムであって、前記変換規則生成装置は、前記第１変換規則および前記第２変換規則を生成し、前記逆変換規則生成装置は、前記第１変換規則の前記逆変換規則を生成し、前記色変換装置は、生成された前記逆変換規則および前記第２変換規則を取得する。
　本開示の一態様に係る色変換装置は、第１撮像装置に特有の色特性が反映された画像を特定の撮像装置の色特性に依存しない基準画像に変換する第１変換規則の逆変換規則と、第２撮像装置に特有の色特性が反映された画像を前記基準画像に変換する第２変換規則とを格納する変換規則格納部と、前記第２変換規則に従って前記第２撮像装置に特有の色特性が反映された撮像画像を前記基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１撮像装置に特有の色特性を有する変換画像に変換する変換部と、を有する。
　異なる撮像装置により生成された画像を補正し、色調を近づけることができる。
色変換システムの第１の例における構成の一例を示す図 第１の例における色変換装置の機能的な構成の一例を示す図 撮像装置の機能的な構成の一例を示す図 変換規則の生成処理時における色変換装置の動作例について説明するためのフローチャート 色変換処理の実施時における色変換装置の動作例について説明するためのフローチャート 色変換システムの変形例４における構成の一例を示す図 変形例４における色変換装置の機能的な構成の一例を示す図 変換規則生成装置の機能的な構成の一例を示す図 色変換システムの変形例５における構成の一例を示す図 標準変換規則生成装置の機能的な構成の一例を示す図 逆変換規則生成装置の機能的な構成の一例を示す図 色変換システムの第２の例における構成の一例を示す図 訓練装置の機能的な構成の一例を示す図 訓練装置の動作例について説明するためのフローチャート 訓練装置を含む色変換システムの動作例について説明するためのフローチャート 色変換システムの第３の例における構成の一例を示す図 画像判定装置の機能的な構成の一例を示す図 画像判定装置の動作例について説明するためのフローチャート 画像判定装置を含む色変換システムの動作例について説明するためのフローチャート 各装置のハードウェア構成の一例を示す図
＜概要＞
　複数の撮像装置を用いて、複数の画像が生成されることがある。撮像装置にはそれぞれ特有の色特性があり、同じ被写体を撮影したとしても異なる色調の画像が生成されることがある。
　このような複数の画像を観察者が観察する際、画像毎の色調の違いが観察に影響を及ぼすことがある。具体例を挙げると、観察者が、特定の撮像装置により生成された画像の色調を見慣れている場合、他の撮像装置により生成された画像を観察したとき、色調の違いにより観察時に違和感を覚えることがある。
　本開示は、複数の撮像装置により生成された画像のうち、特定の撮像装置以外の撮像装置により生成された画像の色調を、特定の撮像装置により生成された画像の色調に近づける色変換処理を行う色変換装置に関する。
　本開示の色変換装置は、例えば以下のような事例に適用することができる。病理医などの観察者が、被検体から組織を採取して作成された病理画像を観察することにより、病変の有無や種類などを診断する病理診断が一般的に行われている。病理画像は、例えば、被検体の組織の一部を採取して固定し、染色し、薄切りにした標本を拡大撮影して得られる画像である。病理画像は、病院などに置かれ、顕微鏡などの拡大機能を含む撮像装置により標本を撮影することで生成される。
　観察者が病理画像を観察して診断するとき、染色により付けられた組織の色または色の濃さが重要な手がかりとなりうる。観察者が様々な撮像装置により生成された病理画像を用いて診断する場合、撮像装置に特有の色特性により病理画像の色調が変化し、診断に悪影響を及ぼすことがある。
　このような事態を解消する方法として、撮像装置により生成された画像を、例えば染色された検体本来の色調の画像に補正することで、撮像装置に特有の色調が、観察者が観察する画像に反映されないようにすることが考えられる。
　しかしながら、特定の撮像装置に特有の色調の病理画像を数多く観察してきた観察者は、補正された色調に違和感を覚えることがある。ここで、特定の撮像装置とは、観察者が過去に数多く観察してきた画像を生成する撮像装置を意味する。このような場合、その観察者が過去の経験を活かした診断を行うことは困難となる。観察者が画像に対して診断情報を付与するアノテーション作業は、観察者が見慣れた色調で実施されることが望ましく、補正により見慣れない色調の画像でアノテーション作業を行う場合、著しく作業効率が悪化することが懸念される。
　また、大量の病理画像とそれぞれの病理画像に対応するラベルデータとを用いて訓練された訓練済み機械学習モデルを用いて、新たな病理画像に対する観察者の診断の補助を行う病理画像解析ＡＩ（Artificial Intelligence）が開発されている。
　このような病理画像解析ＡＩにおいて、機械学習モデルの訓練には、様々な色調の病理画像を用いる方法と、いずれかの色調の病理画像に統一して訓練を行う方法とがある。これらの方法は、病理画像解析ＡＩの使用目的や用いられる画像などによって、使い分けて用いられる、または組み合わせて用いられる。例えば、様々な色調の病理画像を用いて訓練を行った場合、訓練された機械学習モデルの頑健性（ロバストネス）を向上させることができると考えられる。一方で、いずれかの色調の病理画像に統一して訓練を行った場合、学習効率が良くなると考えられる。
　このような事例に鑑み、本開示の色変換装置は、様々な撮像装置により生成された、様々な色調の画像を、特定の撮像装置に特有の色特性による特定の色調の画像に変換するものである。ここで、特定の色調は、観察者が過去に数多く観察してきた画像を生成する特定の撮像装置に依存する色調であってもよい。または、特定の色調は、画像解析ＡＩの機械学習モデルが過去に数多く学習してきた画像を生成する特定の撮像装置に依存する色調であってもよい。これにより、特定の撮像装置に依存する特定の色調の画像を過去に数多く観察してきた観察者が、過去の知見を活かして観察および診断を行うことができるようになる。また、画像解析ＡＩの機械学習モデルの訓練データとして、様々な色調の画像を特定の撮像装置に依存する特定の色調の画像に補正して用いることにより、特定の撮像装置により生成された新たな病理画像に対して精度のよい診断補助を行うことができるようになる。
　なお、以下の説明においては、病理画像を取り扱う装置および方法について説明するが、本開示はこれに限定されない。本開示の装置および方法は、デジタル化された画像であれば、病理画像以外にも種々の画像を取り扱うことができる。
　以下では、本開示の色変換装置、および色変換装置を含む色変換システムについて、具体例を挙げながら詳細に説明する。
＜第１の例＞
　まず、本開示の実施の形態に係る色変換装置１０を含む色変換システムの第１の例について説明する。
［構成例］
　図１は、色変換システムの第１の例における構成の一例を示す図である。第１の例に係る色変換システム１００は、色変換装置１０と、複数の撮像装置２０と、観察用装置３０と、を備える。
　複数の撮像装置２０は、それぞれ被検体を撮影するカメラを有しており、デジタル画像を生成する。より具体的には、複数の撮像装置２０は、病理画像を生成する装置である。本開示では、複数の撮像装置の数については特に限定しないが、以下の説明では、図１に示すように、複数の撮像装置２０として、第１撮像装置２０＿１および第２撮像装置２０＿２が含まれる場合について説明する。
　以下の説明において、第１撮像装置２０＿１および第２撮像装置２０＿２を総称して、または第１撮像装置２０＿１もしくは第２撮像装置２０＿２のいずれかを指して、単に撮像装置２０と記載することがある。
　第１撮像装置２０＿１は、第１色空間で表現された画像を生成する。第２撮像装置２０＿２は、第２色空間で表現された画像を生成する。本実施の形態において、第１色空間または第２色空間は、それぞれＲＧＢ色空間であってもよい。以下の説明において、第１撮像装置２０＿１が生成した画像を第１画像、第２撮像装置２０＿２が生成した画像を第２画像と記載する。
　第１画像には、第１撮像装置に特有の色特性が反映される。第２画像には、第２撮像装置に特有の色特性が反映される。第１画像と第２画像とは、それぞれ異なる色調を有する。このように、複数の撮像装置２０に含まれる各撮像装置は、それぞれ異なる色特性が反映された画像を生成する。
　以下の説明においては、第１撮像装置２０＿１が特定の撮像装置、すなわち、観察者が過去に数多く観察してきた画像を生成する撮像装置であるとする。
　色変換装置１０は、複数の撮像装置２０のうち、第１撮像装置２０＿１から取得した第１画像に対しては色変換処理を実施せず、第２撮像装置２０＿２から取得した第２画像に対して色変換処理を実施する。この場合、色変換処理は、第２撮像装置２０＿２に特有の色特性が反映された画像を、第１撮像装置２０＿１に特有の色特性が反映された画像に変換する処理である。以下の説明において、色変換装置１０により色変換処理が施された画像を、変換画像と記載する。
　観察用装置３０は、観察者が、第１撮像装置２０＿１または第２撮像装置２０＿２により生成された病理画像の観察を行い、診断などを実施するための装置である。観察用装置３０は、例えば、ＰＣ（Personal Computer）またはタブレット端末など、ディスプレイデバイスを備えるコンピューターの一種である。
　観察用装置３０は、第１撮像装置２０＿１から第１画像を取得して表示する。また、観察用装置３０は、色変換装置１０から、第２撮像装置２０＿２が生成した第２画像に対し色変換処理が施された変換画像を取得して表示する。これにより、観察者は、複数の撮像装置２０のうち、どの撮像装置が生成した画像であっても、第１撮像装置２０＿１に特有の色特性が反映された画像として観察を行うことができる。
　図２は、第１の例における色変換装置１０の機能的な構成の一例を示す図である。図２に示すように、色変換装置１０は、通信部１１、記憶部１２、および制御部１３を備える。色変換装置１０は、例えば、ＰＣ、ワークステーション、またはタブレット端末などコンピューターの一種である。
　通信部１１は、有線通信または無線通信により、撮像装置２０または観察用装置３０との間で各種情報の送受信を行う。
　記憶部１２は、色変換装置１０が実施する色変換処理に必要な各種情報が格納されている。記憶部１２に記憶されている情報には、例えば色変換処理に用いられる変換規則に関する情報、および、色変換処理が実施される前後の画像などが含まれる。記憶部１２は、各種の変換規則を格納する変換規則格納部１２１を有している。
　制御部１３は、色変換装置１０の動作を制御する。制御部１３は、取得部１３１、変換規則生成部１３２、および変換部１３３を有する。
　取得部１３１は、色変換処理を実施する画像を取得する。図１に示す例では、取得部１３１は、通信部１１により第２撮像装置２０＿２から受信された第２画像を取得する。
　変換規則生成部１３２は、色変換処理に用いられる変換規則を生成する。変換規則は、例えばＩＣＣ（International Color Consortium）プロファイルであり、変換前の画像の色値と変換後の画像の色値との対応関係を示したものである。
　より具体的には、変換規則生成部１３２は、まず、撮像装置２０により生成された画像を、撮像装置２０の色特性に依存しない基準画像に変換するＩＣＣプロファイルを生成する。
　本実施の形態において、基準画像は、基準色空間で表現され、撮像装置２０の色特性に依存しない画像である。基準色空間は、例えば、公知のＬ＊ａ＊ｂ＊色空間またはＸＹＺ色空間であってもよい。基準色空間は、プロファイル接続空間と呼ぶことができる。図１に示す例では、変換規則生成部１３２は、第１撮像装置２０＿１が生成した、第１撮像装置２０＿１に特有の色特性が反映された画像を基準画像に変換する第１変換規則と、第２撮像装置２０＿２が生成した、第２撮像装置２０＿２に特有の色特性が反映された画像を基準画像に変換する第２変換規則と、を生成する。
　第１変換規則は、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を、基準色空間で表現され、撮像装置２０の色特性に依存しない基準画像に変換するための規則である。変換規則生成部１３２は、第１撮像装置２０＿１が第１カラーチャートを撮影することによって取得される第１チャート画像と、予め取得された第１カラーチャートの測色値とを用い、第１チャート画像の各画素の色値と測色値との対応関係に基づいて、第１変換規則を決定する。または、変換規則生成部１３２は、第１撮像装置２０＿１に特有の色特性が反映された画像に写る対象物の本来の色が既知である場合、基準画像の各画素の色値を当該対象物の本来の色に一致させる、または近づけるように第１変換規則を生成してもよい。または、変換規則生成部１３２は、第１チャート画像中の各カラーパッチの色値と、予め取得された第１カラーチャートの各カラーパッチにおける測色値と、を用いて第１変換規則を生成してもよい。
　第１変換規則は、例えばルックアップテーブル（Look Up Table（ＬＵＴ））形式で生成される。または、第１変換規則は、例えば行列の形式で生成されてもよい。表１は、ＬＵＴ形式で表された第１変換規則の例を示している。表１において、表１左側のＲＧＢで示される値（ｒ１，ｇ１，ｂ１）と同じ行のＸＹＺで示される値（ｘ１，ｙ１，ｚ１）とが互いに対応することが示されている。
　第２変換規則は、第２色空間で表現され、第２撮像装置２０＿２に特有の色特性が反映された画像を、基準色空間で表現され、撮像装置２０の色特性に依存しない基準画像に変換するための規則である。変換規則生成部１３２は、第２撮像装置２０＿２が第２カラーチャートを撮影することによって取得される第２チャート画像と、予め取得された第２カラーチャートの測色値とを用い、第２チャート画像の各画素の色値と測色値との対応関係に基づいて、第２変換規則を決定する。または、変換規則生成部１３２は、第２撮像装置２０＿２に特有の色特性が反映された画像に写る対象物の本来の色が既知である場合、基準画像の各画素の色値を当該対象物の本来の色に一致させるように第２変換規則を生成してもよい。
　第１変換規則と同様に、第２変換規則は、例えばＬＵＴ形式で生成されてもよいし、行列式の形式で生成されてもよい。
　第１チャート画像および第２チャート画像は、例えば色変換システム１００の管理者などによって予め用意されてもよいし、必要に応じて第１撮像装置２０＿１および第２撮像装置２０＿２が生成してもよい。第１チャート画像に含まれる第１カラーチャートの各カラーパッチにおける測色値、および、第２チャート画像に含まれる第２カラーチャートの各カラーパッチにおける測色値は既知である。色変換装置１０には、変換規則生成部１３２による変換規則の生成処理より前に、第１チャート画像中の各カラーパッチの色値と、第１チャート画像に含まれる第１カラーチャートの各カラーパッチにおける測色値とが入力される。
　第１チャート画像と第２チャート画像は、互いに異なる画像であってもよい。より具体的には、第１カラーチャートおよび前記第２カラーチャートは、それぞれ異なるカラーパッチ、例えば、それぞれ互いに異なる色のカラーパッチを含んでもよい。
　第１カラーチャートおよび第２カラーチャートは、少なくとも赤、緑、青、および白のカラーパッチをそれぞれ含んでいてもよい。
　より具体的には、第１カラーチャートと第２カラーチャートが含む赤のカラーパッチは、透過スペクトルのピーク波長が６２０ｎｍ以上６８０ｎｍ以下の範囲内であり、半値幅が１００ｎｍ以下である。また、第１カラーチャートと第２カラーチャートが含む緑のカラーパッチは、透過スペクトルのピーク波長が５１０ｍ以上５４０ｎｍ以下の範囲内であり、半値幅が８０ｎｍ以下である。第１カラーチャートと第２カラーチャートが含む青のカラーパッチは、透過スペクトルのピーク波長が４５０ｎｍ以上４７２ｎｍ以下の範囲内であり、半値幅が８０ｎｍ以下である。第１カラーチャートと第２カラーチャートが含む白のカラーパッチとしては、染料や顔料などの色素で着色されていない母材を用いることができる。母材の材質としては、ガラス、フィルム、アクリル系樹脂、ポリカーボネート、ゼラチン、紙などが挙げられる。
　第１カラーチャートおよび第２カラーチャートがこのようなカラーパッチを含むことにより、それぞれの色のカラーパッチのｘｙ色度図上での座標をＢＴ．２０２０規格で規定されるそれぞれの色の座標と一致もしくは近似させることができる。これにより、撮像装置２０にＢＴ．２０２０規格が適用される場合に好適な色較正を行うことができるようになる。
　なお、第１カラーパッチに含まれる赤、緑、青それぞれの色は、上記した例に限られず、例えばｘｙ色度図上で以下のような範囲にあってもよい。
　第１カラーパッチに含まれる赤のカラーパッチの色は、ｘｙ色度図上の座標で、（０．７３５、０．２６５）、（０．６２７、０．３７２）、黒体軌跡ＢＬの色温度１２００Ｋ以上色温度６０００Ｋ以下の間の色偏差が－０．０１の曲線部と（０．５２０、０．１７４）に囲まれた領域内にあってもよい。なお、黒体軌跡とは、完全な黒色の物体が、絶対温度と共に変化する状態を色度図上に描いた軌跡を意味する。
　第１カラーパッチに含まれる緑のカラーパッチの色は、ｘｙ色度図上の座標で、（０．００５、０．５８７）、（０．０１４、０．７５０）、（０．０７４、０．８３４）、（０．１５５、０．８０６）、（０．３４５、０．６５２）、黒体軌跡ＢＬの色温度６０００Ｋ以上色温度７０００Ｋ以下の間の色偏差が＋０．０２の曲線部に囲まれた領域内にあってもよい。
　第１カラーパッチに含まれる青のカラーパッチの色は、ｘｙ色度図上の座標で、（０．１７４、０．００５）、（０．１３１、０．０４６）、（０．０７３、０．１８５）、黒体軌跡ＢＬの色温度１５０００Ｋで色偏差が＋０．０２の点および－０．０１の点を結ぶ直線、黒体軌跡ＢＬの色温度１５０００Ｋから７０００Ｋで色偏差が－０．０１の曲線部、（０．２８０、０．０５４）に囲まれた領域内にあってもよい。
　このようなカラーパッチを含むチャート画像を用いることにより、広色域に対応できる変換規則を生成できる。
　さらに、上記以外のカラーチャートの例として、色変換システム１００で取り扱われる病理画像をより見やすくするため、例えば以下のようなカラーチャートを採用してもよい。このような第１カラーチャートおよび第２カラーチャートは、少なくとも第１カラーパッチをそれぞれ含み、第１カラーパッチの座標点は、ｘｙ色度図上の座標で（０．２００，０．０７０）、（０．４５０，０．２８０）、（０．３１０，０．３４０）の３点を直線で結んだ三角形の領域内にある。
　第１カラーチャートおよび第２カラーチャートのいずれか一方のみが、このような第１カラーパッチを含んでいてもよい。このような構成によれば、第１撮像装置２０＿１の色特性が反映された病理画像が染色された実物の検体と乖離が大きく（癖が強く）、第２撮像装置２０＿２の色特性が反映された病理画像では実物の検体とそれほど乖離が大きくない（癖が弱い）場合、第１カラーチャートに第１カラーパッチを用いることで、癖が強い第１撮像装置に対しては精度の高い変換係数を作成でき、癖の弱い第２撮像装置に対しては、効率よく変換係数を作成できる、という効果を得ることができる。
　病理画像がヘマトキシリン・エオジン（ＨＥ）によって染色された細胞の画像である場合、第１カラーパッチの座標点が上記範囲にあることにより、カラーパッチの色を病理画像に特徴的な色に近づけることができる。これにより、病理画像に特徴的な色に近づける変換が可能な第１変換規則または第２変換規則を生成することができる。このため、第１変換規則または第２変換規則により、変換後の画像が実物（染色細胞）の色により近くなるような色補正を行うことができる。
　第１カラーパッチの座標点は、ｘｙ色度図上で（０．３１０、０．３４０）、（０．３５０、０．３００）、（０．３５０，０．２００）、（０．２６０，０．１５０）、（０．２８０，０．２５０）の５点をこの順に直線で結んだ、五角形の領域内にあってもよい。第１カラーパッチの座標点が上記五角形の領域内にあることで、より正確な色補正を行うことができる。
　また、第１カラーパッチの座標点は、ｘｙ色度図上で（０．３１１，０．３３４）、（０．３４７，０．２１０）、（０．２７０，０．１６２）、（０．２９２，０．２１６）の４点を直線で結んだ、四角形の領域内にあってもよい。第１カラーパッチの座標点が上記四角形の領域内にあることで、さらにより正確に色補正を行うことができる。
　なお、第１カラーチャートと第２カラーチャートは、第１カラーパッチとは異なる色である第２カラーパッチをさらに含んでもよい。この場合、第１カラーパッチと第２カラーパッチの両方の座標点が、ｘｙ色度図上で上記いずれかの領域内にあってもよい。複数のカラーパッチの座標点が、上記いずれかの領域内にあることで、病理画像に特徴的な色調を有する画像の色補正を行うことができる第１変換規則または第２変換規則を生成することができる。
　さらに、変換規則生成部１３２は、以上のように生成した第１変換規則に基づいて、第１変換規則の逆変換を行うための逆変換規則を生成する。逆変換規則は、基準色空間で表現され、撮像装置の色特性に依存しない基準画像を、第１撮像装置２０＿１に特有の色特性が反映された画像に変換するための規則である。逆変換規則は、例えば以下のような方法で作成することができる。なお、以下では基準色空間がＸＹＺ色空間である場合、かつ変換規則がＬＵＴ形式で表される場合について説明する。
　ＬＵＴ形式の逆変換規則は、例えば、以下の少なくとも３つの工程により作成することができる。３つの工程は、基準色空間の格子点の集合を準備する第１工程、第１工程で準備した集合における各格子点と、第１色空間から基準色空間へ変換する第１変換規則であるＬＵＴにおける基準色空間の格子点との関係を求める第２工程、および、第２工程で求めた関係から、第１工程で準備した集合における各格子点に対応する、第１色空間の格子点を求める第３工程を含む。
　以下、ＬＵＴ形式の逆変換規則の作成方法の一例について、詳細に説明する。まず、変換規則生成部１３２は、ＸＹＺ色空間における格子点の集合を作成する。以下では、ＬＵＴ形式としてＩＳＯ　１５０７６－１：２０１０に記載の定義を用いる例を示している。この例では、ＬＵＴ形式として３次元ＬＵＴ形式が用いられる。３次元ＬＵＴは、（Ｘｉ，Ｙｊ，Ｚｋ）で定義される。ｉ，ｊ，ｋを指定すると、指定された各値に対応する変換後のＲＧＢの値が規定される。表２は、ＸＹＺ色空間における格子点の集合の一例を示す表である。表２では、Ｘ，Ｙ，Ｚそれぞれにおいて、ＸＹＺのとりうる区間を等分した場合を示している。ＸＹＺのとりうる区間をそれぞれ８等分した場合、格子点の数は、９の３乗個となる。ｍｉｎ，ｍａｘはそれぞれＸＹＺのとりうる区間のそれぞれ最小、最大の格子点の番号を示す。８等分した場合、ｍｉｎは０、ｍａｘは８となる。
　Ｘｍｉｎ、Ｙｍｉｎ、Ｚｍｉｎの値は、所定の値に予め設定されてもよく、例えばそれぞれ０である。Ｘｍａｘ、Ｙｍａｘ、Ｚｍａｘの値は、所定の値に予め設定されてもよく、例えばそれぞれ１２８である。または、Ｘｍｉｎ、Ｙｍｉｎ、Ｚｍｉｎの値は、ＲＧＢ色空間におけるそれぞれの色値を最小値（例えば０）から最大値（例えば２５５）まで変化させたときにとり得るＸＹＺ色空間における最小値を用いてもよい。Ｘｍａｘ、Ｙｍａｘ、Ｚｍａｘの値は、ＲＧＢ色空間におけるそれぞれの色値を最小値（例えば０）から最大値（例えば２５５）まで変化させたときにとり得るＸＹＺにおける最大値を用いてもよい。
　次に、変換規則生成部１３２は、第１変換規則のＬＵＴにおける、ＲＧＢ色空間の全格子点に対応するＸＹＺ色空間の全格子点の色値をＸＹＺ色空間にプロットし、ＸＹＺ空間上でＲＧＢ色空間に対応する立体を作成する。
　次に、変換規則生成部１３２は、表１に示すＸＹＺ色空間の各格子点が、上記立体のどの位置になるかを調べる。変換規則生成部１３２は、ＸＹＺ色空間の各格子点と立体上の位置との対応関係に基づいて、必要に応じて補間演算を行う。補間演算としては、スプライン関数によるもの、または線形補間によるものなど、公知の方法を用いることができる。表１に示すＸＹＺ色空間のある格子点が、立体の外側に位置する場合は、変換規則生成部１３２は、当該格子点を、立体の最外殻または内側の点になるように置き換えてもよい。置き換える方法としては、色差が最小になる点に置き換える方法、同じ色相の点に置き換える方法などが挙げられる。または、表１に示すＸＹＺ色空間のある格子点との色差が最小となるような、立体中の最外殻の格子点に置き換えてもよい。または、表１に示すＸＹＺ色空間のある格子点と同一の色相を持つ立体中の最外殻の格子点に置き換えてもよい。
　これにより、変換規則生成部１３２は、表１に示すＸＹＺ色空間の格子点をＲＧＢ色空間の格子点に変換するＬＵＴ、すなわち、逆変換規則を生成することができる。
　以上、変換規則生成部１３２による逆変換規則の作成方法について具体的に説明したが、本開示における逆変換規則の作成方法は上記の作成方法に限られるものではない。例えば、第１変換規則が行列式（例えば３×３）で表される場合、変換規則生成部１３２は、その逆行列を算出することにより、逆変換規則を作成することができる。
　変換規則生成部１３２は、変換部１３３による色変換処理が実施されるより前に、第１変換規則、第２変換規則、および逆変換規則を生成し、記憶部１２の変換規則格納部１２１に格納しておけばよい。または、変換規則生成部１３２は、色変換処理と、新たな変換規則の生成処理とを並行して、または連続的に実施してもよい。
　変換部１３３は、第１変換規則、第２変換規則、および逆変換規則を用いて、第２撮像装置２０＿２から取得された第２画像に対し、色変換処理を実施する。
　上述したように、色変換処理は、第２色空間で表現され、第２撮像装置２０＿２に特有の色特性が反映された第２画像を、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像に変換する処理である。変換部１３３は、まず、第２変換規則を用いて、第２撮像装置２０＿２から取得した第２画像を、基準色空間で表現され、撮像装置２０の色特性に依存しない基準画像に変換する。そして、変換部１３３は、逆変換規則を用いて、基準画像を、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性を有する変換画像に変換する。
　色変換処理により変換された変換画像は、通信部１１を介して観察用装置３０に出力される。これにより、上述したように、観察用装置３０は、第１撮像装置２０＿１により生成された第１画像と、変換画像とを取得する。観察者は、観察用装置３０により表示された第１画像または変換画像を観察し、診断を行うことができる。ここで、第１画像および変換画像は、いずれも第１撮像装置２０＿１に特有の色特性を有する画像である。このため、例えば過去に第１撮像装置２０＿１により撮影された第１画像の観察を数多く行ってきた観察者にとっては、観察用装置３０に表示される第１画像または変換画像は、いずれも第１撮像装置２０＿１の色特性を有する画像であるため、見慣れた色調の画像である。このように、色変換システム１００によれば、特定の撮像装置２０特有の色特性が反映された画像を見慣れた観察者が観察しやすいように、特定の撮像装置２０特有の色特性とは異なる色特性が反映された画像を、特定の撮像装置２０特有の色特性が反映された画像に変換することができる。
［動作例］
　次に、色変換システム１００の第１の構成例における動作例について説明する。図４は、色変換システム１００における変換規則の生成処理の動作例について説明するためのフローチャートである。
　ステップＳ１において、第１撮像装置２０＿１および第２撮像装置２０＿２は、予め用意された第１カラーチャートおよび第２カラーチャートをそれぞれ撮影し、第１チャート画像および第２チャート画像をそれぞれ生成する。生成された第１チャート画像および第２チャート画像は、色変換装置１０に取得される。
　ステップＳ２において、色変換装置１０の変換規則生成部１３２は、第１チャート画像に基づいて第１変換規則と、第２チャート画像に基づいて第２変換規則とを、それぞれ生成する。各変換規則の生成方法については、上記説明した方法が適宜採用されればよい。
　ステップＳ３において、変換規則生成部１３２は、第１変換規則に基づいて、逆変換規則を生成する。逆変換規則の生成方法については、上記説明した方法が適宜採用されればよい。ステップＳ２およびＳ３において生成された変換規則および逆変換規則は、色変換装置１０の変換規則格納部１２１に格納され、後述の色変換処理に用いられる。
　次に、色変換システム１００における色変換処理の動作例について説明する。図５は、色変換システム１００における色変換処理の動作例について説明するためのフローチャートである。
　ステップＳ１１において、色変換装置１０の取得部１３１は、第２撮像装置２０＿２から、第２画像を取得する。
　ステップＳ１２において、色変換装置１０の変換部１３３は、第２変換規則を用いて、第２画像を基準画像に変換する。
　ステップＳ１３において、色変換装置１０の変換部１３３は、逆変換規則を用いて、基準画像を変換画像に変換する。ステップＳ１３において生成された変換画像は、観察用装置３０に送信される。
　ステップＳ１４において、観察用装置３０は、変換画像を表示する。これにより、観察者は、第２撮像装置２０＿２により観察対象物が撮影された場合であっても、第１撮像装置２０＿１に特有の色特性を有する画像に変換された変換画像として観察することができる。これにより、第１撮像装置２０＿１に特有の色特性が反映された画像を観察することに慣れている観察者にとっては、第２撮像装置２０＿２が生成した、第２撮像装置２０＿２に特有の色特性が反映された画像をそのまま観察するよりも、大幅に観察しやすくなる。
＜第１の例の変形例＞（変形例１）
　上記説明した第１の例では、複数の撮像装置２０が第１撮像装置２０＿１および第２撮像装置２０＿２を含む場合について説明した。本開示では、撮像装置２０の数は特に限定されず、複数の撮像装置２０は、第１撮像装置２０＿１および第２撮像装置２０＿２以外の、他の撮像装置を含んでいてもよい。
　色変換システムにおける複数の撮像装置が３つ以上の撮像装置を含んでいる場合、色変換装置は、特定の撮像装置（図１に示す例では第１撮像装置２０＿１）以外の撮像装置の画像を取得し、それぞれの画像に対して色変換処理を実施する。この場合、色変換装置は、色変換処理の実施前に、撮像装置それぞれにより生成される画像を基準画像に変換する変換規則と、基準画像を特定の撮像装置に特有の色特性が反映された画像に変換する逆変換規則と、を生成しておく。色変換装置は、まず、変換規則を用いることにより、特定の撮像装置以外の撮像装置により生成された画像を基準画像に変換し、基準画像に対して特定の撮像装置に特有の色特性が反映された画像に変換する逆変換規則を用いることにより、特定の撮像装置に特有の色特性を有する変換画像を生成することができる。
　色変換システムにおける複数の撮像装置が３つ以上の撮像装置を含んでいる場合、特定の撮像装置以外の撮像装置は、本開示の第２撮像装置の一例であり、特定の撮像装置以外の撮像装置で生成される画像を表現する色空間は、本開示の第２色空間の一例である。
（変形例２）
　また、上記説明した第１の例では、第２撮像装置２０＿２が生成した第２画像の色変換処理を色変換装置１０が実施していたが、本開示では、例えば観察用装置が色変換装置の機能を有し、色変換処理を実施してもよい。この場合、観察用装置は、第１撮像装置および第２撮像装置からそれぞれ第１画像および第２画像を取得し、第１画像に対しては色変換処理を実施せず、第２画像に対しては色変換処理を実施してから、表示する。これにより、観察者は、観察用装置に表示された第１画像または変換画像を観察して診断などを行うことができる。
（変形例３）
　また、本開示では、複数の撮像装置のうち、特定の撮像装置以外の撮像装置、例えば第２撮像装置が色変換装置の機能を有し、色変換処理を実施してもよい。この場合、第１撮像装置は生成した第１画像を直接観察用装置に送信し、第２撮像装置は、生成した第２画像に対して色変換処理を実施した後、変換画像を観察用装置に送信する。これにより、観察者は、観察用装置に表示された第１画像または変換画像を観察して診断などを行うことができる。この場合、撮像装置は色変換処理を実行するためのプロセッサーを有する、一種のコンピューターである。
　第２撮像装置は、基準画像を変換画像に変換する逆変換規則を、外部の装置から取得してもよい。または、第２撮像装置が、第１チャート画像と第１カラーチャートの測色値に関する情報とを取得し、これらに基づいて逆変換規則を作成してもよい。
　病理画像はデータ容量が大きい傾向があるため、色変換処理には比較的大きな処理能力、または所持時間が必要となることがある。特定の撮像装置以外の撮像装置が色変換処理を実行することにより、色変換処理に必要な処理能力または処理時間を、複数の撮像装置に分散させることができる。このため、特定の撮像装置以外の撮像装置が色変換処理をそれぞれ実行する態様は、例えば撮像装置が比較的多い場合に特に有効である。
（変形例４）
　上記説明した第１の例では、色変換装置１０が変換規則生成部１３２を有しており、当該変換規則生成部１３２が各種の変換規則を生成していたが、本開示では、色変換装置１０が外部の装置から変換規則を取得してもよい。この場合、色変換装置１０は変換規則生成部１３２を有していなくてもよい。
　図６は、色変換システムの変形例４における構成の一例を示す図である。変形例４に係る色変換システム１００Ａは、色変換装置１０Ａと、複数の撮像装置２０と、観察用装置３０と、変換規則生成装置６０と、を備える。
　図７は、変形例４における色変換装置１０Ａの機能的な構成の一例を示す図である。図７に示すように、変形例４に係る色変換装置１０Ａは、変換規則生成部を有しない点で、図２に示す、第１の例の色変換装置１０と異なっている。図７に示す色変換装置１０Ａの各構成の機能および動作は、上記の第１の例にて説明した各構成の機能および動作と同様である。
　図８は、変換規則生成装置６０の機能的な構成の一例を示す図である。図８に示すように、変換規則生成装置６０は、通信部６１、取得部６２、および変換規則生成部６３を備える。
　通信部６１は、有線通信または無線通信により、色変換装置１０Ａ、および複数の撮像装置２０との間で各種情報の送受信を行う。
　取得部６２は、各変換規則を生成するための第１チャート画像および第２チャート画像を、それぞれ取得する。
　変換規則生成部６３は、第１変換規則および第２変換規則を生成し、さらに、第１変換規則の逆変換規則を生成する。変換規則生成部６３による各変換規則の生成方法は、上述した第１の例における、色変換装置１０の変換規則生成部１３２による生成方法と同様の方法が採用されればよい。
　変換規則生成装置６０が生成した第２変換規則および逆変換規則は、色変換装置１０Ａに送信される。色変換装置１０Ａは、変換規則生成装置６０から取得した第２変換規則および逆変換規則を用いて、上記の第１の例で説明した色変換処理を実施すればよい。
　以上説明したように、変形例４では、色変換装置１０Ａの外部の変換規則生成装置６０が第２変換規則および逆変換規則を生成し、色変換装置１０Ａは変換規則生成装置６０から第２変換規則および逆変換規則を取得して色変換処理を実施する例について説明した。このような変形例４によれば、色変換装置１０Ａは、各変換規則を生成する機能を有しなくてよい。これにより、色変換装置１０Ａの製造コストや運用コストを抑えることができる。
（変形例５）
　上記の変形例４では、変換規則生成装置６０が、第１変換規則および第２変換規則の生成と、第１変換規則の逆変換規則の生成と、を行っていた。本変形例５では、第１変換規則および第２変換規則を生成する装置と、第１変換規則の逆変換規則を生成する装置とがそれぞれ別々に設けられている例について説明する。
　図９は、色変換システムの変形例５における構成の一例を示す図である。変形例５に係る色変換システム１００Ｂは、色変換装置１０Ａと、複数の撮像装置２０と、観察用装置３０と、標準変換規則生成装置７０と、逆変換規則生成装置８０と、を備える。
　色変換装置１０Ａの構成および動作については、変形例４と同様である。
　図１０は、標準変換規則生成装置７０の機能的な構成の一例を示す図である。図１０に示すように、標準変換規則生成装置７０は、通信部７１、取得部７２、および標準変換規則生成部７３を備える。
　通信部７１は、有線通信または無線通信により、複数の撮像装置２０、および逆変換規則生成装置８０との間で各種情報の送受信を行う。
　取得部７２は、各変換規則を生成するための第１チャート画像および第２チャート画像を、それぞれ取得する。
　標準変換規則生成部７３は、第１変換規則および第２変換規則を生成する。変換規則生成部６３による第１変換規則および第２変換規則の生成方法は、上述した第１の例における、色変換装置１０の変換規則生成部１３２による生成方法と同様の方法が採用されればよい。
　標準変換規則生成装置７０が生成した第１変換規則は、逆変換規則生成装置８０に送信される。標準変換規則生成装置７０が生成した第２変換規則は、逆変換規則生成装置８０を介して色変換装置１０Ａに送信されてもよいし、逆変換規則生成装置８０を介さずに色変換装置１０Ａに送信されてもよい。
　図１１は、逆変換規則生成装置８０の機能的な構成の一例を示す図である。図１１に示すように、逆変換規則生成装置８０は、通信部８１、取得部８２、および逆変換規則生成部８３を備える。
　通信部８１は、有線通信または無線通信により、色変換装置１０Ａ、および標準変換規則生成装置７０との間で各種情報の送受信を行う。
　取得部７２は、標準変換規則生成装置７０から、少なくとも第１変換規則を取得する。
　逆変換規則生成部８３は、第１変換規則に基づいて、第１変換規則の逆変換規則を生成する。逆変換規則生成部８３による逆変換規則の生成方法は、上述した第１の例における、色変換装置１０の変換規則生成部１３２による生成方法と同様の方法が採用されればよい。
　逆変換規則生成装置８０が生成した逆変換規則は、色変換装置１０Ａに送信される。色変換装置１０Ａは、取得した第２変換規則および逆変換規則を用いて、上記の第１の例で説明した色変換処理を実施すればよい。
　以上説明したように、変形例５では、色変換装置１０Ａの外部の標準変換規則生成装置７０が第１変換規則および第２変換規則を生成し、色変換装置１０Ａの外部の逆変換規則生成装置８０が第１変換規則の逆変換規則を生成し、色変換装置１０Ａは第２変換規則および逆変換規則を取得して色変換処理を実施する例について説明した。このような変形例５によれば、色変換装置１０Ａは、各変換規則を生成する機能を有しなくてよい。これにより、色変換装置１０Ａの製造コストや運用コストを抑えることができる。
（変形例６）
　本開示において、複数の撮像装置は、例えば同じ医療機関（病院または診療所など）、または同じ研究機関など、同じ施設に属するものであってもよいし、異なる施設に属するものであってもよい。また、それぞれの撮像装置が属する施設は、互いに異なる国に設立されていてもよい。
　病理画像に対して精度がよい診断を行うことができる病理医の数は限られているため、そのような病理医の下には、複数の病院などから病理画像の診断の依頼が集中することになりやすい。本開示の色変換装置を採用しない場合、依頼を受けた病理医は、見慣れない色調の病理画像を用いて診断する必要があるが、本開示の色変換装置を含む色変換システムによれば、このような場合でも当該病理医は見慣れた色調の病理画像を用いて診断することができる。
（変形例７）
　上記説明した第１の例では、色変換装置１０が色変換処理の事前に変換規則の生成処理を実施しておく動作例について説明した。上述したように、本開示では、色変換装置が、色変換処理と、新たな変換規則の生成処理とを並行して、または連続的に実施してもよい。
　例えば、色変換装置は、特定の撮像装置以外の新たな撮像装置から、当該撮像装置がカラーチャートを撮影して生成したチャート画像と、当該カラーチャートの測色値に関する情報と、当該撮像装置が対象物を撮影して生成した画像とを取得する。色変換装置は、チャート画像と測色値に関する情報とに基づいて、新たな撮像装置に特有の色特性が反映される画像を基準画像に変換するための変換規則を生成するとともに、取得した画像と当該変換規則とを用いて基準画像を生成する。そして、色変換装置は、予め生成された、基準画像を特定の撮像装置に特有の色特性が反映された画像に変換するための逆変換規則を用いて基準画像を変換し、変換画像を生成する。このように、基準画像への変換規則を生成していない画像を生成する新たな撮像装置から画像を取得する場合には、変換規則の生成処理と色変換処理とを並行して、または連続的に実施してもよい。
　例えば、複数の病院などから複数の撮像装置が生成した画像を集めてそれぞれの画像を用いた診断を行う病理医がいるとする。この場合、当該病理医に、新たな病院から画像を用いた診断が依頼されることがある。このような場合、新たな病院から新たな撮像装置が生成したチャート画像および観察用の画像を色変換装置がほぼ同時に取得することで、当該撮像装置に特有の色特性が反映された画像を基準画像に変換するための変換規則が予め生成されていなくても、観察者が見慣れた色調の変換画像を問題なく生成することができる。
＜第２の例＞
　次に、本開示の実施の形態に係る色変換装置１０を含む色変換システムの第２の例について説明する。
［構成例］
　図１２は、色変換システムの第２の例における構成の一例を示す図である。第２の例に係る色変換システム２００は、色変換装置１０と、複数の撮像装置２０と、訓練装置４０と、を備える。色変換装置１０および複数の撮像装置２０については、上記した第１の例において説明したものと同様である。
　訓練装置４０は、複数の撮像装置２０から直接、または色変換装置１０を介して取得した画像（病理画像）を訓練画像として用いて、訓練対象の機械学習モデルの訓練を実施する。訓練対象の機械学習モデルは、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を取得することと、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を判定することと、を後述の画像判定装置５０に実行させる機械学習モデルである。訓練装置４０は、ＰＣ、ワークステーション、またはタブレット端末などのコンピューターの一種である。
　第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を判定することとは、例えば、病理画像における病変の有無もしくは病変部の位置や種類を判別するなど、観察者による病理画像を用いた診断の手助けとなる判定処理を実行することを意味する。このような判定処理を実行可能とさせる機械学習モデルを訓練するため、訓練装置４０は、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された訓練画像と、訓練画像のラベルデータとを含む訓練データセットを利用して訓練対象の機械学習モデルの訓練を実施する。
　訓練画像のラベルデータは、例えば、訓練画像に含まれる判定対象のアノテーションを含む。判定対象は、例えば、病理画像が病変部を含むか否かである。この場合、ラベルデータは、例えば訓練画像の病変部を覆い隠すマスクデータを含む。または、判定対象は、例えば病理画像に含まれる注目部位が、どのような組織に分類されるかであってもよい。または、判定対象は、例えば病理画像に病変部が含まれる場合に、その病変部がどのような疾患によるものであるかであってもよい。アノテーションは、例えば、病理画像に病変部が含まれるか否か（すなわち、病変部のセグメンテーション）、訓練画像に含まれる注目部位が、どのような組織に分類されるか、または、訓練画像に含まれる病変部がどのような疾患によるものであるかを示す正解データである。
　図１３は、訓練装置４０の機能的な構成の一例を示す図である。訓練装置４０は、通信部４１と、操作部４２と、取得部４３と、訓練部４４と、記憶部４５と、を備える。
　通信部４１は、有線通信または無線通信により、色変換装置１０または撮像装置２０との間で各種情報の送受信を行う。
　操作部４２は、第１画像および変換画像に対してアノテーションを付与する操作を受け付ける。第１画像および変換画像に対してアノテーションを付与する操作は、例えば病理医などにより行われる。
　取得部４３は、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された訓練画像と、判定対象のアノテーションとを含む訓練データセットを取得する。訓練画像には、第１撮像装置２０＿１から受信した第１画像と、色変換装置１０から受信した変換画像と、が含まれる。
　記憶部４５は、訓練対象の機械学習モデル４６を記憶している。
　訓練部４４は、訓練データセットを利用して、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を判定する訓練対象の機械学習モデル４６を訓練する。十分な量の画像を用いて当該訓練処理が実施されることにより、精度が高い判定処理を行うことができる訓練済み機械学習モデルを生成することができる。
　このように、本開示に係る色変換装置を有する色変換システムの第２の例では、訓練装置が、特定の撮像装置に特有の色特性が反映された画像を用いて訓練を行うために、色変換装置が、特定の撮像装置以外の撮像装置で生成された画像を、特定の撮像装置に特有の色特性を有する変換画像に変換する。これにより、訓練データに含まれる特定の色調の画像を増やすことができる。このような変換画像を用いて訓練された訓練済み機械学習モデルは、病理医が病理画像の診断をする際に精度のよい診断を行うことができるよう、病理医を好適に支援することができる。
　なお、第２の例においても、第１の例と同様に、撮像装置の数は２つに限定されない。また、十分な処理能力を確保できる場合は、例えば訓練装置が色変換装置の機能を有し、変換規則の生成処理および色変換処理を実行可能であってもよい。
［訓練装置４０の動作例］
　図１４は、訓練装置４０における訓練処理の動作例について説明するためのフローチャートである。
　ステップＳ２１において、訓練装置４０の取得部４３は、第１撮像装置２０＿１から送信された第１画像を取得する。訓練装置４０が取得する第１画像は、複数であってもよい。
　ステップＳ２２において、取得部４３は、色変換装置１０から送信された変換画像を取得する。訓練装置４０が取得する変換画像は、複数であってもよい。なお、ステップＳ２１およびステップＳ２２が実施される順番は反対であってもよい。また、ステップＳ２１とステップＳ２２とが並行して実施されてもよい。
　ステップＳ２３において、操作部４２は、病理医などによるアノテーションの入力操作を受け付ける。
　ステップＳ２４において、訓練部４４は、第１画像、変換画像、およびアノテーションに基づいて、訓練対象の機械学習モデル４６の訓練を実施する。
　以上のステップＳ２１からステップＳ２４の動作は、繰り返し実施されてもよい。
　このような動作により、複数の撮像装置２０がそれぞれに特有の色特性が反映された画像を生成する場合でも、訓練装置４０は、特定の色調の画像を用いて訓練対象の機械学習モデル４６の訓練を行うことができる。これにより、複数の撮像装置２０のそれぞれに特有の色特性に関する補正処理や訓練パラメーターの設定が必要なくなるため、少ない労力で精度がよい判定を行うことができる訓練済み機械学習モデルを生成することができる。
　図１４に示す例では、訓練装置４０は、操作部４２を介してアノテーションの入力操作を受け付けていたが、本開示はこれに限定されない。例えば、訓練装置以外の装置がアノテーションの生成を行ってもよい。この場合、訓練装置の取得部は、第１画像および変換画像とともに、アノテーションを外部の装置から取得すればよい。
　また、本開示では、訓練装置は、アノテーションを利用した教師あり学習により、訓練対象の機械学習モデルに対するある程度の訓練を行った後、アノテーションが付与されていない第１画像および変換画像を用いて教師なし学習による訓練を行ってもよい。この場合、アノテーションを用意する労力を低減することができる。
　また、本開示において、訓練画像には、第２撮像装置２０＿２から受信した第２画像と、色変換装置から受信した変換画像とが含まれていてもよい。変換画像は、第１撮像装置２０＿１に特有の色特性を有する画像である。異なる撮像装置のそれぞれの色特性が反映された画像、すなわち異なる色調の画像を訓練画像に含むことで、頑健性の高い訓練済み機械学習モデルを生成することができる。
［色変換システム２００の動作例］
　図１５は、訓練装置４０を含む色変換システム２００の動作例について説明するためのフローチャートである。
　ステップＳ３１において、色変換装置１０は、第２撮像装置２０＿２から、第２画像を取得する。
　ステップＳ３２において、色変換装置１０は、第２変換規則を用いて、第２画像を基準画像に変換する。
　ステップＳ３３において、色変換装置１０の変換部１３３は、逆変換規則を用いて、基準画像を、第１撮像装置２０＿１に特有の色特性が反映された変換画像に変換する。ステップＳ３３において生成された変換画像は、訓練装置４０に送信される。
　ステップＳ３４において、訓練装置４０は、図１４に説明した訓練処理を実行する。
　このように、色変換システム２００において、色変換装置１０が、第２撮像装置２０＿２で生成された画像を、第１撮像装置２０＿１に特有の色特性を有する変換画像に変換し、訓練装置４０は、当該変換画像を用いて訓練を行う。これにより、訓練装置４０において、訓練データに含まれる特定の色調の画像を容易に増やすことができる。また、このような変換画像を用いて訓練された訓練済み機械学習モデルは、病理医が病理画像の診断をする際に精度のよい診断を行うことができるよう、病理医を好適に支援することができる。
＜第３の例＞
　次に、本開示の実施の形態に係る色変換装置１０を含む色変換システムの第３の例について説明する。
［構成例］
　図１６は、色変換システムの第３の例における構成の一例を示す図である。第３の例に係る色変換システム３００は、色変換装置１０と、複数の撮像装置２０と、画像判定装置５０と、を備える。色変換装置１０および複数の撮像装置２０については、上記した第１の例において説明したものと同様である。
　画像判定装置５０は、複数の撮像装置２０から直接、または色変換装置１０を介して取得した画像（病理画像）を訓練済み機械学習モデルに入力することで、判定結果の出力を受ける判定処理を実施する。訓練済み機械学習モデルは、上記説明した第２の例で訓練装置４０が訓練処理を実施することにより生成された機械学習モデルである。すなわち、訓練済み機械学習モデルは、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を用いて訓練された機械学習モデルである。画像判定装置５０は、ＰＣ、ワークステーション、またはタブレット端末などのコンピューターの一種である。
　図１７は、画像判定装置５０の機能的な構成の一例を示す図である。画像判定装置５０は、通信部５１と、取得部５２と、判定部５３と、記憶部５４と、を備える。
　通信部５１は、有線通信または無線通信により、色変換装置１０または撮像装置２０との間で各種情報の送受信を行う。
　取得部５２は、第１撮像装置２０＿１から第１画像を、色変換装置１０から変換画像を、それぞれ取得する。第１画像および変換画像は、ともに、第１撮像装置２０＿１に特有の色特性が反映された画像である。
　記憶部５４は、訓練済み機械学習モデル５５を記憶している。
　判定部５３は、訓練済み機械学習モデル５５を利用して、第１色空間で表現され、第１撮像装置２０＿１に特有の色特性が反映された画像を判定する。より具体的には、判定部５３は、新たに取得した第１画像および変換画像の少なくとも一方を訓練済み機械学習モデル５５に入力し、出力結果に基づいて判定結果を生成する。判定結果は、例えば図１６に図示しないディスプレイデバイスなど、病理医などが診断の補助に用いる装置に出力される。
　このように、本開示に係る色変換装置を有する色変換システムの第３の例では、画像判定装置が、特定の撮像装置に特有の色特性が反映された画像を用いて訓練された訓練済み機械学習モデルを用いて、特定の撮像装置に特有の色特性が反映された新たな画像を精度よく判定することができる。
　なお、第３の例においても、第１の例または第２の例と同様に、撮像装置の数は２つに限定されない。また、十分な処理能力を確保できる場合は、例えば画像判定装置が色変換装置の機能を有し、変換規則の生成処理および色変換処理を実行可能であってもよい。
［画像判定装置５０の動作例］
　図１８は、画像判定装置５０における画像判定処理の動作例について説明するためのフローチャートである。
　ステップＳ４１において、画像判定装置５０の取得部５２は、第１撮像装置２０＿１から送信された第１画像を取得する。画像判定装置５０が取得する第１画像は、複数であってもよい。
　ステップＳ４２において、取得部５２は、色変換装置１０から送信された変換画像を取得する。画像判定装置５０が取得する変換画像は、複数であってもよい。なお、ステップＳ４１およびステップＳ４２が実施される順番は反対であってもよい。また、ステップＳ４１とステップＳ４２とが並行して実施されてもよい。
　ステップＳ４３において、判定部５３は、ステップＳ４１で取得した第１画像およびステップＳ４２で取得した変換画像の少なくとも一方を、訓練済み機械学習モデル５５に入力する。
　ステップＳ４４において、判定部５３は、訓練済み機械学習モデル５５からの出力結果に基づいて、判定結果を生成する。なお、判定結果は、出力結果そのままの情報であってもよいし、何らかの加工を施したものであってもよい。加工の例としては、出力結果が文字情報であった場合に、病理医が一目で内容を把握しやすい表や図などの形式で示した判定結果とすることなどが挙げられる。
　このような動作により、特定の撮像装置２０に特有の色特性が反映された画像の入力に対して、精度がよい判定処理を実行できる。
［色変換システム３００の動作例］
　図１９は、画像判定装置５０を含む色変換システム３００の動作例について説明するためのフローチャートである。
　ステップＳ５１において、色変換装置１０は、第２撮像装置２０＿２から、第２画像を取得する。
　ステップＳ５２において、色変換装置１０は、第２変換規則を用いて、第２画像を基準画像に変換する。
　ステップＳ５３において、色変換装置１０の変換部１３３は、逆変換規則を用いて、基準画像を、第１撮像装置２０＿１に特有の色特性を有する変換画像に変換する。ステップＳ５３において生成された変換画像は、訓練装置４０に送信される。
　ステップＳ５４において、画像判定装置５０は、図１８に説明した画像判定処理を実行する。
　このように、色変換システム３００において、画像判定装置５０が、第１撮像装置２０＿１に特有の色特性が反映された画像を用いて訓練された訓練済み機械学習モデルを用いて、第１撮像装置２０＿１に特有の色特性が反映された新たな画像を精度よく判定することができる。
＜ハードウェア構成の例＞
　上記説明した実施の形態における各構成は、コンピューターの一種であると説明した。以下では、これらの各構成が有する機能を実現するためのコンピューターのハードウェア構成の一例について説明する。
　図２０は、色変換システムの各構成が有する機能を実現するためのコンピューターのハードウェア構成の一例を示す図である。
　コンピューター１０００は、入力装置１００１、出力装置１００２、ＣＰＵ１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５、記憶装置１００６、各種記録媒体から情報を読み取る読取装置１００７、送受信装置１００８を備え、各部はバス１００９により接続される。
　読取装置１００７は、色変換システムの各構成の機能を実現するためのプログラムを記録した非一時的な記憶媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたシステム装置と通信を行い、システム装置からダウンロードしたプログラムを記憶装置１００６に記憶させる。
　そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、各構成が有する機能が実現される。
　２０２４年３月２６日出願の特願２０２４－０４９７７２の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。
　本開示は、画像の色変換処理を実施する色変換装置に有用である。
　１００，１００Ａ，１００Ｂ，２００，３００　色変換システム
　１０，１０Ａ　色変換装置
　１１　通信部
　１２　記憶部
　１２１　変換規則格納部
　１３　制御部
　１３１　取得部
　１３２　変換規則生成部
　１３３　変換部
　２０　撮像装置
　２０＿１　第１撮像装置
　２０＿２　第２撮像装置
　３０　観察用装置
　４０　訓練装置
　４１　通信部
　４２　操作部
　４３　取得部
　４４　訓練部
　４５　記憶部
　４６　訓練対象の機械学習モデル
　５０　画像判定装置
　５１　通信部
　５２　取得部
　５３　判定部
　５４　記憶部
　５５　訓練済み機械学習モデル
　６０　変換規則生成装置
　６１　通信部
　６２　取得部
　６３　変換規則生成部
　７０　標準変換規則生成装置
　７１　通信部
　７２　取得部
　７３　標準変換規則生成部
　８０　逆変換規則生成装置
　８１　通信部
　８２　取得部
　８３　逆変換規則生成部
 

Claims (20)

  1. 　第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する変換規則格納部と、
    　前記第２変換規則に従って前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する変換部と、
    　を有する、色変換装置。
  2. 　前記第１色空間で表現された画像および前記第１色空間で表現された変換画像は、第１撮像装置の色特性が反映された画像である、
    　請求項１に記載の色変換装置。
  3. 　前記第１変換規則は、第１撮像装置が第１カラーチャートを撮影することによって取得される第１チャート画像と、前記第１カラーチャートの測色値とに基づいて決定され、
    　前記第２変換規則は、第２撮像装置が第２カラーチャートを撮影することによって取得される第２チャート画像と、前記第２カラーチャートの測色値とに基づいて決定される、
    　請求項１に記載の色変換装置。
  4. 　前記第１カラーチャートおよび前記第２カラーチャートは、それぞれ異なるカラーパッチを含む、
    　請求項３に記載の色変換装置。
  5. 　前記第１カラーチャートおよび前記第２カラーチャートは、少なくとも赤、緑、青、および白のカラーパッチをそれぞれ含む、
    　請求項３に記載の色変換装置。
  6. 　前記基準色空間は、Ｌ＊ａ＊ｂ＊色空間またはＸＹＺ色空間である、
    　請求項１に記載の色変換装置。
  7. 　前記第１色空間および前記第２色空間は、ＲＧＢ色空間である、
    　請求項１に記載の色変換装置。
  8. 　前記第１変換規則は、前記第１色空間の座標値と前記基準色空間の座標値との対応関係を示す第１ルップアックテーブルを含み、
    　前記第２変換規則は、前記第２色空間の座標値と前記基準色空間の座標値との対応関係を示す第２ルックアップテーブルを含む、
    　請求項３に記載の色変換装置。
  9. 　前記撮像画像は、病理画像である、
    　請求項１に記載の色変換装置。
  10. 　前記第１変換規則を決定するための第１カラーチャートおよび前記第２変換規則を決定するための第２カラーチャートは、少なくとも第１カラーパッチをそれぞれ含み、
    　前記第１カラーパッチの座標点は、ｘｙ色度図上で（０．２００，０．０７０）、（０．４５０，０．２８０）、（０．３１０，０．３４０）の３点を直線で結んだ三角形の領域内にある、
    　請求項９に記載の色変換装置。
  11. 　第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する色変換装置により実行される色変換方法であって、
    　前記第２色空間で表現された撮像画像を取得し、
    　前記第２変換規則に従って前記撮像画像を前記基準色空間で表現された基準画像に変換し、
    　前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する、
    　色変換方法。
  12. 　第１色空間で表現された画像を基準色空間で表現された画像に変換する第１変換規則の逆変換規則と、第２色空間で表現された画像を前記基準色空間で表現された画像に変換する第２変換規則とを格納する色変換装置のコンピューターにより実行されるプログラムであって、
    　　前記第２色空間で表現された撮像画像を取得する手順と、
    　　前記第２変換規則に従って前記撮像画像を前記基準色空間で表現された基準画像に変換する手順と、
    　　前記逆変換規則に従って前記基準画像を前記第１色空間で表現された変換画像に変換する手順と、
    　を前記コンピューターに実行させる、プログラム。
  13. 　第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを取得する取得部と、
    　前記訓練データセットを利用して、前記第１色空間で表現された画像を判定する機械学習モデルを訓練する訓練部と、
    　を有し、
    　前記訓練画像は、
    　　第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、
    　　前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、
    　ことによって生成されている、
    　訓練装置。
  14. 　前記撮像画像は、病理画像であり、
    　前記機械学習モデルは、前記病理画像の入力に対して前記病理画像に病変部を含むか否かを前記判定対象とした判定結果を出力する、
    　請求項１３に記載の訓練装置。
  15. 　前記撮像画像は、病理画像であり、
    　前記機械学習モデルは、前記病理画像の入力に対して、前記病理画像に含まれる注目部位が分類される組織を前記判定対象とした判定結果を出力する、
    　請求項１３に記載の訓練装置。
  16. 　第１色空間で表現された画像を判定する訓練済み機械学習モデルを利用して、前記第１色空間で表現された画像を判定する判定部と、
    　を有し、
    　前記訓練済み機械学習モデルは、前記第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを利用して訓練されており、
    　前記訓練画像は、
    　　第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、
    　　前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、
    　ことによって生成されている、
    　画像判定装置。
  17. 　第１色空間で表現された画像を判定することと、
    　をコンピューターに実行させる機械学習モデルであって、
    　前記機械学習モデルは、前記第１色空間で表現された訓練画像と判定対象のアノテーションとを含む訓練データセットを利用して訓練され、
    　前記訓練画像は、
    　　第２色空間で表現された画像を基準色空間で表現された画像に変換する第２変換規則に従って、前記第２色空間で表現された撮像画像を前記基準色空間で表現された基準画像に変換し、
    　　前記第１色空間で表現された画像を前記基準色空間で表現された画像に変換する第１変換規則の逆変換規則に従って、前記基準画像を前記第１色空間で表現された変換画像に変換する、
    　ことによって生成されている、機械学習モデル。
  18. 　請求項１に記載の色変換装置と、変換規則生成装置と、を備える色変換システムであって、
    　前記変換規則生成装置は、前記逆変換規則および前記第２変換規則を生成し、
    　前記色変換装置は、生成された前記逆変換規則および前記第２変換規則を取得する、
    　色変換システム。
  19. 　請求項１に記載の色変換装置と、標準変換規則生成装置と、逆変換規則生成装置と、を備える色変換システムであって、
    　前記標準変換規則生成装置は、前記第１変換規則および前記第２変換規則を生成し、
    　前記逆変換規則生成装置は、前記第１変換規則の前記逆変換規則を生成し、
    　前記色変換装置は、生成された前記逆変換規則および前記第２変換規則を取得する、
    　色変換システム。
  20. 　第１撮像装置に特有の色特性が反映された画像を特定の撮像装置の色特性に依存しない基準画像に変換する第１変換規則の逆変換規則と、第２撮像装置に特有の色特性が反映された画像を前記基準画像に変換する第２変換規則とを格納する変換規則格納部と、
    　前記第２変換規則に従って前記第２撮像装置に特有の色特性が反映された撮像画像を前記基準画像に変換し、前記逆変換規則に従って前記基準画像を前記第１撮像装置に特有の色特性を有する変換画像に変換する変換部と、
    　を有する、色変換装置。
PCT/JP2025/011519 2024-03-26 2025-03-24 色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システム Pending WO2025205644A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025534258A JP7779444B1 (ja) 2024-03-26 2025-03-24 色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、および色変換システム
JP2025195305A JP2026020204A (ja) 2024-03-26 2025-11-14 機械学習モデル

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024049772 2024-03-26
JP2024-049772 2024-03-26

Publications (1)

Publication Number Publication Date
WO2025205644A1 true WO2025205644A1 (ja) 2025-10-02

Family

ID=97216314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/011519 Pending WO2025205644A1 (ja) 2024-03-26 2025-03-24 色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、機械学習モデル、および色変換システム

Country Status (3)

Country Link
JP (2) JP7779444B1 (ja)
TW (1) TW202546775A (ja)
WO (1) WO2025205644A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208629A (ja) * 2006-02-01 2007-08-16 Seiko Epson Corp ディスプレイのキャリブレーション方法、制御装置及びキャリブレーションプログラム
JP2008011034A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 色変換定義修正装置および色変換定義修正プログラム
JP2020088800A (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2022182702A (ja) * 2021-05-28 2022-12-08 富士通株式会社 評価プログラム、評価方法、及び情報処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007357A (ko) * 2016-07-12 2018-01-23 삼성디스플레이 주식회사 유기 전계 발광 소자

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208629A (ja) * 2006-02-01 2007-08-16 Seiko Epson Corp ディスプレイのキャリブレーション方法、制御装置及びキャリブレーションプログラム
JP2008011034A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 色変換定義修正装置および色変換定義修正プログラム
JP2020088800A (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2022182702A (ja) * 2021-05-28 2022-12-08 富士通株式会社 評価プログラム、評価方法、及び情報処理装置

Also Published As

Publication number Publication date
JPWO2025205644A1 (ja) 2025-10-02
JP7779444B1 (ja) 2025-12-03
TW202546775A (zh) 2025-12-01
JP2026020204A (ja) 2026-02-06

Similar Documents

Publication Publication Date Title
JP4174703B2 (ja) スペクトル・色再現システム
JP2005117612A (ja) 画像処理方法および装置
JP2001258044A (ja) 医療用画像処理装置
CN102822671B (zh) 图像处理装置、图像读取装置、图像处理方法和信息存储介质
TWI687899B (zh) 應用於內視鏡的顯示校正系統及其校正方法
JP5259264B2 (ja) 画像データ処理装置、該プログラム、及び該方法
JP2005354372A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム
US8169475B2 (en) Image processing system, imaging system, and microscope imaging system
Takahashi et al. Development of a camera-based remote diagnostic system focused on color reproduction using color charts
JP4906658B2 (ja) 色処理装置およびその方法
JP2007318331A (ja) 顕微鏡用撮像装置
JP7779444B1 (ja) 色変換装置、色変換方法、プログラム、訓練装置、画像判定装置、および色変換システム
EP2204980B1 (en) Image processing system, imaging system, and microscope imaging system
US20240202990A1 (en) Data generation method, learning method, imaging apparatus, and program
Kambara et al. Development of color correction system for medical images using color charts
JP2001358960A (ja) 色変換係数導出方法、色変換方法、記録媒体および色変換装置
JP7659874B1 (ja) 手術画像処理装置
JP2004023207A (ja) 色変換表作成装置、色変換表作成方法、色変換表作成プログラムを記録した記録媒体、および、上記装置または方法によって作成された色変換表に基づいてプロファイルを作成するプロファイル作成装置
Constantinou et al. A comparison of color correction algorithms for endoscopic cameras
CN112150955A (zh) 应用于内视镜的显示校正系统及其校正方法
JP4296315B2 (ja) スペクトル・色再現システム
JP3936041B2 (ja) 色管理方法および装置
CN115174876A (zh) 一种医用内窥镜成像颜色分析与校正用色标设计与制作方法
JP4881325B2 (ja) ディジタル画像入力装置のプロファイリング
JP2024133949A (ja) 情報処理装置並びにコンピュータプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2025534258

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025534258

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25778035

Country of ref document: EP

Kind code of ref document: A1