JP6838549B2

JP6838549B2 - Diagnostic support device, image processing method and its program

Info

Publication number: JP6838549B2
Application number: JP2017235850A
Authority: JP
Inventors: 芳治北條; 青木　信裕; 信裕青木; 茂樹峯尾
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2021-03-03
Anticipated expiration: 2034-12-26
Also published as: JP2018043041A

Description

本発明は、診断支援装置並びに画像処理方法及びそのプログラムに関する。 The present invention relates to a diagnostic support device, an image processing method, and a program thereof .

皮膚病変の診断として視診は必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。 Inspection is always performed as a diagnosis of skin lesions, and a lot of information can be obtained. However, it is difficult to distinguish between moles and stains with the naked eye or loupe alone, and it is also difficult to distinguish between benign tumors and malignant tumors. Therefore, dermoscopy diagnosis is performed in which a lesion is photographed using a camera with a dermoscope.

ダーモスコープとは、ＬＥＤ照明やハロゲンランプ等で病変部を明るく照らし、エコージェルや偏光フィルタなどにより反射光の無い状態にし、１０倍程度に拡大して観察する非侵襲性の診察器具である。この器具を用いた観察法をダーモスコピーと呼んでいる。ダーモスコピー診断については、インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｔｗｍｕ．ａｃ．ｊｐ／ＤＮＨ／ｄｅｐａｒｔｍｅｎｔ／ｄｅｒｍａｔｏｌｏｇｙ／ｄｅｒｍｏｓｃｏｐｙ．ｈｔｍｌ）＜平成２６年９月１日閲覧＞に詳細に記載されている。ダーモスコピー診断によれば、角質による乱反射がなくなることにより、表皮内から真皮浅層までの色素分布が良く見えてくる。 A dermoscope is a non-invasive diagnostic instrument that brightly illuminates a lesion with LED illumination, a halogen lamp, or the like, eliminates reflected light with an echo gel, a polarizing filter, or the like, and magnifies the lesion by about 10 times for observation. The observation method using this instrument is called dermoscopy. The dermoscopy diagnosis is described in detail in the Internet URL (http://www.twmu.ac.jp/DNH/department/dermatology/dermoscopy.html) <viewed on September 1, 2014>. According to the dermoscopy diagnosis, the pigment distribution from the inside of the epidermis to the superficial dermis can be clearly seen by eliminating the diffuse reflection due to the stratum corneum.

例えば、特許文献１に、上記したダーモスコープで撮影された皮膚画像に対して、色調、テクスチャ、非対称度、円度等の値を用いて診断を行う色素沈着部位の遠隔診断システムの技術が開示されている。それは、ダーモスコープを付けたカメラ付き携帯電話を用い、ダーモスコープを通して、メラノーマの心配がある良性色素性母斑などがある皮膚を撮影する。そして、携帯電話のネットワーク接続機能を用いてインターネットに接続し、撮影した皮膚画像を遠隔診断装置に送信して診断を依頼するものである。皮膚画像を受信した遠隔診断装置は、メラノーマ診断プログラムを用い、皮膚画像から、それがメラノーマであるか否か、あるいはメラノーマであった場合にどの病期のメラノーマであるかを診断し、その結果を医師に返信する。 For example, Patent Document 1 discloses a technique of a remote diagnosis system for a pigmented portion that diagnoses a skin image taken by the above-mentioned dermoscope using values such as color tone, texture, asymmetry, and circularity. ing. It uses a camera-equipped mobile phone with a dermoscope to photograph the skin with benign pigmented nevus, which is a concern for melanoma, through the dermoscope. Then, the user connects to the Internet using the network connection function of the mobile phone and transmits the photographed skin image to the remote diagnosis device to request a diagnosis. The remote diagnostic device that receives the skin image uses the melanoma diagnostic program to diagnose from the skin image whether it is melanoma or, if so, what stage of melanoma it is, and the result. Reply to the doctor.

特開２００５−１９２９４４号JP-A-2005-192944

皮膚病については上記したダーモスコープ画像による診断が普及しつつあるが、従来、明瞭な形状変化や模様を得るため、撮影により得られるダーモスコープ画像にＨＤＲ（High Dynamic Range）変換を施すことにより表示していた。この場合、病変の種類、あるいは進行の度合いに関わらず一様に画像変換していたため、満足できる診断精度を得ることができず、医師の診断スキルに依存しているのが現状であった。 Diagnosis using the above-mentioned dermoscope image is becoming widespread for skin diseases, but conventionally, in order to obtain clear shape changes and patterns, the dermoscope image obtained by imaging is displayed by performing HDR (High Dynamic Range) conversion. It was. In this case, since the image was uniformly converted regardless of the type of lesion or the degree of progression, it was not possible to obtain satisfactory diagnostic accuracy, and the current situation was that it depended on the diagnostic skill of the doctor.

本発明は上記した課題を解決するためになされたものであり、医師の診断を容易にするとともに診断精度の向上をはかる、診断支援装置並びに画像処理方法及びそのプログラムを提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a diagnostic support device, an image processing method, and a program thereof, which facilitates diagnosis by a doctor and improves diagnostic accuracy. ..

本発明の一態様は、
皮膚患部のダーモスコープ画像である撮影画像を用いて病変の診断を支援する診断支援装置の画像処理方法であって、
前記撮影画像を、前記撮影画像に写っている母斑（色素斑）の状態に基づいて、メラノーマが疑われる皮膚患部の病変のパターンとして分類する分類工程と、
前記撮影画像に、前記分類工程により分類された前記パターンに対応する画像変換処理を実行して変換画像を生成する生成工程と、を含む画像処理方法を提供するものである。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。 One aspect of the present invention is
An image processing method of the diagnosis support apparatus for supporting a diagnosis of a lesion using a captured image is Damosukopu image of affected skin,
A classification step of classifying the photographed image as a pattern of lesions in a skin affected area suspected of having melanoma based on the state of the nevus (pigmented spot) shown in the photographed image.
Provided is an image processing method including a generation step of executing an image conversion process corresponding to the pattern classified by the classification step to generate a converted image on the captured image.
Other features of the present invention will be clarified by the description in the present specification and the accompanying drawings.

本発明によれば、医師の診断を容易にするとともに診断精度の向上をはかる、診断装置並びに当該診断装置における画像処理方法及びそのプログラムを提供することができる。 According to the present invention, it is possible to provide a diagnostic apparatus, an image processing method in the diagnostic apparatus, and a program thereof, which facilitates a diagnosis by a doctor and improves diagnostic accuracy.

本発明の実施の形態に係る診断装置の構成を示すブロック図である。It is a block diagram which shows the structure of the diagnostic apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る診断装置の基本処理動作を示すフローチャートである。It is a flowchart which shows the basic processing operation of the diagnostic apparatus which concerns on embodiment of this invention. 図２の色成分解析による分類処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the classification process by the color component analysis of FIG. 図２の構造明瞭変換処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the structure clear conversion process of FIG. 図４の血管らしさを尤度Ａとして抽出する処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the process of extracting the blood vessel-likeness of FIG. 4 as the likelihood A. 図２の部位強調変換、部位蛍光色変換処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the part emphasis conversion and part fluorescence color conversion processing of FIG. 図７の輝度画像からボトムハット処理で輝度強調画像を得る処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the process of obtaining the luminance-weighted image by the bottom hat process from the luminance image of FIG. 7. 図７の膨張処理画像の一例を示す図である。It is a figure which shows an example of the expansion process image of FIG. 図６の血管らしさを尤度Ａとして抽出する処理の詳細手順を示すフローチャートである。It is a flowchart which shows the detailed procedure of the process which extracts the blood vessel likeness of FIG. 6 as the likelihood A. 本発明の実施の形態に係る診断装置の表示画面構成の一例を示す図である。It is a figure which shows an example of the display screen composition of the diagnostic apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る診断装置をシステム化した場合のネットワーク構成を示す図である。It is a figure which shows the network configuration when the diagnostic apparatus which concerns on embodiment of this invention is systematized. 皮膚の病変の基本的なパターンを示す図である。It is a figure which shows the basic pattern of the lesion of the skin.

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。 Hereinafter, embodiments for carrying out the present invention (hereinafter, referred to as “embodiments”) will be described in detail with reference to the accompanying drawings. The same elements are numbered the same throughout the description of the embodiment.

（実施形態の構成）
図１は、本実施形態に係る診断装置１００の構成を示すブロック図である。図１に示すように、本実施形態に係る診断装置１００には、ダーモスコープ付き撮影装置１１０が接続されている。ダーモスコープ付き撮影装置１１０は、診断装置１００（処理部１０１）からの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１０２に格納するとともに表示装置１２０上に表示する。また、撮影画像は、処理部１０１により強調処理が施されて画像記憶部１０２に保存されると共に表示装置１２０上に表示される。入力装置１３０は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。 (Structure of Embodiment)
FIG. 1 is a block diagram showing a configuration of a diagnostic device 100 according to the present embodiment. As shown in FIG. 1, a imaging device 110 with a dermoscope is connected to the diagnostic device 100 according to the present embodiment. The dermoscope-equipped photographing device 110 takes an image according to an instruction from the diagnostic device 100 (processing unit 101), stores the photographed image (dermoscopy image) in the image storage unit 102, and displays it on the display device 120. Further, the captured image is emphasized by the processing unit 101, stored in the image storage unit 102, and displayed on the display device 120. The input device 130 performs a shooting start instruction of the dermoscope image, a part selection operation in the dermoscopy image described later, and the like.

なお、表示装置１２０、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）モニタにより構成され、入力装置１３０は、マウス等により構成されている。 The display device 120, for example, an LCD (Liquid Crystal Display) monitor, and the input device 130 are composed of a mouse or the like.

処理部１０１は、画像記憶部１０２に記憶された撮影画像を処理するもので、図１に示すように、分類手段１０１ａと、第１の分離手段１０１ｂと、第２の分離手段１０１ｃと、強調手段１０１ｄと、生成手段１０１ｅと、抽出手段１０１ｆと、を含む。 The processing unit 101 processes the captured image stored in the image storage unit 102, and as shown in FIG. 1, emphasizes the classification means 101a, the first separation means 101b, and the second separation means 101c. Means 101d, generation means 101e, and extraction means 101f are included.

分類手段１０１ａは、診断の対象となる患部の撮影画像を病変の進行度により分類する手段として機能する。処理部１０１は、分類手段１０１ａにより分類された分類に対応する画像変換処理を実行して変換画像を生成する。 The classification means 101a functions as a means for classifying the photographed image of the affected area to be diagnosed according to the degree of progression of the lesion. The processing unit 101 executes image conversion processing corresponding to the classification classified by the classification means 101a to generate a converted image.

このとき、画像記憶部１０２は、撮影画像を分類ごとに記憶しており、分類手段１０１ａは、画像記憶部１０２に記憶された撮影画像を参照して、診断の対象となる患部の撮影画像を病変の進行度により分類する。 At this time, the image storage unit 102 stores the captured images for each classification, and the classification means 101a refers to the captured images stored in the image storage unit 102 to obtain the captured images of the affected area to be diagnosed. Classify according to the degree of lesion progression.

なお、処理部１０１による画像変換処理は、進行度が低位の分類に対応する画像変換処理である構造明瞭変換（組織明瞭変換ともいう）処理、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理、進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含む。 The image conversion process by the processing unit 101 includes a structure clarity conversion (also referred to as tissue clarity conversion) process, which is an image conversion process corresponding to a classification with a low degree of progress, and an image conversion corresponding to the classification with a medium degree of progress. It includes a site enhancement conversion process, which is a process, and a site fluorescence color conversion process, which is an image conversion process corresponding to classification with a high degree of progress.

分類手段１０１ａは、患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を進行度が低位の分類（I型）として分類する。 The classification means 101a classifies an image in which the affected area is mole-shaped and is substantially black or brown as a low-progression classification (type I).

分類手段１０１ａは、患部がホクロ状であって、部分的に血管で構成されている画像を進行度が中位の分類（II型）として分類する。 The classification means 101a classifies an image in which the affected area is mole-shaped and partially composed of blood vessels as a classification (type II) with a medium degree of progression.

分類手段１０１ａは、患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を進行度が高位の分類（III型）として分類する。 The classification means 101a classifies an image in which the affected area is mole-shaped and is composed of reddish blood vessels as a whole as a classification with a high degree of progression (type III).

＜構造明瞭変換＞
処理部１０１が構造明瞭変換処理を実行する場合、第１の分離手段１０１ｂは、撮影画像を輝度成分と色情報成分とに分離する手段として機能し、第２の分離手段１０１ｃは、輝度成分を骨格成分と詳細成分とに分離する手段として機能する。 <Structural clarity conversion>
When the processing unit 101 executes the structure clarity conversion process, the first separation means 101b functions as a means for separating the captured image into the luminance component and the color information component, and the second separating means 101c separates the luminance component. It functions as a means to separate the skeletal component and the detailed component.

強調手段１０１ｄは、骨格成分に対して強調処理を施す手段として機能し、骨格成分を中心値よりも明るく圧縮する第１の強調手段１０１ｄ−１、及び骨格成分にシャープネスフィルタ処理を施す第２の強調手段１０１ｄ−２の少なくとも１つを含む。 The enhancing means 101d functions as a means for enhancing the skeleton component, the first enhancing means 101d-1 for compressing the skeleton component brighter than the center value, and the second enhancing means for applying the sharpness filter processing to the skeleton component. Includes at least one of the emphasis means 101d-2.

生成手段１０１ｅは、強調された骨格成分と詳細成分とから輝度を復元し、色情報成分を用いて強調画像を生成する手段として機能する。生成手段１０１ｅは、強調された骨格成分と詳細成分とを加算して輝度を復元し、復元された輝度と、第１の色空間の赤系の色相方向と青色の色相方向に応じた色情報成分とから第２の色空間に変換して強調画像を生成する。 The generation means 101e restores the brightness from the emphasized skeleton component and the detailed component, and functions as a means for generating an emphasized image using the color information component. The generation means 101e restores the brightness by adding the emphasized skeleton component and the detailed component, and the restored brightness and the color information corresponding to the red hue direction and the blue hue direction of the first color space. A emphasized image is generated by converting the components into a second color space.

＜部位強調変換＞
処理部１０１が部位強調変換処理を実行する場合、第１の分離手段１０１ｂは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段１０１ｆは、診断の対象の部位を抽出する手段として機能する。 <Part emphasis conversion>
When the processing unit 101 executes the part emphasis conversion process, the first separation means 101b functions as a means for separating the captured image into a luminance component and a color information component, and the extraction means 101f extracts the part to be diagnosed. Functions as a means of doing so.

このとき抽出手段１０１ｆは、部位の候補を輝度成分により抽出する第１の抽出手段１０１ｆ−１、及び部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出される第２の抽出手段１０１ｆ−２の少なくとも１つを含む。なお、部位強調変換処理において、第２の抽出手段１０１ｆ−２は、色空間の赤系の色相方向に応じた色情報成分を用いて抽出する。 At this time, the extraction means 101f extracts the first extraction means 101f-1 that extracts the candidate of the portion by the luminance component, and the second extraction means 101f that extracts the candidate of the portion by the color space composed of the luminance component and the color information component. Contains at least one of the extraction means 101f-2. In the part emphasis conversion process, the second extraction means 101f-2 extracts using a color information component corresponding to the red hue direction of the color space.

＜部位蛍光色変換＞
処理部１０１が、部位蛍光色変換処理を実行する場合、第１の分離手段１０１ｂは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段１０１ｆは、診断の対象の部位を抽出する手段として機能する。 <Partial fluorescence color conversion>
When the processing unit 101 executes the site fluorescence color conversion process, the first separation means 101b functions as a means for separating the captured image into a luminance component and a color information component, and the extraction means 101f is a site to be diagnosed. Functions as a means of extracting.

このとき、抽出手段１０１ｆは、部位の候補を輝度成分により抽出してボトムハット処理を施す第１の抽出手段１０１ｆ−１、及び部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出される第２の抽出手段１０１ｆ−２の少なくとも１つを含む。なお、上記した部位蛍光色変換処理において、第２の抽出手段１０１ｆ−２は、色空間の緑系の色相方向に応じた色情報成分を用いて抽出する。 At this time, the extraction means 101f is a first extraction means 101f-1 that extracts a candidate for a portion from a luminance component and performs a bottom hat process, and a color composed of a luminance component and a color information component for the uniqueness of the portion. It comprises at least one of the second extraction means 101f-2 extracted by space. In the above-mentioned site fluorescence color conversion process, the second extraction means 101f-2 extracts using a color information component corresponding to the hue direction of the green system in the color space.

上記した分類手段１０１ａ、第１の分離手段１０１ｂ、第２の分離手段１０１ｃ、強調手段１０１ｄ（第１の強調手段１０１ｄ−１、第２の強調手段１０１ｄ−２）、生成手段１０１ｅ、抽出手段１０１ｆ（第１の抽出手段１０１ｆ−１，第２の抽出手段１０１ｆ−２）は、いずれも、処理部１０１が有する本実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。 The above-mentioned classification means 101a, first separation means 101b, second separation means 101c, emphasis means 101d (first emphasis means 101d-1, second emphasis means 101d-2), generation means 101e, extraction means 101f. (The first extraction means 101f-1 and the second extraction means 101f-2) all obtain the above-mentioned functions possessed by the processing unit 101 by sequentially reading and executing the program according to the present embodiment. Realize.

（実施形態の動作）
以下、図１に示す本実施形態に係る診断装置１００の動作について、図２以降を参照しながら詳細に説明する。 (Operation of the embodiment)
Hereinafter, the operation of the diagnostic apparatus 100 according to the present embodiment shown in FIG. 1 will be described in detail with reference to FIGS. 2 and later.

図２に、本実施形態に係る診断装置１００の基本処理動作の流れが示されている。図２によれば、処理部１０１は、まず、ダーモスコープ付き撮影装置１１０で撮影された、例えば、皮膚病変部位等、患部の撮影画像を取得する（ステップＳ１１）。そして、取得した撮影画像を画像記憶部１０２の所定の領域に格納するとともに、表示装置１２０に表示する（ステップＳ１２）。 FIG. 2 shows the flow of the basic processing operation of the diagnostic apparatus 100 according to the present embodiment. According to FIG. 2, the processing unit 101 first acquires a photographed image of an affected part such as a skin lesion site, which is photographed by the imaging device 110 with a dermoscope (step S11). Then, the acquired captured image is stored in a predetermined area of the image storage unit 102 and displayed on the display device 120 (step S12).

続いて、処理部１０１は、分類手段１０１ａが、色成分解析による分類を行い（ステップＳ１３）、少なくともI型、II型及びIII型の３つに分類する（ステップＳ１４）。 Subsequently, the processing unit 101 classifies the processing unit 101 by color component analysis (step S13), and classifies the processing unit 101 into at least three types, type I, type II, and type III (step S14).

分類した型に応じて、構造明瞭変換処理（ステップＳ１５）、部位強調変換処理（ステップＳ１６）、部位蛍光色変換処理（ステップＳ１７）のそれぞれを実行し、その処理画像を撮影画像と共に表示装置に並べて表示し、診断を医師に委ねる（ステップＳ１８）。 Each of the structure clearing conversion process (step S15), the site emphasis conversion process (step S16), and the site fluorescence color conversion process (step S17) is executed according to the classified type, and the processed image is displayed on the display device together with the captured image. Display them side by side and entrust the diagnosis to a doctor (step S18).

このとき、分類手段１０１ａは、患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を進行度が低位の分類（I型）として分類する。 At this time, the classification means 101a classifies an image in which the affected area is mole-shaped and is substantially black or brown as a classification (type I) having a low degree of progression.

I型に分類されると、病変の進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理（ステップＳ１５）を実行する。 When the lesion is classified into type I, the structure clarity conversion process (step S15), which is an image conversion process corresponding to the classification with a low degree of lesion progression, is executed.

II型に分類されると、進行度が中位の分類に対応する画像変換処理である部位強調変換処理（ステップＳ１６）を実行する。 When it is classified into type II, the part emphasis conversion process (step S16), which is an image conversion process corresponding to the classification with a medium degree of progress, is executed.

III型に分類されると、進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理（ステップＳ１７）を実行する。 When it is classified into type III, the site fluorescence color conversion process (step S17), which is an image conversion process corresponding to the classification with a high degree of progress, is executed.

図１０に表示装置１２０に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像表示領域１２１が、右に、処理画像表示領域１２２が割り当てられており、それぞれの領域に、撮影画像、および処理画像が表示されている。 FIG. 10 shows an example of a display screen image displayed on the display device 120. The captured image display area 121 is allocated to the left and the processed image display area 122 is allocated to the right when facing the screen, and the captured image and the processed image are displayed in each area.

医師が、入力装置１３０を用い、表示装置１２０の画面右下に割り当てられている「撮影開始」ボタン１２３をクリックすることにより、ダーモスコープ付き撮影装置１１０による患部の撮影が開始される。 When the doctor clicks the "shooting start" button 123 assigned to the lower right of the screen of the display device 120 using the input device 130, the imaging of the affected area by the dermoscope-equipped imaging device 110 is started.

そして、処理部１０１により分類されたI型〜III型に応じた画像変換処理（構造明瞭変換処理、部位強調変換処理、部位蛍光色変換処理）により、表示装置１２０の撮影画像表示領域１２１に撮影画像が、処理画像表示領域１２２に、処理画像が並んで表示される。 Then, an image is taken in the photographed image display area 121 of the display device 120 by the image conversion process (structure clarity conversion process, site enhancement conversion process, site fluorescence color conversion process) according to the types I to III classified by the processing unit 101. The processed images are displayed side by side in the processed image display area 122.

なお、画面の任意の場所にそれぞれの処理画像が表示されるサムネール領域を付加し、選択操作されたサムネールに該当する処理画像を処理画像表示領域１２２に表示してもよい。また、複数の処理画像を並べて表示してもよい。 A thumbnail area in which each processed image is displayed may be added to an arbitrary place on the screen, and the processed image corresponding to the selected thumbnail may be displayed in the processed image display area 122. Further, a plurality of processed images may be displayed side by side.

図３に、図２のステップＳ１３の「色成分解析による分類処理」の詳細手順が示されている。図３によれば、処理部１０１は、まず、第１の分離手段１０１ｂが、ダーモスコープ付き撮影装置１１０から取得されるＲＧＢ色空間の撮影画像を、Ｌａｂ色空間（正確には、ＣＩＥ１９７６Ｌ＊ａ＊ｂ色空間）に変換する。Ｌａｂ色空間の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌａｂ％Ｅ８％８９％Ｂ２％Ｅ７％Ａ９％ＢＡ％Ｅ９％９６％９３）＜平成２６年９月１日＞に記載されている。 FIG. 3 shows a detailed procedure of “classification processing by color component analysis” in step S13 of FIG. According to FIG. 3, in the processing unit 101, first, the first separation means 101b obtains a captured image in the RGB color space acquired from the photographing device 110 with a dermoscope in the Lab color space (to be exact, CIE 1976 L *). Convert to a * b color space). For details on the Lab color space, see the Internet URL (http://ja.wikipedia.org/wiki/Lab%E8%89%B2%E7%A9%BA%E9%96%93) <September 1, 2014 >.

そして、処理部１０１は、分類手段１０１ａが、病変部位の色分布を示すヒストグラムを作成し（ステップＳ１４１）、例えば、８割以上の面積が赤系の色成分で占められているか否かを判定する（ステップＳ１４２）。 Then, the processing unit 101 creates a histogram showing the color distribution of the lesion site by the classification means 101a (step S141), and determines, for example, whether or not an area of 80% or more is occupied by a reddish color component. (Step S142).

ここで、殆どが赤系の色成分で占められていると判定された場合（ステップＳ１４２“ＹＥＳ”）、分類手段１０１ａは、II型かIII型に分類する。 Here, when it is determined that most of the color components are reddish (step S142 “YES”), the classification means 101a classifies the type II or the type III.

このため、分類手段１０１ａは、病変部位の多くが血管形状を示すか否かを判定し（ステップＳ１４３）、血管形状を示す場合（ステップＳ１４３“ＹＥＳ”）はIII型（ステップＳ１４４）に分類する。 Therefore, the classification means 101a determines whether or not most of the lesion sites show a blood vessel shape (step S143), and if the lesion shows a blood vessel shape (step S143 “YES”), classifies the lesion into type III (step S144). ..

血管形状を示していない場合（ステップＳ１４３“ＮＯ”）はII型に分類する（ステップＳ１４５）。 When the blood vessel shape is not shown (step S143 “NO”), it is classified into type II (step S145).

一方、ステップＳ１４２で病変部位が赤系の色成分で占められていない場合（ステップＳ１４２“ＮＯ”）、分類手段１０１ａは、更に、赤系以外の色成分が均等に分布しているか否か（ステップＳ１４６）、および赤系以外の色成分が点在しているか否かを判定する（ステップＳ１４８）。 On the other hand, when the lesion site is not occupied by the reddish color component in step S142 (step S142 “NO”), the classification means 101a further determines whether or not the non-reddish color component is evenly distributed (step S142). Step S146), and it is determined whether or not color components other than red are scattered (step S148).

ここで、分類手段１０１ａは、赤系以外の色成分が均等に分布しているか（ステップＳ１４６“ＹＥＳ”）、点在して分布していた場合は（ステップＳ１４８“ＹＥＳ”）、I型に分類する（ステップＳ１４７）。 Here, the classification means 101a is classified into type I if the color components other than red are evenly distributed (step S146 “YES”) or if they are scattered (step S148 “YES”). Classify (step S147).

均等に分布していないか（ステップＳ１４６“ＮＯ”）、点在していない場合は（ステップＳ１４７“ＮＯ”）、その他に分類する（ステップＳ１４９）。 If it is not evenly distributed (step S146 “NO”), if it is not scattered (step S147 “NO”), it is classified into others (step S149).

＜構造明瞭変換＞
次に、I型に分類された場合に実行される構造明瞭変換処理について、図４のフローチャート用いて詳述する。図４において、処理部１０１は、第１の分離手段１０１ｂが、ダーモスコープ付き撮影装置１１０から取得されるＲＧＢ色空間の撮影画像を、Ｌａｂ色空間画像に変換する（ステップＳ１６１）。次に、処理部１０１は、第２の分離手段１０１ｃが、撮影画像を骨格成分と詳細成分とに分離するために、Ｌ画像にエッジ保存型フィルタ処理を施す（ステップＳ１６２）。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。バイラテラルフィルタは、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｂｉｌａｔｅｒａｌｆｉｌｔｅｒ）＜平成２６年９月１日閲覧＞にその詳細が記載されている。 <Structural clarity conversion>
Next, the structure clarity conversion process executed when classified into type I will be described in detail using the flowchart of FIG. In FIG. 4, the processing unit 101 converts the RGB color space captured image acquired from the dermoscope-equipped imaging device 110 into a Lab color space image by the first separation means 101b (step S161). Next, in the processing unit 101, the second separation means 101c performs edge-preserving filter processing on the L image in order to separate the captured image into a skeleton component and a detailed component (step S162). Here, for example, a bilateral filter is used as the edge preservation type filter. The details of the bilateral filter are described in, for example, the Internet URL (http://en.wikipedia.org/wiki/Bialeralfilter) <viewed on September 1, 2014>.

次に、処理部１０１は、強調手段１０１ｄが、Ｌ画像にバイラテルフィルタ処理を施して得られるＢ画像、Ｂ＝ｂｉｌａｔｅｒａｌ＿ｆｉｌｔｅｒ（Ｌ）を取得する。ここで、Ｂ画像は骨格成分である。次に、強調手段１０１ｄが、詳細成分であるＤ画像を取得する。ここで、詳細画像Ｄは、Ｄ＝Ｌ画像−Ｂ画像により取得することができる（ステップＳ１６３）。 Next, the processing unit 101 acquires the B image, B = bilatual_filter (L), which is obtained by the enhancing means 101d performing a biratel filter process on the L image. Here, the B image is a skeletal component. Next, the enhancing means 101d acquires a D image which is a detailed component. Here, the detailed image D can be acquired by the D = L image-B image (step S163).

続いて、強調手段１０１ｄ（第１の強調手段１０１ｄ−１）は、骨格画像Ｂをｐ階乗することにより強調された骨格画像Ｂ１を得る（ステップＳ１３４）。このときのｐは、ｐ＜＝１となる。このとき、強調手段１０１ｄは、骨格画像Ｂの取りうる最大値と最小値が変換前後で同じになるように処理する。具体的には、Ｌａｂ色空間では輝度Ｌの値範囲が０から１００であるため、Ｂ１は、Ｂ１＝（Ｂ^ｐ）／（１００^ｐ）＊１００で求めることができる。次に、強調手段１０１ｄは、Ｂ１を、値Ｚを基準にＫ１倍して圧縮画像Ｂ２を得る（Ｓ１６５）。 Subsequently, the enhancing means 101d (first enhancing means 101d-1) obtains the emphasized skeleton image B1 by p-factorializing the skeleton image B (step S134). At this time, p is p <= 1. At this time, the enhancing means 101d processes so that the maximum value and the minimum value that the skeleton image B can take are the same before and after the conversion. Specifically, since the value range of the luminance L is 0 to 100 in the Lab color space, B1 can be obtained by B1 = (B ^ p) / (100 ^ p) * 100. Next, the enhancing means 101d multiplies B1 by K1 with respect to the value Z to obtain a compressed image B2 (S165).

圧縮画像Ｂ２は、Ｂ２＝（Ｂ１−Ｚ）＊Ｋ１＋Ｚで求めることができる。ここで、係数Ｋ１は圧縮率で１以下とし、ここでは０．２〜０．８程度の値とする。また、Ｚは、中心Ｃよりも明るめに設定する。ここで、Ｃは圧縮を行う中心位置であり、Ｃ＝（５０^ｐ）／（１００^ｐ）＊１００であり、これを５％から５０％程度大きくした値がＺになる。すなわち、強調手段１０１ｄは、骨格成分を中心値よりも明るく圧縮して強調する。 The compressed image B2 can be obtained by B2 = (B1-Z) * K1 + Z. Here, the coefficient K1 is set to 1 or less in terms of compression rate, and here, it is set to a value of about 0.2 to 0.8. Further, Z is set to be brighter than the center C. Here, C is the center position where compression is performed, C = (50 ^ p) / (100 ^ p) * 100, and a value obtained by increasing this by about 5% to 50% is Z. That is, the emphasizing means 101d compresses and emphasizes the skeletal component brighter than the center value.

次に、強調手段１０１ｄ（第２の強調手段１０１ｄ−２）は、圧縮画像Ｂ２にシャープネスフィルタ処理を施して鮮鋭化画像Ｂ３とする（ステップＳ１６６：Ｂ３ ← ｓｈａｒｐｎｅｓｓＦｉｌｔｅｒ（Ｂ２））。第２の強調手段１０１ｄ−２は、シャープネスフィルタ処理を実行するにあたり、以下のカーネルＭを圧縮画像Ｂ２に畳み込み演算（ｃｏｎｖｏｌｔｉｏｎ）を行う。なお、以下に示すコンボリューション行列（畳み込みカーネルＭの値）は一例である。 Next, the enhancing means 101d (second enhancing means 101d-2) applies a sharpness filter process to the compressed image B2 to obtain a sharpened image B3 (step S166: B3 ← sharpness Filter (B2)). The second emphasizing means 101d-2 performs a convolution operation on the compressed image B2 by convolving the following kernel M into the compressed image B2 when executing the sharpness filter processing. The convolution matrix (value of convolution kernel M) shown below is an example.

｜−０．１６６７ −０．６６６７ −０．１６６７｜
Ｍ＝｜−０．６６６７４．３３３３ −０．６６６７｜
｜−０．１６６７ −０．６６６７ −０．１６６７｜ | -0.1667 -0.6667 -0.1667 |
M = | -0.6667 4.3333 -0.6667 |
| -0.1667 -0.6667 -0.1667 |

なお、上記した圧縮強調処理を第１の強調手段１０１ｄ−１が実行し、続くシャープネスフィルタ処理を第２の強調手段１０１ｄ−２が行うものとして説明したが、強調手段１０１ｄが、圧縮強調処理とシャープネスフィルタ処理の両方を実行することは必須でなく、圧縮強調処理とシャープネスフィルタ処理のいずれか一方でもよい。 It has been described that the above-mentioned compression enhancement process is executed by the first enhancement means 101d-1 and the subsequent sharpness filter process is performed by the second enhancement means 101d-2. However, the enhancement means 101d is referred to as the compression enhancement process. It is not essential to perform both sharpness filtering, and either compression enhancement or sharpness filtering may be used.

次に、強調手段１０１ｄは、血管らしさを尤度Ａとして抽出して詳細画像Ｄの強調の度合いに反映させる処理を実行する（ステップＳ１６７）。血管らしさ（尤度Ａ）は、ノイズを除去した骨格画像の圧縮画像Ｂ２と同じ次元の情報をもっており、各ピクセルに対して０から１の血管らしさ情報（尤度Ａ）を持つ。血管らしさが増すと１に近づく。図５に、ステップＳ１６７の「血管らしさを尤度Ａとして抽出する処理」がフローチャートで示されている。 Next, the enhancing means 101d executes a process of extracting the blood vessel-likeness as the likelihood A and reflecting it in the degree of enhancement of the detailed image D (step S167). The blood vessel-likeness (likelihood A) has information of the same dimension as the compressed image B2 of the skeleton image from which noise has been removed, and has 0 to 1 blood vessel-likeness information (likelihood A) for each pixel. When the blood vessel-likeness increases, it approaches 1. FIG. 5 shows in a flowchart the “process of extracting blood vessel-likeness as likelihood A” in step S167.

図５によれば、強調手段１０１ｄは、Ｌａｂ色空間の赤系の色相方向であるａ軸の値を取得し（ステップＳ１６７ａ）、血管らしさ（尤度Ａ）について、ａの値を、０からＳの範囲で制限を与えて正規化（Ａ←ｍａｘ（ｍｉｎ（ａ，Ｓ），０）／Ｓ）を行い、０から１の値範囲に設定する（ステップＳ１６７ｂ，Ｓ１６７ｃ）。ここで、Ｓは、例えば８０とする。ここでは、０から８０の値で制限を与えたが、この値は一例であり、この値に制限されない。なお、上述した「血管らしさを尤度Ａとして抽出する処理」は、図９に示すフローチャートに従ってもよい。図９については後述する。 According to FIG. 5, the enhancing means 101d acquires the value of the a-axis which is the red hue direction of the Lab color space (step S167a), and changes the value of a from 0 for the blood vessel-likeness (likelihood A). Normalization (A ← max (min (a, S), 0) / S) is performed by giving a limit in the range of S, and the value range is set from 0 to 1 (steps S167b, S167c). Here, S is, for example, 80. Here, the limit is given by a value from 0 to 80, but this value is an example and is not limited to this value. The above-mentioned "process of extracting blood vessel-likeness as likelihood A" may follow the flowchart shown in FIG. FIG. 9 will be described later.

説明を図４に戻す。第２の抽出手段１０１ｆ−２は、上記した手順にしたがい血管らしさを尤度Ａとして求めた後（ステップＳ１６７）、その尤度Ａを用いて詳細画像Ｄの強調係数Ｋ３を求める（ステップＳ３１６８）。強調係数Ｋ３は、Ｋ３＝Ａ＊Ｋ２で求めることができる。ここでは、強調係数Ｋ３の下限を係数Ｋ２のＬＭ１倍とする。ここで、ＬＭ１は、０〜１の範囲で、例えば０．５とする。すなわち、Ｋ３＝ｍａｘ（Ｋ３，ＬＭ１）で、ｍａｘ（）は、要素ごとに２つの引数の最大値を返す関数である。ＬＭ１はスカラーであるため、強調係数Ｋ３と同次元に同値で拡張して処理がなされる（ステップＳ１６９）。 The explanation is returned to FIG. The second extraction means 101f-2 obtains the blood vessel-likeness as the likelihood A according to the above procedure (step S167), and then obtains the enhancement coefficient K3 of the detailed image D using the likelihood A (step S3168). .. The emphasis coefficient K3 can be obtained by K3 = A * K2. Here, the lower limit of the emphasis coefficient K3 is set to LM1 times the coefficient K2. Here, LM1 is in the range of 0 to 1, for example, 0.5. That is, K3 = max (K3, LM1), and max () is a function that returns the maximum value of two arguments for each element. Since LM1 is a scalar, processing is performed by expanding it to the same dimension as the emphasis coefficient K3 with the same value (step S169).

続いて、強調手段１０１ｄは、詳細画像Ｄに強調係数Ｋ３を用いて強調処理を施し、詳細画像Ｄの強調画像Ｄ１とする（ステップＳ１７０）。すなわち、強調画像Ｄ１は、Ｄ１＝Ｄ＊Ｋ３で求められる。なお、＊は要素ごとの乗算を表している。 Subsequently, the enhancing means 101d performs the enhancement processing on the detailed image D using the enhancement coefficient K3 to obtain the enhanced image D1 of the detailed image D (step S170). That is, the emphasized image D1 is obtained by D1 = D * K3. Note that * represents multiplication for each element.

続いて、処理部１０１は、生成手段１０１ｅが、強調手段１０１ｄにより強調され変換された骨格画像Ｂ１と、強調され変換された強調画像Ｄ１とを加算（Ｌ”＝Ｂ３＋Ｄ１）することにより、変換された輝度画像Ｌ”を取得する。続いて、得られた輝度画像Ｌ”と、赤系の色相成分であるａ軸ならびに青系の色相成分であるｂ軸の値とによりＲＧＢ色空間に変換して最終的な強調画像Ｅを生成する（ステップＳ１７１）。 Subsequently, the processing unit 101 is converted by the generating means 101e by adding (L "= B3 + D1) the skeleton image B1 emphasized and converted by the enhancing means 101d and the emphasized and converted emphasized image D1. The brightness image L ”is acquired. Subsequently, the obtained luminance image L ”is converted into an RGB color space by the values of the a-axis which is a red hue component and the b axis which is a blue hue component to generate a final emphasized image E. (Step S171).

すなわち、生成手段１０１ｅは、強調された骨格成分と詳細成分画像とから輝度を復元し、色情報成分を用いて強調画像を生成する。そして、処理部１０１は、表示装置１２０に、例えば、図１０の表示画面に示すように、撮影画像表示領域１２１と処理画像表示領域１２２とを並べて表示する。 That is, the generation means 101e restores the brightness from the emphasized skeleton component and the detailed component image, and generates the emphasized image using the color information component. Then, the processing unit 101 displays the captured image display area 121 and the processed image display area 122 side by side on the display device 120, for example, as shown in the display screen of FIG.

なお、強調手段１０１ｄは、上記したように、骨格成分と、詳細成分のいずれをも強調することができ、骨格成分については明るめに圧縮するか、シャープネスフィルタ処理により圧縮して強調し、詳細成分については、血管らしさに応じて強調処理を施した。このとき、生成手段１０１ｅは、必ずしも、強調された骨格成分と強調された詳細成分とを必要とせず、少なくとも一方から輝度を復元することが可能である。例えば、生成手段１０１ｅは、強調手段１０１ｄにより強調された骨格成分（Ｂ２またはＢ３）と、第２の分離手段１０１ｃにより分離された詳細成分（Ｄ）とを加算することにより、変換された輝度画像Ｌ”を取得することが可能である。 As described above, the enhancing means 101d can emphasize both the skeletal component and the detailed component, and the skeletal component is compressed brightly or compressed by a sharpness filter process to be emphasized, and the detailed component is emphasized. Was emphasized according to the appearance of blood vessels. At this time, the generation means 101e does not necessarily require the emphasized skeletal component and the emphasized detailed component, and it is possible to restore the brightness from at least one of them. For example, the generating means 101e is a luminance image converted by adding the skeleton component (B2 or B3) emphasized by the enhancing means 101d and the detailed component (D) separated by the second separating means 101c. It is possible to obtain "L".

上記した構造明瞭変換処理によれば、処理部１０１が、画像記憶部１０２に記憶された撮影画像を輝度成分と色情報成分とに分離し、輝度成分を骨格成分と詳細成分とに分離し、骨格成分を中心値よりも明るく圧縮するか、骨格成分にシャープネスフィルタ処理を施し、強調された骨格成分と詳細成分とから輝度を復元し、色情報成分を用いて強調画像を生成することにより、例えば、図１０の表示画面に示すように、撮影画像表示領域１２１と処理画像表示領域１２２とを並べて表示することができる。 According to the structure clarity conversion process described above, the processing unit 101 separates the captured image stored in the image storage unit 102 into a luminance component and a color information component, and separates the luminance component into a skeleton component and a detailed component. By compressing the skeletal component brighter than the center value, or by applying a sharpness filter treatment to the skeletal component, the brightness is restored from the emphasized skeletal component and the detailed component, and a emphasized image is generated using the color information component. For example, as shown in the display screen of FIG. 10, the captured image display area 121 and the processed image display area 122 can be displayed side by side.

ここで、骨格成分を中心値よりも明るく圧縮して強調した場合、血管色が維持され、骨格成分にシャープネスフィルタ処理を施して強調した場合、細かなノイズが増えずに、画像内の骨格成分がシャープになる。したがって、医師は、例えば、線状血管や点状血管について明瞭な画像を視認でき、容易、かつ的確に診断を行うことができ、診断精度が向上する。 Here, when the skeleton component is compressed and emphasized brighter than the center value, the blood vessel color is maintained, and when the skeleton component is emphasized by applying a sharpness filter treatment, fine noise does not increase and the skeleton component in the image is emphasized. Becomes sharp. Therefore, for example, a doctor can visually recognize a clear image of a linear blood vessel or a punctate blood vessel, can easily and accurately make a diagnosis, and improve the diagnostic accuracy.

なお、輝度成分を骨格成分と詳細成分とに分離する際にバイラテラルフィルタ処理を用いることとしたが、バイラテラルフィルタに限らず、エプシロンフィルタ等、エッジ保存型平滑化フィルタであれば代替可能である。また、輝度画像を得るのにＬａｂ色空間を利用したが、Ｌａｂ色空間によらず、例えば、輝度信号と２つの色差信号を使って表現されるＹＵＶ色空間の輝度信号Ｙを使用してもよい。なお、ＹＵＶ色空間については、インターネットＵＲＬ：ｈｔｔｐ：／／Ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＹＵＶ（平成２６年９月１日閲覧）にその詳細が開示されている。 Although it was decided to use bilateral filter processing when separating the luminance component into the skeleton component and the detailed component, it is possible to substitute not only the bilateral filter but also an edge-preserving smoothing filter such as an epsilon filter. is there. Further, although the Lab color space is used to obtain the luminance image, the luminance signal Y in the YUV color space expressed by using the luminance signal and the two color difference signals can be used regardless of the luminance space. Good. For the YUV color space, refer to the Internet URL: http: // Ja. wikipedia. The details are disclosed in org / wiki / YUV (viewed on September 1, 2014).

また、血管らしさ（尤度Ａ）として、Ｌａｂ色空間のａ軸を用いたが、ａ軸をｂ軸のプラス方向に、（ａ１，ｂ１）を中心として回転させた軸を使用してもよい。その場合、ａ１は１０〜５０の値を、ｂ１は０、回転量は０．３ラジアンから０．８ラジアン程度回転させることが必要である。 Further, although the a-axis of the Lab color space is used as the vascularity (likelihood A), an axis obtained by rotating the a-axis in the plus direction of the b-axis around (a1, b1) may be used. .. In that case, it is necessary to rotate a1 with a value of 10 to 50, b1 with 0, and a rotation amount of about 0.3 to 0.8 radians.

＜部位強調変換＞＜部位蛍光色変換＞
次に、図６を参照して部位強調変換および部位蛍光色変換処理について説明する。図６によれば、処理部１０１は、まず、第１の分離手段１０１ｂが、ＲＧＢ色空間の撮影画像を、Ｌａｂ色空間に変換する（ステップＳ１７１）。次に、処理部１０１は、抽出手段１０１ｆが、診断の対象として選択された部位を抽出する。 <Part emphasis conversion><Part fluorescence color conversion>
Next, the site emphasis conversion and the site fluorescence color conversion process will be described with reference to FIG. According to FIG. 6, in the processing unit 101, first, the first separation means 101b converts the captured image in the RGB color space into the Lab color space (step S171). Next, the processing unit 101 extracts the site selected as the target of diagnosis by the extraction means 101f.

具体的には、第１の抽出手段１０１ｆ−１が、選択された部位の候補（血管候補）を輝度成分から抽出する。このため、第１の抽出手段１０１ｆ−１は、第１の分離手段１０１ｂによって色空間変換されたＬａｂ色空間で輝度に相当するＬ画像を用い、モルフォロジー処理（ここでは、Ｂｏｔｔｍｈａｔ：ボトムハット処理）によりコントラスト強調画像ＢＨを得る（ステップＳ１７２）。 Specifically, the first extraction means 101f-1 extracts a candidate (blood vessel candidate) of the selected portion from the luminance component. Therefore, the first extraction means 101f-1 uses an L image corresponding to the brightness in the Lab color space converted in the color space by the first separation means 101b, and performs morphology processing (here, Bottmhat: bottom hat processing). To obtain a contrast-enhanced image BH (step S172).

モルフオロジー処理とは、構造化要素を入力画像に適用し、同じサイズの出力画像としてのＢＨを生成するもので、出力画像の各値は、入力画像内の対応する画素と近傍画素との比較に基づいている。 Morphology processing applies a structured element to an input image to generate BH as an output image of the same size, and each value of the output image is a comparison of the corresponding pixel in the input image with neighboring pixels. Is based on.

最も基本的なモロフォロジー処理は、膨張と収縮である。膨張は入力画像内のオブジェクトの境界に画素を付加し、収縮は、境界の画素を除去する。オブジェクトに付加し、あるいは削除する画素の数は、画像処理に使用される構造化要素のサイズと形状によって異なる。 The most basic morphology treatments are expansion and contraction. Expansion adds pixels to the boundaries of objects in the input image, and contraction removes pixels at the boundaries. The number of pixels added to or removed from an object depends on the size and shape of the structuring elements used in image processing.

ここでは、ボトムハットを用いたモルフォロジー処理を実行し、診断の対象として選択された部位（血管候補）を輝度成分から抽出する方法について説明する。ボトムハット処理については、図７にその詳細手順が示されている。 Here, a method of executing morphology processing using a bottom hat and extracting a site (blood vessel candidate) selected as a diagnosis target from a luminance component will be described. The detailed procedure for the bottom hat process is shown in FIG.

図７によれば、第１の抽出手段１０１ｆ−１は、Ｌ画像に膨張処理を行い、処理後の輝度画像Ｌ１を得る（ステップＳ１７２ａ）。膨張処理の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏ．ｊｐ／ｊｐ／ｈｅｌｐ／ｉｍａｇｅｓ／ｍｏｒｐｈｏｌｏｇｙ−ｆｕｎｄａｍｅｎｔａｌｓ−ｄｉｌａｔｉｏｎ−ａｎｄ−ｅｒｏｓｉｏｎ．ｈｔｍｌ）＜平成２６年９月１日閲覧＞に記載されている。 According to FIG. 7, the first extraction means 101f-1 performs expansion processing on the L image to obtain the processed luminance image L1 (step S172a). For details of the expansion process, refer to the Internet URL (http://www.mathworks.co.jp/jp/help/images/morphology-fundamentals-dilation-and-erosion.html) <viewed on September 1, 2014>. Have been described.

次に、第１の抽出手段１０１ｆ−１は、膨張処理後の輝度画像Ｌ１に対して収縮処理を行い、輝度画像Ｌ２を得る（ステップＳ１７２ｂ）。続いて、第１の抽出手段１０１ｆ−１は、収縮処理後の輝度画像Ｌ２からＬ画像を減算して（ＢＨ＝Ｌ２−Ｌ）ボトムハット処理後の画像ＢＨを得る（ステッフＳ１７２ｃ）。この様子が図８に示されている。図８（ａ）がＬ画像、（ｂ）が膨張処理後の画像Ｌ１、（ｃ）がボトムハット処理後の画像ＢＨである。 Next, the first extraction means 101f-1 performs a contraction process on the luminance image L1 after the expansion process to obtain the luminance image L2 (step S172b). Subsequently, the first extraction means 101f-1 subtracts the L image from the luminance image L2 after the shrinkage treatment (BH = L2-L) to obtain the image BH after the bottom hat treatment (Steffe S172c). This is shown in FIG. 8A is an L image, FIG. 8B is an image L1 after expansion processing, and FIG. 8C is an image BH after bottom hat processing.

ここで、膨張処理について補足する。例えば、半径５ドットの構造化要素を考える。膨張処理とは、注目画素の構造化要素の範囲内での最大値をその注目画像の値とする処理を全画素について行うことをいう。すなわち、出力される注目画素値は、入力画素近傍の中で全ての画素の最大値である。一方、縮小処理は、注目画素の構造化要素の範囲内での最小値をその注目画素の値とする。すなわち、注目画素値は、入力画素近傍の中で全ての画素の最小値である。以上により、Ｌ画像からボトムハット処理でコントラスト強調された画像ＢＨを得ることができる。 Here, the expansion process is supplemented. For example, consider a structured element with a radius of 5 dots. The expansion process means that all pixels are subjected to a process in which the maximum value within the range of the structuring element of the pixel of interest is set as the value of the image of interest. That is, the output pixel value of interest is the maximum value of all pixels in the vicinity of the input pixel. On the other hand, in the reduction process, the minimum value within the range of the structuring element of the pixel of interest is set as the value of the pixel of interest. That is, the pixel value of interest is the minimum value of all pixels in the vicinity of the input pixel. From the above, it is possible to obtain an image BH whose contrast is enhanced by the bottom hat process from the L image.

説明を図６に戻す。次に、処理部１０１は、第２の抽出手段１０１ｆ−２が、選択された部位のそれらしさ（血管らしさ）を輝度成分と色情報成分とから構成される色空間により抽出する。このため、第２の抽出手段１０１ｆ−２は、血管らしさを尤度Ａとして計算する（ステップＳ１７３）。 The explanation is returned to FIG. Next, in the processing unit 101, the second extraction means 101f-2 extracts those characteristics (blood vessel-likeness) of the selected portion by a color space composed of a luminance component and a color information component. Therefore, the second extraction means 101f-2 calculates the blood vessel-likeness as the likelihood A (step S173).

図９に、ステップＳ１７３の「血管らしさを尤度Ａとして抽出する処理」の詳細手順が示されている。図９によれば、処理部１０１は、第１の分離手段１０１ｂが、撮影画像をＬａｂ色空間に変換した後（ステップＳ１６７ｈ）、第２の抽出手段１０１ｆ−２が、色空間の赤系の色相方向に応じた色情報成分であるａ軸の値、及び青系の色相方向に応じた色情報成分であるｂ軸の値を用いて抽出する。すなわち、第２の抽出手段１０１ｆ−２は、Ｌａｂ色空間のａ軸，ｂ軸の値から以下の計算を行うことによってＬＨ１を生成する（ステップＳ１６７ｉ）。 FIG. 9 shows a detailed procedure of “processing for extracting blood vessel-likeness as likelihood A” in step S173. According to FIG. 9, in the processing unit 101, after the first separation means 101b converts the captured image into the Lab color space (step S167h), the second extraction means 101f-2 has a reddish color space. Extraction is performed using the value of the a-axis, which is a color information component according to the hue direction, and the value of the b-axis, which is a color information component corresponding to the bluish hue direction. That is, the second extraction means 101f-2 generates LH1 by performing the following calculation from the values of the a-axis and the b-axis of the Lab color space (step S167i).

ａｄ＝（ａ−ｃａ）＊ｃｏｓ（ｒ）＋ｂ＊ｓｉｎ（ｒ）＋ｃａ
ｂｄ＝−（ａ−ｃａ）＊ｓｉｎ（ｒ）＋ｂ＊ｃｏｓ（ｒ）
ＬＨ１＝ｅｘｐ（−（（ａｄ＊ａｄ）／ｓａ／ｓａ＋（ｂｄ＊ｂｄ）
／ｓｂ／ｓｂ）） ad = (a-ca) * cos (r) + b * sin (r) + ca
bd =-(a-ca) * sin (r) + b * cos (r)
LH1 = exp (-((ad * ad) / sa / sa + (bd * bd))
/ Sb / sb)))

ここで、ａｄ，ｂｄは、（ｃａ，０）を中心に、反時計回りにａｂ平面をrラジアンだけ回転させたものとなる。また、ｒの値として、０．３〜０．８ラジアン程度を設定する。ｃａは、０〜５０の間で設定する。ｓａ，ｓｂは、それぞれa軸方向の感度の逆数、b軸方向の感度の逆数となる。ここでは、ｓａ＞ｓｂとして設定する。 Here, ad and bd are obtained by rotating the ab plane counterclockwise by r radians around (ca, 0). Further, the value of r is set to about 0.3 to 0.8 radians. ca is set between 0 and 50. sa and sb are the reciprocals of the sensitivity in the a-axis direction and the reciprocal of the sensitivity in the b-axis direction, respectively. Here, it is set as sa> sb.

次に、第２の抽出手段１０１ｂ−２は、得られたＬＨ１に輝度Ｌで制限をかける。輝度Ｌが閾値ＴＨ１以上であれば０にしたものをＬＨ２とし（ステップＳ１６７ｊ）、輝度Ｌが閾値ＴＨ２以下のものをＬＨ３とする（ステップＳ１６７ｋ）。ここでは、閾値ＴＨ１は６０から１００の間で、閾値ＴＨ２は０から４０の間で設定するものとする。ここで求めたＬＨ３を、血管らしさを示す尤度Ａとする（ステップＳ１６７ｌ）。なお、血管らしさを尤度Ａとして抽出する際に、上記した構造明瞭変換処理で用いた図５のフローチャートにしたがってもよい。 Next, the second extraction means 101b-2 limits the obtained LH1 with the brightness L. If the brightness L is equal to or higher than the threshold value TH1, the value set to 0 is designated as LH2 (step S167j), and the brightness L is set to LH3 if the brightness L is equal to or lower than the threshold value TH2 (step S167k). Here, it is assumed that the threshold value TH1 is set between 60 and 100, and the threshold value TH2 is set between 0 and 40. Let LH3 obtained here be a likelihood A indicating blood vessel-likeness (step S167l). When extracting the blood vessel-likeness as the likelihood A, the flowchart of FIG. 5 used in the above-mentioned structural clarity conversion process may be followed.

説明を図６に戻す。第２の抽出手段１０１ｆ−２は、上記した手順にしたがい血管らしさを尤度Ａとして抽出した後（ステップＳ１７３）、ボトムハット処理後の画像ＢＨと、血管らしさを示す尤度Ａの各要素を乗算し、係数Ｎで除算する（ステップＳ１７４）。さらに、１でクリッピング処理を行なうことで強調された血管抽出Ｅの画像を生成する（ステップＳ１７５）。 The explanation is returned to FIG. The second extraction means 101f-2 extracts the blood vessel-likeness as the likelihood A according to the above procedure (step S173), and then extracts the image BH after the bottom hat processing and each element of the likelihood A indicating the blood vessel-likeness. Multiply and divide by coefficient N (step S174). Further, the image of the emphasized blood vessel extraction E is generated by performing the clipping process in step 1 (step S175).

上記した例によれば、血管抽出Ｅの画像は、０〜１までの値を持つ多値画像であるものの、ポトムハット処理を経ているため、抽出された血管の境界は急峻になっている。さらに急峻な境界を得たい場合は、所望の閾値で２値化をしてもよい。 According to the above example, although the image of the blood vessel extraction E is a multi-valued image having a value from 0 to 1, the boundary of the extracted blood vessels is steep because it has undergone the potom hat treatment. If a steeper boundary is desired, binarization may be performed at a desired threshold value.

上述したように、第２の抽出手段１０１ｆ−２は、色空間の赤系の色相方向と、青系の色相方向で構成される平面座標を、赤系の色相方向軸の特定の点を中心に反時計まわりに所定角回転させ、特定の値域で輝度成分に制限をかけることにより、選択された部位の血管らしさを示す尤度Ａを算出する。そして、算出された尤度Ａを、輝度成分の画像にボトムハット処理を施して得られる輝度画像に乗算して選択された部位を強調する。 As described above, the second extraction means 101f-2 centers on the plane coordinates composed of the red hue direction and the blue hue direction of the color space at a specific point on the red hue direction axis. By rotating a predetermined angle counterclockwise and limiting the brightness component in a specific value range, the likelihood A indicating the vascularity of the selected portion is calculated. Then, the calculated likelihood A is multiplied by the luminance image obtained by subjecting the image of the luminance component to the bottom hat process to emphasize the selected portion.

最後に、処理部１０１は、生成手段１０１ｅが、部位の抽出された結果を背景画像と再合成して表示装置１２０に表示する。このとき、背景画像としては、撮影画像、あるいは撮影画像のグレー変換画像のいずれかである。 Finally, the processing unit 101 causes the generation means 101e to resynthesize the extracted result of the portion with the background image and display it on the display device 120. At this time, the background image is either a photographed image or a gray-converted image of the photographed image.

ここで、部位強調変換処理は、部位の抽出された結果をＲＧＢ空間の背景画像と合成して血管強調して表現する。 Here, in the site emphasis conversion process, the extracted result of the site is combined with the background image in RGB space and expressed by emphasizing the blood vessels.

部位蛍光色変換処理は、部位の抽出された結果をＲＧＢ空間の背景画像と合成して血管を緑で表現する。 In the site fluorescence color conversion process, the extracted result of the site is combined with the background image in RGB space to express the blood vessel in green.

上記した部位強調変換処理、部位蛍光色変換処理によれば、処理部１０１は、第１の抽出手段１０１ｆ−１が、選択された部位の候補を輝度成分により抽出し、第２の抽出手段１０１ｆ−２が、選択された部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出し、抽出された結果を表示装置１２０に表示する。このため、医師は、診断の対象の部位について強調表示された画面を視認することで、容易、かつ的確に診断を行うことができ、その結果、診断精度が向上する。 According to the site emphasis conversion process and the site fluorescence color conversion process described above, in the processing unit 101, the first extraction means 101f-1 extracts the candidate of the selected portion by the luminance component, and the second extraction means 101f. -2 extracts those characteristics of the selected portion by a color space composed of a luminance component and a color information component, and displays the extracted result on the display device 120. Therefore, the doctor can easily and accurately make a diagnosis by visually recognizing the highlighted screen of the part to be diagnosed, and as a result, the diagnosis accuracy is improved.

また、処理部１０１は、第１の抽出手段１０１ｆ−１が、モルフォロジー処理（ボトムハット処理）を用いて血管候補を抽出し、第２の抽出手段１０１ｆ−２が、血管らしさを尤度として算出し、尤度Ａと血管候補とから血管領域を抽出するため、血管の明瞭な形状変化や模様等を再現することができる。 Further, in the processing unit 101, the first extraction means 101f-1 extracts a blood vessel candidate by using a morphology treatment (bottom hat treatment), and the second extraction means 101f-2 calculates the blood vessel-likeness as a likelihood. However, since the blood vessel region is extracted from the likelihood A and the blood vessel candidate, a clear shape change or pattern of the blood vessel can be reproduced.

なお、処理部１０１は、生成手段１０１ｅが、部位の抽出された結果を背景画像と再合成して表示装置１２０に表示する。このとき、背景画像として、医師に、撮影画像、あるいは撮影画像のグレー変換画像を提供することで、診断目的に応じた表示形態を動的に変更でき、その結果、医師は、一層容易に、かつ的確に診断を行うことができ、診断精度が一段と向上する。 In the processing unit 101, the generation means 101e resynthesizes the extracted result of the portion with the background image and displays it on the display device 120. At this time, by providing the doctor with a photographed image or a gray-converted image of the photographed image as the background image, the display form can be dynamically changed according to the purpose of diagnosis, and as a result, the doctor can more easily change the display form. Moreover, accurate diagnosis can be performed, and the accuracy of diagnosis is further improved.

なお、本実施形態に係る診断装置１００は、スタンドアロン構成により実現されることを前提に説明したが、診断サイトとしてサーバを用いたネットワーク形態で実現してもよい。図１１にその場合の診断システムの構成例が示されている。 Although the diagnostic device 100 according to the present embodiment has been described on the premise that it is realized by a stand-alone configuration, it may be realized in a network form using a server as a diagnostic site. FIG. 11 shows a configuration example of the diagnostic system in that case.

図１１によれば、診断サイトが管理運営する診断サーバ２００と、診断サーバ２００とは、例えば、ＩＰ網（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）等のネットワーク４００経由で接続される、利用者サイド（病院）のＰＣ端末３００とにより、システムが構築される。ＰＣ端末３００は、診断サーバ２００に対し、図示省略したダーモスコピー付き撮影装置で撮影した患部の撮影画像をアップロードして診断要求を送信する。これを受けた診断サーバ２００は、上記した診断装置１００と同様、撮影画像をパターン認識してI，II，IIIに分類し、分類に適した構造明瞭変換、血管強調変換、血管蛍光色変換等の画像変換処理を行い、得られる処理画像を、診断要求があったＰＣ端末３００にネットワーク４００経由で送信する診断サービスを実行する。この場合、利用者サイドは、画像解析と症状の分類にあった変換画像を少ない資源で自動的に得ることができる。 According to FIG. 11, the diagnostic server 200 managed and operated by the diagnostic site and the diagnostic server 200 are connected to each other via a network 400 such as an IP network (Internet Protocol), which is a PC terminal on the user side (hospital). A system is constructed by 300. The PC terminal 300 uploads a photographed image of the affected area photographed by the dermoscopy-equipped photographing device (not shown) to the diagnosis server 200 and transmits a diagnosis request. Upon receiving this, the diagnostic server 200 recognizes the captured image as a pattern and classifies the captured image into I, II, and III, as in the case of the diagnostic device 100 described above, and performs structural clarity conversion, blood vessel enhancement conversion, blood vessel fluorescence color conversion, etc. suitable for the classification. The image conversion process of the above is performed, and a diagnostic service is executed in which the obtained processed image is transmitted to the PC terminal 300 that has received the diagnostic request via the network 400. In this case, the user side can automatically obtain a converted image suitable for image analysis and symptom classification with a small amount of resources.

以上の実施形態では、病変の進行度による分類をもとにした例を説明したが、皮膚上に観察されたメラノーマが疑われる病変のパターンによって分類することもできる。メラノーマが疑われる病変を全体的な構築の面から分類した基本的なパターンとしては、次のようなものがある。すなわち、網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、及び非特異的パターンである（出典：「ダーモスコピー超簡単ガイド」、株式会社学研メディカル秀潤社、田中勝著）。 In the above embodiments, an example based on the classification based on the degree of progression of the lesion has been described, but it is also possible to classify according to the pattern of the lesion in which melanoma is suspected observed on the skin. The basic patterns for classifying lesions with suspected melanoma in terms of overall construction include: That is, a net pattern, a small spherical pattern, a paving stone pattern, a uniform pattern, a parallel pattern, a starburst pattern, a multi-construction pattern, and a non-specific pattern (Source: "Dermos Copy Super Easy Guide", Gakken Medical Shujun Co., Ltd. Company, by Masaru Tanaka).

これらは、母斑（色素斑）の状態がどのようになっているかによって分類されるものであり、図１２に示すように、（ａ）網状パターンは色素斑全体が網目（色素ネットワーク）で構成されるパターンを、（ｂ）小球状パターンは色素斑全体が黒色又は茶色、青色の色素小球で構成されるパターンを、（ｃ）敷石状パターンは互いに密接し角張ってみえる色素小球が集蔟して色素斑全体を構成するパターンを、（ｄ）均一パターンは色素斑全体がほとんど無構造で色調の偏りが少ないパターンを、（ｅ）平行パターンは掌蹠の色素斑において皮溝皮丘に沿って平行に配列する線状の分布がみられるパターンを、（ｆ）スターバーストパターンは色素斑が全周性に線条で囲まれるパターンを、（ｇ）多構築パターンは色素斑全体が前述のパターンのうち３つ以上のパターンで不規則に構成されるパターンを、（ｈ）非特異的パターンは色素斑全体に特徴的な構造物がみられず、前述のいずれのパターンにも該当しないパターンを、それぞれ指す。 These are classified according to the state of the mother spot (pigment spot), and as shown in FIG. 12, (a) the net pattern is composed of the entire pigment spot as a mesh (pigment network). The pattern is (b) the small spherical pattern is a pattern in which the entire pigmented spot is composed of black, brown, or blue pigmented globules, and (c) the paving stone-like pattern is a collection of pigmented globules that appear to be in close contact with each other and angular. The pattern that composes the entire pigmented spots by shaving, (d) the uniform pattern is a pattern in which the entire pigmented spots are almost non-structured and there is little color bias, and (e) the parallel pattern is the skin groove skin hill in the pigmented spots of the palms. (F) The star burst pattern is a pattern in which the pigmented spots are surrounded by streaks all around, and (g) the multi-constructed pattern is the entire pigmented spots. Among the above-mentioned patterns, a pattern composed irregularly by three or more patterns, (h) a non-specific pattern does not show a characteristic structure in the entire pigmented spot, and corresponds to any of the above-mentioned patterns. Refers to each pattern that does not.

これらのパターンに応じて撮影画像の画像変換処理を行うことができるが、例えば、網目状パターンについては、病変内部の格子または網目状の形状を浮き立たせるため、網目の態様や間隔を明確に確認する変換を、小球状パターンについては、病変内部の小球（斑点）を浮き立たせ、その配列、個々の大きさの違いを明確にするため、色の変化を抑えた高感度撮影で色のうすい小球も明確に確認する変換を、平行パターンについては、病変内部の平行に走る線形を強調する変換を、スターバーストパターンについては、病変の輪郭を強調するとともに、その外部から延びる繊毛状の形状を明確に変換する必要からエッジ強調と輪郭強調を用いた変換を、それぞれ行えばよい。 Image conversion processing of captured images can be performed according to these patterns. For example, in the case of a mesh pattern, the mode and spacing of the mesh are clearly confirmed in order to make the lattice or mesh shape inside the lesion stand out. For small spherical patterns, the small spheres (spots) inside the lesion are highlighted, and in order to clarify the difference in their arrangement and individual size, the color is thin with high-sensitivity imaging that suppresses color changes. A transformation that clearly confirms the globules, a transformation that emphasizes the parallel running alignment inside the lesion for parallel patterns, and a ciliary shape that emphasizes the contour of the lesion and extends from the outside for the starburst pattern. Since it is necessary to clearly convert the image, conversion using edge enhancement and contour enhancement may be performed respectively.

（実施形態の効果）
以上説明のように、本実施形態に係る診断装置１００によれば、処理部１０１は、分類手段１０１ａが、診断の対象となる患部の撮影画像を病変の進行度又はパターンにより分類することで、分類された分類に対応する画像変換処理を実行する。例えば、進行度が低位の分類に分類された場合、構造明瞭変換処理を実行し、進行度が中位の分類に分類された場合、部位強調変換処理を実行し、進行度が高位の分類に分類された場合、部位蛍光色変換処理を実行することで、病変の種類あるいは進行の度合いによりそれに適した処理画像を得ることができ、したがって、医師の診断を容易にするとともに診断精度の向上がはかれる。なお、ネットワークを利用したシステム構成をとることで、利用者サイドは、少ない資源で診断サービスを享受することができる。 (Effect of embodiment)
As described above, according to the diagnostic apparatus 100 according to the present embodiment, the processing unit 101 classifies the photographed image of the affected area to be diagnosed by the classification means 101a according to the progress or pattern of the lesion. The image conversion process corresponding to the classified classification is executed. For example, if the progress is classified into a low grade, the structure clarity conversion process is executed, and if the progress is classified into a medium grade, the site emphasis conversion process is executed, and the progress is classified into a high grade. When classified, by performing the site fluorescence color conversion treatment, a processed image suitable for the type of lesion or the degree of progression can be obtained, thus facilitating the diagnosis by a doctor and improving the diagnostic accuracy. It is measured. By adopting a system configuration using a network, the user side can enjoy the diagnostic service with a small amount of resources.

以上、各実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態及び実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using each embodiment, it goes without saying that the technical scope of the present invention is not limited to the scope described in the above-described embodiment. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments and examples. Further, it is clear from the description of the scope of claims that such a modified or improved form may be included in the technical scope of the present invention.

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。 The inventions described in the claims originally attached to the application of this application are added below. The claims in the appendix are as specified in the claims originally attached to the application for this application.

［付記］
［請求項１］
患部の撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記患部の撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする診断装置。
［請求項２］
前記画像記憶部は、前記撮影画像を前記分類ごとに記憶しており、
前記分類手段は、前記画像記憶部に記憶された前記撮影画像を参照して、診断の対象となる前記患部の撮影画像を病変の進行度により分類することを特徴とする請求項１に記載の診断装置。
［請求項３］
前記処理部の前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含むことを特徴とする請求項１又は２に記載の診断装置。
［請求項４］
前記分類手段は、前記患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を前記進行度が低位の分類として分類することを特徴とする請求項３に記載の診断装置。
［請求項５］
前記処理部が、
前記構造明瞭変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分とに分離する第１の分離手段と、
前記輝度成分を骨格成分と詳細成分とに分離する第２の分離手段と、
前記骨格成分に対して強調処理を施す強調手段と、
前記強調された骨格成分と前記詳細成分とから輝度を復元し、前記色情報成分を用いて強調画像を生成する生成手段と、を備え、
前記強調手段が、
前記骨格成分を中心値よりも明るく圧縮する第１の強調手段、及び前記骨格成分にシャープネスフィルタ処理を施す第２の強調手段の少なくとも１つを含むことを特徴とする請求項３又は４に記載の診断装置。
［請求項６］
前記構造明瞭変換処理において、前記生成手段が、前記強調された骨格成分と前記詳細成分とを加算して前記輝度を復元し、前記復元された輝度と、第１の色空間の赤系の色相方向と青色の色相方向に応じた前記色情報成分とから第２の色空間に変換して前記強調画像を生成することを特徴とする請求項５に記載の診断装置。
［請求項７］
前記処理部の前記画像変換処理が、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理を含むことを特徴とする請求項１又は２に記載の診断装置。
［請求項８］
前記分類手段は、前記患部がホクロ状であって、部分的に血管で構成されている画像を前記進行度が中位の分類として分類することを特徴とする請求項７に記載の診断装置。
［請求項９］
前記処理部が、
前記部位強調変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第１の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出する第１の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第２の抽出手段の少なくとも１つを含むことを特徴とする請求項７又は８に記載の診断装置。
［請求項１０］
前記部位強調変換処理において、前記第２の抽出手段が色空間の赤系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項９に記載の診断装置。
［請求項１１］
前記処理部の前記画像変換処理が、前記進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含むことを特徴とする請求項１又は２に記載の診断装置。
［請求項１２］
前記分類手段は、前記患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を前記進行度が高位の分類として分類することを特徴とする請求項１１に記載の診断装置。
［請求項１３］
前記処理部が、
前記部位蛍光色変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第１の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出してボトムハット処理を施す第１の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第２の抽出手段の少なくとも１つを含むことを特徴とする請求項１１又は１２に記載の診断装置。
［請求項１４］
前記部位蛍光色変換処理において、前記第２の抽出手段が色空間の緑系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項１３に記載の診断装置。
［請求項１５］
患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
前記撮影画像を記憶するステップと、
記憶された前記撮影画像を処理するステップと、を備え、
前記処理ステップにおいて、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする画像処理方法。
［請求項１６］
患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
コンピュータに、
前記撮影画像を記憶する記憶機能と、
記憶された前記撮影画像を処理する処理機能と、を実行させ、
前記処理機能において、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とするプログラム。 [Additional Notes]
[Claim 1]
It is a diagnostic device for diagnosing lesions using captured images of the affected area.
An image storage unit that stores the captured image and
A processing unit for processing the captured image stored in the image storage unit is provided.
The processing unit
It includes a classification means for classifying the photographed image of the affected area to be diagnosed according to the degree of lesion progression, and is characterized in that a converted image is generated by executing an image conversion process corresponding to the classification classified by the classification means. Diagnostic device to do.
[Claim 2]
The image storage unit stores the captured image for each of the classifications.
The method according to claim 1, wherein the classification means refers to the photographed image stored in the image storage unit and classifies the photographed image of the affected part to be diagnosed according to the degree of progression of the lesion. Diagnostic device.
[Claim 3]
The diagnostic apparatus according to claim 1 or 2, wherein the image conversion process of the processing unit includes a structure clarity conversion process which is an image conversion process corresponding to the classification having a low degree of progress.
[Claim 4]
The diagnostic apparatus according to claim 3, wherein the classification means classifies an image in which the affected area is mole-shaped and is substantially black or brown as the classification having a low degree of progression. ..
[Claim 5]
The processing unit
To execute the structure clarity conversion process
A first separation means for separating the captured image into a luminance component and a color information component,
A second separation means for separating the luminance component into a skeleton component and a detailed component,
An emphasizing means for applying an emphasizing treatment to the skeletal component and
A generation means for restoring brightness from the emphasized skeletal component and the detailed component and generating an emphasized image using the color information component is provided.
The emphasis means
3. Diagnostic device.
[Claim 6]
In the structure clarity conversion process, the generation means adds the emphasized skeleton component and the detailed component to restore the brightness, and the restored brightness and the red hue of the first color space. The diagnostic apparatus according to claim 5, wherein the emphasized image is generated by converting the color information component corresponding to the direction and the hue direction of blue into a second color space.
[Claim 7]
The diagnostic apparatus according to claim 1 or 2, wherein the image conversion process of the processing unit includes a site enhancement conversion process which is an image conversion process corresponding to the classification having a medium degree of progress.
[Claim 8]
The diagnostic apparatus according to claim 7, wherein the classification means classifies an image in which the affected area is mole-shaped and partially composed of blood vessels as the classification having a medium degree of progression.
[Claim 9]
The processing unit
As if to execute the part emphasis conversion process
A first separation means for separating the captured image into a luminance component and a color information component,
It is equipped with an extraction means for extracting the site to be diagnosed.
The extraction means
At least one of the first extraction means for extracting the candidate of the portion by the luminance component and the second extraction means for extracting those characteristics of the moiety by the color space composed of the luminance component and the color information component. The diagnostic apparatus according to claim 7 or 8, wherein the diagnostic apparatus includes one.
[Claim 10]
The diagnostic apparatus according to claim 9, wherein in the site emphasis conversion process, the second extraction means extracts using a color information component corresponding to a red hue direction in a color space.
[Claim 11]
The diagnostic apparatus according to claim 1 or 2, wherein the image conversion process of the processing unit includes a site fluorescence color conversion process which is an image conversion process corresponding to the classification having a high degree of progress.
[Claim 12]
The eleventh claim is characterized in that the classification means classifies an image in which the affected area is mole-shaped and is composed of blood vessels that are reddish as a whole as the classification with a high degree of progression. Diagnostic device.
[Claim 13]
The processing unit
To perform the site fluorescence color conversion process,
A first separation means for separating the captured image into a luminance component and a color information component,
It is equipped with an extraction means for extracting the site to be diagnosed.
The extraction means
A first extraction means for extracting candidates for the portion from the luminance component and performing a bottom hat process, and a color space composed of the luminance component and the color information component for extracting those characteristics of the moiety. The diagnostic apparatus according to claim 11 or 12, wherein the diagnostic apparatus includes at least one of the extraction means of 2.
[Claim 14]
The diagnostic apparatus according to claim 13, wherein in the site fluorescence color conversion process, the second extraction means extracts using a color information component corresponding to the hue direction of the green system in the color space.
[Claim 15]
It is an image processing method in a diagnostic device that diagnoses a lesion using a photographed image of the affected area.
The step of storing the captured image and
A step of processing the stored captured image is provided.
In the processing step
An image processing method characterized in that a photographed image of the affected area to be diagnosed is classified according to the degree of progression of the lesion, and an image conversion process corresponding to the classified classification is executed to generate a converted image.
[Claim 16]
This is an image processing program in a diagnostic device that diagnoses lesions using captured images of the affected area.
On the computer
A memory function for storing the captured image and
To execute the processing function for processing the stored captured image,
In the processing function
A program characterized in that a photographed image of the affected area to be diagnosed is classified according to the degree of progression of the lesion, and an image conversion process corresponding to the classified classification is executed to generate a converted image.

１００…診断装置、１０１…処理部、１０１ａ…分類手段、１０１ｂ…第１の分離手段、１０１ｃ…第２の分離手段、１０１ｄ…強調手段（１０１ｄ−１…第１の強調手段、１０１ｄ−２…第２の強調手段）、１０１ｅ…生成手段、１０１ｆ…抽出手段（１０１ｆ−１…第１の抽出手段、１０１ｆ−２…第２の抽出手段）、１１０…ダーモスコープ付き撮影装置、１２０…表示装置、１２１…撮影画像表示領域、１２２…強調画像表示領域、１３０…入力装置、２００…診断サーバ、３００…ＰＣ端末、４００…ネットワーク 100 ... Diagnostic device, 101 ... Processing unit, 101a ... Classification means, 101b ... First separation means, 101c ... Second separation means, 101d ... Emphasis means (101d-1 ... First emphasis means, 101d-2 ... Second emphasis means), 101e ... Generation means, 101f ... Extraction means (101f-1 ... First extraction means, 101f-2 ... Second extraction means), 110 ... Imaging device with dermoscope, 120 ... Display device, 121 ... Captured image display area, 122 ... Highlighted image display area, 130 ... Input device, 200 ... Diagnostic server, 300 ... PC terminal, 400 ... Network

Claims

An image processing method of the diagnosis support apparatus for supporting a diagnosis of a lesion using a captured image is Damosukopu image of affected skin,
A classification step of classifying the photographed image as a pattern of lesions in a skin affected area suspected of having melanoma based on the state of the nevus (pigmented spot) shown in the photographed image.
A generation step of executing an image conversion process corresponding to the pattern classified by the classification step on the captured image to generate a converted image, and a generation step of generating the converted image.
Image processing method including.

Wherein in the classifying step, the captured image in which the entire pigment spots is captured skin affected area made up of mesh classified as mesh-like pattern,
In the generating step, the captured images classified into the mesh-like pattern, as the image conversion processing corresponding to the mesh-like pattern, performs the conversion process to clarify the aspects and spacing of the mesh, in claim 1 The image processing method described.

Wherein in the classification step classifies the captured image which a linear distribution arranged in parallel along the skin grooves skin hills in the pigment spots of palmoplantar is captured skin affected area seen as a parallel pattern,
In the generating step, the to the classified the captured image parallel pattern, as the image conversion processing corresponding to the parallel pattern, executes emphasize conversion linear running parallel internal lesions, according to claim 1 Image processing method.

Wherein in the classification step classifies the captured image in which the pigment spots is captured skin affected area surrounded by streak the entire circumference of a star burst pattern,
In the generating step, the starburst pattern classified the captured image, as the image conversion processing corresponding to the starburst pattern, using the edge enhancement and edge enhancement, as well as emphasizing the outline of the lesion, ciliary The image processing method according to claim 1, wherein a conversion process for clearly converting the shape of the image is executed.

An image processing method of the diagnosis support apparatus for supporting a diagnosis of a lesion using a captured image is Damosukopu image of affected skin,
The photographed image to be diagnosed is classified according to the degree of progression of the lesion, and the image in which the affected part of the skin is mole-shaped and is substantially black or brown is classified as a low degree of progression. Process and
In the captured image, a generation step of generating a converted image by performing the image conversion processing corresponding to the classified classified by the classification step,
An image processing method including a structure clarity conversion process in which the image conversion process is an image conversion process corresponding to the classification having a low degree of progress.

The structure clarity conversion process
A first separation step of separating the captured image into a luminance component and a color information component,
A second separation step of separating the luminance component into a skeleton component and a detailed component,
Including an emphasis step of applying an emphasis treatment to the skeletal component,
In the generation step, the brightness is restored from the emphasized skeletal component and the detailed component, and an emphasized image is generated using the color information component.
The emphasizing step includes at least one of a first emphasizing step of compressing the skeletal component brighter than the center value and a second emphasizing step of applying a sharpness filter treatment to the skeletal component.
In the generation step, the emphasized skeleton component and the detailed component are added to restore the brightness, and the restored brightness is set to the red hue direction and the blue hue direction of the first color space. The image processing method according to claim 5, wherein the emphasized image is generated by converting the corresponding color information component into a second color space.

An image processing method of the diagnosis support apparatus for supporting a diagnosis of a lesion using a captured image is Damosukopu image of affected skin,
A classification step in which the photographed image to be diagnosed is classified according to the degree of progression of the lesion, and the image in which the affected part of the skin is mole-shaped and partially composed of blood vessels is classified as a medium degree of progression. When,
In the captured image, a generation step of generating a converted image by performing the image conversion processing corresponding to the classified classified in the classification step,
An image processing method, characterized in that the image conversion process includes a site enhancement conversion process, which is an image conversion process corresponding to a classification having a medium degree of progress.

The site emphasis conversion process
The first separation step of separating the captured image into a luminance component and a color information component, and
Including an extraction step of extracting the site to be diagnosed,
The extraction step is a first extraction step of extracting candidates for the portion by the brightness component, and a second extraction step of extracting the portion-likeness of the portion by a color space composed of the brightness component and the color information component. The image processing method according to claim 7, further comprising at least one of the extraction steps of the above.

An image processing method of the diagnosis support apparatus for supporting a diagnosis of a lesion using a captured image is Damosukopu image of affected skin,
The photographed image to be diagnosed is classified according to the degree of progression of the lesion, and the image in which the affected part of the skin is mole-shaped and is composed of reddish blood vessels as a whole is classified as having a high degree of progression. Classification process to classify and
In the captured image, a generation step of generating a converted image by performing the image conversion processing corresponding to the classified classified by the classification step,
An image processing method characterized in that the image conversion process includes a site fluorescence color conversion process, which is an image conversion process corresponding to the classification having a high degree of progress.

The site fluorescence color conversion process
The first separation step of separating the captured image into a luminance component and a color information component, and
Including an extraction step of extracting the site to be diagnosed,
In the extraction step,
A first extraction step in which candidates for the portion are extracted from the luminance component and bottom hat processing is performed, and a color space composed of the luminance component and the color information component is used to extract the site-likeness of the portion. The image processing method according to claim 9, wherein the image processing method includes at least one of the extraction steps of 2.

To the computer of the diagnostic support device that supports the diagnosis of lesions using captured images that are dermoscope images of the affected skin area.
A classification means for classifying the photographed image as a pattern of lesions in a skin affected area suspected of having melanoma based on the state of the nevus (pigmented spot) shown in the photographed image.
A generation means for generating a converted image by executing an image conversion process corresponding to the pattern classified by the classification means on the captured image.
A program that functions as.

It is a diagnostic support device that supports the diagnosis of lesions using captured images that are dermoscope images of affected areas of the skin.
A classification means for classifying the photographed image as a pattern of lesions in a skin affected area suspected of having melanoma based on the state of the nevus (pigmented spot) shown in the photographed image.
A generation means for generating a converted image by executing an image conversion process corresponding to the pattern classified by the classification means on the captured image.
A diagnostic support device characterized by being equipped with.