JP5164127B1 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5164127B1 JP5164127B1 JP2012193185A JP2012193185A JP5164127B1 JP 5164127 B1 JP5164127 B1 JP 5164127B1 JP 2012193185 A JP2012193185 A JP 2012193185A JP 2012193185 A JP2012193185 A JP 2012193185A JP 5164127 B1 JP5164127 B1 JP 5164127B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- type
- learning
- test
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】 画像の複数の領域を識別した結果を検証し評価する。
【解決手段】 学習用画像２０の画像情報を取得する学習用画像読取部１１１と、学習用画像２０の画像情報と登録学習用画像種別４０に基づき識別器情報を決定する識別器情報決定部１１２と、識別器情報に基づき学習用画像２０の画素の種別を識別する学習用画像種別識別部１１３と、学習用画像２０の画素の種別と登録学習用画像種別４０の第１の差分量に基づき目標値を設定する目標値設定部１１４と、テスト用画像３０の画像情報を取得するテスト用画像読取部１１５と、テスト用画像３０の画像情報と識別器情報に基づきテスト用画像３０の画素の種別を識別するテスト用画像種別識別部１１６と、テスト用画像３０の画素の種別と登録テスト用画像種別５０の第２の差分量が、目標値に基づく許容範囲内であるか否かを評価する評価部１１７と、を有してなる。
【選択図】図２
PROBLEM TO BE SOLVED: To verify and evaluate a result of identifying a plurality of regions of an image.
SOLUTION: A learning image reading unit 111 that acquires image information of a learning image 20, and a discriminator information determination unit 112 that determines discriminator information based on the image information of the learning image 20 and a registered learning image type 40. The learning image type identifying unit 113 for identifying the pixel type of the learning image 20 based on the discriminator information, and the first difference amount between the pixel type of the learning image 20 and the registered learning image type 40. A target value setting unit 114 that sets a target value, a test image reading unit 115 that acquires image information of the test image 30, and the pixel information of the test image 30 based on the image information and the discriminator information of the test image 30. A test image type identification unit 116 that identifies the type, and evaluates whether the pixel type of the test image 30 and the second difference amount of the registered test image type 50 are within an allowable range based on the target value. Do And an evaluation unit 117.
[Selection] Figure 2
Description
本発明は、画像を構成する複数の領域を識別する機能を有する画像処理装置と、画像処理方法と、画像処理プログラムに関するものである。 The present invention relates to an image processing apparatus having a function of identifying a plurality of areas constituting an image, an image processing method, and an image processing program.
従来、例えば小腸などの消化器の内壁を画像診断するために消化器内の画像を撮像する内視鏡カプセルのように、撮影対象である画像を読影する者（以下「読影者」ともいう。）が判断するために多数の画像を撮像する技術が知られている。ここで、読影者は、例えば内視鏡カプセルを用いた画像診断の場合には医師である。 Conventionally, a person who interprets an image to be imaged (hereinafter also referred to as “interpreter”), such as an endoscopic capsule that captures an image in the digestive organ in order to image diagnose the inner wall of the digestive organ such as the small intestine. For example, a technique for capturing a large number of images is known. Here, the image interpreter is a doctor in the case of image diagnosis using, for example, an endoscope capsule.
内視鏡カプセルを用いた画像診断では、通常１回の検査で５万枚から１０万枚の画像が撮影される。また、内視鏡カプセルを用いた画像診断は、短時間の間隔で連続して多数の画像が撮影されるため、撮影された画像ごとの変化量は少ない。 In image diagnosis using an endoscopic capsule, 50,000 to 100,000 images are usually taken in one examination. Further, in the image diagnosis using the endoscope capsule, since a large number of images are continuously captured at short intervals, the amount of change for each captured image is small.
ここで、撮影された画像には、診断対象の被写体である消化器の内壁が読影可能な可視領域と、読影不可能な不可視領域との２種類の領域に大別できる。 Here, the captured images can be roughly divided into two types of regions, a visible region where the inner wall of the digestive organ, which is a subject to be diagnosed, can be interpreted, and an invisible region where it cannot be interpreted.
消化器の内壁を診断する医師は、撮影された多数の画像の中から画像診断に使用可能な画像のみを選別する。ここで、画像の選別方法としては、例えば、読影者が、画像を構成する可視領域と不可視領域とを識別して、可視領域を一定比率以上含む画像を画像診断に使用可能な画像として選別する。読影者は、選別した画像診断に使用可能な画像を用いて診断を行う。 A doctor who diagnoses the inner wall of the digestive organ selects only images that can be used for image diagnosis from among a large number of taken images. Here, as an image selection method, for example, an image reader identifies a visible region and an invisible region constituting an image, and selects an image including the visible region at a certain ratio or more as an image usable for image diagnosis. . The image interpreter makes a diagnosis using images that can be used for the selected image diagnosis.
このように、内視鏡カプセルを用いた画像診断では、画像ごとの変化量の少ない膨大な数の画像の中から、読影者が画像診断に使用可能な画像を選別して読影しなければならず、読影者の負担が極めて大きい。そのため、内視鏡カプセルを用いた画像診断では、読影者の負担軽減を目的としたコンピュータ支援システムが導入されている。 Thus, in image diagnosis using an endoscopic capsule, an interpreter must select and interpret an image that can be used for image diagnosis from an enormous number of images with little change for each image. Therefore, the burden on the reader is extremely large. For this reason, in image diagnosis using an endoscope capsule, a computer support system for reducing the burden on the reader is introduced.
これまでにも、撮影された多数の画像を観察する読影者の負荷を軽減するための技術として、画像を構成する複数の領域のうち特定の領域を識別して表示する技術が知られている（例えば、特許文献１参照）。 To date, a technique for identifying and displaying a specific area among a plurality of areas constituting an image is known as a technique for reducing the load on an image reader who observes a large number of captured images. (For example, refer to Patent Document 1).
また、撮影された多数の画像を観察する読影者の負荷を軽減する他の技術として、複数の画像の中から画像から算出される特徴量などに基づいて代表の画像を表示する技術が知られている（例えば、特許文献２参照）。 In addition, as another technique for reducing the burden on the reader who observes a large number of captured images, a technique for displaying a representative image based on a feature amount calculated from an image from a plurality of images is known. (For example, refer to Patent Document 2).
しかしながら、上述した特許文献１や２の技術によれば、読影者に代わりコンピュータが画像を構成する複数の領域のうち特定の領域（読影可能な領域）を識別して識別結果を表示するものの、表示された識別結果が読影者の識別基準（読影基準）と同等、つまり、読影者が読影可能であると識別した場合の識別結果と同程度（同等）となるか否かを検証しその結果を評価することは考慮されていない。 However, according to the techniques of Patent Documents 1 and 2 described above, the computer identifies a specific area (interpretable area) among a plurality of areas constituting the image on behalf of the image reader, and displays the identification result. Verify whether the displayed identification result is equivalent to the reader's identification standard (interpretation standard), that is, whether it is the same level (equivalent) as the identification result when the interpreter identifies it as interpretable Is not considered.
ここで、例えば医療の分野では、コンピュータは読影者である医師の作業を支援するだけであり、画像を用いて診断することができるのは医師のみである。つまり、コンピュータが読影者に代わって読影可能と識別された識別結果が、読影者が識別した場合の結果と同等であることが保証されることで、初めてコンピュータによる識別結果を用いた読影者の作業支援が達成され得る。 Here, for example, in the medical field, the computer only supports the work of a doctor who is an interpreter, and only a doctor can make a diagnosis using an image. In other words, it is ensured that the identification result that the computer has identified as interpretable on behalf of the interpreter is equivalent to the result of the interpretation by the interpreter, and for the first time, Work support can be achieved.
本発明は上記の課題に鑑みてなされたものであって、画像を構成する複数の領域のコンピュータによる識別結果が、その画像を読影する読影者が識別した識別結果と同等であるか否かを評価することができる画像処理装置と画像処理方法と画像処理プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and it is determined whether or not the identification results by a computer of a plurality of areas constituting an image are equivalent to the identification results identified by the interpreter who interprets the image. An object is to provide an image processing apparatus, an image processing method, and an image processing program that can be evaluated.
本発明は、学習用画像と、学習用画像を構成する画素ごとの種別を示す登録学習用画像種別と、テスト用画像と、テスト用画像を構成する画素ごとの種別を示す登録テスト用画像種別と、が記憶されている記憶部と、学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取部と、学習用画像を構成する画素ごとの画像情報と登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定部と、識別器情報に基づいて、学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別部と、識別された学習用画像を構成する画素ごとの種別と登録学習用画像種別との差分量である第１の差分量を算出し、第１の差分量に基づいて目標値を設定する目標値設定部と、テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取部と、テスト用画像を構成する画素ごとの画像情報と識別器情報とに基づいて、テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別部と、識別されたテスト用画像を構成する画素ごとの種別と登録テスト用画像種別との差分量である第２の差分量を算出し、第２の差分量が、目標値に基づいて決定される許容範囲内であるか否かを評価する評価部と、を有してなることを特徴とする。 The present invention relates to a learning image, a registered learning image type indicating a type for each pixel constituting the learning image, a test image, and a registered test image type indicating a type for each pixel constituting the test image. Are stored, a learning image reading unit for acquiring image information for each pixel constituting the learning image, image information for each pixel constituting the learning image, and a registered learning image type, A classifier information determination unit for determining classifier information for identifying the type of each pixel based on the learning class, and a learning image type for identifying the type of each pixel constituting the learning image based on the classifier information A first difference amount that is a difference amount between the identification unit and the type of each pixel constituting the identified learning image and the registered learning image type is calculated, and a target value is set based on the first difference amount Target value setting section and test image A test image reading unit for acquiring image information for each pixel to be tested, and a test for identifying the type of each pixel constituting the test image based on the image information and the identifier information for each pixel constituting the test image A second difference amount that is a difference amount between the image type identifying unit, the type of each pixel constituting the identified test image, and the registered test image type, and the second difference amount is a target value And an evaluation unit that evaluates whether or not the allowable range is determined based on the above.
本発明によれば、画像を構成する複数の領域のコンピュータによる識別結果が、その画像を読影する読影者が識別した場合の識別結果と同等であるか否かを評価することができる。 According to the present invention, it is possible to evaluate whether or not the identification result by the computer of a plurality of areas constituting the image is equivalent to the identification result when the image interpreter who interprets the image identifies.
以下、本発明に係る画像処理装置と画像処理方法と画像処理プログラムの実施の形態について、図面を参照しながら説明する。 Embodiments of an image processing apparatus, an image processing method, and an image processing program according to the present invention will be described below with reference to the drawings.
なお、以下に説明する画像処理装置は、処理対象画像の一例である内視鏡カプセルにより撮影された膨大な数の画像について、画像内の注目領域と非注目領域とを識別器（画像処理プログラム）により識別する。そして、画像処理装置は、その識別結果が読影者の一例である医師が読影した場合の識別結果と同等であるか否かを評価する。 Note that an image processing apparatus described below recognizes a region of interest and a region of no interest in an image with respect to an enormous number of images captured by an endoscope capsule, which is an example of a processing target image. ) To identify. Then, the image processing apparatus evaluates whether or not the identification result is equivalent to the identification result when the doctor who is an example of the interpreter interprets.
つまり、本発明に係る画像処理装置は、所定の識別器による処理対象画像の識別結果が所定の読影者が同じ処理対象画像を読影した場合の識別結果と同等であると評価を行うことで、これから処理される処理対象画像に対して、その識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。 That is, the image processing apparatus according to the present invention evaluates that the identification result of the processing target image by the predetermined discriminator is equivalent to the identification result when the predetermined reader interprets the same processing target image, It can be assured that the classifier can perform the identification process as a proxy for the interpretation by the image reader for the processing target image to be processed.
ここで、処理対象画像とは、画像処理装置による識別処理の対象となる画像であって、複数の画素から構成される。処理対象画像を構成する各画素は、注目領域と非注目領域のいずれかに属する。注目領域とは、例えば腸壁を視認することができる可視領域など、処理対象画像における注目すべき領域である。また、非注目領域とは、処理対象画像における注目領域以外の領域である。なお、以下の説明における、画素の種別とは、処理対象画像を構成する各画素が複数の領域（例：注目領域や非注目領域）のいずれに属する画素であるかを示す情報である。 Here, the processing target image is an image to be subjected to identification processing by the image processing apparatus, and includes a plurality of pixels. Each pixel constituting the processing target image belongs to either the attention area or the non-attention area. The attention area is an area to be noted in the processing target image, such as a visible area where the intestinal wall can be visually recognized. The non-attention area is an area other than the attention area in the processing target image. In the following description, the type of pixel is information indicating which of the plurality of areas (eg, attention area or non-attention area) each pixel constituting the processing target image belongs to.
図１は、画像処理装置が処理する画像データ（処理対象画像）の一例としての、内視鏡カプセルによる撮影画像の一例である。 FIG. 1 is an example of an image captured by an endoscope capsule as an example of image data (processing target image) processed by the image processing apparatus.
撮影画像１０には、注目領域が読影可能（可視領域）な腸壁１１、腸壁が読影できない不可視領域１２や気泡１３などの非注目領域が含まれる。また、撮影画像には、撮影開始からの経過時間を表示する撮影時間表示１４が含まれる。 The captured image 10 includes an intestinal wall 11 in which the region of interest can be interpreted (visible region), and an invisible region 12 such as an invisible region 12 and a bubble 13 in which the intestinal wall cannot be interpreted. In addition, the captured image includes a capturing time display 14 that displays an elapsed time from the start of capturing.
●画像処理装置の構成●
図２は、本発明に係る画像処理装置の実施の形態を示すブロック図である。画像処理装置１００は、記憶部１１０、学習用画像読取部１１１、識別器情報決定部１１２、学習用画像種別識別部１１３、目標値設定部１１４を有する。
● Configuration of image processing device ●
FIG. 2 is a block diagram showing an embodiment of an image processing apparatus according to the present invention. The image processing apparatus 100 includes a storage unit 110, a learning image reading unit 111, a discriminator information determination unit 112, a learning image type identification unit 113, and a target value setting unit 114.
また、画像処理装置１００は、テスト用画像読取部１１５、テスト用画像種別識別部１１６、評価部１１７を有する。 The image processing apparatus 100 includes a test image reading unit 115, a test image type identification unit 116, and an evaluation unit 117.
さらに、画像処理装置１００は、表示部１１８、操作部１１９、修正部１２０、登録学習用画像種別特定部１２１、登録テスト用画像種別特定部１２２を有する。 The image processing apparatus 100 further includes a display unit 118, an operation unit 119, a correction unit 120, a registration learning image type specification unit 121, and a registration test image type specification unit 122.
ここで、画像処理装置１００は、各種コンピュータに本発明に係る画像処理プログラムを実行させることにより実現される。つまり、各種コンピュータにおいて、不図示のＲＯＭ（Read Only Memory）に格納される画像処理プログラムを不図示のプロセッサに実行させることで、後述する本発明に係る画像処理方法を実行する画像処理装置１００が実現される。 Here, the image processing apparatus 100 is realized by causing various computers to execute the image processing program according to the present invention. That is, in various computers, the image processing apparatus 100 that executes an image processing method according to the present invention described later by causing an unillustrated processor to execute an image processing program stored in an unillustrated ROM (Read Only Memory). Realized.
図３は、画像処理装置による画像処理を示すフローチャートである。画像処理装置１００は、本発明の画像処理方法における、目標値算出処理（Ｓ１００）と評価処理（Ｓ２００）とを実行する。 FIG. 3 is a flowchart showing image processing by the image processing apparatus. The image processing apparatus 100 executes target value calculation processing (S100) and evaluation processing (S200) in the image processing method of the present invention.
目標値算出処理は、学習用画像読取部１１１と識別器情報決定部１１２と学習用画像種別識別部１１３と目標値設定部１１４により行われる、識別結果の評価を行うための目標値を算出する処理である。 In the target value calculation process, a target value for evaluating the identification result, which is performed by the learning image reading unit 111, the classifier information determination unit 112, the learning image type identification unit 113, and the target value setting unit 114, is calculated. It is processing.
また、評価処理は、テスト用画像読取部１１５とテスト用画像種別識別部１１６と評価部１１７により行われる、算出した目標値によって識別結果の評価を行う処理である。 The evaluation process is a process for evaluating the identification result based on the calculated target value, which is performed by the test image reading unit 115, the test image type identification unit 116, and the evaluation unit 117.
記憶部１１０には、学習用画像２０と、テスト用画像３０と、登録学習用画像種別４０と、登録テスト用画像種別５０と、が記憶されている。 The storage unit 110 stores a learning image 20, a test image 30, a registered learning image type 40, and a registered test image type 50.
ここで、学習用画像２０とは、識別結果の評価を行うための目標値の設定に用いられる処理対象画像である。また、登録学習用画像種別４０とは、学習用画像２０を構成する画素のうち、学習用画像２０を読影者が読影して注目領域であると特定した領域を構成する画素ごとの種別である。また、テスト用画像３０とは、上述のように設定された目標値に基づいて、識別結果の評価処理に用いられる処理対象画像である。さらに、登録テスト用画像種別５０とは、テスト用画像３０を構成する画素のうち、テスト用画像３０を読影者が読影して注目領域であると特定した領域を構成する画素ごとの種別である。 Here, the learning image 20 is a processing target image used for setting a target value for evaluating the identification result. In addition, the registered learning image type 40 is a type for each pixel that constitutes an area in which the image reader 20 interprets the learning image 20 and is identified as the attention area among the pixels constituting the learning image 20. . The test image 30 is a processing target image used for the identification result evaluation process based on the target value set as described above. Furthermore, the registered test image type 50 is a type for each pixel that constitutes an area that is identified as a region of interest by the image interpreter interpreting the test image 30 among the pixels constituting the test image 30. .
なお、登録学習用画像種別４０と登録テスト用画像種別５０には、それぞれ特定種別を含む複数の種別がある。特定種別とは、学習用画像２０とテスト用画像３０を構成する画素が注目領域に対応する画素であるか否かを示す情報である。 The registered learning image type 40 and the registered test image type 50 include a plurality of types including a specific type. The specific type is information indicating whether or not the pixels constituting the learning image 20 and the test image 30 are pixels corresponding to the attention area.
学習用画像読取部１１１は、記憶部１１０に記憶されている学習用画像２０を構成する画素ごとの画像情報を取得する。ここで、画像情報とは、処理対象画像を構成する画素の特性を特定する情報であって、例えば画素値である。 The learning image reading unit 111 acquires image information for each pixel constituting the learning image 20 stored in the storage unit 110. Here, the image information is information for specifying the characteristics of the pixels constituting the processing target image, and is, for example, a pixel value.
識別器情報決定部１１２は、学習用画像２０を構成する画素ごとの画像情報と登録学習用画像種別４０とに基づいて、画素ごとに注目領域であるか否かの種別を識別するための識別器情報を決定する。 The discriminator information determination unit 112 is an identification for identifying the type of whether or not it is a region of interest for each pixel based on the image information for each pixel constituting the learning image 20 and the registered learning image type 40. Determine vessel information.
ここで、識別器情報とは、識別器を構築するために必要な情報である。つまり、識別器情報とは、識別器を定めるパラメータであり、学習用画像２０を用いて推定される情報である。識別器情報としては、例えば画素値から推定される平均ベクトルと共分散行列が挙げられる。 Here, the discriminator information is information necessary for constructing the discriminator. That is, the discriminator information is a parameter that determines the discriminator, and is information estimated using the learning image 20. Examples of the discriminator information include an average vector and a covariance matrix estimated from pixel values.
また、識別器とは、所定の画像を構成する画素を、識別器情報に基づいてその画素が属する画素の種別（クラス）に対応付ける機能を有するソフトウェアである。本発明において、学習用画像種別識別部１１３とテスト用画像種別識別部１１６が、識別器に相当する。 The classifier is software having a function of associating a pixel constituting a predetermined image with a type (class) of a pixel to which the pixel belongs based on the classifier information. In the present invention, the learning image type identifying unit 113 and the test image type identifying unit 116 correspond to a classifier.
なお、識別器としてはBayes二次識別器あるいはFisher線形識別器など、様々な種類のものを用いることができる。また、画像から抽出される特徴についても、本実施の形態ではＲＧＢ（Red Green Blue）の値を用いているが、ＨＳＶ（Hue Saturation Value）など、適宜適切な特徴を用いることができる。 As the classifier, various types such as a Bayes secondary classifier or a Fisher linear classifier can be used. As for the features extracted from the image, RGB (Red Green Blue) values are used in the present embodiment, but appropriate features such as HSV (Hue Saturation Value) can be used as appropriate.
学習用画像種別識別部１１３は、決定された識別器情報に基づいて所定枚数の学習用画像２０を構成する画素についてその画素が属する種別に対応付けて識別処理を行う。 Based on the determined classifier information, the learning image type identification unit 113 performs identification processing in association with the type to which the pixel belongs for the pixels constituting the predetermined number of learning images 20.
目標値設定部１１４は、学習用画像種別識別部１１３により識別された学習用画像２０を構成する画素ごとの種別と登録学習用画像種別４０との差分量である第１の差分量を算出する。そして、目標値設定部１１４は、算出した第１の差分量に基づいて目標値を設定する。 The target value setting unit 114 calculates a first difference amount that is a difference amount between the type of each pixel constituting the learning image 20 identified by the learning image type identifying unit 113 and the registered learning image type 40. . Then, the target value setting unit 114 sets a target value based on the calculated first difference amount.
テスト用画像読取部１１５は、テスト用画像３０を構成する画素ごとの画像情報を取得する。取得された画像情報は、テスト用画像種別識別部１１６に送られる。 The test image reading unit 115 acquires image information for each pixel constituting the test image 30. The acquired image information is sent to the test image type identification unit 116.
テスト用画像種別識別部１１６は、テスト用画像３０を構成する画素ごとの画像情報と識別器情報決定部１１２で決定された識別器情報とに基づいて、テスト用画像３０を構成する画素ごとの種別を識別する。 The test image type identification unit 116 is configured for each pixel constituting the test image 30 based on the image information for each pixel constituting the test image 30 and the classifier information determined by the classifier information determination unit 112. Identify the type.
評価部１１７は、テスト用画像種別識別部１１６により識別されたテスト用画像３０を構成する画素ごとの種別と、登録テスト用画像種別５０との差分量である第２の差分量を算出する。そして、評価部１１７は、第２の差分量が、目標値に基づいて決定される許容範囲内であるか否かを評価する。 The evaluation unit 117 calculates a second difference amount that is a difference amount between the type of each pixel constituting the test image 30 identified by the test image type identification unit 116 and the registered test image type 50. Then, the evaluation unit 117 evaluates whether or not the second difference amount is within an allowable range determined based on the target value.
表示部１１８は、記憶部１１０に記憶されている学習用画像２０やテスト用画像３０を表示する。表示部１１８の一例としては、一般に用いられる液晶ディスプレイなどの各種表示装置が挙げられる。 The display unit 118 displays the learning image 20 and the test image 30 stored in the storage unit 110. Examples of the display unit 118 include various display devices such as a commonly used liquid crystal display.
ここで、表示部１１８は、学習用画像２０やテスト用画像３０を構成する画素ごとの種別を学習用画像２０やテスト用画像３０に重畳して表示することができる。また、表示部１１８は、学習用画像２０やテスト用画像３０を構成する画素ごとの種別と、登録学習用画像種別４０や登録テスト用画像種別５０との差異を読影者が視認可能に表示することもできる。 Here, the display unit 118 can superimpose and display the type of each pixel constituting the learning image 20 or the test image 30 on the learning image 20 or the test image 30. Further, the display unit 118 displays the difference between the type of each pixel constituting the learning image 20 or the test image 30 and the registered learning image type 40 or the registered test image type 50 so that the reader can visually recognize the difference. You can also.
操作部１１９は、読影者が画像処理装置１００を操作するためのものである。操作部１１９の一例としては、マウス、タッチパネル、タッチペン、ジョイスティック、あるいはトラックボールなどのポインティングデバイス、あるいはキーボードなどの各種入力装置が挙げられる。読影者は、例えば、表示部１１８に表示された学習用画像２０を確認しつつ操作部１１９を操作して、目標値設定部１１４が目標値を設定するために必要な情報を入力する。 The operation unit 119 is for an image interpreter to operate the image processing apparatus 100. Examples of the operation unit 119 include a pointing device such as a mouse, a touch panel, a touch pen, a joystick, or a trackball, or various input devices such as a keyboard. For example, the radiogram interpreter operates the operation unit 119 while confirming the learning image 20 displayed on the display unit 118, and inputs information necessary for the target value setting unit 114 to set the target value.
修正部１２０は、第１の差分量や第２の差分量に基づいて、識別器情報決定部１１２で用いる識別器情報の修正を行う。ここで、識別器情報の修正とは、識別結果と差分量が所定の範囲内の値にない場合などに、識別器を定めるパラメータを修正することをいう。 The correcting unit 120 corrects the discriminator information used in the discriminator information determining unit 112 based on the first difference amount and the second difference amount. Here, the correction of the discriminator information means correction of a parameter for determining the discriminator when the discrimination result and the difference amount are not within a predetermined range.
登録学習用画像種別特定部１２１は、記憶部１１０に記憶される登録学習用画像種別４０を特定する。登録学習用画像種別特定部１２１は、表示部１１８が学習用画像２０を表示している状態で操作部１１９が操作されたときに、操作部１１９の操作内容に基づいて登録学習用画像種別４０を特定する。特定された登録学習用画像種別４０は、記憶部１１０に記憶される。 The registered learning image type identification unit 121 identifies the registered learning image type 40 stored in the storage unit 110. When the operation unit 119 is operated in a state where the display unit 118 displays the learning image 20, the registered learning image type specifying unit 121 registers the registered learning image type 40 based on the operation content of the operation unit 119. Is identified. The specified registration learning image type 40 is stored in the storage unit 110.
登録テスト用画像種別特定部１２２は、記憶部１１０に記憶される登録テスト用画像種別５０を特定する。登録テスト用画像種別特定部１２２は、表示部１１８がテスト用画像３０を表示している状態で操作部１１９が操作されたときに、操作部１１９の操作内容に基づいて登録テスト用画像種別５０を特定する。特定された登録テスト用画像種別５０は、記憶部１１０に記憶される。 The registered test image type identification unit 122 identifies the registered test image type 50 stored in the storage unit 110. When the operation unit 119 is operated in a state where the display unit 118 displays the test image 30, the registered test image type specifying unit 122 registers the registered test image type 50 based on the operation content of the operation unit 119. Is identified. The specified registration test image type 50 is stored in the storage unit 110.
●目標値算出処理●
次に、画像処理装置１００による目標値算出処理について説明する。
● Target value calculation processing ●
Next, target value calculation processing by the image processing apparatus 100 will be described.
図４は、画像処理装置１００による目標値算出処理を示すフローチャートである。 FIG. 4 is a flowchart showing target value calculation processing by the image processing apparatus 100.
学習用画像読取部１１１は、識別器情報に相当する可視領域あるいは不可視領域の平均ベクトルと共分散行列を推定するために、記憶部１１０に記憶されている全ての学習用画像の画像情報を取得する（Ｓ１０１）。 The learning image reading unit 111 acquires image information of all learning images stored in the storage unit 110 in order to estimate the average vector and covariance matrix of the visible region or invisible region corresponding to the classifier information. (S101).
図５は、目標値算出処理で用いる学習用画像のうち、読影者による正解を表示した学習用画像の一例である。正解を表示した学習用画像（以下「正解表示学習用画像」という。）２１には、注目領域に対応する可視領域２０１と非注目領域に対応する不可視領域２０２との境界に、読影者である医師により境界線２０３が引かれている。境界線２０３は、医師が操作部１１９を操作して表示部１１８に表示された学習用画像２０を確認しながら可視領域２０１と不可視領域２０２との境界に引かれたものである。このとき、登録学習用画像種別特定部１２１は、操作部１１９の操作内容に基づいて例えば可視領域２０１を構成する画素（つまり可視領域内の画素）の種別を登録学習用画像種別４０として記憶部１１０に記憶する。 FIG. 5 is an example of a learning image displaying a correct answer by a radiogram interpreter among learning images used in the target value calculation process. The learning image 21 (hereinafter referred to as “correct answer display learning image”) 21 displaying the correct answer is an interpreter at the boundary between the visible area 201 corresponding to the attention area and the invisible area 202 corresponding to the non-attention area. A boundary line 203 is drawn by the doctor. The boundary line 203 is drawn on the boundary between the visible region 201 and the invisible region 202 while the doctor operates the operation unit 119 to check the learning image 20 displayed on the display unit 118. At this time, the registration learning image type specifying unit 121 stores, for example, the type of the pixels constituting the visible region 201 (that is, the pixels in the visible region) as the registered learning image type 40 based on the operation content of the operation unit 119. 110.
なお、学習用画像読取部１１１は、不可視領域を構成する画素についても、画素値を取得して記憶部１１０に記憶させてもよい。 Note that the learning image reading unit 111 may acquire a pixel value and store the pixel value in the storage unit 110 for the pixels forming the invisible region.
学習用画像読取部１１１は、記憶部１１０に記憶されている全ての学習用画像の画像情報として、登録学習用画像種別４０の画素値を取得する。 The learning image reading unit 111 acquires pixel values of the registered learning image type 40 as image information of all the learning images stored in the storage unit 110.
図６は、記憶部１１０内の学習用画像２０を格納するデータベースの模式図である。学習用画像２０を格納するデータベースには、複数の学習用画像２０について、それぞれの学習用画像２０ごとに境界線２０３内の可視領域２０１（可視領域Ｒ１）が格納されている。 FIG. 6 is a schematic diagram of a database that stores the learning image 20 in the storage unit 110. In the database storing the learning images 20, for each of the plurality of learning images 20, a visible region 201 (visible region R <b> 1) within the boundary line 203 is stored for each learning image 20.
識別器情報決定部１１２は、取得された全学習用画像の画像情報から識別器情報を決定する（Ｓ１０２）。具体的には、識別器情報決定部１１２は、取得された学習用画像の画素を３次元ベクトルで表現して、可視領域の平均ベクトルと共分散行列を推定する。同様に、識別器情報決定部１１２は、不可視領域の平均ベクトルと共分散行列についても推定してもよい。 The discriminator information determination unit 112 determines discriminator information from the acquired image information of all learning images (S102). Specifically, the discriminator information determination unit 112 expresses the pixels of the acquired learning image as a three-dimensional vector, and estimates the average vector and covariance matrix of the visible region. Similarly, the discriminator information determination unit 112 may also estimate the average vector and covariance matrix of the invisible region.
そして、識別器情報決定部１１２は、推定されたこれらの平均ベクトルと共分散行列とをあらかじめ選択した所定の識別器の式に代入する。 Then, the discriminator information determination unit 112 substitutes these estimated average vector and covariance matrix into the formula of a predetermined discriminator selected in advance.
図７は、学習用画像のうち、読影者による正解を表示していない学習用画像２０の一例である。学習用画像２０には、正解表示学習用画像２１と同様に注目領域に対応する可視領域２１１と非注目領域に対応する不可視領域２１２が含まれる。識別器情報の決定後、学習用画像読取部１１１は、学習用画像２０の画像情報として、画素値を取得する（Ｓ１０３）。 FIG. 7 is an example of the learning image 20 that does not display the correct answer by the radiogram interpreter among the learning images. Similar to the correct display learning image 21, the learning image 20 includes a visible region 211 corresponding to the attention region and an invisible region 212 corresponding to the non-attention region. After determining the discriminator information, the learning image reading unit 111 acquires a pixel value as the image information of the learning image 20 (S103).
学習用画像種別識別部１１３は、識別器情報決定部１１２により決定した識別器情報（平均ベクトルと共分散行列）に基づいて、識別器を用いて学習用画像２０を構成する画素ごとの種別を識別する（Ｓ１０４）。 The learning image type identification unit 113 determines the type of each pixel constituting the learning image 20 using the classifier based on the classifier information (average vector and covariance matrix) determined by the classifier information determination unit 112. Identify (S104).
図８は、学習用画像２０の可視領域２１１と不可視領域２１２とを構成する画素ごとに種別を与え、それを１と０とで表示した様子を示す模式図である。多数の画素により構成される学習用画像２０の領域２１０には、可視領域２１１を構成する特定種別画素２１０ａと不可視領域２１２を構成する非特定種別画素２１０ｂとが含まれる。ここで、特定種別画素２１０ａには特定種別であることを示す「１」の値が、非特定種別画素２１０ｂには特定種別ではない（非特定種別である）ことを示す「０」の値が付される。 FIG. 8 is a schematic diagram showing a state in which a type is assigned to each pixel constituting the visible region 211 and the invisible region 212 of the learning image 20 and displayed as 1 and 0. The area 210 of the learning image 20 including a large number of pixels includes a specific type pixel 210 a that forms the visible area 211 and a non-specific type pixel 210 b that forms the invisible area 212. Here, the value “1” indicating that the specific type pixel 210a is a specific type, and the value “0” indicating that the non-specific type pixel 210b is not a specific type (non-specific type). Attached.
表示部１１８は、以上のように識別された学習用画像２０を構成する画素ごとの種別と、登録学習用画像種別４０との差異を視認可能に表示する。 The display unit 118 displays the difference between the type of each pixel constituting the learning image 20 identified as described above and the registered learning image type 40 so as to be visible.
学習用画像２０を構成する画素ごとの種別が識別された後、目標値設定部１１４は、学習用画像２０を構成する画素ごとの種別と登録学習用画像種別４０との差分量である第１の差分量Ｓ１を算出する（Ｓ１０５）。 After the type for each pixel constituting the learning image 20 is identified, the target value setting unit 114 is the first difference amount between the type for each pixel constituting the learning image 20 and the registered learning image type 40. Is calculated (S105).
図９は、読影者である医師が定義した可視領域Ｒ１と学習用画像種別識別部１１３が識別した可視領域Ｒ２との関係を示す模式図である。ここで、可視領域Ｒ１は、図５に示す学習用画像２０において境界線２０３により境界が設けられた可視領域２０１の領域である。また、可視領域Ｒ２は、図８に示す学習用画像２０において可視領域２１１とされた領域である。 FIG. 9 is a schematic diagram showing the relationship between the visible region R1 defined by the doctor who is the interpreter and the visible region R2 identified by the learning image type identifying unit 113. Here, the visible region R1 is a region of the visible region 201 in which a boundary is provided by the boundary line 203 in the learning image 20 illustrated in FIG. Further, the visible region R2 is a region designated as the visible region 211 in the learning image 20 shown in FIG.
本発明において、一例として差分量Ｓ＝Ｓ（Ｒ１，Ｒ２）は、図９に示す領域ＡとＢを用いて以下の式（１）から算出される。 In the present invention, as an example, the difference amount S = S (R1, R2) is calculated from the following equation (1) using the regions A and B shown in FIG.
式（１）において、差分量Ｓは、Ｒ１とＲ２の不一致率を示す。つまり、式（１）によれば、Ｓの値が小さいほどＲ１とＲ２は重なっていると評価できる。そのため、本発明において、Ｓの値が小さくなることが望ましい。 In the equation (1), the difference amount S indicates a mismatch rate between R1 and R2. That is, according to Expression (1), it can be evaluated that R1 and R2 overlap each other as the value of S is smaller. Therefore, in the present invention, it is desirable that the value of S is small.
なお、本実施の形態では、式（１）の差分量を用いているが、適宜適切な差分量を用いることもできる。 In the present embodiment, the difference amount of Expression (1) is used, but an appropriate difference amount can be used as appropriate.
図１０は、複数の学習用画像２０ごとのＲ１（ｉ）とＲ２（ｉ）と差分量Ｓｉの関係を示す図である。記憶部１１０には、記憶される学習用画像２０に対応付けて、Ｒ１（ｉ）、Ｒ２（ｉ）、Ｓｉが記憶されている。 FIG. 10 is a diagram illustrating a relationship between R1 (i) and R2 (i) and the difference amount Si for each of the plurality of learning images 20. The storage unit 110 stores R1 (i), R2 (i), and Si in association with the stored learning image 20.
ここで、差分量Ｓ１，Ｓ２，・・・，Ｓｎの平均値Ｓ１ａは、以下の式（２）から算出される。 Here, the difference amount S 1, S 2, · · ·, average S1a of S n is calculated from the following equation (2).
目標値設定部１１４は、平均値Ｓ１ａの算出に必要な全ての学習用画像２０の識別処理が完了したか否かを確認する（Ｓ１０６）。全ての学習用画像２０の識別が完了していない場合には（Ｓ１０６：Ｎｏ）、Ｓ１０３〜Ｓ１０５までの処理を繰り返す。 The target value setting unit 114 checks whether or not the identification processing of all the learning images 20 necessary for calculating the average value S1a has been completed (S106). When identification of all the learning images 20 is not completed (S106: No), the processing from S103 to S105 is repeated.
一方、全ての学習用画像２０の識別処理が完了している場合には（Ｓ１０６：Ｙｅｓ）、目標値設定部１１４は、Ｓ１０７以降の処理を行う。 On the other hand, when the identification processing of all the learning images 20 has been completed (S106: Yes), the target value setting unit 114 performs the processing after S107.
全ての学習用画像２０の識別処理が完了した後、目標値設定部１１４は、識別処理を行った学習用画像２０を構成する画素ごとの種別と登録学習用画像種別４０との差分量である第１の差分量Ｓ１の平均値Ｓ１ａに基づいて目標値μ０を設定する。本発明において、読影者（医師）が画像レベルで目視により読影者自身とコンピュータの識別結果が一致していると判断したとき、学習用画像２０に対するＳ１の平均値Ｓ１ａを目標値μ０として表す。このとき、目標値設定部１１４は、表示部１１８に表示された後に操作部１１９が操作されたときに目標値μ０を設定してもよい。また、識別した学習用画像２０が複数ではない場合には、第１の差分量Ｓ１に基づいて目標値μ０を設定してもよい。 After the identification processing of all the learning images 20 is completed, the target value setting unit 114 is the difference amount between the type for each pixel constituting the learning image 20 subjected to the identification processing and the registered learning image type 40. A target value μ 0 is set based on the average value S1a of the first difference amount S1. In the present invention, when the image interpreter (doctor) visually determines that the image reader and the computer identification result coincide with each other at the image level, the average value S1a of S1 for the learning image 20 is expressed as the target value μ 0. . At this time, the target value setting unit 114 may set the target value μ 0 when the operation unit 119 is operated after being displayed on the display unit 118. When there are not a plurality of identified learning images 20, the target value μ0 may be set based on the first difference amount S1.
第１の差分量Ｓ１の平均値Ｓ１ａの算出後、目標値設定部１１４は、平均値Ｓ１ａに基づいて目標値μ０の設定を行う（Ｓ１０８）。目標値μ０の設定処理後、画像処理装置１００は、目標値算出処理を終了する。 After calculating the average value S1a of the first difference amount S1, the target value setting unit 114 sets the target value μ 0 based on the average value S1a (S108). After the target value μ 0 setting process, the image processing apparatus 100 ends the target value calculation process.
なお、識別処理を行った学習用画像２０により算出された第１の差分量Ｓ１の結果が所望の結果に至っていないと読影者が判断したときには、修正部１２０により識別器情報を修正することができる。 When the interpreter determines that the result of the first difference amount S1 calculated from the learning image 20 subjected to the identification process has not reached the desired result, the corrector 120 can correct the classifier information. it can.
●評価方法●
次に、テスト用画像を用いて、本発明における読影者とコンピュータとの同等性の考え方について説明する。
● Evaluation method ●
Next, the concept of equivalence between a radiogram interpreter and a computer in the present invention will be described using test images.
平均値μ，分散σ２の任意の母集団からＳ１，Ｓ２，…，Ｓｎが抽出されたと仮定する。このとき、nの値が十分に大きければ、たとえＳ１，Ｓ２，…，Ｓｎが任意の母集団から抽出されても、中心極限定理により一般論としてＳの平均値は正規分布Ｎ（μ，σ２／ｎ）に従う。本発明ではテスト用画像に対するＳ２の平均値としてＳ２ａを考え、Ｓ２ａは、Ｓ１ａと同様に式（２）から算出される。 Assume that S 1 , S 2 ,..., Sn are extracted from an arbitrary population having an average value μ and a variance σ 2 . At this time, if the value of n is sufficiently large, even if S 1 , S 2 ,..., S n are extracted from an arbitrary population, the average value of S is normally distributed N ( μ, σ 2 / n). In the present invention, S2a is considered as an average value of S2 with respect to the test image, and S2a is calculated from Expression (2) in the same manner as S1a.
さらに平均値Ｓ２ａに対して式（３）の規準化を行う。 Further, the normalization of Expression (3) is performed on the average value S2a.
このＺは、μ＝μ０とすれば平均ゼロ、分散１の正規分布、すなわち標準正規分布に従う。以下、このＺを用いて検定、つまり、評価を行う。 This Z follows a normal distribution with a mean of zero and a variance of 1, that is, a standard normal distribution when μ = μ 0 . Hereinafter, this Z is used for verification, that is, evaluation.
式（３）の分散σ２は一般に未知数であるが、中心極限定理が成立するほどｎの値が十分に大きいときには、未知のσ２を以下の式（４）で推定する標本分散で代用することができる。 The variance σ 2 in equation (3) is generally an unknown number, but when the value of n is sufficiently large to hold the central limit theorem, the unknown σ 2 is substituted with the sample variance estimated by the following equation (4). be able to.
なお、ｎの値が小さい場合には、ｔ検定を用いることができる。 In addition, when the value of n is small, t test can be used.
図１１は、確率変数Ｚの実現値ｚに対する危険率αに対する信頼度１−αの信頼区間を示す図である。 FIG. 11 is a diagram illustrating a confidence interval of reliability 1−α with respect to the risk factor α with respect to the actual value z of the random variable Z.
確率変数Ｚの実現値ｚに対して、図１１に示すように標準正規分布は左右対称であり、しきい値ｌαにより帰無仮説の採択領域と棄却領域を設定する。学習用画像に対する不一致率の平均値Ｓ１ａは一般に未学習のテスト用画像に対する不一致率の平均値Ｓ２ａよりも小さいため、ｚ＜０となることは考慮しなくてよい。つまり片側検定を考えればよい。棄却領域に入る確率として以下の式（５）が成り立つ。 Relative realization z of a random variable Z, standard normal distribution as shown in FIG. 11 is a symmetrical, sets the adoption area and rejection region of the null hypothesis by the threshold l alpha. Since the average value S1a of the mismatch rate for the learning image is generally smaller than the average value S2a of the mismatch rate for the unlearned test image, it is not necessary to consider that z <0. In other words, one-sided testing should be considered. The following equation (5) is established as the probability of entering the rejection area.
ここで、ｌα≦ｚは確率変数Ｚの実現値ｚに対する危険率αの棄却領域であり、ｌαは正規分布表により与えられる値である。例えば、危険率αが５％の場合、ｌαの値は１．６４となる。このとき、余事象の確率１−αを信頼度といい、式（５）より式（６）が得られる。 Here, l α ≦ z is a rejection area of the risk factor α with respect to the actual value z of the random variable Z, and l α is a value given by the normal distribution table. For example, when the risk factor α is 5%, the value of l α is 1.64. At this time, the probability 1−α of an after event is called reliability, and Equation (6) is obtained from Equation (5).
すなわち、式（６）は、実現値ｚが区間（０，ｌα）に入る確率が１−αであることを示す。この区間を確率変数Ｚの実現値ｚに対する信頼度１−αの信頼区間という。 That is, Expression (6) indicates that the probability that the actual value z enters the interval (0, l α ) is 1-α. This interval is referred to as a confidence interval of reliability 1-α with respect to the actual value z of the random variable Z.
以上の式に基づいて、テスト用画像を用いて、本発明における読影者とコンピュータとの同等性を示す。 Based on the above formula, the equivalence between the radiogram interpreter and the computer in the present invention is shown using a test image.
まず、テスト用画像に対するＳ２の平均値をμとおき、μ＝μ０という帰無仮説を考える。次に、帰無仮説が成立するとき、医師とコンピュータの識別結果が同等であるとする。そして、帰無仮説Ｈ：μ＝μ０としたとき、ｚとｌαとから以下の関係を示すことができる。 First, the average value of S2 for the test image mu Distant, consider the null hypothesis that μ = μ 0. Next, when the null hypothesis holds, it is assumed that the doctor and computer identification results are equivalent. When the null hypothesis H: μ = μ 0 is established, the following relationship can be shown from z and l α .
（１） ｚ＜ｌαのとき、確率変数Ｚの実現値ｚが信頼区間内にあるため、帰無仮説が採択され、μ＝μ０を否定することができない。 (1) When z <a l alpha, for realization z random variable Z is within the confidence interval, the null hypothesis was adopted, it is impossible to deny the μ = μ 0.
（２） ｚ≧ｌαのとき、確率変数Ｚの実現値ｚが棄却域内にあるため、帰無仮説が棄却され、μ＝μ０を否定する。 (2) When z ≧ l alpha, for realization z random variable Z is in the rejection region, the null hypothesis is rejected, deny μ = μ 0.
本発明において、医師とコンピュータの識別結果が同等であることを示すために、帰無仮説によりμ＝μ０であることを示す必要がある。 In the present invention, it is necessary to indicate that μ = μ 0 by the null hypothesis in order to indicate that the doctor and computer identification results are equivalent.
そこで、帰無仮説Ｈ：μ＝μ０において、実現値ｚが信頼区間内にあることを示せば、医師とコンピュータの識別結果に差があるとはいえない、と結論付けることができる。 Therefore, in the null hypothesis H: μ = μ 0 , it can be concluded that there is no difference between the doctor and computer identification results if the realization value z is shown to be within the confidence interval.
以上より、評価部１１７は、テスト用画像を用いて読影者とコンピュータと識別結果の同等性を評価することができる。 As described above, the evaluation unit 117 can evaluate the equivalence of the interpretation result, the computer, and the identification result using the test image.
図１２は、評価対象の識別器の目標値と危険率とを示す表である。図１２において、本実施の形態で用いる識別器の種類は、２クラスＦｉｓｈｅｒ線形識別器であり、３次元ベクトルの３つの成分はＲＧＢである。このとき、目標値μ０は０．２４であり、危険率αは０．０５（ｚ≦１．６４）である。 FIG. 12 is a table showing target values and risk factors of the classifiers to be evaluated. In FIG. 12, the classifier used in the present embodiment is a two-class Fisher linear classifier, and the three components of the three-dimensional vector are RGB. At this time, the target value μ 0 is 0.24, and the risk factor α is 0.05 (z ≦ 1.64).
●評価処理●
次に、画像処理装置１００による評価処理について説明する。
● Evaluation process ●
Next, evaluation processing by the image processing apparatus 100 will be described.
図１３は、画像処理装置１００による評価処理を示すフローチャートである。 FIG. 13 is a flowchart illustrating an evaluation process performed by the image processing apparatus 100.
図１４は、評価処理で用いるテスト用画像３０の一例である。テスト用画像３０には、学習用画像２０と同様に注目領域３０１と非注目領域３０２とが含まれている。テスト用画像読取部１１５は、テスト用画像３０に対する識別処理を行うために、テスト用画像３０の画像情報として画素値を取得する（Ｓ２０１）。 FIG. 14 is an example of a test image 30 used in the evaluation process. Similar to the learning image 20, the test image 30 includes an attention area 301 and a non-attention area 302. The test image reading unit 115 acquires a pixel value as image information of the test image 30 in order to perform identification processing on the test image 30 (S201).
テスト用画像種別識別部１１６は、識別器情報決定部１１２により決定された識別器情報（平均ベクトルと共分散行列）に基づいて、識別器を用いてテスト用画像３０を構成する画素ごとの種別を識別する（Ｓ２０２）。 The test image type identification unit 116 is a class for each pixel constituting the test image 30 using a classifier based on the classifier information (average vector and covariance matrix) determined by the classifier information determination unit 112. Is identified (S202).
テスト用画像種別識別部１１６は、テスト用画像３０の注目領域と非注目領域とを構成する画素ごとに種別を与える。多数の画素により構成されるテスト用画像３０には、注目領域３０１を構成する特定種別画素と非注目領域３０２を構成する非特定種別画素とがある。 The test image type identification unit 116 gives a type for each pixel constituting the attention area and the non-attention area of the test image 30. The test image 30 composed of a large number of pixels includes a specific type pixel constituting the attention area 301 and a non-specific type pixel constituting the non-attention area 302.
ここで、テスト用画像種別識別部１１６は、図８を用いて説明した学習用画像２０の識別処理と同様に、テスト用画像３０についても特定種別画素には特定種別であることを示す値が付され、非特定種別画素には特定種別ではない（非特定種別である）ことを示す値が付される。 Here, the test image type identification unit 116 has a value indicating that the specific type pixel of the test image 30 is a specific type as in the learning process of the learning image 20 described with reference to FIG. A non-specific type pixel is assigned a value indicating that it is not a specific type (non-specific type).
図１５は、識別器による識別結果を表示したテスト用画像３０の一例である。識別結果を含むテスト用画像３０には、注目領域３０１に加え、テスト用画像種別識別部１１６により識別されたコンピュータによる非注目領域３０３が表示される。表示部１１８は、コンピュータによる非注目領域３０３をテスト用画像３０に重畳して表示する。 FIG. 15 is an example of the test image 30 displaying the identification result by the classifier. In the test image 30 including the identification result, a non-attention area 303 by the computer identified by the test image type identification unit 116 is displayed in addition to the attention area 301. The display unit 118 superimposes and displays the non-attention area 303 by the computer on the test image 30.
図１６は、読影者が識別した結果を正解として付したテスト用画像（正解表示テスト用画像３１）の一例である。正解表示テスト用画像３１は、コンピュータによる識別結果を表示したテスト用画像３０との第２の差分量Ｓ２を求めるための登録テスト用画像種別５０として用いられる。 FIG. 16 is an example of a test image (correct answer display test image 31) in which the results identified by the radiogram interpreter are assigned as correct answers. The correct display test image 31 is used as a registered test image type 50 for obtaining a second difference amount S2 from the test image 30 displaying the identification result by the computer.
読影者による識別結果は、登録テスト用画像種別５０として記憶部１１０に格納されている。また、読影者による識別結果は、注目領域３０１と非注目領域３２０との境界線に医師による境界線３０４としてテスト用画像３０に表示される。 The identification result by the radiogram interpreter is stored in the storage unit 110 as the registered test image type 50. The identification result by the image interpreter is displayed on the test image 30 as a boundary line 304 by the doctor at the boundary line between the attention area 301 and the non-attention area 320.
図１７は、識別結果を含むテスト用画像３０と読影者による正解との照合を行った画像の一例である。図１７には、注目領域３０１と非注目領域３０２を表示したテスト用画像３０に、コンピュータによる非注目領域３０３と読影者による正解である境界線３０４とが重畳して表示されることで、コンピュータによる識別結果と読影者の正解との差異を視認可能にしている。 FIG. 17 is an example of an image obtained by collating the test image 30 including the identification result with the correct answer by the interpreter. In FIG. 17, the test image 30 displaying the attention area 301 and the non-attention area 302 is displayed by superimposing the non-attention area 303 by the computer and the boundary line 304 that is the correct answer by the image interpreter. The difference between the identification result by and the correct answer of the reader is made visible.
評価部１１７は、識別されたテスト用画像３０を構成する画素ごとの種別と登録テスト用画像種別５０との第２の差分量Ｓ２を算出する（Ｓ２０３）。 The evaluation unit 117 calculates a second difference amount S2 between the type of each pixel constituting the identified test image 30 and the registered test image type 50 (S203).
評価部１１７は、第２の差分量Ｓ２の平均値Ｓ２ａと分散の算出に必要な全てのテスト用画像３０の識別処理が完了したか否かを確認する（Ｓ２０４）。全てのテスト用画像３０の識別が完了していない場合には（Ｓ２０４：Ｎｏ）、Ｓ２０１〜Ｓ２０３までの処理を繰り返す。 The evaluation unit 117 checks whether or not the identification processing of all the test images 30 necessary for calculating the average value S2a of the second difference amount S2 and the variance is completed (S204). When the identification of all the test images 30 has not been completed (S204: No), the processing from S201 to S203 is repeated.
一方、全てのテスト用画像３０の識別処理が完了している場合には（Ｓ２０４：Ｙｅｓ）、評価部１１７は、Ｓ２０５以降の処理を行う。 On the other hand, when the identification processing of all the test images 30 has been completed (S204: Yes), the evaluation unit 117 performs the processing after S205.
評価部１１７は、算出された全てのテスト用画像３０の第２の差分量Ｓ２の平均値Ｓ２ａと分散σ２とを算出する（Ｓ２０５）。第２の差分量Ｓ２の平均値Ｓ２ａと分散σ２の算出方法は、目標値算出処理のＳ１０７と同様である。表示部１１８には、テスト用画像３０が表示された後に操作部１１９が操作されたときのみ、評価部１１７が算出した評価結果が表示される。 The evaluation unit 117 calculates the average value S2a and the variance σ 2 of the second difference amount S2 of all the calculated test images 30 (S205). The calculation method of the average value S2a of the second difference amount S2 and the variance σ 2 is the same as S107 of the target value calculation process. The display unit 118 displays the evaluation result calculated by the evaluation unit 117 only when the operation unit 119 is operated after the test image 30 is displayed.
そして、評価部１１７は、第２の差分量Ｓ２の平均値Ｓ２ａが、目標値μ０に基づいて決定される許容範囲内であるか否かを評価する（Ｓ２０６）。 The evaluation unit 117, the average value S2a of the second difference amount S2 is to assess whether it is within the allowable range determined based on the target value μ 0 (S206).
なお、識別処理を行った学習用画像２０により第２の差分量Ｓ２が所望の差分量の範囲内の値にないときには、修正部１２０により識別器情報を修正することができる。 When the second difference amount S2 is not within a desired difference amount range from the learning image 20 subjected to the identification process, the corrector 120 can correct the discriminator information.
図１８は、評価処理による識別器の評価結果を示す表である。図１８によれば、目標値：μ０＝０．２４から求められるＺの実現値ｚはｚ＝１．６１となり、これはｚ≦１．６４（危険率：α＝０．０５）を満たすため、画像処理装置１００による識別結果が許容範囲内であることを示している。 FIG. 18 is a table showing the evaluation results of the discriminator by the evaluation process. According to FIG. 18, the actual value z of Z obtained from the target value: μ 0 = 0.24 is z = 1.61, which satisfies z ≦ 1.64 (risk rate: α = 0.05). Therefore, the identification result by the image processing apparatus 100 is within an allowable range.
したがって、帰無仮説Ｈ：μ＝μ０において、実現値ｚが信頼区間内にあることを示すことができるため、読影者である医師とコンピュータの識別結果に差があるとはいえない、と結論付けることができる。 Therefore, in the null hypothesis H: μ = μ 0 , it can be shown that the actual value z is within the confidence interval, so it cannot be said that there is a difference in the identification result between the doctor who is the interpreter and the computer. You can conclude.
以上説明した目標値設定処理と評価処理とにより、画像処理装置１００は、処理対象画像に対する識別器による識別結果が、読影者である医師により読影された場合の識別結果と同等であるか否かを評価し、同等であると評価される場合には識別器による識別結果を保証することができる。すなわち、学習用画像やテスト用画像以外の、これから処理される画像に対して、識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。 Through the target value setting process and the evaluation process described above, the image processing apparatus 100 determines whether the identification result by the classifier for the processing target image is equivalent to the identification result when the doctor who is the interpreter interprets the image. If it is evaluated that they are equivalent, the discrimination result by the discriminator can be guaranteed. That is, it can be assured that the discriminator can perform discrimination processing as a proxy for discrimination by the image interpreter on images to be processed in the future other than learning images and test images.
以上説明した目標値設定処理と評価処理は、内視鏡カプセルにより撮影された画像の識別処理に対する読影者支援の評価を例としたが、本発明はこの例に限らず、人間が行うには支障がある読影や点検において、様々な画像に対する識別結果の評価に用いることができる。例えば、膨大な数の画像を確認する必要がある防犯カメラ画像の解析支援処理や、人間の立ち入りが困難な場所での遠隔作業における画像解析支援処理などにおける、識別結果の評価に用いることもできる。 The target value setting process and the evaluation process described above are based on the evaluation of the interpreter support for the identification process of the image captured by the endoscope capsule. However, the present invention is not limited to this example, and humans can perform it. It can be used for evaluation of identification results for various images in interpretation and inspection with trouble. For example, it can also be used for evaluation of identification results in security camera image analysis support processing that requires confirmation of an enormous number of images or image analysis support processing in remote work where human access is difficult. .
●実施の形態の作用・効果
以上説明した実施の形態によれば、画像処理装置１００は、識別された学習用画像２０を構成する画素ごとの種別と登録学習用画像種別４０との差分量である第１の差分量Ｓ１を算出し、第１の差分量Ｓ１に基づいて目標値を設定し、識別されたテスト用画像３０を構成する画素ごとの種別と登録テスト用画像種別５０との差分量である第２の差分量Ｓ２を算出し、第２の差分量Ｓ２が、目標値に基づいて決定される許容範囲内であるか否かを評価する。したがって、画像処理装置１００は、テスト用画像種別識別部１１６による画像の識別結果が、読影者が識別した結果と同等であることを示すことができる。つまり、画像処理装置１００は、処理対象画像を構成する複数の領域を識別して、その識別結果が、所定の読影者が読影した場合の識別結果と同等であるか否かを検証し評価することができる。そして、画像処理装置１００は、所定の識別器による処理対象画像の識別結果が所定の読影者が読影した場合の識別結果と同等であると評価を行うことで、これから処理される画像に対して、その識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。
Operation and Effect of Embodiment According to the embodiment described above, the image processing apparatus 100 uses the difference amount between the type for each pixel constituting the identified learning image 20 and the registered learning image type 40. A certain first difference amount S 1 is calculated, a target value is set based on the first difference amount S 1 , and the type for each pixel constituting the identified test image 30 and the registered test image type 50 are The second difference amount S 2 that is the difference amount is calculated, and it is evaluated whether or not the second difference amount S 2 is within an allowable range determined based on the target value. Therefore, the image processing apparatus 100 can indicate that the image identification result by the test image type identification unit 116 is equivalent to the result identified by the image interpreter. That is, the image processing apparatus 100 identifies a plurality of regions constituting the processing target image, and verifies and evaluates whether or not the identification result is equivalent to the identification result when a predetermined image reader interprets the image. be able to. Then, the image processing apparatus 100 evaluates that the identification result of the processing target image by the predetermined discriminator is equivalent to the identification result when the predetermined radiographer interprets the image, so that the image to be processed from now on is evaluated. Therefore, it can be ensured that the discriminator can perform the discrimination process as a proxy for the discriminating by the reader.
また、以上説明した実施の形態によれば、画像処理装置１００は、表示部１１８が学習用画像２０を表示している状態で操作部１１９が操作されたときに、操作部１１９の操作内容に基づいて登録学習用画像種別４０を特定して記憶部１１０に記憶するため、読影者による識別結果を学習用画像種別識別部１１３による識別結果に反映することができる。 Further, according to the embodiment described above, the image processing apparatus 100 sets the operation contents of the operation unit 119 when the operation unit 119 is operated in a state where the display unit 118 displays the learning image 20. Based on this, the registered learning image type 40 is specified and stored in the storage unit 110, so that the identification result by the image interpreter can be reflected in the identification result by the learning image type identification unit 113.
また、以上説明した実施の形態によれば、画像処理装置１００は、表示部１１８がテスト用画像３０を表示している状態で操作部１１９が操作されたときに、操作部１１９の操作内容に基づいて登録テスト用画像種別５０を特定して記憶部１１０に記憶するため、読影者による識別結果をテスト用画像種別識別部１１６による識別結果に反映することができる。 Further, according to the embodiment described above, the image processing apparatus 100 sets the operation content of the operation unit 119 when the operation unit 119 is operated while the display unit 118 displays the test image 30. Based on this, the registered test image type 50 is specified and stored in the storage unit 110, so that the identification result by the image interpreter can be reflected in the identification result by the test image type identification unit 116.
また、以上説明した実施の形態によれば、画像処理装置１００は、識別された学習用画像２０を構成する画素ごとの種別に含まれる特定種別と、登録学習用画像種別４０を構成する特定種別と、に基づいて第１の差分量Ｓ１を算出するため、学習用画像２０から識別結果の評価に用いる目標値を算出することができる。 Further, according to the embodiment described above, the image processing apparatus 100 includes the specific type included in the type for each pixel constituting the identified learning image 20 and the specific type constituting the registered learning image type 40. Since the first difference amount S1 is calculated based on the above, the target value used for the evaluation of the identification result can be calculated from the learning image 20.
また、以上説明した実施の形態によれば、画像処理装置１００は、算出された複数の学習用画像２０それぞれの第１の差分量Ｓ１の平均値である第１の平均値Ｓ１ａを算出し、第１の平均値Ｓ１ａに基づいて目標値μ０を設定するため、複数の学習用画像２０の識別結果を反映した目標値を設定することができる。 Further, according to the embodiment described above, the image processing apparatus 100 calculates the first average value S1a that is the average value of the first difference amounts S1 of the plurality of learning images 20 calculated, Since the target value μ 0 is set based on the first average value S1a, the target value reflecting the identification results of the plurality of learning images 20 can be set.
また、以上説明した実施の形態によれば、画像処理装置１００は、識別されたテスト用画像を構成する画素ごとの種別に含まれる特定種別と登録テスト用画像種別を構成する特定種別とに基づいて第２の差分量Ｓ２を算出するため、テスト用画像３０から識別結果の評価に用いる値を算出することができる。 Further, according to the embodiment described above, the image processing apparatus 100 is based on the specific type included in the type of each pixel constituting the identified test image and the specific type constituting the registered test image type. Therefore, since the second difference amount S2 is calculated, a value used for evaluation of the identification result can be calculated from the test image 30.
また、以上説明した実施の形態によれば、画像処理装置１００は、特定種別が、画素が注目領域に対応する画素であるか否かを示す情報であり、識別器情報が、識別器を構築するために必要な情報であるため、学習用画像２０またはテスト用画像３０に含まれる注目領域を識別することができる。 Further, according to the embodiment described above, in the image processing apparatus 100, the specific type is information indicating whether the pixel is a pixel corresponding to the attention area, and the classifier information constructs the classifier. Therefore, the attention area included in the learning image 20 or the test image 30 can be identified.
また、以上説明した実施の形態によれば、画像処理装置１００は、複数のテスト用画像３０それぞれについて第２の差分量Ｓ２を算出し、算出された複数のテスト用画像３０それぞれの第２の差分量Ｓ２の平均値である第２の平均値Ｓ２ａを算出し、第２の平均値Ｓ２ａと目標値μ０の差と、基準値とに基づいて決定される許容範囲内であるか否かを評価するため、複数のテスト用画像３０に対する識別結果を評価することができる。 Further, according to the embodiment described above, the image processing apparatus 100 calculates the second difference amount S2 for each of the plurality of test images 30, and calculates the second difference of each of the calculated plurality of test images 30. calculating a second average value S2a is an average value of the difference amount S2, and the difference between the second average value S2a and the target value mu 0, whether or not within the allowable range determined based on the reference value Therefore, identification results for a plurality of test images 30 can be evaluated.
また、以上説明した実施の形態によれば、画像処理装置１００は、第２の平均値Ｓ２ａと目標値μ０との差と、基準値とを比較して許容範囲内であるか否かを評価するため、識別結果を検証し評価することができる。 Further, above according to the embodiment described, the image processing apparatus 100 includes a difference between the second average value S2a and the target value mu 0, whether the reference value within the allowable range by comparing the In order to evaluate, the identification result can be verified and evaluated.
また、以上説明した実施の形態によれば、画像処理装置１００は、識別された学習用画像２０を構成する画素ごとの種別と、登録学習用画像種別４０との差異を視認可能に表示するため、学習用画像２０に対する識別結果を読影者に容易に視認させることができる。 Further, according to the embodiment described above, the image processing apparatus 100 displays the difference between the type of each pixel constituting the identified learning image 20 and the registered learning image type 40 so as to be visible. The identification result for the learning image 20 can be easily viewed by an image interpreter.
また、以上説明した実施の形態によれば、画像処理装置１００は、表示部１１８が表示した後に操作部１１９が操作されたときにのみ、目標値μ０を設定するため、読影者が学習用画像２０に対する識別結果を画像レベルで確認して目標値μ０を設定することができる。 Further, according to the embodiment described above, the image processing apparatus 100 sets the target value μ 0 only when the operation unit 119 is operated after the display unit 118 displays the image, so that the image interpreter can learn. The target value μ 0 can be set by checking the identification result for the image 20 at the image level.
また、以上説明した実施の形態によれば、画像処理装置１００は、識別されたテスト用画像３０を構成する画素ごとの種別をテスト用画像３０に重畳して表示するため、テスト用画像３０に対する識別結果を読影者に容易に視認させることができる。 Further, according to the embodiment described above, the image processing apparatus 100 displays the type of each pixel constituting the identified test image 30 in a superimposed manner on the test image 30, so The identification result can be easily viewed by the image reader.
また、以上説明した実施の形態によれば、画像処理装置１００は、識別されたテスト用画像３０を構成する画素ごとの種別と、登録テスト用画像種別５０との差異を視認可能に表示するため、テスト用画像種別識別部１１６による識別結果と読影者による識別結果とを読影者が容易に判断できる。 Further, according to the embodiment described above, the image processing apparatus 100 displays the difference between the type of each pixel constituting the identified test image 30 and the registered test image type 50 in a visible manner. The image interpreter can easily determine the identification result by the test image type identification unit 116 and the identification result by the image interpreter.
また、以上説明した実施の形態によれば、画像処理装置１００は、表示部１１８が表示した後に操作部１１９が操作されたときにのみ、識別結果の評価結果を表示させることができる。 Further, according to the embodiment described above, the image processing apparatus 100 can display the evaluation result of the identification result only when the operation unit 119 is operated after the display unit 118 displays.
さらに、以上説明した実施の形態によれば、画像処理装置１００は、少なくとも第１の差分量または第２の差分量のいずれかに基づいて識別器情報を修正するため、識別結果に応じて識別器情報を更新することができる。 Furthermore, according to the embodiment described above, the image processing apparatus 100 corrects the discriminator information based on at least one of the first difference amount and the second difference amount, and thus performs identification according to the identification result. Instrument information can be updated.
２０ ：学習用画像
２１ ：正解付学習用画像
３０ ：テスト用画像
３１ ：正解表示テスト用画像
４０ ：登録学習用画像種別
５０ ：登録テスト用画像種別
１００ ：画像処理装置
１１０ ：記憶部
１１１ ：学習用画像読取部
１１２ ：識別器情報決定部
１１３ ：学習用画像種別識別部
１１４ ：目標値設定部
１１５ ：テスト用画像読取部
１１６ ：テスト用画像種別識別部
１１７ ：評価部
１１８ ：表示部
１１９ ：操作部
１２０ ：修正部
１２１ ：登録学習用画像種別特定部
１２２ ：登録テスト用画像種別特定部
２０１ ：可視領域
２０２ ：不可視領域
２０３ ：境界線
２１０ ：領域
２１０ａ ：特定種別画素
２１０ｂ ：非特定種別画素
２１１ ：可視領域
２１２ ：不可視領域
３０１ ：注目領域
３０２ ：非注目領域
３０３ ：非注目領域
３０４ ：境界線
３２０ ：非注目領域
20: Learning image 21: Corrected learning image 30: Test image 31: Correct display test image 40: Registered learning image type 50: Registered test image type 100: Image processing device 110: Storage unit 111: Learning Image reading unit 112: Classifier information determination unit 113: Learning image type identification unit 114: Target value setting unit 115: Test image reading unit 116: Test image type identification unit 117: Evaluation unit 118: Display unit 119: Operation unit 120: Correction unit 121: Registration learning image type specification unit 122: Registration test image type specification unit 201: Visible region 202: Invisible region 203: Boundary line 210: Region 210a: Specific type pixel 210b: Non-specific type pixel 211: Visible region 212: Invisible region 301: Attention region 302: Non-attention region 303: Non-attention region 304: Boundary 320: non-interest area
Claims (17)
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取部と、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定部と、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別部と、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第１の差分量を算出し、上記第１の差分量に基づいて目標値を設定する目標値設定部と、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取部と、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別部と、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第２の差分量を算出し、上記第２の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価部と、
を有してなることを特徴とする画像処理装置。 A learning image, a registered learning image type indicating a type for each pixel constituting the learning image, a test image, a registered test image type indicating a type for each pixel constituting the test image, A storage unit storing
A learning image reading unit for obtaining image information for each pixel constituting the learning image;
A discriminator information determination unit that determines discriminator information for identifying a type for each pixel based on image information for each pixel constituting the learning image and the registered learning image type;
A learning image type identification unit for identifying the type of each pixel constituting the learning image based on the classifier information;
A first difference amount that is a difference amount between the type of each pixel constituting the identified learning image and the registered learning image type is calculated, and a target value is set based on the first difference amount. A target value setting unit;
A test image reading unit for acquiring image information for each pixel constituting the test image;
A test image type identifying unit for identifying the type of each pixel constituting the test image based on the image information for each pixel constituting the test image and the classifier information;
A second difference amount that is a difference amount between the type of each pixel constituting the identified test image and the registered test image type is calculated, and the second difference amount is calculated based on the target value. An evaluation unit that evaluates whether or not it is within the determined allowable range; and
An image processing apparatus comprising:
上記記憶部に記憶されている上記学習用画像を表示する学習用表示部と、
上記記憶部に記憶される上記登録学習用画像種別を特定する登録学習用画像種別特定部と、
を備え、
上記登録学習用画像種別特定部は、上記学習用表示部が上記学習用画像を表示している状態で上記登録操作部が操作されたときに、上記登録操作部の操作内容に基づいて上記登録学習用画像種別を特定して上記記憶部に記憶する、
請求項１記載の画像処理装置。 A registration operation unit that can be operated by an interpreter;
A learning display unit for displaying the learning image stored in the storage unit;
A registration learning image type specifying unit for specifying the registration learning image type stored in the storage unit;
With
The registration learning image type identification unit is configured to register the registration based on an operation content of the registration operation unit when the registration operation unit is operated in a state where the learning display unit displays the learning image. Specify the learning image type and store it in the storage unit,
The image processing apparatus according to claim 1.
上記記憶部に記憶されている上記テスト用画像を表示するテスト用表示部と、
上記記憶部に記憶される上記登録テスト用画像種別を特定する登録テスト用画像種別特定部と、
を備え、
上記登録テスト用画像種別特定部は、上記テスト用表示部が上記テスト用画像を表示している状態で上記登録操作部が操作されたときに、上記登録操作部の操作内容に基づいて上記登録テスト用画像種別を特定して上記記憶部に記憶する、
請求項１または２記載の画像処理装置。 A registration operation unit that can be operated by an interpreter;
A test display unit for displaying the test image stored in the storage unit;
A registration test image type specifying unit for specifying the registration test image type stored in the storage unit;
With
The registration test image type identification unit is configured to register the registration based on an operation content of the registration operation unit when the registration operation unit is operated in a state where the test display unit displays the test image. Specify the test image type and store it in the storage unit.
The image processing apparatus according to claim 1.
上記目標値設定部は、識別された上記学習用画像を構成する画素ごとの種別を構成する上記特定種別と、上記登録学習用画像種別を構成する上記特定種別と、に基づいて上記第１の差分量を算出する、
請求項１乃至３のいずれかに記載の画像処理装置。 There are multiple types of pixel types, including specific types,
The target value setting unit includes the first type based on the specific type constituting the type for each pixel constituting the identified learning image and the specific type constituting the registered learning image type. Calculate the difference amount,
The image processing apparatus according to claim 1.
上記目標値設定部は、上記複数の学習用画像それぞれについて上記第１の差分量を算出し、算出された上記複数の学習用画像それぞれの上記第１の差分量の平均値である第１の平均値を算出し、上記第１の平均値に基づいて上記目標値を設定する、
請求項１乃至４のいずれかに記載の画像処理装置。 A plurality of learning images are stored in the storage unit,
The target value setting unit calculates the first difference amount for each of the plurality of learning images, and a first value that is an average value of the calculated first difference amounts of the plurality of learning images. An average value is calculated, and the target value is set based on the first average value.
The image processing apparatus according to claim 1.
上記評価部は、識別された上記テスト用画像を構成する画素ごとの種別を構成する上記特定種別と、上記登録テスト用画像種別を構成する上記特定種別と、に基づいて上記第２の差分量を算出する、
請求項１乃至５のいずれかに記載の画像処理装置。 There are multiple types of pixel types, including specific types,
The evaluation unit includes the second difference amount based on the specific type constituting the type for each pixel constituting the identified test image and the specific type constituting the registered test image type. To calculate,
The image processing apparatus according to claim 1.
上記識別器情報は、上記学習用画像または上記テスト用画像を構成する画素ごとに上記特定種別であるか否かを検出するための情報である、
請求項４乃至６のいずれかに記載の画像処理装置。 The specific type is information indicating whether the pixel is a pixel corresponding to a region of interest,
The discriminator information is information for detecting whether or not it is the specific type for each pixel constituting the learning image or the test image.
The image processing apparatus according to claim 4.
上記評価部は、上記複数のテスト用画像それぞれについて上記第２の差分量を算出し、算出された上記複数のテスト用画像それぞれの上記第２の差分量の平均値である第２の平均値を算出し、上記第２の平均値と上記目標値とに基づいて決定される上記許容範囲内であるか否かを評価する、
請求項１乃至７のいずれかに記載の画像処理装置。 A plurality of test images are stored in the storage unit,
The evaluation unit calculates the second difference amount for each of the plurality of test images, and a second average value that is an average value of the calculated second difference amounts of the plurality of test images. And evaluates whether the value is within the allowable range determined based on the second average value and the target value.
The image processing apparatus according to claim 1.
上記評価部は、上記第２の平均値と上記目標値との差と、上記基準値とを比較して上記許容範囲内であるか否かを評価する、
請求項８記載の画像処理装置。 A reference value is stored in the storage unit,
The evaluation unit evaluates whether the difference between the second average value and the target value is within the allowable range by comparing the reference value;
The image processing apparatus according to claim 8.
請求項２乃至９のいずれかに記載の画像処理装置。 The learning display unit displays the difference between the type of each pixel constituting the identified learning image and the registered learning image type in a visible manner.
The image processing apparatus according to claim 2.
上記目標値設定部は、上記学習用表示部が表示した後に上記設定操作部が操作されたときにのみ、上記目標値を設定する、
請求項１０記載の画像処理装置。 A setting operation unit that can be operated by the radiogram interpreter,
The target value setting unit sets the target value only when the setting operation unit is operated after the learning display unit displays.
The image processing apparatus according to claim 10.
を備える請求項１乃至１１のいずれかに記載の画像処理装置。 A test display unit that superimposes and displays the type of each pixel constituting the identified test image on the test image;
An image processing apparatus according to claim 1, comprising:
を備える請求項１乃至１１のいずれかに記載の画像処理装置。 A test display unit that displays the difference between the type of each pixel constituting the identified test image and the registered test image type in a visible manner;
An image processing apparatus according to claim 1, comprising:
上記テスト用表示部が表示した後に上記表示操作部が操作されたときにのみ、上記識別結果の評価結果を表示する評価結果表示部と、
を備える、
請求項１２または１３記載の画像処理装置。 A display operation unit that can be operated by an interpreter;
An evaluation result display unit that displays an evaluation result of the identification result only when the display operation unit is operated after the test display unit is displayed;
Comprising
The image processing apparatus according to claim 12 or 13.
を備える請求項１乃至１４のいずれかに記載の画像処理装置。 A correction unit that corrects the discriminator information based on at least one of the first difference amount and the second difference amount;
An image processing apparatus according to claim 1, comprising:
上記コンピュータが、
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取ステップと、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定ステップと、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別ステップと、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第１の差分量を算出し、上記第１の差分量に基づいて目標値を設定する目標値設定ステップと、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取ステップと、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別ステップと、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第２の差分量を算出し、上記第２の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価ステップと、
を実行することを特徴とする画像処理方法。 A learning image, a registered learning image type indicating a type for each pixel constituting the learning image, a test image, a registered test image type indicating a type for each pixel constituting the test image, An image processing method executed by a computer including a storage unit in which is stored,
The computer
A learning image reading step of acquiring image information for each pixel constituting the learning image;
A discriminator information determination step for determining discriminator information for identifying the type of each pixel based on the image information for each pixel constituting the learning image and the registered learning image type;
A learning image type identifying step for identifying the type of each pixel constituting the learning image based on the classifier information;
A first difference amount that is a difference amount between the type of each pixel constituting the identified learning image and the registered learning image type is calculated, and a target value is set based on the first difference amount. A target value setting step;
A test image reading step for acquiring image information for each pixel constituting the test image;
A test image type identifying step for identifying the type of each pixel constituting the test image based on the image information for each pixel constituting the test image and the classifier information;
A second difference amount that is a difference amount between the type of each pixel constituting the identified test image and the registered test image type is calculated, and the second difference amount is calculated based on the target value. An evaluation step for evaluating whether it is within the determined tolerance;
The image processing method characterized by performing.
上記コンピュータに、
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取ステップと、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定ステップと、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別ステップと、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第１の差分量を算出し、上記第１の差分量に基づいて目標値を設定する目標値設定ステップと、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取ステップと、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別ステップと、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第２の差分量を算出し、上記第２の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価ステップと、
を実行させることを特徴とする画像処理プログラム。 A learning image, a registered learning image type indicating a type for each pixel constituting the learning image, a test image, a registered test image type indicating a type for each pixel constituting the test image, An image processing program to be executed by a computer including a storage unit in which is stored,
In the above computer,
A learning image reading step of acquiring image information for each pixel constituting the learning image;
A discriminator information determination step for determining discriminator information for identifying the type of each pixel based on the image information for each pixel constituting the learning image and the registered learning image type;
A learning image type identifying step for identifying the type of each pixel constituting the learning image based on the classifier information;
A first difference amount that is a difference amount between the type of each pixel constituting the identified learning image and the registered learning image type is calculated, and a target value is set based on the first difference amount. A target value setting step;
A test image reading step for acquiring image information for each pixel constituting the test image;
A test image type identifying step for identifying the type of each pixel constituting the test image based on the image information for each pixel constituting the test image and the classifier information;
A second difference amount that is a difference amount between the type of each pixel constituting the identified test image and the registered test image type is calculated, and the second difference amount is calculated based on the target value. An evaluation step for evaluating whether it is within the determined tolerance;
An image processing program for executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012193185A JP5164127B1 (en) | 2012-09-03 | 2012-09-03 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012193185A JP5164127B1 (en) | 2012-09-03 | 2012-09-03 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5164127B1 true JP5164127B1 (en) | 2013-03-13 |
| JP2014046085A JP2014046085A (en) | 2014-03-17 |
Family
ID=48013638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012193185A Expired - Fee Related JP5164127B1 (en) | 2012-09-03 | 2012-09-03 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5164127B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6894001B2 (en) * | 2017-10-31 | 2021-06-23 | 富士フイルム株式会社 | Diagnosis support device, endoscopy device, management device, diagnosis support method, management method, diagnosis support program, and management program |
| WO2021166157A1 (en) * | 2020-02-20 | 2021-08-26 | 三菱電機株式会社 | Object recognition system verification device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009041587A1 (en) * | 2007-09-28 | 2009-04-02 | Canon Kabushiki Kaisha | Medical diagnosis support system |
| JP2010115413A (en) * | 2008-11-14 | 2010-05-27 | Olympus Corp | Image processor, image processing program and image processing method |
| JP2011024727A (en) * | 2009-07-23 | 2011-02-10 | Olympus Corp | Image processing device, program and method |
| JP2012143368A (en) * | 2011-01-12 | 2012-08-02 | Konica Minolta Medical & Graphic Inc | Medical image display device and program |
-
2012
- 2012-09-03 JP JP2012193185A patent/JP5164127B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009041587A1 (en) * | 2007-09-28 | 2009-04-02 | Canon Kabushiki Kaisha | Medical diagnosis support system |
| JP2010115413A (en) * | 2008-11-14 | 2010-05-27 | Olympus Corp | Image processor, image processing program and image processing method |
| JP2011024727A (en) * | 2009-07-23 | 2011-02-10 | Olympus Corp | Image processing device, program and method |
| JP2012143368A (en) * | 2011-01-12 | 2012-08-02 | Konica Minolta Medical & Graphic Inc | Medical image display device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014046085A (en) | 2014-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11802839B2 (en) | Quantifying color changes in chemical test pads induced by different concentrations of analytes under different lighting conditions | |
| CN109035187B (en) | Medical image labeling method and device | |
| KR101874348B1 (en) | Method for facilitating dignosis of subject based on chest posteroanterior view thereof, and apparatus using the same | |
| US9510756B2 (en) | Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images | |
| US9311520B2 (en) | Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment | |
| EP2916117A1 (en) | Quantifying color changes of chemical test pads induced by specific concentrations of biological analytes under different lighting conditions | |
| US20240062577A1 (en) | Matching result display device, matching result display method, program, and recording medium | |
| US9953423B2 (en) | Image processing apparatus, image processing method, and storage medium for image processing based on priority | |
| WO2013187206A1 (en) | Image processing device, image processing method, and image processing program | |
| JP6625504B2 (en) | Information processing apparatus, information processing system and program | |
| US20230230364A1 (en) | Image processing device, control method and storage medium | |
| CN116528770A (en) | Method and system for analyzing ultrasound images | |
| US20230274538A1 (en) | Adaptable Automated Interpretation of Rapid Diagnostic Tests Using Self-Supervised Learning and Few-Shot Learning | |
| US20200065967A1 (en) | Computer system, method, and program for diagnosing subject | |
| JP5164127B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN111696113A (en) | Method and system for monitoring a biological process | |
| CN102421367B (en) | Medical image display device and medical image display method | |
| CN115082373A (en) | Method, device and equipment for testing medical image positioning line and storage medium | |
| WO2013118436A1 (en) | Lifeform image analysis system, lifeform image analysis method, and lifeform image analysis program | |
| JP2021049270A (en) | Information processing device, information processing method and program | |
| US11574727B2 (en) | Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods | |
| KR102335173B1 (en) | System and method for analyzing pathological image | |
| US20230394666A1 (en) | Information processing apparatus, information processing method and information processing program | |
| JP2009061176A (en) | Medical image processor and program | |
| CN116128821A (en) | Quality evaluation method, device, equipment and storage medium for spine image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5164127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |