JP5569206B2

JP5569206B2 - Image processing apparatus and method

Info

Publication number: JP5569206B2
Application number: JP2010160558A
Authority: JP
Inventors: 真司渡辺
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-07-15
Filing date: 2010-07-15
Publication date: 2014-08-13
Anticipated expiration: 2030-07-15
Also published as: CN102375992A; JP2012021904A; US20120014608A1; US8571353B2

Description

本発明は、画像処理装置および方法に関し、特に、画像の特徴解析をより容易に行うことができるようにした画像処理装置および方法に関する。 The present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that can perform image feature analysis more easily.

DPI（Digital Pathology Imaging）システムによる病理診断は、これまでの組織診に加え細胞診へも応用範囲を広げてきている。 Pathological diagnosis using a DPI (Digital Pathology Imaging) system has been expanded to include cytology in addition to conventional histology.

組織診は、検査や手術等において病変部位をメスで切り取るなどして採取し、その病変部位を薄くスライスして染色して顕微鏡を使って観察する方法である。組織診においては、一般的に、細胞が集合として観察され、その細胞群中で、細胞の大きさ、形、並び方などに異常があるか否か、または、本来存在しない細胞が存在するか否か等が診断される。 Histological examination is a method in which a lesion site is collected by cutting with a scalpel in examination or surgery, and the lesion site is thinly sliced and stained and observed using a microscope. In histological diagnosis, cells are generally observed as a collection, and whether there are abnormalities in the size, shape, arrangement, etc. of the cells in the group of cells, or whether there are cells that do not exist originally Is diagnosed.

これに対して、細胞診は、自然に剥がれ落ちた細胞（喀痰細胞診）、剥がした細胞（擦過細胞診）、若しくは、針を刺して吸引した細胞（吸引細胞診）等を染色し、顕微鏡を使って観察する方法である。細胞診においては、一般的に、少数の細胞が観察され、各細胞、または、その核の大きさや形状等に異常があるか否か等が診断される。 On the other hand, cytology stains cells that have been peeled off naturally (sputum cytodiagnosis), peeled cells (scratch cytology), or aspirated with a needle (aspiration cytology). It is a method to observe using. In cytodiagnosis, in general, a small number of cells are observed, and it is diagnosed whether each cell or the size or shape of its nucleus is abnormal.

DPIシステムにおいては、これらの組織や細胞の画像（顕微鏡を介しての観察画像）は、デジタルデータとして管理される。そのため、観察画像（デジタルデータ）には、適宜、用途等に応じて様々な画像処理を施すことができる。 In the DPI system, these tissue and cell images (observation images through a microscope) are managed as digital data. For this reason, various image processing can be appropriately performed on the observation image (digital data) depending on the application.

その１つとして、注目領域（ROI（Region Of Interest））の検出のような、画像の特徴解析がある。画像の特徴を解析することにより、その解析結果をその他の様々な画像処理や診断に利用することができる。 One of them is image feature analysis such as detection of a region of interest (ROI). By analyzing the characteristics of the image, the analysis result can be used for various other image processing and diagnosis.

例えば、組織診において、観察画像に対してエッジ検出によるROI検出を行い、その結果から細胞の密集度を計算し、癌細胞を特定する方法が考えられた(例えば、特許文献１参照)。 For example, in a histological diagnosis, a method has been considered in which ROI detection is performed on an observed image by edge detection, the density of cells is calculated from the result, and cancer cells are identified (for example, see Patent Document 1).

これに対して細胞診の場合、一般的に、観察される細胞の画像においては、細胞が存在しない観察に不要な領域（空白領域）が、組織診の場合と比較して多く存在することが多い。 In contrast, in the case of cytodiagnosis, in general, in an image of a cell to be observed, there are more regions (blank regions) that are unnecessary for observation in which cells do not exist than in the case of histology. Many.

また、細胞診の場合、観察対象が、組織診のように組織の切断面では無いので、例えば細胞同士が重なったり、各細胞の大きさが異なったりする場合がある。つまり、観察領域内において、奥行き方向の焦点位置が部分毎に異なる場合もある。そこで、細胞診の場合、所謂Ｚスタックと称する奥行き方向の焦点位置制御が行われ、奥行き方向の焦点位置が互いに異なる複数の観察画像を生成する場合もある。 In the case of cytodiagnosis, the observation target is not the cut surface of the tissue as in the case of tissue diagnosis. For example, the cells may overlap or the sizes of the cells may be different. In other words, the focal position in the depth direction may vary from part to part within the observation region. Therefore, in the case of cytodiagnosis, a focus position control in the depth direction called a so-called Z stack is performed, and a plurality of observation images having different focus positions in the depth direction may be generated.

このように、細胞診の観察画像は、組織診の観察画像と異なる特徴を持つ場合が多いので、細胞診用の観察画像に対しては、細胞診用の観察画像の特徴に適した特徴解析を行うことが望ましい。 In this way, the observation image for cytodiagnosis often has different characteristics from the observation image for histology. Therefore, for the observation image for cytodiagnosis, feature analysis suitable for the characteristics of the observation image for cytodiagnosis is used. It is desirable to do.

特開２００９−１７５０４０号公報JP 2009-175040 A

しかしながら、細胞診用の観察画像の特徴に対して適切な方法で特徴解析を行う方法はなく、解析処理の負荷が不要に増大する等、効率よく画像の特徴解析を行うことができない恐れがあった。 However, there is no method for performing feature analysis by an appropriate method for the features of the observation image for cytodiagnosis, and there is a possibility that the feature analysis of the image cannot be performed efficiently, such as unnecessarily increasing the load of analysis processing. It was.

本発明は、このような状況に鑑みてなされたものであり、画像の特徴解析をより容易に行うことを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to perform image feature analysis more easily.

本発明の一側面は、特徴解析を行う画像を所定の縮小率で縮小する縮小手段と、前記縮小手段により前記縮小率で縮小された前記画像である縮小画像の特徴を解析し、前記縮小画像の中の注目すべき領域である注目領域を示すマスク情報であるROI（Region Of Interest）マスクを生成するROIマスク生成手段と、前記ROIマスク生成手段により生成された前記ROIマスクのサイズを、前記縮小手段により前記縮小率で縮小される前の前記画像のサイズに拡大するROIマスク拡大手段と、前記縮小手段により前記縮小率で縮小される前の前記画像の、前記ROIマスク拡大手段により拡大された前記ROIマスクにおいて注目すべきでない領域である空白領域とされる領域の特徴を解析し、その解析結果を用いて前記拡大されたROIマスクを更新するROIマスク更新手段とを備える画像処理装置である。 According to an aspect of the present invention, a reduction unit that reduces an image to be subjected to feature analysis at a predetermined reduction rate, a feature of the reduced image that is the image reduced at the reduction rate by the reduction unit, and the reduced image ROI mask generation means for generating a ROI (Region Of Interest) mask that is mask information indicating a region of interest in the region of interest, and the size of the ROI mask generated by the ROI mask generation unit, and ROI mask enlarging means by reduction means for enlarging the size of the front of the image is reduced by the reduction ratio, before the image is reduced by the reduction ratio by the reduction means is enlarged by the ROI mask enlarging means wherein analyzing the characteristics of the area to be blank area which is an area that should not be noted in the ROI mask, and ROI mask updating means for updating the enlarged ROI mask using the analysis result An image processing apparatus comprising.

前記ROIマスク生成手段は、前記縮小画像に対して所定のサイズの部分領域毎に画素値の分散を求め、前記分散の値の大きさによって前記部分領域の注目度を判定することにより、前記ROIマスクを生成することができる。 The ROI mask generating means obtains a variance of pixel values for each partial area of a predetermined size with respect to the reduced image, and determines the attention degree of the partial area based on the magnitude of the variance value, whereby the ROI A mask can be generated.

前記ROIマスク生成手段は、前記分散の値が１以上の部分領域を前記注目領域とすることができる。 The ROI mask generation means can set a partial region having the variance value of 1 or more as the region of interest.

前記ROIマスク生成手段は、前記分散の値が２以上の部分領域を、前記分散の値が１の部分領域よりも注目度が高い注目領域とすることができる。 The ROI mask generation means can set a partial area having a variance value of 2 or more as an attention area having a higher degree of attention than a partial area having the variance value of 1.

前記ROIマスク更新手段は、前記画像の前記空白領域とされる領域に対して所定のサイズの部分領域毎に画素値の分散を求め、前記分散の値の大きさによって前記部分領域の注目度を判定することにより、前記拡大されたROIマスクの空白領域を更新することができる。 The ROI mask update means obtains a variance of pixel values for each partial area of a predetermined size with respect to the blank area of the image, and determines the degree of attention of the partial area according to the magnitude of the variance value. By determining, the blank area of the enlarged ROI mask can be updated.

前記ROIマスク更新手段は、前記分散の値が２以上の部分領域を前記注目領域とすることができる。 The ROI mask update means can set a partial area having the variance value of 2 or more as the attention area.

前記ROIマスク生成手段により生成された前記ROIマスクの注目領域を拡張する拡張手段をさらに備えることができる。 The information processing apparatus may further include expansion means for extending a region of interest of the ROI mask generated by the ROI mask generation means.

前記ROIマスク更新手段により更新された前記拡大されたROIマスクの注目領域を拡張する拡張手段をさらに備えることができる。 The information processing apparatus may further include an expansion unit that expands a region of interest of the enlarged ROI mask updated by the ROI mask update unit.

前記画像のエッジ成分を検出するエッジ成分検出手段と、前記画像の、前記エッジ成分検出手段により検出された前記エッジ成分を含む領域を前記注目領域とするマスク情報であるエッジマスクを生成するエッジマスク生成手段と、前記ROIマスク更新手段により更新された前記拡大されたROIマスクに、前記エッジマスクを合成するマスク合成手段とをさらに備えることができる。 Edge component detection means for detecting an edge component of the image, and an edge mask for generating an edge mask which is mask information having the region including the edge component detected by the edge component detection means of the image as the attention area The image forming apparatus may further include generating means and mask synthesizing means for synthesizing the edge mask with the enlarged ROI mask updated by the ROI mask updating means.

本発明の一側面は、また、画像処理装置の画像処理方法であって、縮小手段が、特徴解析を行う画像を所定の縮小率で縮小し、ROI（Region Of Interest）マスク生成手段が、前記縮小率で縮小された前記画像である縮小画像の特徴を解析し、前記縮小画像の中の注目すべき領域である注目領域を示すマスク情報であるROIマスクを生成し、ROIマスク拡大手段が、生成された前記ROIマスクのサイズを、前記縮小率で縮小される前の前記画像のサイズに拡大し、ROIマスク更新手段が、前記縮小率で縮小される前の前記画像の、拡大された前記ROIマスクにおいて注目すべきでない領域である空白領域とされる領域の特徴を解析し、その解析結果を用いて前記拡大されたROIマスクを更新する画像処理方法である。 One aspect of the present invention is also an image processing method of the image processing apparatus, wherein the reduction unit reduces the image to be subjected to feature analysis at a predetermined reduction rate, and the ROI (Region Of Interest) mask generation unit includes Analyzing the characteristics of the reduced image, which is the image reduced at the reduction rate, and generating an ROI mask that is mask information indicating a region of interest in the reduced image, the ROI mask enlarging means, The size of the generated ROI mask is enlarged to the size of the image before being reduced at the reduction ratio, and the ROI mask update means is configured to enlarge the enlarged image of the image before being reduced at the reduction ratio. In this image processing method, a feature of a blank area, which is an area that should not be noted in the ROI mask, is analyzed, and the enlarged ROI mask is updated using the analysis result.

本発明の一側面においては、特徴解析を行う画像が所定の縮小率で縮小され、縮小率で縮小された画像である縮小画像の特徴が解析され、縮小画像の中の注目すべき領域である注目領域を示すマスク情報であるROI（Region Of Interest）マスクが生成され、生成されたROIマスクのサイズが、縮小率で縮小される前の画像のサイズに拡大され、縮小率で縮小される前の画像の、拡大されたROIマスクにおいて注目すべきでない領域である空白領域とされる領域の特徴が解析され、その解析結果を用いて拡大されたROIマスクが更新される。 In one aspect of the present invention, an image to be subjected to feature analysis is reduced at a predetermined reduction rate, and features of the reduced image, which is an image reduced at the reduction rate, are analyzed, and are attention areas in the reduced image. A ROI (Region Of Interest) mask, which is mask information indicating the region of interest, is generated, and the size of the generated ROI mask is enlarged to the size of the image before being reduced at the reduction rate, and before being reduced at the reduction rate The feature of the area which is a blank area, which is an area that should not be noticed in the enlarged ROI mask, is analyzed, and the enlarged ROI mask is updated using the analysis result.

本発明によれば、画像を処理することができる。特に、より容易に画像の特徴を解析することができる。 According to the present invention, an image can be processed. In particular, the characteristics of the image can be analyzed more easily.

本発明を適用したROI検出装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of the ROI detection apparatus to which this invention is applied. 原画像と縮小画像の、それぞれの処理対象ブロックの違いの例を説明する図である。It is a figure explaining the example of the difference of each process target block of an original image and a reduction image. 図１のROIマスク生成部の主な構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a main configuration example of an ROI mask generation unit in FIG. 1. 縮小画像におけるブロックサイズの例を説明する図である。It is a figure explaining the example of the block size in a reduction image. 図１のマスク領域拡張部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of the mask area | region expansion part of FIG. 保護領域とする画像のパターンの例を説明する図である。It is a figure explaining the example of the pattern of the image used as a protection area. 保護領域の設定の様子の例を説明する図である。It is a figure explaining the example of the mode of a setting of a protection area. マスクを拡大する様子の例を説明する図である。It is a figure explaining the example of a mode that a mask is expanded. 図１のROIマスク更新部の主な構成例を示す図である。It is a figure which shows the main structural examples of the ROI mask update part of FIG. マスクの更新の様子を説明する図である。It is a figure explaining the mode of the update of a mask. エッジ抽出の様子の例を説明する図である。It is a figure explaining the example of the mode of edge extraction. マスクの合成の様子の例を説明する図である。It is a figure explaining the example of the mode of composition of a mask. ROI検出処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a ROI detection process. ROIマスク生成処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a ROI mask production | generation process. マスク領域拡張処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a mask area | region expansion process. ROIマスク更新処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a ROI mask update process. 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of the personal computer to which this invention is applied.

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ROI検出装置）
２．第２の実施の形態（パーソナルコンピュータ） Hereinafter, modes for carrying out the invention (hereinafter referred to as embodiments) will be described. The description will be given in the following order.
1. First embodiment (ROI detection device)
2. Second embodiment (personal computer)

＜１．第１の実施の形態＞
［ROI検出装置］
図１は、本発明を適用したROI（Region Of Interest）検出装置の主な構成例を示すブロック図である。ROI検出装置１００は、入力画像の特徴を解析する。また、ROI検出装置１００は、その解析結果に基づいて、入力画像内の領域をその特徴に応じて分類する。より具体的には、ROI検出装置１００は、入力画像を、所定の部分領域毎に特徴解析し、その特徴に応じて各部分領域を分類する。より具体的には、ROI検出装置１００は、入力画像内の各部分領域を画像の特徴に応じて分類する情報であるマスク情報を生成する。 <1. First Embodiment>
[ROI detector]
FIG. 1 is a block diagram showing a main configuration example of a ROI (Region Of Interest) detection apparatus to which the present invention is applied. The ROI detection apparatus 100 analyzes the characteristics of the input image. Further, the ROI detection apparatus 100 classifies the region in the input image according to the feature based on the analysis result. More specifically, the ROI detection apparatus 100 performs feature analysis on the input image for each predetermined partial region, and classifies each partial region according to the feature. More specifically, the ROI detection apparatus 100 generates mask information that is information for classifying each partial region in the input image according to the feature of the image.

ROI検出装置１００は、このような画像解析により、例えば、入力画像の注目すべき部分を示す注目領域を検出する。つまりROI検出装置１００は、入力画像内の注目領域を指定するマスク情報を生成する。また、ROI検出装置１００は、例えば、入力画像の注目すべきでない部分を示す空白領域を検出する。つまりROI検出装置１００は、入力画像内の空白領域を指定するマスク情報を生成する。 The ROI detection apparatus 100 detects, for example, a region of interest indicating a notable part of the input image through such image analysis. That is, the ROI detection apparatus 100 generates mask information that specifies a region of interest in the input image. In addition, the ROI detection device 100 detects, for example, a blank area that indicates a portion that should not be noticed in the input image. That is, the ROI detection apparatus 100 generates mask information that designates a blank area in the input image.

このようにROI検出装置１００により生成されたマスク情報は、様々な画像処理に使用することができる。 Thus, the mask information generated by the ROI detection apparatus 100 can be used for various image processing.

ROI検出装置１００は、画像縮小部１０１、ROIマスク生成部１０２、注目領域拡張部１０３、ROIマスク拡大部１０４、ROIマスク更新部１０５、注目領域拡張部１０６、マスク合成部１０７、エッジ検出部１０８、およびエッジマスク生成部１０９を有する。 The ROI detection apparatus 100 includes an image reduction unit 101, an ROI mask generation unit 102, a region of interest expansion unit 103, a ROI mask expansion unit 104, a ROI mask update unit 105, a region of interest expansion unit 106, a mask composition unit 107, and an edge detection unit 108. And an edge mask generation unit 109.

［階層型ROI検出の概要］
ROI検出装置１００は、処理対象の画像に対して、所定の大きさの部分領域（ブロック）を処理単位として、そのブロック毎に画像の特徴を解析する。つまり、ROI検出装置１００は、予め定められたブロック毎に注目度を判定し、例えば注目領域（ROI）であるか否かを判定する。換言すれば、ROI検出装置１００が生成するマスク情報は、このブロック毎に画像の特徴を示す。 [Outline of Hierarchical ROI Detection]
The ROI detection apparatus 100 analyzes a feature of an image for each block, with a partial area (block) having a predetermined size as a processing unit for the processing target image. That is, the ROI detection device 100 determines the attention level for each predetermined block, and determines, for example, whether the region is a region of interest (ROI). In other words, the mask information generated by the ROI detection apparatus 100 indicates image characteristics for each block.

ROI検出装置１００は、入力画像を、複数の画像サイズで階層的に特徴解析する。例えば、ROI検出装置１００は、入力画像を縮小して縮小画像を生成し、その縮小画像と原画像（縮小していない入力画像）とのそれぞれについて特徴解析を行い、それらの両方の解析結果を用いてマスク情報を生成する。 The ROI detection apparatus 100 hierarchically analyzes the input image with a plurality of image sizes. For example, the ROI detection apparatus 100 generates a reduced image by reducing the input image, performs feature analysis on each of the reduced image and the original image (an input image that has not been reduced), and obtains the analysis results of both of them. To generate mask information.

このときROI検出装置１００は、各画像サイズの入力画像に対して、同じサイズのブロック毎に特徴解析を行う。したがって、１つのブロックに含まれる画像の範囲は、図２に示されるように、画像サイズ毎に異なる。図２の左側には、原画像におけるブロックの例が示されており、図２の右側には、縮小画像におけるブロックの例が示されている。この左右の例のブロックのサイズは互いに等しいが、その中に含まれる画像の範囲は、縮小画像の場合の方が広い。 At this time, the ROI detection apparatus 100 performs feature analysis for each block of the same size on the input image of each image size. Accordingly, the range of images included in one block differs for each image size as shown in FIG. An example of blocks in the original image is shown on the left side of FIG. 2, and an example of blocks in the reduced image is shown on the right side of FIG. The sizes of the blocks in the left and right examples are equal to each other, but the range of images included therein is wider in the case of a reduced image.

このように複数の範囲で特徴を解析することにより、ROI検出装置１００は、注目領域の誤検出や、検出漏れを抑制することができる。 Thus, by analyzing features in a plurality of ranges, the ROI detection apparatus 100 can suppress erroneous detection of a region of interest and detection omission.

例えば、入力画像が細胞診の観察画像の場合、入力画像内の領域には、一般的に、細胞が集まる部分と、細胞が存在しない部分とが存在する。細胞診においては細胞が観察対象となるので、その細胞診の観察画像では、一般的に、細胞が存在する部分が注目領域（ROI）となり、細胞が存在しない部分が空白領域となる。 For example, when the input image is a cytodiagnosis observation image, the region in the input image generally includes a portion where cells gather and a portion where cells do not exist. In cytodiagnosis, cells are the object of observation, and in the observation image of cytodiagnosis, generally, a portion where cells are present is a region of interest (ROI), and a portion where cells are not present is a blank region.

ROI検出装置１００は、ブロック毎に画素値の分散を求め、その値によって、細胞が存在する部分であるか否か（注目領域であるか否か）等を判定する。一般的に、ブロック内に細胞が存在すれば、多様な成分が生じやすく画素値の分散が大きくなる。逆に、細胞が存在しなければ、一様な画像となり画素値の分散は小さくなる。 The ROI detection apparatus 100 obtains the variance of the pixel value for each block, and determines whether or not the cell is a portion (whether it is a region of interest) or the like based on the value. In general, if cells exist in a block, various components are likely to occur, and the dispersion of pixel values increases. Conversely, if there are no cells, the image is uniform and the dispersion of pixel values is small.

しかしながら、細胞診においてＺスタックを扱う場合、細胞の大きさや形を立体的に捉える必要があり、奥行き方向に焦点位置を変えて複数の画像が生成されることがある。したがって、処理対象のブロックの画像に焦点が合っていないことも考えられる。焦点がずれると画像がボケてエッジ成分が弱くなりやすいので、一般的に、ブロック全体の画素値の分散を用いる方法の方が、エッジ検出を用いる方法よりも、焦点ずれに強く、より正確に細胞の有無を判定することができる。しかしながら、焦点がより大きくずれると分散はより小さくなるので、細胞の検出漏れが生じる恐れがある。 However, when the Z stack is handled in cytodiagnosis, it is necessary to capture the size and shape of the cells three-dimensionally, and a plurality of images may be generated by changing the focal position in the depth direction. Therefore, it is possible that the image of the block to be processed is not in focus. Since the image tends to be blurred and the edge component tends to be weak when the focus is shifted, in general, the method using the dispersion of pixel values of the entire block is more resistant to defocusing and more accurate than the method using edge detection. The presence or absence of cells can be determined. However, since the dispersion becomes smaller when the focal point is further deviated, there is a risk of cell detection failure.

また、細胞の構造上、図２の左側に示されるように、ブロックが細胞内の平坦な部分に位置することも考えられる。このような場合、各画素値が一様になることで分散が小さくなり、そのブロックが空白領域と特定されてしまうことも考えられる。 Moreover, it is also conceivable that the block is located in a flat portion in the cell as shown on the left side of FIG. 2 due to the structure of the cell. In such a case, it is conceivable that the dispersion of the respective pixel values becomes uniform, and the block is specified as a blank area.

注目領域の検出漏れや誤検出が生じると、そのマスク情報を利用した画像処理において悪影響を及ぼす恐れがある。例えば、マスク情報に基づいて入力画像の空白領域のみ圧縮する場合、本来注目領域とすべき部分（例えば細胞など）が検出漏れによりマスク情報において空白領域とされていると、その部分が圧縮されて画質が低減してしまう恐れがある。 If a detection failure or erroneous detection of the attention area occurs, there is a risk of adversely affecting image processing using the mask information. For example, when only the blank area of the input image is compressed based on the mask information, if a part that should be the target area (for example, a cell) is a blank area in the mask information due to omission of detection, that part is compressed. The image quality may be reduced.

これに対して縮小画像の場合、図２の右側に示されるように、ブロック内に含まれる画像の範囲が原画像の場合よりも広いので、細胞のエッジ部分等が含まれる可能性が高くなる。また、ブロックに含まれる画像の範囲が広がることにより一般的に画素値の分散が大きくなりやすくなる。 On the other hand, in the case of a reduced image, as shown on the right side of FIG. 2, the range of the image included in the block is wider than in the case of the original image, so that there is a high possibility that the edge portion of the cell is included. . In addition, the dispersion of pixel values generally tends to increase due to the expansion of the range of images included in a block.

ただし、画像縮小によりブロック内における細胞が存在しない部分が広くなるような場合、そのブロックの画素値の分散が低下し、空白領域とされてしまうことも考えられる。 However, when the portion where no cell exists in the block becomes wide due to the image reduction, the dispersion of the pixel value of the block may be reduced to be a blank area.

したがって、ROI検出装置１００は、上述したように複数階層型に特徴解析を行う。例えば、ROI検出装置１００は、縮小画像と原画像のそれぞれについて特徴解析を行い、その両方の解析結果に基づいてマスク情報を生成する。これにより、ROI検出装置１００は、原画像のみ若しくは縮小画像のみを用いる場合よりも、注目領域の検出漏れや誤検出の発生を抑制することができる。 Therefore, the ROI detection apparatus 100 performs feature analysis in a multi-layered manner as described above. For example, the ROI detection apparatus 100 performs feature analysis for each of the reduced image and the original image, and generates mask information based on the analysis results of both. Thereby, the ROI detection apparatus 100 can suppress the occurrence of detection omission and erroneous detection of the attention area as compared with the case where only the original image or only the reduced image is used.

換言すれば、ROI検出装置１００は、複数階層型に特徴解析を行うだけで、複雑な処理や高度な解析処理を必要とせずに、より容易に、画像のより正確な特徴解析を行うことができる。 In other words, the ROI detection apparatus 100 can perform more accurate feature analysis of an image more easily without performing complicated processing or advanced analysis processing, only by performing feature analysis in multiple layers. it can.

［入力画像］
ROI検出装置１００に入力される入力画像は、YUVのＹプレーン（輝度成分）である。なお、入力画像はRGBのグレースケール変換されたものであってもよい。また、後述する分散処理においては、YUVのＵプレーンおよびＶプレーン（色差成分）も用いるようにすると、より安全に細胞（注目領域）を検出することができる。 [Input image]
The input image input to the ROI detection apparatus 100 is a YUV Y plane (luminance component). The input image may be an RGB grayscale converted image. Further, in the dispersion processing described later, if the U-plane and V-plane (color difference component) of YUV are also used, the cells (region of interest) can be detected more safely.

以下に、図１のROI検出装置１００の各部について、より詳細に説明する。 Below, each part of the ROI detection apparatus 100 of FIG. 1 is demonstrated in detail.

［画像縮小部］
最初に、画像縮小部１０１について説明する。画像縮小部１０１は、入力画像を所定の倍率で縮小し、縮小画像を生成する（Down sample）。例えば、画像縮小部１０１は、階層型ROI検出の第１階層処理用に入力画像を縦横４分の１に縮小する。入力画像の縮小率は、電子顕微鏡のレンズの倍率や観察対象（例えば細胞）の大きさ等により変えることが望ましい。 [Image reduction part]
First, the image reduction unit 101 will be described. The image reduction unit 101 reduces the input image at a predetermined magnification to generate a reduced image (Down sample). For example, the image reduction unit 101 reduces the input image to a quarter of the length and breadth for the first layer processing of the layered ROI detection. The reduction ratio of the input image is desirably changed according to the magnification of the lens of the electron microscope, the size of the observation target (for example, a cell), or the like.

入力画像の縮小方法は任意である。例えば、２次元縮小フィルタや２次元平均フィルタを用いるようにしてもよい。前者は高精度で低速であり、後者は前者よりも精度が落ちるが高速である。さらに、単に画素を間引くだけでもよい。 The method for reducing the input image is arbitrary. For example, a two-dimensional reduction filter or a two-dimensional average filter may be used. The former is highly accurate and slow, and the latter is faster but less accurate than the former. Furthermore, the pixels may be simply thinned out.

画像縮小部１０１は、生成した縮小画像をROIマスク生成部１０２に供給する。 The image reduction unit 101 supplies the generated reduced image to the ROI mask generation unit 102.

［ROIマスク生成部］
ROIマスク生成部１０２は、入力された縮小画像の特徴を解析し、その縮小画像の注目領域を示すマスク情報（ROIマスク）を生成する。図３は、ROIマスク生成部１０２の主な構成例を示すブロック図である。図３に示されるように、ROIマスク生成部１０２は、分散算出部１２１およびROIレベル設定部１２２を有する。 [ROI mask generator]
The ROI mask generation unit 102 analyzes the features of the input reduced image and generates mask information (ROI mask) indicating the attention area of the reduced image. FIG. 3 is a block diagram illustrating a main configuration example of the ROI mask generation unit 102. As illustrated in FIG. 3, the ROI mask generation unit 102 includes a variance calculation unit 121 and an ROI level setting unit 122.

分散算出部１２１は、入力された縮小画像に対して、Ｎ×Ｎ画素（Ｎは任意の自然数）のブロック毎に画素値の分散を求める。期待値をE(X)とすると、画素値の分散V(X)は以下の式（１）のように算出される。 The variance calculation unit 121 obtains the variance of pixel values for each block of N × N pixels (N is an arbitrary natural number) with respect to the input reduced image. When the expected value is E (X), the variance V (X) of the pixel value is calculated as in the following formula (1).

V(X)＝E(X²)-(E(X))² ・・・（１） V (X) = E (X ² )-(E (X)) ² (1)

例えば、縮小画像を６４×６４画素とし、ブロックを８×８画素とすると、図４に示されるように、縮小画像は６４個のブロックに分けられる。この場合、分散算出部１２１は、縮小画像に対して６４個の分散V(X)を算出する。 For example, if the reduced image is 64 × 64 pixels and the block is 8 × 8 pixels, the reduced image is divided into 64 blocks as shown in FIG. In this case, the variance calculation unit 121 calculates 64 variances V (X) for the reduced image.

なお、ブロックサイズ（Ｎ×Ｎ）は任意であるが、JPEG（Joint Photographic Experts Group）方式やMPEG（Moving Picture Experts Group）方式の圧縮処理に使用するマスク情報を生成する場合、ブロックサイズを、その圧縮処理ブロックにあったサイズとすることにより、圧縮処理の際の演算が容易になる。 The block size (N × N) is arbitrary, but when generating mask information used for JPEG (Joint Photographic Experts Group) or MPEG (Moving Picture Experts Group) compression processing, the block size By making the size suitable for the compression processing block, calculation during the compression processing is facilitated.

分散算出部１２１は、このように算出した各ブロックの分散V(X)をROIレベル設定部１２２に供給する。このとき、各分散V(X)と、その分散V(X)が対応する領域（例えばブロック）が明示される。その方法は任意である。 The variance calculation unit 121 supplies the variance V (X) of each block calculated in this way to the ROI level setting unit 122. At this time, each variance V (X) and an area (for example, a block) to which the variance V (X) corresponds are specified. The method is arbitrary.

例えば、縮小画像の各画素を所定の順に並べる整列順を予め設定し、その整列順に、各画素に対応する各分散V(X)をROIレベル設定部１２２に供給するようにしてもよい。これを画素単位でなくブロック単位で行うようにしてもよい。その他の単位であってももちろんよい。 For example, an arrangement order in which the pixels of the reduced image are arranged in a predetermined order may be set in advance, and each variance V (X) corresponding to each pixel may be supplied to the ROI level setting unit 122 in the arrangement order. This may be performed in units of blocks instead of in units of pixels. Of course, other units may be used.

ROIレベル設定部１２２は、分散算出部１２１から供給される分散V(X)の値に応じて、各ブロックに、その領域の種別（注目度）を示すROIレベルを設定する。 The ROI level setting unit 122 sets an ROI level indicating the type (attention level) of each area in each block according to the value of the variance V (X) supplied from the variance calculating unit 121.

例えば、ROIレベル設定部１２２は、分散V(X)＝０のブロックのROIレベルを「空白領域」に設定する。また、例えば、ROIレベル設定部１２２は、分散V(X)＝１のブロックのROIレベルを「細胞領域Level Low」に設定し、分散V(X)＝２以上のブロックのROIレベルを「細胞領域」に設定する。 For example, the ROI level setting unit 122 sets the ROI level of the block with the variance V (X) = 0 to “blank area”. Further, for example, the ROI level setting unit 122 sets the ROI level of the block with the variance V (X) = 1 to “cell region Level Low”, and sets the ROI level of the block with the variance V (X) = 2 to “cell”. Set to "Area".

ROIレベル「空白領域」は、その領域が注目すべきでない領域（空白領域）であることを示す。つまり、このROIレベル「空白領域」により、細胞が存在しないとされた領域であることが示される。 The ROI level “blank area” indicates that the area should not be noticed (blank area). That is, this ROI level “blank area” indicates that the area is assumed to have no cells.

ROIレベル「細胞領域」は、その領域が注目すべきである領域（注目領域）であることを示す。つまり、このROIレベル「細胞領域」により、細胞が存在するとされた領域であることが示される。 The ROI level “cell region” indicates that the region is a region to which attention should be paid (region of interest). That is, this ROI level “ cell region” indicates that the region is a region where cells are supposed to exist.

ROIレベル「細胞領域Level Low」は、その領域が注目領域の１つであることを示す。ただし、ROIレベル「細胞領域」とは識別される。 The ROI level “cell area Level Low” indicates that the area is one of the attention areas. However, it is distinguished from the ROI level “cell region”.

ここでは、画素値の分散V(X)は縮小画像を用いて求められているので、分散V(X)の閾値設定は、空白領域にあるカメラノイズや染色液のノイズが除去されていることを考慮し設定されている。 Here, since the variance V (X) of the pixel value is obtained using a reduced image, the threshold value setting of the variance V (X) must be such that camera noise and staining solution noise in the blank area are removed. Is set in consideration.

分散V(X)＝１のブロックは、細胞の画像を含む可能性は低いが０ではないので、安全のため（注目領域の検出漏れを抑制するために）注目領域として設定される。ただし、この部分は処理用途に応じて最適な処理ができるように、分散V(X)＝２以上のブロックのROIレベル「細胞領域」とは、異なるROIレベル「細胞領域Level Low」に設定される。 A block with variance V (X) = 1 is not likely to contain an image of a cell, but is not 0. Therefore, the block is set as an attention area for safety (in order to suppress omission of detection of the attention area). However, this part is set to a different ROI level “cell area Level Low” from the ROI level “cell area” of the block with variance V (X) = 2 or more so that the optimum processing can be performed according to the processing application. The

例えば、マスク情報を符号化処理の量子化処理に用い、ROIレベルに応じて量子化パラメータを設定するとする。この場合、分散V(X)＝１のブロックと分散V(X)＝２以上のブロックとでROIレベルを分けておくことにより、例えば、分散V(X)＝１のブロックの量子化パラメータを分散V(X)＝２以上のブロックの量子化パラメータより低く設定し、視覚的な影響を抑制しながら画像データの符号化効率を向上させることができる。 For example, it is assumed that the mask information is used for the quantization process of the encoding process, and the quantization parameter is set according to the ROI level. In this case, by dividing the ROI level between the block with variance V (X) = 1 and the block with variance V (X) = 2 or more, for example, the quantization parameter of the block with variance V (X) = 1 is set. By setting the variance V (X) = 2 or lower than the quantization parameter of the block, it is possible to improve the encoding efficiency of the image data while suppressing the visual influence.

このように分散V(X)の値に基づいてROIレベルを設定すると、ROIレベル設定部１２２は、各ROIレベルを、各ブロックのROIレベルを示すマスク情報（ROIマスク）として注目領域拡張部１０３に供給する。 When the ROI level is set based on the value of the variance V (X) in this way, the ROI level setting unit 122 uses each ROI level as mask information (ROI mask) indicating the ROI level of each block, and the attention area extension unit 103. To supply.

このROIマスクは、縮小画像の各画素のROIレベルを示す情報である。換言するに、ROIマスクは、縮小画像における各ROIレベルの領域を示す情報である。 This ROI mask is information indicating the ROI level of each pixel of the reduced image. In other words, the ROI mask is information indicating a region of each ROI level in the reduced image.

［注目領域拡張部］
注目領域拡張部１０３は、供給されたROIマスクにおいて、所定の規則に従って注目領域の範囲を拡大する。これは、本来注目領域とすべき部分（例えば細胞の画像が含まれるブロック）を空白領域としてしまうこと、すなわち、注目領域の検出漏れを抑制するための処理である。 [Attention area extension]
The attention area expanding unit 103 expands the range of the attention area in accordance with a predetermined rule in the supplied ROI mask. This is a process for making a portion that should be a region of interest (for example, a block including an image of a cell) a blank region, that is, a process for suppressing a detection failure of the region of interest.

図５は、注目領域拡張部１０３の主な構成例を示すブロック図である。図５に示されるように、注目領域拡張部１０３は、マスク解析部１４１およびROIレベル設定部１４２を有する。 FIG. 5 is a block diagram illustrating a main configuration example of the attention area expansion unit 103. As shown in FIG. 5, the attention area expansion unit 103 includes a mask analysis unit 141 and an ROI level setting unit 142.

マスク解析部１４１は、拡張すべき領域の特定を行う。例えば、図６に示される丸で囲まれた部分のように、細胞診の観察画像において細胞が集塊している部分においても、細胞間に隙間が生じることがある。ブロックの位置によってはROIマスク生成部１０２が、このような領域を空白領域とする場合も考えられる。しかしながら、このように細胞に近接する領域は観察すべき情報が含まれている可能性が高く注目領域とすべき場合が多い。 The mask analysis unit 141 specifies a region to be expanded. For example, a gap may be formed between cells even in a portion where cells are agglomerated in a cytodiagnosis observation image like a circled portion shown in FIG. Depending on the position of the block, the ROI mask generation unit 102 may consider such an area as a blank area. However, the region close to the cell in this way is likely to contain information to be observed and is often the attention region.

注目領域拡張部１０３は、安全のため（注目領域の検出漏れ抑制のため）に、注目領域を拡張し、このような部分を空白領域としないようにする。そのためにマスク解析部１４１は、このような部分の特定を行う。 The attention area expansion unit 103 expands the attention area for safety (to suppress detection omission of the attention area), and prevents such a portion from being a blank area. Therefore, the mask analysis unit 141 identifies such a part.

拡張方法は任意である。例えば、ROIマスクにおいて細胞が存在すると判定された領域を一様に拡大するようにしてもよい。例えば、マスク解析部１４１は、ROIマスクを解析し、注目領域とされているブロックに隣接する、空白領域のブロックを処理対象ブロックとして特定する。このとき、注目領域のブロックに隣接しない、近隣のブロックも含めるようにしてもよい。また、注目領域のうち、ROIレベル「細胞領域」のブロックのみを拡張するようにしてもよい。 The expansion method is arbitrary. For example, an area where cells are determined to be present in the ROI mask may be uniformly enlarged. For example, the mask analysis unit 141 analyzes the ROI mask and specifies a block in the blank area adjacent to the block that is the attention area as the processing target block. At this time, neighboring blocks that are not adjacent to the block in the region of interest may be included. Further, only the block of the ROI level “cell region” in the region of interest may be expanded.

また、例えば、ROIマスクにおいて細胞が存在しないと判定された領域を、その周辺の領域の状況に応じて再検討するようにしてもよい。例えば、マスク解析部１４１は、ROIマスクの領域分布パターンを解析し、空白領域とされたブロックの周囲に注目領域（若しくは細胞領域）とされたブロックが多く存在する場合、その空白領域のブロックを処理対象ブロックとして特定する。処理対象ブロックとするか否かの基準（閾値）とする、その周辺の注目領域（若しくは細胞領域）のブロックの割合（または数）は、任意である。 In addition, for example, an area determined as having no cells in the ROI mask may be reexamined according to the situation of the surrounding area. For example, the mask analysis unit 141 analyzes the region distribution pattern of the ROI mask, and when there are many blocks set as the attention region (or cell region) around the block set as the blank region, the block of the blank region is displayed. Identified as a processing target block. The ratio (or number) of blocks in the surrounding region of interest (or cell region) that is used as a reference (threshold) for determining whether or not to be a processing target block is arbitrary.

前者は、より安全に注目領域を求めたい場合に利用される。後者は、積極的に空白領域を抽出したい場合に利用される。 The former is used when it is desired to obtain the attention area more safely. The latter is used when it is desired to positively extract a blank area.

マスク解析部１４１は、ROIマスクとともにその解析結果をROIレベル設定部１４２に供給する。ROIレベル設定部１４２は、例えば図７に示されるように、指定された処理対象ブロックのROIレベルを「保護領域」に設定する。ROIレベル「保護領域」は、その領域が注目領域の１つであることを示す。ただし、ROIレベル「細胞領域」や「細胞領域Level Low」とは識別される。 The mask analysis unit 141 supplies the analysis result together with the ROI mask to the ROI level setting unit 142. For example, as shown in FIG. 7, the ROI level setting unit 142 sets the ROI level of the designated processing target block to “protection area”. The ROI level “protection area” indicates that the area is one of the attention areas. However, the ROI level “cell region” and “cell region Level Low” are distinguished.

ROIレベル設定部１４２は、処理用途に応じて最適な処理ができるように、この処理対象ブロックを、細胞が存在するとされるブロックの「細胞領域」や「細胞領域Level Low」とは異なるROIレベルに設定する。 The ROI level setting unit 142 sets this processing target block to be different from the “cell area” and “cell area level low” of the block where the cell is present so that the optimum processing can be performed according to the processing application. Set to.

以上のように注目領域を拡張すると、ROIレベル設定部１４２は、ROIマスクをROIマスク拡大部１０４に供給する。 When the attention area is expanded as described above, the ROI level setting unit 142 supplies the ROI mask to the ROI mask enlargement unit 104.

なお、この注目領域拡張部１０３は、省略することができる。その場合、ROIマスク生成部１０２により生成されたROIマスクはROIマスク拡大部１０４に供給される。 The attention area extension unit 103 can be omitted. In that case, the ROI mask generated by the ROI mask generation unit 102 is supplied to the ROI mask enlargement unit 104.

［ROIマスク拡大部］
ROIマスク拡大部１０４は、ROIマスクを拡大する。ROIマスク拡大部１０４に供給されるROIマスクは、第１階層の画像サイズの入力画像に基づいて作成されたものであるので、ROIマスク拡大部１０４は、このROIマスクを第２階層の処理に使用することができるように、ROIマスクのサイズを変換する。 [ROI mask enlargement section]
The ROI mask enlargement unit 104 enlarges the ROI mask. Since the ROI mask supplied to the ROI mask enlargement unit 104 is created based on the input image having the image size of the first layer, the ROI mask enlargement unit 104 uses this ROI mask for the processing of the second layer. Convert the ROI mask size so that it can be used.

より具体的には、ROIマスク拡大部１０４は、縮小画像に基づいて作成されたROIマスクをアップサンプリングし、原画像のサイズに戻す（Up sample）。つまり、ROIマスク拡大部１０４は、画像縮小部１０１における入力画像縮小時の縮小率に応じた拡大率でROIマスクを拡大し、原画像（縮小前の入力画像）の注目領域を示すマスク情報にする。 More specifically, the ROI mask enlargement unit 104 up-samples the ROI mask created based on the reduced image and returns it to the size of the original image (Up sample). That is, the ROI mask enlarging unit 104 enlarges the ROI mask at an enlargement rate corresponding to the reduction rate at the time of the input image reduction in the image reduction unit 101, and uses the mask information indicating the attention area of the original image (input image before reduction). To do.

拡張方法は、任意である。例えば図８に示されるように、ROIマスクの画素数を、画像縮小部１０１における入力画像縮小時の縮小率で拡大するようにしてもよい。例えば、画像縮小部１０１において入力画像が縦横４分の１に縮小された場合、ROIマスク拡大部１０４は、ROIマスクの１画素を複製して縦横４画素（合計１６画素）にする。この場合ROIマスクの画素値はROIレベルを示しているので、単に複製するだけでよい（画素値を変更するとROIレベルが変更されることになるので基本的には好ましくない）。 The expansion method is arbitrary. For example, as shown in FIG. 8, the number of pixels of the ROI mask may be enlarged at a reduction rate when the input image is reduced in the image reduction unit 101. For example, when the input image is reduced to 1/4 in the vertical and horizontal directions in the image reducing unit 101, the ROI mask enlarging unit 104 duplicates one pixel of the ROI mask into 4 pixels in the vertical and horizontal directions (16 pixels in total). In this case, since the pixel value of the ROI mask indicates the ROI level, it may be simply duplicated (in principle, changing the pixel value changes the ROI level, which is not preferable).

図８においては、角丸四角形で囲まれる各丸がROIマスクの画素を示している。斜線の丸が注目領域を示し、白丸が空白領域を示すものとする。ROIマスク拡大部１０４は、角丸四角形内の左上端の画素を縦横それぞれ４つずつ複製し、角丸四角形内の１６画素を生成する。つまり、同じROIレベルの領域が縦横４倍に拡大される。 In FIG. 8, each circle surrounded by a rounded rectangle represents a pixel of the ROI mask. A hatched circle indicates a region of interest, and a white circle indicates a blank region. The ROI mask enlarging unit 104 duplicates the upper left pixel in the rounded rectangle four by four in the vertical and horizontal directions, and generates 16 pixels in the rounded rectangle. That is, the same ROI level area is expanded four times in length and width.

なお、ブロックサイズは各階層で共通であるので、Ｎ×Ｎのままである。また、以上のような複製を画素単位ではなくブロック単位で行うようにしてもよい。ROIマスク拡大部１０４は、画像サイズを拡大したROIマスクをROIマスク更新部１０５に供給する。 Note that since the block size is common to each layer, it remains N × N. Further, the duplication as described above may be performed in units of blocks instead of in units of pixels. The ROI mask enlargement unit 104 supplies the ROI mask whose image size has been enlarged to the ROI mask update unit 105.

［ROIマスク更新部］
ROIマスク更新部１０５は、さらに、注目領域の検出漏れを抑制するために、原画像（画像サイズが変更されていない入力画像）を用いて、ROIマスク拡大部１０４から供給されるROIマスクの空白領域を補正する。 [ROI mask update unit]
The ROI mask update unit 105 further uses the original image (the input image whose image size has not been changed) to blank the ROI mask supplied from the ROI mask enlargement unit 104 in order to suppress detection omission of the attention area. Correct the area.

図９は、ROIマスク更新部１０５の主な構成例を示すブロック図である。図９に示されるように、ROIマスク更新部１０５は、空白領域特定部１６１、分散算出部１６２、およびROIレベル設定部１６３を有する。 FIG. 9 is a block diagram illustrating a main configuration example of the ROI mask update unit 105. As illustrated in FIG. 9, the ROI mask update unit 105 includes a blank area specifying unit 161, a variance calculating unit 162, and an ROI level setting unit 163.

空白領域特定部１６１は、原画像サイズに拡大されたROIマスクに基づいて、入力画像（原画像）における空白領域の部分を特定し、ROIマスクと、入力画像の空白領域の部分を分散算出部１６２に供給する。 The blank area specifying unit 161 specifies a blank area portion in the input image (original image) based on the ROI mask enlarged to the original image size, and calculates the ROI mask and the blank area portion of the input image as a variance calculation unit. 162.

分散算出部１６２は、供給された入力画像の空白領域の部分においてブロック毎に分散を求める。つまり、分散算出部１６２は、例えば図１０に示されるように、入力画像の空白領域に特定されたブロックについてのみ分散を求める（Ｎ×Ｎ画素単位で分散を求める）。縮小処理による検出漏れはここで抑制することができる。分散算出部１６２は、算出した分散とROIマスクをROIレベル設定部１６３に供給する。 The variance calculation unit 162 obtains variance for each block in the blank area portion of the supplied input image. That is, for example, as shown in FIG. 10, the variance calculation unit 162 obtains variance only for the block specified in the blank area of the input image (calculates variance in units of N × N pixels). The detection omission due to the reduction process can be suppressed here. The variance calculation unit 162 supplies the calculated variance and the ROI mask to the ROI level setting unit 163.

ROIレベル設定部１６３は、算出された分散の値に従って、ROIマスクの空白領域のROIレベルの再設定を行う。 The ROI level setting unit 163 resets the ROI level of the blank area of the ROI mask according to the calculated variance value.

例えば、ROIレベル設定部１２２は、分散V(X)＝０のブロックと分散V(X)＝１のブロックのROIレベルを「空白領域」に設定する。また、例えば、ROIレベル設定部１２２は、分散V(X)＝２以上のブロックのROIレベルを「細胞領域」に設定する。 For example, the ROI level setting unit 122 sets the ROI level of the block with variance V (X) = 0 and the block with variance V (X) = 1 to “blank area”. Further, for example, the ROI level setting unit 122 sets the ROI level of the block having the variance V (X) = 2 or more to the “cell region”.

分散は原画像を用いて求められているので、空白領域にも多数ノイズが存在し、そのノイズにより分散が高めに算出される可能性が高い。そこで、ROIレベル設定部１２２は、そのようなノイズ成分により誤検出を抑制するために、分散V(X)＝１のブロックのROIレベルも「空白領域」に設定する。 Since the variance is obtained using the original image, there are many noises in the blank area, and there is a high possibility that the variance is calculated to be higher due to the noise. Therefore, the ROI level setting unit 122 sets the ROI level of the block with the variance V (X) = 1 to the “blank area” in order to suppress erroneous detection by such a noise component.

以上のようにROIマスクの空白領域のROIレベルを再設定すると、ROIレベル設定部１６３は、更新されたROIマスクを注目領域拡張部１０６に供給する。 When the ROI level of the blank area of the ROI mask is reset as described above, the ROI level setting unit 163 supplies the updated ROI mask to the attention area extension unit 106.

［注目領域拡張部］
注目領域拡張部１０６は、更新された原画像サイズのROIマスクに対して、注目領域拡張部１０３と同様の拡張処理を行い、所定の規則に従って注目領域（若しくは細胞領域）の範囲を拡大する。これは、本来注目領域とすべき部分（例えば細胞の画像が含まれるブロック）を空白領域としてしまうこと、すなわち、注目領域の検出漏れを抑制するための処理である。 [Attention area extension]
The attention area expansion unit 106 performs the same expansion process as the attention area expansion unit 103 on the updated ROI mask of the original image size, and expands the range of the attention area (or cell region) according to a predetermined rule. This is a process for making a portion that should be a region of interest (for example, a block including an image of a cell) a blank region, that is, a process for suppressing a detection failure of the region of interest.

注目領域拡張部１０６は、注目領域拡張部１０３と同様の構成を有し、同様の処理を行う。したがって、図５や図６を参照して行った注目領域拡張部１０３の説明は、注目領域拡張部１０６の説明にも適用することができる。 The attention area expansion unit 106 has the same configuration as the attention area expansion unit 103 and performs the same processing. Therefore, the description of the attention area expansion unit 103 performed with reference to FIGS. 5 and 6 can also be applied to the description of the attention area expansion unit 106.

注目領域（若しくは細胞領域）を拡張すると、注目領域拡張部１０６は、ROIマスクをマスク合成部１０７に供給する。 When the attention area (or cell area) is expanded, the attention area expansion section 106 supplies the ROI mask to the mask composition section 107.

なお、この注目領域拡張部１０６は、注目領域拡張部１０３の場合と同様に、省略することができる。その場合、ROIマスク更新部１０５により更新されたROIマスクはマスク合成部１０７に供給される。 Note that the attention area expansion unit 106 can be omitted as in the case of the attention area expansion unit 103. In that case, the ROI mask updated by the ROI mask update unit 105 is supplied to the mask composition unit 107.

［エッジ検出部］
ところで、図１のROI検出装置１００は、画素値の分散V(X)を用いた階層型の注目領域検出とは別に、エッジ検出による注目領域検出を行う。一般的に細胞核や核小体などはエッジが連続しているため、ヒステリシスにより周辺のエッジ情報から連続するエッジを検出し、そのエッジ検出結果を用いる方法の方が、分散V(X)を利用する方法よりも正確に注目領域の特定を行うことができる。ただし、上述したように、エッジ検出は、焦点ずれに弱い。したがって、ROI検出装置１００はその両方を併用する。このようにすることにより、ROI検出装置１００は、より正確な注目領域の検出を、複雑な演算処理を必要とせずに、より容易に行うことができる。 [Edge detection unit]
Meanwhile, the ROI detection apparatus 100 in FIG. 1 performs attention area detection by edge detection separately from hierarchical attention area detection using the variance V (X) of pixel values. Generally, cell nuclei and nucleolus have continuous edges, so the method of detecting continuous edges from peripheral edge information by hysteresis and using the edge detection results uses variance V (X). Thus, the region of interest can be specified more accurately than the method to do this. However, as described above, edge detection is vulnerable to defocusing. Therefore, the ROI detection apparatus 100 uses both of them. By doing so, the ROI detection apparatus 100 can more easily detect a region of interest more accurately without requiring complicated arithmetic processing.

エッジ検出部１０８は、入力画像（原画像）に対してエッジ検出を行う。エッジ抽出には例えばソーベルフィルタを利用し、Canny Edge Detectorによりエッジ判定を行う。Canny Edge Detectorのヒステリシスの閾値は任意であるが、合焦しているときの細胞の輪郭を抽出するのに適切な値にするのが望ましい。例えば、LOWを５０とし、HIGHを１００とするようにしてもよい。エッジ検出部１０８は、検出結果をエッジマスク生成部１０９に供給する。 The edge detection unit 108 performs edge detection on the input image (original image). For example, a Sobel filter is used for edge extraction, and edge determination is performed by a Canny Edge Detector. The threshold of hysteresis of the Canny Edge Detector is arbitrary, but it is desirable to set it to an appropriate value for extracting the outline of the cell when it is in focus. For example, LOW may be set to 50 and HIGH may be set to 100. The edge detection unit 108 supplies the detection result to the edge mask generation unit 109.

［エッジマスク生成部］
エッジマスク生成部１０９は、エッジ検出部１０８によるエッジ検出結果に基づいて、ブロック（Ｎ×Ｎ画素）毎に、エッジが含まれているか否かを判定し、エッジが含まれているブロックのROIレベルを「最注目領域」と設定するマスク情報であるエッジマスクを生成する。このときのブロックサイズは、上述したROIマスクのブロックサイズと同一とする。 [Edge mask generator]
The edge mask generation unit 109 determines whether or not an edge is included for each block (N × N pixels) based on the edge detection result by the edge detection unit 108, and ROI of the block including the edge An edge mask, which is mask information for setting the level as “most attention area”, is generated. The block size at this time is the same as the block size of the ROI mask described above.

このROIレベル「最注目領域」は、その領域が注目領域の１つであることを示す。ROIレベル「最注目領域」は、その他の注目領域である、「細胞領域」、「細胞領域Level Low」、および「保護領域」よりも注目度の高いレベルである。つまり、エッジが検出された領域（ブロック）は、細胞の存在の信頼性が最も高いと判定される。 This ROI level “most attention area” indicates that the area is one of the attention areas. The ROI level “most attention area” is a level of higher attention than the other attention areas “cell area”, “cell area Level Low”, and “protection area”. That is, it is determined that the region (block) in which the edge is detected has the highest reliability of the presence of the cell.

図１１にエッジマスクの例を示す。図１１において、曲線がエッジを示し、各四角がブロックを示す。曲線を含む斜線模様の四角がROIレベル「最注目領域」のブロックである。 FIG. 11 shows an example of an edge mask. In FIG. 11, a curve indicates an edge, and each square indicates a block. A square with a diagonal pattern including a curve is a block of ROI level “most attention area”.

エッジマスク生成部１０９は、このようなROIレベル「最注目領域」を示すエッジマスクを生成すると、それをマスク合成部１０７に供給する。 When the edge mask generation unit 109 generates such an edge mask indicating the ROI level “most attention area”, the edge mask generation unit 109 supplies the edge mask to the mask synthesis unit 107.

［マスク合成部］
マスク合成部１０７は、注目領域拡張部１０６から供給される、階層的に検出されたROIマスクに、エッジマスク生成部１０９から供給されるエッジマスクを合成する。つまり、マスク合成部１０７は、例えば図１２に示されるように、ROIマスクの注目領域分布に、エッジマスクの最注目領域分布を上書きして反映させる。 [Mask composition part]
The mask combining unit 107 combines the edge mask supplied from the edge mask generating unit 109 with the hierarchically detected ROI mask supplied from the attention area expanding unit 106. That is, for example, as illustrated in FIG. 12, the mask composition unit 107 overwrites the ROI mask attention area distribution by overwriting the highest attention area distribution of the edge mask.

上述したようにROIレベル「最注目領域」は、ROIレベル「細胞領域」、「細胞領域Level Low」、および「保護領域」よりも注目度の高いレベルである。したがって、マスク合成部１０７は、ROIレベル「最注目領域」を優先させる。例えば、同じブロックについて、ROIマスクにおいてROIレベル「細胞領域」が設定され、エッジマスクにおいてROIレベル「最注目領域」が設定されている場合、マスク合成部１０７は、そのブロックをROIレベル「最注目領域」に設定する。 As described above, the ROI level “most attention area” is a higher level of attention than the ROI levels “cell area”, “cell area Level Low”, and “protection area”. Therefore, the mask composition unit 107 gives priority to the ROI level “most attention area”. For example, for the same block, when the ROI level “cell area” is set in the ROI mask and the ROI level “most attention area” is set in the edge mask, the mask composition unit 107 sets the block to the ROI level “most attention area”. Set to "Area".

マスク合成部１０７は、合成結果をROIマスクとして出力する。 The mask composition unit 107 outputs the composition result as an ROI mask.

［ROI検出処理の流れ］
次に、ROI検出装置１００により実行される処理の流れについて説明する。最初に、図１３のフローチャートを参照してROI検出処理の流れの例を説明する。 [Flow of ROI detection processing]
Next, the flow of processing executed by the ROI detection apparatus 100 will be described. First, an example of the flow of ROI detection processing will be described with reference to the flowchart of FIG.

入力画像が供給されるとROI検出装置１００は、その入力画像のROIマスクを生成するROI検出処理を開始する。 When the input image is supplied, the ROI detection apparatus 100 starts ROI detection processing for generating a ROI mask for the input image.

ROI検出処理が開始されると、ステップＳ１０１において、画像縮小部１０１は、入力画像を所定の縮小率で縮小する。ステップＳ１０２において、ROIマスク生成部１０２は、縮小画像を用いてROIマスクを生成する。 When the ROI detection process is started, in step S101, the image reduction unit 101 reduces the input image at a predetermined reduction rate. In step S102, the ROI mask generation unit 102 generates an ROI mask using the reduced image.

ステップＳ１０３において、注目領域拡張部１０３は、注目領域拡張処理を行い、ステップＳ１０２において生成されたROIマスクの注目領域を拡張する。注目領域拡張処理の詳細については後述する。 In step S103, the attention area extension unit 103 performs attention area extension processing, and extends the attention area of the ROI mask generated in step S102. Details of the attention area expansion processing will be described later.

ステップＳ１０４において、ROIマスク拡大部１０４は、ROIマスクを拡大する。ステップＳ１０５において、ROIマスク更新部１０５は、入力画像（原画像）を用いてROIマスクを更新する。 In step S104, the ROI mask enlargement unit 104 enlarges the ROI mask. In step S105, the ROI mask update unit 105 updates the ROI mask using the input image (original image).

ステップＳ１０６において、注目領域拡張部１０６は、注目領域拡張処理を行い、更新されたROIマスクの注目領域を拡張する。なお、この注目領域拡張処理は、ステップＳ１０３の処理と同様に行われるので、その詳細な説明は省略する。 In step S106, the attention area expansion unit 106 performs attention area expansion processing to expand the attention area of the updated ROI mask. Note that the attention area expansion process is performed in the same manner as the process of step S103, and thus detailed description thereof is omitted.

ステップＳ１０７において、エッジ検出部１０８は、入力画像（原画像）よりエッジを検出する。ステップＳ１０８において、エッジマスク生成部１０９は、ステップＳ１０７のエッジ検出結果を用いてエッジマスクを生成する。 In step S107, the edge detection unit 108 detects an edge from the input image (original image). In step S108, the edge mask generation unit 109 generates an edge mask using the edge detection result in step S107.

ステップＳ１０９において、マスク合成部１０７は、ステップＳ１０６の処理により注目領域が拡大されたROIマスクに、ステップＳ１０８の処理により生成されたエッジマスクを合成する。 In step S109, the mask composition unit 107 synthesizes the edge mask generated by the process of step S108 with the ROI mask whose attention area has been enlarged by the process of step S106.

ステップＳ１０９の処理を終了すると、ROI検出装置１００は、ステップＳ１０９の処理によりエッジマスクが合成されたROIマスクをROI検出結果として出力し、ROI検出処理を終了する。 When the process of step S109 is completed, the ROI detection apparatus 100 outputs the ROI mask combined with the edge mask by the process of step S109 as the ROI detection result, and ends the ROI detection process.

［ROIマスク生成処理の流れ］
次に、図１４のフローチャートを参照して、図１３のステップＳ１０２において実行されるROIマスク生成処理の流れの例を説明する。 [Flow of ROI mask generation processing]
Next, an example of the flow of ROI mask generation processing executed in step S102 of FIG. 13 will be described with reference to the flowchart of FIG.

ROIマスク生成処理が開始されると、ステップＳ１２１において、分散算出部１２１は、縮小画像について、所定の部分領域（ブロック）毎に画素値の分散V(X)を算出する。 When the ROI mask generation process is started, in step S121, the variance calculation unit 121 calculates a variance V (X) of pixel values for each predetermined partial region (block) for the reduced image.

ステップＳ１２２において、ROIレベル設定部１２２は、ステップＳ１２１において算出された分散V(X)の値に応じて、各部分領域（ブロック）のROIレベルを設定する。ROIレベルを設定すると、ROIレベル設定部１２２は、ステップＳ１２３において、各ブロックのROIレベルをROIマスクとして出力する。 In step S122, the ROI level setting unit 122 sets the ROI level of each partial area (block) according to the value of the variance V (X) calculated in step S121. When the ROI level is set, the ROI level setting unit 122 outputs the ROI level of each block as an ROI mask in step S123.

ステップＳ１２３の処理を終了すると、ROIマスク生成部１０２は、ROIマスク生成処理を終了し、処理を図１３のステップＳ１０２に戻し、ステップＳ１０３以降の処理を実行させる。 When the process of step S123 is completed, the ROI mask generation unit 102 ends the ROI mask generation process, returns the process to step S102 of FIG. 13, and executes the processes after step S103.

［注目領域拡張処理の流れ］
次に、図１３のステップＳ１０３において実行される注目領域拡張処理の流れの例を、図１５のフローチャートを参照して説明する。 [Flow of attention area expansion processing]
Next, an example of the flow of attention area expansion processing executed in step S103 of FIG. 13 will be described with reference to the flowchart of FIG.

注目領域拡張処理が開始されると、マスク解析部１４１は、ステップＳ１４１において、ROIマスクのROIレベルのパターンを解析し、ステップＳ１４２において、所定の周辺パターンを有する部分領域を特定する。例えば、マスク解析部１４１は、注目領域とされるブロックの周辺のブロック、若しくは、周辺のブロックの多くが注目領域とされるブロックを特定する。 When the attention area expansion process is started, the mask analysis unit 141 analyzes the ROI level pattern of the ROI mask in step S141, and specifies a partial area having a predetermined peripheral pattern in step S142. For example, the mask analysis unit 141 identifies a block around the block that is the attention area, or a block in which many of the surrounding blocks are the attention area.

ステップＳ１４３において、ROIレベル設定部１４２は、ステップＳ１４２において特定された部分領域のROIレベルを「保護領域」に設定する。 In step S143, the ROI level setting unit 142 sets the ROI level of the partial area specified in step S142 to “protection area”.

ステップＳ１４３の処理を終了すると、注目領域拡張部１０３は、注目領域拡張処理を終了し、処理を図１３のステップＳ１０３に戻し、それ以降の処理を実行させる。 When the process of step S143 is completed, the attention area expansion unit 103 ends the attention area expansion process, returns the process to step S103 in FIG. 13, and executes the subsequent processes.

なお、図１３のステップＳ１０６において、注目領域拡張部１０６も、これと同様の注目領域拡張処理を実行する。 In step S106 in FIG. 13, the attention area expansion unit 106 also performs the attention area expansion processing similar to this.

［ROIマスク更新処理の流れ］
次に、図１３のステップＳ１０５において実行されるROIマスク更新処理の流れの例を、図１６のフローチャートを参照して説明する。 [Flow of ROI mask update processing]
Next, an example of the flow of the ROI mask update process executed in step S105 of FIG. 13 will be described with reference to the flowchart of FIG.

ROIマスク更新処理が開始されると、空白領域特定部１６１は、ステップＳ１６１において、ROIマスクの「空白領域」に対応する部分領域（ブロック）を、入力画像において特定する。 When the ROI mask update process is started, the blank area specifying unit 161 specifies a partial area (block) corresponding to the “blank area” of the ROI mask in the input image in step S161.

ステップＳ１６２において、分散算出部１６２は、ステップＳ１６１において特定された部分領域（ブロック）について、画素値の分散V(X)を求める。 In step S162, the variance calculation unit 162 obtains the variance V (X) of the pixel value for the partial area (block) specified in step S161.

ステップＳ１６３において、ROIレベル設定部１６３は、ステップＳ１６２において算出された分散V(X)の値に応じて、その部分領域のROIレベルを設定する。 In step S163, the ROI level setting unit 163 sets the ROI level of the partial area according to the value of the variance V (X) calculated in step S162.

以上のようにROIマスクを更新すると、ROIレベル設定部１６３は、ステップＳ１６４において、更新したROIマスクを出力する。 When the ROI mask is updated as described above, the ROI level setting unit 163 outputs the updated ROI mask in step S164.

ステップＳ１６４において、ROIマスク更新部１０５は、ROIマスク更新処理を終了し、処理を図１３のステップＳ１０５に戻し、ステップＳ１０６以降の処理を実行させる。 In step S164, the ROI mask update unit 105 ends the ROI mask update process, returns the process to step S105 of FIG. 13, and executes the processes after step S106.

以上のようにしてROI検出装置１００は、階層的な処理によりROIマスクをより正確に生成する。このようにすることにより、ROI検出装置１００は、複雑な演算処理を必要とせずに、より高速かつ低負荷に、より正確なROIマスクを生成することができる。したがって、ROI検出装置１００は、コストの増大も抑制することができる。 As described above, the ROI detection apparatus 100 generates the ROI mask more accurately by hierarchical processing. By doing in this way, the ROI detection apparatus 100 can generate a more accurate ROI mask at a higher speed and with a lower load without requiring complicated arithmetic processing. Therefore, the ROI detection apparatus 100 can also suppress an increase in cost.

つまり、ROI検出装置１００は、より容易に画像の特徴を解析することができる。 That is, the ROI detection apparatus 100 can analyze the feature of the image more easily.

［ROIマスクの使用例］
以上のように生成されたROIマスクは、多様な画像処理に使用することができる。例えば、入力画像をJPEG符号化方式により圧縮符号化する場合に、このROIマスクを利用するようにしてもよい。 [Example of using ROI mask]
The ROI mask generated as described above can be used for various image processing. For example, this ROI mask may be used when the input image is compression-encoded by the JPEG encoding method.

JPEG符号化方式の圧縮符号化で利用する場合、動画圧縮と違い、画像内の量子化パラメータ制御ができない。そこで、ROIマスクを利用することにより、細胞の無い部分（空白領域）のみフィルタリング処理を行い、ビット量を低減させることが考えられる。このようにすることにより、視覚的な影響を増大させずに（画質劣化が目立たないように）符号化効率を向上させることができる。 When used in JPEG encoding compression encoding, unlike in video compression, quantization parameter control within an image is not possible. Therefore, it is conceivable to use a ROI mask to perform filtering processing only on a cell-free portion (blank area) to reduce the bit amount. By doing so, it is possible to improve the encoding efficiency without increasing the visual influence (so that the image quality deterioration is not noticeable).

なお、この場合、ブロックサイズは、JPEG符号化方式の直交変換処理単位である８×８画素とするのが望ましい。また、注目領域である「細胞領域」にフィルタリングが及ばないように、「保護領域」は、「細胞領域」を一様拡張するようにする（より安全な設定とする）のが望ましい。さらに、上述したように細かい量子化制御が不可能であるので、エッジマスクの生成および合成は省略するようにしてもよい。 In this case, the block size is desirably 8 × 8 pixels, which is an orthogonal transform processing unit of the JPEG encoding method. Further, it is desirable that the “protection region” is uniformly expanded (set to a safer setting) so that the “cell region” that is the attention region is not filtered. Furthermore, since fine quantization control is impossible as described above, generation and synthesis of edge masks may be omitted.

また、ROIマスクは、例えば、MPEG符号化方式やAVC符号化方式により入力画像を圧縮符号化する場合に利用するようにしてもよい。 Further, the ROI mask may be used when an input image is compressed and encoded by, for example, an MPEG encoding method or an AVC encoding method.

MPEG符号化方式やAVC符号化方式等の動画圧縮方式の場合、マクロブロック毎に量子化パラメータを制御することができる。そこで、この場合、ブロックサイズは、マクロブロックサイズに対応させて１６×１６画素とするのが望ましい。また、「保護領域」は、周辺ブロックの多くが「細胞領域」である「空白領域」のみを「保護領域」に設定する部分拡張を行うようにするのが望ましい。さらに、細かい量子化制御が可能であるので、エッジマスクも生成し、ROIマスクに合成するようにするのが望ましい。 In the case of a moving image compression method such as an MPEG encoding method or an AVC encoding method, the quantization parameter can be controlled for each macroblock. Therefore, in this case, the block size is preferably 16 × 16 pixels corresponding to the macroblock size. In addition, it is desirable that the “protection area” be partially expanded so that only the “blank area” in which many of the peripheral blocks are “cell areas” is set as the “protection area”. Further, since fine quantization control is possible, it is desirable to generate an edge mask and combine it with the ROI mask.

動画圧縮では、合焦している領域を中心に量子化パラメータを高く設定し、段階的に量子化パラメータを変更する等といった、細かい量子化制御が可能であるため、符号化効率の向上がさらに期待される。 In video compression, fine quantization control such as setting a high quantization parameter around the focused area and changing the quantization parameter step by step is possible, further improving the coding efficiency. Be expected.

以上のように、ROIマスクを利用することにより、圧縮率を部分領域毎に制御することができる。これにより、画質劣化が目立たないように符号化効率を向上させることができる。また、圧縮方法に応じてROIマスクによる重みの使い分けを容易に行うことができる。 As described above, the compression rate can be controlled for each partial region by using the ROI mask. Thereby, it is possible to improve the encoding efficiency so that the image quality deterioration is not noticeable. In addition, it is possible to easily use the weight by the ROI mask according to the compression method.

さらに、ROIマスクは、撮像時ノイズリダクションフィルタ処理やフィルタの強度設定などにも利用することができる。さらに、ROIレベルにより合焦位置を示すことが出来るので、ROIマスクは、ビューア等における合焦位置への誘導制御等にも利用することができる。 Furthermore, the ROI mask can be used for noise reduction filter processing during imaging, filter strength setting, and the like. Furthermore, since the in-focus position can be indicated by the ROI level, the ROI mask can also be used for guidance control to the in-focus position in a viewer or the like.

なお、以上のようなROI検出を、Ｚスタックのある細胞診の観察画像に使用する場合、さらに安全性を上げるためＺスタックの各レイヤ（互いに焦点位置が異なる画像）で検出されたROIマスクを重ね合わせ、一度細胞と判定された部分は、Ｚ方向で保護することができるようにしてもよい。 In addition, when using the ROI detection as described above for observation images of cytodiagnosis with Z stack, ROI masks detected in each layer of Z stack (images with different focal positions) are used for further safety. The portion that has been determined to be a cell once overlapped may be protected in the Z direction.

つまり、各レイヤ間でROIマスクの合成を行い、例えば、各ROIマスクにおいて互いに同じブロックについて互いに異なるROIレベルが設定されている場合、その中で最も高いROIレベルを採用するようにする。このようにすることにより、焦点ずれ等による注目領域の検出漏れを抑制することができる。 That is, ROI masks are combined between layers. For example, when different ROI levels are set for the same block in each ROI mask, the highest ROI level is adopted. By doing so, it is possible to suppress the detection omission of the attention area due to defocusing or the like.

もちろん、このような合成を行わずに、１つのブロックのROIレベルをレイヤ毎に変えるようにしてもよい。 Of course, the ROI level of one block may be changed for each layer without performing such synthesis.

つまり、ROI検出装置１００は、多様な画像処理に利用可能な特徴解析を、より容易に行うことができる（ROIマスクを生成することができる）。
＜２．第２の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。 That is, the ROI detection apparatus 100 can more easily perform feature analysis that can be used for various image processing (can generate an ROI mask).
<2. Second Embodiment>
[Personal computer]
The series of processes described above can be executed by hardware or can be executed by software. In this case, for example, it may be configured as a personal computer as shown in FIG.

図１７において、パーソナルコンピュータ３００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３１３からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。 In FIG. 17, a CPU (Central Processing Unit) 301 of the personal computer 300 performs various processes according to a program stored in a ROM (Read Only Memory) 302 or a program loaded from a storage unit 313 to a RAM (Random Access Memory) 303. Execute the process. The RAM 303 also appropriately stores data necessary for the CPU 301 to execute various processes.

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。 The CPU 301, ROM 302, and RAM 303 are connected to each other via a bus 304. An input / output interface 310 is also connected to the bus 304.

入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部３１２、ハードディスクなどより構成される記憶部３１３、モデムなどより構成される通信部３１４が接続されている。通信部３１４は、インターネットを含むネットワークを介しての通信処理を行う。 The input / output interface 310 includes an input unit 311 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 312 including a speaker, and a hard disk. A communication unit 314 including a storage unit 313 and a modem is connected. The communication unit 314 performs communication processing via a network including the Internet.

入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。 A drive 315 is connected to the input / output interface 310 as necessary, and a removable medium 321 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is It is installed in the storage unit 313 as necessary.

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。 When the above-described series of processing is executed by software, a program constituting the software is installed from a network or a recording medium.

この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア３２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM３０２や、記憶部３１３に含まれるハードディスクなどで構成される。 For example, as shown in FIG. 17, the recording medium is distributed to distribute the program to the user separately from the apparatus main body, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk ( It is only composed of removable media 321 consisting of CD-ROM (compact disc-read only memory), DVD (including digital versatile disc), magneto-optical disc (including MD (mini disc)), or semiconductor memory. Rather, it is composed of a ROM 302 on which a program is recorded and a hard disk included in the storage unit 313, which are distributed to the user in a state of being incorporated in the apparatus main body in advance.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。 Further, in the present specification, the system represents the entire apparatus composed of a plurality of devices (apparatuses).

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 In addition, in the above description, the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units). Conversely, the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit). Of course, a configuration other than that described above may be added to the configuration of each device (or each processing unit). Furthermore, if the configuration and operation of the entire system are substantially the same, a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

１００ ROI検出装置，１０１画像縮小部，１０２ ROIマスク生成部，１０３注目領域拡張部，１０４ ROIマスク拡大部，１０５ ROIマスク更新部，１０６注目領域拡張部，１０７マスク合成部，１０８エッジ検出部，１０９エッジマスク生成部，１２１分散算出部，１２２ ROIレベル設定部，１４１マスク解析部，１４２ ROIレベル設定部，１６１空白領域特定部，１６２分散算出部，１６３ ROIレベル設定部 DESCRIPTION OF SYMBOLS 100 ROI detection apparatus, 101 image reduction part, 102 ROI mask production | generation part, 103 attention area expansion part, 104 ROI mask expansion part, 105 ROI mask update part, 106 attention area expansion part, 107 mask composition part, 108 edge detection part, 109 edge mask generation unit, 121 variance calculation unit, 122 ROI level setting unit, 141 mask analysis unit, 142 ROI level setting unit, 161 blank area specifying unit, 162 variance calculation unit, 163 ROI level setting unit

Claims

Reduction means for reducing an image for feature analysis at a predetermined reduction rate;
The ROI (Region Of Interest) mask, which is mask information indicating a region of interest, which is a region of interest in the reduced image, is obtained by analyzing the characteristics of the reduced image that is the image reduced at the reduction rate by the reduction unit ROI mask generating means for generating
ROI mask enlargement means for enlarging the size of the ROI mask generated by the ROI mask generation means to the size of the image before being reduced at the reduction ratio by the reduction means;
Analyzing the characteristics of a region that is a non-notable region in the ROI mask enlarged by the ROI mask enlargement unit of the image before being reduced at the reduction ratio by the reduction unit, and An image processing apparatus comprising: ROI mask update means for updating the enlarged ROI mask using an analysis result.

The ROI mask generating means obtains a variance of pixel values for each partial area of a predetermined size with respect to the reduced image, and determines the attention degree of the partial area based on the magnitude of the variance value, whereby the ROI The image processing apparatus according to claim 1, wherein a mask is generated.

The image processing apparatus according to claim 2, wherein the ROI mask generation unit sets a partial area having the variance value of 1 or more as the attention area.

The image processing apparatus according to claim 3, wherein the ROI mask generation unit sets a partial area having the variance value of 2 or more as an attention area having a higher degree of attention than the partial area having the variance value of 1. 5.

The ROI mask update means obtains a variance of pixel values for each partial area of a predetermined size with respect to the blank area of the image, and determines the degree of attention of the partial area according to the magnitude of the variance value. The image processing apparatus according to claim 1, wherein the blank area of the enlarged ROI mask is updated by the determination.

The image processing apparatus according to claim 5, wherein the ROI mask update unit sets a partial area having the variance value of 2 or more as the attention area.

The image processing apparatus according to claim 1, further comprising an extension unit that extends a region of interest of the ROI mask generated by the ROI mask generation unit.

The image processing apparatus according to claim 1, further comprising an extension unit that extends a region of interest of the enlarged ROI mask updated by the ROI mask update unit.

Edge component detection means for detecting an edge component of the image;
Edge mask generating means for generating an edge mask which is mask information in which the region including the edge component detected by the edge component detecting means of the image is the area of interest;
The image processing apparatus according to claim 1, further comprising: a mask synthesizing unit that synthesizes the edge mask with the enlarged ROI mask updated by the ROI mask updating unit.

An image processing method of an image processing apparatus,
The reduction means reduces the image for feature analysis at a predetermined reduction rate,
ROI (Region Of Interest) mask generation means analyzes the characteristics of the reduced image, which is the image reduced at the reduction ratio, and is mask information indicating a region of interest that is a region of interest in the reduced image Generate ROI mask,
ROI mask enlargement means enlarges the size of the generated ROI mask to the size of the image before being reduced at the reduction ratio,
The ROI mask update means analyzes the characteristics of the blank area, which is the area that should not be noticed in the enlarged ROI mask, of the image before being reduced at the reduction ratio, and uses the analysis result An image processing method for updating the enlarged ROI mask.