JP7443244B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7443244B2
JP7443244B2 JP2020556087A JP2020556087A JP7443244B2 JP 7443244 B2 JP7443244 B2 JP 7443244B2 JP 2020556087 A JP2020556087 A JP 2020556087A JP 2020556087 A JP2020556087 A JP 2020556087A JP 7443244 B2 JP7443244 B2 JP 7443244B2
Authority
JP
Japan
Prior art keywords
image
display
processing
processing unit
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020556087A
Other languages
English (en)
Other versions
JPWO2020095909A1 (ja
Inventor
連秀 梁
有 佐藤
博之 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of JPWO2020095909A1 publication Critical patent/JPWO2020095909A1/ja
Application granted granted Critical
Publication of JP7443244B2 publication Critical patent/JP7443244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
画像内に複数の領域を設定し、当該設定した複数の領域各々を所定の複数のクラスのうちのいずれかに分類して分類結果を得るための手法が従来から知られている。
しかし、従来から知られている手法によれば、例えば、前述の分類結果の尤度（ｌｉｋｅｌｉｈｏｏｄ）が低い領域等のような、画像内の精査が必要な箇所を特定するための作業に時間を要してしまう、という問題点がある。
特許文献１：日本国特開２０１８－１８３１３号公報
非特許文献１：喜友名 朝春、"ｅ－Ｐａｔｈｏｌｏｇｉｓｔ：人工知能による病理画像解析システム"、［ｏｎｌｉｎｅ］、２０１７年６月３０日、Ｊ－ＳＴＡＧＥ、医用画像情報学会雑誌、２０１７年３４巻２号、ｐ．１０５－１０８、［平成３０年１０月２９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｍｉｉ／３４／２／３４＿１０５／＿ｐｄｆ／－ｃｈａｒ／ｊａ＞
実施形態は、画像内の精査が必要な箇所を特定するための作業における作業効率を向上させることが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
実施形態の画像処理装置は、推論処理部と、次元変換処理部と、表示処理部と、を有する。前記推論処理部は、処理対象画像に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理を行うように構成されている。前記次元変換処理部は、前記処理対象画像に設定された前記複数の領域各々に対応する多次元データを取得するための処理を行うとともに、前記多次元データを低次元データに変換するための処理を行うように構成されている。前記表示処理部は、前記複数の領域のうちの１つ以上の領域を含む表示画像と、前記複数の領域各々における前記低次元データに対して前記分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図と、を併せて表示装置に表示させるための処理を行うとともに、前記プロット図に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われた場合に、前記選択点と、前記表示画像内における前記選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理を行うように構成されている。前記推論処理部は、機械学習により構成される統計モデルを用いて構成されており、前記統計モデルで計算される尤度に基づいて、前記複数の領域各々における前記分類結果を算出するための処理をさらに行う。前記表示処理部は、前記表示装置に表示されている表示画像の拡大率を示す情報と、前記表示画像内において設定された注目位置を示す情報と、前記表示画像内において選択された選択位置を示す情報と、前記選択点を示す情報とを取得し、画像記録部に記録された複数の画像のうちの少なくとも１つの画像を用い、取得した情報に含まれる前記拡大率及び前記注目位置に応じた表示画像を生成する処理をさらに行う。
実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 第１の実施形態に係る画像処理装置の構成の一例を示す図。 第１の実施形態に係る画像処理装置において行われる処理の具体例の一部を示すフローチャート。 図３Ａの処理の続きを示すフローチャート。 第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 図８の表示画像の分析支援画像に含まれる２次元散布図を説明するための図。 第２の実施形態に係る画像処理装置の構成の一例を示す図 第２の実施形態に係る画像処理装置において行われる処理の具体例の一部を示すフローチャート。 図１１Ａの処理の続きを示すフローチャート。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 図１４Ａの表示画像の分析支援画像に含まれる２次元散布図を説明するための図。 図１４Ｂの表示画像の分析支援画像に含まれる２次元散布図を説明するための図。
以下、実施形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
図１から図９は、第１の実施形態に係るものである。
画像処理システム１０１は、図１に示すように、撮像装置１と、画像処理装置２と、入力Ｉ／Ｆ（インターフェース）３と、表示装置４と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図である。
撮像装置１は、例えば、イメージセンサを有して構成されている。また、撮像装置１は、被写体を撮像して画像を取得するとともに、当該取得した画像を画像処理装置２へ出力するように構成されている。なお、本実施形態においては、撮像装置１により撮像される被写体のＩＤ番号が、当該被写体を撮像して得られた画像の付加情報として予め付加されているものとして説明を行う。
画像処理装置２は、例えば、１つ以上のプロセッサ２０１と、記憶媒体２０２と、を有するコンピュータとして構成されている。また、画像処理装置２は、撮像装置１から出力される画像に対して処理を施すことにより表示画像を生成するとともに、当該生成した表示画像を表示装置４へ出力するように構成されている。また、画像処理装置２は、入力Ｉ／Ｆ３から出力される指示を検出し、当該検出した指示に応じた表示画像等を生成して表示装置４へ出力するように構成されている。
入力Ｉ／Ｆ３は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作可能な入力デバイスを有して構成されている。また、入力Ｉ／Ｆ３は、表示装置４に表示される表示画像に含まれるメイン画像（後述）の拡大率を所望の拡大率に設定するための指示を行うことができるように構成されている。また、入力Ｉ／Ｆ３は、メイン画像を表示装置４の表示画面に表示する際の中心点に相当するとともに、当該メイン画像の拡大率を変更する際の基準点に相当する注目位置を設定するための指示を行うことができるように構成されている。また、入力Ｉ／Ｆ３は、表示装置４に表示されるメイン画像内の所望の位置を選択位置として選択するための指示を行うことができるように構成されている。また、入力Ｉ／Ｆ３は、表示装置４に表示される２次元散布図（後述）に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示を行うことができるように構成されている。
表示装置４は、例えば、液晶モニタ等を有して構成されている。また、表示装置４は、画像処理装置２から出力される表示画像及び表示情報等を表示することができるように構成されている。
画像処理装置２は、例えば、図２に示すように、前処理部２１と、画像記録部２２と、推論処理部２３と、次元変換処理部２４と、処理結果格納部２５と、表示処理部２６と、を有して構成されている。図２は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。
前処理部２１は、撮像装置１から出力される画像の解像度を変換するための変換処理を行うことにより、相互に異なる解像度を有する複数の画像を生成するように構成されている。また、前処理部２１は、前述のように生成した複数の画像を画像記録部２２へ出力するように構成されている。
画像記録部２２は、前処理部２１から出力される複数の画像を被写体のＩＤ番号毎に記録するように構成されている。
なお、以降においては、相互に異なるＮ種類の解像度Ｒ１、Ｒ２、…、ＲＮを有するＰ個の画像が前処理部２１により生成されるとともに、当該生成されたＰ個の画像が被写体のＩＤ番号毎に画像記録部２２に記録されるものとして説明を行う。また、以降においては、前処理部２１により生成されるＰ個の画像の解像度がＲ１＜Ｒ２＜…＜ＲＮの関係を満たすものとして説明を行う。また、本実施形態においては、解像度Ｒ１からＲＮまでの画像がＰ個の画像の中に少なくとも１つずつ含まれていればよい。
推論処理部２３は、画像記録部２２に記録されたＰ個の画像の中から最も高い解像度ＲＮを有する画像ＧＲＮを読み込むとともに、当該読み込んだ画像ＧＲＮにＳ（Ｓ≧２）個の領域を設定するように構成されている。
なお、本実施形態においては、推論処理部２３及び次元変換処理部２４の処理により設定されるＳ個の領域が矩形の領域であるものとして説明を行う。また、本実施形態においては、推論処理部２３及び次元変換処理部２４によるＳ個の領域の設定方法が相互に同一であるものとして説明を行う。
推論処理部２３は、画像ＧＲＮに設定されたＳ個の領域各々に対し、所定の複数のクラスのうちのいずれかに分類した分類結果を示す情報に相当するクラス分類情報を取得するための処理と、当該分類結果の尤度の算出結果を示す情報に相当する尤度情報を取得するための処理と、を行うように構成されている。また、推論処理部２３は、画像ＧＲＮに設定されたＳ個の領域各々に対応するクラス分類情報及び尤度情報を被写体のＩＤ番号に関連付けて処理結果格納部２５へ出力するように構成されている。
すなわち、推論処理部２３は、画像ＧＲＮ（処理対象画像）に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理と、当該複数の領域各々における当該分類結果の尤度を算出するための処理と、を行うように構成されている。
なお、本実施形態においては、推論処理部２３が、例えば、機械学習により構成される統計モデルの一種として、入力層、隠れ層及び出力層を有する多層のニューラルネットワークを用いて構成されている。加えて、本実施形態においては、推論処理部２３が、前述のニューラルネットワークに含まれる各結合係数（重み）をディープラーニング（機械学習）で学習させた推論モデルとして構成されている。推論処理部２３では、教師有り学習が行われる。そして、本実施形態の推論処理部２３においては、例えば、画像ＧＲＮに設定されたＳ個の領域のうちの一の領域に含まれる各画素から得られる画素値または特徴ベクトルのような多次元データを入力データとしてニューラルネットワークの入力層に入力した場合に、当該一の領域を所定の複数のクラスのうちのいずれかに分類して得られる分類結果と、当該一の領域の分類結果の尤度と、を示す出力データが当該ニューラルネットワークの出力層から出力されるようになっている。なお、推論処理部２３では尤度の大小に基づき分類を行うが、上述した統計モデルで計算される尤度の一例として、ニューラルネットワークの出力層にある各ノードの出力値を尤度として用いている（改めて別な処理で尤度を計算している訳ではない）。一般的にニューラルネットを用いた識別関数の学習では、出力層のノード出力が、正解カテゴリ１、非正解カテゴリ０になるように学習する。推論時には、出力が１に近づくほどノードに割り振られたカテゴリの出現がもっともらしく（尤度が高い）、逆に０に近づけばもっともらしくない（尤度が低い）という状態を示すことになる。尤度は、クラスの種類ごとに値が出るものであり、後に記載するような２分類問題であると、正常が０．８、異常が０．２になって（合計値１）、分類結果として正常に推論されることとなる。
次元変換処理部２４は、多次元データ取得部２４Ａと、低次元データ変換部２４Ｂと、を有して構成されている。
多次元データ取得部２４Ａは、画像記録部２２に記録されたＰ個の画像の中から画像ＧＲＮを読み込むとともに、当該読み込んだ画像ＧＲＮにＳ個の領域を設定するように構成されている。
多次元データ取得部２４Ａは、画像ＧＲＮに設定されたＳ個の領域各々に対応する多次元データを取得するための処理を行うように構成されている。具体的には、多次元データ取得部２４Ａは、例えば、画像ＧＲＮに設定されたＳ個の領域各々に対し、当該Ｓ個の領域のうちの一の領域に含まれる各画素の画素値を取得するための処理を行うように構成されている。または、多次元データ取得部２４Ａは、例えば、画像ＧＲＮに設定されたＳ個の領域各々に対し、当該Ｓ個の領域のうちの一の領域に含まれる各画素の画素値に応じた特徴ベクトルを算出するための処理を行うように構成されている。
低次元データ変換部２４Ｂは、多次元データ取得部２４Ａの処理結果として得られた多次元データを低次元データに変換するための処理を行うように構成されている。具体的には、低次元データ変換部２４Ｂは、例えば、画像ＧＲＮに設定されたＳ個の領域各々に対し、当該Ｓ個の領域のうちの一の領域から取得された各画素値を２次元データに変換するための処理を行うように構成されている。または、低次元データ変換部２４Ｂは、例えば、画像ＧＲＮに設定されたＳ個の領域各々に対し、当該Ｓ個の領域のうちの一の領域において算出された特徴ベクトルを２次元データに変換するための処理を行うように構成されている。
低次元データ変換部２４Ｂは、画像ＧＲＮに設定されたＳ個の領域各々において取得された２次元データを被写体のＩＤ番号に関連付けた情報を処理結果格納部２５へ出力するように構成されている。
すなわち、次元変換処理部２４は、画像ＧＲＮ（処理対象画像）に設定された複数の領域各々に対応する多次元データを取得するための処理を行うとともに、当該多次元データを低次元データに変換するための処理を行うように構成されている。本実施形態において、低次元変換処理部２４ではクラスタリング手法を用いても良い。
なお、本実施形態においては、次元変換処理部２４が、例えば、オートエンコーダを用いて構成されたニューラルネットワークを有して構成されていてもよい。また、本実施形態の次元変換処理部２４は、画像ＧＲＮから得られた多次元データを前述のニューラルネットワークに入力するとともに、当該ニューラルネットワークの隠れ層から当該多次元データに対応する２次元データを抽出するように構成されていてもよい。また、本実施形態の次元変換処理部２４は、例えば、画像ＧＲＮから得られた多次元データを前述のニューラルネットワークに入力して得られる出力データに基づき、当該多次元データに対応する尤度及び再構成誤差を２次元データとして取得するための処理を行うように構成されていてもよい。次元変換処理部２４では、教師無し学習が行なわれる。
処理結果格納部２５は、推論処理部２３から出力される情報と、次元変換処理部２４から出力される情報と、を被写体のＩＤ番号毎に格納するように構成されている。すなわち、処理結果格納部２５には、画像ＧＲＮに設定されたＳ個の領域各々を所定の複数のクラスのうちのいずれかに分類して得られた分類結果を示すクラス分類情報と、当該Ｓ個の領域各々のクラス分類情報に対応する尤度情報と、当該Ｓ個の領域各々において取得された２次元データと、が被写体のＩＤ番号に関連付けられた状態で格納される。
表示処理部２６は、情報取得部２６Ａと、表示画像生成部２６Ｂと、表示情報生成部２６Ｃと、表示制御部２６Ｄと、を有して構成されている。
情報取得部２６Ａは、入力Ｉ／Ｆ３において行われた指示を検出するとともに、当該検出した指示に基づいて表示画像生成部２６Ｂ、表示情報生成部２６Ｃ及び表示制御部２６Ｄの処理に用いられる情報を取得するための処理を行うように構成されている。具体的には、情報取得部２６Ａは、入力Ｉ／Ｆ３において行われた指示の検出結果に基づき、表示装置４に表示されているメイン画像の拡大率を示す情報と、当該メイン画像内において設定された注目位置を示す情報と、当該メイン画像内において選択された選択位置を示す情報と、当該メイン画像とともに表示装置４に表示されている２次元散布図に含まれる各プロット点の中から選択された選択点を示す情報と、をそれぞれ取得するための処理を行うように構成されている。
表示画像生成部２６Ｂは、画像記録部２２に記録されたＰ個の画像のうちの少なくとも１つの画像を用い、情報取得部２６Ａにより取得された情報に含まれる拡大率及び注目位置に応じたメイン画像を生成するように構成されている。すなわち、表示画像生成部２６Ｂにより生成されたメイン画像は、情報取得部２６Ａにより取得された情報に含まれる注目位置と表示画面の中心とが一致し、かつ、当該情報に含まれる拡大率を有する画像として表示装置４に表示される。また、表示画像生成部２６Ｂは、例えば、画像ＧＲＮを縮小することによりサブ画像を生成するように構成されている。また、表示画像生成部２６Ｂは、メイン画像内の所定の領域にサブ画像を重畳することにより表示画像を生成するように構成されている。また、表示画像生成部２６Ｂは、情報取得部２６Ａにより取得された情報に含まれる拡大率及び注目位置に基づき、表示装置４に表示されているメイン画像の表示範囲を画像ＧＲＮの中から特定するとともに、当該特定した表示範囲を示す矩形の枠をサブ画像に重畳するように構成されている。
表示情報生成部２６Ｃは、処理結果格納部２５から読み込んだ情報に応じた表示情報を生成するように構成されている。具体的には、表示情報生成部２６Ｃは、処理結果格納部２５から読み込んだ情報に含まれるＳ個の２次元データを平面座標系の座標としてプロットしたプロット図に相当する２次元散布図を生成するように構成されている。また、表示情報生成部２６Ｃは、前述のように生成した２次元散布図に含まれるＳ個のプロット点各々に対し、処理結果格納部２５から読み込んだ情報に含まれるクラス分類情報に応じた異なる色または模様を付加するように構成されている。また、表示情報生成部２６Ｃは、処理結果格納部２５から読み込んだ情報に含まれる推論結果に相当するクラス分類情報及び尤度情報を表示画像生成部２６Ｂにより生成されたメイン画像内において視覚的に示すための視覚情報を生成するように構成されている。
表示制御部２６Ｄは、表示画像生成部２６Ｂにより生成された表示画像を表示装置４に表示させるための処理を行うように構成されている。また、表示制御部２６Ｄは、ユーザによるメイン画像の分析を支援するための情報に相当する分析支援情報を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、表示情報生成部２６Ｃにより生成された２次元散布図を含む分析支援画像を表示装置４に表示されている表示画像に合成して表示させるための処理を行うように構成されている。また、表示制御部２６Ｄは、推論処理部２３により得られた推論結果を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、表示情報生成部２６Ｃにより生成された視覚情報を表示装置４に表示されている表示画像（メイン画像）に合成して表示させるための処理を行うように構成されている。また、表示制御部２６Ｄは、情報取得部２６Ａにより取得された情報に含まれる選択位置に応じ、表示装置４に表示されているメイン画像及び２次元散布図の表示態様を変化させるための処理（後述）を行うように構成されている。また、表示制御部２６Ｄは、情報取得部２６Ａにより取得された情報に含まれる選択点に応じ、表示装置４に表示されているメイン画像及び２次元散布図の表示態様を変化させるための処理（後述）を行うように構成されている。
すなわち、表示処理部２６は、画像ＧＲＮに設定されたＳ個の領域のうちの１つ以上の領域を含む表示画像（メイン画像）と、当該Ｓ個の領域各々における低次元データ（２次元データ）に対して推論処理部２３により得られた分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図（２次元散布図）と、を併せて表示装置４に表示させるための処理を行うように構成されている。また、表示処理部２６は、画像ＧＲＮに設定されたＳ個の領域各々における２次元データに対して推論処理部２３により得られた分類結果に応じた色または模様を付加して生成した複数のプロット点を有する２次元散布図を生成するための処理を行うように構成されている。また、表示処理部２６は、推論処理部２３により得られた分類結果及び尤度に応じた視覚情報を表示画像（メイン画像）に合成して表示装置４に表示させるための処理を行うように構成されている。
なお、本実施形態においては、画像処理装置２の各部の機能が、プロセッサ２０１及び記憶媒体２０２を含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、画像処理装置２の各部の機能を実現するためのプログラムが記憶媒体２０２に格納されているとともに、プロセッサ２０１が当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体２０２としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。
続いて、本実施形態の作用について、図３Ａ及び図３Ｂ等を参照しつつ説明する。図３Ａは、第１の実施形態に係る画像処理装置において行われる処理の具体例の一部を示すフローチャートである。図３Ｂは、図３Ａの処理の続きを示すフローチャートである。
なお、本実施形態においては、半導体ウエハー及び当該半導体ウエハー上に形成された複数のチップを被写体として撮像して得られた画像が撮像装置１から画像処理装置２へ出力されるとともに、当該画像に応じたＰ個の画像が前処理部２１により生成される場合を例に挙げて説明する。また、本実施形態においては、画像ＧＲＮに設定されたＳ個の領域各々を「正常」及び「異常」の２つのクラスのうちのいずれかに分類した分類結果を示すクラス分類情報を取得するための処理が推論処理部２３により行われるものとして説明する。また、本実施形態においては、「正常」クラスに分類された領域（以降、正常領域とも称する）各々における分類結果の尤度の算出結果と、「異常」クラスに分類された領域（以降、異常領域とも称する）各々における分類結果の尤度の算出結果と、を示す尤度情報を取得するための処理が推論処理部２３により行われるものとして説明する。
表示画像生成部２６Ｂは、情報取得部２６Ａにより取得された情報に含まれる拡大率及び注目位置に基づき、画像記録部２２に記録されたＰ個の画像のうちの少なくとも１つの画像を用い、メイン画像及びサブ画像を有する表示画像を生成するための処理を行う（図３ＡのステップＳ１）。
具体的には、表示画像生成部２６Ｂは、例えば、拡大率及び注目位置の設定に係る指示が行われていない状態に相当するデフォルト状態において、画像記録部２２から読み込んだ画像ＧＲＮを用いて表示画像を生成するための処理を行う。そして、このような処理によれば、例えば、図４に示すような、メイン画像ＭＧＡ及びサブ画像ＳＧＡを有する表示画像ＤＧＡが表示装置４に表示される。図４は、第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
メイン画像ＭＧＡは、画像ＧＲＮの全域が表示範囲として設定された画像に相当する。また、サブ画像ＳＧＡは、画像ＧＲＮを縮小した画像に相当する。また、図４の表示画像ＤＧＡにおいては、画像ＧＲＮの全域がメイン画像ＭＧＡの表示範囲であることを示す矩形の枠ＦＧＡがサブ画像ＳＧＡの最外部に重畳されている。
表示画像生成部２６Ｂは、情報取得部２６Ａにより取得された情報に含まれる拡大率または注目位置が図３ＡのステップＳ１の状態から変更されたか否かに係る判定処理を行う（図３ＡのステップＳ２）。
表示画像生成部２６Ｂは、情報取得部２６Ａにより取得された情報に含まれる拡大率または注目位置が図３ＡのステップＳ１の状態から変更されたとの判定結果を得た（Ｓ２：ＹＥＳ）場合には、変更後の拡大率及び注目位置に応じた表示画像を生成するための処理を行う（図３ＡのステップＳ３）。また、表示画像生成部２６Ｂは、情報取得部２６Ａにより取得された情報に含まれる拡大率及び注目位置が図３ＡのステップＳ１の状態からいずれも変更されていないとの判定結果を得た（Ｓ２：ＮＯ）場合には、図３ＡのステップＳ３の処理をスキップする。
ここで、図３ＡのステップＳ３の処理が行われた場合には、例えば、図５に示すような、メイン画像ＭＧＢ及びサブ画像ＳＧＡを有する表示画像ＤＧＢが表示装置４に表示される。図５は、第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
メイン画像ＭＧＢは、メイン画像ＭＧＡの中央部付近を注目位置として設定した状態において、情報取得部２６Ａにより取得された情報に含まれる拡大率に応じてメイン画像ＭＧＡを拡大した画像に相当する。また、表示画像ＤＧＢにおいては、画像ＧＲＮの中央部付近がメイン画像ＭＧＢの表示範囲であることを示す矩形の枠ＦＧＢがサブ画像ＳＧＡの内部に重畳されている。
表示制御部２６Ｄは、図３ＡのステップＳ２またはステップＳ３の処理が行われた後に、推論処理部２３により得られた推論結果を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図３ＡのステップＳ４）。
表示制御部２６Ｄは、推論処理部２３により得られた推論結果を表示装置４に表示させるための指示が行われたとの判定結果を得た（Ｓ４：ＹＥＳ）場合には、表示情報生成部２６Ｃにより生成された視覚情報、すなわち、処理結果格納部２５に格納されたクラス分類情報及び尤度情報に応じた視覚情報を表示装置４に表示されている表示画像に合成して表示させるための処理を行う（図３ＡのステップＳ５）。また、表示制御部２６Ｄは、推論処理部２３により得られた推論結果を表示装置４に表示させるための指示が行われなかったとの判定結果を得た（Ｓ４：ＮＯ）場合には、図３ＡのステップＳ５の処理をスキップしてステップＳ６の処理を行う。
ここで、表示画像ＤＧＢが表示装置４に表示されている状態で図３ＡのステップＳ５の処理が行われた場合には、例えば、図６に示すような、メイン画像ＭＧＣ及びサブ画像ＳＧＡを有する表示画像ＤＧＣが表示装置４に表示される。図６は、第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
メイン画像ＭＧＣにおいては、画像ＧＲＮに設定されたＳ個の領域の設定状態を示すグリッド線ＧＬＡが破線で描かれている。
メイン画像ＭＧＣにおいては、Ｓ個の領域各々において得られた推論結果のうち、グリッド線ＧＬＡにより分割された４つの領域に対応する推論結果が示されている。
具体的には、メイン画像ＭＧＣにおいては、例えば、グリッド線ＧＬＡにより分割された４つの領域のうち、ハッチングパターンが重畳された１つの領域ＡＸが異常領域であるとともに、当該ハッチングパターンが重畳されていない当該領域ＡＸ以外の３つの領域が正常領域であることが示されている。
本実施形態においては、例えば、処理結果格納部２５から読み込んだ尤度情報により示される尤度の大きさに応じ、メイン画像ＭＧＣの領域ＡＸに重畳されるハッチングパターンの濃度が変更されるようにしてもよい。
本実施形態においては、例えば、処理結果格納部２５から読み込んだクラス分類情報に応じ、メイン画像ＭＧＣに含まれる正常領域と異常領域とが異なる色で着色されるようにしてもよい。また、本実施形態においては、例えば、処理結果格納部２５から読み込んだ尤度情報により示される尤度の大きさに応じ、メイン画像ＭＧＣの正常領域に着色される色の濃度と、当該メイン画像ＭＧＣの異常領域に着色される色の濃度と、がそれぞれ変更されるようにしてもよい。
本実施形態によれば、例えば、正常領域に対応する推論結果のみをメイン画像に表示させるための指示が入力Ｉ／Ｆ３において行われるようにしてもよい。また、本実施形態によれば、例えば、異常領域に対応する推論結果のみをメイン画像に表示させるための指示が入力Ｉ／Ｆ３において行われるようにしてもよい。
本実施形態によれば、例えば、図３ＡのステップＳ５において、処理結果格納部２５から読み込んだ尤度情報により示される尤度に対して閾値判定を行って得られた判定結果に応じた処理が行われるようにしてもよい。具体的には、本実施形態によれば、例えば、表示制御部２６Ｄが、メイン画像に設定されたＳ個の領域のうち、処理結果格納部２５から読み込んだ尤度情報により示される尤度が所定の閾値未満の領域に対してのみ視覚情報を合成するための処理を行うようにしてもよい。または、本実施形態によれば、例えば、表示制御部２６Ｄが、メイン画像に設定されたＳ個の領域のうち、処理結果格納部２５から読み込んだ尤度情報により示される尤度が所定の閾値異常の領域に対してのみ視覚情報を合成するための処理を行うようにしてもよい。
表示制御部２６Ｄは、図３ＡのステップＳ４またはステップＳ５の処理を行った後に、分析支援情報を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図３ＡのステップＳ６）。
表示制御部２６Ｄは、分析支援情報を表示装置４に表示させるための指示が行われたとの判定結果を得た（Ｓ６：ＹＥＳ）場合には、表示情報生成部２６Ｃにより生成された２次元散布図を含む分析支援画像を表示装置４に表示されている表示画像に合成して表示させるための処理を行う（図３ＡのステップＳ７）。また、表示制御部２６Ｄは、分析支援情報を表示装置４に表示させるための指示が行われなかったとの判定結果を得た（Ｓ６：ＮＯ）場合には、図３ＡのステップＳ７以降の処理をスキップして一連の処理を終了させる。
ここで、表示画像ＤＧＣが表示装置４に表示されている状態で図３ＡのステップＳ７の処理が行われた場合には、例えば、図７に示すような、表示画像ＤＧＣに対して分析支援画像ＡＧＡを重畳した表示画像ＤＧＤが表示装置４に表示される。図７は、第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
分析支援画像ＡＧＡには、Ｓ個のプロット点を有する２次元散布図ＳＰＡが含まれている。また、２次元散布図ＳＰＡにおいては、正常領域に対応する各プロット点が白抜きの点として描かれているとともに、異常領域に対応する各プロット点が黒塗りの点として描かれている。
なお、本実施形態によれば、メイン画像ＭＧＣに含まれる正常領域と、２次元散布図ＳＰＡに含まれる当該正常領域に対応するプロット点と、が同系色で着色されるようにしてもよい。また、本実施形態によれば、メイン画像ＭＧＣに含まれる異常領域と、２次元散布図ＳＰＡに含まれる当該異常領域に対応するプロット点と、が同系色で着色されるようにしてもよい。
表示制御部２６Ｄは、図３ＡのステップＳ７の処理を行った後に、情報取得部２６Ａにより取得された情報に基づき、メイン画像内における所望の位置を選択位置として選択するための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図３ＢのステップＳ８）。
表示制御部２６Ｄは、メイン画像内における所望の位置を選択位置として選択するための指示が行われなかったとの判定結果を得た（Ｓ８：ＮＯ）場合には、後述の図３ＢのステップＳ１０の処理を続けて行う。また、表示制御部２６Ｄは、メイン画像内における所望の位置を選択位置として選択するための指示が行われたとの判定結果を得た（Ｓ８：ＹＥＳ）場合には、当該メイン画像における当該選択位置を含む選択領域と、当該メイン画像とともに表示されている２次元散布図に含まれる当該選択領域に対応するプロット点と、を視覚的に識別可能とするための識別表示に係る処理を行った（図３ＢのステップＳ９）後、一連の処理を終了させる。
具体的には、例えば、図７のメイン画像ＭＧＣにおける領域ＡＸ内の任意の位置が選択位置として選択された場合には、当該領域ＡＸと、当該メイン画像ＭＧＣとともに表示されている２次元散布図ＳＰＡに含まれる当該領域ＡＸに対応するプロット点ＰＸと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図８及び図９に示すように、表示画像ＤＧＥに表示されているメイン画像ＭＧＤにおける領域ＡＸの周囲と、表示画像ＤＧＥに表示されている分析支援画像ＡＧＢに含まれる２次元散布図ＳＰＢにおけるプロット点ＰＸの周囲と、がそれぞれ縁取られる。なお、図９の２次元散布図ＳＰＢにおいては、図示の便宜上、図７と同様のハッチングパターンを異常領域に対応する各プロット点に付与している。図８は、第１の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。図９は、図８の表示画像の分析支援画像に含まれる２次元散布図を説明するための図である。
表示制御部２６Ｄは、情報取得部２６Ａにより取得された情報に基づき、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図３ＢのステップＳ１０）。
表示制御部２６Ｄは、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われなかったとの判定結果を得た（Ｓ１０：ＮＯ）場合には、一連の処理を終了させる。また、表示制御部２６Ｄは、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われたとの判定結果を得た（Ｓ１０：ＹＥＳ）場合には、当該選択点と、当該メイン画像内における当該選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理を行った（図３ＢのステップＳ１１）後、一連の処理を終了させる。
具体的には、例えば、図７の２次元散布図ＳＰＡにおけるプロット点ＰＸが選択点として選択された場合には、当該プロット点ＰＸと、メイン画像ＭＧＣ内における当該プロット点ＰＸに対応する領域ＡＸと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図８及び図９に示すように、表示画像ＤＧＥに表示されている分析支援画像ＡＧＢに含まれる２次元散布図ＳＰＢにおけるプロット点ＰＸの周囲と、表示画像ＤＧＥに表示されているメイン画像ＭＧＤにおける領域ＡＸの周囲と、がそれぞれ縁取られる。
なお、本実施形態の表示制御部２６Ｄは、図３ＢのステップＳ９及び／またはステップＳ１１において、例えば、メイン画像ＭＧＣにおける領域ＡＸ以外の各領域の輝度を低下させるような処理を行うものであってもよい。また、本実施形態の表示制御部２６Ｄは、例えば、図３ＢのステップＳ９において、メイン画像ＭＧＣにおける領域ＡＸを拡大表示させるための処理を行うものであってもよい。
以上に述べたように、本実施形態によれば、例えば、画像内に設定された複数の領域を所定の複数のクラスのうちのいずれかに分類して得られた分類結果の尤度が低い箇所を２次元散布図で発見することができるとともに、当該２次元散布図内における当該箇所に対応するプロット点と、当該２次元散布図とともに表示されているメイン画像内における当該箇所に対応する領域と、を視認し易くすることができる。そのため、本実施形態によれば、画像内の精査が必要な箇所を特定するための作業における作業効率を向上させることができる。
なお、本実施形態によれば、例えば、２次元散布図における複数のプロット点またはメイン画像における視覚情報として表示される分類結果を修正するための指示が入力Ｉ／Ｆ３において行われた場合に、当該指示に応じて修正された修正後の分類結果に応じたクラス分類情報が処理結果格納部２５に格納されるようにしてもよい。
また、本実施形態によれば、例えば、多次元データ取得部２４Ａにより取得された多次元データを１次元データに変換するための処理が低次元データ変換部２４Ｂにおいて行われるとともに、当該１次元データを直線上の座標としてプロットしたプロット図を生成するための処理が表示情報生成部２６Ｃにより行われるようにしてもよい。
また、本実施形態によれば、例えば、多次元データ取得部２４Ａにより取得された多次元データを３次元データに変換するための処理が低次元データ変換部２４Ｂにおいて行われるとともに、当該３次元データを空間座標系の座標としてプロットしたプロット図を生成するための処理が表示情報生成部２６Ｃにより行われるようにしてもよい。
また、本実施形態によれば、例えば、表示情報生成部２６Ｃが、処理結果格納部２５から読み込んだ情報に含まれるＳ個の２次元データを用い、２次元散布図とは異なるプロット図を生成するための処理を行うように構成されていてもよい。
（第２の実施形態）
図１０から図１５Ｂは、第２の実施形態に係るものである。
なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。
本実施形態の画像処理システム１０１は、図２に示した画像処理装置２の代わりに、図１０に示すような画像処理装置２Ａを有して構成されている。図１０は、第２の実施形態に係る画像処理装置の構成の一例を示す図である。
画像処理装置２Ａは、例えば、１つ以上のプロセッサ２０１と、記憶媒体２０２と、を有するコンピュータとして構成されている（図示省略）。また、画像処理装置２Ａは、撮像装置１から出力される画像に対して処理を施すことにより表示画像を生成するとともに、当該生成した表示画像を表示装置４へ出力するように構成されている。また、画像処理装置２Ａは、入力Ｉ／Ｆ３から出力される指示を検出し、当該検出した指示に応じた表示画像等を生成して表示装置４へ出力するように構成されている。
画像処理装置２Ａは、例えば、図１０に示すように、前処理部２１と、画像記録部２２と、推論処理部３３と、次元変換処理部３４と、表示処理部３６と、を有して構成されている。
推論処理部３３は、表示処理部３６から出力されるメイン画像に対してＴ（Ｔ≧２）個の領域を設定するように構成されている。
なお、本実施形態においては、推論処理部３３及び次元変換処理部３４の処理対象となる領域の個数に相当するＴの値が、第１の実施形態の推論処理部２３及び次元変換処理部２４の処理対象となる領域の個数に相当するＳの値よりも十分小さい値として設定されるようにすればよい。また、本実施形態においては、推論処理部３３及び次元変換処理部３４の処理により設定されるＴ個の領域が矩形の領域であるものとして説明を行う。また、本実施形態においては、推論処理部３３及び次元変換処理部３４によるＴ個の領域の設定方法が相互に同一であるものとして説明を行う。
推論処理部３３は、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対し、所定の複数のクラスのうちのいずれかに分類した分類結果を示す情報に相当するクラス分類情報を取得するための処理と、当該分類結果の尤度の算出結果を示す情報に相当する尤度情報を取得するための処理と、を行うように構成されている。また、推論処理部３３は、前述の処理により得られたクラス分類情報及び尤度情報を表示処理部３６へ出力するように構成されている。具体的には、推論処理部３３は、例えば、機械学習により構成される統計モデルの一種として、第１の実施形態の推論処理部２３と同様の多層のニューラルネットワークを用いて構成されている。
すなわち、推論処理部３３は、表示処理部３６から出力されるメイン画像（処理対象画像）に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理と、当該複数の領域各々における当該分類結果の尤度を算出するための処理と、を行うように構成されている。
次元変換処理部３４は、多次元データ取得部３４Ａと、低次元データ変換部３４Ｂと、を有して構成されている。
多次元データ取得部３４Ａは、表示処理部３６から出力されるメイン画像に対してＴ個の領域を設定するように構成されている。
多次元データ取得部３４Ａは、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対応する多次元データを取得するための処理を行うように構成されている。具体的には、多次元データ取得部３４Ａは、例えば、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対し、当該Ｔ個の領域のうちの一の領域に含まれる各画素の画素値を取得するための処理を行うように構成されている。または、多次元データ取得部３４Ａは、例えば、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対し、当該Ｔ個の領域のうちの一の領域に含まれる各画素の画素値に応じた特徴ベクトルを算出するための処理を行うように構成されている。
低次元データ変換部３４Ｂは、多次元データ取得部３４Ａの処理結果として得られた多次元データを低次元データに変換するための処理を行うように構成されている。具体的には、低次元データ変換部３４Ｂは、例えば、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対し、当該Ｔ個の領域のうちの一の領域から取得された各画素値を２次元データに変換するための処理を行うように構成されている。または、低次元データ変換部３４Ｂは、例えば、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々に対し、当該Ｔ個の領域のうちの一の領域において算出された特徴ベクトルを２次元データに変換するための処理を行うように構成されている。
低次元データ変換部３４Ｂは、前述の処理により得られた２次元データを表示処理部３６へ出力するように構成されている。
すなわち、次元変換処理部３４は、表示処理部３６から出力されるメイン画像（処理対象画像）に設定された複数の領域各々に対応する多次元データを取得するための処理を行うとともに、当該多次元データを低次元データに変換するための処理を行うように構成されている。
表示処理部３６は、情報取得部３６Ａと、表示画像生成部３６Ｂと、表示情報生成部３６Ｃと、表示制御部３６Ｄと、を有して構成されている。
情報取得部３６Ａは、入力Ｉ／Ｆ３において行われた指示を検出するとともに、当該検出した指示に基づいて表示画像生成部３６Ｂ、表示情報生成部３６Ｃ及び表示制御部３６Ｄの処理に用いられる情報を取得するための処理を行うように構成されている。具体的には、情報取得部３６Ａは、入力Ｉ／Ｆ３において行われた指示の検出結果に基づき、表示装置４に表示されているメイン画像の拡大率を示す情報と、当該メイン画像内において設定された注目位置を示す情報と、当該メイン画像内において選択された選択位置を示す情報と、当該メイン画像とともに表示装置４に表示されている２次元散布図に含まれる各プロット点の中から選択された選択点を示す情報と、をそれぞれ取得するための処理を行うように構成されている。
表示画像生成部３６Ｂは、画像記録部２２に記録されたＰ個の画像のうちの少なくとも１つの画像を用い、情報取得部３６Ａにより取得された情報に含まれる拡大率及び注目位置に応じたメイン画像を生成するように構成されている。すなわち、表示画像生成部３６Ｂにより生成されたメイン画像は、情報取得部３６Ａにより取得された情報に含まれる注目位置と表示画面の中心とが一致し、かつ、当該情報に含まれる拡大率を有する画像として表示装置４に表示される。また、表示画像生成部３６Ｂは、前述のように生成したメイン画像を推論処理部３３及び次元変換処理部３４へ出力するように構成されている。また、表示画像生成部３６Ｂは、例えば、画像ＧＲＮを縮小することによりサブ画像を生成するように構成されている。また、表示画像生成部３６Ｂは、メイン画像内の所定の領域にサブ画像を重畳することにより表示画像を生成するように構成されている。また、表示画像生成部２６Ｂは、情報取得部３６Ａにより取得された情報に含まれる拡大率及び注目位置に基づき、表示装置４に表示されているメイン画像の表示範囲を画像ＧＲＮの中から特定するとともに、当該特定した表示範囲を示す矩形の枠をサブ画像に重畳するように構成されている。
表示情報生成部３６Ｃは、推論処理部３３から出力される推論結果と、次元変換処理部３４から出力される２次元データと、に応じた表示情報を生成するように構成されている。具体的には、表示情報生成部３６Ｃは、次元変換処理部３４から出力されるＴ個の２次元データを平面座標系の座標としてプロットした２次元散布図を生成するように構成されている。また、表示情報生成部３６Ｃは、前述のように生成した２次元散布図に含まれるＴ個のプロット点各々に対し、推論処理部３３から出力されるクラス分類情報に応じた異なる色または模様を付加するように構成されている。また、表示情報生成部３６Ｃは、推論処理部３３から出力される推論結果に相当するクラス分類情報及び尤度情報を表示画像生成部３６Ｂにより生成されたメイン画像内において視覚的に示すための視覚情報を生成するように構成されている。
表示制御部３６Ｄは、表示画像生成部３６Ｂにより生成された表示画像を表示装置４に表示させるための処理を行うように構成されている。また、表示制御部３６Ｄは、ユーザによるメイン画像の分析を支援するための情報に相当する分析支援情報を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、表示情報生成部３６Ｃにより生成された２次元散布図を含む分析支援画像を表示装置４に表示されている表示画像に合成して表示させるための処理を行うように構成されている。また、表示制御部３６Ｄは、推論処理部３３により得られた推論結果を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、表示情報生成部３６Ｃにより生成された視覚情報を表示装置４に表示されている表示画像（メイン画像）に合成して表示させるための処理を行うように構成されている。また、表示制御部３６Ｄは、情報取得部３６Ａにより取得された情報に含まれる選択位置に応じ、表示装置４に表示されているメイン画像及び２次元散布図の表示態様を変化させるための処理（後述）を行うように構成されている。また、表示制御部３６Ｄは、情報取得部３６Ａにより取得された情報に含まれる選択点に応じ、表示装置４に表示されているメイン画像及び２次元散布図の表示態様を変化させるための処理（後述）を行うように構成されている。
すなわち、表示処理部３６は、メイン画像に設定されたＴ個の領域を含む表示画像（メイン画像）と、当該Ｔ個の領域各々における低次元データ（２次元データ）に対して推論処理部３３により得られた分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図（２次元散布図）と、を併せて表示装置４に表示させるための処理を行うように構成されている。また、表示処理部３６は、メイン画像に設定されたＴ個の領域各々における２次元データに対して推論処理部３３により得られた分類結果に応じた色または模様を付加して生成した複数のプロット点を有する２次元散布図を生成するための処理を行うように構成されている。また、表示処理部３６は、推論処理部３３により得られた分類結果及び尤度に応じた視覚情報を表示画像（メイン画像）に合成して表示装置４に表示させるための処理を行うように構成されている。
なお、本実施形態においては、画像処理装置２Ａの各部の機能が、プロセッサ２０１及び記憶媒体２０２を含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、画像処理装置２Ａの各部の機能を実現するためのプログラムが記憶媒体２０２に格納されているとともに、プロセッサ２０１が当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体２０２としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。
続いて、本実施形態の作用について、図１１Ａ及び図１１Ｂ等を参照しつつ説明する。図１１Ａは、第２の実施形態に係る画像処理装置において行われる処理の具体例の一部を示すフローチャートである。図１１Ｂは、図１１Ａの処理の続きを示すフローチャートである。
表示画像生成部３６Ｂは、情報取得部３６Ａにより取得された情報に含まれる拡大率及び注目位置に基づき、画像記録部２２に記録されたＰ個の画像のうちの少なくとも１つの画像を用い、メイン画像及びサブ画像を有する表示画像を生成するための処理を行う（図１１ＡのステップＳ２１）。また、表示画像生成部３６Ｂは、図１１ＡのステップＳ２１において生成した表示画像に含まれるメイン画像を推論処理部３３及び次元変換処理部３４へ出力する。
具体的には、表示画像生成部３６Ｂは、例えば、拡大率及び注目位置の設定に係る指示が行われていない状態に相当するデフォルト状態において、図４に示したようなメイン画像ＭＧＡ及びサブ画像ＳＧＡを有する表示画像ＤＧＡを生成する。また、表示画像生成部３６Ｂは、表示画像ＤＧＡに含まれるメイン画像ＭＧＡを推論処理部３３及び次元変換処理部３４へ出力する。
推論処理部３３は、図１１ＡのステップＳ２１を経て表示処理部３６から出力されるメイン画像にＴ個の領域を設定する。また、推論処理部３３は、前述のメイン画像に設定されたＴ個の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を示すクラス分類情報と、当該Ｔ個の領域各々における分類結果の尤度の算出結果を示す尤度情報と、を推論結果として取得するための処理を行う（図１１ＡのステップＳ２２）。また、推論処理部３３は、図１１ＡのステップＳ２２において取得した推論結果（クラス分類情報及び尤度情報）を表示処理部３６へ出力する。
なお、本実施形態においては、表示処理部３６から出力されるメイン画像に設定されたＴ個の領域各々を「正常」及び「異常」の２つのクラスのうちのいずれかに分類した分類結果を示すクラス分類情報を取得するための処理が推論処理部３３により行われるものとして説明する。また、本実施形態においては、正常領域各々における分類結果の尤度の算出結果と、異常領域各々における分類結果の尤度の算出結果と、を示す尤度情報を取得するための処理が推論処理部３３により行われるものとして説明する。
次元変換処理部３４（多次元データ取得部３４Ａ）は、図１１ＡのステップＳ２１を経て表示処理部３６から出力されるメイン画像にＴ個の領域を設定する。また、次元変換処理部３４（多次元データ取得部３４Ａ及び低次元データ変換部３４Ｂ）は、前述のメイン画像に設定されたＴ個の領域各々に対応する多次元データを取得するための処理を行うとともに、当該多次元データを変換して２次元データを取得するための処理を行う（図１１ＡのステップＳ２３）。また、次元変換処理部３４（低次元データ変換部３４Ｂ）は、図１１ＡのステップＳ２３において取得した２次元データを表示処理部３６へ出力する。
表示画像生成部３６Ｂは、情報取得部３６Ａにより取得された情報に含まれる拡大率または注目位置が図１１ＡのステップＳ２１の状態から変更されたか否かに係る判定処理を行う（図１１ＡのステップＳ２４）。
表示画像生成部３６Ｂは、情報取得部３６Ａにより取得された情報に含まれる拡大率または注目位置が図１１ＡのステップＳ２１の状態から変更されたとの判定結果を得た（Ｓ２４：ＹＥＳ）場合には、図１１ＡのステップＳ２１に戻って処理を行うことにより、変更後の拡大率及び注目位置に応じた表示画像を生成するとともに、当該生成した表示画像に含まれるメイン画像を推論処理部３３及び次元変換処理部３４へ出力する。
具体的には、表示画像生成部３６Ｂは、例えば、図４の表示画像ＤＧＡが表示装置４に表示されている状態で拡大率または注目位置が変更された場合に、図５に示したようなメイン画像ＭＧＢ及びサブ画像ＳＧＡを有する表示画像ＤＧＢを生成する。また、表示画像生成部３６Ｂは、表示画像ＤＧＢに含まれるメイン画像ＭＧＢを推論処理部３３及び次元変換処理部３４へ出力する。
以上に述べた処理によれば、メイン画像における拡大率または注目位置が変更される毎に、当該メイン画像にＴ個の領域を設定する処理と、当該Ｔ個の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理と、当該Ｔ個の領域各々における当該分類結果の尤度を算出するための処理と、が推論処理部３３により行われる。また、以上に述べた処理によれば、メイン画像における拡大率または注目位置が変更される毎に、当該メイン画像にＴ個の領域を設定する処理と、当該Ｔ個の領域各々に対応する多次元データを取得するための処理と、当該多次元データを変換して２次元データを取得するための処理と、が次元変換処理部３４により行われる。
表示制御部３６Ｄは、情報取得部３６Ａにより取得された情報に含まれる拡大率及び注目位置が図１１ＡのステップＳ２１の状態からいずれも変更されていないとの判定結果が得られたことを検出した（Ｓ２４：ＮＯ）場合に、推論処理部３３により得られた推論結果を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図１１ＡのステップＳ２５）。
表示制御部３６Ｄは、推論処理部３３により得られた推論結果を表示装置４に表示させるための指示が行われたとの判定結果を得た（Ｓ２５：ＹＥＳ）場合には、表示情報生成部３６Ｃにより生成された視覚情報を表示装置４に表示されている表示画像に合成して表示させるための処理を行う（図１１ＡのステップＳ２６）。また、表示制御部３６Ｄは、推論処理部３３により得られた推論結果を表示装置４に表示させるための指示が行われなかったとの判定結果を得た（Ｓ２５：ＮＯ）場合には、図１１ＡのステップＳ２６の処理をスキップしてステップＳ２７の処理を行う。
ここで、図４の表示画像ＤＧＡが表示装置４に表示されている状態で図１１ＡのステップＳ２６の処理が行われた場合には、例えば、図１２Ａに示すような、メイン画像ＭＧＫ及びサブ画像ＳＧＡを有する表示画像ＤＧＫが表示装置４に表示される。図１２Ａは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
メイン画像ＭＧＫにおいては、Ｔ個の領域の設定状態を示すグリッド線ＧＬＫが破線で描かれている。
メイン画像ＭＧＫにおいては、Ｔ個の領域各々に対応する推論結果が示されている。
具体的には、メイン画像ＭＧＫにおいては、例えば、グリッド線ＧＬＫにより分割された１６個の領域のうち、ハッチングパターンが重畳された領域ＡＹを含む２つの領域が異常領域であるとともに、当該ハッチングパターンが重畳されていない１４個の領域が正常領域であることが示されている。
また、図５の表示画像ＤＧＢが表示装置４に表示されている状態で図１１ＡのステップＳ２６の処理が行われた場合には、例えば、図１２Ｂに示すような、メイン画像ＭＧＰ及びサブ画像ＳＧＡを有する表示画像ＤＧＰが表示装置４に表示される。図１２Ｂは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
メイン画像ＭＧＰにおいては、Ｔ個の領域の設定状態を示すグリッド線ＧＬＰが破線で描かれている。
メイン画像ＭＧＰにおいては、Ｔ個の領域各々に対応する推論結果が示されている。
具体的には、メイン画像ＭＧＰにおいては、例えば、グリッド線ＧＬＰにより分割された１６個の領域のうち、ハッチングパターンが重畳された領域ＡＺを含む３つの領域が異常領域であるとともに、当該ハッチングパターンが重畳されていない１３個の領域が正常領域であることが示されている。
表示制御部３６Ｄは、図１１ＡのステップＳ２５またはステップＳ２６の処理を行った後に、分析支援情報を表示装置４に表示させるための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図１１ＡのステップＳ２７）。
表示制御部３６Ｄは、分析支援情報を表示装置４に表示させるための指示が行われたとの判定結果を得た（Ｓ２７：ＹＥＳ）場合には、表示情報生成部２６Ｃにより生成された２次元散布図を含む分析支援画像を表示装置４に表示されている表示画像に合成して表示させるための処理を行う（図１１ＡのステップＳ２８）。また、表示制御部３６Ｄは、分析支援情報を表示装置４に表示させるための指示が行われなかったとの判定結果を得た（Ｓ２７：ＮＯ）場合には、図１１ＡのステップＳ２８以降の処理をスキップして一連の処理を終了させる。
ここで、図１２Ａの表示画像ＤＧＫが表示装置４に表示されている状態で図１１ＡのステップＳ２８の処理が行われた場合には、例えば、図１３Ａに示すような、表示画像ＤＧＫに対して分析支援画像ＡＧＫを重畳した表示画像ＤＧＬが表示装置４に表示される。図１３Ａは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
分析支援画像ＡＧＫには、Ｔ個のプロット点を有する２次元散布図ＳＰＫが含まれている。また、２次元散布図ＳＰＫにおいては、正常領域に対応する各プロット点が白抜きの点として描かれているとともに、異常領域に対応する各プロット点が黒塗りの点として描かれている。
また、図１２Ｂの表示画像ＤＧＰが表示装置４に表示されている状態で図１１ＡのステップＳ２８の処理が行われた場合には、例えば、図１３Ｂに示すような、表示画像ＤＧＰに対して分析支援画像ＡＧＰを重畳した表示画像ＤＧＱが表示装置４に表示される。図１３Ｂは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
分析支援画像ＡＧＰには、Ｔ個のプロット点を有する２次元散布図ＳＰＰが含まれている。また、２次元散布図ＳＰＰにおいては、正常領域に対応する各プロット点が白抜きの点として描かれているとともに、異常領域に対応する各プロット点が黒塗りの点として描かれている。
すなわち、以上に述べたような処理によれば、メイン画像において設定された拡大率及び注目位置に応じ、当該メイン画像に表示される推論結果の表示内容と、当該メイン画像とともに表示される２次元散布図の表示内容と、を動的に変化させることができる。
表示制御部３６Ｄは、図１１ＡのステップＳ２８の処理を行った後に、情報取得部３６Ａにより取得された情報に基づき、メイン画像内における所望の位置を選択位置として選択するための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図１１ＢのステップＳ２９）。
表示制御部３６Ｄは、メイン画像内における所望の位置を選択位置として選択するための指示が行われなかったとの判定結果を得た（Ｓ２９：ＮＯ）場合には、後述の図１１ＢのステップＳ３１の処理を続けて行う。また、表示制御部３６Ｄは、メイン画像内における所望の位置を選択位置として選択するための指示が行われたとの判定結果を得た（Ｓ２９：ＹＥＳ）場合には、当該メイン画像における当該選択位置を含む選択領域と、当該メイン画像とともに表示されている２次元散布図に含まれる当該選択領域に対応するプロット点と、を視覚的に識別可能とするための識別表示に係る処理を行った（図１１ＢのステップＳ３０）後、一連の処理を終了させる。
具体的には、例えば、図１３Ａのメイン画像ＭＧＫにおける領域ＡＹ内の任意の位置が選択位置として選択された場合には、当該領域ＡＹと、当該メイン画像ＭＧＫとともに表示されている２次元散布図ＳＰＫに含まれる当該領域ＡＹに対応するプロット点ＰＹと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図１４Ａ及び図１５Ａに示すように、表示画像ＤＧＭに表示されているメイン画像ＭＧＬにおける領域ＡＹの周囲と、表示画像ＤＧＭに表示されている分析支援画像ＡＧＬに含まれる２次元散布図ＳＰＬにおけるプロット点ＰＹの周囲と、がそれぞれ縁取られる。なお、図１５Ａの２次元散布図ＳＰＬにおいては、図示の便宜上、図１３Ａと同様のハッチングパターンを異常領域に対応する各プロット点に付与している。図１４Ａは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。図１５Ａは、図１４Ａの表示画像の分析支援画像に含まれる２次元散布図を説明するための図である。
また、例えば、図１３Ｂのメイン画像ＭＧＰにおける領域ＡＺ内の任意の位置が選択位置として選択された場合には、当該領域ＡＺと、当該メイン画像ＭＧＰとともに表示されている２次元散布図ＳＰＰに含まれる当該領域ＡＺに対応するプロット点ＰＺと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図１４Ｂ及び図１５Ｂに示すように、表示画像ＤＧＲに表示されているメイン画像ＭＧＱにおける領域ＡＺの周囲と、表示画像ＤＧＲに表示されている分析支援画像ＡＧＱに含まれる２次元散布図ＳＰＱにおけるプロット点ＰＺの周囲と、がそれぞれ縁取られる。なお、図１５Ｂの２次元散布図ＳＰＱにおいては、図示の便宜上、図１３Ｂと同様のハッチングパターンを異常領域に対応する各プロット点に付与している。図１４Ｂは、第２の実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。図１５Ｂは、図１４Ｂの表示画像の分析支援画像に含まれる２次元散布図を説明するための図である。
表示制御部３６Ｄは、情報取得部３６Ａにより取得された情報に基づき、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が入力Ｉ／Ｆ３において行われた否かに係る判定処理を行う（図１１ＢのステップＳ３１）。
表示制御部３６Ｄは、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われなかったとの判定結果を得た（Ｓ３１：ＮＯ）場合には、一連の処理を終了させる。また、表示制御部３６Ｄは、メイン画像とともに表示されている２次元散布図内に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われたとの判定結果を得た（Ｓ３１：ＹＥＳ）場合には、当該選択点と、当該メイン画像内における当該選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理を行った（図１１ＢのステップＳ３２）後、一連の処理を終了させる。
具体的には、例えば、図１３Ａの２次元散布図ＳＰＫにおけるプロット点ＰＹが選択点として選択された場合には、当該プロット点ＰＹと、メイン画像ＭＧＫ内における当該プロット点ＰＹに対応する領域ＡＹと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図１４Ａ及び図１５Ａに示すように、表示画像ＤＧＭに表示されている分析支援画像ＡＧＬに含まれる２次元散布図ＳＰＬにおけるプロット点ＰＹの周囲と、表示画像ＤＧＭに表示されているメイン画像ＭＧＬにおける領域ＡＹの周囲と、がそれぞれ縁取られる。
また、例えば、図１３Ｂの２次元散布図ＳＰＰにおけるプロット点ＰＺが選択点として選択された場合には、当該プロット点ＰＺと、メイン画像ＭＧＱ内における当該プロット点ＰＺに対応する領域ＡＺと、を視覚的に識別可能とするための識別表示に係る処理が行われる。そして、このような処理によれば、例えば、図１４Ｂ及び図１５Ｂに示すように、表示画像ＤＧＲに表示されている分析支援画像ＡＧＱに含まれる２次元散布図ＳＰＱにおけるプロット点ＰＺの周囲と、表示画像ＤＧＲに表示されているメイン画像ＭＧＱにおける領域ＡＺの周囲と、がそれぞれ縁取られる。
なお、本実施形態においては、例えば、推論処理部３３及び次元変換処理部３４が、表示制御部３６Ｄから出力されるメイン画像において設定したＴ個の領域と同じ形状及びサイズを有するＵ個の領域を当該Ｔ個の領域の周囲に追加設定するようにしてもよい。
そして、前述のような構成によれば、例えば、図１１ＡのステップＳ２２において、（Ｔ＋Ｕ）個の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を示すクラス分類情報と、当該（Ｔ＋Ｕ）個の領域各々における分類結果の尤度の算出結果を示す尤度情報と、を取得するための処理が推論処理部３３により行われる。また、前述のような構成によれば、例えば、図１１ＡのステップＳ２３において、（Ｔ＋Ｕ）個の領域各々に対応する多次元データを取得するとともに、当該多次元データを変換して２次元データを取得するための処理が次元変換処理部３４により行われる。そのため、前述のような構成によれば、例えば、メイン画像における注目位置の変化に応じて行われる推論処理部３３及び次元変換処理部３４の処理の頻度を減らすことができる。
以上に述べたように、本実施形態によれば、例えば、画像内に設定された複数の領域を所定の複数のクラスのうちのいずれかに分類して得られた分類結果の尤度が低い箇所を２次元散布図で発見することができるとともに、当該２次元散布図内における当該箇所に対応するプロット点と、当該２次元散布図とともに表示されているメイン画像内における当該箇所に対応する領域と、を視認し易くすることができる。そのため、本実施形態によれば、画像内の精査が必要な箇所を特定するための作業における作業効率を向上させることができる。
なお、以上に述べた各実施形態は、半導体ウエハー及び当該半導体ウエハー上に形成された複数のチップを被写体として撮像して得られた工業分野の画像に対して適用されるものに限らず、例えば、生体組織等を被写体として撮像して得られた医療分野の画像に対しても略同様に適用される。
本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。具体的には、例えば、処理結果格納部２５から読み込んだ情報に含まれるクラス分類情報に応じた異なる色または模様を付加するように構成しない場合も許容される。推論処理部２３により得られた推論結果について、色または模様を付加せずとも、当該推論結果の集まり（固まり）の分布で特徴量が近い領域が分かる場合もあるからである。また、次元変換処理部３４は、教師無し学習に相当するクラスタリング結果であってもよくて、必ずしも次元変換をしなくて良い。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本出願は、２０１８年１１月７日に日本国に出願された特願２０１８－２０９７３８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (6)

  1. 処理対象画像に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理を行うように構成された推論処理部と、
    前記処理対象画像に設定された前記複数の領域各々に対応する多次元データを取得するための処理を行うとともに、前記多次元データを低次元データに変換するための処理を行うように構成された次元変換処理部と、
    前記複数の領域のうちの１つ以上の領域を含む表示画像と、前記複数の領域各々における前記低次元データに対して前記分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図と、を併せて表示装置に表示させるための処理を行うとともに、前記プロット図に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われた場合に、前記選択点と、前記表示画像内における前記選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理を行うように構成された表示処理部と、
    を有し、
    前記推論処理部は、機械学習により構成される統計モデルを用いて構成されており、前記統計モデルで計算される尤度に基づいて、前記複数の領域各々における前記分類結果を算出するための処理をさらに行い、
    前記表示処理部は、前記表示装置に表示されている表示画像の拡大率を示す情報と、前記表示画像内において設定された注目位置を示す情報と、前記表示画像内において選択された選択位置を示す情報と、前記選択点を示す情報とを取得し、画像記録部に記録された複数の画像のうちの少なくとも１つの画像を用い、取得した情報に含まれる前記拡大率及び前記注目位置に応じた表示画像を生成する処理をさらに行う
    ことを特徴とする画像処理装置。
  2. 前記表示処理部は、前記表示画像内の所望の位置を選択位置として選択するための指示が行われた場合に、前記複数の領域のうちの前記選択位置を含む選択領域と、前記プロット図に含まれる前記選択領域に対応するプロット点と、を視覚的に識別可能とするための識別表示に係る処理を行う
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記プロット図における前記複数のプロット点または前記表示画像における視覚情報として表示される前記分類結果を修正するための指示が行われた場合に、修正後の分類結果を格納するように構成された格納部をさらに有する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記次元変換処理部は、前記多次元データを２次元データに変換するための処理を行い、
    前記表示処理部は、前記複数の領域各々における前記２次元データに対して前記分類結果に応じた色または模様を付加して生成した前記複数のプロット点を有する２次元散布図を生成するための処理を行う
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 推論処理部が、処理対象画像に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理を行い、
    次元変換処理部が、前記処理対象画像に設定された前記複数の領域各々に対応する多次元データを取得するための処理を行うとともに、前記多次元データを低次元データに変換するための処理を行い、
    表示処理部が、前記複数の領域のうちの１つ以上の領域を含む表示画像と、前記複数の領域各々における前記低次元データに対して前記分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図と、を併せて表示装置に表示させるための処理を行い、
    前記表示処理部が、前記プロット図に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われた場合に、前記選択点と、前記表示画像内における前記選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理を行い、
    前記推論処理部が、機械学習により構成される統計モデルを用いて構成されており、前記統計モデルで計算される尤度に基づいて、前記複数の領域各々における前記分類結果を算出するための処理をさらに行い、
    前記表示処理部が、前記表示装置に表示されている表示画像の拡大率を示す情報と、前記表示画像内において設定された注目位置を示す情報と、前記表示画像内において選択された選択位置を示す情報と、前記選択点を示す情報とを取得し、画像記録部に記録された複数の画像のうちの少なくとも１つの画像を用い、取得した情報に含まれる前記拡大率及び前記注目位置に応じた表示画像を生成する処理をさらに行う
    ことを特徴とする画像処理方法。
  6. コンピュータに、
    処理対象画像に設定された複数の領域各々を所定の複数のクラスのうちのいずれかに分類した分類結果を取得するための処理と、
    前記処理対象画像に設定された前記複数の領域各々に対応する多次元データを取得するための処理と、
    前記多次元データを低次元データに変換するための処理と、
    前記複数の領域のうちの１つ以上の領域を含む表示画像と、前記複数の領域各々における前記低次元データに対して前記分類結果に応じた異なる色または模様を付加して生成した複数のプロット点を有するプロット図と、を併せて表示装置に表示させるための処理と、
    前記プロット図に含まれる各プロット点の中から所望のプロット点を選択点として選択するための指示が行われた場合に、前記選択点と、前記表示画像内における前記選択点に対応する領域と、を視覚的に識別可能とするための識別表示に係る処理と、
    機械学習により構成される統計モデルで計算される尤度に基づいて、前記複数の領域各々における前記分類結果を算出するための処理と、
    前記表示装置に表示されている表示画像の拡大率を示す情報と、前記表示画像内において設定された注目位置を示す情報と、前記表示画像内において選択された選択位置を示す情報と、前記選択点を示す情報とを取得し、画像記録部に記録された複数の画像のうちの少なくとも１つの画像を用い、取得した情報に含まれる前記拡大率及び前記注目位置に応じた表示画像を生成する処理と、
    を実行させるプログラム。
JP2020556087A 2018-11-07 2019-11-05 画像処理装置、画像処理方法及びプログラム Active JP7443244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018209738 2018-11-07
JP2018209738 2018-11-07
PCT/JP2019/043334 WO2020095909A1 (ja) 2018-11-07 2019-11-05 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020095909A1 JPWO2020095909A1 (ja) 2021-09-02
JP7443244B2 true JP7443244B2 (ja) 2024-03-05

Family

ID=70611507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556087A Active JP7443244B2 (ja) 2018-11-07 2019-11-05 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11875547B2 (ja)
JP (1) JP7443244B2 (ja)
CN (1) CN112955929A (ja)
WO (1) WO2020095909A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2009123196A (ja) 2007-10-22 2009-06-04 Hitachi Kokusai Electric Inc 画像検索装置
JP2009238992A (ja) 2008-03-27 2009-10-15 Tokyo Electron Ltd 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
JP2011089976A (ja) 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
JP5101164B2 (ja) 2007-05-21 2012-12-19 株式会社ティラド モジュール型熱交換器のタンク接続構造
JP2014153906A (ja) 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3194996B2 (ja) * 1991-09-13 2001-08-06 富士通株式会社 疵検査装置
JP3005440B2 (ja) * 1994-12-28 2000-01-31 大日本スクリーン製造株式会社 欠陥検査装置および欠陥検査方法
JP4042462B2 (ja) 2002-04-24 2008-02-06 ソニー株式会社 画像処理装置およびその方法
KR100810058B1 (ko) * 2003-06-10 2008-03-05 에이디이 코포레이션 멀티-채널 데이터의 그래픽 표현을 이용하여 기판의표면에서 발생하는 결함을 분류하는 방법 및 시스템
JP4077869B2 (ja) 2006-05-29 2008-04-23 松下電器産業株式会社 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
JP2009129196A (ja) 2007-11-22 2009-06-11 Sharp Corp 熱解析モデル生成装置、熱解析モデル生成方法、熱解析装置および熱解析方法
CN102027490B (zh) * 2008-05-14 2016-07-06 皇家飞利浦电子股份有限公司 基于图像分割的图像分类
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
CN102741882B (zh) * 2010-11-29 2015-11-25 松下电器（美国）知识产权公司 图像分类装置、图像分类方法、集成电路、模型制作装置
JP2012217591A (ja) * 2011-04-07 2012-11-12 Toshiba Corp 画像処理システム、装置、方法及びプログラム
JP5257958B2 (ja) * 2011-06-01 2013-08-07 株式会社日立メディコ 画像表示装置、画像表示システムおよび画像表示方法
WO2016182608A2 (en) * 2015-02-10 2016-11-17 D-Wave Systems Inc. Systems, devices, articles, and methods for quantum processor architecture
US9613300B2 (en) * 2015-06-17 2017-04-04 Canon Kabushiki Kaisha Material classification using multiview capture
JP6742745B2 (ja) 2016-02-08 2020-08-19 キヤノン株式会社 情報取得装置および表示方法
JP6842745B2 (ja) 2016-07-28 2021-03-17 国立大学法人信州大学 画像判別装置及び画像判別方法
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
US11464473B2 (en) * 2018-05-24 2022-10-11 Case Western Reserve University Distinguishing minimally invasive carcinoma and adenocarcinoma in situ from invasive adenocarcinoma with intratumoral and peri-tumoral textural features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP5101164B2 (ja) 2007-05-21 2012-12-19 株式会社ティラド モジュール型熱交換器のタンク接続構造
JP2009123196A (ja) 2007-10-22 2009-06-04 Hitachi Kokusai Electric Inc 画像検索装置
JP2009238992A (ja) 2008-03-27 2009-10-15 Tokyo Electron Ltd 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
JP2011089976A (ja) 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
JP2014153906A (ja) 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム

Also Published As

Publication number Publication date
CN112955929A (zh) 2021-06-11
JPWO2020095909A1 (ja) 2021-09-02
WO2020095909A1 (ja) 2020-05-14
US20210256325A1 (en) 2021-08-19
US11875547B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111445449B (zh) 感兴趣区域的分类方法、装置、计算机设备和存储介质
JP6635648B2 (ja) 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
JP2019533805A (ja) 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JPWO2007026598A1 (ja) 医用画像処理装置
JP4823204B2 (ja) 医用画像処理装置
US9378552B2 (en) Image processing apparatus and image processing method
KR101992044B1 (ko) 정보 처리 장치, 방법, 및 컴퓨터 프로그램
JP2013103023A (ja) 画像診断支援装置および画像診断支援方法
US11927540B2 (en) Information processing apparatus, information processing method, and recording medium
US20180182485A1 (en) Information processing apparatus, information processing method, and recording medium
US20210209834A1 (en) Image processing apparatus, image processing method, and image processing system
JP7443244B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150363054A1 (en) Medical image display apparatus, method for controlling the same
JP2012061019A (ja) 画像処理装置、方法およびプログラム
JP2020131019A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019170881A (ja) コンピュータプログラム、分類装置、分類方法、画像出力装置及び画像出力装置の動作方法
JP4816373B2 (ja) 医用画像処理システム
JP6897431B2 (ja) 画像処理装置、設定支援方法、および設定支援プログラム
EP4270311A1 (en) Image identification program, image identification method, image identification device
JP7277762B2 (ja) 組織構成特定方法、組織構成特定装置及びプログラム
JP2006304840A (ja) 医用画像表示システム
WO2024150572A1 (ja) 画像識別方法および画像識別プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230320

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230329

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230404

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240221

R150 Certificate of patent or registration of utility model

Ref document number: 7443244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150