JP7279697B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP7279697B2
JP7279697B2 JP2020161482A JP2020161482A JP7279697B2 JP 7279697 B2 JP7279697 B2 JP 7279697B2 JP 2020161482 A JP2020161482 A JP 2020161482A JP 2020161482 A JP2020161482 A JP 2020161482A JP 7279697 B2 JP7279697 B2 JP 7279697B2
Authority
JP
Japan
Prior art keywords
crystallinity
image
pixel
fourier transform
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020161482A
Other languages
English (en)
Other versions
JP2022054338A (ja
Inventor
浩隆 坂本
正雄 矢野
哲也 庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020161482A priority Critical patent/JP7279697B2/ja
Priority to US17/480,390 priority patent/US11928829B2/en
Priority to CN202111113105.4A priority patent/CN114332851A/zh
Publication of JP2022054338A publication Critical patent/JP2022054338A/ja
Application granted granted Critical
Publication of JP7279697B2 publication Critical patent/JP7279697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
従来、透過電子顕微鏡（TEM:Transmission Electron Microscope）により撮像された画像（以下、単に「ＴＥＭ画像」と称する。）を解析する技術が知られている。例えば、非特許文献１には、ＴＥＭ画像に対する一般的な画像解析技術が開示されている。
また、非特許文献２には、ディープニューラルネットワークを用いてＴＥＭ画像に写る物質の局所構造を解析する技術が開示されている。
HREM Research Inc., "GPA for Digital Micrograph",［令和2年9月14日検索］，インターネット<https://www.hremresearch.com/Eng/download/documents/gpa4dm.pdf> Jacob Madsenほか, "A Deep Learning Approach to Identify Local Structures in Atomic‐Resolution Transmission Electron Microscopy Images", ［令和2年9月14日検索］，インターネット<https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.201800037@10.1002/(ISSN)25130390.Machine Learning>
ところで、ＴＥＭ画像に写る材料の結晶性を評価したい場合がある。図８に、ＴＥＭ画像の一例を示す。例えば、図８に示されるように、ＴＥＭ画像ＩＭ１，ＩＭ２に写る模様のような箇所は結晶性が高い箇所であり、それ以外の箇所は結晶性が低い箇所である。
図８に示されるようなＴＥＭ画像ＩＭ１，ＩＭ２の結晶性を評価しようとする場合、例えば、図９に示されるように、画像の輝度値によってその結晶性を評価することが考えられる。
しかし、図９に示されるように、ＴＥＭ画像ＩＭのうちの結晶性が高い箇所Ｌ１と結晶性が低い箇所Ｌ２とでほぼ同じ輝度である箇所も多く、単に画像の輝度値によって結晶性を評価することはできない。ＴＥＭ画像ＩＭの輝度値に対して単に閾値処理を施した場合には、図９に示されるような画像ＩＭｂが生成される。しかし、図９の画像ＩＭｂは、単に輝度値が高い部分が画素単位で抽出されているものの、結晶性が異なる部分について領域単位では抽出されていない。
このため、例えば、上記特許文献１に開示されているような画像解析のみでは、ＴＥＭ画像に写る材料の結晶性の異なる領域を判定することはできない。
また、上記非特許文献２に開示されているようなニューラルネットワーク等によってＴＥＭ画像に写る材料の結晶性を評価しようとする場合、ラベル付きの学習用データを大量に用意する必要がある。ニューラルネットワーク等の学習済みモデルの精度は、その学習用データの質及び量に依存する。精度の良い学習済みモデルを生成しようとする場合には大量の学習用データを用意する必要があり、その用意に膨大な手間がかかる。
このため、上記非特許文献１，２の従来技術は、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができない、という課題がある。
本発明は、上記事実を考慮し、ＴＥＭ画像に写る材料の結晶性を簡易に判定することを目的とする。
第１態様の情報処理装置は、透過電子顕微鏡により撮像された画像を取得する取得部と、前記取得部により取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行する変換部と、前記変換部により得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングするクラスタリング部と、前記クラスタリング部によるクラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する判定部と、を含む情報処理装置である。
第２態様の情報処理装置の前記クラスタリング部は、複数の前記部分領域を、結晶性が高い領域であることを示す第１のクラスタと、結晶性が低い領域であることを示す第２のクラスタとにクラスタリングする。これにより、部分領域の各々について、結晶性が高い領域であるのか低い領域であるのかを判定することができる。
第３態様の情報処理装置の前記変換部は、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記２次元フーリエ変換を実行し、前記判定部は、前記部分領域の各々について計算された前記２次元フーリエ変換の結果に基づく前記クラスタリング部のクラスタリング結果から、前記部分領域内の前記中心画素は結晶性が高い画素であるか否かを判定することにより、前記部分領域は結晶性が高い領域であるか否かを判定する。これにより、画像中の画素毎に結晶性が高い領域であるのか低い領域であるのかを判定することができる。
第４態様の情報処理装置は、前記判定部による前記中心画素の各々の判定結果に基づいて、結晶性が高いと判定された場合には前記中心画素に対応する位置の画素に第１の画素値を付与し、結晶性が低いと判定された場合には前記中心画素に対応する位置の画素に第２の画素値を付与することにより、結晶性の度合いを表す結晶性画像を生成する画像生成部を更に含む。これにより、ＴＥＭ画像に写る材料の結晶性の異なる領域を可視化することができる。
第５態様の情報処理装置の前記クラスタリング部は、前記２次元フーリエ変換の結果から得られる周波数強度を積算し、前記積算により得られた値をクラスタリングする。これにより、部分領域内の周波数強度を考慮して結晶性の異なる領域を判定することができる。
第６態様の情報処理装置の前記クラスタリング部は、所定のベクトル圧縮手法を用いて、前記積算により得られた値である高次元ベクトルを前記高次元ベクトルよりも次元が低いベクトルである低次元ベクトルへ圧縮し、圧縮された前記低次元ベクトルをクラスタリングする。これにより情報量が低減されるため、結晶性の判定に要する処理を低減させることができる。
第７態様の情報処理方法は、透過電子顕微鏡により撮像された画像を取得し、取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行し、得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングし、クラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する、処理をコンピュータが実行する情報処理方法である。
第８態様の情報処理プログラムは、透透過電子顕微鏡により撮像された画像を取得し、取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行し、得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングし、クラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する、処理をコンピュータに実行させるための情報処理プログラムである。
以上説明したように本発明によれば、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる、という効果がある。
実施形態に係る情報処理システムの概略ブロック図である。 ＴＥＭ画像における部分領域を説明するための図である。 ２次元フーリエ変換の結果から周波数強度を得る方法を説明するための図である。 クラスタリングを説明するための図である。 結晶性画像の一例を示す図である。 実施形態に係るユーザ端末及びサーバのコンピュータの構成例を示す図である。 実施形態に係るサーバで行われる情報処理の一例を示すフローチャートである。 ＴＥＭ画像の一例を示す図である。 ＴＥＭ画像に対して閾値処理を施した画像の一例を示す図である。
＜実施形態＞
図１は、実施形態に係る情報処理システム１０の機能構成の一例を示すブロック図である。情報処理システム１０は、図１に示されるように、ユーザ端末１２と、情報処理装置の一例であるサーバ１４とを備える。ユーザ端末１２とサーバ１４とは、例えば、インターネット等のネットワーク１３を介して接続される。
実施形態に係る情報処理システム１０は、透過電子顕微鏡により撮像された画像であるＴＥＭ画像を解析し、ＴＥＭ画像に写る材料の結晶性を判定する。具体的には、情報処理システム１０のサーバ１４は、ユーザ端末１２から送信されたＴＥＭ画像の各部分領域をフーリエ変換することにより、各部分領域の周波数強度を得る。そして、サーバ１４は、ＴＥＭ画像の各部分領域の周波数強度をクラスタリングすることにより、ＴＥＭ画像のうちの結晶性の異なる領域を判定する。これにより、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる。
以下、具体的に説明する。
（ユーザ端末）
ユーザは、分析対象である材料のＴＥＭ画像を、自身が操作するユーザ端末１２へ入力する。ＴＥＭ画像は、透過電子顕微鏡により撮像された材料の画像である。
ユーザ端末１２は、ユーザから入力されたＴＥＭ画像を、ネットワーク１３を介してサーバ１４へ送信する。後述するサーバ１４において、ユーザ端末１２から送信されたＴＥＭ画像の解析が行われる。
（サーバ）
サーバ１４は、図１に示されるように、送受信部１４０と、取得部１４２と、変換部１４４と、クラスタリング部１４６と、判定部１４８と、画像生成部１５０とを備えている。
送受信部１４０は、ユーザ端末１２から送信されたＴＥＭ画像を受信する。
取得部１４２は、送受信部１４０により受信されたＴＥＭ画像を取得する。
変換部１４４は、取得部１４２により取得されたＴＥＭ画像の部分領域の各々について、当該部分領域の画像に対して２次元フーリエ変換を実行する。図２に、ＴＥＭ画像における部分領域を説明するための図を示す。
具体的には、変換部１４４は、図２に示されるように、中心画素Ｐを中心とする所定範囲内の画像を表す部分領域ＲをＴＥＭ画像ＩＭ内に複数設定する。例えば、変換部１４４は、ＴＥＭ画像ＩＭを構成する各画素を中心画素Ｐとして順に設定することにより、部分領域Ｒの各々を設定する。そして、変換部１４４は、部分領域の各々に対し２次元フーリエ変換を実行する。
クラスタリング部１４６は、変換部１４４により得られた部分領域の各々の２次元フーリエ変換の結果に基づいて、既知の技術を用いて、２次元フーリエ変換の結果から得られる周波数強度を２以上のクラスタへクラスタリングする。なお、周波数強度はパワースペクトルである。
図３に、２次元フーリエ変換の結果から周波数強度を得る方法を説明するための図を示す。図３に示されるように、１つの部分領域Ｒに対して２次元フーリエ変換の結果Ｉｆが得られたとする。２次元フーリエ変換の結果Ｉｆの各画素値は周波数強度に対応する。この場合、クラスタリング部１４６は、図３に示されるように、２次元フーリエ変換の結果Ｉｆの中心ｘｆ０から外側へ向かって直線Ｌを設定し、この直線Ｌ上に位置する周波数強度の各々を取得する。そして、クラスタリング部１４６は、これら直線Ｌ上の各位置の周波数強度を要素とするベクトルを生成する。
次に、クラスタリング部１４６は、図３に示される直線Ｌを矢印ｒの方向へ微小に回転させる。そして、クラスタリング部１４６は、その際の直線Ｌ上に位置する周波数強度を要素とするベクトルを取得する。クラスタリング部１４６は、このようにして２次元フーリエ変換の結果Ｉｆの各方向の周波数強度を表すベクトルを取得し、それらのベクトルを積算し、図３のグラフＳｐに示されるような積算値を表す高次元ベクトルを得る。なお、グラフＳｐのうちの横軸は２次元フーリエ変換の結果Ｉｆの中心ｘｆ０からの距離を表し、縦軸は周波数強度Ｓを表す。グラフＳｐの各値が、高次元ベクトルの各要素の値となる。このため、１つの部分領域に対して１つの高次元ベクトルが得られる。
次に、クラスタリング部１４６は、所定のベクトル圧縮手法の一例である主成分分析を用いて、高次元ベクトルを低次元ベクトルへ圧縮する。低次元ベクトルは、高次元ベクトルよりも次元が低いベクトルである。このため、１つの部分領域が１つの低次元ベクトルに相当する。
図４にクラスタリングを説明するための図を示す。低次元ベクトルが２次元ベクトルである場合、１つの２次元ベクトルが１つの部分領域に相当し、図４のＱ１に示されるような分布が形成される。
例えば、クラスタリング部１４６は、圧縮により得られた低次元ベクトルを２つのクラスタにクラスタリングする場合、結晶性が高い領域であることを示す第１のクラスタと、結晶性が低い領域であることを示す第２のクラスタとに低次元ベクトルをクラスタリングする。
例えば、図４のＱ１に示されるような２次元ベクトルの分布を２つのクラスタにクラスタリングする場合、２次元ベクトルの分布に応じて第１のクラスタＣＬ１と第２のクラスタＣＬ２とがクラスタリング結果として得られる。
図４のＱ２は、２次元ベクトルの分布の密度を表す図であり、等高線によってその密度が表されている。例えば、このうちのＣ１は結晶性の度合いが高い部分領域に対応する第１のクラスタの中心であり、Ｃ２は結晶性の度合いが低い部分領域に対応する第２のクラスタの中心である。
判定部１４８は、クラスタリング部１４６によるクラスタリング結果に基づいて、ＴＥＭ画像のうちの結晶性の異なる領域を判定する。具体的には、判定部１４８は、クラスタリング結果に基づいて、部分領域内の中心画素は、結晶性が高い画素であるか否かを判定する。これにより、複数の部分領域の各々について結晶性が高い領域であるか否かが判定される。
例えば、判定部１４８は、第１のクラスタに属する部分領域の中心画素は、結晶性が高い画素であると判定する。一方、判定部１４８は、第２のクラスタに属する部分領域の中心画素は、結晶性が低い画素であると判定する。
画像生成部１５０は、判定部１４８による中心画素の各々の判定結果に基づいて、中心画素は結晶性が高いと判定された場合には、中心画素に対応する位置の画素に第１の画素値（例えば、白色を表す画素値）を付与する。また、画像生成部１５０は、判定部１４８による中心画素の各々の判定結果に基づいて、中心画素は結晶性が低いと判定された場合には、中心画素に対応する位置の画素に第２の画素値（例えば、黒色を表す画素値）を付与する。このようにして、画像生成部１５０は、結晶性の度合いを表す結晶性画像を生成する。
図５に、ＴＥＭ画像ＩＭと、従来技術により生成された結晶性画像ＩＭｂと、本実施形態のサーバ１４の処理により生成された結晶性画像ＩＭｃとの一例を示す。従来技術により生成された結晶性画像ＩＭｂは、画像の輝度値を閾値処理して、その結晶性を評価することにより得られた画像である。
本実施形態のサーバ１４の処理により生成された結晶性画像ＩＭｃでは、中心画素が第１のクラスタに属し結晶性が高いと判定された場合には白色を付与し、中心画素が第２のクラスタに属し結晶性が低いと判定された場合には黒色が付与されている。図５に示されるように、従来手法より得られた結晶性画像ＩＭｂは、単に画素値に基づく閾値処理によって得られた画像であり、結晶性が高い部分が画素単位で抽出されているものの、領域単位では抽出されていない。これに対し、結晶性画像ＩＭｃは、結晶性が高い部分が領域単位で精度良く抽出されていることがわかる。
送受信部１４０は、画像生成部１５０により生成された結晶性画像をユーザ端末１２へ送信する。
ユーザ端末１２は、サーバ１４から送信された結晶性画像を受信する。ユーザは、ユーザ端末１２の表示部に表示された結晶性画像を確認する。
ユーザ端末１２及びサーバ１４は、例えば、図６に示すようなコンピュータ５０によって実現することができる。ユーザ端末１２及びサーバ１４を実現するコンピュータ５０は、ＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータは、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータは、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータを機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。
次に、実施形態の情報処理システム１０の作用について説明する。
ユーザ端末１２へＴＥＭ画像が入力されると、ユーザ端末１２は、ＴＥＭ画像をサーバ１４へ送信する。サーバ１４がＴＥＭ画像を受信すると、サーバ１４は図７に示す情報処理ルーチンを実行する。
ステップＳ１００において、ＣＰＵ５１は、取得部１４２として、送受信部１４０により受信されたＴＥＭ画像を取得する。
ステップＳ１０２において、ＣＰＵ５１は、変換部１４４として、上記ステップＳ１００で取得されたＴＥＭ画像に対して、中心画素を中心とする部分領域を設定する。部分領域は複数設定される。そして、ＣＰＵ５１は、変換部１４４として、複数の部分領域の各々の画像に対して２次元フーリエ変換を実行する。
ステップＳ１０４において、ＣＰＵ５１は、クラスタリング部１４６として、上記ステップＳ１０２で得られた部分領域の各々の２次元フーリエ変換の結果に基づいて、２次元フーリエ変換の結果から得られる周波数強度を要素とする高次元ベクトルを生成する。具体的には、クラスタリング部１４６は、部分領域内の周波数強度を表すベクトルを積算し、上記図３のグラフＳｐに示されるような積算値を表す高次元ベクトルを得る。高次元ベクトルは、部分領域毎に得られる。
ステップＳ１０６において、ＣＰＵ５１は、クラスタリング部１４６として、主成分分析を用いて、上記ステップＳ１０４で得られた部分領域毎の高次元ベクトルを低次元へ圧縮することにより、部分領域毎の低次元ベクトルを生成する。
ステップＳ１０８において、ＣＰＵ５１は、クラスタリング部１４６として、上記ステップＳ１０６で部分領域毎の低次元ベクトルをクラスタリングする。
ステップＳ１１０において、ＣＰＵ５１は、判定部１４８として、上記ステップＳ１０８で得られたクラスタリング結果に基づいて、ＴＥＭ画像のうちの結晶性の異なる領域を判定する。
ステップＳ１１２において、ＣＰＵ５１は、画像生成部１５０として、上記ステップＳ１１０で得られた判定結果に基づいて、中心画素は結晶性が高いと判定された場合には、中心画素に対応する位置の画素に第１の画素値（例えば、白色を表す画素値）を付与する。また、ＣＰＵ５１は、画像生成部１５０として、上記ステップＳ１１０で得られた判定結果に基づいて、中心画素は結晶性が低いと判定された場合には、中心画素に対応する位置の画素に第２の画素値（例えば、黒色を表す画素値）を付与する。これにより、結晶性の度合いを表す結晶性画像が生成される。
ステップＳ１１４において、ＣＰＵ５１は、送受信部１４０として、上記ステップＳ１１２で生成された結晶性画像をユーザ端末１２へ結果として送信する。
以上説明したように、実施形態に係る情報処理システム１０のサーバ１４は、透過電子顕微鏡により撮像された画像であるＴＥＭ画像の部分領域の各々について、当該部分領域の画像に対して２次元フーリエ変換を実行する。サーバ１４は、複数の部分領域の各々の２次元フーリエ変換の結果に基づいて、２次元フーリエ変換の結果から得られる周波数強度をクラスタリングする。そして、サーバ１４は、クラスタリング結果に基づいて、ＴＥＭ画像のうちの結晶性の異なる領域を判定する。これにより、ＴＥＭ画像に写る材料の結晶性を簡易に判定することができる。より具体的には、ＴＥＭ画像に写る材料の結晶性の異なる領域を簡易に判定することができる。
また、ニューラルネットワークのような学習済みモデルを利用する必要がなくなるため、ラベル付きの学習用データを用意することなく、ＴＥＭ画像内の各部分領域の結晶性を判定することができる。また、閾値を設定することなく、ＴＥＭ画像内の各部分領域の結晶性を判定することができる。
なお、上記の実施形態における各装置で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ＲＯＭに記憶されるプログラムは、各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
例えば、上記実施形態では、ＴＥＭ画像内の複数の部分領域を、結晶性が高い領域であることを示す第１のクラスタと、結晶性が低い領域であることを示す第２のクラスタとにクラスタリングする場合を例に説明したが、これに限定されるものではない。ＴＥＭ画像中の結晶性の異なる領域を判定するためのクラスタの数はいくつであってもよい。
また、上記実施形態では、所定のベクトル圧縮手法として主成分分析を用いる場合を例に説明したが、これに限定されるものではない。他の圧縮手法を用いてもよい。例えば、既知の圧縮手法であるＵＭＡＰ（Uniform Manifold Approximation and Projection）を用いても良い。
また、上記実施形態では、高次元ベクトルを２次元ベクトルへ圧縮する場合を例に説明したが、これに限定されるものではなく２次元以上のベクトルへ圧縮するようにしてもよい。または、高次元ベクトルを圧縮せずにクラスタリングを行っても良い。
１０ 情報処理システム
１２ ユーザ端末
１３ ネットワーク
１４ サーバ
１４０ 送受信部
１４２ 取得部
１４４ 変換部
１４６ クラスタリング部
１４８ 判定部
１５０ 画像生成部
５０ コンピュータ
５２ メモリ
５３ 記憶部

Claims (6)

  1. 透過電子顕微鏡により撮像された画像を取得する取得部と、
    前記取得部により取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行する変換部と、
    前記変換部により得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングするクラスタリング部と、
    前記クラスタリング部によるクラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する判定部と、
    を含み、
    前記変換部は、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記２次元フーリエ変換を実行し、
    前記判定部は、前記部分領域の各々について計算された前記２次元フーリエ変換の結果に基づく前記クラスタリング部のクラスタリング結果から、前記部分領域内の前記中心画素は結晶性が高い領域の画素であるか否かを判定することにより、前記部分領域は結晶性が高い領域であるか否かを判定し、
    前記判定部による前記中心画素の各々の判定結果に基づいて、結晶性が高いと判定された場合には前記中心画素に対応する位置の画素に第１の画素値を付与し、結晶性が低いと判定された場合には前記中心画素に対応する位置の画素に第２の画素値を付与することにより、結晶性の度合いを表す結晶性画像を生成する画像生成部を更に含む、
    情報処理装置。
  2. 前記クラスタリング部は、複数の前記部分領域を、結晶性が高い領域であることを示す第１のクラスタと、結晶性が低い領域であることを示す第２のクラスタとにクラスタリングする、
    請求項１に記載の情報処理装置。
  3. 前記クラスタリング部は、前記２次元フーリエ変換の結果から得られる周波数強度を積算し、前記積算により得られた値をクラスタリングする、
    請求項１又は請求項２に記載の情報処理装置。
  4. 前記クラスタリング部は、所定のベクトル圧縮手法を用いて、前記積算により得られた値である高次元ベクトルを前記高次元ベクトルよりも次元が低いベクトルである低次元ベクトルへ圧縮し、圧縮された前記低次元ベクトルをクラスタリングする、
    請求項３に記載の情報処理装置。
  5. 透過電子顕微鏡により撮像された画像を取得し、
    取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行し、
    得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングし、
    クラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する、
    処理をコンピュータが実行する情報処理方法であって、
    前記２次元フーリエ変換を実行する際に、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記２次元フーリエ変換を実行し、
    前記画像のうちの結晶性の異なる領域を判定する際に、前記部分領域の各々について計算された前記２次元フーリエ変換の結果に基づくクラスタリング結果から、前記部分領域内の前記中心画素は結晶性が高い領域の画素であるか否かを判定することにより、前記部分領域は結晶性が高い領域であるか否かを判定し、
    前記中心画素の各々の判定結果に基づいて、結晶性が高いと判定された場合には前記中心画素に対応する位置の画素に第１の画素値を付与し、結晶性が低いと判定された場合には前記中心画素に対応する位置の画素に第２の画素値を付与することにより、結晶性の度合いを表す結晶性画像を生成する、
    情報処理方法。
  6. 透過電子顕微鏡により撮像された画像を取得し、
    取得された前記画像の部分領域の各々について、前記部分領域の画像に対して２次元フーリエ変換を実行し、
    得られた前記部分領域の各々の前記２次元フーリエ変換の結果に基づいて、前記２次元フーリエ変換の結果から得られる周波数強度をクラスタリングし、
    クラスタリング結果に基づいて、前記画像のうちの結晶性の異なる領域を判定する、
    処理をコンピュータに実行させるための情報処理プログラムであって、
    前記２次元フーリエ変換を実行する際に、中心画素を中心とする所定範囲内の画像を表す前記部分領域の各々について、前記２次元フーリエ変換を実行し、
    前記画像のうちの結晶性の異なる領域を判定する際に、前記部分領域の各々について計算された前記２次元フーリエ変換の結果に基づくクラスタリング結果から、前記部分領域内の前記中心画素は結晶性が高い領域の画素であるか否かを判定することにより、前記部分領域は結晶性が高い領域であるか否かを判定し、
    前記中心画素の各々の判定結果に基づいて、結晶性が高いと判定された場合には前記中心画素に対応する位置の画素に第１の画素値を付与し、結晶性が低いと判定された場合には前記中心画素に対応する位置の画素に第２の画素値を付与することにより、結晶性の度合いを表す結晶性画像を生成する、
    情報処理プログラム。
JP2020161482A 2020-09-25 2020-09-25 情報処理装置、情報処理方法、及び情報処理プログラム Active JP7279697B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020161482A JP7279697B2 (ja) 2020-09-25 2020-09-25 情報処理装置、情報処理方法、及び情報処理プログラム
US17/480,390 US11928829B2 (en) 2020-09-25 2021-09-21 Information processing device, information processing method, and recording medium recorded with information processing program preliminary class
CN202111113105.4A CN114332851A (zh) 2020-09-25 2021-09-23 信息处理装置、信息处理方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020161482A JP7279697B2 (ja) 2020-09-25 2020-09-25 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2022054338A JP2022054338A (ja) 2022-04-06
JP7279697B2 true JP7279697B2 (ja) 2023-05-23

Family

ID=80821402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020161482A Active JP7279697B2 (ja) 2020-09-25 2020-09-25 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11928829B2 (ja)
JP (1) JP7279697B2 (ja)
CN (1) CN114332851A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012202701A (ja) 2011-03-23 2012-10-22 Fujitsu Ltd 結晶粒方位の分析方法および結晶粒方位の分析装置
JP6249803B2 (ja) 2014-02-04 2017-12-20 三菱電機株式会社 インバータ試験システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2905659B2 (ja) * 1993-02-26 1999-06-14 シャープ株式会社 Ｘ線装置と該装置を用いた評価解析方法
US5999255A (en) * 1997-10-09 1999-12-07 Solutia Inc. Method and apparatus for measuring Raman spectra and physical properties in-situ
US7653232B2 (en) * 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
JP4715953B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 ナノコンポジット熱電変換材料、それを用いた熱電変換素子およびナノコンポジット熱電変換材料の製造方法
US9755128B2 (en) * 2008-10-10 2017-09-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method of producing thermoelectric material
JP5620967B2 (ja) * 2012-11-22 2014-11-05 日東電工株式会社 透明導電性フィルム
JP2014114196A (ja) * 2012-12-12 2014-06-26 Toyota Motor Corp 複合酸化物材料およびそれを用いた排ガス浄化触媒
KR102301536B1 (ko) * 2015-03-10 2021-09-14 삼성전자주식회사 고해상도 전자 현미경 이미지로부터 결정을 분석하는 방법 및 그 시스템
EP3217423A1 (en) * 2016-03-07 2017-09-13 Fritz Haber Institut der Max Planck Gesellschaft Department of Inorganic Chemistry Transferable silica bilayer film
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012202701A (ja) 2011-03-23 2012-10-22 Fujitsu Ltd 結晶粒方位の分析方法および結晶粒方位の分析装置
JP6249803B2 (ja) 2014-02-04 2017-12-20 三菱電機株式会社 インバータ試験システム

Also Published As

Publication number Publication date
JP2022054338A (ja) 2022-04-06
US20220101543A1 (en) 2022-03-31
US11928829B2 (en) 2024-03-12
CN114332851A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
Pauly et al. Uncertainty and variability in point cloud surface data
CN102301395B (zh) 特征选择设备
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
JP2012505600A (ja) 特徴を基礎とするビデオ圧縮
KR20100038166A (ko) 차원 축약 프로세스를 이용하는 적응적 예측 방법, 컴퓨터-판독가능 기억 매체 및 데이터 처리 시스템
WO2017070841A1 (zh) 图像处理方法和装置
Yang et al. Multiple dictionary pairs learning and sparse representation-based infrared image super-resolution with improved fuzzy clustering
CN116819050B (zh) 混凝土搅拌匀质度检测系统及其检测方法
CN115511890A (zh) 异型网络接口大流量数据的分析系统
JPWO2009031297A1 (ja) 画像検索装置、画像分類装置及び方法並びにプログラム
CN105931184B (zh) 基于联合优化的sar图像超分辨率方法
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
JP7279697B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Baker et al. Dssim: a structural similarity index for floating-point data
JP2007198912A (ja) 画像検査装置、画像検査方法、コンピュータを画像検査装置として機能させるためのプログラムおよび記録媒体
Kuo et al. An effective and flexible image enhancement algorithm in compressed domain
Okarma Colour image quality assessment using the combined full-reference metric
Yang et al. Infrared image super-resolution with parallel random Forest
JP7113674B2 (ja) 情報処理装置及び情報処理方法
JP7318619B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Paget et al. A Nonparametric Multiscale Markov Random Field Model For Synthesizing Natural Textures.
JP5548508B2 (ja) 画像分類装置及びプログラム
JP2020067954A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006163614A (ja) 画像処理装置、および画像処理方法
JP2004158014A (ja) 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151