KR100617885B1

KR100617885B1 - 영상기반진단을수행하기위한시스템및방법

Info

Publication number: KR100617885B1
Application number: KR1019980035806A
Authority: KR
Inventors: 라지브 굽타; 크리스토퍼 제임스 데일리; 발티노 싸비에르 아폰소; 래시크랄 펀자랄 사아
Original assignee: 제너럴 일렉트릭 캄파니
Priority date: 1997-09-02
Filing date: 1998-09-01
Publication date: 2006-12-01
Also published as: AU755077B2; JP4179676B2; DE19829640A1; NL1009997C2; JPH11161774A; NL1009997A1; AU8189598A; KR19990029402A; US6115489A

Abstract

본 발명은 영상 기반 진단(image-based diagnosi)을 수행하기 위한 시스템(10) 및 방법을 개시하고 있다. 본 발명에 있어서, 이력 아티팩트 영상들 (historical artifact images) 및 아티팩트들을 치료하기 위한 대응하는 작용들이 얻어지고 데이터베이스에 저장되어 있다. 이력 아티팩트 영상의 데이터베이스 및 대응하는 작용들은 알려지지 않은 장애(unknown fault)를 가진 입력 아티팩트 영상을 진단하기 위해 사용된다.

Description

영상 기반 진단을 수행하기 위한 시스템 및 방법{System and method for performing image-based diagnosis}

본 발명은 일반적으로 장애 진단(fault diagnosis)에 관한 것으로서, 특히, 오작동하는 영상 머신(imaging machine)에 의해서 발생된 영상들에서 장애들을 진단하는 것에 관한 것이다.

산업적 또는 상업적 세팅 중 어느 하나에 있어서, 오작동하는 영상 머신은 비지니스에 심한 손상을 줄 수가 있다. 따라서, 오작동하는 영상 머신은 신속하고 정확하게 수리될 필요가 있다. 통상, 초음파, 컴퓨터 단층 촬영기(computed tomography : CT), 또는 자기 공명 영상(magnetic resonance imaging : MRI) 머신 등과 같은 영상 머신의 오동작 동안에, 그 분야의 엔지니어를 불러서 진단케하여 머신을 수리하도록 한다. 통상, 그 분야의 엔지니어는 머신에서 발생된 사고 기록(incident record)을 찾는다. 사건 기록은 머신의 유형, 머신의 양식, 및 임의의 소비자와 관련한 정보 등과 같은 정보를 포함한다. 또한 사고 기록은 머신으로부터 발생된 어느 아티팩트 영상(artifact image) 및 임의의 오작동 상황 동안뿐만 아니라 일상적인 독작 동안에 일어난 이벤트들의 에러 로그(error log)를 포함한다. 머신 오작동들을 해결하는데 있어서 누적된 경험을 이용해서, 그 분야의 엔지니어는 에러 로그와 아티팩트 영상들을 조사하여, 장애를 나타낼 수 있는 어떤 징후들을 찾는 것을 시도한다. 다음에, 이 분야의 엔지니어는 머신 오작동을 야기할 수 있는 문제점을 수정하는 것을 시도한다. 에러 로그에 소량의 정보만이 포함되어 있고, 발생된 아티팩트 영상들이 잘 알려진 것이라면, 이러한 처리는 매우 잘 진행될 것이다. 그러나 에러 로그가 일반적으로 많은 복잡한 장치들의 경우와 같이, 다량의 부정확한 정보를 담고 있고, 아티팩트 영상들의 원인을 모르고 있다면, 그 분야의 엔지니어가 장애(fault)를 신속히 진단하기란 매우 어렵다. 그러므로 복잡한 에러 로그 및 이와 관련된 알려지지 않은 원인을 가진 아티팩트 영상으로부터 머신 오작동을 신속히 진단할 수 있는 시스템 및 방법이 필요하다.

본 발명의 제 1 실시예에 의하면, 영상 기반 진단을 수행하기 위한 시스템이 제공된다. 이 실시예에서, 데이터베이스는 복수의 머신들로부터 취해진 복수의 이력 영상들(historical images)을 저장한다. 복수의 이력 영상들은 모든 가능한 머신 세팅들을 이용하여 복수의 머신으로부터 생성된 복수의 이상적인 영상을 포함한다. 또한, 복수의 이력 영상들은 복수의 머신들로부터 생성된 복수의 아티팩트 영상들을 포함하고 있다. 그 아티팩트 영상들 각각은 이와 관련된 알려진 장애들과 장애들을 수리하기 위한 대응하는 교정 작용을 가지고 있다. 시스템은 또한 알려지지 않은 장애를 가진 머신으로부터 새로운 아티팩트 영상을 진단하기 위한 진단 유닛을 포함하고 있다. 진단 유닛은 새로운 아티팩트 영상에 가장 가깝게 매칭하는 복수의 이력 영상으로부터 이상적인 영상을 찾기 위한 수단을 포함하는 진단 영상 처리기(diagnostic image processor)를 포함하고 있다. 할당 수단은 매칭된 이상적인 영상에 기반하여 새로운 아티팩트 영상에 아티팩트 카테고리를 할당한다. 추출 수단은 할당된 카테고리에 따라 새로운 아티팩트 영상으로부터 아티팩트 특징(artifact feature)을 추출한다. 또한, 추출된 아티팩트 특징에 대한 복수의 매트릭들(metrics)을 생성하기 위한 수단을 포함하는 진단 장애 아이솔레이터(diagnostic fault isolator)가 있다. 적용 수단은 알려지지 않은 장애를 수리하기 위한 교정 작용과 새로운 아티팩트 영상에 가장 가깝게 매칭하는 복수의 이력 영상으로부터 아티팩트 영상을 식별하기 위해 상기 복수의 매트릭들을 적용한다.

본 발명의 제 2 실시예에 의하면, 영상 기반 진단을 수행하기 위한 방법이 제공된다. 이 실시예에서, 복수의 머신으로부터 취한 복수의 이력 영상들이 얻어진다. 복수의 이력 영상들은 모든 가능한 머신 세팅들을 이용하여 복수의 머신으로부터 생성된 복수의 이상적인 영상을 포함한다. 또한, 복수의 이력 영상들은 복수의 머신으로부터 생성된 복수의 아티팩트 영상을 포함한다. 아티팩트 영상들 각각은 그와 관련된 알려진 장애들과 장애들을 수리하기 위한 대응하는 교정 작용을 가진다. 이 때, 알려지지 않은 장애를 가진 머신으로부터 새로운 아티팩트 영상이 수신된다. 새로운 아티팩트 영상에 가장 가깝게 매칭하는 복수의 이력 영상들로부터의 이상적인 영상이 찾아진다. 그후, 아티팩트 카테고리가 새로운 아티팩트 영상과 가장 가깝게 매칭하는 이상적인 영상에 기반하여 새로운 아티팩트 영상에 할당된다. 그 다음 복수의 매트릭들이 새로운 아티팩트 영상에 할당된 아티팩트 카테고리에 대해서 생성된다. 복수의 매트릭들을 새로운 아티팩트 영상에 가장 가깝게 매칭하는 복수의 이력 영상들로부터 아티팩트 영상을 식별하는데 사용된다. 추가로 본 발명은 알려지지 않은 장애를 진단하기 위한 교정 작용을 제공한다.

본 발명의 영상 기반 진단 시스템은 초음파, CT, 또는 MRI 머신과 같은 의료 영상 장치(medical imaging device)와 관련하여 기술된다. 본 발명이 의료 영상화 장치와 관련하여 기술되고 있지만, 영상 기초 진단 시스템은 영상을 발생하는 어떤 영상화 장치(imaging device)(마이크로프로세서 제어된 화학, 기계, 전자 영상화 장치)와 관련하여 사용도리 수 있다. 도 1은 본 발명에 의한 영상 기반 진단 시스템(10)의 블록도를 도시한다. 영상 기반 진단 시스템(10)은 이력 영상들의 데이터베이스(12), 트레이닝 유닛(14), 및 진단 유닛(16)를 포함하고 있다. 트레이닝 유닛(14)는 영상 처리기(18)와 장애 아이솔레이터(20)를 포함하고 있다. 진단 유닛(16)는 또한 영상 처리기(22)와 장애 아이솔레이터(24)를 포함하고 있다. 트레이닝 유닛(14)와 진단 유닛(16)는 둘 다는 워크스테이션(workstation)과 같은 컴퓨터에 내장된다. 그러나,컴퓨터들의 다른 유형들은 메인프레임, 미니 컴퓨터나, 마이크로 컴퓨터, 또는 슈퍼 컴퓨터 등과 같이 사용될 수 있다.

데이터베이스(12)에 저장된 이력 영상은 복수의 영상화 머신들(28)로부터 생성된 상들(phantoms)의 복수의 이상적인 영상들(26)을 포함한다. 상들의 복수의 이상적인 영상들(26)은 모든 가능한 프로브들(probes)과 모든 가능한 머신 디폴트 파라미터 세팅을 이용하여 영상화 머신들로부터 생성된다. 영상화 머신의 모델, 사용된 프로브, 영상화된 상들, 및 영상화 머신들에 대한 파라미터 세팅들은 이 분야의 엔지니어에 의해서 원격으로 이상적인 영상들과 함께 데이터베이스(12)에 입력된다. 대안으로, 영상들을 발생하는 머신은 영상 파일 자체에, 예를 들어, 영상의 헤더에 이 정보를 넣도록 프로그램될 수 있다. 따라서, 정보는 데이터베이스(12)의 필수 구성부가 된다. 원격으로 얻은 영상들의 케이스, 모델 유형, 사용된 프로브, 사용된 상등과 같은 변수들이 영상 자체에 존재하며 트레이닝 유닛(14)에 의해서 나중에 자동 추출될 수 있다. 그러나, 파라미터 세팅들은 이산적이지 않으며 연속 값들의 무한 조합에서 잠재적으로 취할 수 있다. 따라서, 다른 변수들과는 다르게 취급된다. 본 발명에 있어서, 머신 세팅들의 수는 유한 세트로 고정된다. 예를 들면, 이 분야로부터 얻는 각각의 이상적인 영상은 영상화 머신의 파라미터 세팅들을 규정하는 적절한 레이블로 이 분야의 현장 엔지니어 또는 기술자에 의해서 주석이 붙는다. 영상화 머신에 대한 파라미터 세팅의 예들이 "복부 세팅(abdominal setting)", "흉부 세팅(thoracic setting)", "경동맥 세팅(carotid setteng)"이다.

복수의 이상적인 영상들(26)에 부가하여, 데이터베이스(12)는 복수의 영상화 머신(28)으로부터 생성된 복수의 아티팩트 영상(30)을 수신한다. 아티팩트 영상(30) 각각은 보드를 언플러그하는 것, 장애 보드 등을 설치하는 등과 같은 알려진 장애의 결과이다. 이상적인 영상(26)처럼, 아티팩트 영상들(30) 각각은 영상화 머신의 모델, 사용된 프로브, 영상화된 상들, 영상화 머신에 대한 파라미터 세팅 등을 수반하는 변수들을 가진다. 또한, 모델 유형, 사용된 프로브, 및 사용된 상과 같은 변수들은 영상들 자체에 존재하여 자동 추출되며, 반면 파라미터 세팅 변수는 유한 세트로 고정되고 이 분야의 엔지니어 또는 기술자에 의해서 규정된다. 또한, 복수의 아티팩트 영상들(30)과 수반하는 변수들은 이 분야의 엔지니어에 의해 원격으로 데이터베이스(12)에 입력된다. 대안으로, 아티팩트 영상들을 발생하는 머신은 영상 파일 자체 내에, 예를 들어 영상의 헤더에 이 정보를 넣도록 프로그램될 수 있다.

복수의 아티팩트 영상들(30)에 부가하여, 데이터베이스(12)는 영상화 머신(28)으로부터 생성된 키보드 로그들(32)과 복수의 에러 로그들을 수신한다. 에러 로그들 및 키보드 로그들 각각은 루틴 동작과 어느 오작동 상황 동안에 발생하는 영상화 머신들의 이벤트들의 기록을 포함한다. 에러 로그들과 키보드 로그들은 각 영상화 머신의 동작 신호를 나타낸다. 에러 로그들과 키보드 로그들(32) 각각은 아티팩트 영상들(30) 중 하나에 대응한다. 예들 들면, 에러 로그들과 키보드 로그들중 하나가 언플러그된 보드를 가진 영상화 머신에 대한 이벤트들의 시퀀스를 포함 할 수 있다. 또다른 에러 로그와 키보드 로그는 결함있는 보드(defective board)에 설치되었던 영상화 머신에 대한 이벤트들의 시퀀스를 포함할 수 있다. 복수의 에러 로그들과 키보드 로그들(32)은 데이터베이스(12)에 저장되고 상이한 영상화 머신들(28)에서 발생하는 소프트웨어 및 하드웨어 에러들을 문서화하는 이력 케이스들로서 사용된다. 이력 케이스들을 처리하는 설명에 대해서는 나중에 보다 상세히 설명하기로 한다.

복수의 아티팩트 영상들(30)과 에러 로그들 및 키보드 로그들(32)이 데이터베이스(12)에 입력된 다음에, 아티팩트 영상들은 복수의 세트들로 분할된다. 특히, 아티팩트 영상(30)은 M × P × F × S 세트들로 분할되며, 여기서 M은 영상화 머신들의 수, P는 프로브의 수, F는 이용 가능한 상들의 수, 및 S는 머신 세팅들의 수이다. 몇몇의 머신들은 모든 프로브들 또는 머신 세팅들을 다룰 수가 없기 때문에, 일부 빈 세트들이 될 것이다. 아티팩트 영상들(30)을 세트들로 분할하면 알려지지 않은 장애를 가진 새로운 아티팩트 영상에 대한 이력 매칭을 찾기가 보다 쉬워진다.

데이터베이스(12)내의 이력 영상들은 영상 처리기(18)를 통해서 트레이닝 유닛(14)에 의해서 엑세스된다. 영상 처리기(18)는 복수의 아티팩트 영상들(30)로 복수의 이상적인 영상들(26)을 처리한다. 도 2는 영상 처리기(18)에 의해서 수행된 영상 처리 단계들을 설명하는 플로우 챠트를 도시한다. 영상 처리 단계들은 복수의 이상적인 영상들(26)과 복수의 아티팩트 영상들(30)이 데이터베이스(12)로부터 검색되는 단계 34에서 시작한다. 그 후, 각각의 아티팩트 영상은 단계 36에서 대응하는 이상적인 영상과 매칭된다. 매칭 처리에 의해 머신 유형, 프로브, 및 머신 세팅들이 아티팩트와 이상적인 영상들에 대해서 동일하다는 것을 보장한다.

매칭을 위해, 아티팩트 영상은 단계 38에서 그것의 대응하는 이상적인 영상에 등록된다. 통상, 영상들은 영상화 머신으로부터 프로브를 상위에 놓아서 수동으로 얻어진다. 프로브의 수동 배치의 결과가 얻어진 영상과 다음에 얻어지는 영상들간에는 영상의 어떤 변화가 있다는 것이다. 가능한 한 많은 변화를 제거하기 위한 등록이 이용된다. 등록 후 남아 있는 어느 나머지 미등록은 이후 설명하는 카테고리화 단계에 의해서 나중에 고려된다. 본래, 등록에 의해 상이한 회수들로 얻은 영상들의 픽셀 단위의 비교가 가능하다. 본 발명에 있어서, 아티팩트 영상들을 이상적인 영상으로 매핑함으로써 등록이 달성된다. 이것은 아티팩트 영상들에서 지정된 기준 마커들(fiducial markers)을 수반한다. 이때 영상 처리기(18)는 대응하는 이상적인 영상과 매칭될 수 있는 2차원 점을 도출하기 위해 기준 마커들로 덮인 관심 있는 영역들을 처리한다. 특히, 영상 처리기(18)는 기준 마커의 중심을 취하여 이상적인 영상과 매칭하는 점 대 점으로 하기 위해 사용한다. 대안으로, 최대의 상관(maximum correlation)이 있도록 대응하는 이상적인 영상에 아티팩트 영상을 워핑(warping)하여 등록을 실행하는 것이 가능하다. 워핑은 다른 영상과 매칭하도록 하나의 영상의 투시, 근접, 또는 강체 변환(rigid body transformation)을 통해 행해진다.

등록 후, 각각의 이상적인 영상이 단계 40에서 아티팩트 영상으로부터 제거된다. 본 발명에서, 이상적인 영상은 감산 연산을 이용하여 제거된다. 감산 연산은 픽셀 단위로 행해져서, 이상적인 영상 픽셀의 그레이 레벨(gray-level)이 아티팩트 영상의 것으로부터 취해진다. 이 연산 후, 최종의 영상이 음의 수들을 포함하고 있기 때문에, 감산된 영상은 그 안의 최소 픽셀이 제로(0)가 되도록 재정규화된다. 감산 연산에 의해 아티팩트들만을 포함하는 감산된 영상이 된다. 대안으로, 필터링 연산(filteration operation)이 이상적인 영상과 아티팩트 영상들 간의 어느 나머지 오등록을 고려하기 위해 감산 전 두 영상에 적용된다.

감산 후, 아티팩트 카테고리화는 단계 42에서 각각 감산된 영상에 적용된다. 본 발명에서, 할당된 아티팩트 카테고리화는 감산된 아티팩트 영상의 고유 공간 표현(eigen space representation)에 기반한다. 상기 고유 공간 표현은 먼저 공분산 행렬(covariance matrix)을 계산하여 결정된다. 공분산 행렬을 결정하기 위해, 각각의 감산된 영상은 픽셀값의 벡터 V로 표현된다. n×m 영상에 대해서, 제 1의 n 값들은 영상의 제 1 행에 있는 n 픽셀들이고, 다음의 n 값들은 영상의 제 2 열에 있는 픽셀 값들이고, 이하도 전술한 바와 같다. N 감산된 영상들의 소정 세트는{V₁, V₂, .....V_N}로 표현된다. 모든 감산된 영상의 평균은 V_avg로 표현된다. 공분산 행렬들은 다음의 [수학식]으로 정의된다.

여기서,i,j∈{1,2,......N}이고, "ㆍ"은 도트 곱(dot product)을 나타낸다.

공분산 행렬들이 결정된 다음에, 직교 표현 및 영상 기초를 얻기 위해 사용된다. 직교 표현 및 영상 기초는 공분산 행렬들에서 단위 값 분해(Singular Value Decomposition : SVD)를 실행함으로써 달성된다. 대안으로, Karhunen-Loeven 변환(KLT)은 직교 표현관 영상 기초를 결정하는데 사용될 수 있다. KLT는 SVD의 통 계적인 등가이고 공분산 행렬의 대각선화(diagonalization)을 수반한다. KLT에 대하여, 공분산 행렬들은 Q로 표현되는데, 다음의 [수학식]으로 정의된다.

Q=UDT^T

여기서, U와 V는 직교하며, D는 대각 행렬들이다. V의 열들은 새로운 영상 기초를 정의한다. 그 안에서의 영상들이 상관되지 않는다는 것이 이 새로운 영상 기초의 특성이다. 계산적으로 덜 복잡한 다른 방법들을 이용하여 직교 표현과 영상 기초를 얻을 수가 있다. 예를 들면, 이산 코사인 변환(discrete cosine transform : DCT)이 이용 가능하다.

그후, 결정된 영상 기초는 감산된 아티팩트 영상들 각각에 대한 표현을 찾는데 사용된다. 특히, 감산된 아티팩트 영상들 각각은 새로운 영상 기초 세트에서 영상들의 선형 조합으로서 표현된다. 이처럼, B₁,B₂,....B_N,이 N 영상 기초이면, 이력 아티팩트 영상 I 는 [수학식3]이 되도록 계수들 α₁,α₂,.....α_N,에 의해서 특징지워진다.

I = α₁B₁+....+α_nB_N

여기서, (α₁,α₂,.....α_N)은 {B₁,B₂,....B_N}에 의해서 정의된 N 차원 공간에서의 점이다. 이력 데이터베이스에서 각 감산된 아티팩트 영상은 이러한 한 점으로 표현된다. 감산된 아티팩트 영상들 각각에 대한 표현을 찾은 다음에, 이 고차원 공간에서 가장 공간적으로 근접한 점들의 클러스터들(clusters)은 아티팩트 카테고리들로서 할당된다. 할당된 아티팩트 카테고리들의 몇몇 가능한 예들이 "플래시 라이트 아티팩트들", "TD 보드 아티팩트들", "검색 라이트 아티팩트들", 및 "왜곡 아티팩트들"이다. 이러한 예들은 본 발명에서 이용될 수 있는 몇몇 유형들의 아티팩트 카테고리들을 예시한 것이며 이에 한정되는 것은 아니다. 설명의 편의상, 몇몇 아티팩트 카테고리들이 도1에서 장애A, 장애B, 장애C로 도시되고 있다.

카테고리화 후, 영상 처리기(18)는 단계 44에서 아티팩트들 각각에 대한 아티팩트 특징들의 세트를 추출한다. 우선, 감산 연산으로부터 생성된 아티팩트 영상을 퓨리에 영역(Fourier domain)으로 변환함으로써 아티팩트 특징들이 추출된다. 아티팩트 영상들을 퓨리에 영역으로 변환하면 아티팩트들의 스펙트럼 신호로가 된다. 측정될 수 있는 많은 카테고리를 특정하는 특징들은 영상 동질성(image homogeneity), 신호대 잡음비(singnal-to-noise ratio), 변조 전달 함수(modulation transfer function), 해상도(resolution), 왜곡(distortion), 신호 감쇠(signal attenuation), 텍스쳐 특성(texture property)을 포함한다. 본 발명은 이러한 카테고리 특정 특징들에 제한되는 것은 아니며, 원한다면 다른 특징들이 측정될 수 있다.

다시 도 2를 참조하면, 모든 아티팩트 영상들에 대한 아티팩트 특징들을 결정한 다음에, 영상 처리기(18)는 추가 처리를 위해 장애 아이솔레이터(isolator)(20)에 특징을 보낸다. 도 3은 장애 아이솔레이터(20)에 의해 수행되는 처리 단계들을 설명하는 흐름도를 도시하고 있다. 장애 아이솔레이터(20)는 우선 단계 46에서 데이터베이스(12)로부터 에러 로그들과 키보드 로그들(31)을 검색한다. 다음에, 에러 로그들 및 키보드 로그들(32)을 단계 48에서 그들의 대응하는 아티팩트 특징들을 조합한다. 각종의 카테고리 특정 매트릭들을 이용하여 정량화된 각 아티팩트의 특징들은 실제의 장애와 연관된 징후를 상징한다. 에러 로그 및 키보드 로그들 또한 실제 장애와 관련된 징후를 상징한다. 이러한 세 가지 소스들은 케이스 기반 추론 시스템(case-based reasoning system)에 대한 케이스를 생성하는데 사용된다. 조합된 아티팩트 특징들 및 로그들의 세트 각각은 단계 50에서 이력 케이스를 생성한다. 그후, 아티팩트 특징들 및 로그들의 이력 케이스들은 단계 52에서 데이터베이스 내에 저장되어 나중에 진단 유닛(16)은 이를 이용하여 알려지지 않은 장애를 가진 영상화 머신으로부터 생성된 새로운 아티팩트 영상이 있는 새로운 문제점의 상황을 진단한다.

다시 도 1을 참조하면, 진단 유닛(16)은 알려지지 않은 장애를 경험하는 영상화 머신(56)으로부터 생성된 새로운 아티팩트 영상(54)을 수신한다. 또한, 영상화 머신에서 발생하는 이벤트들의 새로운 에러 로그 및 키보드 로그(58)는 진단 유닛(16)으로 보내진다. 새로운 아티팩트 영상(54)과 새로운 에러 로그 및 키보드 로그(58) 둘 다 이 분야의 엔지니어나 원격 다이얼 인(dial-in) 접속에 의해서 영상 처리기(22)에서 진단 유닛(16)으로 입력된다. 영상 처리기(22)는 데이터베이스(12)에 저장된 이력 케이스들로 새로운 아티팩트 영상(54)과 새로운 로그 및 키보드 로그(56)를 처리한다.

도 4는 영상 처리기(22)에 의해 수행되는 영상 처리 단계들을 설명하는 흐름도 세팅을 도시한다. 새로운 아티팩트 영상을 얻은 다음에, 영상 처리기(22)는 그후 데이터베이스(12)를 검색하여 단계 60에서 새로운 아티팩트 영상과 가장 가깝게 매칭하는 이상적인 영상을 검색한다. 그런 다음 영상 처리기는 단계 62에서 이상적인 영상을 새로운 아티팩트 영상에 등록한다. 전술한 바와 같이, 등록은 새로운 아티팩트 영상을 새로운 아티팩트 영상에서 기준 마커들을 할당하여 이상적인 영상으로 매핑하고, 이상적인 영상과 매칭되는 2차원 점을 도출하기 위해 마커를 처리함으로써 달성된다. 등록 후, 이상적인 영상은 감산 또는 필터링 연산을 이용함으로써 단계 64에서 새로운 아티팩트 영상에서 감산된다. 감산된 영상 동일 기초 세트{B₁,B₂,....B_N}의 선형 조합으로 표현되며 다음과 같이 [수학식 4]로 정의된다.

I = β₁B₁+....β_nB_N

여기서, 점{β₁....β_n}은 이력 아티팩트 영상의 공간에서의 또 다른 점을 나타낸다. 모든 아티팩트 클러스터들로부터 이점까지의 거리는 입력되는 영상이 어느 카테고리에 속하는 지를 결정하는데 사용된다. 단계 66에서 아티팩트 카테고리에 감산된 새로운 아티팩트 영상을 할당한다. 아티팩트 카테고리를 할당한 후, 전술한 바와 같이, 영상 처리기(22)는 그후 단계 68에서 감산된 새로운 아티팩트 영상에서 아티팩트 특징을 추출한다.

새로운 아티팩트 영상에 대한 아티팩트 특징을 결정한 다음에, 영상 처리기(22)는 특징을 추가 처리를 위해 장애 아이솔레이터(24)로 보낸다. 도 5는 장애 아이솔레이터(24)에 의해 수행한 처리 단계들을 설명하는 흐름도를 도시하고 있다. 장애 아이솔레이터(24)는 단계 70에서 카테고리 특정 매트릭들을 생성하도록 추출된 아티팩트 특징을 사용한다. 매트릭스를 영상화 머신(56)이 아티팩트 영상(54)을 생성하도록 장애를 추가로 예시하는데 사용된다. 다음에, 새로운 아티팩트 영상(54)을 수반하는 에러 로그 및 키보드 로그(58)가 단계 72에서 검색된다. 이때 장애 아이솔레이터(24)는 단계 74에서 새로운 아티팩트 영상과 가장 가깝게 매칭하는 케이스들에 대해 데이터베이스(12)에서 이력 케이스들을 검색한다. 새로운 아티팩트 영상과 가장 가깝게 매칭하는 영상들의 후보 세트는 단계 76에서 생성된다. 또한, 단계 78에서 각 후보 세트에 대응하는 장애를 수리하기 위한 교정 조치가 검색된다. 한 유형의 교정 조치는 교체될 필요가 있는 영상화 머신(56)내의 필드 교체 가능 유닛을 식별하는 것이다.

영상들의 후보 세트와 대응하는 교정 작용들은 단계 80에서 새로운 아티팩트 영상과 매칭할 가능성의 순서로 등급화하여 이 분야의 엔지니어에게 제시된다. 이 때 , 이 분야의 엔지니어는 단계 82에서 등급 순서로 후보 세트들을 철저히 조사하여 새로운 아티팩트로 인한 장애가 정확하게 식별되는지를 결정한다. 장애가 정확히 식별되었다면, 장애 아이솔레이터(24)는 단계 84에서 성공적인 진단을 로그한다. 한편, 장애가 정확히 식별되지 않았으면, 단계 86에서 평가할 임의의 후보 세트들이 더 있는지가 결정된다. 후보들이 더 있으면 다음 후보는 다시 단계 88과 단계 82에서 평가된다. 이러한 단계들은 장애가 정확히 식별될 때까지 계속된다. 그러나, 어떠한 후보들도 장애를 수정하지 않으면, 새로운 아티팩트 영상(54)과 에러 로그 및 키보드 로그(58)는 단계 90에서 트레이닝 유닛(14)으로 보내져서 미래의 장애들을 진단하기 위해 이력 케이스들에 부가된다. 결국, 크레이닝 유닛(14)에 보다 많은 케이스들이 부가됨에 따라 영상 기반 진단 시스템의 정확도 레벨은 균등해지고 트레이닝 유닛에 보다 많은 케이스들을 부가할 필요가 없게 된다.

따라서, 전술한 바와 같이, 목표들, 이점들, 및 목적들을 완전히 만족하는 영상 기반 진단을 수행하기 위한 본 발명에 따른 시스템 및 방법이 제공된다는 것이 명백하다. 본 발명은 몇몇의 실시예들을 참조하여 기술하였으나, 당업자라면 본 발명의 범위를 벗어나지 않고 변형 및 수정이 가능하다는 것을 인해할 것이다.

본 발명은 오작동의 영상화 머신에 의해서 발생된 영상들에서 장애들을 진단하는 시스템 및 방법을 제공한다.

도 1은 본 발명에 따른 영상 기반 진단 시스템의 블록도.

도 2는 도 1에 도시한 트레이닝 유닛(training unit)에 의해서 수행된 영상 처리 단계들을 설명하는 흐름도.

도 3은 도 1에 도시한 트레이닝 유닛에 의해서 수행된 장애 아이솔레이션 처리(fault isolation processing) 단계들을 설명하는 흐름도.

도 4는 도 1에 도시한 진단 유닛에 의해서 수행된 영상 처리 단계들을 설명하는 흐름도.

도 5는 도 1에 도시한 진단 유닛에 의해서 수행된 장애 아이솔레이션 처리 단계들을 설명하는 흐름도.

* 도면의 주요부분에 대한 부호의 설명 *

10 : 영상 기반 진단 시스템 12 : 이력 데이터베이스

14 : 트레이닝 유닛 16 : 진단 유닛

18 : 영상 처리기 20, 24 : 장애 아이솔레이터

22 : 영상 처리기

Claims

머신(machine)의 영상 기초 진단(image-based diagnosis)을 수행하기 위한 시스템에 있어서,

복수의 머신들로부터 취해진 복수의 이력 영상들(historical images)을 포함하는 데이터베이스로서, 상기 복수의 이력 영상들은 모든 가능한 머신 세팅들을 이용하여 상기 복수의 머신들로부터 생성된 복수의 이상적인 영상들(ideal images)과 상기 복수의 머신들로부터 생성된 복수의 아티팩트 영상(artifact images)을 포함하며, 상기 아티팩트 영상들 각각은 그와 관련된 알려진 장애들(faults)과 상기 장애들을 수리하기 위한 대응하는 교정 작용(corrective action)을 가진, 상기 데이터베이스와,

알려지지 않은 장애를 가진 머신으로부터의 새로운 아티팩트 영상을 진단하기 위한 진단 유닛(diagonostic unit)으로서, 상기 진단 유닛은 상기 새로운 아티팩트 영상과 가장 가깝게 매칭하는 상기 복수의 이력 영상들로부터 이상적인 영상을 찾기 위한 수단, 상기 매칭된 이상적인 영상에 기초하여 상기 새로운 아티팩트 영상에 아티팩트 카테고리를 할당하기 위한 수단, 및 상기 할당된 카테고리에 따라 상기 새로운 아티팩트 영상으로부터 아티팩트 특징(artifact feature)를 추출하기 위한 수단을 포함하는 진단 영상 처리기(diagnostic image processor)와, 상기 추출된 아티팩트 특징에 대한 복수의 매트릭들(metrics)을 생성하기 위한 수단, 및 상기 알려지지 않은 장애를 수리하기 위한 교정 작용과 상기 새로운 아티팩트 영상과 가장 가깝게 매칭하는 상기 복수의 이력 영상들로부터 아티팩트 영상을 식별하기 위해 상기 복수의 매트릭들을 적용하기 위한 수단을 포함하는 진단 장애 아이솔레이터(diagnostic fault isolator)를 포함하는 상기 진단 유닛을 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 1 항에 있어서,

상기 데이터베이스와 상기 진단 유닛에 연결된 트레이닝 유닛(training unit)을 더 포함하고, 상기 트레이닝 유닛은 상기 복수의 아티팩트 영상들과 상기 복수의 이상적인 영상들을 얻기 위한 수단, 상기 복수의 아티팩트 영상들 각각을 대응하는 이상적인 영상에 매칭시키기 위한 수단, 각각의 매칭에 아티팩트 카테고리를 할당하기 위한 수단, 및 상기 할당된 카테고리에 따라 각각의 매칭으로부터 아티팩트 특징을 추출하기 위한 수단을 포함하는 트레이닝 영상 처리기를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 2 항에 있어서,

상기 트레이닝 영상 처리기는 상기 대응하는 이상적인 영상에 대해 알려진 장애와 함께 상기 아티팩트 영상을 등록하기 위한 수단과 상기 등록된 영상으로부터 상기 대응하는 이상적인 영상을 제거하기 위한 수단을 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 2 항에 있어서

상기 트레이닝 유닛은 상기 추출된 아티팩트 특징들을 이력 케이스들(historical cases)로 분리하기 위한 상기 트레이닝 영상 처리기에 연결되는 트레이닝 장애 아이솔레이터를 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 4 항에 있어서

상기 데이터베이스는 상기 복수의 머신으로부터 생성된 복수의 에러 로그들(error logs)을 더 포함하며, 상기 복수의 에러 로그들 각각은 상기 머신들의 동작중 발생하는 이벤트들(events)을 나타내는 데이터를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 5 항에 있어서

상기 트레이닝 장애 아이솔레이터는 상기 추출된 아티팩트 특징들과 에러 로그들을 이력 케이스들로 조합하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 1 항에 있어서

상기 진단 영상 처리기는 상기 매칭된 이상적인 영상에 대해 상기 새로운 아티팩트 영상을 등록하기 위한 수단과 상기 등록된 영상으로부터 상기 대응하는 이상적인 영상을 제거하기 위한 수단을 더 포함하는, 머신의 영상 기초 진단을 수행하기 위한 시스템.
제 1 항에 있어서,

상기 진단 장애 아이솔레이터는 상기 알려지지 않은 장애를 가진 머신으로부터 생성된 에러 로그를 수신하기 위한 수단을 포함하며, 상기 에러 로그는 상기 머신의 동작 중 발생하는 이벤트들을 나타내는 데이터를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 8 항에 있어서,

상기 진단 장애 아이솔레이터는 상기 복수의 매트릭들을 생성하도록 상기 에러 로그를 사용하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
제 1 항에 있어서,

상기 진단 유닛은 새롭게 식별된 아티팩트 영상들과 대응하는 교정 작용들을 상기 데이터베이스내의 상기 복수의 아티팩트 영상들에 부가하기 위한 수단을 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 시스템.
머신의 영상 기반 진단을 수행하기 위한 방법에 있어서,

복수의 머신들로부터 취해진 복수의 이력 영상들을 얻는 단계로서, 상기 복수의 이력 영상들은 모든 가능한 머신 세팅들을 이용하여 복수의 머신들로부터 생성된 복수의 이상적인 영상들과 상기 복수의 머신들로부터 생성된 복수의 아티팩트 영상들을 포함하고, 상기 아티팩트 영상들 각각은 그와 연관된 알려진 장애들과 상기 장애들을 수리하기 위한 대응하는 교정 작용을 가진, 상기 복수의 이력 영상들을 얻는 단계와,

알려지지 않은 장애를 가진 머신으로부터의 새로운 아티팩트 영상을 수신하기 단계와,

상기 새로운 아티팩트 영상과 가장 가깝게 매칭하는 상기 복수의 이력 영상들로부터의 이상적인 영상을 찾는 단계와,

상기 새로운 아티팩트 영상에 가장 가깝게 매칭하는 상기 이상적인 영상에 기반하여 상기 새로운 아티팩트 영상에 아티팩트 카테고리를 할당하는 단계와,

상기 새로운 아티팩트 영상에 할당된 상기 아티팩트 카테고리에 대해 복수의 매트릭들를 생성하는 단계와,

상기 알려지지 않은 장애를 수리하는 교정 작용과 상기 새로운 아티팩트 영상에 가장 가깝게 매칭하는 상기 복수의 이력 영상들로부터 아티팩트 영상을 식별하기 위해 상기 복수의 메트릭들을 이용하는 단계를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 11 항에 있어서,

상기 복수의 이력 영상들을 얻기 위한 상기 단계는,

상기 복수의 아티팩트 영상 각각을 상기 복수의 이상적인 영상들로부터 취해진 대응하는 이상적인 영상에 매칭시키기는 단계,

각각의 매칭에 상기 아티팩트 카테고리를 할당하는 단계, 및

각각의 매칭으로부터 아티팩트 특징을 추출하는 단계를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 12 항에 있어서,

상기 대응하는 이상적인 영상에 대해 알려진 장애와 함께 상기 아티팩트 영상을 등록하는 단계, 및

상기 등록된 영상으로부터 상기 대응하는 이상적인 영상을 제거하는 단계를 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 11 항에 있어서,

상기 새로운 아티팩트 영상에 대한 아티팩트 특징을 결정하기 위한 단계를 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 11 항에 있어서,

대응하는 이상적인 영상에 대해 상기 새로운 아티팩트 영상을 등록하기 위한 단계와,

상기 등록된 영상으로부터 상기 대응하는 이상적인 영상을 제거하기 위한 단계를 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 11 항에 있어서,

새롭게 식별된 아티팩트 영상들과 대응하는 교정 작용들을 상기 복수의 이력 영상들에 있는 상기 복수의 아티팩트 영상들에 부가하기 위한 단계를 더 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 11 항에 있어서,

상기 알려지지 않은 장애를 갖는 머신으로부터 에러 로그를 입력하기 위한 단계를 더 포함하고, 상기 에러 로그는 상기 머신들의 동작 중 발생하는 이벤트들을 나타내는 데이터를 포함하는, 머신의 영상 기반 진단을 수행하기 위한 방법.
제 17 항에 있어서,

상기 입력된 에러 로그는 새로운 아티팩트 영상에 대한 상기 복수의 매트릭들을 생성하는데 사용되는, 머신의 영상 기반 진단을 수행하기 위한 방법.