KR20220138950A - 위상 기반 진동 분석 방법 및 장치 - Google Patents

위상 기반 진동 분석 방법 및 장치 Download PDF

Info

Publication number
KR20220138950A
KR20220138950A KR1020210044952A KR20210044952A KR20220138950A KR 20220138950 A KR20220138950 A KR 20220138950A KR 1020210044952 A KR1020210044952 A KR 1020210044952A KR 20210044952 A KR20210044952 A KR 20210044952A KR 20220138950 A KR20220138950 A KR 20220138950A
Authority
KR
South Korea
Prior art keywords
phase
optical flow
vibration
image
analysis device
Prior art date
Application number
KR1020210044952A
Other languages
English (en)
Other versions
KR102636719B1 (ko
Inventor
오태현
권병기
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020210044952A priority Critical patent/KR102636719B1/ko
Publication of KR20220138950A publication Critical patent/KR20220138950A/ko
Application granted granted Critical
Publication of KR102636719B1 publication Critical patent/KR102636719B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38Concrete; ceramics; glass; bricks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9516Objects of complex shape, e.g. examined with use of a surface follower device whereby geometrical features are being masked

Abstract

개시된 기술은 위상 기반 진동 분석 방법 및 장치에 관한 것으로, 분석장치가 진동하는 물체에 대한 영상에서 연속된 제 1, 제 2 프레임을 필터뱅크에 입력하여 상기 물체의 위상을 각각 추출하는 단계; 상기 분석장치가 상기 제 1 프레임의 위상 및 상기 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하는 단계; 상기 분석장치가 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우(Optical Flow)을 계산하는 단계; 및 상기 분석장치가 핀홀 카메라 모델을 이용하여 상기 옵티컬 플로우를 실제 진동량으로 변환하는 단계;를 포함한다.

Description

위상 기반 진동 분석 방법 및 장치 {METHOD AND DEVICE FOR ANALYZING VIBRATION BASED ON PHASE}
개시된 기술은 이미지 내 물체의 진동을 위상에 기반하여 분석하는 방법 및 장치에 관한 것이다.
산업 현장에서 사용되는 펌프나 컴프레셔 또는 이들에 연결되는 배관에는 진동이 발생한다. 예컨대, 유체를 압축시키는 과정이나 압축된 유체를 이송하는 과정에서 진동이 발생할 수 있다. 이러한 장치들은 산업 현장에 한번 설치된 이후 결함이 발생하기 전까지는 장시간 사용되는데 결함을 모니터링하기 위한 방법으로 육안검사, 영상 기반 검사, 초음파 검사 등의 다양한 방법들이 이용되었다.
먼저, 가장 보편적으로 활용되는 방법은 검사자가 육안으로 결함을 체크하는 것인데 검사자의 주관에 따라 결함에 대한 판단이 다를 수 있으며 직접 현장에 방문해야하는 번거로움이 수반되는 문제가 있었다. 또한, 영상 기반 검사는 비전 카메라나 열화상 카메라와 같은 수단으로 획득된 영상을 분석하여 결함을 검출하는 것인데 카메라의 성능에 따라 결함에 대한 판단이 달라질 수 있으며 특히 열화상 카메라의 경우 장치들에서 기본적으로 일정 이상의 열이 발생되기 때문에 검사 결과가 부정확해지는 문제가 있었다. 또한, 초음파 검사의 경우 앞서 2가지 방법과 비교하면 정확도 측면에서는 높은 정확도를 기대할 수 있으나 결함으로 추정되는 위치에 센서를 부착해야 하므로 여전히 번거로운 문제가 있었다. 따라서 보다 간편하게 결함을 검출하고 결함 검출에 대한 정확도를 높일 수 있는 기술이 요구된다.
한국 등록특허 제10-2121958호
개시된 기술은 이미지 내 물체의 진동을 위상에 기반하여 분석하는 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 분석장치가 진동하는 물체에 대한 영상에서 연속된 제 1, 제 2 프레임을 필터뱅크에 입력하여 상기 물체의 위상을 각각 추출하는 단계, 상기 분석장치가 상기 제 1 프레임의 위상 및 상기 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하는 단계, 상기 분석장치가 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우(Optical Flow)을 계산하는 단계 및 상기 분석장치가 핀홀 카메라 모델을 이용하여 상기 옵티컬 플로우를 실제 진동량으로 변환하는 단계를 포함하는 위상 기반 진동 분석 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 물체에 대한 영상을 입력받는 입력장치, 상기 물체에 대한 윤곽선을 추출하는 필터뱅크 및 상기 물체의 진동을 분석하는 모델을 저장하는 저장장치 및 상기 영상에서 연속된 제 1, 제 2 프레임을 상기 필터뱅크에 입력하여 상기 물체의 위상을 각각 추출하고, 상기 제 1 프레임의 위상 및 상기 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하고, 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우를 계산하는 연산장치를 포함하는 위상 기반 진동 분석 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 위상 기반 진동 분석 방법 및 장치는 각종 산업 현장에서 이용되는 설비들의 결함을 정확하게 모니터링하는 효과가 있다.
또한, 이미지 내 위상을 이용하여 결함을 검출하여 결함 검출에 따른 번거로움을 방지하는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따른 모델의 구조를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 과정을 나타낸 도면이다. 도 1을 참조하면 분석장치는 물체를 촬영한 영상을 입력받고 영상에 포함된 물체가 진동하는지 분석할 수 있다. 물체의 진동을 분석하기 위해서 분석장치는 입력된 영상에서 2개의 프레임을 추출할 수 있다. 여기에서 추출하는 2개의 프레임은 서로 연속하는 것으로 예컨대, 첫 번째로 추출한 프레임이 f0라면 두 번째로 추출한 프레임은 f1일 수 있다. 첫 번째 프레임은 반드시 영상의 첫 번째 프레임인 것은 아니고 영상의 중간이나 보다 뒤의 프레임일 수도 있다. 즉, 임의의 시점의 프레임을 이용할 수 있다. 이하부터는 첫 번째로 추출한 프레임을 제 1 프레임이라고 하고 두 번째로 추출한 프레임을 제 2 프레임이라고 한다.
분석장치는 물체의 진동을 판단하기 위해 추출된 제 1 및 제 2 프레임에서 위상 차이를 계산할 수 있다. 먼저, 각각의 프레임에서 물체의 위상을 추출하기 위해 필터뱅크를 이용할 수 있다. 일 실시예로, 서로 다른 방향의 가버필터를 이용하여 윤곽선을 추출할 수 있다. 가버필터는 서로 다른 방향의 8개의 필터일 수 있으며 분석장치는 서로 다른 8개의 방향을 가진 위상을 추출할 수 있다.
한편, 분석장치는 추출된 위상의 주기성 문제를 해결하기 위해 위상 펼침(Phase Unwrapping)을 더 수행할 수 있다. 분석장치는 3차원 홀로그램 영상의 표준화를 수행하는 것과 같이 위상 펼침 기법을 이용하여 위상들 간의 공간적 상관도를 확보할 수 있다.
한편, 추출된 위상의 차이를 계산하기 위해서 분석장치는 공간 위상 기울기와 시간 위상 기울기의 관계식을 통해 가버 필터와 나란한 방향의 속도를 나타내는 컴포넌트 속도(Component Velocity)를 계산할 수 있다. 그리고 8개의 방향의 컴포넌트 속도를 아우르는 전체 속도(Full Velocity)를 계산할 수 있다.
종래 영상 내 물체의 움직임을 분석하는 기술에서는 물체의 움직임이 선형관계에 있다는 점에 착안하여 평균 제곱 오차를 최소화하는 기울기를 계산하는 방식으로 컴포넌트 속도를 결정하였다. 그러나 개시된 기술에서는 진동과 같이 미세하고 불규칙한 움직임을 분석하기 때문에 선형관계 대신 각 방향에 따른 위상을 시간에 따라 고속 푸리에 변환하여 피크값을 얻는 것으로 컴포넌트 속도를 계산할 수 있다. 분석장치는 8개의 가버필터에서 각각 추출된 위상들에 대한 8개의 피크값을 계산하고 이 중 주파수의 분산이 적은 일부의 픽셀을 진동하는 픽셀이라고 판단할 수 있다. 가령 8개 중 5개의 피크값이 임계값 미만으로 작으면 진동하는 픽셀로 판단할 수 있다. 여기에서 임계값은 주파수 분산이 작은 상위 20%의 픽셀을 의미하나 분석장치에 입력되는 설정에 따라 다른 값으로 변경될 수도 있다.
한편 이와 같이 진동하는 픽셀에 대한 컴포넌트 속도를 계산하면 분석장치는 전체 속도를 계산하고 매 프레임마다 구해진 전체 속도를 누적하여 관심 영역의 옵티컬 플로우를 계산할 수 있다. 여기에서 계산하는 옵티컬 플로우는 시간에 따른 물체의 이동을 의미한다. 분석장치는 매 프레임 별 전체 속도를 더하여 관심 영역 내 진동하는 픽셀의 옵티컬 플로우를 계산할 수 있다.
한편, 분석장치는 핀홀 카메라 모델을 포함한다. 핀홀 카메라 모델은 영상처리 분ㅇ에서 기하학적 해석을 위해 이용하는 모델로 렌즈의 특성에 따라 왜곡이 발생하는 경우 없이 정확한 영상을 얻을 수 있다. 분석장치는 이러한 핀홀 카메라 모델에 시간에 따른 옵티컬 플로우의 이미지를 입력하여 실제 물체의 옵티컬 플로우를 획득할 수 있다. 여기에서 실제 옵티컬 플로우는 물체의 진동의 크기, 방향 및 주파수를 포함하는 실제 진동량을 의미한다.
한편, 핀홀 카메라 모델은 이미지 센서의 픽셀 크기, 카메라 초점거리(Focal Length) 및 카메라와 물체 사이의 거리를 파라미터로 이용하여 옵티컬 플로우를 실제 진동량으로 변환할 수 있다. 분석장치는 이러한 과정에 따라 물체에 발생하는 미세한 진동을 파악하고 이러한 진동이 일반적인 동작에 따라 발생하는 것인지 아니면 결함에 따라 발생되는 것인지 분석할 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 방법에 대한 순서도이다. 도 2를 참조하면 위상 기반 진동 분석 방법은 분석장치를 통해 순차적으로 수행될 수 있다.
210 단계에서 분석장치는 진동하는 물체에 대한 영상에서 연속된 제 1, 제 2 프레임을 필터뱅크에 입력하여 물체의 위상을 각각 추출한다. 분석장치에 입력되는 물체의 영상은 사용자가 직접 입력하는 영상일 수도 있고 촬영장치로부터 획득되는 영상이 분석장치로 전송되는 것일 수도 있다. 분석장치는 다양한 방법으로 입력된 물체의 영상에서 연속된 두 개의 프레임을 추출하고 추출된 프레임을 필터뱅크에 입력하여 물체의 위상을 추출할 수 있다. 물체의 위상을 추출하기 위해서 분석장치는 서로 다른 방향을 갖는 복수개의 가버필터를 포함하는 필터뱅크를 이용할 수 있다.
220 단계에서 분석장치는 제 1 프레임의 위상 및 제 2 프레임의 위상 차이를 계산할 수 있다. 분석장치는 분석모델을 포함하며 분석모델에 두 프레임에서 추출한 위상을 입력하여 두 값의 차이를 계산할 수 있다. 그리고 계산 결과에 따라 프레임의 관심 영역 내 픽셀의 진동 여부를 판단한다. 여기에서 관심 영역은 물체를 포함하는 특정 영역일 수 있다. 분석장치는 종래의 이미지 내 객체 검출 기법을 이용하여 이미지에서 복수의 객체들을 검출하고 관심 영역을 설정하여 복수의 객체들 중 타겟이 되는 물체를 식별할 수 있다. 그리고 타겟이 되는 물체의 진동을 분석하기 위해서 관심 영역 내 픽셀의 진동을 여부를 판단한다. 일 실시예로, 각 방향 별로 추출된 위상을 시간에 따라 고속 푸리에 변환하여 피크값을 계산하고, 관심 영역에서 각 피크값이 나타나는 주파수의 분산이 임계값 미만인 픽셀을 진동하는 것으로 판단할 수 있다.
230 단계에서 분석장치는 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우를 계산한다. 분석장치는 진동하는 것으로 판단한 픽셀의 컴포넌트 속도(Component Velocity)를 이용하여 전체 속도(Full Velocity)를 계산하고 매 프레임마다 구해진 전체 속도를 누적하여 관심 영역의 시간에 따른 옵티컬 플로우를 계산할 수 있다.
240 단계에서 분석장치는 핀홀 카메라 모델을 이용하여 옵티컬 플로우를 실제 진동량으로 변환한다. 핀홀 카메라 모델은 분석모델에 포함된 것일 수도 있고 별도로 구비된 모델일 수도 있다. 분석장치는 핀홀 카메라 모델을 이용하여 이미지의 왜곡을 실제 물체의 옵티컬 플로우로 변환할 수 있다. 이와 같은 과정에 따라 변환된 실제 옵티컬 플로우가 물체의 진동량으로 해석될 수 있다.
도 3은 개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 장치에 대한 블록도이다. 도 3은 위상 기반 진동 분석 장치(300)는 입력장치(310), 저장장치(320) 및 연산장치(330)를 포함한다.
입력장치(310)는 진동 분석 장치(300)의 입력 인터페이스로 구현될 수 있다. 예컨대, 사용자가 직접 물체의 영상을 입력할 수 있는 키보드나 마우스와 같은 장치로 구현될 수 있다. 또는 별도의 장치로부터 영상을 전송받기 위한 통신모듈과 같은 장치로 구현될 수도 있다.
저장장치(320)는 진동 분석 장치(300)의 메모리로 구현될 수 있다. 저장장치(320)는 물체에 대한 윤곽선을 추출하는 필터뱅크 및 물체의 진동을 분석하는 모델을 저장할 수 있다. 물론 핀홀 카메라 모델도 저장 가능하며 전체 모델을 저장할 수 있는 용량으로 구비될 수 있다.
연산장치(330)는 진동 분석 장치(300)의 프로세서 또는 AP로 구현될 수 있다. 연산장치(330)는 영상에서 연속된 제 1, 제 2 프레임을 필터뱅크에 입력하여 물체의 위상을 각각 추출하고, 제 1 프레임의 위상 및 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하고, 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우를 계산한다.
한편, 연산장치(330)는 계산된 옵티컬 플로우를 핀홀 카메라 모델을 이용하여 실제 진동량으로 변환한다. 연산장치(330)는 저장장치(320)에 저장된 핀홀 카메라 모델을 이용하여 이미지 상의 옵티컬 플로우를 실제 물체의 옵티컬 플로우로 변환할 수 있다.
한편, 상술한 바와 같은 진동 분석 장치(300)는 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM,SRAM), 다이내믹 램(Dynamic RAM,DRAM), 싱크로너스 디램 (Synchronous DRAM,SDRAM), 2배속 SDRAM(Double Data Rate SDRAM,DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM,ESDRAM), 동기화 DRAM(Synclink DRAM,SLDRAM) 및 직접 램버스 램(Direct Rambus RAM,DRRAM) 과 같은 다양한 RAM을 의미한다.
도 4는 개시된 기술의 일 실시예에 따른 모델의 구조를 나타낸 도면이다. 도 4를 참조하면 분석 모델은 연속된 프레임이 입력되면 서로 다른 방향의 가버 필터 8개를 이용하여 각 프레임의 위상을 추출할 수 있다. 그리고 프레임 간의 위상 차이를 계산하고 이미지 센서의 픽셀 크기와 카메라 초점 거리(Focal Length) 및 카메라와 물체의 거리를 이용하여 이미지 상의 옵티컬 플로우를 실제 물체의 옵티컬 플로우로 변환할 수 있다. 옵티컬 플로우를 변환하는 계산은 아래의 수학식 1에 따라 수행될 수 있다.
[수학식 1]
Figure pat00001
여기에서
Figure pat00002
는 이미지 센서의 픽셀 크기이고,
Figure pat00003
는 카메라의 초점거리이고,
Figure pat00004
은 물체와의 거리이고
Figure pat00005
는 이미지 내 옵티컬 플로우를 의미한다.
한편, 분석장치는 고속 푸리에 변환을 수행하여 8개 방향 별 각각의 피크값이 나타나는 주파수들의 분산을 계산하여 진동하는 픽셀을 결정할 수 있다. 즉, 프레임에 포함된 물체에 대한 신뢰성 검사를 수행할 수 있다. 분석장치에는 신뢰성 검사에 따른 임계값이 설정될 수 있으며 상위 피크값이 나타나는 일부 픽셀들의 전체 속도의 평균을 계산하여 옵티컬 플로우를 추출할 수 있다. 그리고 추출된 옵티컬 플로우를 핀홀 카메라 모델에 입력하여 실제 옵티컬 플로우로 변환할 수 있다.
개시된 기술의 일 실시예에 따른 위상 기반 진동 분석 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (11)

  1. 분석장치가 진동하는 물체에 대한 영상에서 연속된 제 1, 제 2 프레임을 필터뱅크에 입력하여 상기 물체의 위상을 각각 추출하는 단계;
    상기 분석장치가 상기 제 1 프레임의 위상 및 상기 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하는 단계;
    상기 분석장치가 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우(Optical Flow)을 계산하는 단계; 및
    상기 분석장치가 핀홀 카메라 모델을 이용하여 상기 옵티컬 플로우를 실제 진동량으로 변환하는 단계;를 포함하는 위상 기반 진동 분석 방법.
  2. 제 1 항에 있어서, 상기 물체의 위상을 각각 추출하는 단계는,
    서로 다른 방향의 가버필터(Gabor Filter)를 이용하여 상기 물체에 대한 윤곽선을 추출하는 위상 기반 진동 분석 방법.
  3. 제 1 항에 있어서, 상기 진동 여부를 판단하는 단계는,
    서로 다른 방향에 따른 각각의 위상을 시간에 따라 고속 푸리에 변환하여 피크값을 계산하고, 상기 관심 영역에서 각 피크값이 나타나는 주파수의 분산이 임계값 미만인 픽셀을 진동하는 것으로 판단하는 위상 기반 진동 분석 방법.
  4. 제 1 항에 있어서, 상기 옵티컬 플로우를 계산하는 단계는,
    상기 진동하는 것으로 판단한 픽셀의 컴포넌트 속도(Component Velocity)를 이용하여 전체 속도(Full Velocity)를 계산하고 매 프레임마다 구해진 전체 속도를 누적하여 관심 영역의 옵티컬 플로우를 계산하는 위상 기반 진동 분석 방법.
  5. 제 1 항에 있어서,
    상기 핀홀 카메라 모델은 이미지 센서의 픽셀 크기, 카메라 초점거리(Focal Length) 및 카메라와 물체 사이의 거리를 파라미터로 이용하여 아래의 수학식 1에 따라 상기 옵티컬 플로우를 상기 실제 진동량으로 변환하는 위상 기반 진동 분석 방법.
    [수학식 1]
    Figure pat00006

    (여기에서
    Figure pat00007
    는 이미지 센서의 픽셀 크기이고,
    Figure pat00008
    는 카메라의 초점거리이고,
    Figure pat00009
    은 물체와의 거리이고
    Figure pat00010
    는 이미지 내 옵티컬 플로우를 의미함.)
  6. 물체에 대한 영상을 입력받는 입력장치;
    상기 물체에 대한 윤곽선을 추출하는 필터뱅크 및 상기 물체의 진동을 분석하는 모델을 저장하는 저장장치; 및
    상기 영상에서 연속된 제 1, 제 2 프레임을 상기 필터뱅크에 입력하여 상기 물체의 위상을 각각 추출하고, 상기 제 1 프레임의 위상 및 상기 제 2 프레임의 위상 차이를 계산하여 관심 영역 내 픽셀의 진동 여부를 판단하고, 진동하는 것으로 판단한 픽셀의 시간에 따른 옵티컬 플로우를 계산하는 연산장치;를 포함하는 위상 기반 진동 분석 장치.
  7. 제 6 항에 있어서,
    상기 저장장치는 핀홀 카메라 모델을 더 포함하고, 상기 핀홀 카메라 모델을 이용하여 상기 옵티컬 플로우를 실제 진동량으로 변환하는 위상 기반 진동 분석 장치.
  8. 제 6 항에 있어서,
    상기 필터뱅크는 서로 다른 방향의 8개의 가버필터를 포함하는 위상 기반 진동 분석 장치.
  9. 제 6 항에 있어서,
    상기 연산장치는 서로 다른 방향에 따른 각각의 위상을 시간에 따라 고속 푸리에 변환하여 피크값을 계산하고, 관심 영역에서 각 피크값이 나타나는 주파수의 분산이 임계값 미만인 픽셀을 진동하는 것으로 판단하는 위상 기반 진동 분석 장치.
  10. 제 6 항에 있어서,
    상기 연산장치는 상기 진동하는 것으로 판단한 픽셀의 컴포넌트 속도(Component Velocity)를 이용하여 전체 속도(Full Velocity)를 계산하고 매 프레임마다 구해진 전체 속도를 누적하여 관심 영역의 옵티컬 플로우를 계산하는 위상 기반 진동 분석 장치.
  11. 제 6 항에 있어서,
    상기 핀홀 카메라 모델은 이미지 센서의 픽셀 크기, 카메라 초점거리(Focal Length) 및 카메라와 물체 사이의 거리를 파라미터로 이용하여 아래의 수학식 1에 따라 상기 옵티컬 플로우를 상기 실제 진동량으로 변환하는 위상 기반 진동 분석 장치.
    [수학식 1]
    Figure pat00011

    (여기에서
    Figure pat00012
    는 이미지 센서의 픽셀 크기이고,
    Figure pat00013
    는 카메라의 초점거리이고,
    Figure pat00014
    은 물체와의 거리이고
    Figure pat00015
    는 이미지 내 옵티컬 플로우를 의미함.)
KR1020210044952A 2021-04-07 2021-04-07 위상 기반 진동 분석 방법 및 장치 KR102636719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210044952A KR102636719B1 (ko) 2021-04-07 2021-04-07 위상 기반 진동 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210044952A KR102636719B1 (ko) 2021-04-07 2021-04-07 위상 기반 진동 분석 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220138950A true KR20220138950A (ko) 2022-10-14
KR102636719B1 KR102636719B1 (ko) 2024-02-13

Family

ID=83599704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210044952A KR102636719B1 (ko) 2021-04-07 2021-04-07 위상 기반 진동 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102636719B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102121958B1 (ko) 2018-07-18 2020-06-11 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
JP2020186957A (ja) * 2019-05-10 2020-11-19 国立大学法人広島大学 振動解析システム、振動解析方法及びプログラム
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102121958B1 (ko) 2018-07-18 2020-06-11 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
JP2020186957A (ja) * 2019-05-10 2020-11-19 国立大学法人広島大学 振動解析システム、振動解析方法及びプログラム
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统

Also Published As

Publication number Publication date
KR102636719B1 (ko) 2024-02-13

Similar Documents

Publication Publication Date Title
Chen et al. Modal identification of simple structures with high-speed video using motion magnification
Poozesh et al. Feasibility of extracting operating shapes using phase-based motion magnification technique and stereo-photogrammetry
JP4644819B2 (ja) 微小変位計測法及び装置
KR101322168B1 (ko) 실시간 얼굴 인식 장치
CN108414240B (zh) 一种检测机器异常振动的方法与装置
KR100941418B1 (ko) 이동 로봇의 위치 인식 방법
Javed et al. Vibration measurement of a rotating cylindrical structure using subpixel-based edge detection and edge tracking
Havaran et al. Markers tracking and extracting structural vibration utilizing Randomized Hough transform
Shao et al. Target-free 3D tiny structural vibration measurement based on deep learning and motion magnification
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
Cai et al. Visualizing and quantifying small and nonstationary structural motions in video measurement
Azimbeik et al. Improved image-based, full-field structural displacement measurement using template matching and camera calibration methods
Shang et al. Multi-point vibration measurement for mode identification of bridge structures using video-based motion magnification
Zhu et al. A Noval Building Vibration Measurement system based on Computer Vision Algorithms
KR102636719B1 (ko) 위상 기반 진동 분석 방법 및 장치
Miao et al. Phase-based vibration imaging for structural dynamics applications: Marker-free full-field displacement measurements with confidence measures
Merainani et al. Subspace-based modal identification and uncertainty quantification from video image flows
Holak A motion magnification application in video-based vibration measurement
CN106709516B (zh) 一种基于朴素贝叶斯方法的模糊图像检测方法
WO2020255231A1 (ja) 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
JP7406695B2 (ja) 画像処理装置及び画像処理プログラム
KR102340286B1 (ko) 영상 기반의 구조물 건전성 모니터링 방법.
Spytek et al. Novelty detection approach for the monitoring of structural vibrations using vision-based mean frequency maps
Shen et al. Obtaining four-dimensional vibration information for vibrating surfaces with a Kinect sensor
Patsias et al. Image sequences and wavelets for vibration analysis: Part 1: Edge detection and extraction of natural frequencies

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant