KR102363939B1 - 주기적 동작을 가지는 진동체의 감지시스템 - Google Patents

주기적 동작을 가지는 진동체의 감지시스템 Download PDF

Info

Publication number
KR102363939B1
KR102363939B1 KR1020200051021A KR20200051021A KR102363939B1 KR 102363939 B1 KR102363939 B1 KR 102363939B1 KR 1020200051021 A KR1020200051021 A KR 1020200051021A KR 20200051021 A KR20200051021 A KR 20200051021A KR 102363939 B1 KR102363939 B1 KR 102363939B1
Authority
KR
South Korea
Prior art keywords
periodic
signal
signals
industrial robot
unit
Prior art date
Application number
KR1020200051021A
Other languages
English (en)
Other versions
KR20210132520A (ko
Inventor
최해진
한순영
팜반후안
도민득
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020200051021A priority Critical patent/KR102363939B1/ko
Publication of KR20210132520A publication Critical patent/KR20210132520A/ko
Application granted granted Critical
Publication of KR102363939B1 publication Critical patent/KR102363939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 주기적 동작을 가지는 진동체의 감지시스템에 관한 것으로, 보다 상세하게는 하이 스피드 카메라가 CNC 공작기계 혹은 산업용로봇의 반복적이고 주기적인 움직임의 신호를 감지하기 위해 높은 해상도를 유지하며, 높은 영상 프레임 속도를 유지할 수 있도록 하기 위한 주기적 동작을 가지는 진동체의 감지시스템에 관한 것이다.

Description

주기적 동작을 가지는 진동체의 감지시스템{Detection System of Vibrators with Periodic Behavior}
본 발명은 주기적 동작을 가지는 진동체의 감지시스템에 관한 것으로, 보다 상세하게는 하이 스피드 카메라가 CNC 공작기계 혹은 산업용로봇의 반복적이고 주기적인 움직임의 신호를 감지하기 위해 높은 해상도를 유지하며, 높은 영상 프레임 속도를 유지할 수 있도록 하는 주기적 동작을 가지는 진동체의 감지시스템에 관한 것이다.
하이 스피드 카메라 즉, 초고속 카메라는 일반적인 동영상 촬영 카메라와는 달리 초당 240~480프레임을 촬영할 수 있어, 산업용 기계 및 로봇, 물리학, 방산, 의학, 스포츠 등의 분야에서 대상물의 상태와 분석 및 판정의 목적으로 사용되고 있다.
통상 초고속처리와 대형의 데이터를 전송하기 위한 인터페이스 등의 요구되어, 고가의 FPGA와 통신을 위한 전용 Chip을 사용해야 한다는 점 및 고해상도의 영상을 얻기 위해서는 초당 프레임 수(fps)가 떨어져 높은 주파수 영역의 영상신호는 촬영하기 어렵다는 한계점이 있다.
한국공개번호 (KR)제2016-0005723호(2016.01.15.) 한국공개번호 (KR)제2009-0009074호(2009.01.22.)
본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 CNC 기계 혹은 산업용 로봇의 반복적인 움직임(Stationary Movement)의 영상 신호를 촬영하여 시간 연속적인 신호를 추출하교 업샘플링하여 해상도를 높이고, 광학적 제거 알고리즘을 통해 신호를 재배열 시켜 영상 프레임 속도를 증가시키는 주기적 동작을 가지는 진동체의 감지시스템을 제공하는 것이다.
본 발명의 실시예에 따른 주기적 동작을 가지는 진동체의 감지시스템은 하이 스피드 카메라가 CNC공작기계 혹은 산업용로봇의 주기적인 혹은 반복적인 움직임(stationary movement)의 영상 프레임들을 촬영하는 진동영상촬영부;와 상기 진동영상촬영부로부터 얻은 상기 영상 프레임(frame) 당 픽셀(pixel)에서 시간 연속적인 신호(time series signal)를 추출하는 신호추출부;와 상기 신호추출부에서 추출한 상기 시간 연속적인 신호들을 업샘플링(upsampling)하여 해상도를 높이는 샘플링부;와 상기 샘플링부에서 업샘플링(Upsampling)된 상기 시간 연속적인 신호들 중 가장 긴 어느 하나의 영상 신호를 추출하고, 상기 가장 긴 영상 신호를 구성하는 신호들 중에 주기적 신호(periodic signal)들을 추출하여 시그널 프로세싱(signal processing) 및 재배열(realignment)하는 주기신호샘플링부;및 상기 주기신호샘플링부에서 재배열된 상기 주기적 신호 데이터들과 광학적 제거 알고리즘을 클라우드 컴퓨팅 서버에 저장하여, 상기 CNC 기계 혹은 상기 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 공유 받을 수 있도록 하는 클라우딩정보전달서버부;를 포함한다.
본 발명의 실시예에 따라, 상기 진동영상촬영부는 제한된 촬영 속도(speed)를 가진 하이 스피드 카메라를 통해서 상기 CNC 기계 혹은 상기 산업용로봇의 주기적(periodic)인 움직임 혹은 시작과 끝이 있는 움직임을 반복하는 영상을 촬영한다.
본 발명의 실시예에 따라서, 상기 신호추출부는 반복적인 혹은 주기적인 상기 CNC 기계 혹은 상기 산업용로봇의 움직임의 상기 영상 프레임에서, 시간 도메인(Time domain)을 기준으로 시간 연속적인 신호들(Time series signals) 및 비동기적인 신호들(asynchronous signals)을 추출한다.
본 발명의 실시예에 따라서, 상기 샘플링부는 상기 시간 연속적인 신호들(Time series signals)의 샘플링 주파수를 증가시켜, 해상도(resolution)를 높인다.
본 발명의 실시예에 따라서, 상기 주기신호샘플링부는 상기 시간 연속적인 신호들 중에 가장 긴 상기 영상 신호를 구성하는 주기적 신호들(periodic signals)을 추출해내며, 상기 주기적 신호(periodic signals)들을 상기 시그널 프로세싱(signal processing)을 통해서 각각의 파장이 시작되는 시작점(starting point) 및 주기(period)를 탐지(detection)한다.
본 발명의 실시예에 따라서, 상기 주기신호샘플링부는 각 상기 주기적 신호의 시작점을 기준으로 하여, 상기 주기적 신호를 상기 주기적 신호의 주기(period)만큼 잘라내는 광학적 제거 알고리즘(Optically Cutting Algorithm)을 포함한다.
본 발명의 실시예에 따라서, 상기 주기신호샘플링부는 상기 광학적 제거 알고리즘을 통해 상기 주기적 신호들의 각각의 시작점과 주기(period)를 알아냄으로써, 상기 주기적 신호들의 딜레이(d) 간격만큼 줄여 상기 주기적 신호들을 이어 붙여(overlapping) 재배열(alignment)하여 상기 신호들의 샘플링 속도(sampling rate)를 높인다.
본 발명의 실시예에 따라서, 상기 클라우딩정보전달서버부는 상기 주기신호샘플링부에서 재배열된 상기 영상 신호데이터들과 상기 광학적 제거 알고리즘으로 클라우드 컴퓨팅(Cloud computing)의 스마트 AI를 학습시켜 클라우드 컴퓨팅 서버에 저장한다.
본 발명의 실시예에 따라서, 상기 클라우딩정보전달서버부는 상기 클라우드 컴퓨팅 서버에 저장된 샘플링 된 상기 영상 신호데이터를 이미지화하여 CNC 공작기계 혹은 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 공유 받을 수 있도록 한다.
본 발명의 실시예에 따라서,주기적 동작을 가지는 진동체의 감지시스템이 작동하는 방법은 하이 스피드 카메라가 CNC 기계 및 산업용로봇의 주기적이고 반복적인 움직임의 영상을 촬영하는 단계;와 상기 촬영된 영상 프레임의 픽셀에서 시간 연속적인 신호(time series signal)을 추출하는 단계;와 추출한 상기 시간 연속적인 신호(time series signal)를 업샘플링(Upsmapling)하여 높은 주파수에서 상기 신호들의 해상도를 높이는 단계;와 구성하는 주기적 신호들을 광학적 제거 알고리즘(Optically Cutting Algorithm)을 통해, 상기 가장 긴 어느 하나의 시간 연속적인 신호를 구성하는 상기 각 주기적 신호(periodic signal)들을 상기 주기적 신호들 각각의 파장의 시작점으로부터 상기 각각의 주기적 신호의 주기만큼 잘라내는 단계;와 상기 주기만큼 잘라진 주기적 신호들을 딜레이(D)간격 없이, 이어 붙여(overlapping) 재배열(realignment)함으로써 영상 프레임 속도를 증가시키는 단계; 및 상기 재배열된 신호 데이터와 상기 광학적 제거 알고리즘을 클라우딩 컴퓨팅 서버에 저장하여, 상기 CNC 기계 및 산업용로봇 관리자가 상기 CNC 기계 및 산업용로봇의 상태를 어디에서든 실시간으로 확인 가능하도록 공유하는 단계를 포함한다.
이상에서 설명한 바와 같은 주기적 동작을 가지는 진동체의 감지시스템에 따르면 다음과 같은 효과가 있다.
첫째, 촬영된 영상 이미지의 해상도를 높임과 동시에, 영상의 프레임 스피드 높은 Fps를 유지할 수 있다.
둘째, 낮은 영상 프레임 속도를 촬영할 때, 신호의 민감도를 증가시킬 수 있다.
셋째, 낮은 스피드의 카메라가 촬영을 할 때, 이미지 센서의 질적 퇴화를 줄일 수 있다.
넷째, 카메라의 최대 스피드(3000Fps)의 한계를 넘어서 신호의 속도를 증가시킬 수 있다.
다섯째, original 신호의 선 과도현상(line transients)을 보존할 수 있다.
여섯째, 높은 주파수 범위 신호의 신호들의 정보를 얻을 수 있다.
도1과 도2는 주기적 동작을 가지는 진동체의 감지시스템(PHM)의 구성도이다.
도3는 PHM(주기적 동작을 가지는 진동체의 감지시스템)의 각 구성부들의 흐름도이다.
도4은 주기적 동작을 가지는 진동체의 감지시스템이 동작하는 단계별 방법이다.
도5 및 도6, 도7은 주기적 동작을 가지는 진동체의 감지시스템의 실험 결과자료이다.
첨부한 도면을 참조하여 본 발명의 실시예들에 따른 비접촉 근접 물체 센싱 모듈에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1과 도2는 주기적 동작을 가지는 진동체의 감지시스템(PHM)의 구성도이다.
도1을 참고하면, 주기적 동작을 가지는 진동체의 감지시스템(PHM)은 하이 스피드 카메라가 CNC공작기계 혹은 산업용로봇의 주기적인 혹은 반복적인 움직임(stationary movement)의 영상 프레임들을 촬영하는 진동영상촬영부(10);와 진동영상촬영부(10)로부터 얻은 상기 영상 프레임(frame) 당 픽셀(pixel)에서 시간 연속적인 신호(time series signal)를 추출하는 신호추출부(20);와 신호추출부(20)에서 추출한 상기 시간 연속적인 신호들을 업샘플링(upsampling)하여 해상도를 높이는 샘플링부(30);와 샘플링부(30)에서 업샘플링(Upsampling)된 상기 시간 연속적인 신호들 중 가장 긴 어느 하나의 영상 신호를 추출하고, 상기 가장 긴 영상 신호를 구성하는 신호들 중에 주기적 신호(periodic signal)들을 추출하여 시그널 프로세싱(signal processing) 및 재배열(realignment)하는 주기신호샘플링부(40); 및 주기신호샘플링부(40)에서 재배열된 상기 주기적 신호 데이터들과 광학적 제거 알고리즘을 클라우드 컴퓨팅 서버에 저장하여, 상기 CNC 기계 혹은 상기 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 공유 받을 수 있도록 하는 클라우딩정보전달서버부(50);를 포함한다.
도2를 참고하면, 진동영상촬영부(10)와 신호추출부(20) 및 샘플링부(30)은 VBU(Vision based signal Upsampling) 프로세싱부의 구성부들이다.
VBU(Vision based signal Upsampling) 프로세싱부(35)는 카메라 영상 프레임으로부터 해상도를 높이는 업샘플링(upsampling)를 진행히여 상기 주기적인 신호(periodic signal)을 뽑아내는 역할을 한다.
진동영상촬영부(10)는 제한된 촬영 속도(speed)를 가진 하이 스피드 카메라를 통해서 상기 CNC 기계 혹은 상기 산업용로봇의 진동 및 움직임을 감지한다. 상기 카메라 영상 프레임의 해상도(Resolution)를 높여야 한다. 상기 해상도를 높이면, 영상 프레임 속도 및 초당 진동수 속도(Fps)가 떨어지기 때문에 high frequency 영역의 signal 정보를 획득하기 어렵다는 한계점이 생긴다.
따라서 본 발명은 해상도를 높이면서도 카메라 영상 프레임 속도를 높게 유지하기 위한 조건으로, 진동영상촬영부(10)에서 주기적(periodic)인 움직임 혹은 시작과 끝이 있는 움직임을 반복하는 기기들의 stationary movement 영상을 촬영한다. 또한, 신호추출부(20)는 반복적인 혹은 주기적인 상기 CNC 기계 혹은 상기 산업용로봇의 움직임의 영상 프레임에서, 시간 도메인(Time domain)을 기준으로 시간 연속적인 신호들(Time series signals) 및 비동기적인 신호들(asynchronous signals)을 추출해낸다. 그리고 샘플링부(30)는 상기 시간 연속적인 신호들(Time series signals)의 샘플링 주파수를 증가시켜, 해상도(resolution)를 높인다.
OCA(Optimally Cutting Algorithm) 프로세싱부(45)의 구성부는 주기신호샘플링부(40)이다. OCA(Optimally Cutting Algorithm) 프로세싱부(45)를 통해서 해상도를 높여 영상 프레임 rate가 낮아진 것을 높이는 과정이다.
상기 시간 연속적인 신호들(Time series signals) 중에 가장 긴 상기 시간 연속적인 신호를 추출한다. 상기 가장 긴 시간 연속적인 신호를 구성하는 상기 주기적 신호들(periodic signals)을 추출해내며, 상기 주기적 신호(periodic signals)들을 상기 시그널 프로세싱(signal processing)을 통해서 상기 주기적 신호들 각각의 파장이 시작되는 시작점(starting point)과 각 각의 주기(period)를 탐지(detection)한다.
주기신호샘플링부(40)는 각 상기 주기적 신호의 시작점을 기준으로 하여, 상기 주기적 신호를 상기 주기적 신호의 주기(period)만큼 잘라내는 광학적 제거 알고리즘(Optically Cutting Algorithm)을 포함으로써, 상기 주기적 신호들이 만드는 딜레이(d) 간격을 알아 낼 수 있다. 이 후, 상기 주기적 신호들을 상기 딜레이(d)간격을 주령 이어 붙임으로써(overlapping) 재배열(alignment)시키고, 이로써 상기 영상 신호들의 샘플링 속도(sampling rate)를 높일 수 있다.
MS(Monitoring System) 프로세싱부(55)의 구성부는 클라우딩정보전달서버부(50)이다. MS(Monitoring System) 프로세싱부(55)는 해상도와 영상 프레임 rate가 높아진 영상 신호 정보 데이터와 각 프로세싱부에서 사용된 알고리즘이 클라우딩 컴퓨터에 기입되어, 사업장 관리자가 사업장 기기 즉 CNC 기계 혹은 산업용로봇의 상태를 어느상황에서도 확인할 수 있도록 하는 과정이다.
클라우딩정보전달서버부(50)는 주기신호샘플링부(40)에서 재배열된 상기 주기적 신호의 데이터들과 상기 광학적 제거 알고리즘으로 클라우드 컴퓨팅(Cloud computing)의 스마트 AI를 학습시켜 클라우드 컴퓨팅 서버에 저장한다. 이 후, 상기 클라우드 컴퓨팅 서버에 저장된 샘플링 된 상기 주기적 영상 신호의 데이터를 영상 프레임으로 이미지화하여, 사업장의 CNC 공작기계 혹은 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 휴대폰 혹은 아이패드 혹은 컴퓨터 등으로 어느 상황에서도 확인할 수 있도록 한다.
도3는 PHM(주기적 동작을 가지는 진동체의 감지시스템)의 각 구성부들의 흐름도이다.
도3을 참고하면, VBU(Vision based signal Upsampling) 프로세싱부(35)에서 하이 스피드 카메라 촬영한 영상 프레임으로부터 해상도를 높이는 업샘플링(upsampling)를 진행하여 상기 주기적인 신호(periodic signal)을 뽑아내면, OCA(Optimally Cutting Algorithm) 프로세싱부(45)에서는 Optimally Cutting Algorithm을 통해서, 높은 주파수 범위의 신호를 만들어낼 수 있도록, 각 영상 신호 파장의 시작점을 탐색하고 파장을 제어한다. 또한 이로써 상기 영상 프레임 rate를 높이는 과정을 진행한다. 이 후, 고해상도와 빠른 영상 프레임 속도를 가진 상기 주기적 신호 데이터 또한, Optimally Cutting 알고리즘과 VSU 알고리즘을 클라우딩 컴퓨터 저장하고, 클라우딩 컴퓨터 내 스마트 AI 알고리즘에 추가 코딩하여 상기 스마트 AI를 학습시킨다. 이로써, 고해상도의 빠른 영상 프레임 속도를 가진 카메라가 촬영한 사업장 내 상기 CNC 기기 혹은 상기 산업용로봇의 상태 MS(Monitoring System) 프로세싱부(55)에 저장하여 상기 사업장 관리자가 사업장 기기 즉 CNC 기계 혹은 산업용로봇의 상태를 어느 상황에서도 확인할 수 있도록 한다.
도4는 주기적 동작을 가지는 진동체의 감지시스템이 동작하는 단계별 방법이다.
도4를 참고하면, 주기적 동작을 가지는 진동체의 감지시스템이 작동하는 방법은 하이 스피드 카메라가 CNC 기계 및 산업용로봇의 주기적이고 반복적인 움직임의 영상을 촬영하는 단계;와 상기 촬영된 영상 프레임의 픽셀에서 시간 연속적인 신호(time series signal)를 추출하는 단계;와 추출한 상기 시간 연속적인 신호(time series signal)를 업샘플링(Upsmapling)하여 높은 주파수에서 상기 신호들의 해상도를 높이는 단계;와 구성하는 주기적 신호들을 광학적 제거 알고리즘(Optically Cutting Algorithm)을 통해 상기 각 주기적 신호(periodic signal)의 파장의 시작점으로부터 상기 주기적 신호의 주기만큼 잘라내는 단계;와 상기 주기만큼 잘라진 주기적 신호들을 딜레이(D)간격 없이, 이어 붙여(overlapping) 재배열(realignment)함으로써 영상 프레임 속도를 증가시키는 단계; 및 상기 재배열된 신호 데이터와 상기 광학적 제거 알고리즘을 클라우딩 컴퓨팅 서버에 저장하여, 상기 CNC 기계 및 산업용로봇 관리자가 상기 CNC 기계 및 산업용로봇의 상태를 어디에서든 실시간으로 확인 가능하도록 공유하는 단계를 포함한다.
도5 및 도6, 도7은 주기적 동작을 가지는 진동체의 감지시스템의 실험 결과자료이다.
도5는 VSU 프로세스의 과정의 결과물로,
도5를 참조하면, 왼쪽의 첫 번째 그림을 참조하면 본 신호는 많은 진동수와 노이즈로 구성되어있다. 그리고 낮은 샘플링 속도(Fs = 5120 Hz)는 왼쪽 그림의 두 번째 그림에서와 같이 샘플링된다. 5120Hz에서 종래의 기술로 업샘플링되어, 향상된 신호는 왼쪽의 3번째 그림과 같이 부드럽게 이어진 파형으로 나타내어진다. 그리고 노이즈 신호처리 표본화는 오른쪽 첫 번째 그림과 같이 나타난다.
VSB방법을 적용한 신호의 과도현상 속성은 업샘플링된 신호에 보존된다.(왼쪽의 그림 4 참조) 그리고 이것은 800Hz에서 피크값으로 나타내어진다. 그리고 이 값은 Nyquist-Shannon sampling 이론에 의하여, 제한값인 512Hz보다도 높은 값을 나타낸다. 즉 업샘플링을 통하여 Nyquist-Shannon sampling 이론 한계점 보다 높은 주파수의 신호 정보를 얻을 수 있다.
도6은 모터의 회전을 모니터링하는데 VSU방법을 적용한 것을 나타낸 것이다.
도6 실험은 낮은 프레임 속도(150Fps)의 카메라가 획득한 영상에 VSU 프로세스를 수행한 것으로, 600Hz 속도의 업샘플링 신호는 같은 카메라가 포착한 2000fps의 신호와 같은 양상을 보인다. 만약 카메라가 획득한 변위 신호가 가속으로 변환된다면, 이것은 모터에 부착된 센서에서 수집한 신호와 같은 피크값을 나타낼 것이다.
도7은 시간 차이를 두고 촬영한 신호들의 비동기성을 기술에 적용한 것의 결과물이다. 도7을 참조하면, 본 기술은 각각의 기록된 시간의 부분적 지연시간을 알아낸다면, 정확한 위치에서 일련의 신호들을 위치하도록 할 수 있다. 그리고 나서 재구성한 신호들은 업샘플링된다. 종래의 기술들은 본래의 물체의 상태를 진단다하는데 매우 중요한 정보인 신호의 과도현상을 매끄럽게 이어진 파장으로 나타낼 수 없지만 본 기술인 VSU기술은 모니터링하는 물체의 각각의 기록된 영상 신호들의 부분적 지연시간을 알아낼 수 있기 때문에, 시간차이를 두고 찍은 신호들을 지연시간없이 정확한 위치에서 일련의 신호들을 나열할 수 있다. 그리고 나서 재구성한 신호들은 업샘플링되기 때문에 본래의 신호의 과도현상을 매끄럽게 이어진 파장형태로 나타낼 수 있다.
도5 및 도6, 도7를 참고하여, 실험의 결과로써 증명한 본 발명만의 특장점은 촬영된 영상 이미지의 해상도를 높임과 동시에, 영상의 프레임 스피드 높은 Fps를 유지할 수 있다는 점과, 낮은 영상 프레임 속도를 촬영할 때, 신호의 민감도를 증가시킬 수 있다는 점과, 낮은 스피드의 카메라가 촬영을 할 때, 이미지 센서의 질적 퇴화를 줄일 수 있다는 점 및 카메라의 최대 스피드(3000Fps)의 한계를 넘어서 신호의 속도를 증가시킬 수 있다는 것이다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 진동영상촬영부 20: 신호추출부
30: 샘플링부 35: VBS(Vision Based Signal Upsampling)
40: 주기신호샘플링부 45: OCA(Optimally Cutting Algorithm)
50: 클라우딩정보전달서버부 55: MS(Monitoring System)
60: PHM

Claims (10)

  1. 하이 스피드 카메라가 CNC공작기계 혹은 산업용로봇의 주기적인 혹은 반복적인 움직임(stationary movement)의 영상 프레임들을 촬영하는 진동영상촬영부;와
    VBU(Vision based signal Upsampling) 기반의 상기 진동영상촬영부으로부터 시간 차이를 두고 촬영된 상기 영상 프레임(frame) 당 픽셀(pixel)로부터 일련의 시간 연속적인 신호(time series signal)를 추출하는 신호추출부; 와
    상기 신호추출부에서 추출한 상기 시간 연속적인 신호들을 업샘플링(Upsampling)하여 해상도를 높이는 샘플링부;와
    상기 샘플링부에서 업샘플링(Upsampling)된 상기 시간 연속적인 신호들 중 어느 하나의 가장 긴 어느 하나의 영상 신호를 추출하고, 상기 가장 긴 영상 신호를 구성하는 신호들 중에, 주기적 신호(periodic signal)들을 추출하여 시그널 프로세싱(signal processing) 및 재배열(realignment)하는 주기신호샘플링부; 및
    상기 주기신호샘플링부에서 재배열된 상기 주기적 신호 데이터들과 광학적 제거 알고리즘을 클라우드 컴퓨팅 서버에 저장하여, 상기 CNC 기계 혹은 상기 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 확인할 수 있도록 하는 클라우딩정보전달서버부;를 포함하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  2. 제1항에 있어서,
    상기 진동영상촬영부는,
    제한된 촬영 속도(speed)를 가진 상기 하이 스피드 카메라를 통해서
    상기 CNC 기계 혹은 상기 산업용로봇의 주기적(periodic)인 움직임 혹은 시작과 끝이 있는 움직임을 반복하는 영상을 촬영하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지 시스템.
  3. 제1항에 있어서,
    상기 신호추출부는,
    반복적인 혹은 주기적인 상기 CNC 기계 혹은 상기 산업용로봇의 움직임을 찍은 상기 영상 프레임에서,
    시간 도메인(Time domain)을 기준으로 상기 시간 연속적인 신호들(Time series signals) 및 비동기적인 신호들(asynchronous signals)을 추출해내는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  4. 제1항에 있어서,
    상기 샘플링부는,
    상기 시간 연속적인 신호들(Time series signals)의 샘플링 주파수를 증가시켜, 해상도(resolution)를 높이는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  5. 제1항에 있어서,
    상기 주기신호샘플링부는,
    상기 시간 연속적인 신호들 중 어느 하나의 가장 긴 상기 시간 연속적인 신호를 추출하고,
    상기 가장 긴 시간 연속적인 신호를 구성하는 주기적 신호들(periodic signals)들을 추출하여,
    상기 시그널 프로세싱(signal processing)을 통해서 상기 주기적 신호들 각각의 파장이 시작되는 시작점(starting point) 및 주기(period)를 탐지(detection)하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  6. 제5항에 있어서,
    상기 주기신호샘플링부는,
    상기 주기적 신호들의 각각의 시작점을 기준으로 하여,
    가장 긴 상기 시간 연속적인 신호를 구성하는 각각의 상기 주기적 신호들(periodic signals)을,
    상기 주기적 신호들의 각각의 주기(period)만큼 잘라내는 광학적 제거 알고리즘(Optically Cutting Algorithm)을 포함하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  7. 제1항에 있어서,
    상기 주기신호샘플링부는,
    상기 광학적 제거 알고리즘을 통해 상기 주기적 신호들의 각각의 시작점과 주기(period)를 알아냄으로써,
    상기 주기적 신호들의 딜레이(d) 간격만큼 줄여 상기 주기적 신호들을 이어 붙여(overlapping) 재배열(alignment)하여 상기 신호들의 샘플링 속도(sampling rate)를 높이는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  8. 제1항에 있어서,
    상기 클라우딩정보전달서버부는,
    상기 주기신호샘플링부에서 재배열된 상기 주기적 신호의 데이터들과 상기 광학적 제거 알고리즘으로,
    클라우드 컴퓨팅(Cloud computing)의 스마트 AI를 학습시켜 클라우드 컴퓨팅 서버에 저장하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  9. 제8항에 있어서,
    상기 클라우딩정보전달서버부는,
    상기 클라우드 컴퓨팅 서버에 저장된 샘플링된 상기 영상 신호데이터를 이미지화하여 CNC 공작기계 혹은 산업용로봇의 관리자가 상기 CNC 공작기계 혹은 상기 산업용로봇 상태의 모니터링 결과를 확인할 수 있도록 하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템.
  10. 주기적 동작을 가지는 진동체의 감지시스템이 작동하는 방법에 있어서,
    하이 스피드 카메라가 CNC 기계 및 산업용로봇의 주기적이고 반복적인 움직임의 영상을 촬영하는 단계;와
    VBU(Vision based signal Upsampling) 기반의, 시간 차이를 두고 촬영된 상기 영상 프레임(frame) 당 픽셀(pixel)로부터 일련의 시간 연속적인 신호(time series signal)를 추출하는 단계; 와
    추출한 상기 시간 연속적인 신호(time series signal)를 업샘플링(Upsmapling)하여 높은 주파수에서 상기 신호들의 해상도를 높이는 단계; 와
    구성하는 주기적 신호들을 광학적 제거 알고리즘(Optically Cutting Algorithm)을 통해, 상기 가장 긴 어느 하나의 시간 연속적인 신호를 구성하는 상기 각 주기적 신호(periodic signal)들을 상기 주기적 신호들 각각의 파장의 시작점으로부터 상기 각각의 주기적 신호의 주기만큼 잘라내는 단계; 와
    상기 주기만큼 잘라진 주기적 신호들을 딜레이(D)간격 없이, 이어 붙여(overlapping) 재배열(realignment)함으로써 영상 프레임 속도를 증가시키는 단계; 및
    상기 재배열된 신호 데이터와 상기 광학적 제거 알고리즘을 클라우딩 컴퓨팅 서버에 저장하여, 상기 CNC 기계 및 산업용로봇 관리자가 상기 CNC 기계 및 산업용로봇의 상태를 어디에서든 실시간으로 확인 가능하도록 공유하는 단계를 포함하는 것을 특징으로 하는 주기적 동작을 가지는 진동체의 감지시스템이 작동하는 방법.
KR1020200051021A 2020-04-27 2020-04-27 주기적 동작을 가지는 진동체의 감지시스템 KR102363939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051021A KR102363939B1 (ko) 2020-04-27 2020-04-27 주기적 동작을 가지는 진동체의 감지시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051021A KR102363939B1 (ko) 2020-04-27 2020-04-27 주기적 동작을 가지는 진동체의 감지시스템

Publications (2)

Publication Number Publication Date
KR20210132520A KR20210132520A (ko) 2021-11-04
KR102363939B1 true KR102363939B1 (ko) 2022-02-17

Family

ID=78521806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051021A KR102363939B1 (ko) 2020-04-27 2020-04-27 주기적 동작을 가지는 진동체의 감지시스템

Country Status (1)

Country Link
KR (1) KR102363939B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112795A (ja) * 2010-11-25 2012-06-14 Ihi Corp 振動測定システム、振動測定装置および振動測定方法
JP2013040820A (ja) * 2011-08-12 2013-02-28 Ohbayashi Corp モード解析方法、モード解析システム、変位計測方法、および変位計測システム
JP2015175827A (ja) * 2014-03-18 2015-10-05 日本電気株式会社 振動計測装置
JP2018105857A (ja) * 2016-12-15 2018-07-05 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 低フレームレート（ｆｐｓ）カメラを用いて機械の振動を検出するためのシステムおよび方法
JP2019168387A (ja) * 2018-03-26 2019-10-03 株式会社Ｎｔｔドコモ 建築物判定システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331451B2 (en) 2007-07-18 2012-12-11 Samsung Electronics Co., Ltd. Method and apparatus for enhancing resolution of video image
KR101773279B1 (ko) 2013-04-26 2017-08-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 업샘플링 및 신호 향상

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112795A (ja) * 2010-11-25 2012-06-14 Ihi Corp 振動測定システム、振動測定装置および振動測定方法
JP2013040820A (ja) * 2011-08-12 2013-02-28 Ohbayashi Corp モード解析方法、モード解析システム、変位計測方法、および変位計測システム
JP2015175827A (ja) * 2014-03-18 2015-10-05 日本電気株式会社 振動計測装置
JP2018105857A (ja) * 2016-12-15 2018-07-05 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 低フレームレート（ｆｐｓ）カメラを用いて機械の振動を検出するためのシステムおよび方法
JP2019168387A (ja) * 2018-03-26 2019-10-03 株式会社Ｎｔｔドコモ 建築物判定システム

Also Published As

Publication number Publication date
KR20210132520A (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
US10255504B2 (en) Object position tracking using motion estimation
KR101524548B1 (ko) 영상 정합 장치 및 방법
US20070222858A1 (en) Monitoring system, monitoring method and program therefor
KR20080049061A (ko) 물체 또는 사람의 운동을 추적하기 위한 방법 및 디바이스
US10713797B2 (en) Image processing including superimposed first and second mask images
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
KR20090062881A (ko) 이동 로봇 및 그 이동 객체 검출 방법
KR102363939B1 (ko) 주기적 동작을 가지는 진동체의 감지시스템
WO2022132826A1 (en) Systems and methods for synthetic augmentation of cameras using neural networks
CN203894772U (zh) 一种海量人脸发现与识别系统
US11410398B2 (en) Augmenting live images of a scene for occlusion
US20220279123A1 (en) Non-contact vibration detection system and method
CN108334811B (zh) 一种人脸图像处理方法及装置
US10282633B2 (en) Cross-asset media analysis and processing
CN111177449B (zh) 基于图片的多维信息整合方法及相关设备
JP2008211534A (ja) 顔検知装置
Yabuki et al. Real-time video stabilization on an FPGA
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
KR20040029864A (ko) 카메라의 정지영상 캡처 방법
US20170256285A1 (en) Video processing method and video processing system
KR101938270B1 (ko) 이동 객체 모니터링을 위한 이미지 처리 장치
US11778168B2 (en) Reference frame detection using sensor metadata
KR101516428B1 (ko) 로봇의 사물 인식 시스템
US8965171B2 (en) Recording control apparatus, recording control method, storage medium storing recording control program
CN107592450B (zh) 一种媒体数据处理方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right