KR102651084B1 - 실시간 위상기반 모션확대기법을 이용한 미소진동 측정방법 - Google Patents

Abstract

본 발명은 실시간 위상기반 모션확대기법을 이용한 미소진동 측정방법으로서, 상기 위상기반 모션확대기법은, 카메라로 촬영된 영상의 RGB 색좌표계를 YIQ 색좌표계로 변환하는 1단계; 특정지점에서 시간 에 따라 생기는 이미지 내의 미소 변위를 라고 할 때, 검출하고자 하는 미소 변위와 평행한 방향의 기준 각도 에 대한 방향성 필터링(Steerable Filtering)을 통해 1차원 이미지 값으로 치환하여 계산하기 위해 복소 방향성 피라미드를 형성하는 2단계; 시간의 흐름에 따라 변화하는 이미지 시퀀스에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소 변위 가 발생할 경우, 이미지 시퀀스에 확대계수 를 곱하여 미소 변위가 확대된 이미지를 얻는 3단계; 및 관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 특정지점에서의 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치는 4단계;를 포함한다.

Description

실시간 위상기반 모션확대기법을 이용한 미소진동 측정방법{METHOD FOR MEASURING MICROSEISMIC MOTION USING ON-LINE PHASE-BASED MOTION MAGNIFICATION}

본 발명은 실시간 처리가 가능한 위상기반 모션처리 확대기법을 이용한 것으로 위상각 기반 모션확대 기법과 실시간 시간축 필터링을 통해서 실시간으로 영상을 확인하면서 매개변수를 조정하는 등의 수단을 구비한 미소진동 측정방법 내지 미소진동 측정 플랫폼 기술에 관한 것이다.

기존의 진동측정 시스템으로 가속도계, 도플러 레이저 진동계 등을 활용하는 기술이 있었으며, 최근에는 소음이나 미소한 진동이 발생된 구조물을 영상으로 촬영 후 이로부터 해당 주파수 성분의 미소 변위를 시각적으로 볼 수 있게 증폭시킨 뒤 객체추적 등의 방식을 활용해 변위데이터를 추출하는 기술도 활용되고 있다.

그러나, 이러한 종래기술에 따른 알고리즘을 활용하기 위해서 미소변위 증폭에 적용된 이미지처리 외의 응용분야에 적합한 후처리와 데이터 추출이 필요하나, 이에 대한 상용 소프트웨어가 부족한 실정이며 일부 상용화된 시스템은 전용 하드웨어 및 소프트웨어의 사용이 강제되는 등 많은 제한 사항이 있어서 사용에 불편함에 있었다.

종래기술로는 공개된 자료는 Phase-Based Video Motion Processing(공개일 2015. 02. Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman)이 있으며, 내용을 보면 위상기반 옵티컬 플로우 이론을 바탕으로 동영상에서 미소하게 움직이는 변위를 확대하고 관측할 주파수 대역, 변위를 확대하는 내용이 개시되어 있다. 그러나, 이러한 문헌의 알고리즘은 결과물이 완료되기 전까지는 적합한 파라미터를 지정해 주었는지를 확인할 수 없는 불편함이 있었다.

본 발명은, 위와 같은 문제를 해결하기 위해서, 실시간으로 파라미터를 변경하고 그에 따른 양상이 어떻게 나타나는지를 실시간으로 확인할 수 있는 기술을 제공하게 된다. 이를 통해, 현장에서 필요한 기능을 추가하여 사용자가 사용하기에 편리한 플랫폼을 구성하는 것이며, 구체적으로는 위상기반 모션확대기법을 이용하여 미소진동을 관측할 수 있는 기술을 제공하는 것을 목적으로 한다.

본 발명은 실시간 위상기반 모션확대기법을 이용한 미소진동 측정방법으로서, 상기 위상기반 모션확대기법은,

카메라로 촬영된 영상의 RGB 색좌표계를 YIQ 색좌표계로 변환하는 1단계; 특정지점에서 시간 에 따라 생기는 이미지 내의 미소 변위를 라고 할 때, 검출하고자 하는 미소 변위와 평행한 방향의 기준 각도 에 대한 방향성 필터링(Steerable Filtering)을 통해 1차원 이미지 값으로 치환하여 계산하기 위해 복소 방향성 피라미드를 형성하는 2단계; 시간의 흐름에 따라 변화하는 이미지 시퀀스에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소 변위 가 발생할 경우, 이미지 시퀀스에 확대계수 를 곱하여 미소 변위가 확대된 이미지를 얻는 3단계; 및 관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 특정지점에서의 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치는 4단계;를 포함하는 것을 특징으로 한다.

상기 1단계에서, YIQ 색좌표계에서 Y채널은 영상의 명암의 세기(Intensity)를 표현하는 것으로 컬러 영상을 단색 회색조(Gray Scale) 영상으로 변환한 것이며, 색상에 대한 정보는 I채널과 Q채널에 나누어서 저장되고, YIQ 색좌표계의 좌료로 변환 후 Y채널에 할당된 단색 회색조는 너비 , 높이 인 프레임이 총 개만큼 존재하는 3차원 텐서로 (식 1)과 같이 표현된다.

(식 1) :

여기서, x와 y를 각각 t 번째 프레임에서 가로축 좌표값과 세로축 좌표값이라고 하면, 번째 프레임 상 가로 번째, 세로 번째에 해당되는 픽셀의 값은 아래 (식 2)과 같이 표현된다.

(식 2) :

상기 2단계에서, 상기 복소 방향성 피라미드 는 이미지의 주파수 영역(frequency domain) 에서 정의되며, 이미지의 주파수 영역은 이미지의 공간 영역(spatial domain) 값을 2차원 푸리에변환을 거쳐서 얻게 되는 것으로, 주파수 영역에서 중앙일수록 저주파, 외곽일수록 고주파성분을 나타내며, 와 의 영역 비율에 따라 방향성을 나타내고, 하나의 특정한 주파수 범위 와 방향 의 지역적(local) 복소 방향성 피라미드는 로 표현될 수 있으며, 이를 통해 얻는 지역적 방향성분 이미지는 다음 (식 3)과 같이 나타낸다.

(식 3) :

상기 3단계에서, 지역적으로 분해된 이미지 성분은 방향성 필터링 과정에서 복소수로 확장되며, 방향성 필터를 거침에 따라 나타난 복소 위상각 의 변화량은 해당하는 지역적 이미지 성분의 모션 변화와 일치하게 된다.

상기 이미지 시퀀스 에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소 변위 가 발생할 경우 다음 (식 4)와 같이 기술될 수 있다.

(식 4) :

상기 미소 변위 는 로 표현되고, 여기에 확대계수 를 곱하여 기존의 이미지에 복소 지수항을 취하여 곱해 주면 미소변위 가 확대된 지역적 이미지를 얻고 이를 식으로 표현하면 아래 (식 5)로 표현된다.

(식 5) :

상기 4단계는, 상기 특정지점의 위상각 차이값 는 미소한 변위 성분을 표현하지만, 관측하고자 하는 주파수 대역외의 모션 정보들도 섞여있는 점을 고려하여, 원치 않는 모션의 확대를 제외하고 관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치고, 상기 위상각 차이값 은 시간에 따라 다음 (식 6)과 같이 표현된다.

(식 6) :

상기 크기의 3차원 텐서를 하나의 픽셀 위치를 고정한 뒤 시간축 를 기준으로 나열하면, 길이가 인 유한한 1차원 데이터의 개 집합과 같이 되고, 가로 번째, 세로 번째 위치에 해당되는 픽셀값을 시간 축에 따라 나열한 것은 다음 (식 7)과 같이 표시된다.

(식 7) :

상기 을 필터 차수(filter order) 의 값을 갖고 설계된 대역 필터의 계수를 와 합성곱을 통하여 필터링된 결과값을 구하고, 임의의 시점 에서 대역필터 를 통해 필터링된 위상각 차이값은 아래 (식 8)과 같이 표시된다.

(식 8) :

본 발명은 상기 구성에 의해서 기존의 알고리즘을 일정 부분 활용하면서도 현장에서 필요한 기능을 추가하여 사용자가 사용하기에 편리한 미소진동 측정 기법을 제공하는 효과가 발휘된다.

도 1은 영상확대처리로 데이터를 측정하는 일반적인 모습의 개념도이며,
도 2는 본 발명에 따른 미소진동 측정방법에서의 위상기반 모션확대 알고리즘의 개략적인 흐름도이다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 또한, 사용된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 첨부된 도 1과 도 2를 참고하여 본 발명에 대해 상세히 설명한다.

먼저 본 발명에 따른 위상기반 모션확대기법(Phase-Based Motion Magnification, 이하 PBM기법이라고도 함)의 흐름은 비디오 영상에 대해 Complex Steerable Pyarmid 기법, 그리고 Temporal Filtering을 사용하여 진행된다. 전체적인 흐름 과정을 설명하면 다음과 같다.

(1) 비디오의 3차원 텐서 관점 기술

일반적으로 영상의 표준 색상 표현 좌표계는 RGB 좌표계이다. 본 발명에 따른 위상기반 모션확대기법의 알고리즘 시작에 앞서 카메라로 촬영한 영상에서의 RGB 색좌표계로 표현된 기존 영상을 YIQ 색좌표계로 변환해주어야 한다. YIQ 색좌표계에서 Y채널은 영상의 명암의 세기(Intensity)를 표현하며, 이는 컬러 영상을 단색 회색조(Gray Scale) 영상으로 변환한 것과 동일하다. 색상에 대한 정보는 I채널과 Q채널에 나누어서 저장되며, Y채널의 정보에 대해 알고리즘이 진행된 후 다시 합침으로써 모션확대가 적용된 컬러 영상을 얻을 수 있다.

YIQ좌표로 변환 후 Y채널에 할당된 Gray Scale 비디오는 너비 , 높이 인 프레임이 총 개만큼 존재하는 3차원 텐서로 다음과 같이 표현할 수 있다.

가령, 번째 프레임 상 가로 번째, 세로 번째에 해당되는 픽셀의 값은 다음과 같이 표현할 수 있다.

(2) 복소 방향성 피라미드 (Complex Steerable Pyramid)

특정지점 근처에서 시간 에 따라 생기는 이미지 내의 미소 변위를 라고 할 경우, 이는, 두 방향 외에도 각도 방향을 따라 움직일 수도 있다. 따라서 검출하고자 하는 미소변위와 평행한 방향의 기준 각도 에 대한 방향성 필터링(Steerable Filtering)을 통해 1차원 이미지 값으로 치환하여 계산하는 것이 용이하다. 이를 위해 복소 방향성 피라미드를 형성하여 이미지 내 지역적인 스케일과 방향을sub-band로 분해할 수 있다.

복소 방향성 피라미드 는 이미지의 주파수 영역(frequency domain) 에서 정의된다. 이미지의 주파수 영역은 이미지의 공간 영역(spatial domain) 값을 2차원 푸리에변환을 거쳐서 얻게 된다. 주파수 영역에서 중앙일수록 저주파, 외곽일수록 고주파성분을 나타내며, 와 의 영역 비율에 따라 방향성을 나타낸다. 하나의 특정한 주파수 범위 와 방향 의 지역적(local) 복소 방향성 피라미드는 로 표현될 수 있으며, 이를 통해 얻는 지역적 방향성분 이미지는 다음과 같이 기술할 수 있다.

이와 같이 분해된 각 지역적 이미지 상에 대한 예시는 아래와 같이 나타난다.

(3) 위상기반 모션확대 기법

지역적으로 분해된 이미지 성분은 방향성 필터링 과정에서 복소수로 확장된다. 이때, 방향성 필터를 거침에 따라 나타난 복소 위상각 의 변화량은 해당 지역적 이미지 성분의 모션 변화와 일치한다. 따라서 시간이 흐름에 따라 변화하는 이미지 시퀀스 에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소한 변위 가 발생할 경우 다음과 같이 기술할 수 있다.

이므로, 여기에 확대계수 를 곱하여 기존의 이미지에 복소 지수항을 취하여 곱해주면 미소변위 가 확대된 지역적 이미지를 얻는다. 식으로 기술하면 다음과 같다.

임의의 지역적 이미지에서 위와 같은 과정을 통해 증폭된 모션을 적용한 예시는 아래와 같다.

(4) 위상각에 대한 실시간 시간축 필터링

위상각 차이값 는 미소한 변위 성분을 표현하지만, 관측하고자 하는 주파수 대역외의 모션 정보들도 섞여있다. 따라서 그대로 증폭시킬 경우, 노이즈 및 원치 않는 모션까지 확대되므로, 관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치게 된다. 1개의 sub-band에서 위상각 차 가 시간에 따라 나열된 것을 다음과 같이 기술할 수 있다.

위의 크기의 3차원 텐서를 하나의 픽셀 위치를 고정한 뒤 시간축 를 기준으로 나열하여 볼 경우, 이는 길이가 인 유한한 1차원 데이터의 개 집합과도 같다. 이러한 관점에서 가로 번째, 세로 번째 위치에 해당되는 픽셀값을 시간 축에 따라 나열한 것은 다음과 같이 표시할 수 있다.

한편, 요구되는 주파수 범주의 미소 변위만을 증폭시키기 위하여 위상각차에 대해 Bandpass Filtering을 거치게 된다. 을 필터 차수(filter order) 의 값을 갖고 설계된 대역 필터의 계수를 와 합성곱을 통하여 필터링된 결과값을 구할 수 있다. 임의의 시점 에서 대역필터 를 통해 필터링된 위상각 차이값은 다음과 같다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

1. 실시간 위상기반 모션확대기법을 이용한 미소진동 측정방법으로서,
   상기 위상기반 모션확대기법은,
   카메라로 촬영된 영상의 RGB 색좌표계를 YIQ 색좌표계로 변환하는 1단계;
   특정지점에서 시간 에 따라 생기는 이미지 내의 미소 변위를 라고 할 때, 검출하고자 하는 미소 변위와 평행한 방향의 기준 각도 에 대한 방향성 필터링(Steerable Filtering)을 통해 1차원 이미지 값으로 치환하여 계산하기 위해 복소 방향성 피라미드를 형성하는 2단계;
   시간의 흐름에 따라 변화하는 이미지 시퀀스에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소 변위 가 발생할 경우, 이미지 시퀀스에 확대계수 를 곱하여 미소 변위가 확대된 이미지를 얻는 3단계;
   관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 특정지점에서의 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치는 4단계;를 포함하고,
   상기 1단계에서,
   YIQ 색좌표계에서 Y채널은 영상의 명암의 세기(Intensity)를 표현하는 것으로 컬러 영상을 단색 회색조(Gray Scale) 영상으로 변환한 것이며, 색상에 대한 정보는 I채널과 Q채널에 나누어서 저장되고,
   YIQ 색좌표계의 좌료로 변환 후 Y채널에 할당된 단색 회색조는 너비 , 높이 인 프레임이 총 개만큼 존재하는 3차원 텐서로 (식 1)과 같이 표현되는 것을 특징으로 하는 미소진동 측정방법.
   (식 1) :
   (여기서, x와 y를 각각 t 번째 프레임에서 가로축 좌표값과 세로축 좌표값이라고 하면, 번째 프레임 상 가로 번째, 세로 번째에 해당되는 픽셀의 값은 아래 (식 2)과 같이 표현됨)
   (식 2) :
2. 삭제
3. 제1항에 있어서, 상기 2단계에서,
   상기 복소 방향성 피라미드 는 이미지의 주파수 영역(frequency domain) 에서 정의되며, 이미지의 주파수 영역은 이미지의 공간 영역(spatial domain) 값을 2차원 푸리에변환을 거쳐서 얻게 되는 것으로,
   주파수 영역에서 중앙일수록 저주파, 외곽일수록 고주파성분을 나타내며, 와 의 영역 비율에 따라 방향성을 나타내는 것을 특징으로 하는 미소진동 측정방법.
4. 제3항에 있어서,
   하나의 특정한 주파수 범위 와 방향 의 지역적(local) 복소 방향성 피라미드는 로 표현될 수 있으며, 이를 통해 얻는 지역적 방향성분 이미지는 다음 (식 3)과 같이 나타내는 것을 특징으로 하는 미소진동 측정방법.
   (식 3) :
5. 제1항에 있어서, 상기 3단계에서,
   지역적으로 분해된 이미지 성분은 방향성 필터링 과정에서 복소수로 확장되며, 방향성 필터를 거침에 따라 나타난 복소 위상각 의 변화량은 해당하는 지역적 이미지 성분의 모션 변화와 일치하는 것을 특징으로 하는 미소진동 측정방법.
6. 제5항에 있어서,
   상기 이미지 시퀀스 에서, 임의의 기준 시점 로부터 만큼의 시간이 흐른 시점 에서 미소 변위 가 발생할 경우 다음 (식 4)와 같이 기술되는 것을 특징으로 하는 미소진동 측정방법.
   (식 4) :
7. 제6항에 있어서,
   상기 미소 변위 는 로 표현되고, 여기에 확대계수 를 곱하여 기존의 이미지에 복소 지수항을 취하여 곱해 주면 미소변위 가 확대된 지역적 이미지를 얻고 이를 식으로 표현하면 아래 (식 5)로 표현되는 것을 특징으로 하는 미소진동 측정방법.
   (식 5) :
   
8. 제1항에 있어서, 상기 4단계는,
   상기 특정지점의 위상각 차이값 는 미소한 변위 성분을 표현하지만, 관측하고자 하는 주파수 대역외의 모션 정보들도 섞여있는 점을 고려하여, 원치 않는 모션의 확대를 제외하고 관측하고자 하는 주파수 범주의 미소 변위만을 증폭시키기 위하여 위상각 차이값에 대해 시간축 대역 필터링(Temporal Bandpass Filtering)을 거치고,
   상기 위상각 차이값 은 시간에 따라 다음 (식 6)과 같이 표현하는 것을 특징으로 하는 미소진동 측정방법.
   (식 6) :
9. 제8항에 있어서,
   상기 3차원 텐서를 하나의 픽셀 위치를 고정한 뒤 시간축 를 기준으로 나열하면, 길이가 인 유한한 1차원 데이터의 개 집합과 같이 되고,
   가로 번째, 세로 번째 위치에 해당되는 픽셀값을 시간 축에 따라 나열한 것은 다음 (식 7)과 같이 표시되는 것을 특징으로 하는 미소진동 측정방법.
   (식 7) :
10. 제9항에 있어서,
    상기 을 필터 차수(filter order) 의 값을 갖고 설계된 대역 필터의 계수를 와 합성곱을 통하여 필터링된 결과값을 구하고,
    임의의 시점 에서 대역필터 를 통해 필터링된 위상각 차이값은 아래 (식 8)과 같이 표시되는 것을 특징으로 하는 미소진동 측정방법.
    (식 8) :