KR102649465B1 - 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 - Google Patents
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 Download PDFInfo
- Publication number
- KR102649465B1 KR102649465B1 KR1020230163271A KR20230163271A KR102649465B1 KR 102649465 B1 KR102649465 B1 KR 102649465B1 KR 1020230163271 A KR1020230163271 A KR 1020230163271A KR 20230163271 A KR20230163271 A KR 20230163271A KR 102649465 B1 KR102649465 B1 KR 102649465B1
- Authority
- KR
- South Korea
- Prior art keywords
- displacement
- pixel value
- value distribution
- dimensional pixel
- determining
- Prior art date
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 146
- 239000003550 marker Substances 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000010191 image analysis Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
- G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법이 제공된다. 방법은, 복수의 프레임에 걸쳐 제 1 마커부 - 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 획득하는 단계; 상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하는 단계; 및 상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정하는 단계; 를 포함한다.
Description
본 발명은 객체 변위 결정에 관한 것으로서, 보다 구체적으로는 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하고 이상 변위 발생을 감지하여 알려주는 시스템과 방법 및 이에 사용될 수 있는 마커 모듈에 관한 것이다.
객체의 구조적 안전성에 대한 예측 또는 평가와 같이, 다양한 필요에 의해 타겟 객체의 변위를 측정하기 위한 방법이 요구된다. 종래에는 타겟 객체의 변위를 측정하기 위해 객체에 직접 부착되는 다양한 물리적 센서를 이용하는 방법이 주로 사용되었으나, 이와 같은 부착 방식의 센서의 설치를 위한 공수가 지나치게 많이 발생하고, 센서의 변위 측정 범위가 제한되며, 또한 센서 설비의 구축을 위한 비용도 높은 수준 발생하는 단점이 있었다.
따라서, 객체에 부착되는 센서를 대신하여, 원하는 시점에서 객체에 대한 촬영 이미지를 획득하여 기준 시점에서의 객체에 대한 촬영 이미지와의 비교를 통해 객체의 변위를 결정하는 방법이 제안되었다. 그러나, 이와 같은 이미지 분석 기반의 객체 변위 측정에 있어서도, 보다 높은 정밀도를 확보하기 위해서는 더욱 높은 해상도를 가지는 촬상 장비를 구비해야 하므로 오히려 예산 측면에서 불리할 뿐만 아니라, 아무리 높은 해상도의 촬상 장비에 의한 이미지도 객체의 움직임이 픽셀 값 이하인 경우에는 이를 감지할 수 없는 한계를 가졌다.
이미지 분석 기반의 객체 변위의 정밀도를 제고하기 위한 복수의 이미지 프로세싱 알고리즘이나, 주변 정보를 더 활용하는 방법 역시 제안되었지만, 예를 들어 DIC (Digital Image Correlation) 기법과 같은 이미지 처리 기법은 프로세서의 연산 부하에 대한 문제를 가져, 분석 장비의 성능 요구 수준을 과다하게 상향시키고 변위 측정에 소정의 처리 시간을 요구하여 실시간 분석의 구현을 어렵게 하는 문제가 있었다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 객체와 이격된 강건 지물에 위치하는 영상 촬영부로부터 중앙 스트립 및 중앙 스트립 양 측면에 배치되는 배경부를 구비한 마커에 대한 촬영 이미지를 확보하고 데이터 처리부에서 픽셀 값 분포에 대한 수치 해석을 적용하여 대표값을 도출하는 것에 의해 고해상도 이미지를 활용하지 않고서도 빠른 연산에 의해 높은 정밀도로 객체의 변위를 측정할 수 있는, 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하고 이상 변위 발생시 이를 감지하여 알려주는 방법을 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 객체와 이격된 강건 지물에 위치하는 영상 촬영부로부터 중앙 스트립 및 중앙 스트립 양 측면에 배치되는 배경부를 구비한 마커에 대한 촬영 이미지를 확보하고 데이터 처리부에서 픽셀 값 분포에 대한 수치 해석을 적용하여 대표값을 도출하는 것에 의해 고해상도 이미지를 활용하지 않고서도 빠른 연산에 의해 높은 정밀도로 객체의 변위를 측정하도록 할 수 있는, 마커 모듈을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법은, 객체와 이격된 강건 지물에 위치하는 영상 촬영부로부터 복수의 프레임에 걸쳐 제 1 마커부 - 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 획득하는 단계; 데이터 처리부에서 상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하는 단계; 및 상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정하는 단계; 이상 변위 발생시 이를 감지하여 알려주는 단계; 를 포함할 수 있다.
일 측면에 따르면, 객체와 이격된 강건 지물에 위치하는 영상 촬영부로부터 상기 촬영 이미지를 획득하는 단계는, 복수의 프레임에 걸쳐 제 2 마커부 - 상기 제 2 마커부는, 상기 제 2 방향으로 배치되는 제 2 중앙 스트립 및 상기 제 2 중앙 스트립의 양 측면에 배치되는 제 2 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 더 획득하고, 상기 픽셀 값 분포를 획득하는 단계는, 상기 복수의 프레임 중 기준 프레임에서, 상기 제 2 마커부 상에 제 1 방향으로 배치된 제 2 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 타겟 프레임에서, 상기 제 2 기준 라인을 따라 1 차원의 픽셀 값 분포를 더 획득하고, 상기 변위를 결정하는 단계는, 상기 기준 프레임의 제 2 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값과, 상기 타겟 프레임의 제 2 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 2 방향 변위를 더 결정하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 마커부 및 제 2 마커부는, 미리 결정된 거리 이상 상호 이격되어 상기 타겟 객체의 측정 지점에 부착될 수 있다.
일 측면에 따르면, 상기 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값은, 상기 1 차원 픽셀 값 분포의 최대점에 대응되는 지점일 수 있다.
일 측면에 따르면, 상기 변위를 결정하는 단계는, 상기 1 차원 픽셀 값 분포에 대한 FFT (Fast Fourier Transform) 을 수행하고, 상기 FFT 수행 결과로부터 복수의 유효 성분들을 추출하고, 상기 추출된 유효 성분들의 크기, 파수, 또는 위상 중 적어도 하나를 기반으로 상기 1 차원 픽셀 값 분포를 수식화하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 변위를 결정하는 단계는, 상기 1 차원 픽셀 값 분포에 대한 수식을 기반으로 수치 해석을 이용하여 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정할 수 있다.
일 측면에 따르면, 상기 변위를 결정하는 단계는, 상기 1 차원 픽셀 값 분포에 대한 수식을 이용하여, 임의의 두 지점의 중점을 기반으로 분할된 두 개의 서브 영역들 간의 면적 비교를 수행하고, 더 넓은 면적을 가지는 서브 영역의 양 단의 중점으로 최대점을 갱신하는 것에 의해 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정할 수 있다.
일 측면에 따르면, 상기 변위를 결정하는 단계는, 이분법 (Bisection method) 을 기반으로 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정할 수 있다.
일 측면에 따르면, 상기 제 1 중앙 스트립의 적어도 일부는, 빛을 반사하는 반사체로 구성되고, 상기 제 1 마커부의 모서리 중 적어도 하나에는, 점 반사체 또는 점 광원 중 적어도 하나가 배치될 수 있다.
일 측면에 따르면, 상기 타겟 프레임에서의 상기 제 1 마커부를 기반으로 결정된 타겟 객체의 제 1 방향 변위와, 상기 제 2 마커부를 기반으로 결정된 타겟 객체의 제 2 방향 변위 간의 차이를 이용하여, 상기 타겟 프레임에서의 상기 타겟 객체의 구조적 안전성에 대한 평가값을 산출하는 단계; 를 더 포함할 수 있다.
일 측면에 따르면, 상기 타겟 프레임에서의 상기 제 1 중앙 스트립의 제 2 방향 길이, 또는 상기 제 2 중앙 스트립의 제 1 방향 길이 중 적어도 하나를 기반으로, 상기 기준 프레임에 대한 타겟 프레임에서의 상기 타겟 객체의 거리 방향 변위, 상기 타겟 객체의 기울어진 방향, 또는 상기 타겟 객체의 기울어진 정도 중 적어도 하나를 산출하는 단계; 를 더 포함할 수 있다.
일 측면에 따르면, 상기 제 1 마커부에 대한 촬영 이미지는, 무인 비행체에 장착된 카메라를 기반으로 획득될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 타겟 객체의 변위를 측정하기 위해 타겟 객체에 부착되는 마커 모듈에 있어서, 상기 마커 모듈은 제 1 마커부를 포함하고, 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립; 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부; 를 구비하고, 상기 마커 모듈은, 복수의 프레임에 걸쳐 상기 제 1 마커부에 대한 촬영 이미지를 획득하고; 상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고; 그리고 상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정; 하기 위해 사용될 수 있다.
본 발명의 다른 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하기 위한 시스템은, 복수의 프레임에 걸쳐 제 1 마커부 - 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 획득하는 영상 촬영부; 및 상기 촬영 이미지를 기반으로 객체의 변위를 결정하도록 구성된 데이터 처리부;를 포함하고, 상기 데이터 처리부는, 상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고; 그리고 상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정; 하도록 구성될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하고 이상 변위 발생시 이를 감지하여 알려주는 방법 또는 마커 모듈에 따르면, 중앙 스트립 및 중앙 스트립 양 측면에 배치되는 배경부를 구비한 마커에 대한 촬영 이미지를 확보하고 픽셀 값 분포에 대한 수치 해석을 적용하여 대표값을 도출하는 것에 의해 고해상도 이미지를 활용하지 않고서도 빠른 연산에 의해 높은 정밀도로 객체의 변위를 측정할 수 있다.
즉, 간단한 수식을 활용함으로써 고해상도 이미지를 다루지 않기 때문에 빠른 연산이 가능하다. 따라서, 영상에서 모션 계측시 종래의 DIC (Digital Image Coreelation) 이나 업티컬 플로우 (Optical Flow), 페이즈 플로우 (Phase Flow) 등의 이미지 처리 방법을 사용하지 않고 데이터 형태에 대한 수학적 수식과 이분법 (Bisection Method) 을 활용함으로써 종래의 이미지 처리 방법에 따른 객체의 변위 측정에 비해 더 낮은 프로세싱 자원을 사용하면서도 높은 정확도로 객체의 변위를 측정할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 객체 중 일예인 교량의 변위를 계측하는 시스템을 보여주는 도면이다.
도 2 는 본 발명의 일 실시예에 따른 마커 모듈의 예시도이다.
도 3 은 도 2 의 마커 모듈에 따른 x 축 방향의 기준 위치 결정을 설명한다.
도 4 은 도 1 의 마커 모듈에 따른 y 축 방향의 기준 위치 결정을 설명한다.
도 5 는 촬영 이미지로부터 획득된 1 차원 픽셀 값 분포에 대한 수식화 절차를 설명한다.
도 6 은 수식을 통한 이분법 (Bisection Method) 기반의 최대점 위치 결정의 절차를 설명한다.
도 7 은 본 발명의 일 실시예에 따른 반사체 또는 광원을 구비하는 마커 모듈의 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 거리 방향 변위 또는 틸팅 (Tilting) 여부 검출에 대한 개념도이다.
도 9 는 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법의 흐름도이다.
도 10 은 본 발명의 일 측면에 따른 타겟 객체의 구조적 안전성 평가 절차의 예시도이다.
도 11 은 본 발명의 일 측면에 따른 거리 방향 변위와 틸팅 여부 검출 절차의 예시도이다.
도 12 는 본 발명의 일 실시예에 따른 방법들이 수행될 수 있는 컴퓨팅 시스템의 예시적인 구성을 나타내는 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 마커 모듈의 예시도이다.
도 3 은 도 2 의 마커 모듈에 따른 x 축 방향의 기준 위치 결정을 설명한다.
도 4 은 도 1 의 마커 모듈에 따른 y 축 방향의 기준 위치 결정을 설명한다.
도 5 는 촬영 이미지로부터 획득된 1 차원 픽셀 값 분포에 대한 수식화 절차를 설명한다.
도 6 은 수식을 통한 이분법 (Bisection Method) 기반의 최대점 위치 결정의 절차를 설명한다.
도 7 은 본 발명의 일 실시예에 따른 반사체 또는 광원을 구비하는 마커 모듈의 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 거리 방향 변위 또는 틸팅 (Tilting) 여부 검출에 대한 개념도이다.
도 9 는 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법의 흐름도이다.
도 10 은 본 발명의 일 측면에 따른 타겟 객체의 구조적 안전성 평가 절차의 예시도이다.
도 11 은 본 발명의 일 측면에 따른 거리 방향 변위와 틸팅 여부 검출 절차의 예시도이다.
도 12 는 본 발명의 일 실시예에 따른 방법들이 수행될 수 있는 컴퓨팅 시스템의 예시적인 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
앞서 살핀 바와 같이, 다양한 필요에 의해 타겟 객체의 변위를 측정하기 위한 방법이 요구된다. 예를 들어, 객체의 구조적 안전성에 대한 예측 또는 평가를 수행하기 위해서는 객체가 기준 위치에서 어느 방향으로, 또는 어느 정도로 변위가 발생하였는지 여부를 검출하는 것이 중요한 지표가 될 수 있다.
본 기재에서 설명하는 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법은, 예를 들어 객체의 구조적 안전성에 대한 평가를 수행하기 위해 사용될 수 있으나, 이에 한정되는 것은 아님에 유의한다. 즉, 객체 변위의 측정과 관련된 기술 분야의 통상의 지식을 가진 자라면, 본 기재의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법은 객체의 변위를 측정하기 위한 임의의 목적에 대한 활용으로서 채택될 수 있음을 이해할 수 있을 것이다.
종래에는 타겟 객체의 변위를 측정하기 위해 객체에 직접 부착되는 다양한 물리적 센서를 이용하는 방법이 주로 사용되었으나, 이와 같은 부착 방식의 센서의 설치를 위한 공수가 지나치게 많이 발생하고, 또한 센서 설비의 구축을 위한 비용도 높은 수준 발생하는 단점이 있었다.
따라서, 객체에 부착되는 센서를 대신하여, 원하는 시점에서 객체에 대한 촬영 이미지를 획득하여 기준 시점에서의 객체에 대한 촬영 이미지와의 비교를 통해 객체의 변위를 결정하는 방법이 제안되었다. 그러나, 이와 같은 이미지 분석 기반의 객체 변위 측정에 있어서도, 보다 높은 정밀도를 확보하기 위해서는 더욱 높은 해상도를 가지는 촬상 장비를 구비해야 하므로 오히려 예산 측면에서 불리할 뿐만 아니라, 아무리 높은 해상도의 촬상 장비에 의한 이미지도 객체의 움직임이 픽셀 값 이하인 경우에는 이를 감지할 수 없는 한계를 가졌다.
이미지 분석 기반의 객체 변위의 정밀도를 제고하기 위한 복수의 이미지 프로세싱 알고리즘이나, 주변 정보를 더 활용하는 방법 역시 제안되었지만, 예를 들어 DIC (Digital Image Correlation) 기법과 같은 이미지 처리 기법은 프로세서의 연산 부하에 대한 문제를 가져, 분석 장비의 성능 요구 수준을 과다하게 상향시키고 변위 측정에 소정의 처리 시간을 요구하여 실시간 분석의 구현을 어렵게 하는 문제가 있었다.
본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하기 위한 방법은, 이와 같은 문제점을 해결하기 위한 것으로서, 객체와 이격된 강건 지물에 위치하는 영상 촬영부로부터 중앙 스트립 및 중앙 스트립 양 측면에 배치되는 배경부를 구비한 마커에 대한 촬영 이미지를 확보하고 픽셀 값 분포에 대한 수치 해석을 적용하여 대표값을 도출하는 것에 의해 고해상도 이미지를 활용하지 않고서도 빠른 연산에 의해 높은 정밀도로 객체의 변위를 측정할 수 있다.
즉, 간단한 수식을 활용함으로써 고해상도 이미지를 다루지 않기 때문에 빠른 연산이 가능하다. 따라서, 영상에서 모션 계측시 종래의 DIC (Digital Image Coreelation) 이나 업티컬 플로우 (Optical Flow), 페이즈 플로우 (Phase Flow) 등의 이미지 처리 방법을 사용하지 않고 데이터 형태에 대한 수학적 수식과 이분법 (Bisection Method) 을 활용함으로써 종래의 이미지 처리 방법에 따른 객체의 변위 측정에 비해 더 낮은 프로세싱 자원을 사용하면서도 높은 정확도로 객체의 변위를 측정할 수 있다.
관련하여, 도 1 은 본 발명의 일 실시예에 따른 객체 중 일예인 교량의 변위를 결정하고 이상 변위 발생을 감지하여 알려주는 시스템을 보여주는 도면이다.
도 1 에 도시된 바와 같이, 본 발명의 일 측면에 따른 객체 변위를 결정하는 시스템 (10) 은, 영상 촬영부 (20), 마커 (25-1, 25-3, 25-5), 데이터 처리부 (30), 통신부 (40) 를 포함한다. 또한, 관리자에 의해 사용될 수 있는 관리자 단말 (50) 이 포함될 수 있다. 도 1 에는 예시로서 제 1 마커 (25-1), 제 2 마커 (25-3), 제 3 마커 (25-5) 와 같이 3개소에 마커가 설치되는 실시 형태가 예시로서 도시되었으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니며, 마커는 1개소 또는 2개소 이상에 설치될 수도 있다. 일 측면에 따르면, 변위 크기는 일반적으로 최대 변위가 예상되는 위치에서 계측될 수 있다. 따라서, 일 측면에 따르면, 마커는 일반적으로 최대 변위가 예상되는 위치에 설치될 수 있다.
영상 촬영부 (20) 는 마커 (25-1, 25-3, 25-5) 에 대한 이미지를 확보하도록 구성된다. 일 측면에 따르면, 영상 촬영부 (20) 는 카메라일 수 있으나 이에 한정되지 아니한다.
데이터 처리부 (30) 는 영상 촬영부 (20) 에서 획득한 객체 및/또는 마커 (25-1, 25-3, 25-5) 에 대한 이미지를 기반으로 객체 및/또는 마커 (25-1, 25-3, 25-5) 의 변위를 결정할 수 있다. 즉, 데이터 처리부 (30) 는 이미지를 기반으로 변위 계측값을 확보하고 저장 및 수치화할 수 있다.
통신부 (40) 는 이와 같은 변위 계측값에 대한 수치화된 정보를 유선 또는 무선 통신 기술을 이용하여 관리자 단말 (50) 로 송신할 수 있다.
따라서, 관리자는 관리자 단말 (50) 을 기반으로 정보를 확인할 수 있다. 일 측면에 따르면, 객체에 이상 변위가 발생하는 경우 이를 감지하여 관리자 단말 (50) 로 이상 상태 발생 메시지를 송신하는 것에 의해, 관리자가 보다 용이하게 객체에 대한 모니터링을 수행하도록 할 수 있다.
관련하여, 도 2 는 본 발명의 일 실시예에 따른 마커 모듈의 예시도이고, 도 9 는 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법의 흐름도이다. 이하, 도 2 및 도 9 를 참조하여 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법에 대해서 보다 구체적으로 설명한다.
도 9 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하기 위한 방법에 따르면, 먼저, 복수의 프레임에 걸쳐 제 1 마커부 (110) 에 대한 촬영 이미지를 획득 (단계 810) 할 수 있다. 여기서, 상기 제 1 마커부 (110) 는, 제 1 방향 (예를 들어, y 축 방향) 으로 배치되는 제 1 중앙 스트립 (111) 및 상기 제 1 중앙 스트립 (111) 의 양 측면에 배치되는 제 1 배경부 (113-1, 113-2) 를 구비하고, 타겟 객체에 부착되는 것일 수 있다.
일 측면에 따르면, 상기 촬영 이미지를 획득하는 단계 (단계 810) 는, 복수의 프레임에 걸쳐 제 2 마커부 (120) 에 대한 촬영 이미지를 더 획득할 수 있다. 여기서, 상기 제 2 마커부 (120) 는, 제 2 방향 (예를 들어, x 축 방향) 으로 배치되는 제 2 중앙 스트립 (121) 및 상기 제 2 중앙 스트립 (121) 의 양 측면에 배치되는 제 2 배경부 (123-1, 123-2) 를 구비하고, 타겟 객체에 부착되는 것일 수 있다.
일 측면에 따르면, 제 1 마커부 (110) 및/또는 제 2 마커부 (120) 에 대한 촬영 이미지는, 무인 비행체에 장착된 카메라를 기반으로 획득되는 것일 수 있으나, 이에 한정되지 아니한다.
관련하여, 도 1 에는 본 발명의 일 실시예에 따른 객체 중 일예인 교량의 변위를 결정하고 이상 변위 발생을 감지하여 알려주는 시스템이 도시된다. 도 1 은 예시적으로 교량의 형태로 도시되었으나, 본 발명의 기술적 사상이 이에 한정되지 아니하며, 변위 결정의 대상이 되는 객체는 임의의 객체들 중 어느 하나일 수 있다. 비 한정적이나 보다 구체적으로 일 측면에 따른 객체 변위 계측 시스템 (10) 에 대해서 설명한다. 영상 촬영부 (20) 는 영상 촬영 카메라와 카메라 지지대를 포함할 수 있다. 예를 들어, 카메라 지지대는 삼각대와 삼각대를 고정 지물에 강건하게 안착시켜 객체 변위를 측정하도록 구성될 수 있다. 일 측면에 따르면, 바람이나 통행물 등으로부터 간섭에 의한 측정 오류 및/또는 오차를 방지하기 위해 제진 장치 또는 중량추 중 적어도 하나를 포함할 수 있다. 카메라 지지대는 삼각대에 한정되지 아니한다. 일 측면에 따르면, 시스템 (10) 은 객체 변위 계측부 (25-1, 25-3, 25-5) 를 구비한다. 예를 들어, 객체 변위 계측부 (25-1, 25-3, 25-5) 는 도 2 에 예시된 마커를 포함할 수 있다. 마커 형태는 사각형에 한정되지 아니하며 삼각형, 원형, 타원형 등 기하학적 도형을 포함할 수 있다. 일 측면에 따르면 데이터 처리부 (30) 는 영상 촬영부 (20) 와 유선 또는 무선 통신망을 이용하여 연결되고, 객체 계측정보와 동작정보를 수신하여 빅 데이터로 저장한다. 또한 상기 빅 테이터는 객체들의 식별정보, 마커들의 식별정보, 시간에 따라 계측된 변위 정보 등이 서로 매칭되어 저장된 데이터를 의미할 수 있다. 또한 상기 데이터 처리부 (30) 는 시간의 흐름에 따른 객체 계측정보의 변화로부터 객체의 변위를 계산한다.
통신부 (40) 는 이와 같은 변위 계측값에 대한 수치화된 정보를 유선 또는 무선 통신 기술을 이용하여 관리자 단말 (50) 로 송신할 수 있다. 여기서, 유선 또는 무선 통신 기술을 특정 프로토콜을 가지는 통신 아키텍쳐에 한정되지 아니하며, 데이터의 송신 또는 수신을 가능하게 하는 임의의 정보 전달 수단 중 임의의 통신 방법 중 어느 하나가 채택될 수 있음은 당해 기술 분야의 통상의 지식을 가지는 자에게 자명할 것이다.
이와 같은 계측 정보 및/또는 변위 정보에 대한 송신을 통해, 관리자는 관리자 단말 (50) 을 기반으로 정보를 확인할 수 있다. 일 측면에 따르면, 객체에 이상 변위가 발생하는 경우 이를 감지하여 관리자 단말 (50) 로 이상 상태 발생 메시지를 송신하는 것에 의해, 관리자가 보다 용이하게 객체에 대한 모니터링을 수행하도록 할 수 있다. 관리자 디바이스는, 고정형 또는 휴대형 컴퓨팅 디바이스 중 임의의 유형의 컴퓨팅 디바이스를 포함할 수 있다. 즉, 예를 들어, 관리자 디바이스 (50) 는 스마트폰이나 태블릿 PC 와 같은 스마트 디바이스일 수 있으며, 서버나 퍼스널 컴퓨터와 같은 전통적인 컴퓨팅 디바이스일 수도 있다.
한편, 일 측면에 따르면, 시스템 (10) 은 전원 공급 장치 (60)를 더 포함할 수 있다. 예를 들어, 전원 공급 장치는 본 발명의 일 측면에 따라 야간에도 마커 (30) 를 트래킹하도록 하기 위한 광원에 전기를 공급하기 위해 사용될 수 있으나, 이에 한정되지 아니한다. 전원 공급 장치 (60) 는 예를 들어, 객체에 고정될 수 있다. 다른 측면에 따르면, 별도의 전원 공급 장치 (60)를 구비하는 대신, 계측의 대상이 되는 객체로부터 전원을 공급받기 위한 전원 공급 경로를 구비할 수도 있다.
관련하여, 도 2 에 일 예시적인 마커 모듈 (100) 이 도시된다. 일 측면에 따르면, 마커 모듈 (100) 은 제 1 마커부 (110) 및/또는 제 2 마커부 (120) 를 포함할 수 있다. 예를 들어, 제 1 마커부 (110) 는 마커 모듈 (100) 이 부착되는 타겟 객체의 제 2 방향 움직임을 감지하기 위해 사용될 수 있고, 제 2 마커부 (120) 는 마커 모듈 (100) 이 부착되는 타겟 객체의 제 1 방향 움직임을 감지하기 위해 사용될 수 있으나, 이에 한정되지 아니한다. 이하, 제 1 방향은 예를 들어 도면에서 y 축 방향을 나타내고, 제 2 방향은 예를 들어 도면에서 x 축 방향을 나타낼 수 있으나 이에 한정되지 아니하며, 제 1 또는 제 2 방향은 서로 상이한 임의의 방향을 나타내는 것일 수 있음에 유의한다.
도 2 에 도시된 바와 같이, 제 1 마커부 (110) 는, 제 1 방향 (예를 들어, y 축 방향) 으로 배치되는 제 1 중앙 스트립 (111) 및 상기 제 1 중앙 스트립 (111) 의 양 측면에 배치되는 제 1 배경부 (113-1, 113-2) 를 구비하고, 제 2 마커부 (120) 는, 제 1 방향과 상이한 제 2 방향 (예를 들어, x 축 방향) 으로 배치되는 제 2 중앙 스트립 (121) 및 상기 제 2 중앙 스트립 (121) 의 양 측면에 배치되는 제 2 배경부 (123-1, 123-2) 를 구비하는 것에 의해, 제 1 마커부 (110) 와 제 2 마커부 (120) 는 마커 모듈 (100) 이 부착되는 타겟 객체의 서로 상이한 방향에 대한 움직임을 감지하도록 활용될 수 있다. 일 측면에 따르면, 제 1 마커부 (110) 및 제 2 마커부 (120) 는, 미리 결정된 거리 이상 상호 이격되어 타겟 객체의 측정 지점에 부착될 수 있으나, 이에 한정되지 아니한다.
도 2 에 예시적으로 도시된 바와 같이, 제 1 중앙 스트립 (111) 및/또는 제 2 중앙 스트립 (121) 은 백색이고, 제 1 배경부 (113-1, 113-2) 및/또는 제 2 배경부 (123-1, 123-2) 는 흑색일 수 있으나, 이에 한정되지 아니한다. 중앙 스트립과 배경부는 서로 구분되는 시각적 특징을 가지도록 구성될 수 있으며, 예를 들어 채도 또는 명도 중 적어도 하나 이상의 측면에서 구분되는 것일 수 있다. 후술하는 마커부에 대한 기준 위치 결정에 있어서, 일 측면에 따르면, 중앙 스트립과 배경부의 대비되는 속성을 고려하여, 중앙 스트립의 속성에 가장 가까운 속성을 가지는 점을 기준 위치로 결정할 수 있다.
도 3 은 도 2 의 마커 모듈에 따른 x 축 방향의 기준 위치 결정을 설명한다. 도 2 의 예시적인 마커 모듈 (100) 에서, x 축 방향의 기준 위치는 제 1 마커부 (110) 와 관련하여 결정될 수 있다. 도 2 의 예시적인 제 1 마커부 (110) 는 y 축 방향으로 배치된 제 1 중앙 스트립 (111) 을 구비하여, 양 측면에 배경부 (113-1, 113-2) 를 구비한다. 여기서, x 축 방향을 따라 배치된 제 1 기준 라인 (115) 을 따라, 1 차원의 픽셀 값 분포를 획득할 수 있다. 즉, 제 1 마커부 (110) 에 대한 촬영 이미지에서 제 1 기준 라인 (115) 에 해당하는 부분들의 데이터를 획득하여, 획득된 데이터를 1 차원 형태로 표현할 수 있다. 도 3 에 도시된 바와 같이, 제 1 기준 라인 (115) 에 따른 일차원 픽셀 값 분포는 예를 들어 2 차 함수 형태의 그래프를 가질 수 있으나, 이에 한정되지 아니한다. 제 1 기준 라인 (115) 을 따라가면, 도 2 의 예시적인 제 1 마커부에서 검정색의 배경부 (113-1) 에서 시작하여 흰색의 중앙 스트립 (111) 을 지나 다시 검정색의 배경부 (113-2) 를 지나가게 되므로, 도 3 에 도시된 바와 같이 픽셀 값 (예를 들어, 강도 (Intensity) 로 지칭될 수 있음) 은 점점 상승하였다가 다시 하강하는 1 차원의 분포를 가질 수 있다. 여기서, 가장 높은 픽셀 값을 가지는 최대점 (117) 을 결정하는 것에 의해, 최대점 (117) 이 제 1 마커부 (110) 의 x 축 방향 기준 위치로 결정되도록 할 수 있다.
도 4 는 도 2 의 마커 모듈에 따른 y 축 방향의 기준 위치 결정을 설명한다. 도 2 의 예시적인 마커 모듈 (100) 에서, y 축 방향의 기준 위치는 제 2 마커부 (120) 와 관련하여 결정될 수 있다. 도 2 의 예시적인 제 2 마커부 (120) 는 x 축 방향으로 배치된 제 2 중앙 스트립 (121) 을 구비하여, 양 측면에 배경부 (123-1, 123-2) 를 구비한다. 여기서, y 축 방향을 따라 배치된 제 2 기준 라인 (125) 을 따라, 1 차원의 픽셀 값 분포를 획득할 수 있다. 즉, 제 2 마커부 (120) 에 대한 촬영 이미지에서 제 2 기준 라인 (125) 에 해당하는 부분들의 데이터를 획득하여, 획득된 데이터를 1 차원 형태로 표현할 수 있다. 도 4 에 도시된 바와 같이, 제 2 기준 라인 (125) 에 따른 일차원 픽셀 값 분포는 예를 들어 2 차 함수 형태의 그래프를 가질 수 있으나, 이에 한정되지 아니한다. 제 2 기준 라인 (125) 을 따라가면, 도 2 의 예시적인 제 2 마커부에서 검정색의 배경부 (123-1) 에서 시작하여 흰색의 중앙 스트립 (121) 을 지나 다시 검정색의 배경부 (123-2) 를 지나가게 되므로, 도 4 에 도시된 바와 같이 픽셀 값 (예를 들어, 강도 (Intensity) 로 지칭될 수 있음) 은 점점 상승하였다가 다시 하강하는 1 차원의 분포를 가질 수 있다. 여기서, 가장 높은 픽셀 값을 가지는 최대점 (127) 을 결정하는 것에 의해, 최대점 (127) 이 제 2 마커부 (120) 의 y 축 방향 기준 위치로 결정되도록 할 수 있다.
일 측면에 따르면, 마커 모듈 (100) 에 대한 촬영 이미지가 획득되는 복수의 프레임은 기준 프레임과 타겟 프레임을 포함할 수 있다. 기준 프레임은 예를 들어 영상의 첫 번째 프레임일 수 있으나 이에 한정되지 아니한다. 예를 들어, 기준 프레임은 마커 모듈 (100) 이 부착되는 타겟 객체가 정상 상태일 때의 프레임을 의미할 수 있다. 이와 같은 기준 프레임에서 마커 모듈 (100) 의 기준 라인에 따른 기준 위치를 결정하고, 이와 같은 기준 위치에 대해 이후의 매 프레임에서 획득된 최대점의 상대적 위치를 기록하는 것에 의해 모션 신호를 획득할 수 있다. 즉, 기준 프레임에서의 기준 위치와, 타겟 프레임에서의 기준 위치 사이의 변위가, 기준 프레임에 대한 타겟 프레임에서의 객체의 변위로 결정될 수 있다.
이와 같은 기준 라인에 따른 1 차원 픽셀 값 분포 및 변위 결정에 대해 도 9 를 참조하여 다시 설명한다.
도 9 를 참조하면, 상기 복수의 프레임 중 기준 프레임에서, 제 1 마커부 (110) 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인 (115) 을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인 (115) 을 따라 1 차원의 픽셀 값 분포를 획득 (단계 820) 할 수 있다.
일 측면에 따르면, 상기 픽셀 값 분포를 획득하는 단계 (단계 820) 는, 상기 복수의 프레임 중 기준 프레임에서, 상기 제 2 마커부 (120) 상에 제 1 방향으로 배치된 제 2 기준 라인 (125) 을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 타겟 프레임에서, 상기 제 2 기준 라인 (125) 을 따라 1 차원의 픽셀 값 분포를 더 획득할 수 있다.
다시 도 9 를 참조하면, 상기 기준 프레임의 제 1 기준 라인 (115) 에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 (117) 과, 상기 타겟 프레임의 제 1 기준 라인 (115) 에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 (117) 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정 (단계 830) 할 수 있다.
일 측면에 따르면, 상기 변위를 결정하는 단계 (단계 830) 는, 상기 기준 프레임의 제 2 기준 라인 (125) 에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값 (127) 과, 상기 타겟 프레임의 제 2 기준 라인 (125) 에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값 (127) 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 2 방향 변위를 더 결정할 수 있다.
즉, 기준 프레임에 대한 기준 위치와, 타겟 프레임에 대한 기준 위치 간의 비교를 통해 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 변위를 결정할 수 있다. 앞서 살핀 바와 같이, 일 측면에 따르면, 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값은, 1 차원 픽셀 값 분포의 최대점에 대응되는 지점일 수 있으나, 이에 한정되는 것은 아님에 유의한다.
도 5 는 촬영 이미지로부터 획득된 1 차원 픽셀 값 분포에 대한 수식화 절차를 설명한다. 도 5 에 도시된 바와 같이, 마커 모듈 (100) 의 제 1 마커부 (110) 및/또는 제 2 마커부 (120) 를 통해 확보되는 1 차원 데이터에서의 최대값은, 예를 들어 수학적 방법을 통해 획득될 수 있다.
일 예시로서, 도 9 의 변위를 결정하는 단계 (단계 830) 는, 기준 라인에 따른 1 차원 픽셀 값 분포에 대해 FFT (Fast Fourier Transform) 을 수행하고, FFT 수행 결과로부터 복수의 유효 성분들을 추출하고, 추출된 유효 성분들의 크기, 파수, 또는 위상 중 적어도 하나를 기반으로 1 차원 픽셀 값 분포를 수식화하는 단계를 포함할 수 있다.
도 5 를 참조하여 보다 구체적으로 설명한다. 도 5 에 도시된 바와 같이, 예를 들어 x 축 방향의 기준 라인을 따라 확보된 1 차원의 픽셀 값 분포가 예를 들어 포물선 형태를 가질 수 있다. 이에 대해 FFT 변환을 수행하면, 도 5 에서와 같이 파수 성분의 분석이 가능하다. 여기서, FFT 변환의 결과에 대해서는 의미 있는 성분만을 추출하는 것이 가능하다. 보다 구체적으로, FFT 의 결과에 대해, 특정한 기준 크기 (410) 를 넘는 유의미한 Intensity 의 파수 성분들을 추출할 수 있다. 추출된 성분을 통해, 1 차원 데이터의 형상을 표현하는 수학적 식을 도출하는 것이 가능하다. 즉, FFT 의 결과에서 각 파수 성분의 크기 (A), 파수 (f of wn), 위상 (φ) 정보를 얻을 수 있으며, 수식은 아래와 같이 표현될 수 있다.
y = A1 cos (f1x +φ1) + A2 cos (f2x +φ2) + … + An cos (fnx + φn)
이와 같은 과정에서 y = f(x) 의 수식을 획득할 수 있으며, 이를 이용하여 수치해석적 방법을 통해 최대점의 위치를 추적하는 것이 가능하다.
즉, 일 측면에 따르면, 상기 변위를 결정하는 단계 (단계 830) 는, 1 차원 픽셀 값 분포에 대한 수식을 기반으로 수치 해석을 이용하여 1 차원 픽셀 값 분포에 대한 최대점을 결정하도록 구성될 수 있다. 비한정적이나 보다 구체적으로는, 상기 변위를 결정하는 단계 (단계 830) 는, 이분법 (Bisection method) 을 기반으로 1 차원 픽셀 값 분포에 대한 최대점을 결정할 수 있으나, 이에 한정되지 아니한다.
일 측면에 따르면, 상기 변위를 결정하는 단계 (단계 830) 는, 획득된 1 차원 픽셀 값 분포에 대한 수식을 이용하여, 임의의 두 지점의 중점을 기반으로 분할된 두 개의 서브 영역들 간의 면적 비교를 수행하고, 더 넓은 면적을 가지는 서브 영역의 양 단의 중점으로 최대점을 갱신하는 것에 의해 1 차원 픽셀 값 분포에 대한 최대점을 결정하도록 구성될 수 있다.
관련하여, 도 6 은 수식을 통한 이분법 (Bisection Method) 기반의 최대점 위치 결정의 절차를 설명한다. 도 6 에 도시된 바와 같이, 예를 들어 제 1 단계 (510) 에서, 임의의 두 지점 (x01, x02) 을 선택하고, 이와 같은 두 지점 (x01, x02) 의 중점 (xc = ( x01+ x02 )/2 ) 을 기준으로, 픽셀 값 분포 곡선과 x 축 및 두 지점 (x01, x02) 을 지나는 y 축과 평행한 직선들로 이루어진 영역을 분할할 수 있다. 제 2 단계 (520) 에서 중점을 기준으로 면적을 비교하여, 좌측 영역의 넓이 A1 과 우측 영역의 넓이 A2 를 비교할 수 있다. 픽셀 값 분포에 대한 수식이 확보되었으므로, 각각의 넓이는, x01 내지 xc 까지의 적분값과, xc 로부터 x02 까지의 적분값을 계산하는 것에 의해 쉽게 결정될 수 있다. 도 6 의 예시에서 A1 영역의 면적이 더 넓으므로, 더 넓은 면적을 선택하여 해당 영역의 양단, 즉, x01 과 xc 를 다시 선택할 수 있고, xc 의 위치를 x02 로 재설정할 수 있다. 제 3 단계 (530) 에서는, 이와 같이 갱신된 두 지점에 대해 다시 중점을 기준으로 면적 비교를 수행하고, 다시 넓은 영역을 선택하여 중점을 포함하는 양단으로 재설정하는 절차를 반복할 수 있다. 이와 같은 반복을 통해, xc 의 위치는 f(x) = 데이터 형상 함수의 최대점으로 이동할 수 있다. 매 반복시 면적 A1 과 A2 는 적분을 이용하여 도출될 수 있다. 따라서, 1 차원 픽셀 값 분포에 대한 수식을 기반으로 수치해석적으로 최대점의 결정이 가능하게 된다. 이와 같이 1 차원 픽셀 값 분포에 대한 최대점이 결정되면, 각각의 프레임에서의 마커부의 기준 위치가 결정되는 것이므로, 기준 프레임에 대한 타겟 프레임에서의 기준 위치의 변위가 타겟 객체의 변위로서 도출될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 반사체 또는 광원을 구비하는 마커 모듈의 예시도이다. 도 7 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 반사체 또는 광원을 구비하는 마커 모듈 (600) 에 있어서, 제 1 중앙 스트립 (611) 의 적어도 일부는, 빛을 반사하는 반사체 (611r) 로 구성될 수 있고, 또는 제 2 중앙 스트립 (621) 의 적어도 일부는, 빛을 반사하는 반사체 (621r) 로 구성될 수 있다. 또는 제 1 중앙 스트립 (611) 의 적어도 일부는, 광원으로 구성될 수 있고, 또는 제 2 중앙 스트립 (621) 의 적어도 일부는, 광원으로 구성될 수 있다. 이와 같이 중앙 스트립 중 적어도 일부를 광원 및/또는 반사체로 구성하는 것에 의해, 야간에도 마커 모듈이 부착되는 타겟 객체에 대한 원거리에서의 이미지 분석 기반의 변위 모니터링이 가능하도록 할 수 있다.
다른 측면에 따르면, 본 발명의 일 실시예에 따른 반사체 또는 광원을 구비하는 마커 모듈 (600) 에 있어서, 제 1 마커부 (610) 의 모서리 중 적어도 하나 (610a) 및/또는 제 2 마커부 (620) 의 모서리 중 적어도 하나 (620a) 에는, 점 반사체 또는 점 광원 중 적어도 하나가 배치될 수 있다. 따라서, 야간에 마커부에 대해 촬영된 이미지에서, 마커부의 위치를 용이하게 결정할 수 있고, 모서리들 간의 연결에 의해 기준 라인의 시작점을 보다 정확히 결정할 수 있다.
도 10 은 본 발명의 일 측면에 따른 타겟 객체의 구조적 안전성 평가 절차의 예시도이다. 도 10 에 도시된 바와 같이, 본 발명의 일 측면에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법은, 타겟 프레임에서의 제 1 마커부 (110) 를 기반으로 결정된 타겟 객체의 제 1 방향 변위와, 제 2 마커부 (120) 를 기반으로 결정된 타겟 객체의 제 2 방향 변위 간의 차이를 이용하여, 타겟 프레임에서의 타겟 객체의 구조적 안전성에 대한 평가값을 산출하는 단계 (단계 840) 를 더 포함할 수 있다. 소정 객체의 경우, 제 1 방향의 변위에 대한 허용 한계와, 제 2 방향의 변위에 대한 허용 한계에 도달하지 않은 경우에도, 제 1 방향의 변위와 제 2 방향의 변위 간의 차이가 미리 결정한 임계값을 초과하는 경우에는 구조적 안전성이 확보되지 않는 상태일 수 있다. 따라서, 일 측면에 따르면, 타겟 프레임에서의 제 1 마커부 (110) 를 기반으로 결정된 타겟 객체의 제 1 방향 변위와, 제 2 마커부 (120) 를 기반으로 결정된 타겟 객체의 제 2 방향 변위 간의 차이가 미리 결정된 임계값을 초과한다는 결정에 응답하여, 타겟 객체가 구조적으로 위험한 상태에 있다고 결정될 수 있다.
도 8 은 본 발명의 일 실시예에 따른 거리 방향 변위 또는 틸팅 (Tilting) 여부 검출에 대한 개념도이고, 도 11 은 본 발명의 일 측면에 따른 거리 방향 변위와 틸팅 여부 검출 절차의 예시도이다.
도 8 및 도 11 에 도시된 바와 같이, 본 발명의 일 측면에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법은, 타겟 프레임에서의 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d), 또는 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 중 적어도 하나를 기반으로, 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 거리 방향 변위, 타겟 객체의 기울어진 방향, 또는 타겟 객체의 기울어진 정도 중 적어도 하나를 산출하는 단계 (단계 850) 를 더 포함할 수 있다.
전술한 본 발명의 일 측면에 따른 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법의 단계들에 따르면, 타겟 객체가 제 1 방향 및/또는 제 2 방향으로의 변위를 가질 때 이를 결정할 수 있었다. 본 발명의 일 측면에 따르면, 제 1 방향 및/또는 제 2 방향으로의 변위 뿐만 아니라, 타겟 객체와 이미지 촬영 디바이스 사이의 거리 방향으로 변위가 발생하는 경우에도 이를 결정할 수 있다.
비한정적이나 보다 상세하게는, 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d), 또는 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 중 적어도 하나가 감소하였다는 결정에 응답하여, 타겟 객체가 이미지 촬영 디바이스로부터 멀어지는 방향으로 변위가 발생하였다고 결정할 수 있다. 반대로, 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d), 또는 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 중 적어도 하나가 증가하였다는 결정에 응답하여, 타겟 객체가 이미지 촬영 디바이스 방향으로 가까워지도록 변위가 발생하였다고 결정할 수 있다.
또한, 일 측면에 따르면, 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d) 와 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 중 어느 하나가 감소하고, 다른 하나가 증가하였다는 결정에 응답하여, 타겟 객체에 기울어짐 (Tilting) 이 발생하였다고 결정할 수 있으며, 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d) 와 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 중 어느 것이 증가하였는지 여부를 기반으로, 기울어진 방향을 결정할 수도 있다. 또한, 제 1 중앙 스트립 (111) 의 제 2 방향 길이 (111d) 와 제 2 중앙 스트립 (121) 의 제 1 방향 길이 (121d) 의 차이가 증가할수록 기울어진 정도가 더 높다고 결정될 수 있다.
다시 도 2 를 참조하여, 본 발명의 일 측면에 따른 타겟 객체의 변위를 측정하기 위해 타겟 객체에 부착되는 마커 모듈 (100) 의 측면에서 다시 설명한다. 일 측면에 따른 마커 모듈 (100) 은 제 1 마커부 (110) 를 포함하고, 제 1 마커부 (100) 는, 제 1 방향으로 배치되는 제 1 중앙 스트립 (111) 및 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부 (113-1, 113-2) 를 구비할 수 있다. 마커 모듈 (110) 은, 복수의 프레임에 걸쳐 상기 제 1 마커부에 대한 촬영 이미지를 획득하고, 상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 그리고 상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정하기 위해 사용될 수 있다.
도 12 는 본 발명의 일 실시예에 따른 방법들이 수행될 수 있는 컴퓨팅 시스템의 예시적인 구성을 나타내는 블록도이다.
도 12 를 참조하면, 컴퓨팅 시스템 (1100) 은 플래시 스토리지 (1110), 프로세서 (1120), RAM (1130), 입출력 장치 (1140) 및 전원 장치 (1150) 를 포함할 수 있다. 또한, 플래시 스토리지 (1110) 는 메모리 장치 (1111) 및 메모리 컨트롤러 (1112) 를 포함할 수 있다. 한편, 도 12 에는 도시되지 않았지만, 컴퓨팅 시스템 (1100) 은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트 (port) 들을 더 포함할 수 있다.
컴퓨팅 시스템 (1100) 은 퍼스널 컴퓨터로 구현되거나, 노트북 컴퓨터, 휴대폰, PDA (personal digital assistant) 및 카메라 등과 같은 휴대용 전자 장치로 구현될 수 있다.
프로세서 (1120) 는 특정 계산들 또는 태스크 (task) 들을 수행할 수 있다. 실시예에 따라, 프로세서 (1120) 는 마이크로프로세서 (micro-processor), 중앙 처리 장치 (Central Processing Unit, CPU)일 수 있다. 프로세서 (1120) 는 어드레스 버스 (address bus), 제어 버스 (control bus) 및 데이터 버스 (data bus) 등과 같은 버스 (1160) 를 통하여 RAM (1130), 입출력 장치 (1140) 및 플래시 스토리지 (1110) 와 통신을 수행할 수 있다.
일 실시예에 따라, 프로세서 (1120) 는 주변 구성요소 상호연결 (Peripheral Component Interconnect, PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
RAM (1130) 는 컴퓨팅 시스템 (1100) 의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 디램 (DRAM), 모바일 디램, 에스램 (SRAM), 피램 (PRAM), 에프램 (FRAM), 엠램 (MRAM), 알램 (RRAM) 을 포함하는 임의의 유형의 랜덤 액세스 메모리가 RAM (1130)으로 이용될 수 있다.
입출력 장치 (1140) 는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치 (1150) 는 컴퓨팅 시스템 (1100) 의 동작에 필요한 동작 전압을 공급할 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가되어질 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
Claims (14)
- 복수의 프레임에 걸쳐 제 1 마커부 - 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 획득하는 단계;
상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하는 단계; 및
상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정하는 단계; 를 포함하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 1 항에 있어서,
상기 촬영 이미지를 획득하는 단계는,
복수의 프레임에 걸쳐 제 2 마커부 - 상기 제 2 마커부는, 상기 제 2 방향으로 배치되는 제 2 중앙 스트립 및 상기 제 2 중앙 스트립의 양 측면에 배치되는 제 2 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 더 획득하고,
상기 픽셀 값 분포를 획득하는 단계는,
상기 복수의 프레임 중 기준 프레임에서, 상기 제 2 마커부 상에 제 1 방향으로 배치된 제 2 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 타겟 프레임에서, 상기 제 2 기준 라인을 따라 1 차원의 픽셀 값 분포를 더 획득하고,
상기 변위를 결정하는 단계는, 상기 기준 프레임의 제 2 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값과, 상기 타겟 프레임의 제 2 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 2 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 2 방향 변위를 더 결정하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 2 항에 있어서,
상기 제 1 마커부 및 제 2 마커부는,
미리 결정된 거리 이상 상호 이격되어 상기 타겟 객체의 측정 지점에 부착되는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 1 항에 있어서,
상기 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값은,
상기 1 차원 픽셀 값 분포의 최대점에 대응되는 지점인,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 1 항에 있어서,
상기 변위를 결정하는 단계는,
상기 1 차원 픽셀 값 분포에 대한 FFT (Fast Fourier Transform) 을 수행하고, 상기 FFT 수행 결과로부터 복수의 유효 성분들을 추출하고, 상기 추출된 유효 성분들의 크기, 파수, 또는 위상 중 적어도 하나를 기반으로 상기 1 차원 픽셀 값 분포를 수식화하는 단계를 포함하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 5 항에 있어서,
상기 변위를 결정하는 단계는,
상기 1 차원 픽셀 값 분포에 대한 수식을 기반으로 수치 해석을 이용하여 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 6 항에 있어서,
상기 변위를 결정하는 단계는,
상기 1 차원 픽셀 값 분포에 대한 수식을 이용하여, 임의의 두 지점의 중점을 기반으로 분할된 두 개의 서브 영역들 간의 면적 비교를 수행하고, 더 넓은 면적을 가지는 서브 영역의 양 단의 중점으로 최대점을 갱신하는 것에 의해 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 6 항에 있어서,
상기 변위를 결정하는 단계는,
이분법 (Bisection method) 을 기반으로 상기 1 차원 픽셀 값 분포에 대한 최대점을 결정하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 1 항에 있어서,
상기 제 1 중앙 스트립의 적어도 일부는,
빛을 반사하는 반사체로 구성되고,
상기 제 1 마커부의 모서리 중 적어도 하나에는,
점 반사체 또는 점 광원 중 적어도 하나가 배치되는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 2 항에 있어서,
상기 타겟 프레임에서의 상기 제 1 마커부를 기반으로 결정된 타겟 객체의 제 1 방향 변위와, 상기 제 2 마커부를 기반으로 결정된 타겟 객체의 제 2 방향 변위 간의 차이를 이용하여, 상기 타겟 프레임에서의 상기 타겟 객체의 구조적 안전성에 대한 평가값을 산출하는 단계; 를 더 포함하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 2 항에 있어서,
상기 타겟 프레임에서의 상기 제 1 중앙 스트립의 제 2 방향 길이, 또는 상기 제 2 중앙 스트립의 제 1 방향 길이 중 적어도 하나를 기반으로, 상기 기준 프레임에 대한 타겟 프레임에서의 상기 타겟 객체의 거리 방향 변위, 상기 타겟 객체의 기울어진 방향, 또는 상기 타겟 객체의 기울어진 정도 중 적어도 하나를 산출하는 단계; 를 더 포함하는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 제 1 항에 있어서,
상기 제 1 마커부에 대한 촬영 이미지는,
무인 비행체에 장착된 카메라를 기반으로 획득되는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 방법.
- 타겟 객체의 변위를 측정하기 위해 타겟 객체에 부착되는 마커 모듈로서,
상기 마커 모듈은 제 1 마커부를 포함하고,
상기 제 1 마커부는,
제 1 방향으로 배치되는 제 1 중앙 스트립; 및
상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부; 를 구비하고,
상기 마커 모듈은,
복수의 프레임에 걸쳐 상기 제 1 마커부에 대한 촬영 이미지를 획득하고;
상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고; 그리고
상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정; 하기 위해 사용되는,
타겟 객체의 변위를 측정하기 위해 타겟 객체에 부착되는 마커 모듈.
- 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하기 위한 시스템으로서, 상기 시스템은,
복수의 프레임에 걸쳐 제 1 마커부 - 상기 제 1 마커부는, 제 1 방향으로 배치되는 제 1 중앙 스트립 및 상기 제 1 중앙 스트립의 양 측면에 배치되는 제 1 배경부를 구비하고, 타겟 객체에 부착됨 - 에 대한 촬영 이미지를 획득하는 영상 촬영부; 및
상기 촬영 이미지를 기반으로 객체의 변위를 결정하도록 구성된 데이터 처리부;를 포함하고,
상기 데이터 처리부는,
상기 복수의 프레임 중 기준 프레임에서, 상기 제 1 마커부 상에 상기 제 1 방향과 직교하는 제 2 방향으로 배치된 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고, 상기 복수의 프레임 중 타겟 프레임에서, 상기 제 1 기준 라인을 따라 1 차원의 픽셀 값 분포를 획득하고; 그리고
상기 기준 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값과, 상기 타겟 프레임의 제 1 기준 라인에 따른 1 차원 픽셀 값 분포에 따른 제 1 방향 대표값 사이의 위치 차이를 기반으로 상기 기준 프레임에 대한 타겟 프레임에서의 타겟 객체의 제 1 방향 변위를 결정; 하도록 구성되는,
객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230163271A KR102649465B1 (ko) | 2023-11-22 | 2023-11-22 | 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230163271A KR102649465B1 (ko) | 2023-11-22 | 2023-11-22 | 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102649465B1 true KR102649465B1 (ko) | 2024-03-20 |
Family
ID=90483198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230163271A KR102649465B1 (ko) | 2023-11-22 | 2023-11-22 | 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102649465B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR920702765A (ko) * | 1989-06-20 | 1992-10-06 | 리챠드 에이취. 버나이크 | 공압 작동 밸브 데이타 취득기 |
| JP2010266341A (ja) * | 2009-05-15 | 2010-11-25 | Meidensha Corp | パンタグラフ変位測定装置及びトロリ線硬点検出方法 |
| KR20170107795A (ko) * | 2016-03-16 | 2017-09-26 | 울산과학기술원 | 케이블 장력 측정 장치 및 방법 |
| KR20220117109A (ko) * | 2021-02-15 | 2022-08-23 | 인하대학교 산학협력단 | 모아레 현상을 이용한 시설물 변위 측정 모니터링 장치 및 그 방법 |
| KR102538449B1 (ko) | 2022-11-18 | 2023-05-31 | ㈜브로드웨이브 | 교량 안정도 판단방법 및 장치 |
-
2023
- 2023-11-22 KR KR1020230163271A patent/KR102649465B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR920702765A (ko) * | 1989-06-20 | 1992-10-06 | 리챠드 에이취. 버나이크 | 공압 작동 밸브 데이타 취득기 |
| JP2010266341A (ja) * | 2009-05-15 | 2010-11-25 | Meidensha Corp | パンタグラフ変位測定装置及びトロリ線硬点検出方法 |
| KR20170107795A (ko) * | 2016-03-16 | 2017-09-26 | 울산과학기술원 | 케이블 장력 측정 장치 및 방법 |
| KR20220117109A (ko) * | 2021-02-15 | 2022-08-23 | 인하대학교 산학협력단 | 모아레 현상을 이용한 시설물 변위 측정 모니터링 장치 및 그 방법 |
| KR102538449B1 (ko) | 2022-11-18 | 2023-05-31 | ㈜브로드웨이브 | 교량 안정도 판단방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11002839B2 (en) | Method and apparatus for measuring angular resolution of multi-beam lidar | |
| US9875542B2 (en) | Camera calibration device, camera calibration method, and camera calibration program | |
| US10636168B2 (en) | Image processing apparatus, method, and program | |
| US8600147B2 (en) | System and method for remote measurement of displacement and strain fields | |
| US8630455B2 (en) | Method and system for audience digital monitoring | |
| CN107727364B (zh) | 测试3d成像系统 | |
| US20140153816A1 (en) | Depth Map Stereo Correspondence Techniques | |
| US20140152776A1 (en) | Stereo Correspondence and Depth Sensors | |
| US9940721B2 (en) | Scene change detection in a dimensioner | |
| CN108027623A (zh) | 自行检测其源的相对物理布置的照明系统 | |
| KR102649465B1 (ko) | 객체에 대한 이미지 분석을 기반으로 객체 변위를 결정하는 시스템과 방법 및 마커 모듈 | |
| US20240046497A1 (en) | Image analysis method and camera apparatus | |
| Burbano et al. | 3D cameras benchmark for human tracking in hybrid distributed smart camera networks | |
| CN113776787A (zh) | 虚拟现实设备的屏幕均匀度测试方法、系统及相关装置 | |
| Merainani et al. | Subspace-based modal identification and uncertainty quantification from video image flows | |
| JPWO2018158994A1 (ja) | 変位計測装置および変位計測方法 | |
| CN116071418A (zh) | 建盏尺寸测量方法、装置、计算机设备、存储介质和计算机程序产品 | |
| WO2022208790A1 (ja) | 検査システム、検査方法、および検査プログラム | |
| EP3982095A1 (en) | Stress distribution image processing device | |
| CN114359382A (zh) | 基于深度学习的合作目标靶球检测方法及相关装置 | |
| CN113763457A (zh) | 落差地形的标定方法、装置、电子设备和存储介质 | |
| Robinson et al. | Real-time object detection and geolocation using 3D calibrated camera/LiDAR pair | |
| CN114063024A (zh) | 传感器的标定方法、装置、电子设备和存储介质 | |
| CN113538578B (zh) | 目标定位方法、装置、计算机设备和存储介质 | |
| KR20190070235A (ko) | 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |