KR20130005677A - 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법 - Google Patents

폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법 Download PDF

Info

Publication number
KR20130005677A
KR20130005677A KR1020110067225A KR20110067225A KR20130005677A KR 20130005677 A KR20130005677 A KR 20130005677A KR 1020110067225 A KR1020110067225 A KR 1020110067225A KR 20110067225 A KR20110067225 A KR 20110067225A KR 20130005677 A KR20130005677 A KR 20130005677A
Authority
KR
South Korea
Prior art keywords
image
time
breakwater
waveguide
wave
Prior art date
Application number
KR1020110067225A
Other languages
English (en)
Inventor
유제선
전기천
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020110067225A priority Critical patent/KR20130005677A/ko
Publication of KR20130005677A publication Critical patent/KR20130005677A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 실시간으로 촬영된 하나의 압축된 동영상 파일로부터 여러 장의 연속된 이미지 파일들을 디코딩하여 분리해 내는 단계; 이미지 좌표에서 실제 좌표로 이미지를 기하 보정하는 단계 및; 기하 보정된 이미지로부터 방파제 사면의 한 경사단면에 대하여 도파고 시간변화 이미지를 생성해 내고, 이 도파고 시간변화 이미지로부터 시계열 도파고 곡선 그래프를 추출해 내고, 이 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 내는 단계;를 포함하는 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법을 제공한다. 본 발명에 따르면 좁은 범위 내에서도 공간적 변화가 큰 방파제에서의 도파 현상을 실시간으로 적은 비용과 인력으로 용이하게 관측할 수 있으며, 시스템을 유지 관리하는 것도 매우 용이하다.

Description

폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법{Wave Overflowing Observation Method Using CCTV at Breakwater}
본 발명은 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법에 관한 것이다.
공간적 변화가 큰 국지 연안의 이상 현상의 관측은 육상설치 비디오 및 레이더 등 원격 측정방법을 이용할 경우 넓은 범위에 대해 지속적으로 안전하게 관측할 수 있다. 비디오 촬영영상은 높은 해상도 (픽셀 당 10cm 단위)를 가지고 있어 쇄파지역 및 해안선 근접지역에서의 이상 현상에 대한 정밀한 모니터링을 수행하는 데 장점이 있다.
한편, 좁은 범위 내에서도 공간적 변화가 큰 방파제에서의 도파 현상 (파도의 처오름 현상)의 경우 현장 계측기를 공간적으로 배치 및 설치하여 관측하기에는 설치 시에 많은 비용과 인력이 소요되며, 유지 관리하는 데도 많은 어려움이 따른다. 하지만, 폐회로 텔레비전 (Closed Circuit TV, 이하 'CCTV'라 함) 관측기법을 이용하면 방파제 전 지역에 걸쳐 용이하게 관측할 수 있다.
본 발명은 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은,
실시간으로 촬영된 하나의 압축된 동영상 파일로부터 여러 장의 연속된 이미지 파일들을 디코딩하여 분리해 내는 단계;
이미지 좌표에서 실제 좌표로 이미지를 기하 보정하는 단계 및;
기하 보정된 이미지로부터 방파제 사면의 한 경사단면에 대하여 도파고 시간변화 이미지를 생성해 내고, 이 도파고 시간변화 이미지로부터 시계열 도파고 곡선 그래프를 추출해 내고, 이 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 내는 단계;
를 포함하는 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법을 제시한다.
본 발명에 따르면 좁은 범위 내에서도 공간적 변화가 큰 방파제에서의 도파 현상을 실시간으로 적은 비용과 인력으로 용이하게 관측할 수 있으며, 시스템을 유지 관리하는 것도 매우 용이하다.
도 1은 주문진항 CCTV 방파제 영상으로부터 도파고를 측정하기 위한 영상처리 및 계산 흐름도.
도 2는 MPEG-4 디코더의 기본 구조 및 디코딩 흐름도.
도 3은 카메라 렌즈에 의한 이미지 왜곡: (a) 실제 좌표상의 격자판, (b) 카메라에 의해 촬영된 격자판 이미지.
도 4는 카메라 렌즈에 의한 이미지 왜곡을 보정한 후, 실제 좌표상의 격자판과 비교한 결과.
도 5는 CCTV 영상의 기하보정을 위해 현장에서 측정한 지형자료 (지상기준점)와 기하보정 후에 얻은 실제 좌표상의 이미지.
도 6은 방파제 사면의 측정단면 (도 5)에 대하여 기록된 도파고의 시간변화 이미지와 이로부터 추출된 도파고 변화곡선 그래프.
도 7은 CCTV 영상으로부터 관측된 주문진항 방파제에서의 도파 분석결과의 일부 : 2011년 1월 2일, 오전 8시경.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예에 대하여 상세히 설명한다. 한편, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 경우 방파제에서 도파 관측을 위한 CCTV 영상은 주문진항 방파제 남단 등대 위에 설치된 고해상도 (HD급) CCTV 카메라를 사용하여 3Hz의 샘플링 주기로 촬영하도록 하였다. 촬영된 영상은 실시간으로 무선 안테나를 통하여 수협 해수 펌프장에 위치한 CCTV 시스템 컴퓨터에 전송되어 20분 분량의 디지털 동영상 (avi 형식) 파일로 저장되도록 하였다. 아래의 표 1은 분석에 사용된 CCTV 동영상의 저장형식, 시간분량, 샘플링 주기, 그리고 동영상 파일로부터 분리해 낸 이미지들의 개수 등 동영상의 특성을 보여준다.
방파제의 도파 현상을 촬영한 CCTV 영상으로부터 실시간으로 도파고를 측정하기 위해 개발한 영상처리 및 계산과정의 흐름도를 도 1에 제시하였다. 먼저, 실시간으로 촬영된 한 개의 디지털 동영상 (mpeg-4 코덱으로 압축된 avi 형식) 파일로부터 연속되는 여러 장의 개별 프레임으로 이미지 파일들을 추출해 낸다. 이 과정에서 mpeg-4 코덱으로 압축된 동영상 파일을 다시 촬영 당시의 해상도로 복구하기 위한 디코딩 작업이 요구된다.
Figure pat00001
이미지 파일들은 실제 공간좌표가 아닌 왜곡된 이미지 좌표에 표현되므로, 이미지 상에서 나타나는 물리적 현상, 즉 방파제 도파고를 정량적으로 추출하기 위해서는 이미지 좌표를 실제 공간좌표로 기하적으로 보정해야 한다. 기하 보정된 이미지의 실제 공간좌표는 수평거리 (x, y) 좌표체계로 표현된다. 방파제의 사면을 따라 도파가 수평적으로 움직인 거리를 측정하면 방파제의 사면경사로부터 도파고를 계산할 수 있다.
시간에 따라 방파제 도파고의 변화를 관측하기 위하여, 기하 보정된 시계열 이미지들로부터 방파제 사면의 한 경사단면에 대하여 도파고 시간변화 이미지를 생성해 낸다. 이렇게 생성된 도파고 시간변화 이미지는 시간 t축과 거리 y축으로 이루어진 2차원 평면을 이룬다. 이 도파고 시간변화 이미지로부터 시계열 도파고 곡선 그래프를 선인식 기법을 사용하여 추출해 내고, 이 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 낸다.
이하에서는 본 발명의 실시 예에 대하여 단계별로 나누어 보다 상세하게 설명한다.
가. 실시간으로 촬영된 하나의 압축된 동영상 파일로부터 여러 장의 연속된 이미지 파일들을 디코딩하여 분리해 내는 단계
오늘날 인터넷 및 CCTV IP 카메라가 상용화되고, 개개인에게 다양한 디지털 미디어가 제공됨에 따라 다양한 사용자들이 원격지에 CCTV 동영상을 실시간으로 접속하여 사용하는 기술이 날로 발전하고 있다. 현재, 이러한 동영상 기술을 사용하여 일반 사기업뿐만 아니라 공공기관에서도 CCTV 네트워크를 통하여 수많은 동영상이 업로드 되고 있으며, 이러한 동영상을 이용하여 전자동 보안 및 모니터링을 목적으로 하는 연구도 활발해 지고 있다.
현대 디지털 정보화 시대에서는 CCTV 카메라를 통해서 영상뿐만 아니라 음성 등 여러 가지 정보를 수집할 수 있으며, 이렇게 수집된 다양한 정보는 영상을 중심으로 여러 형태의 정보가 결합된 멀티미디어로 디지털화 되어 전송되거나 저장되고 있다. 이 멀티미디어 기술의 핵심은 디지털 동영상을 압축 (인코딩) 및 재현 (디코딩)하는 기술이다. 지금까지 CCTV 동영상의 화질이 고화질로 발전해 감에 따라 동영상을 인코딩 및 디코딩하는 기법들도 이러한 고화질을 효과적으로 지원해 줄 수 있도록 여러 가지 형식으로 발전해 가고 있다. 고화질의 디지털 동영상 압축 및 재현을 위하여 많이 사용되는 기술 중 하나는 FFMPEG이라는 통합코덱이다. 본 발명의 실시 예에서는 FFMPEG 통합코덱에서 지원하는 MPEG-4 코덱을 CCTV 동영상 파일을 디코딩하는 데 사용하였다.
FFMPEG 통합코덱은 영상 (video)과 음성 (audio)을 기록 (record), 변환 (convert), 전송 (stream) 하기 위한 솔루션이다. 이 FFMPEG 통합코덱은 처음에는 리눅스 기반으로 개발되었으며 오픈소스로 공개되었다. 나중에는 윈도우 운영체계에서도 사용될 수 있도록 개선되었다. FFMPEG 통합코덱은 VC-1 비디오 코덱, MPEG-2, MPEG-4, H.264/AVC 등 여러 종류의 비디오 및 오디오 코덱들을 포함하고 있다. FFMPEG 통합코덱은 일반 개인 컴퓨터의 상용으로 공급되는 미디어 플레이어, 곰 플레이어 등 통합코덱팩에 실제 사용을 목적으로 개발되었다.
MPEG은 'the Moving Picture Experts Group'의 약자로 동영상과 오디오를 압축, 처리 및 재현하기 위해 표준안을 개발하는 ISO와 IEC의 연구팀을 말한다. MPEG은 MPEG-1과 MPEG-2라는 매우 성공적인 표준안을 개발하여 상용화했으며, 몇 년 전에는 MPEG-4 라는 표준안을 개발하여 객체 기반의 새로운 동영상 압축 기술을 발표하였다. 사용자가 직접 디지털 동영상에 대해 다양한 조작이 가능토록 하는 객체지향형 인코딩 방식이 각광을 받으면서 MPEG-4가 탄생하게 되었다. MPEG-4는 기존의 동영상, 오디오 신호의 압축뿐만 아니라 정지 영상, 컴퓨터 그래픽, 분석 합성계의 음성 인코딩 등 합성 음향과 문자까지도 포함하는 종합 멀티미디어의 인코딩 및 디코딩에 사용된다. 장면을 구성하는 각 객체는 개별적으로 최적화되어 코딩되면서도 높은 인코딩 및 디코딩 효율을 실현하고 있다. 또한, 전송 오류도 쉽게 일어나지 않은 매우 안정적인 코딩 방식으로, 에러 확률이 높은 디지털 무선 전송 환경에서 오류를 최소화하는 것으로 알려져 있다. MPEG-4의 표준안에는 프로파일에 따른 레벨, 지원되는 화면크기, 최대 객체 개수, 버퍼 크기, 초당 디코딩 속도, 최대 비트율, 스프라이트 및 웨이블릿 크기 등의 정보를 담고 있다.
도 2는 MPEG-4로 인코딩된 디지털 동영상을 재현하는데 사용되는 디코더의 흐름도를 나타낸다. MPEG-4 디코더의 구조는 형상 디코딩, 움직임 디코딩, 그리고 문자 디코딩 등의 세 가지 주요 기본 구성요소로 이루어져 있다. 이 세 가지의 코딩 종류에 따라 각각 개별적인 디코딩을 수행한 후, 모든 정보를 합쳐 하나의 동영상을 구현하는 독립적인 구조이다. 재구성된 영상(VOP: Video Of Plane)은 다음 프레임의 참조 프레임으로 사용되므로 버퍼에 저장시켜 놓게 된다.
하나의 압축된 동영상 파일로부터 여러 장의 연속 이미지 파일들로 디코딩하여 분리해 내는 과정에서 생성된 영상은 칼라 이미지들이다. 본 발명의 실시 예에서는 칼라 이미지를 흑백 이미지로 변환시켜 방파제 도파 현상을 측정하는데 사용하였다. CCTV에 의해서 촬영된 영상은 원래 칼라 영상으로 각 이미지마다 3개의 R-G-B (Red, Green, Blue) 밴드로 구성된 3차원 자료배열 구조를 갖는다. 이 RGB 밴드를 모두 활용한 이미지의 분석은 복잡하고 시간이 많이 걸리므로 3개의 밴드를 1개의 대표적 밴드로 변환시킬 필요가 있다. 이에 본 발명의 실시 예에서는 각 이미지 픽셀에 대한 3차원 칼라 이미지 scale(R, G, B)을 1차원 회색 scale(0～255)로 변환시켜 사용하였다. 칼라 이미지를 흑백 이미지로 변환시키는 데는 다음 식 (1)을 사용하였다.
여기서, (i j)는 2차원 이미지 평면의 픽셀좌표를 나타낸다. 이미지 영상의 크기가 1280×720 (가로×세로) 픽셀이므로, i는 1～1280 범위의 값을, 그리고 j는 1～720 범위의 값을 갖는다. I는 흑백 이미지의 흑백강도를 나타낸다. 그리고 R, G, B는 R-G-B (Red, Green, Blue)의 각 밴드를 나타낸다.
나. 이미지 좌표에서 실제 좌표로 이미지를 기하 보정하는 단계
2차원 평면틀 속에 캡쳐된 이미지는 실제 공간좌표에서의 모양과는 달리 왜곡되어 있다. 이미지 내에 존재하는 왜곡에는 두 가지 종류가 있는데 첫 번째는 카메라 렌즈에 의한 굴절왜곡이며, 다른 하나는 좌표 변형에 의한 기하왜곡이다. 따라서 이미지로부터 물리적 특성을 정량적으로 추출해 내기 위해서는 위의 두 가지 왜곡에 대한 보정을 해주어야 한다. 본 발명의 실시 예에서는 이러한 이미지의 기하학적 왜곡을 보정하기 위해서 Holland et al. (1997)이 제시한 DLT (Direct Linear Transformation) 기법을 사용하였다.
카메라에 장착된 렌즈는 보통 볼록 렌즈이며, 볼록 렌즈인 경우 렌즈의 중앙에서 멀어질수록, 그리고 초점거리에 따라 이미지에 나타나는 왜곡정도가 다르다. 카메라 렌즈에 의한 왜곡 특징은 렌즈의 중앙에서 멀어질수록, 그리고 초점거리가 짧을수록 왜곡 정도가 심하게 나타난다. 아래의 표 2는 Holland et al. (1997)이 실험을 통하여 초점거리별 왜곡계수를 조사한 결과로, 왜곡계수의 값이 클수록 왜곡정도가 심하다는 것을 보여준다. 표 2에 제시된 k 1과 k 2는, 일반적으로 카메라 렌즈에 의한 이미지의 왜곡정도를 표현하는 왜곡계수이다. 이 계수들은 이미지 중앙점으로부터 원심방향으로 각 격자점들이 렌즈왜곡에 의하여 실제 좌표와 얼마나 차이가 나는지를 다음 식 (2)과 같이 계산함으로써 구한다.
Figure pat00018
여기서, r은 실제 좌표상에 표현된 사각격자 이미지의 중앙점으로부터 각 격자점들이 떨어진 픽셀거리를 의미하며, dr은 카메라에 의해 촬영된 각 격자점들이 이미지 중앙점으로 떨어진 거리와 실제거리로 측정한 r값과의 차이를 나타낸다.
본 발명의 실시 예에서 사용한 CCTV 카메라는 고화질 (HD급) 줌 카메라(HZ2000 모델)로 10배의 광학 줌이 가능하며, 광학 줌에 따라 초점거리는 5.1 ～ 51.0mm 범위에서 변한다. 도 3은 CCTV 카메라에 의하여 촬영된 이미지의 왜곡정도를 보여준다. 도 3은 카메라의 촬영 방향과 실제 좌표계를 갖는 격자판이 수직을 이루도록 맞추어 놓은 다음 이미지를 촬영하였고, 이후 실제 격자판과 촬영한 이미지를 서로 비교한 것이다. 도 3의 실제 좌표 격자판(a)과 이미지 좌표(b)를 비교해 보면, 이미지 좌표에서 각 격자점간의 간격이 일정하지 않은 것을 볼 수 있다. 특히, 이미지의 중앙부분에서는 격자간의 간격이 큰 반면 이미지의 가장자리로 갈수록 격자간의 간격이 줄어드는 것을 알 수 있다. 이는 카메라 렌즈에 의하여 이미지 중앙점을 기준으로 원심방향으로 굴절왜곡이 생기기 때문이다.
Figure pat00004
카메라 렌즈에 의한 이미지 굴절 왜곡을 Holland et al. (1997)이 제시한 DLT (Direct Linear Transformation) 기법에 의하여 보정하는 과정은 다음과 같다. 도 3(a)의 격자점들의 실제좌표 (x, y)와 도 3(b)의 이미지 좌표 (i, j)와의 관계는 다음 식 (3)과 같이 표현된다.
Figure pat00019
여기서, L 1, L 2, L 4, L 5, L 6, L 8, L 9, L 10은 DLT 계수를 의미하며, 도 3에서 취득한 격자점들의 (x, y) 좌표들과 (i, j) 좌표들의 값을 활용하여 최소자승법 (least square method)으로 결정할 수 있다.
위의 DLT 계수들의 값이 결정되면 아래 식 (4)를 이용하여 이미지 좌표의 나머지 모든 픽셀들에 대해서 렌즈의 굴절왜곡을 보정할 수 있다. 식 (4)는 식 (3)을 x 및 y에 대해서 다시 나열한 후 행렬의 형태로 나타낸 것이다.
Figure pat00020
여기서, 좌표 (x p , y p )는 이미지의 렌즈왜곡 보정 후에 얻어지는 새로운 이미지의 좌표이다. 즉, 위의 식 (4)에서 좌변의 2×2 행렬에 대해서 양변에 역행렬을 취하면 이미지상의 모든 픽셀 (i, j)에 대한 새로운 기하좌표 (x p , y p )가 얻어진다. 도 4는 카메라 렌즈에 의한 왜곡보정 후에 얻은 이미지와 실제 좌표의 격자점들과 비교한 것이다.
카메라 렌즈의 굴절왜곡을 보정한 후에는, 카메라의 촬영방향과 실제 촬영대상이 되는 방파제 사면이 수직이 아닌, 비스듬한 각을 이루고 있으므로 이에 따른 기하왜곡 보정을 해야 한다. 즉, 기하왜곡은 3차원의 실제좌표 (x, y, z)를 이미지의 2차원 평면좌표 (i, j)로 촬영하여 표현하기 때문에 발생하는 문제이다. 기하왜곡은 촬영된 이미지를 카메라 렌즈에 의한 왜곡보정을 먼저 진행한 후에 이루어진다.
기하 보정을 위해서는 사전에 실제 방파제 현장에서 CCTV 카메라로 동영상을 촬영하는 동안, 카메라의 촬영범위 내에서 지상기준점을 선정하고 실제좌표를 측정하는 작업이 요구된다. 도 5는 주문진 방파제 현장에서 지형측정기 (LiDAR)로 지상기준점을 여러 점 측정한 후, 이 점들을 사용하여 CCTV 이미지를 기하 보정한 결과이다.
도 5의 아래 그림은 실제 공간좌표에서 지상기준점들이 측정된 방파제 사면의 실제좌표 (x, y, z: 도 5에서 z값은 표현 생략)를 보여주고 있고, 도 5의 윗 그림은 실제 공간좌표에서 지상기준점들을 측정하는 동안 비디오 상에 나타나는 지상기준점들의 이미지 좌표 (i, j)들을 보여주고 있다. 이번에는 지상기준점들의 실제 좌표 (x, y, z) 값들과 이미지 좌표 (i, j) 값들을 아래 식 (5)에 대입한 후 최소자승법에 의해 DLT 계수 L 1, L 2, L 3, ～, L 11의 최적 값들을 결정한다.
Figure pat00021
위의 DLT 계수들의 값이 결정되면 아래 식 (6)을 이용하여 이미지 좌표의 나머지 모든 픽셀들에 대해서 기하왜곡을 보정할 수 있다. 식 (6)은 식 (5)를 x, y 및 z에 대해서 다시 나열한 후 행렬의 형태로 나타낸 것이다.
Figure pat00022
여기서, 좌표 (x p , y p, z p )는 이미지의 렌즈왜곡 보정 후에 얻어지는 새로운 이미지의 좌표이다. 즉, 위의 식 (6)에서 좌변의 3×3 행렬에 대해서 양변에 역행렬을 취하면 이미지상의 모든 픽셀 (i, j)에 대한 새로운 실제 기하좌표 (x p , y p , z p )를 얻을 수 있다. 도 5의 아래 그림은 위에서 설명한 이미지 기하보정을 통하여 실제 공간좌표로 변형된 기하보정 결과이다.
다. 기하 보정된 이미지로부터 방파제 사면의 한 경사단면에 대하여 도파고 시간변화 이미지를 생성해 내고, 이 도파고 시간변화 이미지로부터 시계열 도파고 곡선 그래프를 추출해 내고, 이 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 내는 단계
하나의 CCTV 카메라를 이용해서 실제 3차원 공간좌표에서 물리적 움직임을 측정하는 것은 단지 2차원 평면 공간좌표의 (x, y)에서 움직임만이 가능하다. 반면, 수직적 높이 z축에 관한 운동(예, 파고의 변화)은 측정하기 어렵다. 방파제 경사면에 대해서도 이미지 상에 나타나는 방파제 도파현상도 수평적인 움직임의 반복적 운동이다. 본 발명의 실시 예에서는 방파제 경사면이 수직축과 이루는 경사를 지형측정을 통해서 구했고, 이 경사도를 사용하여 수평적인 움직임의 도파거리를 수직적인 도파고로 환산하여 계산하도록 하였다. 특히, 본 발명의 실시 예에서는 시간에 따라 변하는 도파고를 관측하기 위해 방파제의 경사면 상에서 한 경사단면을 설정하였다(도 5의 아래 그림). 방파제 경사단면은 필요에 따라 여러 개를 설정할 수 있지만, 본 발명의 실시 예에서는 우선적으로 한 단면만을 설정하여 방파제 도파 관측 방법을 개발하고 개선하는 데에 중점을 두었다.
방파제 사면의 한 단면에 대해서 시간에 따라 변하는 도파고를 관측하기 위해 생성한 도파고 시간변화 이미지(이미지 타임스택: image timestack)(도 6)를 보면, 수직 y축에 대하여 시간 (time 축)에 따라 해수면이 위아래로 변하는 것을 볼 수 있다. 해수면 윗부분은 어둡게, 그리고 해수면 아랫부분은 밝게 나타나고, 특히 해수면 경계면에서는 이미지 강도가 급격하게 변하는 뚜렷한 윤곽을 보여주고 있다. 본 발명의 실시 예에서는 이 도파고 시간변화 이미지로부터 방파제의 사면을 따라 시간에 대하여 해수면의 수평적 변화 그래프, 즉 시계열 도파고 곡선 그래프(도파고의 시계열 자료)를 추출하기 위해서 Canny의 edge detection 기법을 사용하여 해수면 경계선을 분리, 인식해 냈다. 방파제 도파의 수평적 거리이동 (Δy)에 방파제의 사면경사(S o )를 곱하면 수직적 도파고 (R)의 크기 변화를 다음 식 (7)을 사용하여 도 7의 아래 그림의 결과와 같이 얻을 수 있다.
Figure pat00023
여기서, t는 시간을 나타낸다. 본 발명의 실시 예에서는 CCTV 영상자료로부터 추출한 도파고의 시간변화 곡선, 즉 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 계산할 때, 조석 등 장주기파에 의한 해수면의 변화 영향을 제거하기 위하여 일차 선형 추세를 도파고 시계열 자료에서 제거하였다.
본 발명의 실시 예에서는 스펙트럼 분석방법을 사용하여 CCTV 영상자료로부터 추출된 도파고의 시계열 자료, 즉 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 냈다. 이 시계열 도파고 곡선 그래프의 시계열 자료 중 처음 10분 (샘플링 주파수 3Hz) 분량의 1800개 시계열 자료에 대해서 Welch 기법의 에너지 스펙트럼 분석기법을 적용하여 분석하였다. 스펙트럼 분석 시 푸리에 변환을 위한 윈도우의 크기를 512 크기로 설정하여 50％씩 중복시키면서 계산하도록 하였다. 이로부터 산출할 수 있는 도파고의 통계값들 중에서 유의도파고를 대표 통계값으로 사용했다. 유의도파고는 관측된 개별 도파고들 중 가장 높은 것으로부터 30％에 해당하는 도파고까지의 값들을 평균한 통계값에 해당한다고 할 수 있다. 도 7은 지난 2011년 1월 2일 주문진항 방파제에서 도파현상이 발생했을 때 CCTV 동영상으로부터 실시간으로 관측 및 분석되었던 처리결과의 한 예를 추가로 보여준다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

  1. 실시간으로 촬영된 하나의 압축된 동영상 파일로부터 여러 장의 연속된 이미지 파일들을 디코딩하여 분리해 내는 단계;
    이미지 좌표에서 실제 좌표로 이미지를 기하 보정하는 단계 및;
    기하 보정된 이미지로부터 방파제 사면의 한 경사단면에 대하여 도파고 시간변화 이미지를 생성해 내고, 이 도파고 시간변화 이미지로부터 시계열 도파고 곡선 그래프를 추출해 내고, 이 시계열 도파고 곡선 그래프로부터 도파고의 대표 통계값을 산출해 내는 단계;
    를 포함하는 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법.
KR1020110067225A 2011-07-07 2011-07-07 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법 KR20130005677A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110067225A KR20130005677A (ko) 2011-07-07 2011-07-07 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110067225A KR20130005677A (ko) 2011-07-07 2011-07-07 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법

Publications (1)

Publication Number Publication Date
KR20130005677A true KR20130005677A (ko) 2013-01-16

Family

ID=47836904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110067225A KR20130005677A (ko) 2011-07-07 2011-07-07 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법

Country Status (1)

Country Link
KR (1) KR20130005677A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101536673B1 (ko) * 2013-11-22 2015-07-15 동의대학교 산학협력단 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101536673B1 (ko) * 2013-11-22 2015-07-15 동의대학교 산학협력단 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법

Similar Documents

Publication Publication Date Title
US11798166B2 (en) Sphere pole projections for efficient compression of 360-degree video
CN106960416B (zh) 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
Liu et al. Visual quality assessment: recent developments, coding applications and future trends
KR20200136351A (ko) 영상 부호화 및 복호화 장치 및 그 방법
CN102484712B (zh) 用于数字视频记录器的视频格式
WO2018001207A1 (zh) 编解码的方法及装置
US11184641B2 (en) Coding spherical video data
CN110505472B (zh) 一种h.265超高清视频质量评价方法
CN103765474B (zh) 深度编码
US20140369411A1 (en) Image processing apparatus and method
CN117692661A (zh) 基于子图像码流视角相关视频编码中的误差抑制的文件格式指示
CN109417621A (zh) 图像处理装置及方法
KR102243120B1 (ko) 인코딩 방법 및 장치 및 디코딩 방법 및 장치
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
Moorthy et al. Efficient video quality assessment along temporal trajectories
CN106664430A (zh) 利用嵌入块分割对视频信号进行编码和解码的方法及装置
US20120307897A1 (en) Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
CN1498391A (zh) 检测视频数据流中卡通的方法和系统
TW201904279A (zh) 用於全視差光場壓縮之方法
Al-Ani et al. Video compression algorithm based on frame difference approaches
US20170041623A1 (en) Method and Apparatus for Intra Coding for a Block in a Coding System
US8145006B2 (en) Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening
CN111434115A (zh) 视频编码中纹理合成的聚类修正
CN106534853B (zh) 基于混合扫描顺序的光场图像压缩方法
US20140267916A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application