KR102228194B1 - 카메라 초점 유지 장치 및 그 방법 - Google Patents

Abstract

본 발명은 카메라 초점 유지 장치, 영상처리 기반의 댐 및 교량 시설물 점검 시스템에 관한 것이다.
본 발명에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템은 댐 시설물 및 교량 시설물 중 수직벽체 또는 경사도를 갖는 시설물의 균열 및 결함 검출을 수행하기 위해 영상을 획득하는 촬영부와, 조명부를 포함하는 로봇 및 로봇으로 전원을 공급하고, 로봇의 이동을 제어하며, 영상 데이터를 송출하는 차량을 포함하는 것을 특징으로 한다.

Description

카메라 초점 유지 장치 및 그 방법{APPARATUS AND METHOD FOR FOCUSING IN CAMERA}

본 발명은 카메라 초점 유지 장치 및 그 방법에 관한 것이다.

종래 기술에 따른 자동초점 방식(Auto Focus) 및 수동초점 방식(Manual Focus)은 균열 및 결함검출을 위해 광학카메라를 이용하여 시설물(구조물)을 촬영할 경우, 아래와 같은 문제점이 있다.

먼저, 자동초점 방식에 따르면, 촬영장비를 탑재한 차량이 약 20 내지 40km/h의 주행속도로 터널로 진입할 때, 카메라의 초점은 멀리있는 배경(산 등)에 맞춰져 있으므로, 터널시설물 벽면(라이닝)에 초점을 맞추기까지 수 초가 소요되며, 수십m 구간에 걸처 촬영된 이미지는 초점이 맞지 않는 상태로 촬영된 이미지라는 문제점이 있다.

또한 터널시설물 벽면에는 조명, 환기팬 등 터널 라이닝 벽면으로부터 돌출된 장치들이 있는데, 이로부터 카메라의 초점 유지가 불가능한 문제점이 있다.

수동초점 방식에 따르면, 촬영장비를 탑재한 차량이 약 20 내지 40km/h의 주행속도로 터널 벽면을 촬영할 때 조명, 조리개, 피사체와의 거리, 초점거리, 카메라 센서의 크기를 고려하여 피사계 심도를 산출하며, 이는 약 5cm에서 20cm 정도이다.

즉, 파사계 심도범위에 구조물이 포함되도록 차량과 피사체와의 적정거리를 일정하게 유지하며 주행하는 것이 불가능한 문제점이 있다.

또한, 적정거리를 범위를 벗어나면 초점이 맞지 않는 이미지가 촬영되어 균열 및 결함검출이 불가능한 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 카메라와 피사체의 거리 변화에 따라 자동으로 작동하여 시설물 안전점검용 광학 카메라의 초점을 유지하고, 자율주행, 높이조절, 모듈형, 무선데이터 송출의 기술적 특징이 있는 영상처리 기반의 댐 및 교량 시설물 점검 시스템과, 카메라 초점 유지 장치 및 그 방법을 제공하는 데 그 목적이 있다.

본 발명에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템은 댐 시설물 및 교량 시설물 중 수직벽체 또는 경사도를 갖는 시설물의 균열 및 결함 검출을 수행하기 위해 영상을 획득하는 촬영부와, 조명부를 포함하는 로봇 및 로봇으로 전원을 공급하고, 로봇의 이동을 제어하며, 영상 데이터를 송출하는 차량을 포함하는 것을 특징으로 한다.

본 발명에 따르면, 기존 카메라의 AF 기능을 외부 장치로 구현하여, 거리 값 획득이 가능하며, 획득 데이터를 기반으로 주행 보정 또는 보다 정밀한 포커싱이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 소형 로봇을 도시한다.
도 3은 본 발명의 실시예에 따른 소형 로봇의 높이조절장치 적용례를 도시한다.
도 4는 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 댐 시설물 적용 예시를 도시한다.
도 5는 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 교량 시설물 적용 예시를 도시한다.
도 6은 본 발명의 실시예에 따른 댐 전용 균열 및 결함 이미지 촬영 장치가 배치되는 콘크리트댐 경사면 및 상면을 도시한다.
도 7은 광학 카메라의 초점 유지 원리를 나타내는 도면이다.
도 8은 콘트라스트 AF, 하이브리드 CMOS AF 시스템, 위상차 AF의 AF 개시 위치 및 초점을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 초점 유지 장치를 나타내는 도면이다.
도 10은 조리개 수치를 나타내는 예시도이다.
도 11 내지 도 13는 본 발명의 실시예에 따른 피사계 심도에 영향을 주는 초점 거리, 피사체와의 거리, 조리개 값을 나타내는 도면이다.
도 14는 댐 시설물 결함 영상 획득, 분석 및 빅데이터 관리를 도시한다.
도 15는 본 발명의 실시예에 따른 분산병렬처리의 개념도이다.
도 16은 분산병렬처리 테스트 결과를 도시한다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

종래 기술에 따르면, 균열 및 결함검출을 위해 광학카메라를 이용하여 댐 시설물(경사면 등)을 촬영할 경우 특수차량(터널스캐너) 또는 드론(무인비행체)의 활용이 불가능하다.

도 1은 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 구성도이다.

본 발명의 실시예에 따르면, 하드웨어로서, 거리 측정장치(레이저, 초음파), 광학카메라, 광학렌즈, 포커스링 전동모터, 마이크로컴퓨터 및 저장장치, 모터제어용 모듈이 포함된다.

또한, 소프트웨어로서, 실시간 거리측정 데이터 기록 및 분석 프로그램, 포커스링 모터제어용 모듈전용 프로그램이 포함된다.

특수차량(200)은 댐 상면에 위치하고, 소형로봇(100)은 댐 경사면에 위치하며, 특수차량(200)과 소형로봇(100)은 와이어로프로 연결된다.

특수차량(200)은 로봇제어부(210), 자율주행제어부(220), 데이터송출부(230), 구동부(240), 전원부(250)를 포함한다.

특수차량(200)의 로봇제어부(210)는 로봇의 상하 이동을 제어하는 구성으로, 전기모터, 와이어로프를 포함한다.

특수차량(200)의 자율주행제어부(220)는 GPS, 마이크로 PC 및 레이저 거리 센서를 포함한다.

특수차량(200)의 데이터송출부(230)는 영상데이터를 서버로 송출하며, 장거리 와이파이를 이용할 수 있다.

특수차량(200)의 구동부(240)는 이동을 위해 구비되는 구성으로, 엔진 및 바퀴를 포함한다.

특수차량(200)의 전원부(250)는 로봇전기공급을 수행하는 구성으로, 발전기, 대용량 배터리 및 케이블을 포함한다.

소형로봇(100)은 촬영부(110), 제어부(120), 조명부(130), 구동부(140) 및 높이조절부(150)를 포함한다.

소형로봇(100)의 촬영부(110)는 영상획득을 위한 구성으로서, 광학카메라, 카메라초점유지장치, 거리측정장치, RGBD, 열화상, 초분광, 레이저라인 스캔카메라, 3D RiDAR를 포함한다.

소형로봇(100)의 제어부(120)는 RTK-GPS, 자율주행모듈, 원격제어모듈을 포함한다.

소형로봇(100)의 조명부(130)는 조도를 유지하기 위한 구성으로서 LED 조명 등으로 구비된다.

소형로봇(100)의 구동부(140)는 이동을 위해 구비되는 구성으로, 전기모터 및 바퀴를 포함하여, 수평 및 수직 이동을 위한 로터와 프로펠러를 각각 포함한다.

소형로봇(100)의 높이조절부(150)는 가변높이 조절을 위한 것으로, 전기모터 및 높이조절 프레임을 포함한다.

본 발명의 실시예에 따른 소형로봇(100)은 댐시설물 및 교량시설물 중 댐마루, 교각 등 수직벽체 또는 일정한 경사도를 갖는 시설물의 균열 및 결함검출을 위한 복수의 광학디지털카메라로 구성된 촬영부(110)와 복수의 조명으로 구성된 조명부(130)를 구비한다.

본 발명의 실시예예 따른 특수차량(200)은 소형로봇(100)의 상하이동을 와이어로프로 제어하는 로봇제어부(210), 영상데이터를 무선으로 서버에 송출하는 데이터송출부(230), 발전기 및 대용량배터리가 구비되고 소형로봇에 케이블을 통해 전원을 공급하는 전원부(250), 특수차량의 자율주행을 가능하게 해주는 GPS, 마이크로PC, 레이저거리센서가 포함된 자율주행제어부(220), 구동을 위해 엔진과 바퀴를 포함하는 구동부(240)를 포함한다.

본 발명의 실시예에 따른 소형로봇(100)은 광학디지털카메라로 구성된 촬영부를 보조하는 열화상카메라, RGBD카메라, Multi-Spectral Camera, 레이저 라인스캔카메라, 시설물의 형상을 획득하기 위한 3D RiDar 장치를 포함한다.

광학 디지털카메라는 촬상소자에 CCD나 CMOS를 사용하여 빛을 전자적인 신호로 바꾸어 자기매체 혹은 플래시 메모리 등 저장장치에 보존하는 카메라이다.

열화상카메라는 열을 감지하는 센서로 피사체의 온도를 탐지한 후 전자적인 신호로 바꾸어 자기매체에 저장 보존하는 카메라이다.

RGBD 카메라는 촬상소자에 CCD나 CMOS를 사용하여 빛을 전자적인 신호로 바꾸어 자기매체 혹은 플래시 메모리 등 저장장치에 보존하는 기능에 피사체와 카메라의 거리측정 기능이 추가된 장치로 3D reconstruction 분야에 사용된다.

Multi-Spectral Camera는 수많은 '분광 채널'을 구현하여, 많은 스펙트럼 정보를 얻기 위해 한 대상을 여러 번 촬영하는 '멀티샷' 방식을 쓰거나 '부호화 조리개' 같은 별도의 광학 필터를 적용하는 '압축영상방식'으로 파장 범위가 400~700나노미터(㎚)인 가시광선 스펙트럼을 세밀하게 감지할 수 있는 장비로 육안이나 일반 광학카메라로는 판별할 수 없는 특정 성분이나 요소를 가려낸다.

레이저 라인스캔카메라는 왼쪽에서 오른쪽으로 스캔하는 빔을 발사하고 반사파를 측정하여 한 줄의 프로파일을 작성한다. 이때 적외선 레이저 빔을 회전 반사 거울을 통해 투사하고 투사된 빔이 피사체 반사되어 돌아오는 시간차와 회전 반사거울의 회전각을 이용하여 측점의 상대위치를 계산하여 균열같이 메세한 피사체의 3D형상을 정확하게 모델링한다.

3D RiDar 장치는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치이고, 'light"와 'radar(radio detection and ranging)"를 혼합하여 만든 합성어이다. 즉 라이다라는 명칭은 전파 대신에 빛을 쓰는 레이다를 뜻하는 것으로 규모가 큰 구조물의 형상을 3D로 정확히 모델링할 수 있다.

본 발명의 실시예에 따르면, 특수차량의 위치를 확인하기 위한 GPS, 소형로봇의 위치를 확인하기 위한 RTK-GPS 장치, 특수차량을 자율주행하도록 제어하는 거리측정센서 및 마이크로PC를 포함한다.

본 발명의 실시예에 따르면, 촬영면적을 1.5배까지 증가시킬수 있도록 피사체에서 카메라까지의 높이를 조절하는 높이조절장치가 구비된 가변높이형 소형로봇 모듈로 구성되어, 현장에서 조립해체가 가능하다.

본 발명의 실시예에 따르면, 댐 시설물의 균열 및 결함검출을 위한 영상촬영 시, 촬영장치에 구비된 피사체와 카메라의 거리를 측정하기 위한 레이저 거리측정장치, 초음파 거리측정장치, 카메라에 부착된 렌즈를 회전시켜 카메라의 초점을 유지하기 위한 포커스링, 포커스링을 구동하는 모터, 피사체와 카메라의 거리를 분석해 포커스링 구동모터를 제어하는 모듈을 포함한다.

도 2는 본 발명의 실시예에 따른 소형 로봇을 도시한다.

소형로봇은 horizontal frame, vertical frame, 프로펠러, 프로펠러 가드, RTK-GPS, 배터리, 바퀴, 열화상 카메라, LED 조명, 데이터 케이블, 파워케이블 및 마이크로 컨트롤러를 포함한다.

도 3은 본 발명의 실시예에 따른 소형 로봇의 높이조절장치 적용례를 도시한다.

본 발명의 실시예에 따르면, 도 3의 좌측 그림과 같이 normal mode에서, 우측 그림과 같이 high level mode로 작동한다.

이 때, 리프팅 프레임(lifting frame)을 이용하여 소형 로봇의 높이가 가변되고, 촬영면적을 1.5배까지 증가시킬 수 있도록 피사체에서 카메라까지의 높이를 조절하는 것이 가능하다.

도 4는 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 댐 시설물 적용 예시를 도시한다.

특수차량은 댐의 상면에 위치하고, 자율주행 모듈, 모션 모듈, 로봇 제어 모듈, 파워 모듈을 포함한다.

소형로봇은 댐의 경사면에 위치하고, 와이어로프를 통해 특수차량과 연결되어, 댐 시설물의 균열 및 결함 검출을 위한 영상 촬영을 수행한다.

도 5는 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 시스템의 교량 시설물 적용 예시를 도시한다.

소형로봇은 운전자 개입 또는 개입 없이 사전에 프로그램된 경로로 자율이동하며 댐 경사면, 교량 거더 하면, 터널 벽면, LNG시설물 및 건축구조물 등을 촬영하는 장치이다.

소형로봇은 거더 또는 컬럼에 대해 교량 시설물 점검을 위한 영상 촬영을 수행한다.

소형로봇의 상단에 설치된 4개의 프로펠러(Upside Propeller)는 소형로봇이 시설물 표면에 안정적으로 고정되어 있도록 적절한 접지력(Grip Force)을 제공해주며 목표위치까지 비행하여 이동하는 것을 가능하게 한다.

소형로봇의 측면에 설치된 4개의 프로펠러(Upside Propeller)는 소형로봇이 좌우 방향으로 이동할 수 있게 동력을 제공한다.

소형로봇이 시설물 표면에 안정적으로 고정된 상태로 촬영을 하면 진동이나 흔들림이 없으므로 드론(UAV) 촬영시 문제가 되었던 초점불량이나 이미지 품질 문제를 원천적으로 해결할 수 있다.

도 6는 본 발명의 실시예에 따른 댐 전용 균열 및 결함 이미지 촬영 장치가 배치되는 콘크리트댐 경사면 및 상면을 도시한다.

도 7은 광학 카메라의 초점 유지 원리를 나타내는 도면이다.

1) Auto Focusing

AF 방식으로는 위상차 검출방식(위상차 AF)과 콘트라스트 검출방식(콘트라스트 AF)이 사용된다.

위상차 AF는 과거 필름 카메라(SLR)부터 적용되던 기술이다.

피사체에서 반사된 빛(이미지)이 렌즈로 들어오면 렌즈 뒷부분에서 이 빛을 나눠 카메라 내부에 있는 두 개 이상의 AF 센서로 각각 보낸다.

AF 센서는 이 빛이 센서 위에서 서로 얼마나 떨어져 있는지를 계산하고, 렌즈를 움직여 두 빛의 거리가 최적 값에 맞도록 조절해 초점을 맞춘다.

주로 DSLR 카메라에 사용되는 방식으로 초점을 맞추는 속도가 빠르다.

참고로 이런 방식을 'TTL(Through the lens) 위상차 AF'라고 한다. 렌즈를 통과했다는 의미이다.AF

2) 위상차 AF 구조

그런데 TTL 위상차 AF는 콤팩트 카메라나 미러리스 카메라에 적용하기 어렵다. 그 이유는, 카메라 내부 공간이 작아 렌즈와 센서 사이의 거리가 너무 가깝기 때문이다.

그러므로 일부 콤팩트 카메라는 외부에 센서를 장착해 위상차 AF를 적용하지만, 대부분은 콘트라스트 AF를 적용한다.

이미지 센서를 AF 센서로 사용하기 때문에 카메라 내부 공간이 작아도 적용할 수 있다.

3) 콘트라스트 AF

콘트라스트 AF는 피사체의 대비, 즉 밝은 부분과 어두운 부분의 차이를 구별해 초점을 잡는 방식이다.

초점이 정확하게 맞으면 이미지 윤곽이 뚜렷해 콘트라스트(대비)가 높아지고, 초점이 맞지 않으면 윤곽이 흐려져 콘트라스트가 낮아진다.

콤팩트 카메라 사용 시 반셔터로 초점을 맞추면 액정 화면에 나타나는 이미지가 흐려지고 선명해짐을 반복하다 초점이 맞는 것을 볼 수 있다.

카메라가 렌즈를 움직이며 콘트라스트가 가장 높은 곳을 찾는 과정이다.

이 방식은 위상차 AF보다 초점이 정확하다는 장점이 있지만, 초점을 잡는 속도가 느리다.

위상차 AF는 AF 센서에 들어온 빛을 계산해 렌즈를 앞으로 움직일지 뒤로 움직일지 결정하면 되지만, 콘트라스트 AF는 렌즈를 앞뒤로 모두 움직여가며 정확한 초점을 찾기 때문이다.

더욱이 이미지 센서가 크다는 점도 초점 잡는 속도를 저하시키는 요인이 된다.

캠코더나 스마트폰 등에 들어가는 이미지 센서는 크기가 작아 이미지를 분석하는데 시간이 오래 걸리지 않는다.

하지만, 미러리스 카메라처럼 대형 이미지 센서를 장착한 카메라는 이미지에 담겨있는 정보가 많아 이를 분석하는데 시간이 걸리고, 그만큼 초점 잡는 속도도 느려진다.

도 8는 콘트라스트 AF, 하이브리드 CMOS AF 시스템, 위상차 AF의 AF 개시 위치 및 초점을 나타내는 도면이며, 이하 [표 1]은 위상차 AF와 콘트라스트 AF를 항목별로 비교한 표이다.

No.	항 목	위상차 AF	Contrast AF	Hybrid	비 고
1	기술개발 년도	필름카메라부터 사용된 기술	미러리스 카메라 등장	2010	대략
2	기술개발사			후지필름F300EXR
3	속 도	빠름	느림	중간
4	카메라무게	중량	경량	경량
5	카메라크기	크다	작다	작다
6	측정범위	측거점의 갯수	화면전체	화면전체,포인트선택
7	거리측정기	○	×	이미지센서=거리측정기
8	빛의 민감도	영향이적음	어두울수록 느려짐	중간
9	적용카메라	DSLR 및 SLR	스마트폰 소형카메라 캠코더 미러리스	최신 하이엔드 미러리스
10	Brand	캐논/니콘/소니	파나소닉/소니	파나소닉/캐논/니콘/소니
11	CCD/CMOS	최고급기 CCD대부분 CMOS	대부분 CMOS	대부분 CMOS
12	Body 가격대(4K)	캐논5D Mark IV 330만원	소니 알파A6500 140만원	파나소닉 GH5 220만원	적정가
13	Machine Vision(Area Scan)	×	○
14	균열검출적합도(품질)	상	하	중
15	균열검출적합도(촛점)	상	하	중	피사체 거리변화
16	균열검출적합도(심도)	상	하	중
17	8K 출시 예정일
	종합의견	AF의 속도나 품질면에서 뛰어난 퍼포먼스를 낼 수 있으나 위상차 센서의 특성상 진동에 취약함	빛에 가장 영향을 많이 받는 방식으로서 터널등 광량이 부족한 공간에선 부적합	전체적인 AF속도나 정확도 등이 중상급 DSLR급으로 기술개발

도 9는 본 발명의 실시예에 따른 초점 유지 장치를 나타내는 도면이다.

본 발명의 실시예에 따르면, 거리 측정기를 이용하여 피사체(터널 등의 벽면)과의 기준 거리를 측정(도면 등을 활용 거리값 산출)하고, 기준 거리에서 가까워지거나 멀어 질수록 전동모터를 좌측 또는 우측으로 일정 횟수 회전시킨다.

즉, 기존 카메라의 AF기능을 외부 장치로 구현하여, 거리 값을 함께 획득 할 수 있으며, 획득된 데이터를 기반으로 주행 보정이나 좀더 정밀한 포커싱이 가능하다.

도 9는 시중 판매 제품에 모터를 추가한 모습을 나타낸 도면이며, 우측 기어비를 높여 포커스 속도를 올린 예상도를 도시한다.

피사계 심도에 영향을 주는 요소는 4가지가 있다.

초점 거리는, 초점 거리가 길어질 수록 심도가 얕아진다.

피사체와의 거리는, 피사체와의 거리가 가까워 질수록 피사계 심도가 얕아진다.

조리개는, 조리개 값이 작을 수록 피사계 심도가 얕아진다(도 10은 조리개 수치를 나타내는 예시도이다).

센서 크기는, 센서 크기가 작아질 수록 피사계 심도가 얕아진다.

도 11 내지 도 13은 본 발명의 실시예에 따른 피사계 심도에 영향을 주는 초점 거리, 피사체와의 거리, 조리개 값을 나타내는 도면이다.

도 11에 도시한 바와 같이, 심도는 초점 거리의 제곱에 반비례하여, 예컨대 초점 거리가 3배가 되면 피사계 심도는 1/9로 얕아진다.

도 12에 도시한 바와 같이, 심도는 피사체와의 거리의 제곱에 반비례하여, 예컨대 피사체와의 거리가 1/4로 가까워지면 심도는 1/16으로 얕아진다.

도 13에 도시한 바와 같이, 심도는 조리개 값에 비례하여, 예컨대 조리개 값이 2에서 2.8이 되면, 피사계 심도는 1/1.4배 깊어지게 된다.

센서의 크기와 심도는 비례하여, 센서 크기가 1.5배 커지면 심도가 1.5배 깊어지게 된다.

이를 정리하면 아래 [수학식 1]과 같다.

오토 포커스의 경우 움직임이 빠른 대상, 예컨대 스포츠 경기중 달리는 사람, 날아가는 골프공, 슛을 한 축구공등 카메라가 움직이거나 대상이 움직이는 경우에 많이 사용된다.

수동포커스의 경우 드라마 촬영, 영화촬영, 광고 촬영등 정해진 움직임이 있고 연출 되어진 공간에서 촬영 할 때 좀더 정확한 포커싱을 위해 사용된다.

느린 이동속도나 동선이 짧을 경우 배우와 카메라 감독이 합을 맞추어 포커스를 움직이며 촬영을 한다.

현 사용 중인 위상차 AF에서 거리 값 추출 여부에 대하여 살펴보면, Camera의 CCD Size 및 Lens의 Focal Length를 알고 있다면 Focus가 맺혔을 때 Focus 값으로 분터 간단한 수식으로 연산이 가능하다.

그러나 일반적으로 CCD나 Lens의 사양을 알 수가 없기 때문에 이 값을 알고 있는 피사체의 거리로부터 거꾸로 연산해 내야 한다. 즉, 카메라가 바뀔 때 마다 계산을 해야 한다.

또한, Focus 값을 이용하여 역 연산하는 것은 정밀도가 그다지 높지 않다.

거리에 따라 정밀도는 달라지겠으나, 5m 정도라 가정하면 해상도가 5M 급이므로 Checker Board를 찍으면 대략 1mm 정도의 해상도를 가지므로 대략 10mm 정도의 정밀도를 가져 올 수있고 Focus가 잘 맞지 않는 경우도 가정하면 평균 50mm 정도의 오차범위가 예상된다.

본 발명의 실시예에 따르면, 딥러닝 심층신경망 중 하나인 복합 CNN을 이용하여 인공지능 기반 균열/결함 검출을 수행한다.

복합 CNN은 컨볼루셔널 뉴럴 네트워크에 Boltzmann Machine 또는 Hopfield Net에 사용되는 에너지 이론을 접목하여 CNN의 유일한 단점인 느린 학습속도를 향상시킨 최신의 인공지능 아키텍처이다.

복합 CNN은 신경망의 깊이를 증가시켜 미세하고 복잡한 균열이나 결함의 형상까지 표현할 수 있을 뿐 아니라 다양한 과적합 방지 기법(Dropout 등)을 적용할 수 있어 일반화된 검출정확도가 매우 높으며 학습 데이터셋의 품질과 규모에 따라 90% 후반대까지 기대할 수 있다.

도 14는 인공지능 알고리즘을 이용한 결함정보 자동 검출 및 작도 프로그램을 도시한다.

본 발명의 실시예에 따르면, 이미지 프로세싱 및 인공지능 알고리즘 기반의 균열 등 결함검출 프로그램을 통해, 정확하고 자동화된 프로세스로 실행되는 장점이 있다.

심층신경망의 특성상 고해상도 이미지(4K/UHD급 이상)를 이용해 수십회 이상 행렬연산을 해야 하는 문제점을 해결하기 위하여, 분산병렬처리 기술이 도입된다.

전술한 행렬연산은 CPU의 처리시간을 증폭시켜 가로 200m 세로 100m의 댐 시설물의 촬영이미지를 처리하는데 고성능 PC[3.5GHz 이상] 1대로 약 69일(이미지 1장당 5분)이 소요된다.

분산병렬처리 기술은 복수의 PC를 네트워크로 연결한 후 작업 자동할당(Job Scheduling) 프로그램이 연산에 참여하지 않은 CPU 및 GPU 자원을 검색하여 쉬지 않고 연산하도록 한 후 연산결과를 자동으로 통합하는 프로그램이다.

처리속도를 20배에서 최대 40배까지 증가시켜 20,000장의 이미지를 48시간 이내에 처리하는 기술이다.

도 15는 본 발명의 실시예에 따른 분산병렬처리의 개념도이고, 도 16은 분산병렬처리 테스트 결과를 도시한다.

20,000제곱미터의 면적에 대해 48시간 이내에 처리 가능하며, 10대 기준 20배 이상 속도 향상을 확인하였다.

한편, 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 영상처리 기반의 댐 및 교량 시설물 점검 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 점검 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 영상처리 기반의 댐 및 교량 시설물 점검 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 소형로봇 110: 촬영부
120: 제어부 130: 조명부
140: 구동부 150: 높이조절부
200: 특수차량 210: 로봇제어부
220: 자율주행제어부 230: 데이터송출부
240: 구동부 250: 전원부

Claims (7)

1. 댐 시설물 및 교량 시설물 중 수직벽체 또는 경사도를 갖는 시설물의 균열 및 결함 검출을 수행하기 위해 영상을 획득하는 촬영부와, 조명부를 포함하는 로봇; 및
   상기 로봇으로 전원을 공급하고, 상기 로봇의 이동을 제어하며, 영상 데이터를 송출하는 차량을 포함하고,
   상기 로봇은 시설물의 균열 및 결함 검출을 위한 영상 촬영 시, 피사체와 카메라의 거리를 측정하는 레이저 거리 측정 장치, 초음파 측정 거리 장치를 구비하고, 카메라의 외부에 배치되어 상기 카메라에 부착된 렌즈를 회전시켜 카메라 초점을 유지하는 포커스링을 구비하고, 상기 포커스링을 구동하는 모터, 상기 모터와 상기 포커스링 사이에 배치되어 포커스 속도를 향상시키는 기어부를 구비하며, 상기 피사체와 카메라의 거리와 기준 거리를 비교하여 분석한 결과에 따라 상기 포커스링을 구동하는 모터를 제어하는 모듈을 포함하고,
   상기 로봇은 리프팅 프레임에 의해 높이가 가변되어, 촬영면적을 기설정 배수까지 변경하도록 상기 피사체와 상기 카메라의 거리가 조절되고, 상기 모터는 상기 피사체와 상기 카메라의 거리가 상기 기준 거리보다 가까워지고 멀어짐에 따라 좌측 및 우측으로 기설정 횟수 회전되어 초점이 유지되고,
   상기 로봇은 위치 확인용 RTK-GPS를 포함하고, 상기 리프팅 프레임과 조립 해체가 가능한 모듈형 소형 로봇인 것
   인 영상처리 기반의 댐 및 교량 시설물 점검 시스템.
   
2. 제1항에 있어서,
   상기 촬영부는 복수의 광학디지털 카메라를 포함하는 것
   인 영상처리 기반의 댐 및 교량 시설물 점검 시스템.
   
3. 제2항에 있어서,
   상기 촬영부를 보조하는 열화상 카메라, RGBD 카메라, multi-spectral 카메라 및 레이저 라인스캔카메라를 더 포함하는 것
   인 영상처리 기반의 댐 및 교량 시설물 점검 시스템.
   
4. 제1항에 있어서,
   상기 차량은 상기 로봇의 상하 이동을 와이어로프로 제어하는 로봇제어부와, 영상데이터를 무선으로 서버에 송출하는 데이터송출부와, 발전기와 배터리를 구비하여 상기 로봇에 케이블을 통해 전원을 공급하는 전원부와, 자율주행을 위해 구비되는 GPS, 마이크로 PC 및 레이저 거리센서를 포함하는 자율주행제어부와, 엔진 및 바퀴를 포함하는 구동부를 포함하는 것
   인 영상처리 기반의 댐 및 교량 시설물 점검 시스템.
   
5. 삭제
6. 삭제
7. 삭제

Images