KR101762927B1 - 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템 - Google Patents

드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템 Download PDF

Info

Publication number
KR101762927B1
KR101762927B1 KR1020170027292A KR20170027292A KR101762927B1 KR 101762927 B1 KR101762927 B1 KR 101762927B1 KR 1020170027292 A KR1020170027292 A KR 1020170027292A KR 20170027292 A KR20170027292 A KR 20170027292A KR 101762927 B1 KR101762927 B1 KR 101762927B1
Authority
KR
South Korea
Prior art keywords
drone
image
fine dust
drones
main body
Prior art date
Application number
KR1020170027292A
Other languages
English (en)
Inventor
이종훈
황인규
박성근
신재호
변정민
Original Assignee
공간정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공간정보기술 주식회사 filed Critical 공간정보기술 주식회사
Application granted granted Critical
Publication of KR101762927B1 publication Critical patent/KR101762927B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 드론이 촬영한 영상으로 파노라마 영상을 구성하고 라벨링하기 위해 필요한 모듈을 제안하고 촬영된 영상과 GIS데이터를 이용하여 드론으로 촬영된 영상 위에 부가 정보를 라벨링하는 기능을 제공하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에 관한 것으로 정지영상, 동영상 콘텐츠와 소형 부착장비에서 취득한 위치, 자세 데이터 간 동기화하고, 드론으로 촬영한 파노라마 정지영상/동영상과 GIS 데이터를 동기화하여 사용자에게 부가 정보가 표시된 파노라마 정지영상/동영상을 서비스를 수행하는 특징이 있다.

Description

드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템{System of panorama auto labeling with dron captured image}
본 발명은 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에 관한 것으로서, 더욱 상세하게는 드론으로 촬영한 영상으로 파노라마 영상을 구성하고 라벨링하기 위해 필요한 모듈을 제안하고 촬영된 영상과 GIS데이터를 이용하여 드론으로 촬영된 영상 위에 부가 정보를 라벨링하는 기능을 제공하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에 관한 것이다.
무인항공기 ‘드론’ 기술이 발달함에 따라 여러 형태로 활용되고 있다. 초기에는 주로 군사용으로 개발되었지만 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안/환경 감시, 대형 건축물 감시, 산불/산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출/추적/작전 수행, 익스트림 스포츠 촬영, 지형 및 구조물 모델링 등과 같은 곳에 사용되고 있으며 드라마, 예능, 관광지 촬영 등에 사용되고 있다.
그러므로 드론을 이용하여 촬영한 파노라마 영상에 부가 정보 표시 서비스를 제공하기 위한 파노라마 라벨링 시스템 구성을 개발하고, 제안된 시스템을 활용하여 파노라마 뷰에 라벨링하기 위한 기술을 개발할 필요가 있다.
한국 등록특허 제10-1328233호(2013.11.14.공고.), “영상처리 시스템의 라벨링 장치 및 방법” 한국 등록특허 10-1392978호(2014.05.08.공고.), “하이브리드 병렬 처리를 이용한 영상 내 영역 라벨링 장치 및 방법”
본 발명은 드론으로 촬영된 영상을 기반으로 파노라마 영상에 라벨링을 하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템을 제공한다.
즉, 일반적인 파노라마 영상은 사용자에게 단순히 어떠한 지역의 360˚ 영상을 제공할 뿐이므로, 본 발명은 파노라마 영상을 제공하는 것뿐만 아니라 주변의 부가 GIS 정보를 표시하여 사용자가 관광지 안내, 사전 답사 같은 실감형 컨텐츠 서비스를 제공하도록 하는 것에 목적이 있으며, 이를 위해 본 발명은 정지영상/동영상 콘텐츠와 소형 부착장비에서 취득한 위치/자세 데이터 간 동기화 및 드론으로 촬영한 파노라마 정지영상/동영상과 GIS 데이터를 동기화하여 사용자에게 부가 정보가 표시된 파노라마 정지영상/동영상을 서비스를 제공하려는 것이다.
또한, 본 발명은 드론으로 촬영한 영상으로 파노라마 영상을 구성하고 라벨링하기 위해 필요한 모듈을 제안하고 촬영된 영상과 GIS데이터를 이용하여 드론으로 촬영된 영상 위에 부가 정보를 라벨링하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템을 제공한다.
또한, 본 발명은 드론을 이용하여 촬영한 파노라마 영상에 부가 정보 표시 서비스를 제공하기 위한 파노라마 라벨링 시스템 구성을 포함하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템을 제공한다.
또한, 본 발명은 제안된 시스템을 활용하여 파노라마 뷰에 라벨링하기 위한 방법을 제시한다.
본 발명의 제 1 측면에는 드론을 이용하여 촬영한 파노라마 영상에 부가 정보 표시 서비스를 제공하기 위한 파노라마 라벨링 시스템 구성을 포함한다.
본 발명의 제 2 측면에는 제 1 측면에서 제안된 시스템을 활용하여 파노라마 뷰에 라벨링하기 위한 방법을 제안한다.
본 발명은 정지영상, 동영상 콘텐츠와 소형 부착장비에서 취득한 위치, 자세 데이터 간 동기화하고, 드론으로 촬영한 파노라마 정지영상/동영상과 GIS 데이터를 동기화하여 사용자에게 부가 정보가 표시된 파노라마 정지영상/동영상을 서비스를 수행하는 시스템이다.
본 발명에 따른 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템은 360˚ 카메라(113)가 부착되어 있으며, 현재의 위치를 측정하는 측위 모듈(111) 및 위치의 자세를 측정하는 자세 측정 모듈(112)이 탑재되고, 정지영상 및 동영상을 획득하는 드론(110)과, 상기 드론(110)을 통해 획득되는 정지영상 및 동영상이 저장되는 영상 콘텐츠 데이터베이스(130)와, GIS 정보를 저장하고 있는 GIS 데이터베이스(140)와, 파노라마와 GIS 정보를 서로 매칭 시켜주는 PGM Manager(150)와, 상기 PGM Manager(150)에서 매칭된 결과를 웹 기반으로 사용자에게 제공하는 WAS(160: Web Application Server)를 포함하여 상기 WAS(160)는 상기 드론(110)을 통해 획득된 정지영상 콘텐츠, 동영상 콘텐츠 및 해당 콘텐츠를 획득하는 과정 시의 상기 드론(110)의 취득한 위치, 자세 데이터 간을 동기화하고, 상기 드론(110)으로 촬영한 파노라마 정지영상 및 동영상과 GIS 데이터를 동기화하여 사용자 단말기(170)에게 부가 정보가 표시된 파노라마 정지영상 및 동영상 서비스를 수행하며, 상기 드론(110)은 하부를 개방한 제1 설치공간(114a)이 내측에 형성되고, 상기 제1 설치공간(114a)의 상면에 구동축(114c)을 수직 방향으로 위치시키면서 설치되는 정역회전모터(114b) 및 상기 정역회전모터(114b)의 구동축(114c)에 결합되어 상기 정역회전모터(114b)의 구동 시 상기 구동축(114c)과 연동하여 회전되는 나선봉(114d)을 포함하며, 상기 제1 설치공간(114a)을 감싸는 동시에 하부를 개방한 형태의 제2 설치공간(114e)이 형성되는 드론 본체(114)와, 상기 드론 본체(114)의 하부 둘레를 따라 복수로 형성되는 연결부(115)와, 상기 연결부(115)에 길이방향의 일단이 결합되고 길이방향의 타단은 상기 드론 본체(114)의 바깥쪽으로 수평 연장되는 형태로 상기 연결부(115)별 설치되는 지지대(116)와, 상기 지지대(116)의 상기 연결부(115)와 결합된 일단의 반대쪽 단부에 설치되며, 추력을 발생시키는 추진부(117)와, 상기 지지대(116)의 아래에 구비되는 착륙부(118)와, 상기 드론 본체(114)의 나선봉(114d)에 나사 결합되는 나선관(119a)이 상면에 설치되고, 상기 드론 본체(114)의 제1 설치공간(114a)에 회전 방지되는 상태로 수용되어 상기 정역회전모터(114b)의 정역 회전에 따라 승강 또는 하강되며, 하부를 개방한 카메라 설치공간(119b)이 내측에 형성되어 상기 카메라 설치공간(119b)에 상기 360˚ 카메라(113)가 설치되는 카메라 설치대(119)와, 상기 드론 본체(114)의 상기 제2 설치공간(114e)의 상면 네 모서리 영역에 각각 설치되는 복수의 실린더(120)와, 네 측면(121a∼121d)의 양단이 서로 연결되어 상부 및 하부가 개방된 박스형 구조를 가지며, 상기 네 측면(121a∼121d)이 상기 드론 본체(114)의 제2 설치공간(114e)의 해당 영역에 각각 삽입되어 상기 네 측면(121a∼121d) 간의 연결 영역에 상기 실린더(120)들 중 해당 실린더(120)의 로드(120a) 선단이 결합되며, 상기 네 측면(121a∼121d)은 각각 공기의 통과를 위한 관통형 개방부(121e∼121h)가 형성되는 미세먼지 차단 박스(121)와, 상기 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 상기 개방부(121e∼121h)에 탈착 가능하게 결합되는 미세먼지 필터(122)와, 상기 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 상기 미세먼지 필터(122)보다 안쪽에서 상기 개방부(121e∼121h)에 설치되는 송풍장치(123)와, 상기 드론 본체(114)의 하부에 수평 방향을 기준으로 양측에 각각 회전 가능하게 결합되어 상기 드론 본체(114)의 제1 설치공간(114a)을 개폐하는 한 쌍의 본체 커버(124a,124b)와, 상기 드론 본체(114)에 설치되어 외부로부터 지역별 미세먼지 정보를 수신하는 무선통신모듈(125)과, 상기 드론 본체(114)에 설치되어 현재 풍향을 감지하는 풍향감지센서(126)와, 상기 송풍장치(123)의 작동 제어를 위한 외부 미세먼지의 임계값이 사전 설정되며, 상기 드론(110)의 측위 모듈(111)로부터 입력되는 현재의 위치정보 및 상기 무선통신모듈(125)을 통해 입력되는 지역별 미세먼지 정보를 기준으로 현재 위치의 주변 미세먼지 농도가 상기 외부 미세먼지의 임계값을 초과하는 경우 상기 풍향감지센서(126)를 통해 입력되는 현재 풍향 정보를 기준으로 상기 송풍장치(123) 중 해당 위치의 송풍장치(123) 작동을 제어하는 제어부(127)를 포함하며, 상기 드론(110)의 무선통신모듈(125)에 상기 360˚ 카메라(113)의 작동 제어를 위한 신호를 전송하는 드론 원격제어 단말기(200)를 더 포함하여, 상기 제어부(127)는 상기 무선통신모듈(125)을 통해 입력되는 상기 드론 원격제어 단말기(200)의 제어신호에 따라 상기 실린더(120) 및 본체 커버(124a,124b)의 개폐를 제어하는 것일 수 있다.
본 발명은 드론을 이용하여 촬영한 파노라마 영상에 부가 정보 표시 서비스를 제공하기 위한 파노라마 라벨링 시스템 구성을 포함하여 제공하는 장점이 있다.
또한, 본 발명은 제안된 시스템을 활용하여 파노라마 뷰에 라벨링하기 위한 방법을 제시하는 장점이 있다.
도 1 은 네이버 지도 위에 라벨링하는 상태 도시도,
도 2 는 드론 촬영 영상 기반의 파노라마 라벨링 시스템 구성도,
도 3 은 카메라의 팬, 틸트에 의한 자세보정 정보의 최대값과 최소값 도시도,
도 4 는 3 차원에서의 드론 위치와 각 건물의 좌표 점 위치 도시도,
도 5 는 파노라마 영상에서 POI의 이미지 좌표 계상 도시도,
도 6 은 파노라마 영상에서 영상 기준과 진북방향의 오차 보정 상태 도시도,
도 7 은 파노라마 이미지 위에 라벨링하는 상태 도시도,
도 8은 본 발명의 일 실시 예에 따른 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에서 드론의 구성을 예시한 사시도,
도 9는 도 8의 실시 예에 따른 드론의 요부를 예시한 단면도,
그리고
도 10은 도 8의 실시 예에 따른 드론의 전기적 구성을 예시한 블록도이다.
첨부된 도 1 은 네이버 지도 위에 라벨링하는 상태 도시도이고, 도 2 는 드론 촬영 영상 기반의 파노라마 라벨링 시스템 구성도이고, 도 3 은 카메라의 팬, 틸트에 의한 자세보정 정보의 최대값과 최소값 도시도이고, 도 4 는 3 차원에서의 드론 위치와 각 건물의 좌표 점 위치 도시도이고, 도 5 는 파노라마 영상에서 POI의 이미지 좌표 계상 도시도이고, 도 6 은 파노라마 영상에서 영상 기준과 진북방향의 오차 보정 상태 도시도이고, 도 7 은 파노라마 이미지 위에 라벨링하는 상태 도시도이다.
이하, 첨부된 도면을 모두 참조하여 본 발명을 상세히 설명한다.
본 발명은 드론을 이용하여 파노라마 영상을 촬영하고 이를 이용하여 파노라마 부가 정보 라벨링에 관한 것으로 커다란 범주에서는 드론을 이용한 사진 측량으로 분류할 수 있다.
상술한 바와 같이, 무인항공기 ‘드론’은 그 기술이 발달함에 따라 여러 형태로 활용되고 있다. 초기에는 주로 군사용으로 개발되었지만 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안/환경 감시, 대형 건축물 감시, 산불/산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출/추적/작전 수행, 익스트림 스포츠 촬영, 지형 및 구조물 모델링 등과 같은 곳에 사용되고 있으며 드라마, 예능, 관광지 촬영 등에 사용되고 있다.
드론은 다양한 분야에서 활용되어지고 있는데 분야에 따라 드론에 탑재되는 하드웨어 역시 다르게 구성되어지고 있다. 최근에는 VR시장에 확대로 드론에 360˚ 카메라를 탑재하고 파노라마 영상을 촬영하여 가보지 못한 장소의 사진이나 영상을 촬영하여 체험해보지 못한 각종 레포츠를 간접적으로 경험할 수 있도록 하는 서비스가 많이 출시되고 있다.
도 2는 드론 촬영 영상 기반의 파노라마 라벨링 기능을 제공하도록 구성하기 위한 시스템 이다.
본 발명이 제안하는 “드론 촬영 영상 기반의 파노라마 라벨링” 기술은 드론에서 촬영한 정지영상/동영상을 GIS 데이터와 매칭 시키기 위한 구성이 필요하다.
본 발명은 정지영상/동영상을 저장할 데이터베이스와 GIS 정보를 저장하고 있는 GIS 데이터베이스가 필요하다. PGM Manager는 파노라마와 GIS 정보를 서로 매칭 시켜주는 모듈이다. 드론 파노라마 라벨링 서비스는 웹 기반으로 동작하며 PGM Manager에서 매칭된 결과를 WAS(Web Application Server)를 통해 사용자에게 제공된다. 드론에는 360˚ 카메라가 부착되어 있으며 현재의 위치를 측정하는 측위 모듈, 위치의 자세를 측정하는 자세 측정 모듈이 탑재 되어 있으며 이에 대한 정보를 저장한다고 가정한다.
3차원에서의 파노라마 라벨링 방법
360° 파노라마 영상이 출력되는 3D 공간상에서 POI(Point Of Interest) 정보의 위치를 결정하기 위해 360° 파노라마 영상의 촬영 위치좌표와, 부가정보를 표시할 장소나 건물 등의 위치좌표를 사용한다. 촬영 위치좌표와 POI 위치좌표로 두 지점간의 x, y 거리와 직선거리를 알 수 있다. 세 개의 직선으로 이루어지는 삼각형에서 두 지점사이의 각도를 구할 수 있다. 두 지점 사이의 각도만큼 진북방향에서 회전한 곳이 실제로 해당 POI가 존재하는 방향이 된다. 이 때 촬영 위치를 원점으로 두었을 때, POI가 어떤 사분면에 존재 하는지에 따라 회전하는 각도가 조금씩 달라진다. 두 지점간의 각도를 ‘θ’ 라고 할 때, 각각의 사분면에서 팬 값을 구하는 방법은 다음과 같다.
1사분면) 90 - θ
2사분면) 90 + θ
3사분면) 270 - θ
4사분면) 270 +θ
카메라의 기울기인 틸트 값을 구할 때도 위와 같은 방식을 사용한다. 두 값의 기준은 위의 그림과 같다. 팬 값은 진북방향을 기준으로 0°로 시작하여 최대 359°로 표현이 된다. 틸트 값은 기울기가 0인 지점을 기준으로 위로 기울일 때는 +90°, 아래로 기울일 때는 90° 까지 값이다.
이러한 상태가 첨부된 도 3 에 잘 도시되어 있다.
한편, 3차원에서 2차원과는 다르게 z축이 하나 더 추가 된다. 그렇기 때문에 연직방향으로 볼 경우 건물의 위치 좌표를 각각 표시하면 도 4 에 도시된 것과 같다.
건물의 위치의 경우 드론의 현재 위치와 건물의 GPS 위치를 연산하여 알 수 있다. 건물 1의 경우 현재 드론의 위치와 x방향으로 3, y방향으로 3만큼 떨어져있다. 연직 방향으로 볼 경우 건물 1의 위치의 좌표를 (x1, y1, z1)이라고 하고 드론의 위치를 (x0, y0, z0)라고 하면 다음과 같이 거리를 구할 수 있다.
Figure 112017021285617-pat00001
로 구할 수 있고 또한,
Figure 112017021285617-pat00002
로 구할 수 있다.
이 때, 건물 1의 부가 정보를 사용자가 보기 편한 위치에 라벨링하기 위해선 드론에서의 Θ1를 알아야 한다. 실제 좌표들의 연산을 통해 벡터를 구하고 이를 이용하여 Θ를 구해야 하지만 드론에는 위치를 측정하는 측위 모듈, 위치의 자세를 측정하는 자세 측정 모듈이 탑재된 것으로 가정했기 때문에 카메라의 팬, 틸트 값을 알아낼 수 있다.
계산된 팬 값과 틸트 값은 각각 이미지 좌표의 x, y에 대응된다. 이미지의 가로 해상도를 360으로 나누면 팬 값 1°당 픽셀의 개수를 뜻한다. 위의 사진을 통해 예를 들어보겠다. 사진의 정 중앙 부분이 원점이고 주황색 박스의 버스가 타겟 POI이다. 이미지의 가로 해상도의 크기가 1920이고 팬 값이 약 160° 일 때, 해당 POI는 이미지 좌표 상에서 x축으로 약 853픽셀 떨어진 곳에 위치한다. 틸트 값은 약 -30° 이고, 위와 같은 방법을 사용하면 y축 아래 방향으로 약 66px 떨어진 곳이 이미지 상에서의 POI의 위치가 된다. 이 이미지 상에서의 위치는 360° 파노라마 영상이 출력되는 3D공간과 매핑 되어 부가정보를 파노라마 영상에서 출력한다.
위의 방법으로 팬 값을 구할 경우 한 가지 문제점이 있다. 파노라마 영상을 3D 공간에 표현할 시 영상의 중앙부분을 0°로 인식한다. 하지만 위에서 계산한 팬 값은 진북 방향을 0°로 두고 계산했기 때문에 영상에서의 0°와 영상 안에서 진북 방향만큼의 각도 오차가 발생한다.
위의 사진에서 보면 초록색 점선이 영상에서의 0°이고, 빨간색 실선이 실제 진북 방향이다. 두 선 사이의 각도 오차는 약 25°로, 영상을 기준으로 계산 할 경우 실제보다 25°의 오차가 발생하여 부가정보를 정확한 위치에 삽입할 수 없다. 따라서 이 오차만큼 수치를 보정해 주어야 한다. 오차각도를 구하기 위해서는 영상을 스티칭 할 때 기준이 되는 카메라의 자세정보를 사용한다. 기준이 되는 카메라의 자세정보에는 진북 방향을 기준으로 한 방위각을 포함하고 있기 때문에 해당 각도가 바로 진북 방향에 대한 오차가 된다.
위의 과정을 거치면 다음과 같이 파노라마 영상 위에 부가 정보 서비스를 표시할 수 있게 된다.
다음은 도 8 내지 10을 참조하여 본 발명의 일 실시 예에 따른 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에서 정지영상 및 동영상을 획득하는 드론에 대해 설명한다.
도 8은 본 발명의 일 실시 예에 따른 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템에서 드론의 구성을 예시한 사시도이고, 도 9는 도 8의 실시 예에 따른 드론의 단면도이며, 10은 도 8의 실시 예에 따른 드론의 전기적 구성을 예시한 블록도이다.
도시된 바와 같이, 드론(110)은 드론 본체(114), 연결부(115), 지지대(116), 추진부(117), 착륙부(118), 카메라 설치대(119), 실린더(120), 미세먼지 차단박스(121), 미세먼지 필터(122), 송풍장치(123), 본체 커버(124a, 124b), 무선통신모듈(125), 풍향감지센서(126), 제어부(127)를 포함하여 구성된다.
드론 본체(114)는 하부를 개방한 제1 설치공간(114a)이 내측에 형성되고, 제1 설치공간(114a)의 상면에 구동축(114c)을 수직 방향으로 위치시키면서 설치되는 정역회전모터(114b) 및 정역회전모터(114b)의 구동축(114c)에 결합되어 정역회전모터(114b)의 구동 시 구동축(114c)과 연동하여 회전되는 나선봉(114d)을 포함하여 구성된다. 그리고 드론 본체(114)는 제1 설치공간(114a)을 감싸는 동시에 하부를 개방한 형태의 제2 설치공간(114e)이 형성된다.
연결부(115)는 드론 본체(114)의 하부 둘레를 따라 복수로 형성된다.
지지대(116)는 연결부(115)에 길이방향의 일단이 결합되고 길이방향의 타단은 드론 본체(114)의 바깥쪽으로 수평 연장되는 형태로 연결부(115)별 설치된다.
추진부(117)는 지지대(116)의 연결부(115)와 결합된 일단의 반대쪽 단부에 설치되며, 이러한 추진부(117)는 드론(110)의 추력을 발생시키는 기능을 한다.
착륙부(118)는 지지대(116)의 아래에 구비되며, 이러한 착륙부(118)는 드론(110)의 착륙 시 우선적으로 착륙 면에 접하는 기능을 한다.
카메라 설치대(119)는 드론 본체(114)의 나선봉(114d)에 나사 결합되는 나선관(119a)이 상면에 설치되고, 드론 본체(114)의 제1 설치공간(114a)에 회전 방지되는 상태로 수용되어 정역회전모터(114b)의 정역 회전에 따라 승강 또는 하강된다. 그리고 카메라 설치대(119)는 하부를 개방한 카메라 설치공간(119b)이 내측에 형성되어 카메라 설치공간(119b)에 드론(110)의 360˚ 카메라(113)가 설치된다.
실린더(120)는 복수로 제공되어 드론 본체(114)의 제2 설치공간(114e)의 상면 네 모서리 영역에 각각 설치된다.
미세먼지 차단박스(121)는 네 측면(121a∼121d)의 양단이 서로 연결되어 상부 및 하부가 개방된 박스형 구조를 가지며, 네 측면(121a∼121d)이 드론 본체(114)의 제2 설치공간(114e)의 해당 영역에 각각 삽입되어 네 측면(121a∼121d) 간의 연결 영역에 실린더(120)들 중 해당 실린더(120)의 로드(120a) 선단이 결합된다. 그리고 미세먼지 차단박스(121)는 그 네 측면(121a∼121d)이 각각 공기의 통과를 위한 관통형 개방부(121e∼121h)를 형성하고 있다.
미세먼지 필터(122)는 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 개방부(121e∼121h)에 탈착 가능하게 결합된다.
송풍장치는 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 미세먼지 필터(122)보다 안쪽에서 개방부(121e∼121h)에 설치된다.
본체 커버(124a, 124b) 한 쌍으로 이루어져 드론 본체(114)의 하부에 수평 방향을 기준으로 양측에 각각 회전 가능하게 결합되며, 이러한 본체 커버(124a, 124b)는 드론 본체(114)의 제1 설치공간(114a)을 개폐하는 기능을 한다.
무선통신모듈(125)은 드론 본체(114)에 설치되어 외부로부터 지역별 미세먼지 정보를 수신한다.
풍향감지센서(126)는 드론 본체(114)에 설치되어 현재 풍향을 감지한다.
제어부(127)는 송풍장치(123)의 작동 제어를 위한 외부 미세먼지의 임계값이 사전 설정된다. 이에 따라 제어부(127)는 드론(110)의 측위 모듈(111)로부터 입력되는 현재의 위치정보 및 무선통신모듈(125)을 통해 입력되는 지역별 미세먼지 정보를 기준으로 현재 위치의 주변 미세먼지 농도가 상기 외부 미세먼지의 임계값을 초과하는 경우 풍향감지센서(126)를 통해 입력되는 현재 풍향 정보를 기준으로 송풍장치(123) 중 해당 위치의 송풍장치(123) 작동을 제어한다.
그리고 본 발명의 일 실시 예에 따른 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템은 드론(110)의 무선통신모듈(125)에 360˚ 카메라(113)의 작동 제어를 위한 신호를 전송하는 드론 원격제어 단말기(200)를 더 포함한다.
이에 따라, 드론(110)의 제어부(127)는 무선통신모듈(125)을 통해 입력되는 드론 원격제어 단말기(200)의 제어신호에 따라 실린더(120) 및 본체 커버(124a, 124b)의 개폐를 제어한다.
상술한 드론(110)의 구성에 따라, 드론(110)의 360°카메라(113)를 통해 정지영상 및 동영상을 획득하는 작업 과정에서 주변의 미세먼지 농도가 높을 경우, 제어부(127)의 제어에 따라 드론 본체(114)의 실린더(120)가 작동되면서 미세먼지 차단박스(121)가 카메라 설치대(119)를 감싸는 형태로 하강되고, 제어부(127)가 미세먼지 차단박스(121)의 송풍장치(123)들 중 풍향감지센서(126)를 통해 감지되는 현재 풍향에 따라 반대되는 방향으로 송풍 기능을 하는 송풍장치(123)를 작동시켜 미세먼지 필터(122)를 통해 미세먼지가 걸러진 깨끗한 공기를 카메라 설치대(119) 방향으로 송풍시켜 카메라 설치대(119) 및 그 내측의 360°카메라(113)가 미세먼지로부터 차단될 수 있게 한다.
또한, 드론(110)이 정지영상 및 동영상을 획득하는 작업을 하지 않는 상태일 경우, 제어부(127)는 정역회전모터(114b) 및 실린더(120)를 각각 작동시켜 카메라 설치대(119) 및 미세먼지 차단박스(121)가 드론 본체(114)의 제1 설치공간(114a) 및 제2 설치공간(114e)에 각각 수납되게 한 후 본체 커버(124a, 124b)를 작동시켜 제1 설치공간(114a) 및 제2 설치공간(114e)이 외부로부터 차단되게 한다.
이상과 같이 본 설명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서 본 발명의 사상은 설명된 실시 예에 국한되어 정하여 저서는 안되며, 후술되는 청구범위뿐만 아니라 이 청구범위와 균등하거나 등가적인 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 드론 111 : 측위 모듈
112 : 자세 측정 모듈 113 : 360° 카메라
114 : 드론 본체 114a : 제1 설치공간
114b : 정역 회전 모터 114c : 구동축
114d : 나선봉 114e : 제2 설치공간
115 : 연결부 116 : 지지대
117 : 추진부 118 : 착륙부
119 : 카메라 설치대 119a : 나선관
119b : 카메라 설치공간 120 : 실린더
120a : 로드 121 : 미세먼지 차단박스
121a∼121d : 측면 121e∼121h : 개방부
122 : 미세먼지 필터 123 : 송풍장치
124a,124b : 본체 커버 125 : 무선통신모듈
126 : 풍향감지센서 127 : 제어부
130 : 영상 콘텐츠 데이터베이스 140 : GIS 데이터베이스
150 : PGM Manager 160 : WAS
170 : 사용자 단말기 200 : 드론 원격제어 단말기

Claims (1)

  1. 360˚ 카메라(113)가 부착되어 있으며, 현재의 위치를 측정하는 측위 모듈(111) 및 위치의 자세를 측정하는 자세 측정 모듈(112)이 탑재되고, 정지영상 및 동영상을 획득하는 드론(110);
    상기 드론(110)을 통해 획득되는 정지영상 및 동영상이 저장되는 영상 콘텐츠 데이터베이스(130);
    GIS 정보를 저장하고 있는 GIS 데이터베이스(140);
    파노라마와 GIS 정보를 서로 매칭 시켜주는 PGM Manager(150);
    상기 PGM Manager(150)에서 매칭된 결과를 웹 기반으로 사용자에게 제공하는 WAS(160: Web Application Server)를 포함하여
    상기 WAS(160)는 상기 드론(110)을 통해 획득된 정지영상 콘텐츠, 동영상 콘텐츠 및 해당 콘텐츠를 획득하는 과정 시의 상기 드론(110)의 취득한 위치, 자세 데이터 간을 동기화하고, 상기 드론(110)으로 촬영한 파노라마 정지영상 및 동영상과 GIS 데이터를 동기화하여 사용자 단말기(170)에게 부가 정보가 표시된 파노라마 정지영상 및 동영상 서비스를 수행하며,
    상기 드론(110)은
    하부를 개방한 제1 설치공간(114a)이 내측에 형성되고, 상기 제1 설치공간(114a)의 상면에 구동축(114c)을 수직 방향으로 위치시키면서 설치되는 정역회전모터(114b) 및 상기 정역회전모터(114b)의 구동축(114c)에 결합되어 상기 정역회전모터(114b)의 구동 시 상기 구동축(114c)과 연동하여 회전되는 나선봉(114d)을 포함하며, 상기 제1 설치공간(114a)을 감싸는 동시에 하부를 개방한 형태의 제2 설치공간(114e)이 형성되는 드론 본체(114);
    상기 드론 본체(114)의 하부 둘레를 따라 복수로 형성되는 연결부(115);
    상기 연결부(115)에 길이방향의 일단이 결합되고 길이방향의 타단은 상기 드론 본체(114)의 바깥쪽으로 수평 연장되는 형태로 상기 연결부(115)별 설치되는 지지대(116);
    상기 지지대(116)의 상기 연결부(115)와 결합된 일단의 반대쪽 단부에 설치되며, 추력을 발생시키는 추진부(117);
    상기 지지대(116)의 아래에 구비되는 착륙부(118);
    상기 드론 본체(114)의 나선봉(114d)에 나사 결합되는 나선관(119a)이 상면에 설치되고, 상기 드론 본체(114)의 제1 설치공간(114a)에 회전 방지되는 상태로 수용되어 상기 정역회전모터(114b)의 정역 회전에 따라 승강 또는 하강되며, 하부를 개방한 카메라 설치공간(119b)이 내측에 형성되어 상기 카메라 설치공간(119b)에 상기 360˚ 카메라(113)가 설치되는 카메라 설치대(119);
    상기 드론 본체(114)의 상기 제2 설치공간(114e)의 상면 네 모서리 영역에 각각 설치되는 복수의 실린더(120);
    네 측면(121a∼121d)의 양단이 서로 연결되어 상부 및 하부가 개방된 박스형 구조를 가지며, 상기 네 측면(121a∼121d)이 상기 드론 본체(114)의 제2 설치공간(114e)의 해당 영역에 각각 삽입되어 상기 네 측면(121a∼121d) 간의 연결 영역에 상기 실린더(120)들 중 해당 실린더(120)의 로드(120a) 선단이 결합되며, 상기 네 측면(121a∼121d)은 각각 공기의 통과를 위한 관통형 개방부(121e∼121h)가 형성되는 미세먼지 차단 박스(121);
    상기 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 상기 개방부(121e∼121h)에 탈착 가능하게 결합되는 미세먼지 필터(122);
    상기 미세먼지 차단 박스(121)의 네 측면(121a∼121d)별로 상기 미세먼지 필터(122)보다 안쪽에서 상기 개방부(121e∼121h)에 설치되는 송풍장치(123);
    상기 드론 본체(114)의 하부에 수평 방향을 기준으로 양측에 각각 회전 가능하게 결합되어 상기 드론 본체(114)의 제1 설치공간(114a)을 개폐하는 한 쌍의 본체 커버(124a,124b);
    상기 드론 본체(114)에 설치되어 외부로부터 지역별 미세먼지 정보를 수신하는 무선통신모듈(125);
    상기 드론 본체(114)에 설치되어 현재 풍향을 감지하는 풍향감지센서(126);
    상기 송풍장치(123)의 작동 제어를 위한 외부 미세먼지의 임계값이 사전 설정되며, 상기 드론(110)의 측위 모듈(111)로부터 입력되는 현재의 위치정보 및 상기 무선통신모듈(125)을 통해 입력되는 지역별 미세먼지 정보를 기준으로 현재 위치의 주변 미세먼지 농도가 상기 외부 미세먼지의 임계값을 초과하는 경우 상기 풍향감지센서(126)를 통해 입력되는 현재 풍향 정보를 기준으로 상기 송풍장치(123) 중 해당 위치의 송풍장치(123) 작동을 제어하는 제어부(127)를 포함하며,
    상기 드론(110)의 무선통신모듈(125)에 상기 360˚ 카메라(113)의 작동 제어를 위한 신호를 전송하는 드론 원격제어 단말기(200)를 더 포함하여,
    상기 제어부(127)는 상기 무선통신모듈(125)을 통해 입력되는 상기 드론 원격제어 단말기(200)의 제어신호에 따라 상기 실린더(120) 및 본체 커버(124a,124b)의 개폐를 제어하는 것을 특징으로 하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템.
KR1020170027292A 2016-12-30 2017-03-02 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템 KR101762927B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160184064 2016-12-30
KR20160184064 2016-12-30

Publications (1)

Publication Number Publication Date
KR101762927B1 true KR101762927B1 (ko) 2017-07-28

Family

ID=59422349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170027292A KR101762927B1 (ko) 2016-12-30 2017-03-02 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템

Country Status (1)

Country Link
KR (1) KR101762927B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021814A (ko) * 2017-08-24 2019-03-06 주식회사 엘지유플러스 방송 영상 제공 방법 및 장치
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102017754B1 (ko) * 2018-03-07 2019-09-03 박정임 드론의 촬영 영상을 이용한 정사 영상 생성과 공간정보 활용 웹 서비스 방법
KR102030027B1 (ko) 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR20200013531A (ko) * 2018-07-30 2020-02-07 이해곤 드론을 이용한 미세먼지 제거 시스템
KR20200130636A (ko) 2019-10-01 2020-11-19 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR102347972B1 (ko) 2021-08-18 2022-01-07 주식회사 아이지아이에스 파노라마 영상 제공시스템
KR102446547B1 (ko) * 2022-05-03 2022-09-22 주청림 채수용 드론과 그 채수용 드론에 장착되는 채수기
KR102534829B1 (ko) * 2022-12-13 2023-05-26 (주)로우코리아 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램
KR102638134B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 지피에스 위성 촬영의 정밀도를 향상시킨 촬영 장치
KR102638132B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 촬영이미지 합성처리를 위한 촬영장치
KR102638133B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 고해상도를 구현을 위한 항공 촬영장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005594B1 (ko) 2009-07-15 2011-01-11 엔에이치엔(주) 항공 파노라마 이미지를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101628750B1 (ko) 2015-07-29 2016-06-09 주식회사 에이베스트 3d 항공 촬영을 이용한 지형물의 안전 예측 방법
JP2016535879A (ja) 2014-05-30 2016-11-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖドッキングのためのシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005594B1 (ko) 2009-07-15 2011-01-11 엔에이치엔(주) 항공 파노라마 이미지를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2016535879A (ja) 2014-05-30 2016-11-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖドッキングのためのシステムおよび方法
KR101628750B1 (ko) 2015-07-29 2016-06-09 주식회사 에이베스트 3d 항공 촬영을 이용한 지형물의 안전 예측 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407986B1 (ko) * 2017-08-24 2022-06-10 주식회사 엘지유플러스 방송 영상 제공 방법 및 장치
KR20190021814A (ko) * 2017-08-24 2019-03-06 주식회사 엘지유플러스 방송 영상 제공 방법 및 장치
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102001728B1 (ko) 2017-11-07 2019-07-18 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102017754B1 (ko) * 2018-03-07 2019-09-03 박정임 드론의 촬영 영상을 이용한 정사 영상 생성과 공간정보 활용 웹 서비스 방법
KR20200013531A (ko) * 2018-07-30 2020-02-07 이해곤 드론을 이용한 미세먼지 제거 시스템
KR102151147B1 (ko) * 2018-07-30 2020-09-02 이해곤 드론을 이용한 미세먼지 제거 시스템
KR102030027B1 (ko) 2019-05-09 2019-10-08 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR20200130636A (ko) 2019-10-01 2020-11-19 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR102347972B1 (ko) 2021-08-18 2022-01-07 주식회사 아이지아이에스 파노라마 영상 제공시스템
WO2023022317A1 (ko) 2021-08-18 2023-02-23 주식회사 아이지아이에스 파노라마 영상 제공시스템
KR102446547B1 (ko) * 2022-05-03 2022-09-22 주청림 채수용 드론과 그 채수용 드론에 장착되는 채수기
KR102534829B1 (ko) * 2022-12-13 2023-05-26 (주)로우코리아 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램
KR102638134B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 지피에스 위성 촬영의 정밀도를 향상시킨 촬영 장치
KR102638132B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 촬영이미지 합성처리를 위한 촬영장치
KR102638133B1 (ko) 2023-07-19 2024-02-20 (주)아세아항측 고해상도를 구현을 위한 항공 촬영장치

Similar Documents

Publication Publication Date Title
KR101762927B1 (ko) 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
US11263761B2 (en) Systems and methods for visual target tracking
US10645300B2 (en) Methods and apparatus for image processing
CN105700547B (zh) 一种基于导航飞艇的空中立体视频街景系统及实现方法
CN114679540A (zh) 拍摄方法和无人机
WO2020215188A1 (zh) 飞行航线的生成方法、控制装置及无人机系统
EP3196594A1 (en) Surveying system
CN111527463A (zh) 用于多目标跟踪的方法和系统
KR20120105452A (ko) 복수의 검출기 어레이를 구비한 다해상도 디지털 대형 카메라
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR101796478B1 (ko) 360도 영상 촬영이 가능한 무인비행체
CN109712249B (zh) 地理要素增强现实方法及装置
EP3287988B1 (en) Modelling system and method
CN108195359B (zh) 空间数据的采集方法及系统
KR101910819B1 (ko) 항공 촬영 무인 비행 장치
US20240031681A1 (en) System for providing panoramic image
EP3430591A1 (en) System for georeferenced, geo-oriented real time video streams
CN214776631U (zh) 一种航空器组合相机及航空器
EP4391547A1 (en) System for providing panoramic image
JP7317684B2 (ja) 移動体、情報処理装置、及び撮像システム
WO2021253247A1 (zh) 可移动平台的巡检方法、装置、可移动平台及存储介质
KR102369696B1 (ko) 지피에스 3 차원 기준점별 이미지 갱신이 적용된 수치지도 제작방법
WO2023097494A1 (zh) 全景图像拍摄方法、装置、无人机、系统及存储介质
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant