KR102534829B1 - 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램 - Google Patents

드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램 Download PDF

Info

Publication number
KR102534829B1
KR102534829B1 KR1020220174000A KR20220174000A KR102534829B1 KR 102534829 B1 KR102534829 B1 KR 102534829B1 KR 1020220174000 A KR1020220174000 A KR 1020220174000A KR 20220174000 A KR20220174000 A KR 20220174000A KR 102534829 B1 KR102534829 B1 KR 102534829B1
Authority
KR
South Korea
Prior art keywords
information
drone
image
ground
coordinates
Prior art date
Application number
KR1020220174000A
Other languages
English (en)
Inventor
김은주
심규성
Original Assignee
(주)로우코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로우코리아 filed Critical (주)로우코리아
Priority to KR1020220174000A priority Critical patent/KR102534829B1/ko
Application granted granted Critical
Publication of KR102534829B1 publication Critical patent/KR102534829B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램을 제공하는 것이다.
이를 위해, 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치는 드론을 통해 촬영된 영상을 수신하는 통신부; 상기 수신된 영상을 재생하는 표시부; 및 상기 통신부 및 상기 표시부와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하고, 상기 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하고, 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하고, 상기 획득된 정보를 상기 표시부를 통해 표시할 수 있다.

Description

드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램{AN APPARATUS AND METHOD FOR DISPLAYING INFORMATION ABOUT AN OBJECT ON THE GROUND IN AN IMAGE TAKEN USING A DRONE, AND A PROGRAM FOR THE SAME}
본 발명은 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램을 제공하는 것이다.
일반적으로 현재 도로 시설물은 신규 도로의 개설 및 기존 도로의 확장 포장 시 별도의 도로 대장 작성 용역 사업을 통해 정보화 구축을 수행하고 이를 지자체 또는 기타 도로 관리 기관의 도로대장 관리시스템에 탑재를 하고 있다. 현재 우리나라는 도로법 제56조(도로대장) 및 동법 시행 규칙 제24조(도로대장)에 의거 도로 관리청은 관할 도로 및 도로시설물에 대한 도로대장을 의무적으로 작성하여 보관하도록 하고 있으며, 세부 양식은 도로법 시행규칙 제24조(도로대장) 별지 제22호 서식으로 규정되어 있다. 현재의 도로대장 작성은 주로 준공도면을 수집하거나 별도의 도로대장 측량을 통해 도로의 기본 공간정보 및 도로시설물에 대한 구조화 편집작업을 통해 구축하고 있다. 최근 드론에 의한 도로관리 업무가 확대되는 추세에 힘입어 도로의 신설 및 확장, 시공, 유지관리 등 도로관리 전 업무에 걸쳐 다양한 드론 영상 촬영을 하고 이를 도로대장 정보와 연계하여 활용하고 있다. 특히 도로관리 업무 시 도로관리자는 드론 영상을 조회 후 별도로 도로대장의 정보조회를 통해 도로관리에 관한 의사결정을 하고 있다. 현재 도로대장 정보, 드론영상 등은 개별적으로 관리되고 있으며 이러한 개별정보의 통합 및 연계가 시급한 실정이다.
영상 정보에서 이미지 정보를 분석하여 도로공간정보 처리에 활용하는 기술로는 최근 각광받고 있는 자동차의 자율주행 기술이 있다. 현재 자율 주행 기술에서의 도로주행 경로 결정은 진로 방향에 대한 카메라 영상 정보만 분석하는 것이 아니라 전후방에 장착된 고정밀의 라이다(LiDAR) 센서를 통해 차량 주행 방향 도로전방 물체의 존재 여부, 진행 방향 속도, 도로전방 물체와의 거리 등을 기본적으로 측정하고, 이를 전방 카메라로 촬영된 영상 이미지에서 추출된 차선 정보와 융합하여 차량의 최종 주행 진로를 결정하는 방식이다.
이러한 자율 주행에 적용되는 영상과 실 좌표를 동기화 시키는 기술은 기본적으로 고 중량의 LiDAR를 다중으로 장착하거나 또는 주행 방향 전면에 스테레오 카메라를 필수적으로 장착해야 하기 때문에 이를 드론에 장착하여 활용하기에는 많은 제약 점이 존재한다. 또한, 드론 자체의 LiDAR 센서와 스테레오 카메라를 활용하여 취득된 정보는 별도의 복잡한 후처리 공정을 수반하기 때문에 일반적인 도로관리 업무에서 활용되는 드론 영상의 실시간 활용 체계와는 부합되지 않는다.
따라서, 고비용 고 중량의 센서장비(LiDAR, 스테레오카메라)를 장착하지 않고 또한 복잡한 후처리 작업을 수반하지 않고도 도로관리 업무 시 생성되는 드론 영상에 도로시설물의 위치를 기하학적인 구조로 정립하여 동기화시키는 기술의 필요성이 제기된다.
따라서, 본 발명은 도로 시설물에 대한 드론 영상을 실제 지형상의 도로 시설물의 각종 정보와 동기화 시켜, 기 촬영된 드론 영상에서의 도로 시설물을 선택 시 선택한 영상에서의 도로 시설물의 좌표와 실공간의 도로 시설물 좌표를 동기화 시키는 장치 및 방법을 제공하는 것이다.
또한, 본 발명은 도로의 설계, 시공, 유지관리를 위해 드론으로 촬영된 동영상 정보를 단순히 표출만 하여 도로관리 업무에 활용되는 단계를 개선하여 드론 영상에서 표출되는 다양한 도로시설물을 드론 영상에서 실시간으로 세부 정보를 조회 및 유지 관리하는 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위해 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치는 드론을 통해 촬영된 영상을 수신하는 통신부; 상기 수신된 영상을 재생하는 표시부; 및 상기 통신부 및 상기 표시부와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하고, 상기 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하고, 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하고, 상기 획득된 정보를 상기 표시부를 통해 표시할 수 있다.
또한, 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 방법은 표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하는 과정; 상기 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하는 과정; 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하는 과정; 및 상기 획득된 정보를 상기 표시부를 통해 표시할 수 있다.
또한 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 명령어들을 포함하는 프로그램이 기록된 컴퓨터 판독 가능 저장 매체에 있어서, 상기 프로그램은, 표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하도록 하는 명령어들; 상기 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하도록 하는 명령어들; 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하도록 하는 명령어들; 및 상기 획득된 정보를 상기 표시부를 통해 표시하도록 하는 명령어들을 포함할 수 있다.
본 발명은 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화함으로써, 객체에 대한 영상 촬영 정보와 객체의 속성 정보를 연계할 수 있다.
또한, 본 발명은 지형변화에 따른 3차원 공간정보 구축 작업이 불필요하게 됨으로써 시간 소요를 줄일 수 있으며 공사 수행에 따라 지속적으로 변경되는 공사 현장의 변화 상황을 효과적으로 관리할 수 있다.
또한, 본 발명은 고비용의 LiDAR 또는 스테레오 카메라 등의 하드웨어 장착이 없이 단일 카메라만 장착된 드론에 의해 촬영된 드론 영상 정보 만으로도 드론 영상에서 나타난 도로시설물의 실공간 좌표를 손쉽게 취득함으로써, 도로 공사 수행 중 또는 도로 공사 완료 후 각종 도로 시설물 유지 관리 업무를 효과적으로 수행할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 장치(110)의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 드론(120)이 촬영한 영상의 좌표계와 실공간 좌표계를 나타낸 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 정보를 표시하는 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 도로 시설물의 위치 관계에 대한 3차원 기하 구조를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 실공간에서의 좌표를 계산하는 과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 실공간 좌표계에서 드론의 위치와 객체의 거리를 계산하는 과정을 나타낸 예시도이다.
도 8은 도 7에서 계산된 거리와 드론 영상의 실공간 좌표를 이용하여 객체의 실공간 좌표를 계산하는 과정을 나타낸 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 객체를 선택한 지점에 복수의 객체들이 중첩되어 있는 경우, 객체에 대한 정보를 표시하는 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 3차원 공간 상에 카메라의 시점 방향과 중첩된 객체들의 기하 관계를 나타낸 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 객체의 형태 및 크기에 따른 선택 영역을 나타낸 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 실공간 좌표계에서 객체에 대한 다양한 정보를 포함하는 테이블을 나타낸 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
이하에서 구성요소의 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
명세서 전체에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다
이하에서는, 본 발명의 몇몇 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램을 설명하도록 한다.
도 1은 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 시스템을 나타낸 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 시스템(100)은 비행 중에 영상(예: 드론 영상)을 촬영하는 드론(120), 도로 시설에 대한 위치 정보 및 도로 시설물에 대한 상세 정보를 저장하고 있는 서버(130), 및 드론을 통해 촬영된 드론 영상에 지상의 객체(예: 도로 시설물, 건물, 교량, 석축 등)에 대한 정보(예: 시설물 제원, 유지 관리 정보, 시공 정보, 설계 제원 등)를 표시하는 장치(110)를 포함할 수 있다.
일 실시 예에 따르면, 객체는 도로 시설물(예: 다리, 교각, 도로에 인접한 다양한 건물 등)뿐만 아니라, 지상에 건축된 다양한 건물(예: 학교, 빌딩, 아파트 등)을 포함할 수 있다.
일 실시 예에 따르면, 상기 드론(120)은 조종사가 탑승하지 않는 무인/원격 조종 비행 장치로서, 비행 중에 지상에 대한 영상을 촬영하고, 촬영된 영상을 장치(110)로 전송할 수 있다.
일 실시 예에 따르면, 상기 서버(130)는 도로 시설물, 건물, 다리에 대한 다양한 정보(예: 도로 대장 관리 시스템)를 저장하고 있으며, 장치(110)와 네트워크(140)를 통해 데이터를 송수신할 수 있다. 예를 들면, 도로 대장 관리 시스템은 도로의 준공 및 유지 관리를 위해 개발된 시스템으로써, 도로 대장을 전산화 자를 이용한 일정한 규격에 의해 클라우드 기반 또는 인트라넷 기반 정보체계로 구축된 정보시스템을 의미한다. 그리고, 도로 대장은 도로 관리 기관에서 관리 및 유지보수 해야 하는 시설물(자산) 목록(세부내용 포함)과 도로의 기하구조를 알 수 있도록 작성해 놓은 공적 장부를 말한다.
일 실시 예에 따르면, 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 장치(110)는 재생되고 있는 드론 영상에서 객체가 선택되면, 선택된 객체의 좌표와 서버(130)로부터 획득한 실공간 좌표계를 이용하여 동기화하여 상기 객체에 대한 정보를 획득한 후, 표시할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 장치(110)의 블록도이다. 도 3은 본 발명의 일 실시 예에 따른 드론(120)이 촬영한 영상의 좌표계와 실공간 좌표계를 나타낸 예시도이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 드론을 이용하여 촬영된 드론 영상에 지상의 객체에 대한 정보를 표시하는 장치(110)는 표시부(210), 입력부(220), 메모리(230), 통신부(240) 및 프로세서(250)를 포함할 수 있다.
도 2에 도시된 장치(110)의 구성은 일 실시 예에 따른 것이고, 장치(110)의 구성 요소들이 도 2에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 표시부(210)는 장치(110)가 수행하는 다양한 동작에 대한 정보를 표시할 수 있다. 상기 표시부(210)는 터치 또는 호버링에 의한 입력, 또는 마우스에 의한 입력을 수신할 수 있다.
일 실시 예에 따르면, 상기 표시부(210)는 드론(120)이 전송하는 영상을 실시간으로 표시할 수 있으며, 이러한 영상을 표시할 수 있는 제어 회로를 포함할 수 있다. 또한, 상기 표시부(210)는 드론(120)이 촬영한 영상에서 선택된 객체에 대한 정보를 표시(예: 팝업)할 수 있다.
일 실시 예에 따르면, 상기 입력부(220)는 상기 표시부(210)에서 표시되고 있는 영상에 대한 다양한 입력(예: 터치, 마우스 클릭, 키보드 입력 등)을 수신하는 장치(예: 터치 스크린, 마우스, 키보드, 조이스틱 등)를 포함할 수 있다. 또는, 상기 입력부(220)는 음성을 입력 받을 수 있는 마이크(미도시)를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들면, 상기 메모리(230)는 서버(130)로부터 수신된 실공간 좌표계에서 객체(예: 도로 시설물, 건물, 다리 등)에 대한 다양한 정보(예: 시설물 ID, 실공간 좌표, 시설물 폭, 시설물 높이, 시설물에 대한 제원 정보, 유지 관리 정보 등)를 테이블로 저장할 수 있다.
또한, 상기 메모리(230)는 드론(120)으로부터 전송되는 영상을 저장할 수 있다. 또한, 상기 메모리(230)는 상기 장치(110)의 구성 요소들(예: 표시부(210), 입력부(220), 통신부(240) 및 프로세서(250))에 의해 생성되거나 처리되는 다양한 정보를 저장할 수 있다.
또한, 상기 메모리(230)는 상기 장치(110)의 동작을 제어하는 다양한 명령어들을 포함하는 프로그램, 어플리케이션, 제어 로직에 관한 정보를 포함할 수 있다.
또한, 상기 메모리(230)는 표시부(210)를 통해 재생되고 있는 드론 영상에서 객체의 선택을 감지하도록 하는 명령어들, 상기 드론 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하도록 하는 명령어들, 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하도록 하는 명령어들, 및 상기 획득된 정보를 상기 표시부(210)를 통해 표시하도록 하는 명령어들을 저장하고 있다.
일 실시 예에 따르면, 상기 통신부(240)는 상기 드론(120), 상기 서버(130)와 적어도 하나의 신호 또는 정보를 네트워크(140)를 통해 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
또한, 상기 통신부(240)는 근거리 통신(예: 블루투스(Bluetooth), NFC(Near Field Communication), 또는 비콘(Beacon))에 기반하여 드론(120) 및 서버(130)와 통신할 수 있다.
일 실시 예에 따르면, 상기 프로세서(250)는 인공지능 알고리즘이 내장될 수 있다. 또는, 상기 인공지능에 알고리즘은 상기 프로세서(250)에 의해 구현될 수 있다. 상기 인공지능은 인간의 뇌 신경망을 모방한 프로그램으로서 다양한 데이터를 스스로 분석, 인지, 추론, 판단하는 딥러닝 알고리즘을 지원할 수 있다.
이를 통해, 상기 프로세서(250)는 재생중인 드론 영상에서 선택되는 객체의 좌표와 실공간 좌표계에서 상기 객체에 대한 좌표를 동기화하고, 상기 객체에 대한 정보를 획득하여 표시부(21)를 통해 표시할 수 있다.
도 3을 참조하면, 드론(120)은 촬영된 영상을 실시간으로 장치(110)로 전송할 수 있다. 또는, 드론(120)은 촬영이 완료된 이후의 영상을 장치(110)로 전송할 수 있다. 드론(120)은 비행 중에 도로에 대한 영상을 촬영할 수 있고, 이러한 영상은 도로에 대한 시설물, 다리, 건물 등을 포함할 수 있다. 예를 들면, 드론(120)이 촬영한 영상(310)에는 시설물(311a)이 포함될 수 있다. 이러한 시설물(311a)은 도로 영상(320)에서의 시설물(311b)과 동일하다.
예를 들면, 드론(120)이 촬영한 영상(310)에는 시설물(311a)을 포함한 영역(312)이 터치되거나, 또는 마우스 등을 통해 선택되면, 도로 영상(320)에 있는 시설물(311b)에 대한 정보가 영상(310)에 표시될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 정보를 표시하는 과정을 나타낸 순서도이다. 도 5는 본 발명의 일 실시 예에 따른 도로 시설물의 위치 관계에 대한 3차원 기하 구조를 나타낸 예시도이다.
이하, 도 4 및 도 5를 참조하여, 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 정보를 표시하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 프로세서(250)는 드론이 전송한 영상을 재생할 수 있다(S410). 드론(120)이 비행 중에 촬영한 영상을 장치(110)로 전송하면, 프로세서(250)는 통신부(240)를 통해 수신되는(또는 수신된) 영상을 표시부(210)를 통해 표시할 수 있다. 또는, 프로세서(250)는 통신부(240)를 통해 수신되는(또는 수신된) 영상을 메모리(230)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 재생중인 영상에서 객체가 선택되는지 식별할 수 있다(S412). 프로세서(250)는 표시부(210)를 통해 재생중인 영상(예: 드론(120)이 촬영한 영상)에서 키보드, 마우스, 터치 등을 통한 입력에 기반하여, 객체(예: 도로 시설물, 다리, 건물 등)가 선택되는지 식별할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 영상의 재생을 중지할 수 있다(S414). 프로세서(250)는 재생중인 영상에서 객체가 선택되는 것으로 식별되면, 현재 재생중인 영상의 재생을 일시적으로 중지할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화할 수 있다(S416). 프로세서(250)는 드론(120)으로부터 수신된 영상에서 객체의 선택이 감지되면, 상기 영상의 재생을 중지하고, 상기 재생이 중지된 영상의 프레임 및 메타 정보를 획득할 수 있다.
예를 들면, 상기 메타 정보는 드론이 촬영한 영상의 개별 정지화면 프레임 데이터에 대한 촬영 고도, 드론(120)에 장착된 카메라(미도시)의 카메라 초점 기준 촬영 좌표, 촬영 고도, 틸트(tilt) 각도, 초점 거리에 대한 데이터를 포함할 수 있다. 상기 틸트 각도는 드론(120)에 장착된 카메라의 수직 방향에 대해 촬영을 위해 전환한 수직 방향 각도를 의미한다. 그리고, 영상의 프레임은 드론(120)이 촬영한 동영상을 구성하는 개별 촬영 정지 화면을 의미하고 초당 촬영되는 영상 프레임 수로 동영상의 규격을 결정한다.
일 실시 예에 따르면, 프로세서(250)는 상기 메타 정보에 기반하여, 실공간 좌표계에서 드론(120)의 높이를 계산할 수 있다. 그리고, 상기 프로세서(250)는 상기 계산된 높이에 기반하여, 실공간 좌표계에서의 드론(120)과 객체와의 거리를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 상기 계산된 거리에 기반하여, 실공간 좌표계에서 상기 선택된 객체의 좌표를 계산하여 상기 제1 좌표와 상기 제2 좌표를 동기화할 수 있다.
도 5를 참조하면, 드론(120)에 장착된 카메라의 초점 거리, 촬영 고도, 카메라의 틸트 각도, 객체 시점 경사도 등과 실공간에서 선택된 객체(예: 도로 시설물)의 위치 관계는 3차원 기하 구조로 표현될 수 있다.
드론이 일정 방향(503)으로 비행하고 있는 상태에서 카메라(미도시)를 통해 획득한 영상의 프레임(320)에는 객체(311a)가 포함되어 있다. 그리고, 상기 객체(311a)와 동일한 객체(311b)는 실공간 좌표계(513)에 해당되는 도로 영상(310)의 객체(311b)에 해당된다. 즉, 상기 객체(311a)와 상기 객체(311a)는 동일한 객체이다.
일 실시 예에 따르면, 드론(120)에 장착된 카메라의 초점 좌표(CX, CY, CZ)(506)는 드론(120)의 높이를 제외하면 도로 영상의 평면 좌표(CX, CY)(512)와 동일할 수 있다. 그리고, 드론(120)의 진북 방향축(505)은 드론 비행 방향(503)과 드론 카메라 방위각(504)의 각도를 갖는다.
예를 들면, 진북(true north) 방향은 지도에서 그 지점을 지나는 경선을 의미하며, 진북은 언제나 변하지 않는 반면 나침반이 가르키는 자북과는 차이점이 있다.
이러한 드론(120)이 카메라의 초점 좌표(CX, CY, CZ)(506)에서 카메라의 틸트 각도(507)로 실공간 좌표계(513)의 객체(311b)를 촬영하면, 실공간 좌표계(513)에서 촬영된 객체(311b)는 영상(320)의 객체(311a)로 표현된다. 그리고, 영상(320)의 객체(311a)는 시점 벡터(502)를 갖는다. 이러한 시점 벡터는 드론(120)에 장착된 카메라의 초점 좌표와 드론(120)이 촬영한 영상의 도로시설물의 위치를 지상으로 연장시킨 벡터로써, 사용자가 카메라상에서 보여지는 도로시설물을 지상으로 연장하는 가상의 선이다.
그리고, 프로세서(250)는 영상(320)에서의 드론 영상 좌표계(508)에서 객체(311a)의 좌표(DX, DY)(501)를 획득할 수 있다. 예를 들면, 프로세서(250)는 프레임에서 객체(311a)의 위치를 식별하여 드론 영상 좌표계(508)에서 객체(311a)의 좌표(DX, DY)(501)를 획득할 수 있다.
그리고, 프로세서(250)는 드론 영상 좌표계(508)에서 획득한 객체(311a)의 좌표(DX, DY)(501)에 기반하여, 실공간 좌표계(513)에서의 객체의 좌표(RX, RY)를 계산할 수 있다. 이러한 실공간 좌표계(513)에서의 객체의 좌표(RX, RY)를 계산하는 과정은 후술한다.
일 실시 예에 따르면, 프로세서(250)는 상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여 상기 객체에 대한 정보를 획득할 수 있다(S418). 프로세서(250)는 상기 제1 좌표와 상기 제2 좌표의 동기화가 완료되면, 상기 객체에 대한 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 상기 획득된 객체에 대한 정보를 표시할 수 있다(S420). 프로세서(250)는 상기 획득된 객체에 대한 정보를 포함하는 팝업을 재생 중인 영상 위에 표시할 수 있다.
상술한 바와 같이, 상기 프로세서(250)는 도로 시설에 대한 위치 정보 및 객체(예: 도로 시설물)에 대한 상세 정보(예: 기본 제원, 유지 관리 정보, 시공 정보, 설계 제원 등)를 구축하고, 이에 대한 드론 영상을 촬영 시 취득한 각종 외부 표정 요소를 이용하여 기하학적인 연계성을 이용하여 드론 영상에서 선택한 도로 시설물과 실공간 좌표계에 존재하는 도로시설물 정보를 상호 연계할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 실공간에서의 좌표를 계산하는 과정을 나타낸 순서도이다. 도 7은 본 발명의 일 실시 예에 따른 실공간 좌표계에서 드론의 위치와 객체의 거리를 계산하는 과정을 나타낸 예시도이다. 도 8은 도 7에서 계산된 거리와 드론 영상의 실공간 좌표를 이용하여 객체의 실공간 좌표를 계산하는 과정을 나타낸 예시도이다.
이하, 도 6, 도 7 및 도 8을 이용하여 본 발명의 일 실시 예에 따른 드론 영상에서 선택된 객체에 대한 실공간에서의 좌표를 계산하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 프로세서(250)는 영상의 재생이 중지되는지 식별할 수 있다(S610). 프로세서(250)는 재생중인 영상에서 객체가 마우스, 키보드, 조이스틱, 터치 등을 이용하여 선택되는 것으로 식별되면, 현재 재생중인 영상의 재생을 일시적으로 중지할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 재생이 중지된 영상의 해당 프레임과 메타 정보를 획득할 수 있다(S612). 프로세서(250)는 재생이 중지된 영상의 프레임과 상기 프레임에 대한 메타 정보를 획득할 수 있다. 메타 정보는 드론이 촬영한 영상의 개별 정지 화면 프레임 데이터에 대한 촬영 고도, 드론(120)에 장착된 카메라(미도시)의 카메라 초점 기준 촬영 좌표, 촬영 고도, 틸트(tilt) 각도, 초점 거리 등에 대한 정보를 포함할 수 있다. 예를 들면, 프로세서(250)는 프레임에 대한 아래 [표 1]의 메타 데이터를 획득할 수 있다. 이러한 각 프레임에 대한 메타 데이터는 메모리(230)에 저장되어 있다.
영상 프레임 ID 촬영 좌표(CX) 촬영 좌표(CY) 촬영 고도 초점 거리 틸트 각도 촬영 방위각
1 14531440 32451320 70.5 0.021 15 47
2 14531440 32451320 70.5 0.021 15 47
3 14531440 32451320 70.2 0.021 15 47
4 14531440 32451320 70.5 0.021 15 47
5 14531441 32451321 70.8 0.021 15 47
6 14531440 32451321 70.5 0.021 15 47
7 14531441 32451321 70.5 0.021 15 47
8 14531440 32451321 70.1 0.021 15 47
9 14531441 32451322 70.5 0.021 15 47
10 14531440 32451321 70.3 0.021 15 47
예를 들면, 메타 데이터에는 각 영상 프레임 별로 영상 프레임 ID, 촬영 좌표(CX), 촬영 좌표(CY), 촬영 고도, 초점 거리, 틸트 각도, 및 촬영 방위각에 대한 정보를 포함할 수 있다.
이러한 영상 프레임은 드론이 촬영한 영상을 구성하는 개별적인 정지 화면으로서, 초당 복수의 프레임들이 획득될 수 있다.
일 실시 예에 따르면, 프로세서(250)는 드론의 높이에 기반하여, 객체에 대한 실공간 거리를 계산할 수 있다(S614). 프로세서(250)는 재생이 중지된 영상의 프레임에서 드론의 높이를 메타 정보에서 획득하고, 획득된 드론의 높이를 이용하여 XY축 상에서 객체(311b)와 드론(120) 간의 거리를 계산할 수 있다.
도 7을 참조하면, 드론(120)의 촬영 고도(710)가 H1인 상태에서 비행중인 경우, 드론(120)의 초점 거리(f)(723)에 장착된 카메라(미도시)의 틸트 각도(711)가 θt이면, 드론(120)의 지상 위치에서 틸트 각도(711)에 대한 거리(731)는 S3이고, 영상 프레임 중심점으로부터 화각 끝선까지 드론 영상 좌표상의 수직 거리(721)는 T1이다. 상기 틸트 각도(711)는 드론(120)의 수직선과 카메라 초점의 지상방향 연장선(724)간의 각도이다. 그리고, 객체 시점 경사각도(712)가 θab이면, 객체의 위치에서 객체 시점 경사각도(712)에 대한 거리(733)는 S2이고, 영상 프레임 중심점으로부터 객체까지의 드론 영상 좌표 상의 거리(722)는 T2이다. 객체 시점 경사각도(712)(θab)는 카메라 초점의 지상방향 연장선(724)과 시점 벡터(725)간의 각도이다.
일 실시 예에 따르면, 프로세서(250)는 아래 [수학식 1]을 이용하여 객체 비행 방향 거리(732)(S1)를 계산할 수 있다.
Figure 112022134105495-pat00001
상술한 바와 같이, 프로세서(250)는 드론 영상 좌표계에서 선택된 객체의 좌표를(Dx, Dy) 이용하여 드론 영상 좌표계상의 영상프레임 중심점으로부터의 DY축 방향 거리를 계산한다. 그리고, 프로세서(250)는 영상프레임 중심점으로부터 화각끝선까지 드론 좌표계상의 DY축 방향 거리를 계산한다. 이후, 프로세서(250)는 드론의 카메라의 틸트각도와 객체 시점의 경사각도를 계산하고, 각각의 변수를 [수학식 1]과 같은 비례식을 이용하여 도로시설물 비행방향 거리(S1)을 계산한다.
일 실시 예에 따르면, 프로세서(250)는 계산된 실공간 거리에 기반하여 실공간 좌표계에서 선택된 객체의 좌표를 계산할 수 있다(S616). 프로세서(250)는 도 7 및 [수학식 1]을 이용하여 객체에 대한 실공간 거리가 계산되면, 상기 계산된 실공간 거리에 기반하여 실공간 좌표계에서 선택된 객체의 좌표를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 아래 [수학식 2]를 이용하여 실공간 좌표계에서 선택된 객체의 좌표(RX, RY)를 계산할 수 있다.
Figure 112022134105495-pat00002
도 8을 참조하면, 프로세서(250)는 비행 방향 거리(802)(즉, [수학식 1]에서 계산된 객체 비행 방향 거리)가 S1이고 드론(120)에 장착된 카메라의 방위각(801)이 θb이고, 드론 영상의 실공간 좌표가 (CX, CY)이면, 객체의 실공간 RX는 비행 방향 거리(802)(S1)와 카메라의 방위각(801)(θb)의 사인(SIN) 값을 곱한 후, 드론 영상의 X축 실공간 좌표를 더하여 계산한다.
또한, 프로세서(250)는 비행 방향 거리(802)(즉, [수학식 1]에서 계산된 객체 비행 방향 거리)가 S1이고 드론(120)에 장착된 카메라의 방위각(801)이 θb이고, 드론 영상의 실공간 좌표가 (CX, CY)이면, 객체의 실공간 RY는 비행 방향 거리(802)(S1)와 카메라의 방위각(801)(θb)의 코사인(COS)값을 곱한 후, 드론 영상의 Y축 실공간 좌표를 더하여 계산한다.
상술한 바와 같이, 프로세서(250)는 객체(예: 도로시설물) 비행방향 거리와 드론(120)에 장착된 카메라의 방위각을 이용하여 객체에 대한 실공간 좌표를 계산할 수 있다. 예를 들면, 프로세서(250)는 진북 방향과 카메라의 시점방향을 이용하여 카메라의 방위각을 계산하고, 카메라의 실공간 좌표를 드론 영상 프레임의 메타정보에서 획득한다. 그리고, 계산된 인자를 [수학식 2]에 적용하여 객체의 실공간 좌표를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 상기 계산된 좌표에 해당되는 객체의 ID를 획득할 수 있다(S618). 프로세서(250)는 상기 계산된 좌표에 해당되는 객체의 ID를 메모리(230)로부터 획득할 수 있다. 예를 들면, 메모리(230)는 서버(130)로부터 수신된 도로 시설에 대한 위치 정보 및 도로 시설물에 대한 상세 정보를 저장하고 있다.
이와 같이, 프로세서(250)는 실공간 좌표계에서 객체의 좌표를 계산하여 영상에서 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하고, 상기 동기화에 기반하여 객체의 ID를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 상기 획득된 ID에 해당되는 객체에 대한 정보를 표시할 수 있다(S620). 프로세서(250)는 상기 획득된 ID에 기반하여, 메모리(230)로부터 ID에 해당되는 객체에 대한 정보(예: 위치 정보, 시설물 제원, 유지 관리 정보, 시공 정보, 설계 제원 등)를 획득하고, 획득된 정보를 표시부(210) 상에 표시할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 객체를 선택한 지점에 복수의 객체들이 중첩되어 있는 경우, 객체에 대한 정보를 표시하는 과정을 나타낸 순서도이다. 도 10은 본 발명의 일 실시 예에 따른 3차원 공간 상에 카메라의 시점 방향과 중첩된 객체들의 기하 관계를 나타낸 예시도이다. 도 11은 본 발명의 일 실시 예에 따른 객체의 형태 및 크기에 따른 선택 영역을 나타낸 예시도이다.
이하, 도 9, 도 10, 및 도 11을 참조하여, 본 발명의 일 실시 예에 따른 객체를 선택한 지점에 복수의 객체들이 중첩되어 있는 경우, 객체에 대한 정보를 표시하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 프로세서(250)는 재생중인 영상에서 지점이 선택되는지 식별할 수 있다(S910). 프로세서(250)는 표시부(210)를 통해 재생중인 영상(예: 드론(120)이 촬영한 영상)에서 키보드, 마우스, 터치 등을 통한 입력이 감지된 지점을 식별할 수 있다. 예를 들면, 프로세서(250)는 재생중인 영상(예: 드론(120)이 촬영한 영상)에서 객체를 포함하는 영역을 선택하는 입력을 감지할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 선택된 지점에 중첩되는 복수의 객체들이 존재하는지 식별할 수 있다(S912). 프로세서(250)는 재생중인 영상에서 지점이 선택되는 경우, 선택된 지점에 복수의 객체들이 중첩되어 있는지를 식별할 수 있다.
도 10을 참조하면, 드론(120)에서 촬영한 영상(1010)에는 실공간 좌표계에 존재하는 객체(1024)와 중첩되는 복수의 객체들(1021, 1022, 1023)이 존재할 수 있다. 또한, 드론(120)에서 촬영한 영상(1010)에는 실공간 좌표계에 존재하는 객체(1024)와 중첩되지 않는 객체(1025)가 존재할 수 있다.
이러한 객체(1025)에 중첩되는 복수의 객체들(1021, 1022, 1023)은 드론(120)에서 객체(1025)에 대한 시점 벡터(1031)에 존재하는 객체들이다. 예를 들면, 실공간 좌표계에 존재하는 객체(1024)는 영상(1010)에 표시(1011)된다. 이러한 시점 벡터는 드론(120)에 장착된 카메라의 초점 좌표와 드론(120)이 촬영한 객체(1024)의 위치를 지상으로 연장시킨 벡터이다.
일 실시 예에 따르면, 프로세서(250)는 상기 복수의 객체들 각각에 대한 교차 거리들을 계산할 수 있다(S914). 프로세서(250)는 선택된 지점에 복수의 객체들이 중첩되어 있으면, 각각의 객체에 대한 거리를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 실공간 좌표계에 존재하는 객체(1024)가 선택되는 경우, 시점 벡터(1031)에 존재하는 복수의 객체들(1021, 1022, 1023)를 식별할 수 있다. 그리고, 프로세서(250)는 복수의 객체들(1021, 1022, 1023)의 각각에 대해 교차 거리(즉, 드론(120)의 높이에 기반하여 객체에 대한 실공간 거리)를 계산할 수 있다.
예를 들면, 프로세서(250)는 드론(120)과 제1 객체(1021)간의 교차 거리(1041), 드론(120)과 제2 객체(1022)간의 교차 거리(1042), 드론(120)과 제3 객체(1023)간의 교차 거리(1043), 및 드론(120)과 제4 객체(1024)간의 교차 거리(1044) 각각을 계산할 수 있다.
예를 들면, 프로세서(250)는 상술한 도 4 내지 도 8에 설명한 내용에 기반하여 각각의 객체에 대한 거리를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 상기 계산된 교차 거리들을 거리가 짧은 순서로 정렬할 수 있다(S916). 프로세서(250)는 상기 과정(S910)에서 선택된 지점에 해당되는 복수의 객체들의 각각에 대해 교차 거리(즉, 드론(120)의 높이에 기반하여 객체에 대한 실공간 거리)가 계산되면, 각각의 객체에 해당되는 교차 거리들을 메모리(230)에 저장할 수 있다.
그리고, 프로세서(250)는 복수의 객체들(1021, 1022, 1023)의 각각에 대해 교차 거리가 계산되면, 교차 거리가 짧은 순서로 정렬할 수 있다. 예를 들면, 드론(120)과 제1 객체(1021)간의 교차 거리(1041)가 다른 객체들 보다 가장 짧다.
이와 같이, 프로세서(250)는 각각의 객체에 해당되는 교차 거리들을 거리가 짧은 순서로 정렬할 수 있다. 또는, 프로세서(250)는 복수의 객체들의 우선순위(예: 중요 시설물)에 따라 교차 거리들을 정렬할 수도 있다.
일 실시 예에 따르면, 프로세서(250)는 교차 거리가 가장 짧은 객체에 대한 ID를 결정할 수 있다(S918). 프로세서(250)는 상기 과정(S910)에서 선택된 지점에 해당되는 복수의 객체들 중에서 드론(120)의 높이를 기준으로 객체에 대한 실공간 거리가 가장 짧은 객체를 결정할 수 있다.
또는, 프로세서(250)는 드론(120)에 장착된 카메라의 초점에 대한 3차원 좌표와 도로 시설물 실공간의 3차원를 이용하여 도로 시설물 시점 벡터를 획득한다. 그리고, 프로세서(250)는 레코드 포인터를 도로 시설물 통합 테이블의 최상위 레코드로 이동시켜, 첫 번째 도로시설물의 선택 영역과 도로 시설물 시점 벡터를 3차원 분석하여 교차 여부를 판단한다.
그리고, 프로세서(250)는 교차되었으면 카메라 초점의 평면 좌표와 교차점을 이용하여 교차 거리를 계산하여 메모리(230)에 저장하고, 도로 시설물 선택 테이블 중 교차점 거리를 기준으로 오름차순으로 정렬하고, 도로 시설물 선택 테이블의 최상위 레코드의 시설물 ID를 최종 선택한다.
일 실시 예에 따르면, 프로세서(250)는 상기 결정된 ID에 해당되는 객체에 대한 정보를 표시할 수 있다(S920). 프로세서(250)는 드론(120)의 높이를 기준하여 객체에 대한 실공간 거리가 가장 짧은 객체의 ID를 계산하고, 이에 해당되는 객체에 대한 정보를 영상에 팝업으로 표시할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 객체의 선택 영역을 나타낸 예시도이다.
도 11을 참조하면, 객체(1110)에 대한 정보는 실공간 좌표(111)(RX, RY, RY), 최대 높이(1112), 최대 폭(1113), 최대 표고(1114)에 대한 정보를 포함한다. 이러한, 정보는 객체가 실공간 좌표계 상의 위치, 크기, 높이 등에 따라 다를 수 있다.
상술한 바와 같이, 본 발명은 드론(120)을 통해 촬영한 영상을 재생하고 있는 상태에서, 영상에 포함된 객체가 선택되면, 상기 선택된 객체의 제1 좌표와 실공간 좌표계에서 상기 객체에 대한 제2 좌표를 동기화하여 상기 객체에 대한 정보를 획득한 후, 표시함으로써, 드론으로 촬영한 영상과 도로 시설물에 해당되는 객체를 서로 연계시킬 수 있다.
도 12는 본 발명의 일 실시 예에 따른 실공간 좌표계에서 객체에 대한 다양한 정보를 포함하는 테이블을 나타낸 예시도이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 실공간 좌표계에서 객체에 대한 다양한 정보를 포함하는 테이블(예: 도로시설물 통합 테이블)은 메모리(230)에 저장될 수 있다.
일 실시 예에 따르면, 상기 테이블은 도로 시설물 선택영역 정보 및 도로 시설물 일반 속성 정보를 포함할 수 있다.
일 실시 예에 따르면, 도로 시설물 선택영역 정보에는 시설물 ID, 시설물 실공간 좌표, 시설물에 대한 최대 가로폭(m), 시설물의 최대 높이(m)에 대한 정보를 포함한다.
일 실시 예에 따르면, 도로 시설물 일반 속성 정보는 도로 시설물 제원 정보 및 도로 유지관리 정보를 포함할 수 있다.
예를 들면, 도로 시설물 제원 정보는 시설물 종류, 준공일, 구조물 형식, 연장(m), 폭(m)에 대한 정보를 포함할 수 있다. 그리고, 도로 유지관리 정보는 유지 보수 일자, 유지 보수 종류, 유지 보수 업체, 적용 공법에 대한 정보를 포함할 수 있다.
또한, 상기 메모리(230)는 도로 시설물 교차 테이블을 저장하고 있으며, 이러한 도로 시설물 교차 테이블은 교차 시설물 ID, 교차 거리에 대한 정보를 포함할 수 있다.
이상에서 상술한 각각의 순서도에서의 각 단계는 도시된 순서에 무관하게 동작될 수 있거나, 또는 동시에 수행될 수 있다. 또한, 본 발명의 적어도 하나의 구성 요소와, 상기 적어도 하나의 구성 요소에서 수행되는 적어도 하나의 동작은 하드웨어 및/또는 소프트웨어로 구현 가능할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100: 시스템 110: 장치
120: 드론 130: 서버

Claims (10)

  1. 드론(drone)을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치에 있어서,
    드론을 통해 촬영된 영상을 수신하는 통신부;
    상기 수신된 영상을 재생하는 표시부; 및
    상기 통신부 및 상기 표시부와 전기적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하고,
    상기 영상에서 선택된 객체의 제1 좌표와, 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 저장하고 있는 서버로부터 수신되는 실공간 좌표계에서의 상기 객체에 대한 제2 좌표를 동기화-상기 객체는 지상에 건축된 건물 또는 도로 시설물임-하고,
    상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하고,
    상기 획득된 정보를 상기 표시부를 통해 표시하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하며,
    상기 객체에 대한 정보는 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 포함하는 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 객체의 선택이 감지되면, 상기 영상의 재생을 중지하고,
    상기 재생이 중지된 영상의 프레임 및 메타 정보를 획득하도록 설정된 드론을 이용하여 촬영된 드론 영상에 객체에 대한 정보를 표시하는 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 획득된 메타 정보를 이용하여, 상기 실공간 좌표계에서 상기 드론의 높이를 계산하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치.
  4. 제3 항에 있어서,
    상기 프로세서는,
    상기 계산된 높이에 기반하여, 상기 실공간 좌표계에서의 상기 드론과 상기 객체와의 거리를 계산하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 계산된 거리에 기반하여, 상기 실공간 좌표계에서 상기 선택된 객체의 좌표를 계산하여 상기 제1 좌표와 상기 제2 좌표를 동기화하고,
    상기 동기화에 기반하여 상기 객체의 식별자(ID)를 획득하고,
    상기 획득된 식별자에 해당되는 객체에 대한 정보를 표시하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 재생중인 영상 위에 상기 획득된 정보를 팝업으로 표시하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 재생중인 영상에서 상기 객체를 선택한 지점에 중첩되는 복수의 객체들이 존재하는지 식별하고,
    상기 복수의 객체들이 존재하는 것으로 식별되면, 상기 복수의 객체들의 각각에 대한 교차 거리를 계산하고,
    상기 교차 거리 중에서 거리가 가장 짧은 객체의 식별자를 획득하고,
    상기 획득된 ID에 해당되는 객체에 대한 정보를 획득하도록 설정된 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치.
  8. 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 방법에 있어서,
    표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하는 과정;
    상기 영상에서 선택된 객체의 제1 좌표와, 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 저장하고 있는 서버로부터 수신되는 실공간 좌표계에서의 상기 객체에 대한 제2 좌표를 동기화-상기 객체는 지상에 건축된 건물 또는 도로 시설물임-하는 과정;
    상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하는 과정; 및
    상기 획득된 정보를 상기 표시부를 통해 표시하는 과정을 포함하며,
    상기 객체에 대한 정보는 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 포함하는 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 방법.
  9. 제8 항에 있어서,
    상기 재생중인 영상에서 상기 객체를 선택한 지점에 중첩되는 복수의 객체들이 존재하는지 식별하는 과정을 더 포함하며,
    상기 복수의 객체들이 존재하는지 식별하는 과정은,
    상기 복수의 객체들이 존재하는 것으로 식별되면, 상기 복수의 객체들의 각각에 대한 교차 거리를 계산하는 과정;
    상기 교차 거리 중에서 거리가 가장 짧은 객체의 식별자를 획득하는 과정; 및
    상기 획득된 식별자에 해당되는 객체에 대한 정보를 획득하는 과정을 포함하는 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 방법.
  10. 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 명령어들을 포함하는 프로그램이 기록된 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 프로그램은,
    표시부를 통해 재생되고 있는 영상에서 객체의 선택을 감지하도록 하는 명령어들;
    상기 영상에서 선택된 객체의 제1 좌표와, 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 저장하고 있는 서버로부터 수신되는 실공간 좌표계에서의 상기 객체에 대한 제2 좌표를 동기화-상기 객체는 지상에 건축된 건물 또는 도로 시설물임-하도록 하는 명령어들;
    상기 제1 좌표와 상기 제2 좌표의 동기화에 기반하여, 상기 객체에 대한 정보를 획득하도록 하는 명령어들; 및
    상기 획득된 정보를 상기 표시부를 통해 표시하도록 하는 명령어들을 포함하며,
    상기 객체에 대한 정보는 지상의 실공간에 존재하는 시설물에 대한 위치 정보 및 상세 정보를 포함하는 컴퓨터 판독 가능 저장 매체.
KR1020220174000A 2022-12-13 2022-12-13 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램 KR102534829B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220174000A KR102534829B1 (ko) 2022-12-13 2022-12-13 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220174000A KR102534829B1 (ko) 2022-12-13 2022-12-13 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램

Publications (1)

Publication Number Publication Date
KR102534829B1 true KR102534829B1 (ko) 2023-05-26

Family

ID=86536541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220174000A KR102534829B1 (ko) 2022-12-13 2022-12-13 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램

Country Status (1)

Country Link
KR (1) KR102534829B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR101762927B1 (ko) * 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102243810B1 (ko) * 2021-02-08 2021-04-23 뉴인테크 주식회사 헬리캠의 실시간 촬영 영상에 위치 및 속성 정보를 자막으로 생성하는 방법 및 시스템
KR102262378B1 (ko) * 2019-12-13 2021-06-08 주식회사 엘지씨엔에스 지도 관리 방법 및 시스템
KR20220069541A (ko) * 2020-11-20 2022-05-27 김동욱 지도제작플랫폼장치 및 이를 이용한 지도제작방법
KR20220150170A (ko) * 2021-05-03 2022-11-10 이재영 드론을 이용한 3차원 지도 제작 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040407A (ko) * 2010-10-19 2012-04-27 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR101762927B1 (ko) * 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102262378B1 (ko) * 2019-12-13 2021-06-08 주식회사 엘지씨엔에스 지도 관리 방법 및 시스템
KR20220069541A (ko) * 2020-11-20 2022-05-27 김동욱 지도제작플랫폼장치 및 이를 이용한 지도제작방법
KR102243810B1 (ko) * 2021-02-08 2021-04-23 뉴인테크 주식회사 헬리캠의 실시간 촬영 영상에 위치 및 속성 정보를 자막으로 생성하는 방법 및 시스템
KR20220150170A (ko) * 2021-05-03 2022-11-10 이재영 드론을 이용한 3차원 지도 제작 방법

Similar Documents

Publication Publication Date Title
US11482008B2 (en) Directing board repositioning during sensor calibration for autonomous vehicles
US7333103B2 (en) Client and program for improving three-dimensional air excursion and method thereof
CN112230759B (zh) 一种动态交互的城市观景视廊识别与规划模拟方法
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
CA2078556C (en) Computer assisted video surveying and method therefor
JP3437555B2 (ja) 特定点検出方法及び装置
JP4273074B2 (ja) 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
JP2010118019A (ja) 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
CN105973236A (zh) 室内定位或导航方法、装置以及地图数据库生成方法
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
CN108733272A (zh) 适地性空间物件可视范围管理方法与系统
JP2020166516A (ja) 点群データ管理システム
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
US9108571B2 (en) Method, system, and computer program product for image capture positioning using a pattern of invisible light
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
JP2000074669A (ja) 三次元地図データベースの作成方法及び装置
TWI750821B (zh) 基於光通訊裝置的導航方法、系統、設備及介質
KR102534829B1 (ko) 드론을 이용하여 촬영된 영상에 지상의 객체에 대한 정보를 표시하는 장치 및 방법과 이를 위한 프로그램
JP2003319388A (ja) 画像処理方法及び装置
KR101686797B1 (ko) 3차원 지형 지물을 고려한 cctv 가시권 분석방법
KR102343416B1 (ko) 도엽별 수치지도 분석에 따른 지정 파트의 자동 클리핑 출력시스템
JPH1186035A (ja) 距離参照型景観ラベリング装置およびシステム
JP3114862B2 (ja) 相互利用型景観ラベリングシステム
KR100977554B1 (ko) 3차원 삼림지역 입체이미지 구축을 위한 수목이미지 합성방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant