KR20230077522A - 이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법 - Google Patents
이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20230077522A KR20230077522A KR1020210164876A KR20210164876A KR20230077522A KR 20230077522 A KR20230077522 A KR 20230077522A KR 1020210164876 A KR1020210164876 A KR 1020210164876A KR 20210164876 A KR20210164876 A KR 20210164876A KR 20230077522 A KR20230077522 A KR 20230077522A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- positioning device
- determining
- image
- coordinates
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000006870 function Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
본 개시는 영상 이미지로부터 표적의 위치를 결정하는 표적 위치 결정 장치에 관한 것이다. 본 개시에 따르면, 표적 위치 결정 장치는 상기 표적에 관한 이미지가 포함된 상기 영상 이미지를 획득하는 영상 촬영부, 상기 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득하는 장치 정보 획득부, 인공 신경망(artificial neural network)에 기반하여, 상기 영상 이미지로부터 상기 표적을 검출하는 표적 검출부, 및 상기 영상 이미지와 상기 장치 정보에 기반하여, 상기 표적의 위치를 결정하는 위치 결정부를 포함한다.
Description
본 개시(disclosure)는 일반적으로 표적의 위치를 결정하는 방법에 관한 것으로, 보다 구체적으로 영상 이미지와 표적 위치 결정 장치의 위치를 이용하여 표적의 위치를 결정하기 위한 장치 및 방법에 관한 것이다.
레이더(radio detection and ranging, Radar)는 표적에 무선 주파수 신호를 송신하고, 표적으로부터 반사된 반사파를 수신하여 레이더와 표적 사이의 거리 정보를 획득하는 장치를 지시한다. 구체적으로, 레이더는 무선 주파수 신호의 송신 시각부터 수신 시각까지의 시간을 측정하고, 시간에 따라 레이더와 표적까지의 거리를 결정한다.
라이다(light detection and ranging, LiDAR)는 무선 주파수 신호가 아닌 광 신호를 이용하여 표적에 관한 정보를 획득하는 장치로서, 비행 시간(time of flight, TOF)를 이용하여 라이다와 표적까지의 거리를 결정한다. 그에 따라, 레이더 또는 라이다는 적군의 미사일 또는 항공기 등의 표적을 탐지 및 추적하는 군용 장치로 널리 이용되고 있다.
종래에 따르면, 레이더나 라이다는 표적으로부터 반사된 신호를 이용함에 따라, 표적의 존재 유무나 표적과 레이더 사이의 거리를 측정할 수 있을 뿐 표적의 정확한 위치 좌표를 파악할 수 없었다. 즉, 레이더나 라이다는 표적의 탐지 자체를 목적으로 하여 표적이 존재하는지 여부를 식별할 수 있지만, 구체적으로 표적의 위치나 표적이 무엇인지 여부를 파악할 수 없었다. 그에 따라, 최근 레이더나 라이더를 이용하지 않고 표적의 위치를 정확하게 결정하고 표적을 정확하기 파악하기 위한 기술개발 요구가 대두되고 있다.
전술한 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술을 지시하지 않는다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는 영상 이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 인공 신경망에 기반하여 영상 이미지로부터 표적을 검출하고, 표적 위치 결정 장치에 관한 정보를 이용하여 검출된 표적의 위치를 결정하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 표적으로부터 반사되는 신호를 이용하지 않고, 영상 이미지와 표적 위치 결정 장치에 관한 정보를 이용하여 표적의 위치를 결정하기 위한 장치 및 방법을 제공한다.
본 개시의 다양한 실시 예들에 따르면, 영상 이미지로부터 표적의 위치를 결정하는 표적 위치 결정 장치는 상기 표적에 관한 이미지가 포함된 상기 영상 이미지를 획득하는 영상 촬영부, 상기 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득하는 장치 정보 획득부, 인공 신경망(artificial neural network)에 기반하여, 상기 영상 이미지로부터 상기 표적을 검출하는 표적 검출부, 및 상기 영상 이미지와 상기 장치 정보에 기반하여, 상기 표적의 위치를 결정하는 위치 결정부를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 장치 정보 획득부는 상기 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보를 결정하고, 상기 표적 위치 결정 장치의 회전 각도에 관한 자세 각도를 결정하고, 상기 영상 촬영부에 포함된 영상 촬영기의 상기 표적에 관한 지향 각도를 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 위치 정보는 상기 표적 위치 결정 장치의 위도, 경도, 및 고도를 포함하고, 상기 자세 각도는 상기 표적 위치 결정 장치의 요 각(yaw angle), 롤 각(roll angle), 피치 각(pitch angle)을 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 위치 결정부는 상기 영상 이미지에서, 상기 표적에 관한 표적 영상 좌표를 결정하고, 상기 표적 영상 좌표에 기반하여, 상기 표적 위치 결정 장치로부터 상기 표적에 관한 표적 방향을 결정하고, 상기 위치 정보, 상기 표적 방향, 및 미리 저장된 지도 정보에 기반하여 표적의 위치를 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 위치 결정부는 상기 자세 각도, 상기 지향 각도, 및 상기 표적 영상 좌표에 기반하여, 상기 표적 방향을 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 위치 결정부는 상기 영상 이미지에서 상기 표적의 크기와 미리 저장된 테이블에 기반하여 표적 거리를 결정하고, 상기 영상 이미지의 중심 좌표와 상기 표적 영상 좌표의 차이 및 상기 표적 거리에 기반하여, 상기 표적 방향을 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 위치 결정부는 상기 위치 좌표에서 상기 표적 방향으로 배치되는 복수의 좌표들을 결정하고, 상기 복수의 좌표들에서, 상기 미리 저장된 지도 정보에 기반하여 결정되는 지상의 좌표에 대응되는 좌표를 상기 표적의 위치로 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 영상 촬영부는 상기 표적 영상 좌표가 상기 영상 이미지의 미리 설정된 중심 영역에 위치하도록, 상기 영상 촬영기의 지향 각도를 변경하는 촬영 제어기를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 영상 이미지로부터 표적의 위치를 결정하는 표적 위치 결정 장치의 동작 방법은 상기 표적에 관한 이미지가 포함된 상기 영상 이미지를 획득하는 단계, 상기 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득하는 단계, 인공 신경망(artificial neural network)에 기반하여, 상기 영상 이미지로부터 상기 표적을 검출하는 단계, 및 상기 영상 이미지와 상기 장치 정보에 기반하여, 상기 표적의 위치를 결정하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 영상 이미지를 획득하는 단계는 상기 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보를 결정하는 단계, 상기 표적 위치 결정 장치의 회전 각도에 관한 자세 각도를 결정하는 단계, 및 영상 촬영기의 상기 표적에 관한 지향 각도를 결정하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 표적의 위치를 결정하는 단계는 상기 영상 이미지에서, 상기 표적에 관한 표적 영상 좌표를 결정하는 단계, 상기 표적 영상 좌표에 기반하여, 상기 표적 위치 결정 장치로부터 상기 표적에 관한 표적 방향을 결정하는 단계, 및 상기 위치 정보, 상기 표적 방향, 및 미리 저장된 지도 정보에 기반하여 표적의 위치를 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 각각의 측면들 및 특징들은 첨부된 청구항들에서 정의된다. 종속 청구항들의 특징들의 조합들(combinations)은, 단지 청구항들에서 명시적으로 제시되는 것뿐만 아니라, 적절하게 독립항들의 특징들과 조합될 수 있다.
또한, 본 개시에 기술된 임의의 하나의 실시 예(any one embodiment) 중 선택된 하나 이상의 특징들은 본 개시에 기술된 임의의 다른 실시 예 중 선택된 하나 이상의 특징들과 조합될 수 있으며, 이러한 특징들의 대안적인 조합이 본 개시에 논의된 하나 이상의 기술적 문제를 적어도 부분적으로 경감시키거나, 본 개시로부터 통상의 기술자에 의해 식별될 수 있는(discernable) 기술적 문제를 적어도 부분적으로 경감시키고, 나아가 실시 예의 특징들(embodiment features)의 이렇게 형성된 특정한 조합(combination) 또는 순열(permutation)이 통상의 기술자에 의해 양립 불가능한(incompatible) 것으로 이해되지만 않는다면, 그 조합은 가능하다.
본 개시에 기술된 임의의 예시 구현(any described example implementation)에 있어서 둘 이상의 물리적으로 별개의 구성 요소들은 대안적으로, 그 통합이 가능하다면 단일 구성 요소로 통합될 수도 있으며, 그렇게 형성된 단일한 구성 요소에 의해 동일한 기능이 수행된다면, 그 통합은 가능하다. 반대로, 본 개시에 기술된 임의의 실시 예(any embodiment)의 단일한 구성 요소는 대안적으로, 적절한 경우, 동일한 기능을 달성하는 둘 이상의 별개의 구성 요소들로 구현될 수도 있다.
본 발명의 특정 실시 예들(certain embodiments)의 목적은 종래 기술과 관련된 문제점 및/또는 단점들 중 적어도 하나를, 적어도 부분적으로, 해결, 완화 또는 제거하는 것에 있다. 특정 실시 예들(certain embodiments)은 후술하는 장점들 중 적어도 하나를 제공하는 것을 목적으로 한다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은 영상 이미지로부터 표적의 위치를 결정할 수 있게 한다.
또한, 본 개시의 다양한 실시 예들에 따른 장치 및 방법은 영상 이미지와 표적 위치 결정 장치에 관한 정보를 이용하여 표적의 위치를 결정할 수 있게 한다.
또한, 본 개시의 다양한 실시 예들에 따른 장치 및 방법은 표적에 신호를 송신하거나 표적으로부터 반사되는 신호를 이용하지 않고, 표적의 위치를 결정할 수 있게 한다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템을 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 방법에 관한 모식도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치의 구성을 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치에 관한 장치 정보의 결정 방법에 관한 모식도를 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 영상 이미지에 관한 일 예를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치의 동작 방법에 관한 흐름도를 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 방법에 관한 모식도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치의 구성을 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치에 관한 장치 정보의 결정 방법에 관한 모식도를 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 영상 이미지에 관한 일 예를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템에서, 표적 위치 결정 장치의 동작 방법에 관한 흐름도를 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 본 개시는 표적의 위치를 결정하기 장치 및 방법에 관한 것이다. 구체적으로, 본 개시는 영상 이미지와 표적 위치 결정 장치의 위치를 이용하여 표적의 위치를 결정하기 위한 기술을 설명한다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 명세서에 개시된 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.
일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용되었으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)을 도시한다.
표적 위치 결정 시스템(100)에 따르면, 표적 위치 결정 장치(230)는 표적(101)을 식별하고, 지구 중심 좌표계에 따른 표적(101)의 위치를 결정하는 기능을 수행한다. 도 1을 참고하면, 표적(101)은 표적 위치 결정 장치(230)의 탐지 대상이 되는 객체를 지시한다. 본 개시의 일 실시 예에 따르면, 표적(101)은 사람 표적, 차량 표적을 포함할 수 있다.
표적 위치 결정 장치(230)는 영상 이미지를 이용하여 표적을 탐지하고 표적의 위치를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 이동체(105)에 내부에 탑재되어 운용되거나, 이동체(105)의 외부에 연결되어 표적의 위치를 결정하는 연산을 수행할 수 있다. 이동체(105)는 표적 위치 결정 장치(230)를 이동시키는 기능을 수행하는 객체를 지시한다. 도 1은 이동체(105)로서 무인 항공기(103), 회전익 항공기(104)가 예시되어 있으나, 이동체(105)는 표적 위치 결정 장치(230)를 이동시키는 모든 객체로서 도 1과 같이 한정되지 않는다. 본 개시의 다른 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 고정되어 운용될 수도 있다. 표적 위치 결정 장치(230)는 고도가 높은 지역에 고정되어 표적을 탐지할 수 있다.
종래에 따르면, 임무 수행자는 표적(101)의 위치를 결정하기 위하여 레이더나 라이다를 사용하였다. 즉, 표적의 위치를 측정하기 위하여, 무선 주파수 신호의 송신 시각부터 수신 시각까지의 시간을 측정하여 레이더와 표적까지의 거리를 결정하는 방법에나, 광 신호의 비행 시간을 이용하여 라이다와 표적까지의 거리를 결정하는 방법이 이용되었다. 그러나, 레이더나 라이다를 이용하는 상황에서, 임무 수행자는 표적의 존재 유무를 파악할 수 있을 뿐, 표적이 구체적으로 어떤 물체인지 파악하기 어려웠다. 또한, 레이더 라이다는 가격이 비싸고, 크기 및 소모 전력이 커서, 드론과 같은 소형 무인 비행체에 탑재되기 어려웠다. 그러나, 본 개시에 따른 표적 위치 결정 장치(230)는 레이더나 라이다와 같이 신호를 송신하고 반사되는 신호를 검출하는 방식이 아닌, 표적 위치 결정 장치(230)에 관한 장치 정보와 표적 이미지로부터 표적의 위치를 연산하는 방식을 이용한다. 구체적으로, 본 개시에 따른 표적 위치 결정 장치(230)는 표적에 관하여 영상 이미지를 촬영하고, 인공 신경망(artificial neural network)을 이용하여 영상 이미지에서 표적을 검출할 수 있다. 이 후, 표적 위치 결정 장치(230)는 영상이 촬영된 시점의 표적 위치 결정 장치(230)의 위치 좌표, 회전 각도, 및 카메라의 지향 각도를 고려하고, 이를 미리 저장된 지도 정보와 비교함으로써 표적의 정밀한 위치 좌표를 결정할 수 있다. 표적 위치 결정 장치(230)의 표적 위치 결정 방법은 도 2 내지 도 6에서 상세히 설명된다.
도 2는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)에서, 표적 위치 결정 방법에 관한 모식도(200)를 도시한다.
표적(250)은 표적 위치 결정 장치(230)의 탐지 대상이 되는 객체를 지시한다. 본 개시의 일 실시 예에 따르면, 표적(250)은 적군 또는 적군이 운용하는 차량, 로봇 중 적어도 하나를 포함할 수 있다. 여기서, 표적(250)은 지면(210)의 특정 위치에 배치될 수 있다. 그에 따라, 표적(250)은 지구 중심 좌표계에서 특정 위치 좌표에 배치되고, 표적 위치 결정 장치(230)는 표적(250)의 특정 위치 좌표를 결정하는 기능을 수행할 수 있다.
표적 위치 결정 장치(230)는 이동체(105)에 탑재되어 운용될 수 있다. 즉, 표적 위치 결정 장치(230)는 소형 무인 항공기나, 고정익 항공기, 회전익 항공기와 같은 이동체(105)에 탑재되어, 이동할 수 있다. 그에 따라, 표적 위치 결정 장치(230)는 지면으로부터 이격된 위치에 배치될 수 있다.
본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 표적(250)을 검출하고 표적(250)의 위치 좌표를 결정할 수 있다. 이를 위하여, 표적 위치 결정 장치(230)는 카메라를 이용하여 표적에 관한 영상을 촬영하고, 표적 위치 결정 장치의 좌표, 자세 각도, 카메라의 지향 각도에 관한 장치 정보를 측정할 수 있다. 이후, 표적 위치 결정 장치(230)는 인공 신경망을 이용하여 영상 이미지에서 표적을 식별하여 검출할 수 있다. 표적 위치 결정 장치(230)는 영상 이미지 내에서 표적의 위치와 장치 정보를 고려하여, 표적 방향을 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 영상 이미지 내의 표적의 픽셀 좌표를 확인하고, 영상 이미지의 중심 픽셀 좌표로부터 표적의 픽셀 좌표까지의 픽셀 거리를 이용하여 표적 방향을 결정할 수 있다. 이후, 표적 위치 결정 장치(230)는 표적 방향의 직선과 미리 저장된 3차원의 지도 정보에 기반하여 표적의 위치 좌표를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 표적 방향의 직선과 3차원 지도 정보의 지면 사이의 교점을 확인할 수 있다. 표적 위치 결정 장치(230)는 확인한 교점을 표적 위치로 결정할 수 있다.
표적 위치 결정 장치(230)는 이동체(105)에 탑재되지 않고 고정된 경우, GPS나 및 자세 센서를 이용하여 직접 표적 위치 결정 장치에 관한 장치 정보를 획득하거나, 외부로부터 장치 정보를 수신할 수 있다.
본 개시에 따르면, 표적 위치 결정 장치(230)는 고가의 레이더, 라이다 등으로 수행되고 있는 표적 탐지 기능을 인공 신경망과 카메라를 이용하여 소형 및 저가의 장비로 구현할 수 있다. 또한 레이다나 라이다는 표적에 관한 구체적인 인식이 어렵지만, 표적 위치 결정 장치(230)는 인공 신경망을 통해 표적을 미리 학습하고, 영상 이미지로부터 표적 추적 및 위치 계산을 수행할 할 수 있다.
도 3은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)에서, 표적 위치 결정 장치(230)의 구성(300)을 도시한다. 이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 3을 참고하면, 표적 위치 결정 장치(230)는 표적에 관한 신호 송수신 없이 표적의 위치를 결정할 수 있다. 표적 위치 결정 장치(230)는 이동체(150)에 탑재되어 이동할 수 있고, 이동 과정에서 표적 위치 결정 장치 주변에 관한 영상 이미지를 획득할 수 있다. 여기서, 표적 위치 결정 장치(230)는 인공 신경망을 이용하여 표적에 관한 영상 이미지로부터 표적을 탐지할 수 있고, 표적 위치 결정 장치에 관한 장치 정보와 영상 이미지로부터 표적 방향을 결정할 수 있다. 이후, 표적 위치 결정 장치(230)는 미리 저장된 3차원 지도 정보의 지면과 표적 방향의 직선 사이의 교점을 확인함으로써, 표적 위치를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 영상 촬영부(310), 장치 정보 획득부(330), 표적 검출부(350), 위치 결정부(370)를 포함할 수 있다.
영상 촬영부(310)는 표적 위치 결정 장치(230)의 주변 환경에 관한 영상을 촬영하는 기능을 수행한다. 영상 촬영부(310)는 표적 위치 결정 장치(230)의 주변을 촬영할 수 있다. 또한, 영상 촬영부(310)는 촬영한 이미지를 저장할 수 있다.
본 개시의 일 실시 예에 따르면, 영상 촬영부(310)는 영상 촬영기(311)를 포함할 수 있다. 영상 촬영기(311)는 표적 위치 결정 장치(230)의 외부에 배치되어, 고정된 형태로 운용될 수 있다. 이 경우, 영상 촬영기(311)의 표적 지향 각도는 표적 위치 결정 장치(230)의 자세 각도에 대응되도록 결정될 수 있다. 즉, 표적 위치 결정 장치(230)의 자세가 변경됨에 따라, 영상 촬영기(311)의 카메라 지향 각도가 변경될 수 있다.
본 개시의 다른 일 실시 예에 따르면, 영상 촬영부(310)는 영상 촬영기(311)에 추가로 촬영 제어기(313)를 포함할 수 있다. 영상 촬영기(311)는 표적 위치 결정 장치(230)의 외부에 배치되어, 이동 가능한 형태로 운용될 수 있다. 이 경우, 영상 촬영기(311)의 표적 지향 각도는 표적 위치 결정 장치(230)의 자세 각도에 추가로 카메라의 지향 각도가 고려될 수 있다. 여기서, 촬영 제어기(313)는 영상 촬영기(311)의 카메라 지향 각도를 결정하는 기능을 수행할 수 있다. 촬영 제어기(313)는 영상 촬영기(311)가 특정 방향을 지향하도록 조정할 수 있다. 본 개시의 일 실시 예에 따르면, 촬영 제어기(313)는 영상 이미지 내에서 표적이 중심에 위치하도록 영상 촬영기의 지향 각도를 변경할 수 있다.
장치 정보 획득부(330)는 표적 위치 결정 장치(230)에 관한 장치 정보를 획득하는 기능을 수행한다. 장치 정보 획득부(330)는 표적 위치 결정 장치(230)의 위치 좌표나 자세 각도, 영상 촬영기의 표적에 관한 지향 각도를 측정하는 기능을 수행할 수 있다. 본 개시의 일 실시 예에 따르면, 장치 정보 획득부(330)는 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보, 표적 위치 결정 장치의 회전 각도에 관한 자세 각도, 및 영상 촬영부에 포함된 영상 촬영기의 표적에 관한 지향 각도를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 위치 정보는 표적 위치 결정 장치(230)의 위도, 경도, 및 고도 정보를 포함할 수 있다. 자세 각도는 표적 위치 결정 장치(230)의 요 각(yaw angle), 롤 각(roll angle), 피치 각(pitch angle)을 포함할 수 있다. 장치 정보 획득부(330)는 위치 정보, 자세 각도, 및 지향 각도를 저장할 수 있다.
표적 검출부(350)는 인공 신경망에 기반하여, 영상 이미지로부터 표적을 검출하는 기능을 수행한다. 인공 신경망은 다양한 구조의 신경망 모델로 구현될 수 있다. 인공 신경망은 CNN(convolutional neural network) 모델, RNN(recurrent neural network) 모델, 및 LSTM(long short term memory) 모델로 구현될 수 있다. 그러나, 이와 같은 인공 신경망 모델은 일 예시에 해당되고, 학습 데이터에 기초하여 입력과 출력 간의 상관 관계를 학습할 수 있는 수단은 본 개시에 인공 신경망으로 사용될 수 있다. 본 개시의 일 실시 에에 따르면, 인공 신경망은 영상 이미지의 픽셀 값으로부터 표적 식별을 학습한 신경망으로서, 영상 이미지 입력에 대응하여 표적이 검출되었는지 여부와 표적의 검출 위치를 출력하도록 학습된 신경망을 지시할 수 있다. 표적 검출부(350)는 영상 촬영부(310)가 확득한 영상 이미지에서, 인공 신경망에 기반하여 표적을 검출하는 기능을 수행할 수 있다. 표적 검출부(350)는 표적이 검출 되었는지 여부와 함께, 영상 이미지 내에서 검출된 표적의 픽셀 좌표에 표적 영상 좌표를 결정할 수 있다.
위치 결정부(370)는 영상 이미지와 장치 정보에 기반하여, 표적의 위치를 결정하는 기능을 수행한다. 위치 결정부(370)는 영상 이미지 내에서 표적 검출부(350)가 결정한 표적 영상 좌표를 획득하거나, 표적에 관한 표적 영상 좌표를 직접 결정할 수 있다. 이후, 위치 결정부(370)는 표적 영상 좌표에 기반하여, 표적 위치 결정 장치로부터 표적을 향하는 표적 방향을 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 위치 결정부(370)는 표적 위치 결정 장치(230)의 자세 각도, 지향 각도, 및 표적 영상 좌표를 고려하여 표적 방향을 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 위치 결정부(370)는 영상 이미지 내에서 표적의 크기와 표적 거리에 대응 관계를 지시하는 테이블을 미리 저장할 수 있다. 위치 결정부(370) 미리 저장된 테이블에 기반하여 표적 거리를 결정하고, 영상 이미지의 중심 좌표와 표적 영상 좌표의 차이와 표적 거리에 기반하여, 표적 방향을 결정할 수 있다. 위치 결정부(370)는 표적 방향의 직선과 미리 저장된 3차원의 지도 정보에 기반하여 표적의 위치 좌표를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 위치 결정부(370)는 표적 방향의 직선과 3차원 지도 정보의 지면 사이의 교점을 확인하고, 교점의 좌표를 표적의 위치 좌표로 결정할 수 있다.
도 4는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)에서, 표적 위치 결정 장치(230)에 관한 장치 정보의 결정 방법에 관한 모식도(400)를 도시한다.
도 4는 소형 무인 항공기에 표적 위치 결정 장치(230)가 탑재된 경우를 예시하고, 표적 위치 결정 장치(230)의 영상 촬영부(310)가 외부로 돌출된 구조로 구현된 경우를 예시한다. 따라서, 소형 무인 항공기의 자세 각도에 대응되도록 표적 위치 결정 장치(230)의 자세 각도가 결정될 수 있다.
표적 위치 결정 장치(230)의 장치 정보 획득부(330)는 표적 위치 결정 장치의 위치 좌표, 자세 각도, 지향 각도를 획득할 수 있다. 여기서, 장치 정보 획득부(330)는 위치 추적 센서를 이용하여 표적의 위도, 경도, 및 고도에 관한 정보를 획득할 수 있다, 또한, 장치 정보 획득부(330)는 자세 각도 센서를 이용하여 표적 위치 결정 장치(230)의 자세 각도와 영상 촬영부(310)의 지향 각도를 결정할 수 있다.
도 4를 참고하면, 표적 위치 결정 장치(230)가 공중에 위치하는 경우, 3차원 공간에서 기동 중 방향을 전환하기 위한 3가지 축이 예시된다. 도 4를 참고하면, 표적 위치 결정 장치(230)는 x축, y축, z축 중 적어도 하나의 축을 기준으로 회전할 수 있다. 이때, x축을 중심으로 회전한 회전 각도는 롤 각으로 지시될 수 있다. 동일한 방법으로, y축을 중심으로 회전한 회전 각도는 피치 각으로 지시될 수 있고, z축을 중심으로 회전한 회전 각도는 요 각으로 지시될 수 있다. 장치 정보 획득부(330)는 센서를 이용하여 x축 중심, y축 중심, z축 중심으로 하는 회전 각도를 지시하는 롤 각, 피치 각, 요 각을 결정함으로써, 자세 각도를 결정할 수 있다. 동일한 방법으로, 장치 정보 획득부(330)는 센서를 이용하여, x축 중심, y축 중심, z축 중심으로 하는 회전 각도를 지시하는 롤 각, 피치 각, 요 각을 결정함으로써 카메라의 지향 각도를 결정할 수 있다.
표적 위치 결정 장치(230)는 표적 위치 결정 장치(230)와 표적 연결하는 직선과 지면의 교점을 이용하여 표적의 위치를 결정할 수 있다. 그에 따라, 표적 위치 결정 장치(230)와 표적을 연결하는 직선의 위치 정보, 자세 각도, 및 지향 각도에 기반하여 결정될 수 있다.
위치 정보는 표적 위치 결정 장치(230)와 표적을 연결하는 직선의 특정 좌표로 이용될 수 있다. 또한, 자세 각도와 지향 각도는 특정 좌표로부터 표적을 향하는 방향의 결정이 이용될 수 있다. 그에 따라, 표적 위치 결정 장치(230)는 표적을 향하는 방향들 중에서, 특정 좌표를 지나는 직선을 결정함으로써, 표적 위치 결정 장치와 표적을 연결하는 직선을 결정할 수 있다.
도 5는 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)에서, 영상 이미지에 관한 일 예(500)를 도시한다. 도 5는 표적에 관한 이미지가 포함된 영상 이미지를 예시한다.
도 5를 참고하면, 영상 촬영부(310)는 표적 위치 결정 장치(230)의 주변이 촬영된 영상 이미지(501)를 획득할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 검출부(350)는 인공 신경망을 이용하여 사람 표적(530), 차량 표적(570) 중 적어도 하나를 검출할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 인공 신경망에 기반하여, 영상 이미지(501)에서 사람 표적(530)을 검출하고, 사람 표적(530)에 대응되는 사람 바운딩 박스(bounding box)(550)을 결정할 수 있다. 이후, 표적 검출부(350)는 사람 바운딩 박스(550)의 중심에 해당하는 픽셀 위치를 확인할 수 있다. 표적 검출부(350)는 확인된 픽셀 위치를 사람 표적(530)에 관한 표적 영상 좌표로 결정할 수 있다.
동일한 방법으로, 표적 위치 결정 장치(230)는 차량 표적(570)을 검출하고, 차량 표적(570)에 대응되는 차량 바운딩 박스(590)를 결정할 수 있다. 이후, 표적 검출부(350)는 차량 바운딩 박스(590)의 중심에 해당하는 픽셀 위치를 확인하고, 확인된 픽셀 위치를 차량 표적(570)에 관한 표적 영상 좌표로 결정할 수 있다.
이후, 표적 위치 결정 장치(230)는 표적 영상 좌표에 기반하여, 표적 위치 결정 장치로부터 표적을 향하는 표적 방향을 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 영상 이미지 내에서 표적 영상 좌표의 위치와, 표적 위치 결정 장치의 위치 좌표, 자세 각도, 지향 각도를 고려하여 표적 방향을 결정할 수 있다. 표적 위치 결정 장치(230)는 영상 이미지 내에서 표적의 크기와 표적 거리에 대응 관계를 지시하는 테이블에 기반하여 표적 거리를 결정하고, 영상 이미지의 중심 좌표(510)와 표적 영상 좌표의 차이와 표적 거리에 기반하여, 표적 방향을 결정할 수 있다.
본 개시의 다른 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 촬영 제어기(313)를 이용하여, 표적 영상 좌표가 영상 이미지의 중심에 위치하도록 영상 촬영기(311)의 지향 각도를 조정할 수 있다. 이 경우, 표적 위치 결정 장치(230)는 자세 정보 및 지향 각도를 이용하여 표적을 향하는 복수의 직선들을 결정하고, 복수의 직선들 중에서 위치 좌표를 통과하는 직선을 표적 방향으로 결정할 수 있다. 이후, 표적 위치 결정 장치(230)는 직선과 미리 저장된 지도 정보를 이용하여 표적의 위치 좌표를 최종적으로 결정할 수 있다.
도 6은 본 개시의 다양한 실시 예들에 따른 표적 위치 결정 시스템(100)에서, 표적 위치 결정 장치(230)의 동작 방법에 관한 흐름도(600)를 도시한다. 도 6은 영상 이미지로부터 표적의 위치를 결정하는 방법을 예시한다.
도 6을 참고하면 단계(601)에서, 표적 위치 결정 장치(230)는 표적에 관한 이미지가 포함된 영상 이미지를 획득한다. 표적 위치 결정 장치(230)는 영상 촬영기(311)를 이용하여 표적 위치 결정 장치(230) 주변을 촬영하여 영상 이미지를 획득할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 표적 영상 좌표가 영상 이미지의 미리 설정된 중심 영역에 위치하도록, 영상 촬영기의 지향 각도를 변경하는 촬영 제어기를 포함할 수 있다.
단계(603)에서, 표적 위치 결정 장치(230)는 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득한다. 표적 위치 결정 장치(230)는 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보, 표적 위치 결정 장치의 회전 각도에 관한 자세 각도, 및 영상 촬영부에 포함된 영상 촬영기의 표적에 관한 지향 각도를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 위치 정보는 표적 위치 결정 장치(230)의 위도, 경도, 및 고도를 포함하고, 자세 각도는 표적 위치 결정 장치(230)의 요 각, 롤 각, 피치 각을 포함할 수 있다.
단계(605)에서, 표적 위치 결정 장치(230)는 인공 신경망에 기반하여, 영상 이미지로부터 표적을 검출한다. 표적 위치 결정 장치(230)는 학습된 인공 신경망에 기반하여, 영상 이미지를 입력 받고 영상 이미지에 포함된 표적의 검출 여부를 출력하는 미리 학습된 신경망을 포함할 수 있다.
단계(607)에서, 표적 위치 결정 장치(230)는 영상 이미지와 장치 정보에 기반하여, 표적의 위치를 결정한다. 표적 위치 결정 장치(230)는 영상 이미지에서 표적에 관한 표적 영상 좌표를 결정하고, 표적 영상 좌표에 기반하여, 표적 위치 결정 장치로부터 표적에 관한 표적 방향을 결정하고, 위치 정보, 표적 방향, 및 미리 저장된 지도 정보에 기반하여 표적의 위치를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 자세 각도, 지향 각도, 및 표적 영상 좌표에 기반하여, 표적 방향을 결정할 수 있다. 본 개시의 다른 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 영상 이미지에서 표적의 크기와 미리 저장된 테이블에 기반하여 표적 거리를 결정하고, 영상 이미지의 중심 좌표와 표적 영상 좌표의 차이 및 표적 거리에 기반하여, 표적 방향을 결정할 수 있다.
본 개시의 일 실시 예에 따르면, 표적 위치 결정 장치(230)는 위치 좌표에서 표적 방향으로 배치되는 복수의 좌표들을 결정하고, 복수의 좌표들에서, 미리 저장된 지도 정보에 기반하여 결정되는 지상의 좌표에 대응되는 좌표를 표적의 위치로 결정할 수 있다. 표적 위치 결정 장치(230)는 결정된 표적 위치와 영상 이미지를 외부로 송신할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101,250
표적
103
무인 항공기
104 회전익 항공기 105 이동체
210 지면 230 표적 위치 결정 장치
310 영상 촬영부 311 영상 촬영기
313 촬영 제어기 330 장치 정보 획득부
350 표적 검출부 370 위치 결정부
501 영상 이미지 510 중심 좌표
530 사람 표적 550 사람 바운딩 박스
570 차량 표적 590 차량 바운딩 박스
104 회전익 항공기 105 이동체
210 지면 230 표적 위치 결정 장치
310 영상 촬영부 311 영상 촬영기
313 촬영 제어기 330 장치 정보 획득부
350 표적 검출부 370 위치 결정부
501 영상 이미지 510 중심 좌표
530 사람 표적 550 사람 바운딩 박스
570 차량 표적 590 차량 바운딩 박스
Claims (11)
- 영상 이미지로부터 표적의 위치를 결정하는 표적 위치 결정 장치에 있어서,
상기 표적에 관한 이미지가 포함된 상기 영상 이미지를 획득하는 영상 촬영부;
상기 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득하는 장치 정보 획득부;
인공 신경망(artificial neural network)에 기반하여, 상기 영상 이미지로부터 상기 표적을 검출하는 표적 검출부; 및
상기 영상 이미지와 상기 장치 정보에 기반하여, 상기 표적의 위치를 결정하는 위치 결정부를 포함하는 표적 위치 결정 장치.
- 청구항 1에 있어서,
상기 장치 정보 획득부는,
상기 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보를 결정하고,
상기 표적 위치 결정 장치의 회전 각도에 관한 자세 각도를 결정하고,
상기 영상 촬영부에 포함된 영상 촬영기의 상기 표적에 관한 지향 각도를 결정하는 표적 위치 결정 장치.
- 청구항 2에 있어서,
상기 위치 정보는 상기 표적 위치 결정 장치의 위도, 경도, 및 고도를 포함하고,
상기 자세 각도는 상기 표적 위치 결정 장치의 요 각(yaw angle), 롤 각(roll angle), 피치 각(pitch angle)을 포함하는 표적 위치 결정 장치.
- 청구항 2에 있어서,
상기 위치 결정부는,
상기 영상 이미지에서, 상기 표적에 관한 표적 영상 좌표를 결정하고,
상기 표적 영상 좌표에 기반하여, 상기 표적 위치 결정 장치로부터 상기 표적에 관한 표적 방향을 결정하고,
상기 위치 정보, 상기 표적 방향, 및 미리 저장된 지도 정보에 기반하여 표적의 위치를 결정하는 표적 위치 결정 장치.
- 청구항 4에 있어서,
상기 위치 결정부는,
상기 자세 각도, 상기 지향 각도, 및 상기 표적 영상 좌표에 기반하여, 상기 표적 방향을 결정하는 표적 위치 결정 장치.
- 청구항 4에 있어서,
상기 위치 결정부는,
상기 영상 이미지에서 상기 표적의 크기와 미리 저장된 테이블에 기반하여 표적 거리를 결정하고,
상기 영상 이미지의 중심 좌표와 상기 표적 영상 좌표의 차이 및 상기 표적 거리에 기반하여, 상기 표적 방향을 결정하는 표적 위치 결정 장치.
- 청구항 4에 있어서,
상기 위치 결정부는,
상기 위치 좌표에서 상기 표적 방향으로 배치되는 복수의 좌표들을 결정하고,
상기 복수의 좌표들에서, 상기 미리 저장된 지도 정보에 기반하여 결정되는 지상의 좌표에 대응되는 좌표를 상기 표적의 위치로 결정하는 표적 위치 결정 장치.
- 청구항 4에 있어서,
상기 영상 촬영부는,
상기 표적 영상 좌표가 상기 영상 이미지의 미리 설정된 중심 영역에 위치하도록, 상기 영상 촬영기의 지향 각도를 변경하는 촬영 제어기를 포함하는 표적 위치 결정 장치.
- 영상 이미지로부터 표적의 위치를 결정하는 표적 위치 결정 장치의 동작 방법에 있어서,
상기 표적에 관한 이미지가 포함된 상기 영상 이미지를 획득하는 단계;
상기 표적 위치 결정 장치의 위치와 각도에 관한 장치 정보를 획득하는 단계;
인공 신경망(artificial neural network)에 기반하여, 상기 영상 이미지로부터 상기 표적을 검출하는 단계; 및
상기 영상 이미지와 상기 장치 정보에 기반하여, 상기 표적의 위치를 결정하는 단계를 포함하는 방법.
- 청구항 9에 있어서,
상기 영상 이미지를 획득하는 단계는,
상기 표적 위치 결정 장치의 위치 좌표에 관한 위치 정보를 결정하는 단계;
상기 표적 위치 결정 장치의 회전 각도에 관한 자세 각도를 결정하는 단계; 및
영상 촬영기의 상기 표적에 관한 지향 각도를 결정하는 단계를 포함하는 방법.
- 청구항 10에 있어서,
상기 표적의 위치를 결정하는 단계는,
상기 영상 이미지에서, 상기 표적에 관한 표적 영상 좌표를 결정하는 단계;
상기 표적 영상 좌표에 기반하여, 상기 표적 위치 결정 장치로부터 상기 표적에 관한 표적 방향을 결정하는 단계; 및
상기 위치 정보, 상기 표적 방향, 및 미리 저장된 지도 정보에 기반하여 표적의 위치를 결정하는 단계를 포함하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210164876A KR20230077522A (ko) | 2021-11-25 | 2021-11-25 | 이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210164876A KR20230077522A (ko) | 2021-11-25 | 2021-11-25 | 이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230077522A true KR20230077522A (ko) | 2023-06-01 |
Family
ID=86771193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210164876A KR20230077522A (ko) | 2021-11-25 | 2021-11-25 | 이미지로부터 표적의 위치를 결정하기 위한 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230077522A (ko) |
-
2021
- 2021-11-25 KR KR1020210164876A patent/KR20230077522A/ko not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10514711B2 (en) | Flight control using computer vision | |
| CN109596118B (zh) | 一种用于获取目标对象的空间位置信息的方法与设备 | |
| US10860039B2 (en) | Obstacle avoidance method and apparatus and unmanned aerial vehicle | |
| US10535273B2 (en) | Unmanned aerial vehicle and method for reconfiguring geofence region thereof using electronic device | |
| WO2019067695A1 (en) | FLIGHT CONTROL USING VISION BY COMPUTER | |
| US10809713B2 (en) | Method for controlling unmanned aerial vehicle and unmanned aerial vehicle supporting the same | |
| US20200191556A1 (en) | Distance mesurement method by an unmanned aerial vehicle (uav) and uav | |
| US20200264011A1 (en) | Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle | |
| JP2014119828A (ja) | 自律飛行ロボット | |
| CN111966133A (zh) | 一种云台视觉伺服控制系统 | |
| WO2018094626A1 (zh) | 无人飞行器的避障控制方法及无人飞行器 | |
| US11410299B2 (en) | System and method for counteracting unmanned aerial vehicles | |
| US11388343B2 (en) | Photographing control method and controller with target localization based on sound detectors | |
| US11579302B2 (en) | System and method for detecting unmanned aerial vehicles | |
| US20190116309A1 (en) | Overhead line image capturing system and overhead line image capturing method | |
| US20210104162A1 (en) | Stereo Vision Relative Navigation of Airborne Vehicles | |
| JP2018119852A (ja) | 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット | |
| CN110997488A (zh) | 动态控制用于处理传感器输出数据的参数的系统和方法 | |
| KR20200023974A (ko) | 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치 | |
| Stich | Geo-pointing and threat location techniques for airborne border surveillance | |
| WO2020019175A1 (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| WO2021166845A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| KR20240006475A (ko) | 복수의 무인비행체를 이용한 구조물 관리 방법 및 시스템 | |
| EP3798907A1 (en) | System and method for detecting unmanned aerial vehicles | |
| EP3799009A1 (en) | System and method for counteracting unmanned aerial vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |