KR100231712B1 - A design of system architecture and operation for unmanned aero vehicle system - Google Patents
A design of system architecture and operation for unmanned aero vehicle system Download PDFInfo
- Publication number
- KR100231712B1 KR100231712B1 KR1019970024562A KR19970024562A KR100231712B1 KR 100231712 B1 KR100231712 B1 KR 100231712B1 KR 1019970024562 A KR1019970024562 A KR 1019970024562A KR 19970024562 A KR19970024562 A KR 19970024562A KR 100231712 B1 KR100231712 B1 KR 100231712B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- virtual
- technology
- reconnaissance
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
본 발명은 무인 정찰기 시스템의 운용방법에 관한 것으로서, 특히, 가상 현실을 이용하여 실세계 정보를 보강하는 기술인 증강 현실 기술을 이용하여 무인 정찰기 시스템을 운용하는 방법에 관한 것이다.The present invention relates to a method for operating an unmanned reconnaissance system, and more particularly, to a method for operating an unmanned reconnaissance system using augmented reality technology that is a technology for reinforcing real-world information using virtual reality.
무인정찰기 시스템을 운용하는 방법은, 정찰 대상의 실사 이미지를 얻기 위해 정찰 대상을 촬영하여 정찰 대상에 대한 정보를 수집하고 가상 이미지를 생성하기 위해 컴퓨터 그래픽스 기술 및 가시화 방법을 이용하여 필요한 정보를 가시화 하는 제 1 과정과, GPS와 CCD 카메라를 이용하여 정찰 대상의 절대 위치와 실사이미지를 얻어 상기 제 1 과정에서 생성된 가상 이미지와 실사 이미지를 합성하는 제 2 과정과, 사용자 인터페이스를 통해 상기 무인 정찰기 시스템의 이동에 따라 변하는 실사 이미지와 가상 이미지를 동기화 하는 제 3 과정으로 구성되어, 정보를 효율적으로 이용할 수 있으며, 정보 획득을 용이하게 함으로서 정보 이용을 높일 수가 있다.The operation of the unmanned reconnaissance system uses a computer graphics technology and visualization method to visualize the reconnaissance target, collect information about the reconnaissance target, and generate a virtual image to obtain a realistic image of the reconnaissance target. A first process, a second process of synthesizing the virtual image and the real image generated in the first process by acquiring the absolute position and the actual image of the object of reconnaissance using a GPS and a CCD camera; and the unmanned reconnaissance system through a user interface It consists of a third process of synchronizing the actual image and the virtual image that changes according to the movement of the, can efficiently use the information, it is possible to increase the use of information by facilitating information acquisition.
Description
본 발명은 무인 정찰기 시스템의 운용방법에 관한 것으로서, 특히, 가상 현실을 이용하여 실세계 정보를 보강하는 기술인 증강 현실 기술을 이용하여 무인 정찰기 시스템을 운용하는 방법에 관한 것이다.The present invention relates to a method for operating an unmanned reconnaissance system, and more particularly, to a method for operating an unmanned reconnaissance system using augmented reality technology that is a technology for reinforcing real-world information using virtual reality.
무인 정찰기 시스템이란 종래에 사람이 정찰 업무를 수행하던 것을 대행하는 시스템으로서, 무선 통신 기술 및 컴퓨터 그래픽 기술 등의 발달로 인하여 이러한 시스템의 개발이 가능하였다.The unmanned reconnaissance system is a system for performing a reconnaissance work by a person in the past, the development of such a system was possible due to the development of wireless communication technology and computer graphics technology.
또한, 근래에는 인간과 컴퓨터의 상호작용에 대한 관심이 고조되면서 증강 현실의 중요성이 점차 부각되고 있으며, 증강 현실의 요소 기술인 컴퓨터 그래픽스 기술과, 컴퓨터 비젼 기술, 그리고 화상처리 기술 및 무선통신 기술과 GIS (Geometric Information System) 데이터 처리 기술, GPS(Global Positioning System) 운용 기술 및 응용 분야를 위한 관련 기술이 통합되고 있다.In addition, as the interest in the interaction between humans and computers is increasing in recent years, the importance of augmented reality is gradually increasing, and computer graphics technology, computer vision technology, image processing technology, wireless communication technology, and GIS, which are elements of augmented reality (Geometric Information System) data processing technology, Global Positioning System (GPS) operation technology and related technologies for applications are being integrated.
이 때, 증강 현실(Augmented Reality) 기술이란 실세계에 대한 이해증진에 목적을 둔 최근 소개된 기술로서, 예를 들면, 자동차 내부 구조에 대해 전혀 모르는 사람에게 자동차 내부를 들여다 볼 때 보는 부분의 명칭 및 역할, 고장시 점검 사항등을 문자, 그림, 음성 등의 정보로 동시에 제공함으로써 자동차란 실제 물체에 대한 이해를 높이는 기술이다.In this case, Augmented Reality technology is a recently introduced technology aimed at improving understanding of the real world. For example, the name of a part that is seen when looking into the inside of a car to a person who has no knowledge about the internal structure of the car and By providing information such as text, picture, and voice at the same time, it is a technology to improve understanding of real objects.
상기 관련 분야의 연구 결과를 통합하는 기술이 개발됨으로써, 가상 현실을 이용하여 실세계 정보를 보강하는 기술, 가상 오브젝트를 실세계에 등록하는 방법, 가상 오브젝트를 실세계에 표현하는 방법, 실세계와 가상 세계의 오브젝트에 대한 정확한 측정 기술, 실시간 처리 기술 및 사용자 인터페이스 기술과 같은 증강 현실의 요소 기술에 대한 연구 개발이 시작되었다.By developing a technology that integrates the research results of the related fields, a technique of reinforcing real-world information using virtual reality, a method of registering a virtual object in the real world, a method of expressing a virtual object in the real world, an object of the real world and a virtual world Research and development on element technologies of augmented reality, such as accurate measurement technology, real-time processing technology and user interface technology, has begun.
그러나, 지금까지는 인간 중심의 사용자 인터페이스의 기반 기술에 대한 고려가 미흡하다는 단점이 있다.However, until now, there is a drawback that the consideration of the underlying technology of the human-oriented user interface is insufficient.
따라서, 본 발명에서는 사용자 중심의 인터페이스와 실시간 정보를 획득할 수 있는 증강 현실 기술을 이용한 무인 정찰기 시스템의 운용방법을 제공하고자 한다.Therefore, the present invention is to provide a method of operating an unmanned reconnaissance system using augmented reality technology that can obtain a user-centered interface and real-time information.
상기의 목적을 달성하기 위해 본 발명에서 제공하는 무인 정찰기 시스템의 운용방법은 정찰 대상의 실사 이미지를 얻기 위해 정찰 대상을 CCD (Computer-Controlled Display) 카메라로 촬영하여 정찰 대상에 대한 정보를 수집하고, 가상 이미지를 생성하기 위해 컴퓨터 그래픽스 기술 및 가시화 방법을 이용하여 필요한 정보를 가시화 하는 제 1 과정과, GPS(Global Positioning System)를 이용하여 정찰 대상의 절대 위치와 그 위치에서 어느 방향으로 얼마만큼의 범위를 촬영하고 있는재에 대한 정보를 얻어 상기 제 1 과정에서 생성된 가상 이미지와 실사 이미지를 합성하는 제 2 과정과, 사용자 인터페이스를 통해 상기 무인 정찰기 시스템의 이동에 따라 변하는 실사 이미지와 가상 이미지를 동기화 하는 제 3 과정으로 구성된다.In order to achieve the above object, the operation method of the unmanned reconnaissance system provided by the present invention collects information on a reconnaissance target by shooting a reconnaissance target with a computer-controlled display (CCD) camera to obtain a realistic image of the reconnaissance target, The first step of visualizing necessary information using computer graphics technology and visualization method to generate a virtual image, and the absolute position of the reconnaissance target using GPS (Global Positioning System) and how much range in which direction from that position A second process of synthesizing the virtual image and the real image generated in the first process by obtaining information about the material that is photographing the image; and synchronizing the real image and the virtual image that change according to the movement of the unmanned reconnaissance system through a user interface It consists of a third process.
도 1은 본 발명에 따른 증강 현실 기술을 이용한 무인 정찰기 시스템 구성도,1 is a block diagram of an unmanned reconnaissance system using augmented reality technology according to the present invention,
도 2는 본 발명에 따른 무인 정찰기 시스템의 운영 방법에 대한 처리 흐름도,2 is a flowchart illustrating a method of operating an unmanned reconnaissance system according to the present invention;
도 3은 본 발명에 따른 무선 통신 교환 개념도,3 is a conceptual diagram of a wireless communication exchange according to the present invention;
도 4는 본 발명에 따른 촬영 정보 수신 장치 개념도,4 is a conceptual diagram of a photographing information receiving apparatus according to the present invention;
도 5는 본 발명에 따른 카메라(영상송신) 구성 개념도,5 is a conceptual diagram of a camera (image transmission) according to the present invention;
도 6은 본 발명에 따른 카메라 위치검출(GPS) 구성 개념도,6 is a conceptual diagram of a camera position detection (GPS) configuration according to the present invention;
도 7은 본 발명에 따른 자이로(카메라 방향검출) 구성 개념도,7 is a conceptual diagram of a gyro (camera direction detection) according to the present invention;
도 8은 본 발명에 따른 실사와 가상이미지 합성에 대한 처리흐름도,8 is a process flow diagram for the real-world and virtual image synthesis according to the present invention,
도 9는 본 발명에 따른 실사와 가상이미지 동기화에 대한 처리흐름도,9 is a process flow diagram for the actual image and virtual image synchronization according to the present invention,
도 10은 본 발명에 따른 무인 정찰기 시스템의 전체 블럭도,10 is an overall block diagram of an unmanned reconnaissance system according to the present invention;
도 11은 본 발명의 무인 정찰기 시스템의 주 동작에 대한 처리도,11 is a process diagram for the main operation of the unmanned reconnaissance system of the present invention,
도 12는 본 발명에 따른 이미지 합성 모듈의 동작에 대한 처리도,12 is a process diagram for the operation of the image compositing module according to the present invention;
도 13은 본 발명에 따른 가상 이미지 처리 모듈의 동작에 대한 처리도,13 is a process diagram for the operation of the virtual image processing module according to the present invention;
도 14는 본 발명에 따른 실사 이미지 처리 모듈의 동작에 대한 처리도,14 is a process diagram for the operation of the photorealistic image processing module according to the present invention;
도 15는 본 발명에 따른 가상 이미지 생성 모듈의 동작에 대한 처리도,15 is a process diagram for the operation of the virtual image generation module according to the present invention;
도 16은 본 발명에 따른 맵(Map) DB 검색 모듈의 동작에 대한 처리도.16 is a process diagram for the operation of the map DB search module according to the present invention;
〈도면의주요부분에대한부호의설명〉〈Description of the symbols for the main parts of the drawings〉
100 : GPS 위성 200 : 기지국100: GPS satellite 200: base station
201 : 퍼스널 컴퓨터(PC) 202 : 테스트용 Map D/B201: Personal Computer (PC) 202: Test Map D / B
203 : TNC 204 : 제 1 수신기(RX)203: TNC 204: first receiver (RX)
205 : 제 2 송수신기(TX, RX) 300 : 헬기205: second transceiver (TX, RX) 300: helicopter
301 : 헬기 장착 카메라 302 : 데이터 송신 장치(TX)301: camera with a helicopter 302: data transmission device (TX)
303 : 자이로 시스템 304 : GPS 수신기303: Gyro System 304: GPS Receiver
305 : 안테나 306 : 자이로엔진305: antenna 306: gyro engine
307 : 자이로테스트 박스307: gyro test box
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 증강 현실 기술을 이용한 무인 정찰기 시스템 구성도이고, 도 2는 본 발명에 따른 무인 정찰기 시스템의 운영 방법에 대한 처리 흐름도이고, 도 3은 본 발명에 따른 무선 통신 교환 개념도이고, 도 4는 본 발명에 따른 촬영 정보 수신 장치 개념도이고, 도 5는 본 발명에 따른 카메라(영상송신) 구성 개념도이고, 도 6은 본 발명에 따른 카메라 위치검출(GPS) 구성 개념도이고, 도 7은 본 발명에 따른 자이로(카메라 방향검출) 구성 개념도이고, 도 8은 본 발명에 따른 실사와 가상이미지 합성에 대한 처리흐름도이고, 도 9는 본 발명에 따른 실사와 가상이미지 동기화에 대한 처리흐름도이고, 도 10은 본 발명에 따른 무인 정찰기 시스템의 전체 블럭도이고, 도 11은 본 발명의 무인 정찰기 시스템의 주 동작에 대한 처리도이고, 도 12는 본 발명에 따른 이미지 합성 모듈의 동작에 대한 처리도이고, 도 13은 본 발명에 따른 가상 이미지 처리 모듈의 동작에 대한 처리도이고, 도 14는 본 발명에 따른 실사 이미지 처리 모듈의 동작에 대한 처리도이고, 도 15는 본 발명에 따른 가상 이미지 생성 모듈의 동작에 대한 처리도이고, 도 16은 본 발명에 따른 맵(Map) DB 검색 모듈의 동작에 대한 처리도이다.1 is a configuration diagram of an unmanned reconnaissance system using augmented reality technology according to the present invention, Figure 2 is a process flow diagram for the operation method of the unmanned reconnaissance system according to the present invention, Figure 3 is a wireless communication exchange conceptual diagram according to the present invention 4 is a conceptual diagram of a photographing information receiving apparatus according to the present invention, FIG. 5 is a conceptual diagram of a camera (image transmission) according to the present invention, FIG. 6 is a conceptual diagram of a camera position detection (GPS) according to the present invention, and FIG. 8 is a conceptual diagram of a gyro (camera direction detection) configuration according to the present invention, FIG. 8 is a flowchart illustrating a process for synthesizing real images and virtual images according to the present invention, and FIG. 10 is an overall block diagram of an unmanned reconnaissance system according to the present invention, FIG. 11 is a processing diagram for the main operation of the unmanned reconnaissance system of the present invention, and FIG. FIG. 13 is a processing diagram of the operation of the virtual image processing module according to the present invention, FIG. 14 is a processing diagram of the operation of the real image processing module according to the present invention. 15 is a flowchart illustrating an operation of a virtual image generation module according to the present invention, and FIG. 16 is a flowchart illustrating an operation of a map DB search module according to the present invention.
도 1을 참조하면, 증강 현실 기술을 이용한 무인 정찰기 시스템은 CCD 카메라, 데이터 송신 장치(TX,RX), 자이로 시스템 및 카메라 위치 검출 수신기(GPS)를 탑재한 헬기(300)가 24개의 카메라 위치 검출(GPS) 위성(100) 및 기지국(200)과 통신을 하도록 구성되어 있다. 이 때, 상기 기지국(200)은 퍼스널 컴퓨터(201), 테스트용 맵(Map) 데이타베이스(DB:Data Base)(202), 터미널 노드 제어기(TNC:Terminal Node Controller)(203) 및 송수신기(204, 205)가 장착되어 있다.Referring to FIG. 1, in an unmanned reconnaissance system using augmented reality technology, a
상기와 같은 구성을 갖는 본 발명의 무인 정찰기 시스템은 상기 헬기(300)에서 CCD 카메라로 잡은 실사영상과 GPS 수신기가 제공하는 위치 정보를 송수신 장치(TX,RX)를 통해 송신하고, 이들 정보를 송수신기(204)를 통해 기지국에서 수신하여 상기 테스트용 맵 DB(202) 정보와 함께 퍼스널 컴퓨터(PC)(201)를 이용해 동기 처리된 정보를 동시에 화면에 디스플레이 한다. 그러면, 상기 퍼스널 컴퓨터(PC)(201) 사용자는 그 화면에 나타난 정보를 가지고 정찰 과정을 수행한다.The unmanned reconnaissance system of the present invention having the above configuration transmits the live image captured by the
도 2를 참조하면, 본 발명에 따른 무인 정찰기 시스템의 운영 방법은 먼저, 정찰 대상의 실사 이미지를 얻기 위해 정찰 대상을 촬영하여 정찰 대상에 대한 현재 정보를 수집하고 촬영지에 대해 이미 데이터화 되어 있는 그 장소의 지명 및 건물이나 도로의 배치 상태 등의 정보를 그림이나 문자로 표현된 가상 이미지를 생성하기 위해 컴퓨터 그래픽스 기술 및 가시화 방법을 이용하여 필요한 정보를 가시화 하고(S100), GPS를 이용하여 정찰 대상의 절대 위치와 그 위치에서 어느 방향으로 얼마만큼의 범위를 촬용하고 있는지에 대한 정보를 얻어 상기 가시화 과정(S100)에서 생성된 가상 이미지와 실사 이미지를 합성한 후(S200), 사용자 인터페이스를 통해 상기 무인 정찰기 시스템의 이동에 따라 변하는 실사 이미지와 가상 이미지를 동기화(S300)한다.Referring to FIG. 2, in the method of operating the unmanned reconnaissance system according to the present invention, first, to obtain a real image of a reconnaissance target, the reconnaissance target is photographed to collect current information on the reconnaissance target, and the place where data is already recorded on the shooting location. In order to create a virtual image represented by a picture or a letter of information such as the name of the place and the layout of a building or a road, visualize necessary information using computer graphics technology and visualization method (S100), and use a GPS to After obtaining information on the absolute position and in what direction in which direction it is taken, the virtual image generated in the visualization process (S100) is synthesized with the real image (S200), and then the unattended through the user interface. The actual image and the virtual image that change according to the movement of the reconnaissance system are synchronized (S300).
이 때, 시스템의 비중은 촬영 및 가시화하는 과정(S100)이 20%이고, GPS 운용 및 실사와 가상 이미지의 합성 과정(S200)과, 사용자 인터페이스를 통한 실사와 가상 이미지 동기화 과정(S300)이 각각 40%이다.In this case, the weight of the system is 20% in the process of photographing and visualizing (S100), GPS operation and the process of synthesizing the real image and the virtual image (S200), and the real-time and virtual image synchronization process (S300) through the user interface, respectively. 40%.
도 3을 참조하면, 본 발명에 따른 무선 통신은 퍼스널 컴퓨터(PC:Personal Computer)(201)와 터미널 노드 제어기(TNC)(203)와, 트랜시버(203')에 의해 이루어진다. 이 때, 상기 터미널 노드 제어기(TNC)(203)는 AFSK( ******* Full Name ******* )출력(OUT)과 PPT( ******* Full Name ******* )포트를 통해 송신하고, 스켈치 직렬 포트와 음성 입력(AUDIO IN) 포트를 통해 수신하며, 안테나에 연결된 트랜시버(203')는 MIC( ******* Full Name ******* )와 PPT ANT Rig( ******* Full Name ******* )포트를 통해 수신하고, 스켈치와 AF OUT(SP)( ******* Full Name ******* )포트를 통해 송신함으로써 터미널 노드 제어기(TNC)(203)와, 트랜시버(203')간 통신이 이루어진다.Referring to FIG. 3, wireless communication in accordance with the present invention is accomplished by a personal computer (PC) 201, a terminal node controller (TNC) 203, and a transceiver 203 '. At this time, the terminal node controller (TNC) 203 outputs the AFSK ( ******* Full Name ******* ) OUT and the PPT ( ******* Full Name *). Transmits via the ****** ) port, receives through the Squelch serial port and the AUDIO IN port, and the transceiver 203 'connected to the antenna is MIC ( ******* Full Name * ****** ) and PPT ANT Rig ( ******* Full Name ******* ) ports, Squelch and AF OUT (SP) ( ******* ) Full Name ******* ) communicates through the terminal node controller (TNC) 203 and the transceiver 203 '.
이 때, 상기 퍼스널 컴퓨터(PC)(201)와 상기 터미널 노드 제어기(TNC)(203)는 RS-232C를 통해 통신을 한다.At this time, the personal computer (201) and the terminal node controller (TNC) 203 communicate via RS-232C.
도 4를 참조하면, 본 발명에 따른 촬영 정보는 헬기 부착 카메라(301)를 통해 수신되는데, 상기 수신된 촬영 정보는 헬기에 부착된 데이터 송신 장치(302)를 통해 기지국(200)에 부착된 제 1 수신기(GS-550GTH)(204)로 전송되고, 터미널 노드 제어기(TNC)(203)를 거쳐 프린터와 디스크를 내재한 퍼스널 컴퓨터(201)로 RS-232C를 통해 전송된다.Referring to FIG. 4, photographing information according to the present invention is received through a helicopter-attached
도 5를 참조하면, 본 발명에 따른 화상의 송신은 헬기 부착 카메라(301)가 촬영한 정보를 데이터 송신 장치(GS-120R)(302)를 통해 기지국(200)내의 제 1 수신기(GS-550GTH)(204)로 전송 하면, 상기 제 1 수신기(204)는 영상(TV)과 데이터를 산출하는 퍼스널 컴퓨터(PC)(201)로 수신한 정보를 전송한다.Referring to FIG. 5, in order to transmit an image according to the present invention, the first receiver (GS-550GTH) in the
도 6을 참조하면, 본 발명에 따른 카메라의 위치검출(GPS)은 과정은, 안테나(Antenna)(305)를 통해 상기 헬기(300) 내의 GPS 수신기(304)로 전달된 정보가 다시 트랜시버로 전송되어 무선 패킷 통신을 통해 기지국(200)내의 터미널 노드 제어기(TNC)(203)로 송신되며, 상기 터미널 노드 제어기(TNC)(203)로 수신된 정보는 RS-232C에 의해 퍼스널 컴퓨터(PC)(201)로 전달된다.Referring to FIG. 6, in the process of GPS detection of the camera according to the present invention, information transmitted to the
도 7을 참조하면, 본 발명에 따른 카메라 방향검출(자이로)은, 먼저, 자이로 엔진(Gyro Engine)(306)으로부터 방향 정보를 받아 자이로 검사 박스(Gyro Test box)(307)로 전달하면 이를 수신한 상기 자이로 검사 박스(307)는 자이로 정보를 검사한 후 헬기내의 트랜시버를 통해 기지국(200)내의 터미널 노드 제어기(TNC)(203)로 전송하고, 상기 전송된 정보를 RS-232C를 통해 퍼스널 컴퓨터(PC)(201)로 송신한다. 이와 같은 과정을 거치면, 상기 카메라(301)에 대한 방향검출이 이루어진다.Referring to FIG. 7, a camera direction detection (gyro) according to the present invention first receives direction information from a
도 8을 참조하면, 본 발명에 따른 실사와 가상이미지 합성을 위한 처리는 먼저, 카메라정보 및 실사영상을 획득하고(S201), 카메라 위치검출(GPS)로부터 위치정보를 획득(S202)하여, 상기 획득한 위치 정보와 가시범위 등의 실사정보를 해석(S203)한 후, 상기 해석된 정보를 이용하여 가상 정보를 가시화(S204) 한 다음, 상기 해석된 정보로 부터 실사이미지와 가상이미지를 합성(S205)한다.Referring to FIG. 8, in the process for real-time and virtual image synthesis according to the present invention, first, camera information and a live image are acquired (S201), and position information is acquired from camera position detection (GPS) (S202). After analyzing the obtained location information and the photo-realistic information such as the visible range (S203), the virtual information is visualized using the analyzed information (S204), and then the actual image and the virtual image are synthesized from the analyzed information ( S205).
도 9를 참조하면, 본 발명에 따른 실사와 가상이미지 동기화 처리는 먼저, 카메라정보 및 실사영상 정보를 획득하고(S301), 카메라 위치검출(GPS)로부터의 위치정보를 획득하고(S302), 변화요인에 대한 정보를 획득(S303)한다. 그리고, 상기 획득한 정보의 위치와 가시 범위에 대한 실사 정보를 해석(S304)한 후, 상기 해석한 실사 정보의 변화요인에 따른 보정 요인을 해석(S305)하고, 상기 해석된 정보를 이용한 가상 정보를 가시화(S306)한다. 그리고, 최종적으로 상기 실사이미지와 가상이미지를 합성(S307)하여 정보의 동기화를 처리한다.Referring to FIG. 9, in the real time and virtual image synchronization processing according to the present invention, first, camera information and live image information are acquired (S301), position information from a camera position detection (GPS) is obtained (S302), and a change is performed. Information about the factor is obtained (S303). After analyzing the actual information about the position and the visible range of the acquired information (S304), the correction factor according to the change factor of the analyzed actual information is analyzed (S305), and the virtual information using the analyzed information. Visualize (S306). Finally, the real image and the virtual image are synthesized (S307) to process synchronization of information.
도 10을 참조하면, 본 발명에 따른 무인 정찰기 시스템의 주 프로그램은 이미지 합성 모듈(10)이고, 상기 이미지 합성 모듈(10)은 가상 이미지 처리 모듈(20)과 실사 이미지 처리 모듈(30)로 구성되어, 상기 각 모듈로 부터 전달된 가상 이미지와 실사 이미지를 합성한다.Referring to FIG. 10, the main program of the unmanned reconnaissance system according to the present invention is an
또한, 상기 가상 이미지 처리 모듈(20)은 가상 이미지 생성 모듈(40)과 맵 DB 검색 모듈(50)로 구성되어 이들 구성 요소들(40, 50)에 의해 생성된 가상 이미지를 처리하며, 상기 실사 이미지 처리 모듈(30)은 CCD 카메라 제어 모듈(70)과 GPS 및 자이로 제어 모듈(80)로 구성되어 이들 구성 요소들(70, 80)에 의해 얻어진 실사 이미지를 처리한다.In addition, the virtual
이 때, 상기 가상 이미지 처리 모듈(20)과 실사 이미지 처리 모듈(30)은 상호 간의 통신을 제어하는 무선 통신 제어 모듈(60)을 공유한다.At this time, the virtual
도 11을 참조하면, 본 발명의 무인 정찰기 시스템의 주 동작에 대한 처리는 먼저, 윈도우(Window) 환경을 설정(1)하고 이미지 합성 모듈 이하에 필요한 초기값들을 설정(2)한 후 이벤트 루프(Event Loop)를 수행(3)하면서 실사 영상, 위치, 방향등의 무선 정보가 입력 이벤트(Event)를 발생하면 하위 모듈(이미지 합성 모듈)을 호출하여 처리한다.Referring to FIG. 11, the processing for the main operation of the unmanned reconnaissance system of the present invention first sets a window environment (1), sets initial values necessary for the image synthesizing module or less, and then sets an event loop (2). (3) When wireless information such as live image, location, direction, etc. generates an input event, the sub module (image composition module) is called and processed.
도 12를 참조하면, 본 발명에 따른 이미지 합성 모듈의 동작에 대한 처리는 CCD 카메라, GPS 수신기, 자이로, 무선 송수신기 등 각 부속 장치의 초기 정보를 획득(11)하고, 시스템을 관리할 수 있도록 상위 모듈(주 프로그램)에서 설정한 값들로 시스템을 초기화(12)한 후, 하위 모듈들(가상 이미지 처리 모듈과 실사 이미지 처리 모듈)을 호출(13)하여 실사와 가상 이미지를 오버레이시켜 결합(14)시킨다. 그리고, 에러 이벤트(Error Event)가 발생하면 그 에러 값에 대한 보정값을 발생해서 보정(15)한다.Referring to FIG. 12, the processing for the operation of the image synthesizing module according to the present invention obtains
도 13을 참조하면, 본 발명에 따른 가상 이미지 처리 모듈의 동작에 대한 처리는 기지국의 무선 수신기(RX)로 부터 수신된 입력 신호를 해석(21)해서 CCD 카메라 방향 및 가시 범위(field of view), 헬기 위치, 맵 DB의 검색 위치 등을 알아내고, 하위모듈(가상 이미지 생성 모듈과, 맵 DB 검색 모듈)에 제공(22)하며, 하위 모듈로 부터 생성된 가상 이미지와 맵 DB 데이터를 상위 모듈(가상 이미지 처리 모듈)에 넘겨준(23) 후 무선 통신 제어 모듈로 부터 수신된 정보를 획득(24)하여 위와 같은 일을 반복할 수 있도록 한다.Referring to Figure 13, the processing for the operation of the virtual image processing module according to the present invention interprets the input signal received from the wireless receiver (RX) of the
도 14를 참조하면, 본 발명에 따른 실사 이미지 처리 모듈의 동작에 대한 처리는 CCD 카메라, GPS 수신기, 자이로, 무선 송수신기 등 각 부속 장치의 상태를 획득(31)하고 그 정보들과 CCD 카메라에 의해 획득된 실사 이미지를 무선 통신 모듈을 통해 상위 모듈(이미지 합성 모듈)에 알리고(32), 이러한 실사 이미지의 전송을 상위 모듈에 알린다(33).Referring to Figure 14, the processing of the operation of the real-time image processing module according to the present invention acquires the state of each accessory device, such as CCD camera, GPS receiver, gyro, wireless transceiver, 31 by the information and the CCD camera The acquired due diligence image is notified to the upper module (image composition module) through the wireless communication module (32), and the transmission of such due diligence image is notified to the upper module (33).
도 15를 참조하면, 본 발명에 따른 가상 이미지 생성 모듈의 동작에 대한 처리는 시점(position), 방향(viewing direction), 가시범위(field of view) 등 관찰자 정보(parameter)를 설정(41)하고, 원근감을 처리할 수 있도록 관찰자의 좌표체계(eye coordinate)로 정보 위치를 바꾼후(42), 비가시 영역의 정보(보이지 않는 건물과 그 지명)를 제거(43)한 후 가시 영역내 정보만 원근감 있게 표현(rendering)(44)하여 생성한 가상 이미지를 상위 모듈(이미지 합성 모듈)에 제공한다.Referring to FIG. 15, the processing of the operation of the virtual image generating module according to the present invention may set (41) observer information such as a position, a viewing direction, a field of view, and the like. After changing the location of the information by the observer's eye coordinate to handle the perspective (42), removing the information of the invisible area (invisible building and its place name) (43) and then only the information in the visible area. The virtual image generated by rendering 44 in perspective is provided to the upper module (image composition module).
도 16을 참조하면, 본 발명에 따른 맵(Map) DB 검색 모듈의 동작에 대한 처리는 도 13과 같이 관찰자 정보(parameter)를 해석하여 가시 영역내 맵 정보를 찾고(51), 비가시 영역 정보는 제거(52)한 후, 가시 영역에 있는 맵 정보만 상위 모듈(이미지 합성)에 제공(53)한다.Referring to FIG. 16, the processing of the operation of the map DB search module according to the present invention analyzes the observer information as shown in FIG. 13 to find map information in the visible region (51), and invisible region information. After removing 52, only the map information in the visible region is provided to the upper module 53 (compositing image).
상기와 같이 가상 세계 표현 기술 구현, 실세계와 가상 세계의 결합 기술의 구현 및 실세계와 가상 세계와의 동기화 기술 구현에 대한 전반적인 정리를 표 1에 나타내었다.Table 1 shows the overall arrangement of the implementation of the virtual world representation technology, the implementation of the combined technology of the real world and the virtual world, and the synchronization technology of the real world and the virtual world.
표 1을 참조하면, 본 발명의 가상 세계 표현 기술 구현을 위해 가상 오브젝트를 생성하고, 실세계 정보의 가시화 표현 방법을 개발하였는데, 이를 위해 3D 모델링 기술, 가상 현실 기술, 정보 가시화 표현 기술 및 3D 폰트 디자인 기술이 사용되었고, 실세계와 가상 세계의 결합 기술 구현을 위해 실세계 이미지와 가상 세계 이미지를 합성하고, 가시 환경 변화에 따른 가상 세계 이미지와의 결합 방법을 개발하였는데, 이를 위해 이미지 처리 기술, 위치 인식 기술, 영상 오버레이(Overlay) 표현 기술, 폰트 처리 기술 및 디스플레이 스코프(Display Scope) 표현 기술이 사용되었다. 또한, 실세계와 가상 세계와의 동기화 기술 구현을 위해 실세계 좌표와 가상 세계 좌표의 동기화, 실세계와 가상 세계의 오브젝트 동기화 및 실세계와 가상 세계 정보의 동기화를 구현하였는데, 이를 위해 위치/방향 인지 및 처리 기술, 영상 오버레이(Overlay) 처리 기술, 환경 변화 보정 기술, 크기 변환 가능한 폰트(Scaleable Font) 처리 기술, 디스플레이 스코프(Display Scope) 처리 기술 및 동기화 기술이 사용되었다.Referring to Table 1, in order to implement the virtual world representation technology of the present invention, a virtual object was created and a visual representation method of real world information was developed. For this, 3D modeling technology, virtual reality technology, information visualization representation technology, and 3D font design were developed. The technology was used, and in order to realize the combined technology of the real world and the virtual world, we synthesized the real world image and the virtual world image and developed a combination method of the virtual world image according to the change of visible environment. , Image overlay expression technology, font processing technology, and Display Scope expression technology were used. In addition, in order to realize the synchronization technology between the real world and the virtual world, the real world coordinate and the virtual world coordinate synchronization, the real world and the virtual world object synchronization, and the real world and the virtual world information synchronization have been implemented. Image overlay processing technology, environment change correction technology, scalable font processing technology, display scope processing technology, and synchronization technology.
상기와 같은 본 발명의 증강 현실을 이용한 무인정찰기 시스템의 운용방법은 인간의 경험적 판단력과 컴퓨터의 빠른 계산, 그리고 공간적 물리적 비제약성 등의 장점들을 함께 결합한 것으로서, 정보를 효율적으로 이용할 수 있으며, 정보 획득을 용이하게 함으로서 정보 이용을 높일 수가 있다.The method of operating the unmanned aerial vehicle system using the augmented reality of the present invention as described above combines the advantages of human empirical judgment, fast computation of computer, and spatial and physical non-constraints. The use of information can be increased by facilitating the operation.
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970024562A KR100231712B1 (en) | 1997-06-13 | 1997-06-13 | A design of system architecture and operation for unmanned aero vehicle system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970024562A KR100231712B1 (en) | 1997-06-13 | 1997-06-13 | A design of system architecture and operation for unmanned aero vehicle system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990001299A KR19990001299A (en) | 1999-01-15 |
KR100231712B1 true KR100231712B1 (en) | 1999-11-15 |
Family
ID=19509474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019970024562A KR100231712B1 (en) | 1997-06-13 | 1997-06-13 | A design of system architecture and operation for unmanned aero vehicle system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100231712B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193371A (en) * | 2017-04-28 | 2017-09-22 | 上海交通大学 | A kind of real time human-machine interaction system and method based on virtual reality |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101638630B1 (en) * | 2010-06-14 | 2016-07-11 | 주식회사 비즈모델라인 | Method for Optimizing a Augmented Reality Data |
KR101845231B1 (en) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | Image processing apparatus and method |
WO2019000325A1 (en) * | 2017-06-29 | 2019-01-03 | 深圳市大疆创新科技有限公司 | Augmented reality method for aerial photography of unmanned aerial vehicle, processor, and unmanned aerial vehicle |
CN112114668B (en) * | 2020-09-02 | 2024-04-19 | 北京捷安申谋科技有限公司 | Digital twinning-based AR individual soldier accompanying reconnaissance unmanned aerial vehicle system and reconnaissance method thereof |
-
1997
- 1997-06-13 KR KR1019970024562A patent/KR100231712B1/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193371A (en) * | 2017-04-28 | 2017-09-22 | 上海交通大学 | A kind of real time human-machine interaction system and method based on virtual reality |
Also Published As
Publication number | Publication date |
---|---|
KR19990001299A (en) | 1999-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10366511B2 (en) | Method and system for image georegistration | |
TWI505709B (en) | System and method for determining individualized depth information in augmented reality scene | |
EP2207113B1 (en) | Automated annotation of a view | |
EP3149698B1 (en) | Method and system for image georegistration | |
Vallino | Interactive augmented reality | |
US10262465B2 (en) | Interactive control station | |
KR101848959B1 (en) | Color channels and optical markers | |
US7782320B2 (en) | Information processing method and information processing apparatus | |
KR100941749B1 (en) | Augmented reality apparatus and virtual image composition method | |
CN110852942B (en) | Model training method, and media information synthesis method and device | |
KR102200441B1 (en) | Simulated aviation Cockpit Procedure Training simulator system using Head Mounted Display based mixed reality technology | |
CN112815923B (en) | Visual positioning method and device | |
KR102197615B1 (en) | Method of providing augmented reality service and server for the providing augmented reality service | |
JP2001319218A (en) | Image monitoring device | |
TW202025719A (en) | Method, apparatus and electronic device for image processing and storage medium thereof | |
CN109859100A (en) | Display methods, electronic equipment and the computer readable storage medium of virtual background | |
Okuma et al. | An augmented reality system using a real-time vision based registration | |
KR100231712B1 (en) | A design of system architecture and operation for unmanned aero vehicle system | |
WO2022023142A1 (en) | Virtual window | |
KR101902131B1 (en) | System for producing simulation panoramic indoor images | |
JP3114862B2 (en) | An interactive landscape labeling system | |
CN112581630A (en) | User interaction method and system | |
EP4296943A2 (en) | Methods and systems for camera 3d pose determination | |
KR102231381B1 (en) | System and method for manufacturing videos for VR(virtual reality) using multiple two-dimensional images | |
JP7261121B2 (en) | Information terminal device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20070730 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |