KR20210137845A - Method and apparatus for stabilization of drone-projected image - Google Patents
Method and apparatus for stabilization of drone-projected image Download PDFInfo
- Publication number
- KR20210137845A KR20210137845A KR1020200056191A KR20200056191A KR20210137845A KR 20210137845 A KR20210137845 A KR 20210137845A KR 1020200056191 A KR1020200056191 A KR 1020200056191A KR 20200056191 A KR20200056191 A KR 20200056191A KR 20210137845 A KR20210137845 A KR 20210137845A
- Authority
- KR
- South Korea
- Prior art keywords
- drone
- image
- projection
- flight information
- projector
- Prior art date
Links
- 230000006641 stabilisation Effects 0.000 title claims abstract description 93
- 238000011105 stabilization Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000003702 image correction Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 20
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000035772 mutation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- B64C2201/12—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
본 발명은 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for stabilizing a projection image of a drone-mounted projector.
드론 탑재형 프로젝터는 카메라가 없는 드론에 빔 프로젝터를 탑재한 시스템을 의미한다. 드론 탑재형 프로젝터는 주로 고층건물 외벽에 영상을 프로젝션함으로써, 이동가능한 디지털 사이니지(Signage) 디스플레이 역할을 수행한다. A drone-mounted projector refers to a system in which a beam projector is mounted on a drone without a camera. A drone-mounted projector mainly projects an image on the outer wall of a high-rise building, thus serving as a movable digital signage display.
그런데 기존 고정형 프로젝터와 달리, 드론 탑재형 프로젝터는 드론의 모터에서 발생하는 진동이나, 드론 비행 제어오차로 인한 드론의 위치 및 자세 변이로 인해 드론의 정지비행시에도 프로젝션 영상의 왜곡이 발생할 수 있다. However, unlike conventional fixed projectors, drone-mounted projectors can distort the projected image even when the drone is in stationary flight due to vibrations from the drone's motor or changes in the position and attitude of the drone due to drone flight control errors.
이러한 문제를 해결하기 위해 카메라를 이용하여 프로젝션 영상의 안정화를 수행하는 연구가 진행된 바 있다. 예를 들어, 드론에 카메라를 부착하여, 왜곡되지 않은 프로젝션 영상과 왜곡된 프로젝션 영상을 카메라로 촬영하여 좌표쌍을 획득함으로써 프로젝션 영상의 안정화를 수행할 수 있다. 그러나 이러한 방법은 영상보정의 기준이 되는 코드화된 비주얼 마커를 필요로 하기 때문에 비주얼 마커가 부착되어있는 한정된 공간에서만 프로젝션 영상의 안정화를 수행할 수 있고, 프로젝션 영상을 카메라로 촬영하여 획득해야하기 때문에 공간복잡도를 증가시킬 수 있다.In order to solve this problem, research on stabilizing the projection image using a camera has been conducted. For example, stabilization of the projected image may be performed by attaching a camera to a drone, capturing an undistorted projected image and a distorted projected image with a camera to obtain a coordinate pair. However, since this method requires a coded visual marker that is the standard for image correction, stabilization of the projected image can be performed only in a limited space where the visual marker is attached, and the projected image must be acquired by shooting with a camera. It can increase complexity.
본 발명에서 프로젝션 영상의 안정화를 수행하기 위해 드론 탑재형 프로젝터의 자세정보나 위치정보를 획득해야한다. 드론 탑재형 프로젝터의 자세정보는 드론의 내부적으로 부착된(또는 추가적으로 탑재된) 가속도, 각속도, 지자기센서로 이루어진 관성측정장치(IMU, Inertial Measurement Unit)(또는 자세방위장치 (AHRS, Attitude and Heading Reference System))를 이용하여 획득할 수 있다. 그러나, 이러한 관성측정장치(또는 자세방위장치)의 가속도계를 통해 드론 탑재형 프로젝터의 위치정보를 추출할 경우, 적분오차의 누적이 발생하기 때문에 정확한 위치정보를 추출하기 어려울 수 있다. In the present invention, in order to perform stabilization of the projected image, it is necessary to acquire attitude information or location information of the drone-mounted projector. The attitude information of the drone-mounted projector can be obtained from the Inertial Measurement Unit (IMU) (or the Attitude and Heading Reference (AHRS) System)) can be obtained. However, when the location information of the drone-mounted projector is extracted through the accelerometer of the inertial measurement device (or posture and orientation device), it may be difficult to extract accurate location information because integration errors are accumulated.
또한, 3차원 공간에 있는 드론 탑재형 프로젝터의 영상을 2차원 영상으로 프로젝션할 경우, 드론 탑재형 프로젝터의 자세에 따라 영상의 기울어짐 및 키스톤(keystone) 현상이나 영상의 이동이 발생할 수 있다. 마찬가지로, 드론 탑재형 프로젝터의 위치에 따라 영상의 스케일링 및 이동이 발생할 수 있다.In addition, when an image of a drone-mounted projector in a three-dimensional space is projected as a two-dimensional image, an image tilt, keystone phenomenon, or image movement may occur depending on the posture of the drone-mounted projector. Similarly, scaling and movement of the image may occur depending on the location of the drone-mounted projector.
따라서, 상술한 방법 이외의 드론 탑재형 프로젝터의 영상 안정화 장치 및 방법에 대한 연구가 진행 중에 있다.Therefore, research on an image stabilization apparatus and method for a drone-mounted projector other than the above-described method is in progress.
본 발명에서는 드론의 비행정보에 기초하여, 드론 탑재형 프로젝터의 프로젝션 영상 왜곡을 고려한 프로젝션 영상 안정화 방법 및 장치를 개시한다. The present invention discloses a method and apparatus for stabilizing a projection image in consideration of distortion of a projection image of a drone-mounted projector based on flight information of a drone.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problem(s) mentioned above, and another problem(s) not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명은 드론 탑재형 프로젝터의 프로젝션 영상 안정화하는 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화하는 방법은 프로젝터가 탑재된 드론의 비행정보를 수신하는 단계, 수신된 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정하는 단계, 추정된 안정화 모델에 기초하여 프로젝션 영상을 변환하는 단계 및 변환된 영상을 프로젝션 대상을 향해 송출하는 단계를 포함할 수 있다.The present invention relates to a method and apparatus for stabilizing a projection image of a drone-mounted projector, and the method for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention includes the steps of receiving flight information of a drone equipped with a projector , estimating a stabilization model for correcting the distortion of the projected image based on the received flight information, converting the projected image based on the estimated stabilization model, and transmitting the converted image toward the projection target. can do.
바람직하게, 드론의 비행정보를 수신하는 단계는 드론 내부의 센서 구동부로부터 드론의 비행정보를 수신하는 것일 수 있다.Preferably, the step of receiving the flight information of the drone may be receiving the flight information of the drone from a sensor driving unit inside the drone.
바람직하게, 드론 탑재형 프로젝터의 프로젝션 영상 안정화하는 방법은 센서 구동부에 의해 드론의 비행정보를 센싱하는 단계를 더 포함하고, 드론의 비행정보를 수신하는 단계는 센싱된 드론의 비행정보를 수신하는 것일 수 있다.Preferably, the method of stabilizing the projection image of the drone-mounted projector further comprises the step of sensing flight information of the drone by a sensor driving unit, and the step of receiving the flight information of the drone is to receive the sensed flight information of the drone can
바람직하게, 드론의 비행정보는 드론과 프로젝션 대상간의 거리, 드론의 고도, 드론의 회전각도중 적어도 하나를 포함할 수 있다.Preferably, the flight information of the drone may include at least one of a distance between the drone and a projection target, an altitude of the drone, and a rotation angle of the drone.
바람직하게, 송출된 영상의 해상도는 프로젝터가 송출 가능한 최대 영상 해상도보다 낮을 수 있다.Preferably, the resolution of the transmitted image may be lower than the maximum image resolution that the projector can transmit.
바람직하게, 안정화 모델은 내부 파라미터 행렬, 드론의 이동에 따른 왜곡 영상보정 행렬 및 드론의 회전에 따른 왜곡 영상보정 행렬 중 적어도 하나로 분해될 수 있다.Preferably, the stabilization model may be decomposed into at least one of an internal parameter matrix, a distortion image correction matrix according to the movement of the drone, and a distortion image correction matrix according to the rotation of the drone.
바람직하게, 내부 파라미터 행렬은 프로젝터의 초점거리 및 송출된 영상의 중심점 좌표 중 적어도 하나에 따라 달라질 수 있다.Preferably, the internal parameter matrix may vary according to at least one of the focal length of the projector and the coordinates of the center point of the transmitted image.
바람직하게, 수신된 비행정보를 통해 드론이 진행 방향인 X축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리, 드론과 프로젝션 대상간의 현재 거리 중 적어도 하나에 따라 달라질 수 있다.Preferably, when it is determined through the received flight information that the drone has moved on the X-axis, which is the direction of travel, the distortion image correction matrix according to the movement of the drone is the projection angle, the initial set distance between the drone and the projection target, and the distance between the drone and the projection target. It may depend on at least one of the current distances.
바람직하게, 수신된 비행정보를 통해 드론이 높이 방향인 Z축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 드론의 고도 정보에 따라 달라질 수 있다.Preferably, when it is determined through the received flight information that the drone has moved on the Z-axis in the height direction, the distortion image correction matrix according to the movement of the drone may vary depending on the altitude information of the drone.
바람직하게, 수신된 비행정보를 통해 드론이 진행 방향의 롤축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 롤축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.Preferably, when it is determined through the received flight information that the drone rotates on the roll axis in the traveling direction, the distortion image correction matrix according to the rotation of the drone is at least one of the roll axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. may vary depending on
바람직하게, 수신된 비행정보를 통해 드론이 높이 방향의 피치축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 피치축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.Preferably, when it is determined that the drone rotates on the pitch axis in the height direction through the received flight information, the distortion image correction matrix according to the rotation of the drone is one of the pitch axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. It may depend on at least one.
바람직하게, 수신된 비행정보를 통해 드론이 좌우 방향의 요축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 요축 회전각도및 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.Preferably, when it is determined through the received flight information that the drone rotates on the yaw axis in the left and right direction, the distortion image correction matrix according to the rotation of the drone varies depending on at least one of the yaw axis rotation angle and the initial set distance between the drone and the projection target. can
바람직하게, 영상을 변환하는 단계는 추정된 안정화 모델과 단위변환 행렬의 아다마르 곱(Hardamard product) 연산을 수행하는 단계를 포함하고, 아다마르 곱의 연산 결과는 프로젝션 영상에 픽셀 단위로 적용하는 것이, 단위변환 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 현재 거리, 송출된 영상의 수직 해상도 중 적어도 하나에 따라 달라질 수 있다.Preferably, the step of transforming the image includes performing a Hadamard product operation of the estimated stabilization model and a unit conversion matrix, and the operation result of the Hadamard product is applied to the projected image in units of pixels. , the unit transformation matrix may vary according to at least one of a projection angle, a current distance between the drone and a projection target, and a vertical resolution of the transmitted image.
본 발명의 다른 실시예에 따른, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치는 프로젝터가 탑재된 드론의 비행정보가 수신되면, 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정하는 안정화 모델 추정부, 추정된 안정화 모델에 기초하여 프로젝션 영상을 변환하는 영상 변환부, 변환된 영상을 프로젝션 대상을 향해 송출하는, 영상 송출부를 포함할 수 있다.In accordance with another embodiment of the present invention, the projection image stabilization apparatus of a drone-mounted projector is stabilizing for estimating a stabilization model for correcting the distortion of the projection image based on the flight information when flight information of the drone equipped with the projector is received It may include a model estimator, an image converter that converts a projected image based on the estimated stabilization model, and an image transmitter that transmits the converted image toward a projection target.
바람직하게, 드론의 비행정보를 안정화 모델 추정부로 송신하는 센서 구동부를 더 포함하고, 드론의 비행정보는, 드론과 프로젝션 대상간의 거리, 드론의 고도, 드론의 회전각도 중 적어도 하나를 포함할 수 있다.Preferably, it further comprises a sensor driver for transmitting the flight information of the drone to the stabilization model estimator, and the flight information of the drone may include at least one of a distance between the drone and a projection target, an altitude of the drone, and a rotation angle of the drone. .
바람직하게, 영상 송출부에 의해 송출된 영상의 해상도는 프로젝터가 송출 가능한 최대 영상 해상도보다 낮을 수 있다.Preferably, the resolution of the image transmitted by the image transmitting unit may be lower than the maximum image resolution that the projector can transmit.
본 발명은 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술된 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체를 제공한다.The present invention provides a computer-readable storage medium storing a computer program in which the above-described method is performed when the computer program is executed by a processor.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치는 드론의 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 때문에, 프로젝션 영상의 보정 성능을 향상시키는 효과가 있다. Since the projection image stabilization apparatus of the drone-mounted projector according to an embodiment of the present invention corrects the distortion of the projection image based on the flight information of the drone, there is an effect of improving the correction performance of the projection image.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치는 별도의 카메라를 필요로 하지 않기 때문에, 카메라를 이용한 프로젝션 영상 안정화 장치와 비교하여 영상 보정시에 필요한 비주얼 마커에 따른 장소의 제약을 해소할 수 있고, 공간복잡도를 감소시킬 수 있다.Since the apparatus for stabilizing the projection image of a drone-mounted projector according to an embodiment of the present invention does not require a separate camera, it is compared with the apparatus for stabilizing the projection image using a camera. can be solved, and space complexity can be reduced.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.On the other hand, the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within the range apparent to those skilled in the art from the contents to be described below.
도 1은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.
도 3은 본 발명의 다른 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.
도 4는 본 발명의 다른 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상의 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치에서 사용되는 좌표계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 프로젝션 영상의 왜곡 종류를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 드론 탑재형 프로젝터 이동에 의한 프로젝션 영상의 왜곡을 보정하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 롤축 회전에 따른 이동계수를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 피치축 회전에 따른 이동계수를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 요축 회전에 따른 이동계수를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 단위변환 행렬을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 성능 실험 환경을 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 성능을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 성능을 설명하기 위한 도표이다.
도 18은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법을 설명하기 위한 흐름도이다.1 is a view for explaining an apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
2 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
3 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to another embodiment of the present invention.
4 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to another embodiment of the present invention.
5 is a diagram for explaining the structure of a projection image of a drone-mounted projector according to an embodiment of the present invention.
6 is a view for explaining a coordinate system used in a method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
7 is a diagram for explaining a distortion type of a projected image according to an embodiment of the present invention.
8 is a view for explaining a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
9 is a diagram for explaining a method of correcting distortion of a projected image due to movement of a drone-mounted projector according to an embodiment of the present invention.
10 is a view for explaining the movement coefficient according to the roll axis rotation of the projection image stabilization model of the drone-mounted projector according to an embodiment of the present invention.
11 is a view for explaining the movement coefficient according to the pitch axis rotation of the projection image stabilization model of the drone-mounted projector according to an embodiment of the present invention.
12 is a view for explaining a movement coefficient according to a yaw axis rotation of a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
13 is a diagram for explaining a unit transformation matrix of a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
14 is a view for explaining a performance test environment of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
15 and 16 are diagrams for explaining the performance of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
17 is a diagram for explaining the performance of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
18 is a flowchart illustrating a method of stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수개의 관련된 기재된 항목들의 조합 또는 복수개의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 설명하기 위한 도면이다.1 is a view for explaining an apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터 시스템은 드론(110)과 드론(110)에 탑재된 프로젝터(120)를 포함한 시스템을 의미한다. 드론 탑재형 프로젝터 시스템은 고층건물 외벽에 영상(130)을 프로젝션하여 비행가능한 디지털 사이니지 디스플레이 역할을 수행할 수 있으므로, 정보전달용이나 홍보용 디스플레이로 활용될 수 있다.The drone-mounted projector system according to an embodiment of the present invention refers to a system including the
그런데 드론 탑재형 프로젝터 시스템은 드론(110)의 모터에서 발생하는 진동이나, 드론(110) 비행 제어오차로 인한 드론(110)의 위치 및 자세 변이 등으로 인해 프로젝션 영상(130)의 왜곡을 발생시킬 수 있다. However, the drone-mounted projector system may cause distortion of the projected
이러한 문제를 해결하기 위해, 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 드론 비행시 획득할 수 있는 비행정보를 통해 드론의 비행패턴에 따른 프로젝션 영상의 왜곡을 보정할 수 있다. 따라서, 본 발명에 개시된 방법 및 장치를 이용하면, 카메라와 같은 별도의 장비를 이용하지 않고도 프로젝션 영상을 안정화시킬 수 있다. In order to solve this problem, the method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention corrects the distortion of the projection image according to the flight pattern of the drone through flight information that can be obtained during the flight of the drone. can do. Therefore, using the method and apparatus disclosed in the present invention, it is possible to stabilize the projected image without using a separate equipment such as a camera.
도 2는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.2 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
본 발명의 일 실시예에 따른, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치(200)는 안정화 모델 추정부(210), 영상 변환부(220) 및 영상 송출부(230)를 포함할 수 있다. The
안정화 모델 추정부(210)는 프로젝터가 탑재된 드론의 비행정보가 수신되면, 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정할 수 있다. 여기서 드론의 비행정보는 드론과 프로젝션 대상간의 거리, 드론의 고도, 드론의 회전각도 중 적어도 하나를 포함할 수 있다.When the flight information of the drone equipped with the projector is received, the
한편, 안정화 모델은 내부 파라미터 행렬 즉, 프로젝터에 의해 결정되는 상수 파라미터들로 구성된 행렬, 드론의 이동에 따른 왜곡 영상보정 행렬 및 드론의 회전에 따른 왜곡 영상보정 행렬 중 적어도 하나로 분해될 수 있다.Meanwhile, the stabilization model may be decomposed into at least one of an internal parameter matrix, that is, a matrix composed of constant parameters determined by the projector, a distortion image correction matrix according to the movement of the drone, and a distortion image correction matrix according to the rotation of the drone.
내부 파라미터 행렬은 프로젝터의 초점거리 및 송출된 영상의 중심점 좌표 중 적어도 하나에 따라 달라질 수 있다. 여기서, 프로젝션 각도는 내부 파라미터 행렬에 포함되진 않지만 프로젝터에 의해 결정되는 내부 파라미터이다.The internal parameter matrix may vary depending on at least one of the focal length of the projector and the coordinates of the center point of the transmitted image. Here, the projection angle is an internal parameter that is not included in the internal parameter matrix but is determined by the projector.
드론의 이동 및 회전은 3축으로 정의되며, 드론의 이동은 드론의 진행방향을 X축, 드론을 기준으로 오른쪽 방향을 Y축, 아래쪽을 Z축으로 정의한다. 드론의 회전에 있어서는 이동의 X, Y, Z축이 Roll, Pitch, Yaw축이 되며, 축 방향을 기준으로 오른손 법칙을 적용한 방향이 회전각의 양수방향이다.The movement and rotation of the drone is defined by three axes, and the movement of the drone is defined as the X-axis, the right direction relative to the drone, the Y-axis, and the lower side as the Z-axis. In the rotation of the drone, the X, Y, and Z axes of movement become the Roll, Pitch, and Yaw axes, and the direction in which the right-hand rule is applied based on the axis direction is the positive direction of the rotation angle.
본 발명에서는 추가적인 연산을 줄이기 위해 드론의 좌표계 정의를 프로젝션 영상에서도 동일하게 사용한다.In the present invention, in order to reduce additional calculations, the definition of the coordinate system of the drone is also used in the projection image.
수신된 비행정보를 통해 드론이 진행 방향인 X축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리, 드론과 프로젝션 대상간의 현재 거리 중 적어도 하나에 따라 달라질 수 있다. When it is determined through the received flight information that the drone has moved on the X axis, which is the direction of travel, the distortion image correction matrix according to the movement of the drone is the projection angle, the initial set distance between the drone and the projection target, and the current distance between the drone and the projection target. It may depend on at least one.
수신된 비행정보를 통해 드론이 높이 방향인 Z축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 드론의 고도 정보에 따라 달라질 수 있다.When it is determined through the received flight information that the drone has moved on the Z-axis in the height direction, the distortion image correction matrix according to the movement of the drone may vary depending on the altitude information of the drone.
수신된 비행정보를 통해 드론이 진행 방향의 롤축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 롤축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.When it is determined through the received flight information that the drone has rotated on the roll axis in the direction of travel, the distortion image correction matrix according to the rotation of the drone will vary depending on at least one of the roll axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. can
수신된 비행정보를 통해 드론이 높이 방향의 피치축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 피치축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.When it is determined that the drone rotates on the pitch axis in the height direction through the received flight information, the distortion image correction matrix according to the rotation of the drone is at least one of the pitch axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. may vary depending on
수신된 비행정보를 통해 드론이 좌우 방향의 요축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 요축 회전각도 및 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.When it is determined through the received flight information that the drone rotates on the yaw axis in the left and right direction, the distortion image correction matrix according to the rotation of the drone may vary depending on at least one of the yaw axis rotation angle and the initial set distance between the drone and the projection target.
드론의 이동 및 회전에 의한 영상 안정화 모델은 서로 독립적으로 정의되므로 각 축에 대한 이동 및 회전이 복합적으로 발생할 경우, 행렬의 곱셈을 통해 나타낼 수 있다.Since the image stabilization model by the movement and rotation of the drone is defined independently of each other, when movement and rotation about each axis occur in combination, it can be expressed through matrix multiplication.
영상 변환부(220)는 추정된 안정화 모델에 기초하여 프로젝션 영상을 변환할 수 있다.The
또한, 영상 변환부(220)는 안정화 모델의 파라미터를 픽셀 단위로 변환하기 위해 안정화 모델에 단위변환 행렬을 아다마르 곱(Hadamard product)을 수행한다. 여기서, 단위변환 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 현재 거리, 송출된 영상의 수직 해상도 중 적어도 하나에 따라 달라질 수 있다.In addition, the
영상 송출부(230)는 변환된 영상을 프로젝션 대상을 향해 송출할 수 있다. 이때, 영상 송출부(230)에 의해 송출된 영상의 해상도는 프로젝터가 송출 가능한 최대 영상 해상도보다 낮을 수 있다.The
본 발명에서 영상을 안정화하기 위해 변환된 영상의 해상도가 높을수록 변환 영상 송출 시간이 길어진다. 따라서, 본 발명의 실시간성을 보장하기 위해서 영상의 해상도가 낮아질 수 있다.In the present invention, the higher the resolution of the converted image to stabilize the image, the longer the converted image transmission time. Therefore, the resolution of the image may be lowered in order to ensure the real-time of the present invention.
도 3은 본 발명의 다른 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.3 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to another embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치는 드론으로부터 비행정보를 수신할 수 있다.The apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention may receive flight information from a drone.
도 3을 참고하면, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치(300)는 드론(350)과 통신을 수행할 수 있고, 드론(350)은 비행제어장치(360) 및 센서구동부(370)를 포함할 수 있다. 한편, 도 3의 안정화 모델 추정부(310), 영상 변환부(320) 및 영상 송출부(330)는 도 2의 안정화 모델 추정부(210), 영상 변환부(220) 및 영상 송출부(230)와 각각 대응되므로 자세한 설명은 생략하기로 한다.Referring to FIG. 3 , the projection
드론(350)의 센서구동부(370)는 라이다센서(371), 가속도센서(372), 초음파센서(373), 지자기센서(374) 및 각속도센서(375)를 포함할 수 있으나, 도 3의 기재는 예시일 뿐이고 센서구동부(370)는 상술한 센서 중 일부를 포함할 수 있고, 상술한 센서외 다른 센서도 포함할 수 있음은 해당 기술분야의 통상의 기술자에게 자명하다. The
예를 들어, 센서구동부(370)는 라이다센서(371) 또는 초음파센서(373)를 통해 드론과 프로젝션 영역 간의 거리를 센싱할 수 있고, 관성측정장치(미도시) 또는 자세방위장치(미도시)를 통해 드론의 자세정보(롤, 피치, 요축 회전각도)를 센싱할 수 있다.For example, the
이에 따라, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치(300)는 센서구동부(370)로부터 드론과 프로젝션 대상까지의 거리, 드론의 고도, 드론의 회전각도 등을 수신할 수 있다.Accordingly, the projection
도 4는 본 발명의 다른 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 블록도이다.4 is a block diagram of an apparatus for stabilizing a projection image of a drone-mounted projector according to another embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치는 드론의 비행정보를 센싱하는 센서 구동부를 더 포함할 수 있다. 한편, 도 4의 안정화 모델 추정부(410), 영상 변환부(420) 및 영상 송출부(430)는 도 2의 안정화 모델 추정부(210), 영상 변환부(220) 및 영상 송출부(230)와 각각 대응되므로 자세한 설명은 생략하기로 한다.The apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention may further include a sensor driver for sensing flight information of the drone. Meanwhile, the
도 4의 센서 구동부(440)는 드론의 비행정보를 안정화 모델 추정부(410)로 송신할 수 있다. 이때 센서 구동부(440)에 의해 센싱되는 드론의 비행정보는 도 3의 센서 구동부(370)가 센싱하는 드론의 비행정보와 대응되므로, 자세한 설명은 생략하기로 한다.The
도 5는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상의 구조를 설명하기 위한 도면이다.5 is a diagram for explaining the structure of a projection image of a drone-mounted projector according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상의 해상도는 프로젝터가 송출 가능한 최대 해상도보다 낮을 수 있다.The resolution of the projected image of the drone-mounted projector according to an embodiment of the present invention may be lower than the maximum resolution that the projector can transmit.
도 5를 참고하면, 최대 WXH 해상도를 지원하는 프로젝터가 송출 가능한 최대 영상(510)중에서 W/3XH/3 크기의 프로젝션 영상 영역(520)만을 사용한다. 한편, 도 5의 프로젝션 영상 영역(520)의 크기는 송출 가능한 최대 영상(510)의 1/9에 해당하나, 이는 예시에 불과하며 1/9 외에도 다른 비율이 적용될 수 있음은 해당 기술분야의 통상의 기술자에게 자명한 사항이다.Referring to FIG. 5 , only the W/3XH/3 size
이에 따라 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션의 영상은 스케일링, 중심점의 이동, 영상의 기울어짐(및 키스톤)에 의해 프로젝션 영상의 영역이 프로젝터의 송출 가능한 최대 영상의 외부로 넘어가는 것을 방지할 수 있다.Accordingly, in the image of the projection of the drone-mounted projector according to an embodiment of the present invention, the area of the projected image is out of the maximum image that can be transmitted by the projector due to scaling, movement of the center point, and inclination (and keystone) of the image. can prevent
도 6은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치에서 사용되는 좌표계를 설명하기 위한 도면이다.6 is a view for explaining a coordinate system used in a method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 드론의 움직임은 드론의 이동(translation)과 회전(rotation)으로 구분할 수 있다. In the method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention, the movement of the drone may be divided into translation and rotation of the drone.
도 6을 참고하면, 드론의 이동은 X축, Y축, Z축 상에서 정의될 수 있는데, X축, Y축, Z축는 각각 드론의 진행(앞뒤) 방향, 좌우 방향, 높이(위아래) 방향을 의미한다. 그리고 드론의 회전은 롤(roll)축, 피치(pitch)축, 요(yaw)축 상에서 정의될 수 있고, 롤축, 피치축, 요축은 각각 드론의 이동 축인 X축, Y축, Z축과 동일하다.Referring to FIG. 6 , the movement of the drone can be defined on the X-axis, Y-axis, and Z-axis. The X-axis, Y-axis, and Z-axis represent the drone's progress (front and back) direction, left-right direction, and height (up and down) directions, respectively. it means. And the rotation of the drone can be defined on the roll axis, the pitch axis, and the yaw axis. do.
그리고 3차원 프로젝터 영상 평면(620)은 왜곡되지 않은 영상을 의미한다. 드론 탑재형 프로젝터가 3차원 프로젝터 영상 평면(620) 상에 영상을 투사하면, 드론의 모터에서 발생하는 진동이나, 드론 비행 제어오차로 인한 드론의 위치 및 자세 변이 등으로 인한 왜곡이 발생하여, 실제로는 2차원 프로젝션 평면(630) 상에 왜곡된 영상이 투영될 수 있다. And the 3D
여기서 3차원 프로젝션 영상 평면(620)의 X값은 2차원 프로젝션 평면(630) 상으로 투영되면서 더이상 나타나지 않고, Y, Z값만 존재하는 것을 볼 수 있다. 본 발명에서는 드론 탑재형 프로젝터(610)의 좌표계에서 정의된 좌표를 3차원 프로젝션 영상 평면(620)와 2차원 프로젝션 평면(630)에서 따르고 있음을 알 수 있다. 이는 이후 프로젝션 영상의 안정화를 수행하기 위한 수학식에서도 나타난다.Here, it can be seen that the X value of the 3D
이하에서는 드론의 위치 및 자세 이 드론 탑재형 프로젝터의 위치 및 자세와 동일하다는 전제 하에 본 발명을 상세히 설명하고자 한다. 그러나 드론과 드론 탑재형 프로젝터의 위치 및 자세가 다르더라도, 본 발명의 프로젝션 영상 안정화 방법 및 장치를 적용할 수 있음은 해당 기술분야의 통상의 기술자에게 자명하다.Hereinafter, the present invention will be described in detail on the premise that the position and posture of the drone are the same as the position and posture of the drone-mounted projector. However, even if the position and posture of the drone and the drone-mounted projector are different, it is obvious to those skilled in the art that the projection image stabilization method and apparatus of the present invention can be applied.
도 7은 본 발명의 일 실시예에 따른 프로젝션 영상의 왜곡 종류를 설명하기 위한 도면이다.7 is a diagram for explaining a distortion type of a projected image according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 드론과 프로젝션 영역간의 거리변이, 드론의 고도변이 및 드론의 회전변이를 고려하여 프로젝션 영상의 안정화를 수행할 수 있다. 3가지 변이는 각각 프로젝션 영상의 스케일링, 프로젝션 영상의 중심점 이동 및 프로젝션 영상의 기울어짐(및 키스톤)을 발생시킨다.A method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention can perform stabilization of a projected image in consideration of a distance variation between a drone and a projection area, a height variation of the drone, and a rotation variation of the drone. Each of the three transitions causes scaling of the projected image, shifting the center point of the projected image, and tilting (and keystone) of the projected image, respectively.
도 7의 (a)는 드론의 이동에 따른 프로젝션 영상 왜곡 종류를 도시한 것이고, 도 7의 (b)는 드론의 회전에 따른 프로젝션 영상 왜곡 종류를 도시한 것이다. Fig. 7(a) shows the types of projection image distortion according to the movement of the drone, and Fig. 7(b) shows the projection image distortion types according to the rotation of the drone.
도 7의 (a)를 참고하면, 드론의 이동에 따라 X축, Y축, Z축 상에서 영상 왜곡이 발생할 수 있다. X축 상에서의 영상 왜곡은 프로젝션 영상의 스케일 왜곡 및 영상의 수직이동을 유발한다. Y축 상에서의 영상 왜곡은 프로젝션 영상의 수평이동을 유발하고, Z축 상에서의 영상 왜곡은 프로젝션 영상의 수직이동을 유발한다.Referring to FIG. 7A , image distortion may occur on the X-axis, Y-axis, and Z-axis according to the movement of the drone. Image distortion on the X-axis causes scale distortion of the projected image and vertical movement of the image. Image distortion on the Y-axis causes horizontal movement of the projected image, and image distortion on the Z-axis causes vertical movement of the projected image.
도 7의 (b)를 참고하면, 드론의 회전에 따라 롤(Roll)축, 피치(Pitch)축, 요(Yaw)축 상에서 영상 왜곡이 발생할 수 있다. 롤축 상에서의 영상 왜곡은 프로젝션 영상의 기울어짐 및 수직 및 수평이동을 유발할 수 있고, 피치축 상에서의 영상 왜곡은 프로젝션 영상의 수직 키스톤 및 수직이동을 유발할 수 있다. 또한, 요축 상에서의 영상 왜곡은 프로젝션 영상의 수평 키스톤 및 수평이동을 유발할 수 있다.Referring to FIG. 7B , image distortion may occur on a roll axis, a pitch axis, and a yaw axis according to the rotation of the drone. Image distortion on the roll axis may cause inclination and vertical and horizontal movement of the projected image, and image distortion on the pitch axis may cause vertical keystone and vertical movement of the projected image. Also, image distortion on the yaw axis may cause horizontal keystone and horizontal shift of the projected image.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 드론의 이동에 따른 X축, Z축 상에서의 프로젝션 영상의 왜곡과, 드론의 회전에 따른 롤축, 피치축, 요축 상에서의 프로젝션 영상의 왜곡을 보정할 수 있다.A method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention include distortion of the projection image on the X-axis and Z-axis according to the movement of the drone, and on the roll axis, the pitch axis, and the yaw axis according to the rotation of the drone. can correct the distortion of the projected image.
도 8은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델을 설명하기 위한 도면이다. 8 is a view for explaining a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
도 8이 프로젝션 영상의 특정 회전을 의미하는 것이 아니며, 단순히 프로젝션 영상 안정화 모델을 설명하기 위한 도면인 것임은 해당 기술분야의 통상의 기술자에게 자명하다. It is apparent to those skilled in the art that FIG. 8 does not mean a specific rotation of the projected image, but is merely a diagram for explaining a projection image stabilization model.
도 8을 참고하면, 3차원 프로젝터 영상 평면(820) 상의 영상(825)은 왜곡되지 않은 영상을 의미한다. 드론 탑재형 프로젝터가 영상(825)을 투사하면, 드론의 모터에서 발생하는 진동이나, 드론 비행 제어오차로 인한 드론의 위치 및 자세 변이 등으로 인한 왜곡이 발생한다. 왜곡된 영상은 가상 평면(830) 상의 영상(835)으로 표시할 수 있다. 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는, 드론의 비행정보에 기초하여, 왜곡된 가상 평면(830)상의 영상(835)을 프로젝션 평면(840) 상의 영상(845)로 안정화시키는 방법을 개시한다. Referring to FIG. 8 , an
아래 수학식 1을 참고하면, 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는, 왜곡된 2차원 프로젝션 평면상의 좌표 X i 를 3차원 프로젝터 영상 평면상의 좌표 X w 로 안정화시키는 위해 안정화 모델을 활용할 수 있다.Referring to Equation 1 below, the method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention converts coordinates X i on a distorted two-dimensional projection plane into coordinates X w on a three-dimensional projector image plane. A stabilization model can be used for stabilization.
[수학식 1][Equation 1]
그리고, 수학식 1의 안정화 모델 
[수학식 2] [Equation 2]
여기서, H intrinsic 은 내부 파라미터 행렬을 나타내며, 상수 값인 프로젝터 초점거리, 프로젝션시 영상의 중심점 좌표값 등을 포함할 수 있으나 H intrinsic 에 포함되는 내부 파라미터는 이에 제한되지 않는다. Here, H intrinsic represents an internal parameter matrix, and may include a projector focal length that is a constant value, a coordinate value of a center point of an image during projection, and the like, but the internal parameter included in H intrinsic is not limited thereto.
그리고, H translation 은 드론 탑재형 프로젝터의 이동에 따른 왜곡 영상보정 행렬을 의미하며, X축 이동에 따른 왜곡 영상보정 행렬 H x , Z축 이동에 따른 왜곡 영상보정 행렬 H z 로 분해될 수 있다. H rotation 은 드론 탑재형 프로젝터의 회전에 따른 왜곡 영상보정 행렬을 의미하고, 롤축 회전에 따른 왜곡 영상보정 행렬 H Roll , 피치축 회전에 따른 왜곡 영상보정 행렬 H Pitch 및 요축 회전에 따른 왜곡 영상보정 행렬 H Yaw 로 분해될 수 있다.And, H translation means a distortion image correction matrix according to the movement of the drone-mounted projector, and can be decomposed into a distortion image correction matrix H x according to the X-axis movement and a distortion image correction matrix H z according to the Z-axis movement. H rotation means a distortion image correction matrix according to the rotation of the drone-mounted projector, a distortion image correction matrix H Roll according to the roll axis rotation, a distortion image correction matrix H Pitch according to the pitch axis rotation, and a distortion image correction matrix according to the yaw axis rotation It can be decomposed into H Yaw.
또한, H unit 은 비행정보를 통해 추정된 파라미터를 픽셀단위로 변환하기 위한 파라미터 행렬을 의미하고, 드론과 프로젝션 영역까지의 거리와 프로젝션 각도를 이용하여 구할 수 있다. 마지막으로, о연산은 아다마르 곱(Hadamard product) 연산을 의미한다.In addition, H unit means a parameter matrix for converting parameters estimated through flight information into pixel units, and can be obtained using the distance between the drone and the projection area and the projection angle. Finally, the о operation means a Hadamard product operation.
한편, 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 수학식 2의 내부 파라미터 행렬 H intrinsic 을 아래 수학식 3과 같이 정의할 수 있다.Meanwhile, in the method and apparatus for stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention, the internal parameter matrix H intrinsic of
[수학식 3][Equation 3]
여기서 f는 프로젝터 초점거리를 의미하며, c x , c z 는 프로젝션 영상의 중심점 좌표를 의미한다. f, c x , c z 는 드론 탑재형 프로젝터 제작 시에 사용한 프로젝터 특성에 따라 달라질 수 있고, 사용되는 프로젝터가 정해지면 결정되는 값이므로 상수 값으로 볼 수 있다.Here, f denotes the focal length of the projector, and c x , c z denote the coordinates of the center point of the projected image. f, c x , and c z may vary depending on the characteristics of the projector used in manufacturing the drone-mounted projector, and since the values are determined when the projector to be used is determined, they can be viewed as constant values.
도 9는 본 발명의 일 실시예에 따라 드론 탑재형 프로젝터 이동에 의한 프로젝션 영상의 왜곡을 보정하는 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method of correcting distortion of a projected image due to movement of a drone-mounted projector according to an embodiment of the present invention.
또한, 본 발명에서는 드론의 X축 및 Z축 상의 이동을 고려하기 때문에, 드론의 이동에 따른 왜곡 영상보정 행렬은 아래 수학식 4와 같이 정의할 수 있다.In addition, since the present invention considers the movement of the drone on the X-axis and the Z-axis, a distortion image correction matrix according to the movement of the drone can be defined as in Equation 4 below.
[수학식 4][Equation 4]
여기서, H x 는 X축 이동에 따른 왜곡 영상보정 행렬이고, H z 은 Z축 이동에 따른 왜곡 영상보정 행렬이다. 수학식 4의 H x 및 H z 는 아래 수학식 5와 같이 정의할 수 있다.Here, H x is a distortion image correction matrix according to the X-axis movement, and H z is a distortion image correction matrix according to the Z-axis movement. H x and H z in Equation 4 may be defined as in Equation 5 below.
[수학식 5][Equation 5]
여기서 S는 스케일 값이고, S x 는 X축 이동에 따른 수직 이동계수이고, S z 는 Z축 이동에 따른 수직 이동계수를 의미한다. 이중에서 스케일 값인 S는 드론과 프로젝션 영역 사이의 거리비를 통해 구할 수 있다. Here, S is the scale value, S x is the vertical movement coefficient according to the X-axis movement, and S z is the vertical movement coefficient according to the Z-axis movement. Among them, the scale value S can be obtained through the distance ratio between the drone and the projection area.
구체적으로, 도 9와 같이 드론 탑재형 프로젝터의 설정 위치(910)에서 프로젝션 영역(920)까지의 거리를 d 0 로 정의하고, 드론 탑재형 프로젝터에 움직임이 발생했을 때 라이다 센서가 센싱한 현재 드론 탑재형 프로젝터의 위치(930)에서 프로젝션 영역(920)까지의 거리를 d c 라 하면, S는 d 0 /d c 이다.Specifically, as shown in FIG. 9 , the distance from the
한편, 드론 탑재형 프로젝터가 건물의 외벽과 같은 프로젝션 영역(920)에 영상을 프로젝션할 때, 드론 탑재형 프로젝터에서 사용하고 있는 프로젝터 렌즈의 수직 오프셋이 존재하기 때문에 프로젝션 영상의 중심점 위치변이가 발생할 수 있다. 여기서 프로젝터 렌즈의 수직 오프셋이란, 투사된 영상의 중심이 프로젝터 렌즈의 중심선을 기준으로 위아래 방향으로 이동한 정도를 의미한다. 예를 들어, 0% 오프셋은 투영된 영상의 중심이 렌즈의 중심선과 정렬됨을 의미하며, 100% 오프셋은 투영된 영상의 중심이 렌즈의 중심선보다 위에 있으므로 영상의 아래쪽이 렌즈의 중심선과 정렬됨을 의미한다.On the other hand, when the drone-mounted projector projects an image on the
이동계수 S x 는 기하학적 모델링을 통해 아래 수학식 6과 같이 나타낼 수 있다.The movement coefficient S x can be expressed as Equation 6 below through geometric modeling.
[수학식 6][Equation 6]
위의 식에서, 
즉, 드론 탑재형 프로젝터 X축 이동에 따른 왜곡 영상보정 행렬은 수학식 5 및 수학식 6에 기초하여, 아래 수학식 7과 같이 유추할 수 있다.That is, the distortion image correction matrix according to the X-axis movement of the drone-mounted projector can be inferred as in Equation 7 below based on Equations 5 and 6.
[수학식 7][Equation 7]
그리고 이동계수 S z 는 드론 탑재형 프로젝터의 현재 고도값 a c 및 설정 고도값a 0 에 기초하여 수학식 8과 같이 구할 수 있다.And the movement coefficient S z can be obtained as in Equation 8 based on the current altitude value a c and the set altitude value a 0 of the drone-mounted projector.
[수학식 8][Equation 8]
따라서, 드론 탑재형 프로젝터 Z축 이동에 따른 왜곡 영상보정 행렬은 다음과 같이 유추할 수 있다.Therefore, the distortion image correction matrix according to the Z-axis movement of the drone-mounted projector can be inferred as follows.
[수학식 9][Equation 9]
도 10은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 롤축 회전에 따른 이동계수를 설명하기 위한 도면이다.10 is a view for explaining the movement coefficient according to the roll axis rotation of the projection image stabilization model of the drone-mounted projector according to an embodiment of the present invention.
본 발명에서는 드론의 롤축, 피치축 및 요축 상의 회전을 고려하기 때문에, 드론의 회전에 따른 왜곡 영상보정 행렬은 아래 수학식 10과 같이 정의할 수 있다.In the present invention, since the rotation on the roll axis, the pitch axis, and the yaw axis of the drone are considered, a distortion image correction matrix according to the rotation of the drone can be defined as in Equation 10 below.
[수학식 10] [Equation 10]
여기서 H Roll 은 롤축 회전에 따른 왜곡 영상보정 행렬이고, H Pitch 은 피치축 회전에 따른 왜곡 영상보정 행렬을 의미한다. 또한, H Yaw 은 요축 회전에 따른 왜곡 영상보정 행렬을 의미한다. 한편, H Roll , H Pitch , H Yaw 은 각각 수학식 11과 같이 회전계수(r 11 , r 12 , r 21 , r 22 , r 31 , r 32 )와 이동계수(t x , t y , t z )로 구성된다.Here, H Roll is a distortion image correction matrix according to roll axis rotation, and H Pitch means a distortion image correction matrix according to pitch axis rotation. Also, H Yaw is It means a distortion image correction matrix according to the rotation of the yaw axis. On the other hand, H Roll , H Pitch , H Yaw are rotation coefficients ( r 11 , r 12 , r 21 , r 22 , r 31 , r 32 ) and movement coefficients ( t x , t y , t z , respectively, as in Equation 11) ) is composed of
[수학식 11][Equation 11]
여기서 회전계수(r 11 , r 12 , r 21 , r 22 , r 31 , r 32 )는 잘 알려진 3D 회전행렬을 통해 구할 수 있으며, 이동계수(t x , t y , t z )는 기하학적 모델링이 필요하다. 따라서, H Roll , H Pitch , H Yaw 은 다음의 수학식 12와 같이 나타낼 수 있다.Here, the rotation coefficients ( r 11 , r 12 , r 21 , r 22 , r 31 , r 32 ) can be obtained through a well-known 3D rotation matrix, and the movement coefficients ( t x , t y , t z ) are geometrically modeled. necessary. Therefore, H Roll , H Pitch , and H Yaw can be expressed as in Equation 12 below.
[수학식 12][Equation 12]
여기서, 
먼저 드론의 롤축 회전에 따른 영상왜곡 보정모델에서 이동계수 
한편, 본 발명의 일 실시예에 따른 프로젝터 렌즈 오프셋이 100%이므로 프로젝션 영상의 아래선을 기준으로 회전이 발생하게 된다. 따라서, 도 10을 참고하면, 프로젝션 영상의 중점의 위치는 1010에서 1020로 변이가 발생하게 된다. 해당 변이는 
[수학식 13][Equation 13]
여기서 
도 11은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 피치축 회전에 따른 이동계수를 설명하기 위한 도면이다.11 is a view for explaining the movement coefficient according to the pitch axis rotation of the projection image stabilization model of the drone-mounted projector according to an embodiment of the present invention.
한편, 드론의 피치축 회전에 따른 영상왜곡 보정모델에서 이동계수 
피치축 회전 특성상 프로젝션 영상의 중심점 이동을 발생시키기 때문에, 이동계수가 존재하게 된다. 도 11을 참고하면, 프로젝션 영상의 중점의 위치는 C z_pitch 에서
따라서 피치축 회전에 따른 이동계수는 도 11의 기하학적 모델링을 통해 아래 수학식 14와 같이 정의할 수 있다.Therefore, the movement coefficient according to the rotation of the pitch axis can be defined as in Equation 14 below through the geometric modeling of FIG. 11 .
[수학식 14][Equation 14]
여기서, 
도 12는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 요축 회전에 따른 이동계수를 설명하기 위한 도면이다.12 is a view for explaining a movement coefficient according to a yaw axis rotation of a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
한편, 드론의 요축 회전에 따른 영상왜곡 보정모델에서 이동계수 
요축 회전 특성상 프로젝션 영상의 중심점 이동을 발생시키기 때문에, 요축 회전시 이동계수가 존재하게 된다. 도 12를 참고하면, 프로젝션 영상의 중점의 위치가 1210에서 1220로 변이가 발생하게 된다. 해당 변이는 
따라서 요축 회전에 따른 이동계수는 도 12의 기하학적 모델링을 통해 아래 수학식 15와 같이 정의할 수 있다.Therefore, the movement coefficient according to the rotation of the yaw axis can be defined as in Equation 15 below through the geometric modeling of FIG. 12 .
[수학식 15][Equation 15]
도 13은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 모델의 단위변환 행렬을 설명하기 위한 도면이다.13 is a diagram for explaining a unit transformation matrix of a projection image stabilization model of a drone-mounted projector according to an embodiment of the present invention.
한편, 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법 및 장치는 드론의 비행정보를 통해 추정된 값들의 단위를 거리 단위(cm)에서 픽셀단위(pixel)로 변경할 수 있다. 수학식 2에서 정의한 바와 같이, 안정화 모델 
[수학식 16][Equation 16]
여기서, 
도 14는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 정량적 성능 평가를 위해 험 환경을 설명하기 위한 도면이다.14 is a view for explaining a hum environment for quantitative performance evaluation of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 정량적 성능을 검증하기 위하여, 프로젝션 영상의 안정화 과정을 카메라로 촬영하였다. 도 14를 참고하면, 성능 검증을 위한 실험에서, 드론(1410)에서 프로젝션 대상(1420)까지의 거리는 3.05 m, 드론(1410)에서 카메라(1430)까지의 거리는 3.60 m 였다. 또한, 드론 탑재형 프로젝터 움직임을 모사하기 위해, 볼 조인트, 카메라 슬라이더 및 삼각대를 이용하였다. 구체적으로, 볼 조인트는 3축 회전을 모사하기 위해 사용되었고, 카메라 슬라이더 및 삼각대는 각각 거리변화와 고도변화를 모사하기 위해 사용되었다.In order to verify the quantitative performance of the apparatus for stabilizing the projection image of the drone-mounted projector according to an embodiment of the present invention, the stabilization process of the projection image was photographed with a camera. Referring to FIG. 14 , in the performance verification experiment, the distance from the
도 15 및 도 16은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 정성적 성능을 설명하기 위한 도면이다.15 and 16 are diagrams for explaining the qualitative performance of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용한 경우와 사용하지 않은 경우의 프로젝션 영상의 움직임 정도를 도시한 도면이다.15 is a view showing the degree of movement of the projected image when the projection image stabilization apparatus of the drone-mounted projector according to an embodiment of the present invention is used and when not used.
도 15를 참고하면, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용하지 않은 경우(안정화 OFF), 0번째, 350번째, 700번째, 1050번째 프레임에서의 프로젝션 영상의 위치 및 크기가 크게 변하는 것을 알 수 있다. 그러나, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용한 경우(안정화 ON), 0번째, 350번째, 700번째, 1050번째 프레임에서의 프로젝션 영상의 위치 및 크기가 비교적 안정되었고, 드론 탑재형 프로젝터의 자세 변화에 따른 영상 기울어짐 및 키스톤(keystone)이 발생하지 않는 것을 확인할 수 있다.Referring to FIG. 15, when the projection image stabilization device of the drone-mounted projector is not used (stabilization is OFF), it can be seen that the position and size of the projected image in the 0th, 350th, 700th, and 1050th frames change significantly. can However, when the projection image stabilization device of the drone-mounted projector was used (stabilization ON), the position and size of the projected image in the 0th, 350th, 700th, and 1050th frames were relatively stable, and the attitude of the drone-mounted projector was It can be seen that image tilt and keystone do not occur according to the change.
도 16은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용한 경우와 사용하지 않은 경우의 프로젝션 영상을 도시한 도면이다.16 is a diagram illustrating a projection image in the case of using and not using the projection image stabilization apparatus of the drone-mounted projector according to an embodiment of the present invention.
도 16의 (a)는 도 14에서 설명한 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 정량적으로 성능 검증을 하기 위해 사용한 실험 환경에서 사용한 샘플 영상이다. 이는 서로 다른 색상의 5개의 점(좌상단, 우상단, 중심, 좌하단, 우하단)이 표시된 샘플 영상을 이용하여 드론 탑재형 프로젝터를 이용하여 프로젝션하였다. 이후, 정량적 평가를 위해 5개의 점을 서로 다른 색상을 이용하여 추적하였다.16 (a) is a sample image used in an experimental environment used to quantitatively verify the performance of the projection image stabilization apparatus of the drone-mounted projector described in FIG. 14 . This was projected using a drone-mounted projector using a sample image in which five dots (top left, top right, center, bottom left, bottom right) of different colors were displayed. Then, five points were tracked using different colors for quantitative evaluation.
도 16의 (b)를 참고하면, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용하지 않은 경우, 서로 다른 색상의 5개의 점의 위치가 크게 변하는 것을 확인할 수 있다. Referring to (b) of FIG. 16 , when the projection image stabilization device of the drone-mounted projector is not used, it can be seen that the positions of the five dots of different colors change significantly.
그러나, 도 16의 (c)를 참고하면, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용한 경우, 서로 다른 색상의 5개의 점의 위치가 비교적 안정화된 것을 확인할 수 있다. However, referring to (c) of FIG. 16 , when the projection image stabilization apparatus of the drone-mounted projector is used, it can be seen that the positions of the five dots of different colors are relatively stabilized.
도 17은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치의 성능을 설명하기 위한 도표이다.17 is a diagram for explaining the performance of a projection image stabilization apparatus of a drone-mounted projector according to an embodiment of the present invention.
도 17을 참고하면, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용하지 않은 경우(OFF), 샘플 영상의 좌상단, 우상단, 중심, 좌하단, 우하단 점의 표준편차는 각각 (12,65, 14.31), (13.66, 16.91), (14.44, 17.15), (13.74, 15.94), (14.28, 16.95)이다.Referring to FIG. 17, when the projection image stabilization device of the drone-mounted projector is not used (OFF), the standard deviations of the upper left, upper right, center, lower left, and lower right points of the sample image are (12, 65, 14.31, respectively). ), (13.66, 16.91), (14.44, 17.15), (13.74, 15.94), (14.28, 16.95).
그러나, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치를 사용한 경우(ON), 샘플 영상의 좌상단, 우상단, 중심, 좌하단, 우하단 점의 표준편차는 각각 (4.33, 4.73), (4.51, 5.06), (4.35, 5.00), (4.60, 5.28), (4.03, 4.93)으로, 안정화 장치를 사용하지 않은 경우와 비교하여 표준편차가 감소한 것을 확인할 수 있다. However, when the projection image stabilization device of the drone-mounted projector is used (ON), the standard deviations of the upper-left, upper-right, center, lower-left, and lower-right points of the sample image are (4.33, 4.73), (4.51, 5.06), respectively, (4.35, 5.00), (4.60, 5.28), (4.03, 4.93), it can be seen that the standard deviation is reduced compared to the case where the stabilization device is not used.
도 18은 본 발명의 일 실시예에 따른 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법을 설명하기 위한 흐름도이다.18 is a flowchart illustrating a method of stabilizing a projection image of a drone-mounted projector according to an embodiment of the present invention.
단계 1810에서, 프로젝터가 탑재된 드론의 비행정보를 수신할 수 있다. 이때, 드론의 비행정보는 드론과 프로젝션 대상간의 거리, 드론의 고도, 드론의 회전각도 중 적어도 하나를 포함할 수 있다.In
한편 일 실시예에 따른 프로젝션 영상 안정화 방법의 단계 1810은 드론 내부의 센서 구동부로부터 드론의 비행정보를 수신하는 것일 수 있다.Meanwhile,
또한, 다른 일 실시예에 따른 프로젝션 영상 안정화 방법은 센서 구동부에 의해 드론의 비행정보를 센싱하는 단계를 더 포함하고, 이때 단계 1810은 센싱된 드론의 비행정보를 수신하는 것일 수 있다.In addition, the projection image stabilization method according to another embodiment may further include sensing flight information of the drone by a sensor driving unit, and in this case,
단계 1820에서, 수신된 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정할 수 있다.In
여기서 안정화 모델은 내부 파라미터 행렬 즉, 프로젝터에 의해 결정되는 상수 파라미터들로 구성된 행렬, 드론의 이동에 따른 왜곡 영상보정 행렬 및 드론의 회전에 따른 왜곡 영상보정 행렬 중 적어도 하나로 분해될 수 있다.Here, the stabilization model may be decomposed into at least one of an internal parameter matrix, that is, a matrix composed of constant parameters determined by the projector, a distortion image correction matrix according to the movement of the drone, and a distortion image correction matrix according to the rotation of the drone.
이때, 내부 파라미터 행렬은 프로젝터의 초점거리및 송출된 영상의 중심점 좌표 중 적어도 하나에 따라 달라질 수 있다. 여기서, 프로젝션 각도는 내부 파라미터 행렬에 포함되진 않지만 프로젝터에 의해 결정되는 내부 파라미터이다.In this case, the internal parameter matrix may vary depending on at least one of the focal length of the projector and the coordinates of the center point of the transmitted image. Here, the projection angle is an internal parameter that is not included in the internal parameter matrix but is determined by the projector.
드론의 이동 및 회전은 3축으로 정의되며, 드론의 이동은 드론의 진행방향을 X축, 드론을 기준으로 오른쪽 방향을 Y축, 아래쪽을 Z축으로 정의한다. 드론의 회전에 있어서는 이동의 X, Y, Z축이 Roll, Pitch, Yaw축이 되며, 축 방향을 기준으로 오른손 법칙을 적용한 방향이 회전각의 양수방향이다.The movement and rotation of the drone is defined by three axes, and the movement of the drone is defined as the X-axis, the right direction relative to the drone, the Y-axis, and the lower side as the Z-axis. In the rotation of the drone, the X, Y, and Z axes of movement become the Roll, Pitch, and Yaw axes, and the direction in which the right-hand rule is applied based on the axis direction is the positive direction of the rotation angle.
본 발명에서는 추가적인 연산을 줄이기 위해 드론의 좌표계 정의를 프로젝션 영상에서도 동일하게 사용할 수 있다.In the present invention, in order to reduce additional calculations, the definition of the coordinate system of the drone can be equally used in the projection image.
만약 수신된 비행정보를 통해 드론이 진행 방향인 X축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리, 드론과 프로젝션 대상간의 현재 거리 중 적어도 하나에 따라 달라질 수 있다.If it is determined through the received flight information that the drone has moved on the X axis, which is the direction of travel, the distortion image correction matrix according to the movement of the drone is the projection angle, the initial set distance between the drone and the projection target, and the current distance between the drone and the projection target. may vary depending on at least one of
만약 수신된 비행정보를 통해 드론이 높이 방향인 Z축 상에서 이동한 것으로 결정된 경우, 드론의 이동에 따른 왜곡 영상보정 행렬은 드론의 고도 정보에 따라 달라질 수 있다.If it is determined through the received flight information that the drone has moved on the Z-axis in the height direction, the distortion image correction matrix according to the movement of the drone may vary depending on the altitude information of the drone.
만약 수신된 비행정보를 통해 드론이 진행 방향의 롤축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 롤축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.If it is determined through the received flight information that the drone has rotated on the roll axis in the direction of travel, the distortion image correction matrix according to the rotation of the drone is based on at least one of the roll axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. may vary.
만약 수신된 비행정보를 통해 드론이 높이 방향의 피치축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 피치축 회전각도, 프로젝션 각도, 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.If it is determined that the drone rotates on the pitch axis in the height direction through the received flight information, the distortion image correction matrix according to the rotation of the drone is at least one of the pitch axis rotation angle, the projection angle, and the initial set distance between the drone and the projection target. may vary depending on
만약 수신된 비행정보를 통해 드론이 좌우 방향의 요축 상에서 회전한 것으로 결정된 경우, 드론의 회전에 따른 왜곡 영상보정 행렬은 요축 회전각도 및 드론과 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라질 수 있다.If it is determined through the received flight information that the drone rotates on the yaw axis in the left and right direction, the distortion image correction matrix according to the rotation of the drone may vary depending on at least one of the yaw axis rotation angle and the initial set distance between the drone and the projection target. .
드론의 이동 및 회전에 의한 영상 안정화 모델은 서로 독립적으로 정의되므로 각 축에 대한 이동 및 회전이 복합적으로 발생할 경우, 행렬의 곱셈을 통해 나타낼 수 있다.Since the image stabilization model by the movement and rotation of the drone is defined independently of each other, when movement and rotation about each axis occur in combination, it can be expressed through matrix multiplication.
단계 1830에서, 추정된 안정화 모델에 기초하여 프로젝션 영상을 변환할 수 있다.In
구체적으로 단계 1830은 추정된 안정화 모델과 단위변환 행렬의 아다마르 곱(Hardamard product) 연산을 수행하는 단계를 함으로써 추정된 안정화 모델을 픽셀 단위로 적용한다. 여기서 단위변환 행렬은 프로젝션 각도, 드론과 프로젝션 대상간의 현재 거리, 송출된 영상의 수직 해상도 중 적어도 하나에 따라 달라질 수 있다.Specifically, in
단계 1840에서, 변환된 영상을 프로젝션 대상을 향해 송출할 수 있다. 이때, 송출된 영상의 해상도는 프로젝터가 송출 가능한 최대 해상도보다 낮을 수 있다.In
본 발명에서 영상을 안정화하기 위해 변환된 영상의 해상도가 높을수록 변환 영상 송출 시간이 길어진다. 따라서, 본 발명의 실시간성을 보장하기 위해서 영상의 해상도가 낮아질 수 있다.이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.In the present invention, the higher the resolution of the converted image to stabilize the image, the longer the converted image transmission time. Accordingly, the resolution of an image may be lowered to ensure real-time performance of the present invention. So far, preferred embodiments of the present invention have been mainly described. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
200: 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치
210: 변환모델 추정부
220: 영상 변환부
230: 영상 송출부200: Projection image stabilization device of a drone-mounted projector
210: transformation model estimator
220: video conversion unit
230: video transmitter
Claims (17)
프로젝터가 탑재된 드론의 비행정보를 수신하는 단계;
상기 수신된 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정하는 단계;
상기 추정된 안정화 모델에 기초하여 상기 프로젝션 영상을 변환하는 단계; 및
상기 변환된 영상을 프로젝션 대상을 향해 송출하는 단계를 포함하는, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.A method of stabilizing a projection image of a drone-mounted projector, the method comprising:
Receiving flight information of a drone equipped with a projector;
estimating a stabilization model for correcting the distortion of the projected image based on the received flight information;
converting the projected image based on the estimated stabilization model; and
A method of stabilizing a projection image of a drone-mounted projector, comprising the step of transmitting the converted image toward a projection target.
상기 드론의 비행정보를 수신하는 단계는
상기 드론 내부의 센서 구동부로부터 상기 드론의 비행정보를 수신하는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
Receiving the flight information of the drone comprises:
A method of stabilizing a projection image of a drone-mounted projector by receiving the flight information of the drone from the sensor driving unit inside the drone.
센서 구동부에 의해 상기 드론의 비행정보를 센싱하는 단계를 더 포함하고,
상기 드론의 비행정보를 수신하는 단계는 상기 센싱된 드론의 비행정보를 수신하는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
Further comprising the step of sensing the flight information of the drone by a sensor driving unit,
The step of receiving the flight information of the drone is to receive the sensed flight information of the drone, the projection image stabilization method of the drone mounted projector.
상기 드론의 비행정보는,
상기 드론과 상기 프로젝션 대상간의 거리, 상기 드론의 고도, 상기 드론의 회전각도 중 적어도 하나를 포함하는 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
The flight information of the drone,
A method for stabilizing a projection image of a drone-mounted projector comprising at least one of a distance between the drone and the projection target, an altitude of the drone, and a rotation angle of the drone.
상기 송출된 영상의 해상도는 상기 프로젝터가 송출 가능한 최대 해상도보다 낮은 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
The resolution of the transmitted image is lower than the maximum resolution that the projector can transmit, the drone-mounted projector projection image stabilization method.
상기 안정화 모델은 내부 파라미터 행렬, 상기 드론의 이동에 따른 왜곡 영상보정 행렬 및 상기 드론의 회전에 따른 왜곡 영상보정 행렬 중 적어도 하나로 분해되는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
The stabilization model is to be decomposed into at least one of an internal parameter matrix, a distortion image correction matrix according to the movement of the drone, and a distortion image correction matrix according to the rotation of the drone.
상기 내부 파라미터 행렬은 상기 프로젝터의 초점거리 및 상기 송출된 영상의 중심점 좌표 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.7. The method of claim 6,
The internal parameter matrix is a method for stabilizing a projection image of a drone-mounted projector that varies depending on at least one of a focal length of the projector and a coordinate of a center point of the transmitted image.
상기 수신된 비행정보를 통해 상기 드론이 진행 방향인 X축 상에서 이동한 것으로 결정된 경우,
상기 드론의 이동에 따른 왜곡 영상보정 행렬은 프로젝션 각도, 상기 드론과 상기 프로젝션 대상간의 초기 설정 거리, 상기 드론과 상기 프로젝션 대상간의 현재 거리 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의프로젝션 영상 안정화 방법.7. The method of claim 6,
When it is determined through the received flight information that the drone has moved on the X-axis, which is the direction of travel,
The distortion image correction matrix according to the movement of the drone depends on at least one of a projection angle, an initial set distance between the drone and the projection target, and a current distance between the drone and the projection target. Projection image of a drone mounted projector stabilization method.
상기 수신된 비행정보를 통해 상기 드론이 높이 방향인 Z축 상에서 이동한 것으로 결정된 경우,
상기 드론의 이동에 따른 왜곡 영상보정 행렬은 상기 드론의 고도 정보에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.7. The method of claim 6,
When it is determined that the drone has moved on the Z-axis in the height direction through the received flight information,
A method for stabilizing a projection image of a drone mounted projector, wherein the distortion image correction matrix according to the movement of the drone is changed according to the altitude information of the drone.
상기 수신된 비행정보를 통해 상기 드론이 진행 방향의 롤축 상에서 회전한 것으로 결정된 경우,
상기 드론의 회전에 따른 왜곡 영상보정 행렬은 롤축 회전각도, 프로젝션 각도, 상기 드론과 상기 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.7. The method of claim 6,
When it is determined through the received flight information that the drone rotates on the roll axis in the traveling direction,
The distortion image correction matrix according to the rotation of the drone is changed according to at least one of a roll axis rotation angle, a projection angle, and an initial set distance between the drone and the projection target.
상기 수신된 비행정보를 통해 상기 드론이 좌우 방향의 피치축 상에서 회전한 것으로 결정된 경우,
상기 드론의 회전에 따른 왜곡 영상보정 행렬은 피치축 회전각도, 프로젝션 각도, 상기 드론과 상기 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.7. The method of claim 6,
When it is determined that the drone rotates on the pitch axis in the left and right directions through the received flight information,
The distortion image correction matrix according to the rotation of the drone is changed according to at least one of a pitch axis rotation angle, a projection angle, and an initial set distance between the drone and the projection target.
상기 수신된 비행정보를 통해 상기 드론이 높이 방향의 요축 상에서 회전한 것으로 결정된 경우,
상기 드론의 회전에 따른 왜곡 영상보정 행렬은 요축 회전각도 및 상기 드론과 상기 프로젝션 대상간의 초기 설정 거리 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.7. The method of claim 6,
When it is determined that the drone rotates on the yaw axis in the height direction through the received flight information,
A method for stabilizing a projection image of a drone mounted projector, wherein the distortion image correction matrix according to the rotation of the drone varies according to at least one of a yaw axis rotation angle and an initial set distance between the drone and the projection target.
상기 영상을 변환하는 단계는,
상기 추정된 안정화 모델과 단위변환 행렬의 아다마르 곱(Hardamard product) 연산을 수행하는 단계를 포함하고,
상기 아다마르 곱의 연산 결과는 상기 프로젝션 영상에 픽셀 단위로 적용하는 것이고,
상기 단위변환 행렬은 프로젝션 각도, 상기 드론과 상기 프로젝션 대상간의 현재 거리, 상기 송출된 영상의 수직 해상도 중 적어도 하나에 따라 달라지는 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 방법.According to claim 1,
Converting the image comprises:
Comprising the step of performing a Hadamard product (Hardamard product) operation of the estimated stabilization model and the unit transformation matrix,
The operation result of the Hadamard product is applied to the projected image in units of pixels,
The unit transformation matrix is a projection angle, the current distance between the drone and the projection target, the method of stabilizing a projection image of a drone mounted projector that varies depending on at least one of the vertical resolution of the transmitted image.
프로젝터가 탑재된 드론의 비행정보가 수신되면, 상기 비행정보에 기초하여 프로젝션 영상의 왜곡을 보정하기 위한 안정화 모델을 추정하는, 안정화 모델 추정부;
상기 추정된 안정화 모델에 기초하여 상기 프로젝션 영상을 변환하는, 영상 변환부;
상기 변환된 영상을 프로젝션 대상을 향해 송출하는, 영상 송출부를 포함하는, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치.In the projection image stabilization device of the drone mounted projector,
When flight information of a drone equipped with a projector is received, a stabilization model estimator for estimating a stabilization model for correcting distortion of a projected image based on the flight information;
an image conversion unit that converts the projected image based on the estimated stabilization model;
Projection image stabilization apparatus of a drone-mounted projector, comprising an image transmitting unit, which transmits the converted image toward a projection target.
상기 드론의 비행정보를 상기 안정화 모델 추정부로 송신하는, 센서 구동부를 더 포함하고,
상기 드론의 비행정보는,
상기 드론과 상기 프로젝션 대상간의 거리, 상기 드론의 고도, 상기 드론의 회전각도 중 적어도 하나를 포함하는 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치.16. The method of claim 15,
Further comprising a sensor driver for transmitting the flight information of the drone to the stabilization model estimator,
The flight information of the drone,
A projection image stabilization apparatus for a drone mounted projector comprising at least one of a distance between the drone and the projection target, an altitude of the drone, and a rotation angle of the drone.
상기 영상 송출부에 의해 송출된 영상의 해상도는 상기 프로젝터가 송출 가능한 최대 해상도보다 낮은 것인, 드론 탑재형 프로젝터의 프로젝션 영상 안정화 장치.16. The method of claim 15,
The resolution of the image transmitted by the image transmitting unit is lower than the maximum resolution that the projector can transmit, the projection image stabilization device of the drone mounted projector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200056191A KR102425571B1 (en) | 2020-05-11 | 2020-05-11 | Method and apparatus for stabilization of drone-projected image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200056191A KR102425571B1 (en) | 2020-05-11 | 2020-05-11 | Method and apparatus for stabilization of drone-projected image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210137845A true KR20210137845A (en) | 2021-11-18 |
| KR102425571B1 KR102425571B1 (en) | 2022-07-26 |
Family
ID=78717413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200056191A KR102425571B1 (en) | 2020-05-11 | 2020-05-11 | Method and apparatus for stabilization of drone-projected image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102425571B1 (en) |
-
2020
- 2020-05-11 KR KR1020200056191A patent/KR102425571B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 최은빈 외 2인, "이동형 프로젝션 디스플레이의 고속 안정화를 위한 모델계수 산출 방법", 2018년 대한전자공학회 추계학술대회 논문집, p.535-538 (2018.11)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102425571B1 (en) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109540126B (en) | Inertial vision integrated navigation method based on optical flow method | |
| TWI397671B (en) | System and method for locating carrier, estimating carrier posture and building map | |
| JP5491235B2 (en) | Camera calibration device | |
| CN110470226B (en) | Bridge structure displacement measurement method based on unmanned aerial vehicle system | |
| JP5844454B2 (en) | Camera calibration method, camera calibration program, and camera calibration apparatus | |
| JP5214355B2 (en) | Vehicle traveling locus observation system, vehicle traveling locus observation method, and program thereof | |
| CN110533719B (en) | Augmented reality positioning method and device based on environment visual feature point identification technology | |
| CN113551665B (en) | High-dynamic motion state sensing system and sensing method for motion carrier | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| CN102109348A (en) | System and method for positioning carrier, evaluating carrier gesture and building map | |
| CN113691788A (en) | Projection method of projector system | |
| CN113763479B (en) | Calibration method of refraction and reflection panoramic camera and IMU sensor | |
| CN108153417B (en) | Picture compensation method and head-mounted display device adopting same | |
| CN111105467B (en) | Image calibration method and device and electronic equipment | |
| TW202138755A (en) | Method for image correction | |
| KR102425571B1 (en) | Method and apparatus for stabilization of drone-projected image | |
| TWI726536B (en) | Image capturing method and image capturing apparatus | |
| CN117433515A (en) | Indoor factory unmanned aerial vehicle positioning method and system based on multi-base-station UWB and dotted line visual inertia | |
| US20190333286A1 (en) | 3d model establishing device and calibration method applying to the same | |
| WO2023141963A1 (en) | Pose estimation method for movable platform, movable platform, and storage medium | |
| JP6305501B2 (en) | Calibration method, program, and computer | |
| JP7480602B2 (en) | Display system, electronic device, mobile object, and display method | |
| JP7521270B2 (en) | Circuit device, electronic device and mobile device | |
| JP2004108836A (en) | Azimuth angle computing method of imaging apparatus and system, attitude sensor of imaging apparatus, tilt sensor of imaging device and computer program and three-dimentional model configuration device | |
| JP5625457B2 (en) | Topographic information display device and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |