KR101587352B1 - Method and device for mosaicking underwater image - Google Patents
Method and device for mosaicking underwater image Download PDFInfo
- Publication number
- KR101587352B1 KR101587352B1 KR1020140081843A KR20140081843A KR101587352B1 KR 101587352 B1 KR101587352 B1 KR 101587352B1 KR 1020140081843 A KR1020140081843 A KR 1020140081843A KR 20140081843 A KR20140081843 A KR 20140081843A KR 101587352 B1 KR101587352 B1 KR 101587352B1
- Authority
- KR
- South Korea
- Prior art keywords
- ground
- image
- underwater
- photographing
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
- B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
수중 영상을 모자이킹하기 위한 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 수중 영상을 모자이킹하기 위한 방법은 수중 영상을 모자이킹하기 위한 스캔 경로를 따라 수중 로봇을 회전하지 않도록 이동시키는 단계; 촬영 대상 지면의 경사가 변경되는지를 판단하는 단계; 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 수중 로봇의 자세를 조정하는 단계; 및 지면에 대하여 수직한 방향에서 모자이크용 정지 영상을 촬영하는 단계를 포함한다. A method and apparatus for mosaicing an underwater image are provided. A method for mosaicking an underwater image according to an embodiment of the present invention includes moving a submersible robot along a scan path for mosaicing an underwater image so as not to rotate the underwater robot; Determining whether the inclination of the photographing target floor is changed; Adjusting the posture of the underwater robot so that the underwater robot photographs in a direction perpendicular to the ground; And photographing a still image for mosaic in a direction perpendicular to the ground.
Description
본 발명은 수중 영상을 모자이킹하기 위한 방법 및 장치에 관한 것으로, 특히, 수중 로봇에 포함될 수 있는 수중 영상을 모자이킹하기 위한 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for mosaicing an underwater image, and more particularly, to a method and apparatus for mosaicing an underwater image that can be included in an underwater robot.
최근 해양에 대한 관심이 증가하면서 수중 탐사 등과 같은 활동이 증가하고 있다. 해양의 관심 영역이 연안에서 심해로 확장됨에 따라 탐사 영역의 수심이 점차로 증가하면서 수중 로봇을 이용한 수중 탐사가 증가하고 있다. Recently, as the interest in the ocean increases, activities such as underwater exploration are increasing. As the area of interest in the ocean extends from the coast to the deep sea, the depth of the exploration area gradually increases, and underwater exploration using an underwater robot is increasing.
수중 탐사 중에서 해저면 탐사를 위해서는 광학 영상을 주로 사용한다. 수중의 경우 육상과 달리, 광학 영상 획득에 있어서 빛의 감쇠가 크고 해중설(marine snow) 현상으로 원거리에서 촬영이 불가능하다. 따라서 광대역의 영상을 획득하기 위해서는 근접하여 촬영한 여러 장의 사진을 연속적으로 연결하여 한 장의 큰 영상으로 재구성하는 수중 영상 모자이킹 방법이 사용된다. In underwater exploration, optical image is mainly used for exploring the sea floor. Unlike the land, the attenuation of the light in the acquisition of the optical image is large, and the marine snow phenomenon can not be taken at a distance. Therefore, in order to acquire a broadband image, an underwater image mosaicking method is used in which a plurality of photographs taken in close proximity are successively connected and reconstructed into a single large image.
수중 로봇이 수중 영상 모자이킹을 위한 영상을 획득하기 위해서는 지면(지면)을 지그재그로 이동하며 스캔을 하는데, 이 때에 획득한 영상의 결과에 따라 모자이킹한 영상의 품질이 결정된다. 이 때, 대부분의 수중 로봇은 종방향의 비대칭 형태로 해저면을 스캔시, 직진과 회전 이동을 통하여 지면을 스캔하게 된다. In order for the underwater robot to acquire images for underwater image mosaicking, the ground (ground) is moved in a zigzag scan. At this time, the quality of the mosaicked image is determined according to the result of the acquired image. At this time, most underwater robots scan the ground surface through straight movement and rotation movement when scanning the undersurface in a longitudinal asymmetric shape.
그러나, 이러한 회전 운동은 수중 로봇의 관성 항법에 오차를 증가시키는 요인이 되며, 더욱이 모자이킹에 사용되는 동일 물체에 대한 두 영상에서 회전으로 인해 광원의 방향이 반대가 되기 때문에, 그림자 방향 및 빛의 반사 정도가 달라져 모자이킹을 하는데 어려움이 발생한다. However, this rotational motion causes an increase in the error in the inertial navigation of the underwater robot. Moreover, since the direction of the light source is opposite due to rotation in the two images of the same object used for the mosaic, There is a difficulty in making a mosaic by changing the degree of reflection.
또한, 일반적으로 수중의 지면은 평평하지 않은 다양한 굴곡을 형성하고 있으며, 즉, 지면의 경사도가 불규칙함으로 인하여, 동일한 촬영 각도에 대하여 상이한 형태로 촬영되어 실제 형상과 왜곡된 영상을 획득하기 때문에 모자이킹의 결과 영상이 정확하지 않은 문제점이 있다. In general, the water surface forms a variety of non-flat bends. That is, since the inclination of the ground surface is irregular, the image is photographed differently for the same photographing angle to obtain a real shape and a distorted image. There is a problem that the resulting image is not accurate.
본 발명의 일 실시예는 수중 영상의 모자이킹을 위한 스캔시 수중 로봇의 회전 없이 동일한 조건에서 수중 영상을 획득할 수 있는 수중 영상을 모자이킹하기 위한 방법 및 장치를 제공하고자 한다. An embodiment of the present invention is to provide a method and apparatus for mosaicking an underwater image capable of acquiring an underwater image under the same conditions without rotating the underwater robot during a scan for mosaicing the underwater image.
본 발명의 일 실시예는 촬영 대상 지면의 경사도에 상관없이 실제 형상과 유사한 수중 영상을 획득할 수 있는 수중 영상을 모자이킹하기 위한 방법 및 장치를 제공하고자 한다. An embodiment of the present invention is to provide a method and apparatus for mosaicking an underwater image that can acquire an underwater image similar to an actual shape regardless of the degree of inclination of a photographing target ground.
본 발명의 일 측면에 따르면, 수중 영상을 모자이킹하기 위한 스캔 경로를 따라 수중 로봇을 회전하지 않도록 이동시키는 단계; 촬영 대상 지면의 경사가 변경되는지를 판단하는 단계; 상기 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 상기 수중 로봇의 자세를 조정하는 단계; 및 상기 지면에 대하여 수직한 방향에서 모자이크용 정지 영상을 촬영하는 단계를 포함하는 수중 영상을 모자이킹하기 위한 방법이 제공된다. According to an aspect of the present invention, there is provided a method of moving an underwater robot, the method comprising: moving a submersible robot along a scan path for mosaicing an underwater image so as not to rotate; Determining whether the inclination of the photographing target floor is changed; Adjusting the posture of the underwater robot so that the underwater robot photographs in a direction perpendicular to the ground; And photographing a still image for mosaic in a direction perpendicular to the paper surface.
이 때, 상기 이동시키는 단계는 상기 수중 로봇을 직선 방향으로만 이동시킬 수 있다. At this time, the moving step may move the underwater robot only in a linear direction.
이 때, 상기 이동시키는 단계는 상기 스캔 경로를 따라 상기 수중 로봇을 전진 또는 후진 이동시키는 단계; 상기 수중 로봇의 진행 방향이 변경될지를 판단하는 단계; 및 상기 수중 로봇의 진행 방향이 변경될 경우, 상기 수중 로봇을 일방향으로 측면 이동시키는 단계를 포함할 수 있다.In this case, the moving step may include moving the robot underwater forward or backward along the scan path; Determining whether the traveling direction of the underwater robot is to be changed; And moving the underwater robot in one direction when the traveling direction of the underwater robot is changed.
이 때, 상기 판단하는 단계는 상기 지면을 향하여 레이저를 발광하면서 상기 지면을 촬영하는 단계; 및 상기 촬영된 영상에서의 레이저의 위치의 변화에 따라 지면의 경사여부를 판별하는 단계를 포함할 수 있다.At this time, the determining step may include photographing the ground surface while emitting a laser toward the ground surface; And determining whether the ground surface is inclined according to a change in the position of the laser in the photographed image.
이 때, 상기 레이저는 적어도 3개의 포인터 레이저 또는 적어도 2개의 라인 레이저일 수 있다. At this time, the laser may be at least three pointer lasers or at least two line lasers.
이 때, 상기 자세를 조정하는 단계는 상기 촬영된 영상에서의 레이저의 위치에 따라 각 지점의 거리를 측정하는 단계; 지면에 대한 경사를 산출하는 단계; 및 상기 수중 로봇이 지면의 경사에 대한 수직 방향으로 향하도록 그 자세를 변경하는 단계를 포함할 수 있다.In this case, the step of adjusting the posture may include measuring the distance of each point according to the position of the laser in the photographed image; Calculating a slope with respect to the ground; And changing the posture so that the underwater robot is directed in a direction perpendicular to the inclination of the ground.
이 때, 상기 산출하는 단계는 상기 측정된 각 지점의 거리에 따른 평면 3차원 방정식을 연산하고, 상기 연산된 평면의 법선 벡터를 산출할 수 있다.In this case, the calculating step may calculate a plane three-dimensional equation corresponding to the measured distance of each point and calculate a normal vector of the calculated plane.
이 때, 상기 정지 영상을 촬영하는 단계는 고정밀 광학 스틸 카메라를 이용하여 촬영할 수 있다.At this time, the step of photographing the still image can be performed using a high-precision optical still camera.
이 때, 상기 수중 로봇의 자세를 변경하는 단계는 상기 고정밀 광학 스틸 카메라의 방향 벡터와 상기 법선 벡터가 평행하게 되도록 상기 수중 로봇의 자세를 변경할 수 있다.At this time, the step of changing the posture of the underwater robot may change the posture of the underwater robot so that the direction vector of the high-precision optical still camera and the normal vector become parallel.
이 때, 상기 지면을 촬영하는 단계는 동영상 카메라를 이용하여 촬영할 수 있다.At this time, the step of photographing the ground surface can be taken using a moving picture camera.
이 때, 상기 자세를 조정하는 단계는 상기 수중 로봇의 팬(pan) 또는 틸트(tilt)를 조정할 수 있다. At this time, the step of adjusting the posture can adjust the pan or tilt of the underwater robot.
본 발명의 다른 측면에 따르면, 상기와 같은 방법들을 수행하는 컴퓨터 프로그램이 저장된 기록 매체가 제공된다. According to another aspect of the present invention, there is provided a recording medium on which a computer program for performing the above-described methods is stored.
본 발명의 또 다른 측면에 따르면, 수중 로봇에 포함되는 수중 영상을 모자이킹하기 위한 장치로서, 지면에 대한 모자이크용 정지 영상을 촬영하는 지면 촬영부; 촬영 대상 지면의 경사를 촬영하는 경사 촬영부; 상기 경사 촬영부로부터 촬영된 영상을 기초로 지면의 경사를 산출하는 경사 산출부; 수중 영상을 모자이킹하기 위한 스캔 경로를 따라 상기 수중 로봇이 회전하지 않고 이동하도록 제어하고, 상기 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 상기 수중 로봇의 자세를 제어하는 제어부; 및 상기 제어부의 제어에 따라 수중 로봇이 스캔 경로를 따라 이동하고, 그 자세를 조정하도록 구동하는 구동부를 포함하는 수중 영상을 모자이킹하기 위한 장치가 제공된다. According to another aspect of the present invention, there is provided an apparatus for mosaicing an underwater image included in an underwater robot, comprising: a ground photographing unit for photographing a mosaic still image with respect to the ground; A tilt photographing unit photographing a tilt of a photographing target ground; A tilt calculating unit for calculating a tilt of the ground based on the image photographed by the tilt photographing unit; A controller for controlling the underwater robot to move without rotating in accordance with a scan path for mosaicing an underwater image and controlling the posture of the underwater robot so that the underwater robot captures images in a direction perpendicular to the ground; And a driving unit for driving the submersible robot to move along the scan path under the control of the control unit and to adjust the attitude of the submersible robot.
이 때, 상기 지면 촬영부는 지면에 대한 정지 영상을 획득하는 제 1 영상 획득부; 및 상기 정지 영상의 획득이 용이하도록 상기 지면으로 광을 조사하는 광원부를 포함할 수 있다.In this case, the ground photographing unit may include a first image obtaining unit obtaining a still image of the ground surface; And a light source unit for irradiating light to the ground surface so as to facilitate the acquisition of the still image.
이 때, 상기 경사 촬영부는 지면에 대한 경사를 촬영하는 제 2 영상 획득부; 및 상기 지면을 향하여 발광하는 레이저를 발생하는 레이저 발생부를 포함할 수 있다.In this case, the inclination photographing unit may include a second image acquiring unit that photographs an incline with respect to the ground; And a laser generating unit for generating a laser beam emitting toward the paper.
이 때, 상기 제 1 영상 획득부는 고정밀 광학 스틸 카메라일 수 있다. In this case, the first image acquiring unit may be a high-precision optical still camera.
이 때, 상기 제 2 영상 획득부는 광학 동영상 카메라일 수 있다. In this case, the second image acquiring unit may be an optical moving image camera.
이 때, 상기 레이저 발광부는 적어도 3개의 포인터 레이저 또는 적어도 2개의 라인 레이저를 포함할 수 있다.At this time, the laser emitting unit may include at least three pointer lasers or at least two line lasers.
이 때, 상기 제어부는 상기 수중 로봇이 직선 방향으로만 이동하도록 제어할 수 있다.At this time, the control unit can control the underwater robot to move only in a linear direction.
이 때, 상기 제어부는 상기 수중 로봇의 진행 방향이 변경될지를 판단하여 진행 방향 변경시, 상기 수중 로봇이 전진, 후진 또는 측면 중 어느 하나의 방향으로 이동하도록 제어할 수 있다.At this time, the controller may determine whether the traveling direction of the submersible robot is to be changed, and may control the submersible robot to move forward, backward, or sideways when the traveling direction is changed.
이 때, 상기 경사 산출부는 상기 경사 촬영부에서 촬영된 영상에서의 상기 레이저의 위치의 변화에 따라 지면의 경사여부를 판단할 수 있다.In this case, the inclination calculating unit may determine whether the ground surface is inclined according to a change in the position of the laser in the image photographed by the inclination photographing unit.
이 때, 상기 경사 산출부는 상기 경사 촬영부에서 촬영된 영상에서의 레이저의 위치에 따라 각 지점의 거리를 측정하고, 지면에 대한 경사를 산출할 수 있다.In this case, the tilt calculating unit may measure the distance between each point according to the position of the laser in the image taken by the tilt photographing unit, and calculate the tilt with respect to the ground.
이 때, 상기 제어부는 상기 수중 로봇이 지면에 대한 수직 방향으로 향하도록 그 자세를 변경시킬 수 있다. At this time, the control unit can change its posture such that the underwater robot is directed in a direction perpendicular to the ground.
이 때, 상기 경사 산출부는 상기 측정된 각 지점의 거리에 따른 평면 3차원 방정식을 연산하고, 상기 연산된 평면의 법선 벡터를 산출할 수 있다.In this case, the slope calculating unit may calculate a plane 3D equation according to the distance between the measured points and calculate a normal vector of the calculated plane.
이 때, 상기 제어부는 상기 지면 촬영부의 방향 벡터와 상기 법선 벡터가 평행하게 되도록 상기 수중 로봇의 자세를 제어할 수 있다.At this time, the control unit may control the posture of the underwater robot so that the direction vector of the ground surface photographing unit and the normal vector are parallel.
이 때, 상기 제어부는 상기 수중 로봇의 팬 또는 틸트를 조정할 수 있다.At this time, the controller can adjust the panning or tilting of the underwater robot.
본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법 및 장치는 수중 영상의 모자이킹을 위한 스캔시 수중 로봇의 회전 없이 동일한 조건에서 수중 영상을 획득함으로써 수중 모자이킹의 결과 영상의 품질을 향상시킬 수 있다. The method and apparatus for mosaicing an underwater image according to an embodiment of the present invention can improve the quality of a result image of underwater mosaic by acquiring underwater images under the same conditions without rotating the underwater robot during scanning for underwater image mosaicing Can be improved.
또한, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법 및 장치는 촬영 대상 지면의 경사도에 상관없이 실제 형상과 유사한 수중 영상을 획득함으로써, 수중 모자이킹의 결과 영상의 정확도를 향상시킬 수 있다. In addition, the method and apparatus for mosaicing an underwater image according to an embodiment of the present invention can improve the accuracy of a result image of underwater mosaic by acquiring an underwater image similar to an actual shape regardless of the inclination of the ground .
도 1은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 개략적 블록도이다.
도 2는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 지면 경사도의 산출 동작을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 지면 경사도를 산출하는 예를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 스캔 동작을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 세부적인 스캔 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 세부적인 지면 경사의 산출에 따른 수중 로봇의 자세 조정 방법의 순서도이다. 1 is a schematic block diagram of an apparatus for mosaicing an underwater image according to an embodiment of the present invention.
2 is a schematic view for explaining an operation of calculating the ground surface inclination of an apparatus for mosaicing an underwater image according to an embodiment of the present invention.
FIG. 3 is a schematic view for explaining an example of calculating a ground surface inclination of an apparatus for mosaicing an underwater image according to an embodiment of the present invention.
4 is a schematic view for explaining a scanning operation of an apparatus for mosaicing an underwater image according to an embodiment of the present invention.
5 is a flowchart of a method for mosaicking an underwater image according to an embodiment of the present invention.
6 is a flowchart of a detailed scanning method of a method for mosaicing an underwater image according to an exemplary embodiment of the present invention.
FIG. 7 is a flow chart of a method of adjusting a posture of an underwater robot according to a detailed surface slope calculation of a method for mosaicing an underwater image according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
도 1은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 개략적 블록도이다. 이하에서는 도면을 참조하여 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치를 보다 상세히 설명하도록 한다. 1 is a schematic block diagram of an apparatus for mosaicing an underwater image according to an embodiment of the present invention. Hereinafter, an apparatus for mosaicing an underwater image according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 1을 참조하면, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치(100)는 지면 촬영부(110), 경사 촬영부(120), 경사 산출부(130), 제어부(140), 및 구동부(150)를 포함한다. 1, an
이러한 수중 영상을 모자이킹하기 위한 장치(100)는 탐사용 수중 로봇(도시하지 않음)에 포함될 수 있으며, 각 구성요소들은 수중 로봇의 구성요소들의 일부에서 구현되거나 이에 포함될 수 있다.An
지면 촬영부(110)는 수중의 촬영 대상인 지면에 대한 모자이크용 정지 영상을 촬영하며, 예를 들면, 제 1 영상 획득부(112) 및 광원부(114)를 포함할 수 있다. The
제 1 영상 획득부(112)는 수중의 바닥면의 지면에 대한 정지 영상을 획득하며, 이와 같이 획득된 영상은 모자이킹의 결과 영상을 구성할 수 있다. 이러한 제 1 영상 획득부(112)는 광학 방식을 이용하여 지면에 대한 정지 영상을 획득하며, 예를 들면, 고정밀 광학 스틸 카메라일 수 있다. The first
광원부(114)는 제 1 영상 획득부(112)가 지면에 대한 정지 영상을 촬영시 촬영된 영상의 시인성을 증가시키기 위해 지면으로 광을 조사할 수 있다. 이러한 광원부(114)는 제 1 영상 획득부(112)와 함께 통합하여 구성되거나 별도로 구성될 수 있다.The
경사 촬영부(120)는 후술하는 바와 같은 지면의 경사도 산출을 위하여 지면의 경사를 촬영하며, 예를 들면, 제 2 영상 획득부(122) 및 레이저 발생부(124)를 포함할 수 있다.The
제 2 영상 획득부(122)는 수중의 지면에 대한 경사를 촬영하며, 모자이킹용 정지 영상을 획득하는 제 1 영상 획득부(112)와는 달리, 광학 동영상 카메라일 수 있다. The second
레이저 발생부(124)는 지면을 향하여 발광하는 레이저를 발생하는데, 이와 같이 지면에 발광된 레이저는 제 2 영상 획득부(122)에서 획득된 영상으로부터 지면의 경사를 산출하기 위한 기준으로서 이용될 수 있다. 이러한 레이저 발생부(124)는 예를 들면, 포인터 레이저 또는 라인 레이저일 수 있으며, 포인터 레이저인 경우 적어도 3개로 구성되고, 라인 레이저인 경우 적어도 2개로 구성될 수 있다.The
경사 산출부(130)는 제 2 영상 획득부(122)로부터 촬영된 영상을 기초로 수중의 지면의 경사를 산출할 수 있다. 즉, 경사 산출부(130)는 제 2 영상 획득부(122)로부터 촬영된 영상에서의 레이저 발생부(124)에서 발생한 레이저의 위치의 변화에 따라 지면의 경사 여부를 판단할 수 있다.The
이하 도면을 달리하여, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치에서, 경사 산출부(130)의 지면 경사도의 산출에 대하여 보다 상세히 설명한다. Hereinafter, the calculation of the ground surface inclination of the
도 2는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 지면 경사도의 산출 동작을 설명하기 위한 개략도이고, 도 3은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 지면 경사도를 산출하는 예를 설명하기 위한 개략도이다. FIG. 2 is a schematic view for explaining an operation of calculating the ground surface inclination of an apparatus for mosaicing an underwater image according to an embodiment of the present invention, and FIG. 3 is a view for explaining an operation for mosaicing an underwater image according to an embodiment of the present invention. Is a schematic view for explaining an example of calculating the ground surface inclination of the apparatus.
도 2(a)를 참조하면, 광학 카메라와 같은 제 2 영상 획득부(122)는 광학 렌즈의 특성에 따라 그 초점을 중심에서 일정 각으로 발산하는 영역이 촬영 범위에 해당하며, 지면과의 거리에 따라 영상에 나타나는 면적이 달라진다. 반면, 레이저 발생부(124)에서 발광된 레이저는 레이저의 직진성에 의해 거리에 상관없이 수중의 일정한 지점에 투사된다. 결과적으로, 제 2 영상 획득부(122)에 의해 획득된 영상에서, 도 2(a)에 도시된 바와 같이, 제 2 영상 획득부(122)와 지면이 가까운 경우에 촬영된 영상(122a)에서는 레이저 포인트(124a)가 화면의 가장자리에 표시되는 반면, 제 2 영상 획득부(122)와 지면이 먼 경우에 촬영된 영상(122b)에서는 레이저 포인트(124b)가 화면의 중앙에 표시된다. 따라서 이러한 원리를 이용하여 촬영된 하나의 영상으로부터 각 지점의 거리를 산출할 수 있다.2 (a), the second
즉, 제 2 영상 획득부(122)가 경사를 갖는 지면을 촬영하는 경우, 도 2(b)에 도시된 바와 같이, 제 2 영상 획득부(122)로부터 촬영된 영상(122a)에 표시되는 레이저 포인트(124a,124b)는 중심 또는 가장자리에 대하여 상이한 비율을 갖는다. 예를 들면, 하나의 레이저 포인트(124a)가 영상의 가장 자리로부터 가까운 거리(L1)에 표시되고, 다른 레이저 포인트(124b)가 영상의 가장 자리로부터 먼 거리(L2)에 위치되는 경우, 하나의 레이저 포인트(124a)가 표시된 위치는 제 2 영상 획득부(122)와 지면의 거리가 가깝고, 다른 레이저 포인트(124b)가 표시된 위치는 제 2 영상 획득부(122)와 지면의 거리가 멀다는 것을 알 수 있다. 즉, 도 2(a)에 도시된 바와 같이, 지면이 도면의 좌측으로 기울어져 있기 때문에, 하나의 레이저 포인트(124a)의 위치가 다른 레이저 포인트(124b)의 위치에 비하여 제 2 영상 획득부(122)로부터 가깝다는 것을 알 수 있다. That is, when the second
또한, 이러한 원리를 이용하면, 경사 산출부(130)는 제 2 영상 획득부(122)로부터 촬영된 영상에서 레이저 포인트의 변화에 따라 지면의 경사가 변경됨을 판단할 수 있다. In addition, using this principle, the
또한, 경사 산출부(130)는 제 2 영상 획득부(122)에서 촬영된 영상에서의 레이저의 위치에 따라 각 지점의 거리를 측정하고, 지면에 대한 경사를 산출할 수 있다. 이 때, 경사 산출부(130)는 측정된 각 지점의 거리에 따른 평면 3차원 방정식을 연산하고, 연산된 평면의 법선 벡터를 산출할 수 있다.In addition, the
즉, 경사 산출부(130)는 지면의 경사를 산출하기 위해 지면이 이루는 평면의 법선 벡터를 이용한다. 이 때, 도 3(a)에 도시된 같이, 적어도 3개의 레이저 발생부(124)를 이용하여 지면에 레이저를 투사하면서 제 2 영상 획득부(122)가 지면의 경사를 촬영하면, 경사 산출부(130)는 촬영된 영상에서 적어도 3개의 레이저 포인트(124c)를 인식하고, 각각의 지점(A, B, C)으로부터 제 2 영상 획득부(122)와의 거리를 측정할 수 있다. 경사 산출부(130)는 측정된 거리 및 레이저 포인트의 위치(A, B, C)를 이용하여 지면에 대응하는 평면의 3차원 방정식을 연산함으로써, 지면에 대응하는 평면의 법선 벡터를 산출할 수 있다.That is, the
또한, 도 3(b)에 도시되 바와 같이, 레이저 발생부(124)가 적어도 2개의 라인 레이저(124-1)로 구성되는 경우, 경사 산출부(130)는, 상술한 방법과 유사하게, 제 2 영상 획득부(122)로부터 촬영된 영상에서 적어도 2개의 레이저 라인(124d)을 인식하고, 라인 상의 적어도 3개의 임의의 지점으로부터 제 2 영상 획득부(122)와의 거리를 측정할 수 있고, 따라서, 측정된 거리 및 레이저 라인의 해당 위치를 이용하여 지면에 대응하는 평면 3차원 방정식을 연산함으로써, 지면에 대응하는 평면의 법선 벡터를 산출할 수 있다. 3 (b), in the case where the
다시 도 1을 참조하면, 제어부(140)는 경사 산출부(130)로부터 산출된 지면의 경사를 기초로, 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 수중 로봇의 자세를 제어할 수 있다. 즉, 제어부(140)는 수중 로봇이 지면에 대한 수직 방향으로 향하도록 그 자세를 변경시킬 수 있다. 예를 들면, 제어부(140)는 제 1 영상 획득부(112)의 방향 벡터와 경사 산출부(130)에서 산출된 법선 벡터가 평행하게 되도록 수중 로봇의 자세를 제어할 수 있다. 이 때, 제어부(140)는 수중 로봇의 팬 또는 틸트를 조정함으로써, 수중 로봇의 자세를 제어할 수 있다.Referring back to FIG. 1, the
한편, 제어부(140)는 수중 영상을 모자이킹하기 위한 스캔 경로를 따라 수중 로봇이 회전하지 않고 이동하도록 제어하며, 즉, 수중 로봇의 스캔 동작을 제어할 수 있다.Meanwhile, the
이하 도면을 달리하여, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치에서, 제어부(140)에 의한 스캔 동작을 보다 상세히 설명한다. Hereinafter, a scanning operation by the
도 4는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 장치의 스캔 방법을 설명하기 위한 개략도이다. 4 is a schematic view for explaining a scanning method of an apparatus for mosaicing an underwater image according to an embodiment of the present invention.
도 4(a)를 참조하면, 수중 로봇이 지면을 스캔하기 위해서 지그재그로 이동하는데, 이와 같은 스캔 경로를 따라 이동하는 도중에는 90°와 같이 회전하는 경우들이 발생한다. 이 때, 수중 로봇의 전진과 후진 이동시 촬영된 영상에 차이가 발생한다. 예를 들면, 수중 로봇의 전진시, 대상 물체(200)를 중심으로 좌측에 제 1 영상 획득부(112)가 위치하여 대상 물체(200)의 좌측에 촬영 영역(112a)이 형성되고, 우측에 광원부(114)가 위치하여 대상 물체(200)의 우측에 광 조사 영역(114a)이 형성되게 되기 때문에, 대상 물체의 그림자(200a)는 광원부(114)의 반대 측인 대상 물체(200)의 좌측에 생성되는 반면, 수중 로봇의 후진시, 제 1 영상 획득부(112)와 광원부(114)의 위치가 반전되어, 대상 물체(200)를 중심으로 좌측에 광원부(114)의 조사 영역(114a)이 위치되고, 우측에 제 1 영상 획득부(112)의 촬영 영역(112a)이 위치하게 되기 때문에, 대상 물체의 그림자(200b)는 광원부(114)의 반대 측인 대상 물체(200)의 우측에 생성된다. 따라서, 스캔 경로를 따라 수중 로봇이 이동할 때 회전을 동반하게 되는 경우, 진행 방향에 따라서 실제 형상과 상이한 영상을 획득하게 된다. Referring to FIG. 4 (a), the underwater robot moves in a zigzag manner to scan the ground. During the movement along the scan path, there occur cases where the robot rotates at 90 degrees. At this time, there is a difference between the images taken during forward and backward movement of the underwater robot. For example, when the underwater robot moves forward, the first
이에 반하여, 본 발명의 일 실시예 따른 수중 영상을 모자이킹하기 위한 장치의 스캔 동작에서, 도 4(b)에 도시된 바와 같이, 제어부(140)는 수중 로봇이 회전하지 않고 직선 방향으로만 이동하도록 제어할 수 있다. 즉, 제어부(140)는 수중 로봇의 진행 방향이 변경될지를 판단하여 진행 방향 변경시, 수중 로봇이 전진, 후진 또는 측면 중 어느 하나의 방향으로 이동하도록 제어할 수 있다. 이와 같은 제어부(140)의 스캔 동작에 의해, 예를 들면, 전진하는 경우와 후진하는 경우에 모두에 대하여, 대상 물체(200)를 중심으로 제 1 영상 획득부(112)와 광원부(114)의 위치가 동일하게 되기 때문에, 즉, 제 1 영상 획득부(112)의 촬영 영역(112a)과 광원부(114)의 광 조사 영역(114a)의 위치가 동일하게 수중 로봇이 이동하기 때문에, 대상 물체(200)에 대한 전진시의 그림자(200a)와 후진시의 그림자(200c)가 동일한 방향으로 위치함으로써, 스캔 경로의 진행 방향에 무관하게 동일한 조건에서 영상을 획득할 수 있다. 또한, 제어부(140)는 수중 로봇이 측면으로 이동하는 경우에도 회전하지 않고 전진 또는 후진 상태에서 측면으로만 이동함으로써, 측면 이동시에도 고정밀 스틸 카메라와 같은 제 1 영상 획득부(112)의 촬영 영역(112a)과 광원부(114)의 광 조사 영역(114a)의 위치가 변동되지 않기 때문에 동일한 조건에서 영상을 획득할 수 있다. On the other hand, in the scanning operation of the apparatus for mosaicing an underwater image according to the embodiment of the present invention, as shown in FIG. 4 (b), the
구동부(150)는 제어부(140)의 상술한 바와 같은 제어에 따라 수중 로봇이 자세를 조정하도록 구동하고, 또한 수중 로봇이 스캔 경로를 이동하도록 구동할 수 있다. 이러한 구동부(150)는 수중 로봇의 구동부일 수 있으며, 수중 로봇의 팬 또는 틸트가 조정되도록 구동할 수 있다.The driving
이와 같은 구성에 의해, 본 발명의 실시예에 따른 수중 영상을 모자이킹하기 위한 장치(100)는 수중 영상의 모자이킹을 위한 스캔시 수중 로봇의 회전 없이 동일한 조건에서 수중 영상을 획득함으로써 수중 모자이킹의 결과 영상의 품질을 향상시킬 수 있을 뿐만 아니라, 촬영 대상 지면의 경사도에 상관없이 실제 형상과 유사한 수중 영상을 획득함으로써, 수중 모자이킹의 결과 영상의 정확도를 향상시킬 수 있다. With such a configuration, the
이하, 도면을 달리하여 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법을 설명한다. Hereinafter, a method for mosaicing an underwater image according to an embodiment of the present invention will be described with reference to the drawings.
도 5는 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 순서도이다. 5 is a flowchart of a method for mosaicking an underwater image according to an embodiment of the present invention.
본 발명의 다른 실시예에 따른 수중 영상을 모자이킹하기 위한 방법(500)은 스캔 경로를 이동하는 단계(S501), 지면 경사가 변경되는지를 판단하는 단계(S502), 지면의 경상 따라 수중 로봇의 자세를 조정하는 단계(S503), 지면에 대한 모자이크용 정지 영상을 촬영하는 단계(S504)를 포함할 수 있다.A
보다 상세히 설명하면, 도 5에 도시된 바와 같이, 먼저, 수중 영상을 모자이킹하기 위한 스캔 경로를 따라 수중 로봇을 이동시킬 수 있다(단계 S501). 이 때, 수중 로봇을 회전시키지 않고 직선 방향으로만 이동시킬 수 있다. More specifically, as shown in FIG. 5, the underwater robot may be moved along a scan path for mosaicing an underwater image (step S501). At this time, the underwater robot can be moved only in the linear direction without rotating.
이하 도면을 달리하여, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 스캔 방법을 보다 상세히 설명한다. Hereinafter, a scanning method of a method for mosaicing an underwater image according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 6은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 세부적인 스캔 방법의 순서도이다. 6 is a flowchart of a detailed scanning method of a method for mosaicing an underwater image according to an exemplary embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 스캔 방법(600)은 먼저, 스캔 경로에 따라 수중 로봇을 전진 또는 후진 이동시킬 수 있다(단계 S601). 예를 들면, 도 4(b)에서와 같이, 수중 로봇은 전진 또는 후진 시 회전하지 않고 동일한 자세로 방향만 반대로 진행할 수 있다. Referring to FIG. 6, a
다음으로, 수중 로봇의 진행 방향이 변경될지를 판단하여(단계 S602), 진행 방향이 변경되지 않을 경우, 지속적으로 이전의 동작을 수행하며, 즉, 전진 또는 후진 방향으로 이동할 수 있다. 이 때, 수중 로봇의 진행 방향의 변경은, 예를 들면, 수중 로봇의 전진 또는 후진시 각각의 좌측 또는 우측 방향으로의 변경을 포함하며, 회전하지 않는다는 관점에서 기준에 따라 방향만 반대일 뿐 동일한 이동 동작을 수행하기 때문에 여기서는 세부적으로 구분하여 설명하지 않는다. Next, it is determined whether the traveling direction of the underwater robot is to be changed (step S602). If the traveling direction is not changed, the robot can continuously perform the previous operation, that is, move in the forward or backward direction. At this time, the change in the traveling direction of the underwater robot includes, for example, a change in the left or right direction when the robot is in the forward or backward direction of the underwater robot, It is not described in detail here because it performs the movement operation.
단계 S602의 판단 결과, 수중 로봇의 진행 방향이 변경될 것이라고 판단한 경우에는, 수중 로봇을 일방향으로 측면 이동시킬 수 있다(단계 S603). 즉, 수중 로봇이 전진 또는 후진시 각각의 좌측 또는 우측으로 진행 방향이 변경되어야 하는 경우, 도 4(b)에 도시된 바와 같이, 수중 로봇은 회전하지 않고 동일한 자세로 측면 방향으로 이동할 수 있다. As a result of the determination in step S602, if it is determined that the traveling direction of the submersible robot is to be changed, the submersible robot can be moved in the lateral direction in one direction (step S603). That is, when the underwater robot needs to change its direction to the left or right side when advancing or retreating the underwater robot, as shown in FIG. 4 (b), the underwater robot can move in the lateral direction in the same posture without rotating.
다음으로, 수중 로봇이 진행 방향이 변경될지를 판단하여(단계 S604), 진행 방향이 변경되지 않을 경우, 지속적으로 이전의 동작을 수행하며, 즉, 우측 또는 좌측 중 하나의 일방향으로 측면 이동시킬 수 있다. 이 때, 수중 로봇의 진행 방향의 변경은, 예를 들면, 수중 로봇이 좌측 또는 우측 중의 어느 하나의 일방향 측면 이동시 각각의 전진 또는 후진 방향으로의 변경을 포함하며, 회전하지 않는다는 관점에서 기준에 따라 방향만 반대일 뿐 동일한 동작을 수행하기 때문에 여기서는 세부적으로 구분하여 설명하지 않는다. Next, it is determined whether the underwater robot changes its direction (step S604). If the direction is not changed, the underwater robot continuously performs the previous operation, that is, it can move side by side in one direction of right or left have. At this time, the change in the traveling direction of the underwater robot includes, for example, a change in the forward or backward direction of each of the underwater robots when the underwater robot moves in one direction from either the left side or the right side, Since the same operation is performed only in the opposite direction, it is not described in detail here.
단계 S604의 판단 결과, 수중 로봇의 진행 방향이 변경될 것이라고 판단된 경우에는, 단계 S601로 복귀하여 수중 로봇을 전진 또는 후진 이동시킬 수 있다. 즉, 수중 로봇이 좌측 또는 우측 이동시, 각각의 전진 또는 후진으로 진행 방향이 변경되어야 하는 경우, 도 4(b)에 도시된 바와 같이, 수중 로봇은 회전하지 않고 동일한 자세로 전진 또는 후진할 수 있다. If it is determined in step S604 that the traveling direction of the submersible robot is to be changed, the flow returns to step S601 to move the submersible robot forward or backward. In other words, when the underwater robot is to be moved to the left or the right and the direction of travel should be changed to the forward or backward direction, as shown in Fig. 4 (b), the underwater robot can move forward or backward in the same posture without rotating .
다시 도 1을 참조하면, 촬영 대상 지면의 경사가 변경되는지를 판단할 수 있다.(단계 S502). 이 때, 촬영 대상 지면의 경사의 변경은 도 2 및 도 3을 참조하여 설명된 바와 같이, 지면에 대하여 촬영된 영상에서의 레이저 포인트의 위치의 변화를 기초로 판단할 수 있다. 즉, 지면을 향하여 레이저를 발광하면서 지면의 경사를 촬영하고, 촬영된 영상에서 발광된 레이저의 위치의 변화에 따라 지면의 경사 여부를 판별할 수 있다. Referring again to FIG. 1, it is possible to determine whether the inclination of the photographing target floor is changed (step S502). At this time, the change of the inclination of the photographing target paper can be judged based on the change of the position of the laser point in the image photographed with respect to the paper, as described with reference to Figs. That is, it is possible to photograph the slope of the ground while emitting the laser toward the ground, and determine whether the ground is inclined according to the change of the position of the emitted laser in the photographed image.
단계 S602의 판단 결과, 지면의 경사가 변경된 경우에는, 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 수중 로봇의 자세를 조정할 수 있다(단계 S503). 즉, 수중 로봇이 지면의 경사에 대한 수직 방향으로 향하도록 그 자세를 변경할 수 있다. As a result of the determination in step S602, if the inclination of the ground is changed, the attitude of the underwater robot can be adjusted so that the underwater robot can take a picture in a direction perpendicular to the ground (step S503). That is, the attitude of the underwater robot can be changed so as to be directed in the direction perpendicular to the inclination of the ground.
이하 도면을 달리하여, 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 지면 경사의 산출에 따른 수중 로봇의 자세 조정 방법을 더 상세하게 설명한다. Hereinafter, a method of adjusting the posture of an underwater robot according to the calculation of a ground gradient of a method for mosaicing an underwater image according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 7은 본 발명의 일 실시예에 따른 수중 영상을 모자이킹하기 위한 방법의 세부적인 지면 경사의 산출에 따른 수중 로봇의 자세 조정 방법의 순서도이다. FIG. 7 is a flow chart of a method of adjusting a posture of an underwater robot according to a detailed surface slope calculation of a method for mosaicing an underwater image according to an embodiment of the present invention.
본 발명의 다른 실시예에 따른 수중 로봇의 자세 조정 방법(700)은, 먼저, 지면을 향하여 레이저를 발광하면서 지면의 경사를 촬영할 수 있다(단계 S701). 이 때, 지면의 촬영은, 예를 들면, 광학 동영상 카메라를 이용하여 촬영할 수 있다. 여기서, 지면에 발광된 레이저는 지면에 대하여 획득된 영상으로부터 지면의 경사를 산출하기 위한 기준으로서 이용될 수 있다. 이와 같이 발광되는 레이저는 예를 들면, 포인터 레이저 또는 라인 레이저일 수 있으며, 포인터 레이저인 경우, 적어도 3개로 구성되고, 라인 레이저인 경우 2개로 구성될 수 있다. In the
다음으로, 촬영된 영상에서의 레이저의 위치에 따라 각 지점의 거리를 측정할 수 있다(단계 S702). 즉, 촬영된 영상에서, 레이저의 위치가 화면의 가장자리 또는 중앙으로부터의 거리 비율에 따라 각 지점과 촬영 위치 사이의 거리를 측정할 수 있다. Next, the distance of each point can be measured according to the position of the laser in the photographed image (step S702). That is, in the photographed image, the distance between each point and the photographing position can be measured according to the ratio of the position of the laser to the edge of the screen or the distance from the center.
다음으로, 측정된 각 지점의 거리를 기초로 지면에 대한 법선 벡터를 산출할 수 있다(단계 S703). 이 때, 측정된 각 지점의 거리에 따른 평면 3차원 방정식을 연산하고, 연산된 평면의 법선 벡터를 산출할 수 있다. 즉, 지면의 경사를 산출하기 위해 지면이 이루는 평면의 법선 벡터를 이용할 수 있다. 이 때, 도 3(a)에 도시된 바와 같이, 적어도 3개의 포인트 레이저를 이용하여 지면의 경사를 촬영한 경우, 촬영 영상에서 적어도 3개의 레이저 포인트를 인식하고, 각각의 지점으로부터 측정된 거리 및 레이저 포인트의 위치를 이용하여 지면에 대응하는 평면의 3차원 방정식을 연산함으로써, 지면에 대응하는 평면의 법선 벡터를 산출할 수 있다.Next, a normal vector to the ground can be calculated based on the distance of each measured point (step S703). At this time, it is possible to calculate the plane three-dimensional equation according to the distance of each measured point and to calculate the normal vector of the calculated plane. That is, a normal vector of a plane formed by the ground can be used to calculate the inclination of the ground. At this time, as shown in Fig. 3A, when at least three point lasers are used to photograph the slope of the ground, at least three laser points are recognized in the photographed image, and the distance measured from each point and The normal vector of the plane corresponding to the paper surface can be calculated by calculating the three-dimensional equation of the plane corresponding to the paper surface using the position of the laser point.
또한, 도 3(b)에 도시된 바와 같이, 적어도 2개의 라인 레이저를 이용하여 지면의 경사를 촬영한 경우, 상술한 방법과 유사하게, 촬영된 영상에서 적어도 2개의 레이저 라인을 인식하고, 라인 상의 적어도 3개의 임의의 지점으로부터 거리와 해당 위치를 이용하여 지면에 대응하는 평면 3차원 방정식을 연산함으로써, 지면에 대응하는 평면의 법선 벡터를 산출할 수 있다. 3 (b), when at least two line lasers are used to photograph the inclination of the ground, at least two laser lines are recognized from the photographed image, The normal vector of the plane corresponding to the ground can be calculated by calculating the plane three-dimensional equation corresponding to the ground using the distance and the corresponding position from at least three arbitrary points on the ground.
다음으로, 산출된 지면의 경사를 기초로 수중 로봇이 지면에 대하여 수직한 방향에서 촬영하도록 수중 로봇의 자세를 조정할 수 있다(단계 S704). 즉, 수중 로봇이 지면에 대한 수직 방향으로 향하도록 그 자세를 변경시킬 수 있다. 예를 들면, 모자이킹 영상 획득을 위한 고정밀 광학 스틸 카메라의 방향 벡터와 산출된 법선 벡터가 평행하게 되도록 수중 로봇의 자세를 변경할 수 있다. 이 때, 수중 로봇의 자세 조정은 수중 로봇의 팬 또는 틸트를 조정함으로써 수행될 수 있다.Next, the posture of the underwater robot can be adjusted so that the underwater robot can take a picture in a direction perpendicular to the ground, based on the calculated inclination of the ground (step S704). That is, the posture of the underwater robot can be changed so as to be directed to the vertical direction with respect to the ground. For example, the attitude of the underwater robot can be changed so that the direction vector of the high-precision optical still camera for acquiring the mosaic image and the calculated normal vector are parallel to each other. At this time, the posture adjustment of the underwater robot can be performed by adjusting the panning or tilting of the underwater robot.
다음으로, 도 5의 단계 S504로 진행하여, 모자이크용 정지 영상을 촬영할 수 있다. 즉, 다시 도 5를 참조하면, 도 7과 같이 지면의 경사에 따라 수중 로봇의 자세를 조정한 다음, 또는 단계 S502의 판단 결과, 지면 경사가 변경되지 않았다고 판단한 경우에는, 지면에 대하여 수직한 방향에서 모자이크용 정지 영상을 촬영할 수 있다(단계 S504). 이 때, 지면에 대한 정지 영상의 촬영은 광학 방식을 이용하며, 예를 들면, 고정밀 광학 스틸 카메라를 이용하여 촬영할 수 있다. 이와 동시에 획득된 영상의 시인성을 증가시키기 위해 지면으로 광을 조사할 수 있다. Next, the process proceeds to step S504 in Fig. 5, and a still image for mosaic can be taken. 5, after adjusting the posture of the robot in accordance with the inclination of the ground as shown in FIG. 7 or when it is determined in step S502 that the ground inclination has not changed, the direction perpendicular to the ground A still image for mosaic can be taken (step S504). At this time, the photographing of the still image with respect to the ground surface is performed by using an optical system, and for example, it can be photographed using a high-precision optical still camera. At the same time, light can be irradiated to the ground to increase the visibility of the acquired image.
다음으로, 촬영이 완료되었는지를 판단하여(단계 S505), 촬영이 완료되었다고 판단한 경우에는 수중 영상 모자이킹을 위한 영상 획득을 종료한다. 단계 S505의 판단 결과, 촬영이 완료되지 않았다고 판단한 경우에는, 단계 S501로 이동하여 다음 촬영 위치로 스캔 경로를 따라 이동하여 단계 S502 내지 단계 S504의 지면에 수직한 방향에서 지면의 정지 영상의 촬영을 반복적으로 수행할 수 있다. 이와 같이, 지면의 정지 영상을 촬영 후, 스캔 경로를 따라 다음 위치로 이동한 다음, 지면의 경사의 변화에 따라 수중 로봇의 자세를 조정 한, 후 정지 영상을 촬영하는 동작을 스캔 경로를 따라 반복적으로 수행할 수 있다.Next, it is determined whether the photographing is completed (step S505). If it is determined that the photographing is completed, the image capturing for underwater image mosaicking is terminated. If it is determined in step S505 that the shooting has not been completed, the process moves to step S501 and moves along the scan path to the next shooting position to repeatedly shoot still images on the ground in the direction perpendicular to the paper of steps S502 to S504 . ≪ / RTI > In this manner, after the still image on the ground is photographed, it is moved to the next position along the scan path, and then the posture still image obtained by adjusting the posture of the underwater robot in accordance with the change of the inclination of the ground is repeated . ≪ / RTI >
이와 같은 방법에 의해 본 발명의 실시예에 따른 실시간 수중 초음파 영상 생성 방법은 수중 영상의 모자이킹을 위한 스캔시 수중 로봇의 회전 없이 동일한 조건에서 수중 영상을 획득함으로써 수중 모자이킹의 결과 영상의 품질을 향상시킬 수 있을 뿐만 아니라, 촬영 대상 지면의 경사도에 상관없이 실제 형상과 유사한 수중 영상을 획득함으로써, 수중 모자이킹의 결과 영상의 정확도를 향상시킬 수 있다. In this way, the real-time underwater ultrasound image generation method according to the embodiment of the present invention obtains the underwater image in the same condition without the rotation of the underwater robot during the scan for underwater image mosaicing, It is possible to improve the accuracy of the resultant image of underwater mosaic by acquiring an underwater image similar to the actual shape regardless of the inclination of the ground of the photographing target.
상기와 같은 방법들은 도 1에 도시된 바와 같은 수중 영상을 모자이킹하기 위한 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. Such methods may be implemented by an
이 때, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. For example, ROM, RAM, CD-ROM, DVD-ROM, DVD- , A floppy disk, a hard disk, an optical data storage device, or the like.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
100 : 수중 영상을 모자이킹하기 위한 장치
110 : 지면 촬영부 112 : 제 1 영상 획득부
114 : 광원부 120 : 경사 촬영부
122 : 제 2 영상 획득부 124 : 레이저 발생부
130 : 경사 산출부 140 : 제어부
150 : 구동부 100: Device for mosaicking underwater images
110: ground photographing unit 112: first image obtaining unit
114: light source part 120: inclined photographing part
122: second image acquisition unit 124: laser generation unit
130: slope calculation unit 140:
150:
Claims (26)
수중 영상을 모자이킹하기 위한 스캔 경로를 따라 수중 로봇을 촬영시 광원의 위치가 변경되지 않도록 전진, 후진 또는 측면 중 어느 하나의 방향으로 직선으로만 이동시키는 단계;
상기 지면을 향하여 적어도 2개의 라인 레이저를 발광하면서 상기 라인 레이저의 위치에 따라 촬영 대상 지면의 경사가 변경되는지를 판단하는 단계;
상기 지면의 경사가 변경되면, 경사가 변경된 상기 지면에 대응하는 평면 3차원 방정식을 연산하며, 상기 연산된 평면의 법선 벡터를 산출하고, 상기 수중 로봇이 경사가 변경된 상기 지면에 대하여 수직한 방향에서 촬영하도록 하기 위해 촬영을 위한 카메라의 방향 벡터와 상기 법선 벡터가 평행하게 되도록 상기 수중 로봇의 자세를 조정하는 단계; 및
상기 지면에 대하여 수직한 방향에서 모자이크용 정지 영상을 촬영하는 단계를 포함하는, 수중 영상을 모자이킹하기 위한 방법.A method for mosaicking a submerged image in which an underwater robot moves zigzag to a ground in order to obtain a still image for underwater image mosaicking,
Moving only a straight line in a direction of forward, backward, or side so that the position of the light source is not changed when the underwater robot is photographed along the scan path for mosaicing the underwater image;
Determining whether a slope of a photographing target floor changes according to a position of the line laser while emitting at least two line lasers toward the ground;
Calculating a normal vector of the calculated plane by calculating a planar three-dimensional equation corresponding to the ground on which the tilt is changed when the tilt of the ground is changed, and calculating a normal vector of the calculated plane from the direction perpendicular to the ground on which the tilt is changed Adjusting the posture of the underwater robot so that the direction vector of the camera for photographing and the normal vector are parallel to each other for photographing; And
And photographing a still image for mosaic in a direction perpendicular to the ground surface.
상기 이동시키는 단계는,
상기 스캔 경로를 따라 상기 수중 로봇을 전진 또는 후진 이동시키는 단계;
상기 수중 로봇의 진행 방향이 회전하여 변경될지를 판단하는 단계; 및
상기 수중 로봇의 진행 방향이 회전하여 변경될 경우, 상기 수중 로봇을 회전시키지 않고 회전 방향으로 측면 이동시키는 단계를 포함하는, 수중 영상을 모자이킹하기 위한 방법. The method according to claim 1,
Wherein the moving comprises:
Moving the robot underwater forward or backward along the scan path;
Determining whether the traveling direction of the underwater robot is rotated and changed; And
And moving the side robot in the rotational direction without rotating the underwater robot when the traveling direction of the underwater robot is changed by rotation.
상기 판단하는 단계는,
상기 지면을 향하여 상기 적어도 2개의 라인 레이저를 발광하면서 상기 지면을 촬영하는 단계; 및
상기 촬영된 영상에서의 상기 라인 레이저의 위치의 변화에 따라 지면의 경사여부를 판별하는 단계를 포함하는, 수중 영상을 모자이킹하기 위한 방법. The method according to claim 1,
Wherein the determining step comprises:
Photographing the ground while emitting the at least two line lasers toward the ground; And
And determining whether the ground surface is inclined according to a change in the position of the line laser in the photographed image.
상기 자세를 조정하는 단계는,
상기 촬영된 영상에서의 상기 라인 레이저의 위치에 따라 각 지점의 거리를 측정하는 단계;
상기 측정된 거리에 따라 지면에 대한 경사를 산출하는 단계; 및
상기 수중 로봇이 지면의 경사에 대한 수직 방향으로 향하도록 그 자세를 변경하는 단계를 포함하는, 수중 영상을 모자이킹하기 위한 방법. 5. The method of claim 4,
The step of adjusting the posture includes:
Measuring a distance of each point according to a position of the line laser in the photographed image;
Calculating a slope with respect to the ground according to the measured distance; And
And changing the posture such that the underwater robot is directed in a direction perpendicular to the tilt of the ground.
상기 산출하는 단계는 상기 측정된 각 지점의 거리에 따라 상기 평면 3차원 방정식을 연산하고, 상기 연산된 평면의 상기 법선 벡터를 산출하는, 수중 영상을 모자이킹하기 위한 방법. The method according to claim 6,
Wherein the calculating step calculates the planar three-dimensional equation according to the measured distance of each point and calculates the normal vector of the calculated plane.
상기 정지 영상을 촬영하는 단계는 고정밀 광학 스틸 카메라를 이용하여 촬영하는, 수중 영상을 모자이킹하기 위한 방법. The method according to claim 1,
Wherein the photographing of the still image is performed using a high-precision optical still camera.
상기 지면을 촬영하는 단계는 광학 동영상 카메라를 이용하여 촬영하는, 수중 영상을 모자이킹하기 위한 방법. 5. The method of claim 4,
Wherein the photographing of the ground is performed using an optical moving picture camera.
상기 자세를 조정하는 단계는 상기 수중 로봇의 팬(pan) 또는 틸트(tilt)를 조정하는, 수중 영상을 모자이킹하기 위한 방법. The method according to claim 1,
Wherein adjusting the posture adjusts the pan or tilt of the underwater robot.
상기 지면에 대한 수직한 방향에서 모자이크용 정지 영상을 촬영하는 지면 촬영부;
상기 지면을 향하여 적어도 2개의 라인 레이저를 발광하면서 촬영 대상 지면의 경사를 촬영하는 경사 촬영부;
상기 경사 촬영부로부터 촬영된 영상을 기초로 상기 라인 레이저의 위치에 따라 상기 지면의 경사를 산출하고, 상기 지면의 경사가 변경되면, 경사가 변경된 상기 지면에 대응하는 평면 3차원 방정식을 연산하며, 상기 연산된 평면의 법선 벡터를 산출하는 경사 산출부;
수중 영상을 모자이킹하기 위한 스캔 경로를 따라 상기 수중 로봇을 촬영시 상기 지면 촬영부의 광원의 위치가 변경되지 않도록 전진, 후진 또는 측면 중 어느 하나의 방향으로 직선으로만 이동하도록 제어하고, 상기 지면 촬영부가 경사가 변경된 상기 지면에 대하여 수직한 방향에서 촬영하도록 하기 위해 상기 지면 촬영부의 방향 벡터와 상기 법선 벡터가 평행하게 되도록 상기 수중 로봇의 자세를 제어하는 제어부; 및
상기 제어부의 제어에 따라 수중 로봇이 스캔 경로를 따라 이동하고, 그 자세를 조정하도록 구동하는 구동부를 포함하는, 수중 영상을 모자이킹하기 위한 장치.An apparatus for mosaicking an underwater image included in an underwater robot moving zigzag underwater to obtain a still image for underwater image mosaicking,
A ground photographing unit for photographing a mosaic still image in a direction perpendicular to the ground;
A tilt photographing unit photographing a tilt of the photographing target while emitting at least two line lasers toward the ground;
Calculating a slope of the ground according to a position of the line laser based on the image photographed by the slant photographing unit, calculating a planar three-dimensional equation corresponding to the ground whose slope is changed when the slope of the ground changes, A slope calculating unit for calculating a normal vector of the calculated plane;
And controls the robot to move only in a straight line in any one of the forward, backward, and side directions so that the position of the light source of the ground photographing unit is not changed when the underwater robot is photographed along the scan path for mosaicing the underwater image, A control unit for controlling the posture of the underwater robot such that the direction vector of the ground photographing unit and the normal vector are parallel so as to photograph in a direction perpendicular to the ground on which the additionally inclined is changed; And
And a driving unit for driving the underwater robot to move along the scan path under the control of the control unit and to adjust the posture thereof.
상기 지면 촬영부는,
지면에 대한 정지 영상을 획득하는 제 1 영상 획득부; 및
상기 정지 영상의 획득이 용이하도록 상기 지면으로 광을 조사하는 광원부를 포함하는, 수중 영상을 모자이킹하기 위한 장치.14. The method of claim 13,
The ground-
A first image acquiring unit acquiring a still image with respect to the ground; And
And a light source unit for irradiating light to the ground so as to facilitate the acquisition of the still image.
상기 경사 촬영부는,
지면에 대한 경사를 촬영하는 제 2 영상 획득부; 및
상기 지면을 향하여 발광하는 라인 레이저를 발생하는 적어도 2개의 레이저를 포함하는 레이저 발생부를 포함하는, 수중 영상을 모자이킹하기 위한 장치.14. The method of claim 13,
The tilting-
A second image acquiring unit for acquiring an image of a slope with respect to the ground; And
And a laser generation unit including at least two lasers generating a line laser emitting light toward the paper.
상기 제 1 영상 획득부는 고정밀 광학 스틸 카메라인, 수중 영상을 모자이킹하기 위한 장치.15. The method of claim 14,
Wherein the first image acquiring unit is a high-precision optical still camera, for mosaicing an underwater image.
상기 제 2 영상 획득부는 광학 동영상 카메라인, 수중 영상을 모자이킹하기 위한 장치.16. The method of claim 15,
Wherein the second image acquiring unit is an optical moving image camera.
상기 제어부는 상기 수중 로봇의 진행 방향이 회전하여 변경될지를 판단하여 진행 방향이 회전 변경될 경우, 상기 수중 로봇을 회전시키지 않고 회전방향으로 측면 이동하도록 제어하는, 수중 영상을 모자이킹하기 위한 장치.14. The method of claim 13,
Wherein the control unit determines that the traveling direction of the submersible robot is to be changed by rotating and controls the submersible to move laterally in the rotating direction without rotating the submersible robot when the traveling direction is changed.
상기 경사 산출부는 상기 경사 촬영부에서 촬영된 영상에서의 상기 라인 레이저의 위치의 변화에 따라 지면의 경사여부를 판단하는, 수중 영상을 모자이킹하기 위한 장치.16. The method of claim 15,
Wherein the inclination calculating unit determines whether the ground surface is inclined according to a change in the position of the line laser in the image photographed by the inclination photographing unit.
상기 경사 산출부는 상기 경사 촬영부에서 촬영된 영상에서의 상기 라인 레이저의 위치에 따라 각 지점의 거리를 측정하고, 상기 측정된 거리에 따라 지면에 대한 경사를 산출하는, 수중 영상을 모자이킹하기 위한 장치.16. The method of claim 15,
Wherein the slope calculating unit measures the distance between each point according to the position of the line laser in the image photographed by the slant photographing unit and calculates a slope with respect to the ground according to the measured distance, Device.
상기 경사 산출부는 상기 측정된 각 지점의 거리에 따라 상기 평면 3차원 방정식을 연산하고, 상기 연산된 평면의 상기 법선 벡터를 산출하는, 수중 영상을 모자이킹하기 위한 장치.23. The method of claim 22,
Wherein the slope calculating unit calculates the plane 3D equation according to the measured distance of each point and calculates the normal vector of the calculated plane.
상기 제어부는 상기 수중 로봇의 팬 또는 틸트를 조정하는, 수중 영상을 모자이킹하기 위한 장치.14. The method of claim 13,
Wherein the controller controls the panning or tilting of the underwater robot.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140081843A KR101587352B1 (en) | 2014-07-01 | 2014-07-01 | Method and device for mosaicking underwater image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140081843A KR101587352B1 (en) | 2014-07-01 | 2014-07-01 | Method and device for mosaicking underwater image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160003954A KR20160003954A (en) | 2016-01-12 |
KR101587352B1 true KR101587352B1 (en) | 2016-01-21 |
Family
ID=55169978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140081843A KR101587352B1 (en) | 2014-07-01 | 2014-07-01 | Method and device for mosaicking underwater image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101587352B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004037440A (en) | 2002-06-29 | 2004-02-05 | Samsung Electronics Co Ltd | Locating system and method using laser |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4644540B2 (en) * | 2005-06-28 | 2011-03-02 | 富士通株式会社 | Imaging device |
KR101381218B1 (en) * | 2012-08-10 | 2014-04-02 | 삼성중공업 주식회사 | Apparartus and method for generating an around view of a remotely operated vehicle |
-
2014
- 2014-07-01 KR KR1020140081843A patent/KR101587352B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004037440A (en) | 2002-06-29 | 2004-02-05 | Samsung Electronics Co Ltd | Locating system and method using laser |
Also Published As
Publication number | Publication date |
---|---|
KR20160003954A (en) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9322646B2 (en) | Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning | |
EP2839238B1 (en) | 3d scanner using merged partial images | |
JP4734552B2 (en) | Method and apparatus for measuring three-dimensional shape of road surface | |
ES2693785T3 (en) | Procedure and disposition to develop a three-dimensional model of an environment | |
JP5593177B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
JP6940843B2 (en) | Underwater observation system | |
CN109709574B (en) | Seabed microtopography laser scanning imaging system and three-dimensional terrain reconstruction method | |
JP6296206B2 (en) | Shape measuring apparatus and shape measuring method | |
JP5989719B2 (en) | Shallow water observation system | |
KR20180052045A (en) | 3D laser scanning system using the laser scanner capable of tracking dynamic position in real time | |
JP2012533222A (en) | Image-based surface tracking | |
JP2007278845A (en) | Image processing apparatus and its processing method | |
CN103873751A (en) | Three-dimensional panoramic scanning device and three-dimensional module generating method | |
JP2007078476A (en) | Object location detection device, method, and program, mapping system, and autonomous transfer equipment | |
JP6823482B2 (en) | 3D position measurement system, 3D position measurement method, and measurement module | |
CN105716581B (en) | Underwater object point coordinate determination method and device based on double medium camera works | |
JP6713847B2 (en) | Surveying system | |
JP7339629B2 (en) | Spatial curve co-locating projection system using multiple laser galvo scanners and method thereof | |
CN103167232A (en) | Photographic device, picture synthesis device and image processing method | |
KR102186733B1 (en) | 3D modeling method for undersea topography | |
KR102372446B1 (en) | Method for water level measurement and obtaining 3D water surface spatial information using unmanned aerial vehicle and virtual water control points | |
KR101587352B1 (en) | Method and device for mosaicking underwater image | |
Sardemann et al. | Accuracy analysis of an oblique underwater laser lightsheet triangulation system | |
JP6485616B2 (en) | Appearance measurement system, image processing method, and program | |
CN110208817A (en) | A kind of exhaustive scan method suitable for submarine target bluish-green laser Range-gated Imager |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200113 Year of fee payment: 5 |