KR101694890B1 - Image processing system and method using 2D images from multiple points - Google Patents
Image processing system and method using 2D images from multiple points Download PDFInfo
- Publication number
- KR101694890B1 KR101694890B1 KR1020160037719A KR20160037719A KR101694890B1 KR 101694890 B1 KR101694890 B1 KR 101694890B1 KR 1020160037719 A KR1020160037719 A KR 1020160037719A KR 20160037719 A KR20160037719 A KR 20160037719A KR 101694890 B1 KR101694890 B1 KR 101694890B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- camera
- block
- distance information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 title claims description 56
- 238000001514 detection method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000010881 fly ash Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G06T5/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 카메라를 통해 촬영된 다시점 이차원 영상을 활용한 영상처리 시스템 및 방법에 대한 것이다.The present invention relates to an image processing system and method using a two-dimensional multi-view image captured through a camera.
영상 촬영 수단인 카메라는 실생활 뿐만 아니라 여러 산업 분야에서 널리 사용되고 있으며, 특히 산업 설비 내부 상태를 확인하고 감시하는 용도로 사용되고 있다.The camera, which is a means of photographing, is widely used not only in real life but also in various industrial fields. In particular, it is used for checking and monitoring the internal state of an industrial facility.
이와 관련하여 일예를 들면, 화력발전소 설비로서 전력을 생산하는 보일러 내부 상태를 감시하기 위한 용도로 카메라가 사용된다.In this connection, for example, a camera is used to monitor the internal state of a boiler, which generates electric power as a thermal power plant facility.
이와 관련하여, 화력발전소는 석탄과 같은 원료를 연소시켜 보일러를 가열하여 전력을 생산하게 되는데, 연소후 생성된 석탄회와 같은 이물이 보일러 내의 튜브 등에 부착되고 성장하여 클링커나 슬래그와 같은 부착물이 생성된다.In this regard, a thermal power plant burns raw materials such as coal to produce electricity by heating the boiler. Foreign matter such as fly ash produced after combustion is adhered to a tube or the like in a boiler, and deposits such as clinker and slag are produced .
부착물은 보일러의 열효율을 저하시키고 또한 부착물이 떨어져 낙하하는 경우에 보일러의 부품 손상을 유발하게 된다. 이에 따라, 보일러 내부 상태를 감시하기 위한 방편으로 카메라가 사용된다. Attachment reduces the thermal efficiency of the boiler and also causes component damage of the boiler in the event of the attachment falling off. Accordingly, a camera is used as a means for monitoring the internal state of the boiler.
그런데, 기존에는 단순히 카메라가 보일러 내부로 인입되어 내부 상태를 촬영하고 촬영된 영상을 모니터를 통해 확인하는 정도에 머물고 있다.However, in the past, the camera has simply been drawn into the boiler, shooting the internal state, and checking the captured image through the monitor.
이에 따라, 관리자는 단지 카메라를 통해 촬영된 2차원의 평면 영상 즉 2D 영상을 통해 보일러 내부 상태를 대략적으로 확인할 수 밖에 없고, 보일러 내부 부착물의 부착 정도를 정량적으로 측정할 수 없다.Accordingly, the manager can only roughly check the internal state of the boiler through the 2D image obtained through the camera, that is, the 2D image, and can not quantitatively measure the degree of attachment of the attachment inside the boiler.
이처럼, 기존에는 카메라를 통해 설비 내부 상태를 정확하게 확인하고 감시하는 것에 한계가 있다.As such, there is a limitation in accurately detecting and monitoring the internal state of the facility through the camera.
본 발명은 카메라를 통해 촬영된 영상을 처리하여 촬영 대상의 상태를 보다 정확하게 확인할 수 있는 방안을 제공하는 것에 과제가 있다.Disclosure of Invention Technical Problem [8] The present invention provides a method for processing an image photographed through a camera to more accurately confirm the state of an object to be photographed.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은 일방향으로 이동하면서 연속적으로 촬영하는 카메라를 사용한 다시점 2D 영상에 대해 렉티피케이션(rectification) 및 스테레오 정합(stereo matching)을 수행하여 상기 카메라 기준의 실제 거리 정보를 산출하고, 상기 실제 거리 정보를 기반으로 상기 2D 영상 내 객체 볼륨(volume)을 측정하는 영상처리블럭을 포함하는 영상처리장치를 포함하는 영상처리 시스템을 제공한다.According to an aspect of the present invention, there is provided a method of performing stereoscopic image matching by performing rectification and stereo matching on a multi-view 2D image using a camera that continuously photographs while moving in one direction, And an image processing block for calculating actual distance information and measuring an object volume in the 2D image based on the actual distance information.
여기서, 상기 영상처리블럭은 상기 다시점 2D 영상을 이어붙여 파노라마 영상을 생성하고, 상기 실제 거리 정보를 상기 파노라마 영상에 결합하여 3D 시각화 영상을 생성할 수 있다.Here, the image processing block may generate a 3D visualized image by connecting the multi-view 2D image to generate a panoramic image, and combining the actual distance information with the panoramic image.
상기 영상처리장치는, 상기 카메라에서 전송된 다시점 2D 영상을 보정하는 전처리블럭과; 상기 전처리블럭에서 보정된 2D 영상 내 객체를 검출하는 객체검출블럭을 포함할 수 있다.The image processing apparatus includes a preprocessing block for correcting the multi-view 2D image transmitted from the camera; And an object detection block for detecting an object in the 2D image corrected in the preprocessing block.
상기 영상처리블럭은, 상기 객체검출블럭에서 검출된 객체의 에지를 기반으로 객체 볼륨을 측정할 수 있다.The image processing block may measure an object volume based on an edge of the object detected in the object detection block.
다른 측면에서, 본 발명은 영상처리장치에서, 일방향으로 이동하면서 연속적으로 촬영하는 카메라를 사용한 다시점 2D 영상에 대해 렉티피케이션(rectification) 및 스테레오 정합(stereo matching)을 수행하여 상기 카메라 기준의 실제 거리 정보를 산출하고, 상기 실제 거리 정보를 기반으로 상기 2D 영상 내 객체 볼륨(volume)을 측정하는 영상처리 단계를 포함하는 영상처리 방법을 제공한다.In another aspect, the present invention provides an image processing apparatus that performs rectification and stereo matching on a multi-view 2D image using a camera that continuously captures images while moving in one direction, And an image processing step of calculating distance information and measuring an object volume in the 2D image based on the actual distance information.
여기서, 상기 영상처리 단계는, 상기 다시점 2D 영상을 이어붙여 파노라마 영상을 생성하고 상기 실제 거리 정보를 상기 파노라마 영상에 결합하여 3D 시각화 영상을 생성하는 과정을 포함할 수 있다.The image processing step may include generating a panoramic image by pasting the multi-view 2D image and combining the actual distance information with the panoramic image to generate a 3D visualized image.
상기 영상처리장치에서, 상기 카메라에서 전송된 다시점 2D 영상을 보정하는 전처리 단계와; 상기 영상처리장치에서, 상기 전처리블럭에서 보정된 2D 영상 내 객체를 검출하는 객체검출 단계를 포함할 수 있다.A preprocessing step of correcting the multi-view 2D image transmitted from the camera in the image processing apparatus; And an object detection step of detecting an object in the 2D image corrected in the preprocessing block in the image processing apparatus.
상기 영상처리 단계는, 상기 객체검출 단계에서 검출된 객체의 에지를 기반으로 객체 볼륨을 측정하는 과정을 포함할 수 있다.The image processing step may include a step of measuring an object volume based on an edge of the object detected in the object detection step.
또 다른 측면에서, 본 발명은 상기 영상처리 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공한다.In another aspect, the present invention provides a computer-readable recording medium on which a program for performing the image processing method is recorded.
본 발명에 따르면, 단일의 카메라를 사용하여 연속적으로 촬영된 2D 영상을 처리하여 입체감을 갖는 3D 시각화 영상을 생성할 수 있고 또한 스테레오기반의 볼륨 측정을 수행할 수 있다.According to the present invention, it is possible to process a 2D image continuously photographed using a single camera to generate a 3D visualized image having a three-dimensional effect, and to perform stereo-based volume measurement.
이에 따라, 산업 설비 내부 상태를 입체적으로 확인하고 특정 물체의 볼륨을 정량적으로 확인할 수 있게 되어, 산업 설비 내부 상태를 실제와 같이 정확하고 현실감 있게 확인하고 감시할 수 있다.As a result, it is possible to check the internal state of the industrial facility in a three-dimensional manner and to quantitatively confirm the volume of a specific object, so that the internal state of the industrial facility can be accurately and realistically confirmed and monitored.
도 1은 본 발명의 실시예에 따른 영상처리 시스템을 개략적으로 도시한 블럭도.
도 2는 본 발명의 실시예에 따른 영상처리장치의 동작 과정을 도시한 도면.
도 3은 본 발명의 실시예에 따른 영상 렉티피이션의 예를 도시한 도면.
도 4는 본 발명의 실시예에 따른 스테레오 정합의 예를 도시한 도면.
도 5는 본 발명의 실시예에 따른 스테레오기반 볼륨 측정의 예를 도시한 도면.
도 6은 본 발명의 실시예에 따른 3D 시각화의 예를 도시한 도면.
도 7은 본 발명의 실시예에 따른 에지기반 볼륨 측정의 예를 도시한 도면.1 is a block diagram schematically illustrating an image processing system according to an embodiment of the present invention.
BACKGROUND OF THE
3 is a diagram showing an example of image registration according to an embodiment of the present invention.
4 is a diagram illustrating an example of stereo matching according to an embodiment of the present invention.
5 illustrates an example of stereo based volume measurement in accordance with an embodiment of the present invention.
Figure 6 illustrates an example of 3D visualization in accordance with an embodiment of the present invention.
7 illustrates an example of edge-based volume measurement according to an embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
본 발명에서는 카메라를 통해 촬영된 다시점 2D 영상을 기초로 입체감이 부여된 3D 시각화 영상을 구현하고 또한 영상 내 특정 객체의 실제 볼륨(volume)을 측정하여 정량화 할 수 있는 영상처리 시스템을 제공한다. 이에 따라, 산업 설비 내부 상태를 실제와 같이 정확하게 현실감 있게 확인하고 감시할 수 있게 된다.According to the present invention, there is provided an image processing system capable of implementing a 3D visualization image having a three-dimensional sense based on a multi-view 2D image photographed through a camera, and measuring and quantifying a real volume of a specific object in the image. As a result, it is possible to accurately and realistically check and monitor the internal state of the industrial facility.
나아가, 본 발명의 영상처리 시스템은 산업 기술 분야 외에 실생활 분야 등 다양한 분야에도 요긴하게 적용될 수 있다.Furthermore, the image processing system of the present invention can be applied to various fields such as a real life field besides industrial technology field.
이하의 실시예에서는, 설명의 편의를 위해, 화력발전소 설비인 보일러 내부 상태를 확인하고 감시하는 용도로 적용된 영상처리 시스템을 예로 든다.In the following embodiments, for the sake of convenience of description, an image processing system applied for the purpose of checking and monitoring the internal state of the boiler, which is a thermal power plant, is taken as an example.
도 1은 본 발명의 실시예에 따른 영상처리 시스템을 개략적으로 도시한 블럭도로서, 화력발전소 보일러 내부 상태를 확인하고 감시하기 위해 사용되는 경우의 영상처리 시스템을 도시한 도면이다.FIG. 1 is a block diagram schematically illustrating an image processing system according to an embodiment of the present invention. FIG. 1 is a diagram illustrating an image processing system used for checking and monitoring the internal state of a boiler of a thermal power plant.
도 1을 참조하면, 본 발명의 실시예에 따른 영상처리 시스템은 카메라(100)와, 영상처리장치(200)와, 모니터(300)를 포함할 수 있다. Referring to FIG. 1, an image processing system according to an embodiment of the present invention may include a
카메라(100)는 화력발전소의 보일러(50) 내부를 촬영하여 평면 영상인 2D 영상을 발생시킨다.The
여기서, 보일러(50) 내부에는 다수의 보일러튜브(51)가 구비되며, 카메라(100)는 일축 방향으로 연장된 형태를 갖는 이동체(70)에 고정된 상태로 이동체(70)의 연장 방향을 따라 이동하면서 촬영할 수 있다. 이와 같이 일축 방향으로 이동하는 이동체(70)에 카메라(100)가 부착되어 영상을 촬영하는 구성은 장축 카메라 시스템이라고 칭하여 지기도 한다. A plurality of
한편, 카메라(100)의 촬영 방향과 관련하여, 도면상의 지면에 수직한 방향으로서 보일러튜브(51)의 길이 방향을 Z축이라고 하고 이동체(70)의 길이방향 즉 장축방향을 Y축이라고 할 때, 카메라(100)는 이동체(70)의 측방을 향해 설치되어 X축 방향으로 촬영을 수행할 수 있다. 즉, 카메라(100)는 보일러튜브(51)의 외벽을 촬영할 수 있도록 배치된다.On the other hand, when the longitudinal direction of the
카메라(100)는 이동체(70)의 장축방향 이동에 따라 연속적으로 촬영을 수행하여 촬영 위치가 서로 다른 프레임 단위의 다시점 2D 영상들 즉 프레임 영상들이 생성될 수 있게 되고, 이와 같이 생성된 다시점 2D 영상은 영상처리장치(200)로 전송된다. 이때, 연속하는(즉 이웃한) 2개의 촬영 지점에서의 카메라 촬영 범위는 일부 중첩되어, 연속하는 2개의 2D 영상은 일부 영역이 중첩된다.The
한편, 보일러 내부 전체 상태 촬영을 위해, 이동체(70)가 보일러(50) 내부 방향으로 이동하는 과정에서는 카메라(100)는 이동체(70)의 일측(예를 들어 우측)을 촬영하고, 이동체(70)가 보일러(50) 외부 방향으로 이동하는 과정에서는 카메라(100)는 이동체(70)의 타측(예를 들어 좌측)을 촬영하도록 동작할 수 있다. 이를 위해, 이동체(70)는 그 장축방향을 기준으로 좌우로 회전 가능하도록 동작할 수 있게 되며, 이에 따라 카메라(100)는 이동체(70)의 이동 방향 변환에 따라 촬영 범위가 반대 방향으로 변환될 수 있다.The
영상처리장치(200)는 카메라(100)에 의해 촬영된 다시점 2D 영상들을 전송받고 이를 처리하여 3D 시각화(visualization) 영상을 생성할 수 있으며, 또한 영상 내 부착물 등의 객체에 대한 볼륨(volume)을 측정하도록 동작할 수 있다. The
이를 위해, 영상처리장치(200)는 전처리블럭(210)과, 객체검출블럭(220)과, 영상처리블럭(230)을 구비할 수 있다. 여기서, 전처리블럭(210)과, 객체검출블럭(220)과, 영상처리블럭(230) 중 적어도 하나는 소프트웨어로 구현되거나 소프트웨어 및 하드웨어로 구현될 수 있다. 전처리블럭(210)과, 개체검출블럭(220)과, 영상처리블럭(230)에서의 구체적인 동작 과정에 대해서는 이하에서 보다 상세하게 설명한다.For this, the
한편, 영상처리장치(200)로서는 컴퓨터와 같이 연산처리를 수행하는 연산장치가 사용될 수 있다.On the other hand, as the
영상처리장치(200)의 영상처리 결과물로서 3D 시각화 영상이나 볼륨 측정 결과는 모니터(300)로 전송되어 표시될 수 있다. 이에 따라, 관리자는 보일러 내부 상태를 입체적으로 확인할 수 있고, 또한 보일러튜브(51)의 부착물과 같은 특정 객체의 체적을 정량적으로 확인할 수 있다. 따라서, 보일러 내부 상태를 손쉽고 정확하게 확인하고 감시할 수 있게 된다.A 3D visualization image or a volume measurement result as an image processing result of the
이하, 도 2를 더 참조하여 본 발명의 실시예에 따른 영상처리장치(200)에서의 동작을 보다 상세하게 설명한다. 도 2는 본 발명의 실시예에 따른 영상처리장치의 동작 과정을 도시한 도면으로서, 전처리블럭과 객체검출블럭과 영상처리블럭에서의 구체적인 동작 과정을 도시한 도면이다.Hereinafter, the operation of the
도 2를 참조하면, 전처리블럭(210)은 카메라(100)에서 전송되어 입력된 다시점 2D 영상들 각각에 대해 전처리 동작 즉 영상 보정을 수행할 수 있다.Referring to FIG. 2, the
이와 관련하여 예를 들면, 전처리블럭(210)은 비디오 안정화(video stabilization), 영상 왜곡 보정, 디블러링(deblurring) 및 조명 보정(illumination correction)을 수행할 수 있다.In this regard, for example, the
여기서, 비디오 안정화 동작은 카메라(100) 촬영시 움직임에 의한 떨림 현상을 보정하는 것에 해당된다. Here, the video stabilization operation corresponds to correcting the motion blurring phenomenon when the
영상 왜곡 보정 동작은 카메라(100) 특성상 방사왜곡(radial distortion)이나 접속왜곡(tangential distortion) 등이 발생할 수 있는데, 이와 같은 왜곡을 보정하게 된다. 이때, 영상 왜곡 보정은 카메라 캘리브레이션(camera calibration) 과정에 의해 획득된 카메라 내부 파라미터(intrinsic parameter)를 사용하여 수행된다. 한편, 경우에 따라, 카메라 내부 파라미터(intrinsic parameter) 뿐만 아니라 카메라 외부 파라미터(extrinsic parameter)를 함께 사용하여 영상 왜곡 보정이 수행될 수 있다.The image distortion correction operation may cause radial distortion or tangential distortion due to the characteristic of the
디블러링은 노이즈 제거 동작으로서 먼지 등으로 인한 영상 내 얼룩을 제거하고 영상을 선명하게 하는 과정에 해당된다. 그리고, 조명 보정은 영상 내 컬러 통계 정보를 이용하여 영상의 색상 대조를 더욱 선명하게 하는 과정에 해당된다.De-blurring is a noise canceling operation, which removes blur due to dust or the like and sharpens the image. The illumination correction corresponds to the process of making the color contrast of the image more clear by using the color statistical information in the image.
위와 같은 전처리 과정을 통해 입력된 2D 영상에 대한 보정 처리를 수행할 수 있게 된다. The correction process for the input 2D image can be performed through the above-described preprocessing process.
이와 같이 전처리 과정을 통해 보정된 2D 영상들은 객체검출블럭(220)으로 전달되어 객체검출 과정이 수행될 수 있다. 이와 관련하여 예를 들면, 객체검출블럭(220)은 객체 구역화(object localization)와 객체 추적(object tracking)을 수행할 수 있다.The 2D images corrected through the preprocessing process are transmitted to the
객체 구역화는 특징점을 이용하여 각 2D 영상 내의 객체 예를 들면 보일러 튜브(51)에 부착된 부착물의 위치와 크기(scale)를 검출하는 과정에 해당된다.The object segmentation corresponds to the process of detecting the position and size of an object attached to the
객체 추적은 연속하는 2D 영상들에서 객체를 추적하는 과정에 해당된다. 예를 들면, 연속하는 2D 영상들에서 부착물과 같은 특정 객체를 추적하는 과정이 수행된다.Object tracking is the process of tracking an object in successive 2D images. For example, a process of tracking a specific object such as an attachment in successive 2D images is performed.
위와 같은 객체검출 과정이 수행된 후 프레임 영상들은 영상처리블럭(230)으로 전달되어 3D 시각화 영상을 생성하고, 부착물과 같은 객체에 대한 볼륨을 측정하는 등의 영상처리 과정이 수행될 수 있다. After the object detection process described above is performed, the frame images are transmitted to the
이와 관련하여 예를 들면, 영상처리블럭(230)은 영상 렉티피케이션(image rectification)(또는 uncalibrated rectification) 및 스테레오 정합(stereo matching)과, 스티칭(stitching)을 수행할 수 있다.In this regard, for example, the
먼저, 영상 렉티피케이션 및 스테레오 정합과 관련하여 설명하면, 영상 렉티피케이션은 연속하여 촬영된 2개의 이웃하는 2D 영상 즉 순차 입력된 2개의 프레임 영상의 스테레오 정합을 위한 전단계 과정으로서 에피폴라제한(epipolar contraint) 조건을 이용하게 된다.First, in relation to image registration and stereo matching, an image registration is a pre-stage process for stereo matching of two consecutively photographed two neighboring 2D images, that is, sequential input two frame images, epipolar contraint) conditions.
이와 관련하여 도 3을 참조할 수 있는데, 상부에는 카메라(100)을 이용하여 서로 다른 위치 즉 다른 시점에서 촬영된 2개의 왼쪽 및 오른쪽 영상이 도시되어 있다. 이를 살펴보면, 카메라(100)가 서로 다른 시점에 위치함에 따른 카메라 각도의 차이에 기인하여 2개의 왼쪽 및 오른쪽 영상에서는 서로 대응되는 점 즉 픽셀이 동일한 라인 상에 위치하지 않는 현상이 발생하게 된다. 다시 말하면, 2개의 영상에서의 에피폴라 라인(epipolar line)이 불일치하는 현상이 발생하게 된다.Referring to FIG. 3, two left and right images photographed at different positions, that is, at different points in time, are shown using the
이에 대해, 왼쪽 및 오른쪽 영상의 에피폴라 라인을 서로 일치시키는 과정인 영상 렉티피케이션이 진행된다.On the contrary, the visual reference process, which is a process of matching the epipolar lines of the left and right images to each other, proceeds.
위와 같은 영상 렉티피케이션 수행 후에 스테레오 정합 과정이 수행된다. 스테레오 정합 과정은 서로 다른 위치에서 촬영된 이웃한 2개의 2D 영상에서 3차원 정보 즉 카메라 기준의 거리 정보를 계산하는 과정에 해당된다.A stereo matching process is performed after performing the above-described visual reference. The stereo matching process corresponds to the process of calculating the three-dimensional information, that is, the distance information of the camera reference, from two neighboring 2D images captured at different positions.
이와 관련하여 도 4를 참조하여 설명하면, 이웃한 2개의 2D 영상인 왼쪽 및 오른쪽 영상에서 서로 대응되는 픽셀의 위치 차이를 디스패러티(disparity)라 하는데, 카메라(100)에서 멀리 떨어진 물체는 상대적으로 디스패러티가 작고 가까이에 있는 물체는 디스패러티가 크다.Referring to FIG. 4, the disparity between the positions of the pixels corresponding to each other in the two left and right 2D video images is referred to as disparity. The object far from the
이를 기초로 하여 카메라 초점 거리(f)와 2개의 2D 영상 촬영 지점 사이의 거리(b)를 알면 디스패러티(d)로부터 실제 거리(Z)를 계산할 수 있게 되는데, 즉 Z = (b*f)/d의 수식을 통해 실제 거리 정보를 산출할 수 있게 된다.Based on this, it is possible to calculate the actual distance Z from the disparity d, i.e., Z = (b * f), by knowing the distance b between the camera focal distance f and the two 2D image- the actual distance information can be calculated through the formula of / d.
이와 같이 실제 거리 정보가 산출되면, 실제 거리 정보가 반영된 디스패러티 맵이 생성될 수 있게 된다. 디스패러티 맵에서는, 거리에 따라 계조가 상이하게 표시되는데 예를 들면 가까운 거리인 경우에는 상대적으로 밝은 계조로 표시되고 먼 거리인 경우에는 상대적으로 어두운 계조로 표시될 수 있다.When the actual distance information is calculated in this manner, a disparity map reflecting the actual distance information can be generated. In the disparity map, the gradations are displayed differently depending on the distance. For example, in the case of a close distance, a relatively bright gradation may be displayed. In the case of a long distance, a relatively dark gradation may be displayed.
이와 같은 디스패러티 맵은 연속한 2개의 2D 영상 즉 프레임 영상을 단위로 생성될 수 있는데, 즉 현재 프레임 영상인 n번째 영상과 이전 프레임인 n-1번째 영상에 대한 스테레오 정합을 통해 디스패러티 맵이 생성될 수 있다. 이에 따라, 카메라(100)가 일방향으로 이동하면서 연속된 n개의 프레임 영상을 발생시키는 경우에, n-1개의 디스패러티 맵이 생성될 수 있다.The disparity map can be generated in units of two consecutive 2D images, that is, a frame image. That is, a disparity map is obtained through stereo matching of an n-th image as a current frame image and an n- Lt; / RTI > Accordingly, when the
위와 같은 스테레오 정합 결과를 기초로 하여 영상 내 객체에 대한 볼륨 측정 즉 스테레오기반(stereo-based) 볼륨 측정이 수행될 수 있다. Based on the above-described stereo matching result, a volume measurement for an object in an image, that is, a stereo-based volume measurement, can be performed.
즉, 스테레오 정합을 통해 영상 내 객체에 대한 실제 거리 정보가 측정될 수 있게 되므로, 이 거리 정보를 활용함으로써 부착물과 같은 특정 객체에 대한 볼륨을 측정할 수 있게 된다.That is, since the actual distance information on the object in the image can be measured through the stereo matching, it is possible to measure the volume of a specific object such as an attachment by utilizing the distance information.
이와 관련하여 도 5를 참조할 수 있는데, 보일러튜브(51)에 부착물(60)이 부착된 경우에, 아래 수식에 따라 부착물(60)의 볼륨을 측정할 수 있다. 이때, 보일러튜브(51)에 부착된 부착물(60)은 위치와 관계 없이 균일하다고 가정한다.Referring to FIG. 5, it is possible to measure the volume of the
(여기서, V: 부착물 볼륨, r: 보일러튜브 반경, h: 부착물 높이, zG: 카메라와 보일러튜브의 거리, n: 부착물의 픽셀 개수, zi: 픽셀 i로부터 카메라 사이 거리, di: 픽셀 i의 디스패러티, b: 카메라 촬영 지점의 거리, f: 카메라 초점 거리.)(Where, V: pixel i: deposit volumes, r: boiler tube radius, h: deposit height, z G: between the camera from a pixel i the distance, di: the camera and the boiler the distance tube, n: number of pixels of the deposit, zi Disparity, b: distance of camera shooting point, f: camera focal length.)
위 수식에서 거리 정보에 해당되는 zG와 zi는 스테레오 정합 과정을 통해 산출될 수 있게 된다. 따라서, 스테레오 정합 과정을 통해 산출된 거리 정보를 활용함으로써 스테레오기반의 볼륨 측정이 수행될 수 있게 된다.In the above equation, z G and z i corresponding to the distance information can be calculated through the stereo matching process. Therefore, stereo-based volume measurement can be performed by utilizing the distance information calculated through the stereo matching process.
한편, 본 실시예에서는 스티칭 과정이 스테레오 정합 과정과는 별도로 병렬적으로 수행될 수 있다. 스티칭 과정은 카메라(100)를 통해 연속적으로 촬영된 2D 영상을 이어붙여 단일의 2D 영상인 파노라마 영상을 생성하는 과정에 해당된다. 여기서, 스티칭 과정에 사용되는 영상들로서는 전처리된 2D 영상들이 사용될 수 있다.In the present embodiment, the stitching process may be performed in parallel in addition to the stereo matching process. The stitching process corresponds to a process of creating a panorama image, which is a single 2D image, by connecting a 2D image successively photographed through the
이와 같이 스티칭 과정을 통해 생성된 파노라마 영상에 스테레오 정합을 통해 산출된 거리 정보를 결합하여 3D 시각화 파노라마 영상을 생성할 수 있다. 이처럼, 단일의 카메라(100)를 사용하여 입체감을 갖는 3D 영상을 효과적으로 구현할 수 있게 된다.The 3D visualization panorama image can be generated by combining the distance information calculated through the stereo matching with the panoramic image generated through the stitching process. As described above, it is possible to effectively implement a 3D image having a three-dimensional effect by using a
도 6은 본 발명의 실시예에 따른 3D 시각화의 일예를 도시한 도면으로서, (a)는 3차원 시각화 영상, (b)는 관련 입력영상, (c)는 실시간 정보, (d)는 디스패러티 맵이다.FIG. 6 is a diagram illustrating an example of a 3D visualization according to an embodiment of the present invention, wherein (a) is a three-dimensional visualized image, (b) is a related input image, (c) It is a map.
한편, 영상처리블럭(230)은 스테레오기반의 볼륨 측정 외에 에지기반(edge-based) 볼륨 측정 또한 수행할 수 있다. 이와 관련하여 도 7을 참조할 수 있는데, 보일러튜브에 부착물이 부착된 경우에, 아래 수식에 따라 부착물의 볼륨을 측정할 수 있다. 에지기반 볼륨 측정은 2D 영상을 기초로 수행되므로, 부착물은 보일러튜브의 외주 절반을 덮고 있는 것으로 가정하여 볼륨이 측정될 수 있다.The
(여기서, Va: 부착물의 볼륨, h: 부착물 높이, r: 보일러튜브의 반경, d1: 부착물의 좌측 두께, d2: 부착물의 우측 두께)Where: Va is the volume of the attachment, h is the attachment height, r is the radius of the boiler tube, d1 is the left thickness of the attachment, and d2 is the right thickness of the attachment.
이처럼, 에지기반 볼륨 측정은 객체에 대한 거리 정보는 요구될 필요가 없고, 2D 영상에서 객체의 에지 즉 외형 정보만으로 산출될 수 있다. 따라서, 에지기반 볼륨 측정은 스테레오 정합과 관계 없이 수행될 수 있는 것으로서, 예를 들면 객체검출블럭(220)에서의 객체 검출 결과를 활용하여 수행될 수 있다.Thus, the edge-based volume measurement need not be required to have distance information for the object, and can be calculated only from the edge of the object, i.e., the appearance information, in the 2D image. Accordingly, the edge-based volume measurement can be performed irrespective of the stereo matching, and can be performed using, for example, the object detection result in the
전술한 바와 같이, 본 발명의 실시예에 따르면, 단일의 카메라를 사용하여 연속적으로 촬영된 2D 영상을 처리하여 입체감을 갖는 3D 시각화 영상을 생성할 수 있고 또한 스테레오기반의 볼륨 측정을 수행할 수 있다.As described above, according to the embodiment of the present invention, it is possible to process a 2D image continuously photographed using a single camera to generate a 3D visualized image having a three-dimensional effect, and to perform stereo-based volume measurement .
이에 따라, 산업 설비 내부 상태를 입체적으로 확인하고 특정 물체의 볼륨을 정량적으로 확인할 수 있게 되어, 산업 설비 내부 상태를 실제와 같이 정확하고 현실감 있게 확인하고 감시할 수 있다.As a result, it is possible to check the internal state of the industrial facility in a three-dimensional manner and to quantitatively confirm the volume of a specific object, so that the internal state of the industrial facility can be accurately and realistically confirmed and monitored.
전술한 본 발명 실시예는 산업 기술 분야 외에 실생활 분야 등 다양한 분야에도 적용될 수 있다.The embodiments of the present invention described above can be applied to various fields such as the field of industrial technology and the field of real life.
한편, 본 발명의 실시예는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등을 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical, and ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform operations of one embodiment of the present invention, and vice versa.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.The embodiment of the present invention described above is an example of the present invention, and variations are possible within the spirit of the present invention. Accordingly, the invention includes modifications of the invention within the scope of the appended claims and equivalents thereof.
50: 보일러 51: 보일러튜브
60: 부착물 70: 이동체
100: 카메라 200: 영상처리장치
210: 전처리블럭 220: 객체검출블럭
230: 영상처리블럭 300: 모니터50: boiler 51: boiler tube
60: Attachment 70: Moving body
100: camera 200: image processing device
210: preprocessing block 220: object detection block
230: image processing block 300: monitor
Claims (9)
를 포함하는 영상처리 시스템.
Dimensional image obtained by performing a rectification and a stereo matching on a multi-viewpoint 2D image generated by using a single camera which continuously photographs while moving in the uniaxial direction, An image processing block including an image processing block for calculating actual distance information and measuring an object volume in the 2D image based on the actual distance information,
And an image processing system.
상기 영상처리블럭은 상기 다시점 2D 영상을 이어붙여 파노라마 영상을 생성하고, 상기 실제 거리 정보를 상기 파노라마 영상에 결합하여 3D 시각화 영상을 생성하는
영상처리 시스템.
The method according to claim 1,
The image processing block creates a panoramic image by pasting the multi-view 2D image and combines the actual distance information with the panoramic image to generate a 3D visualized image
Image processing system.
상기 영상처리장치는,
상기 카메라에서 전송된 다시점 2D 영상을 보정하는 전처리블럭과;
상기 전처리블럭에서 보정된 2D 영상 내 객체를 검출하는 객체검출블럭을 포함하는
영상처리 시스템.
3. The method according to claim 1 or 2,
The image processing apparatus comprising:
A preprocessing block for correcting the multi-view 2D image transmitted from the camera;
And an object detection block for detecting an object in the 2D image corrected in the preprocessing block
Image processing system.
상기 영상처리블럭은, 상기 객체검출블럭에서 검출된 객체의 에지를 기반으로 객체 볼륨을 측정하는
영상처리 시스템.
The method of claim 3,
Wherein the image processing block measures an object volume based on an edge of the object detected in the object detection block
Image processing system.
를 포함하는 영상처리 방법.
In the image processing apparatus, rectification and stereo matching are performed on a multi-view 2D image generated by using a single camera that continuously captures while moving in the uniaxial direction, An image processing step of calculating an actual distance information of the camera reference and measuring an object volume in the 2D image based on the actual distance information,
And an image processing method.
상기 영상처리 단계는, 상기 다시점 2D 영상을 이어붙여 파노라마 영상을 생성하고 상기 실제 거리 정보를 상기 파노라마 영상에 결합하여 3D 시각화 영상을 생성하는 과정을 포함하는
영상처리 방법.
6. The method of claim 5,
Wherein the image processing step includes generating a panoramic image by pasting the multi-view 2D image and combining the actual distance information with the panoramic image to generate a 3D visualized image
Image processing method.
상기 영상처리장치에서, 상기 카메라에서 전송된 다시점 2D 영상을 보정하는 전처리 단계와;
상기 영상처리장치에서, 상기 전처리 단계에서 보정된 2D 영상 내 객체를 검출하는 객체검출 단계를 포함하는
영상처리 방법.
6. The method of claim 5,
A preprocessing step of correcting the multi-view 2D image transmitted from the camera in the image processing apparatus;
In the image processing apparatus, an object detection step of detecting an object in the 2D image corrected in the preprocessing step
Image processing method.
상기 영상처리 단계는, 상기 객체검출 단계에서 검출된 객체의 에지를 기반으로 객체 볼륨을 측정하는 과정을 포함하는
영상처리 방법.
8. The method of claim 7,
Wherein the image processing step includes the step of measuring an object volume based on an edge of the object detected in the object detection step
Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160037719A KR101694890B1 (en) | 2016-03-29 | 2016-03-29 | Image processing system and method using 2D images from multiple points |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160037719A KR101694890B1 (en) | 2016-03-29 | 2016-03-29 | Image processing system and method using 2D images from multiple points |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101694890B1 true KR101694890B1 (en) | 2017-01-13 |
Family
ID=57835365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160037719A KR101694890B1 (en) | 2016-03-29 | 2016-03-29 | Image processing system and method using 2D images from multiple points |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101694890B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020005108A (en) * | 2018-06-27 | 2020-01-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control apparatus, imaging apparatus, mobile body, control method, and program |
| KR20200109014A (en) * | 2019-03-12 | 2020-09-22 | 한국과학기술원 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050066400A (en) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | Apparatus and method for the 3d object tracking using multi-view and depth cameras |
| KR20070039641A (en) * | 2005-10-10 | 2007-04-13 | 주식회사 팬택 | Method and apparatus for generating three dimension image using one camera |
| KR20120072146A (en) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | Apparatus and method for generating stereoscopic image |
| KR101296605B1 (en) * | 2011-02-20 | 2013-09-17 | 김준규 | Using the image volume measurement method and the device |
-
2016
- 2016-03-29 KR KR1020160037719A patent/KR101694890B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050066400A (en) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | Apparatus and method for the 3d object tracking using multi-view and depth cameras |
| KR20070039641A (en) * | 2005-10-10 | 2007-04-13 | 주식회사 팬택 | Method and apparatus for generating three dimension image using one camera |
| KR20120072146A (en) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | Apparatus and method for generating stereoscopic image |
| KR101296605B1 (en) * | 2011-02-20 | 2013-09-17 | 김준규 | Using the image volume measurement method and the device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020005108A (en) * | 2018-06-27 | 2020-01-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control apparatus, imaging apparatus, mobile body, control method, and program |
| KR20200109014A (en) * | 2019-03-12 | 2020-09-22 | 한국과학기술원 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
| KR102192347B1 (en) * | 2019-03-12 | 2020-12-17 | 한국과학기술원 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101630406B (en) | Camera calibration method and camera calibration device | |
| JP5029618B2 (en) | Three-dimensional shape measuring apparatus, method and program by pattern projection method | |
| JP6476831B2 (en) | Parallax calculation system, information processing apparatus, information processing method, and program | |
| Zhu et al. | Panoramic image stitching for arbitrarily shaped tunnel lining inspection | |
| ES2894935T3 (en) | Three-dimensional distance measuring apparatus and method therefor | |
| JPWO2011096251A1 (en) | Stereo camera | |
| JP4843544B2 (en) | 3D image correction method and apparatus | |
| JP2020126590A (en) | Information processing apparatus, information processing method, and program | |
| CN116758136B (en) | Real-time online identification method, system, equipment and medium for cargo volume | |
| US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
| Zhang et al. | Structure-from-motion based image unwrapping and stitching for small bore pipe inspections | |
| KR101694890B1 (en) | Image processing system and method using 2D images from multiple points | |
| JP3629532B2 (en) | Method and system for measuring real-time shape of continuously moving object | |
| CN105335959B (en) | Imaging device quick focusing method and its equipment | |
| JP2009276233A (en) | Parameter calculating apparatus, parameter calculating system and program | |
| CN104641395B (en) | Image processing equipment and image processing method | |
| TWI571099B (en) | Device and method for depth estimation | |
| CN111998834B (en) | Crack monitoring method and system | |
| JP7408488B2 (en) | Coke oven photography equipment, coke oven inspection equipment, and image processing equipment | |
| WO2014171438A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| JP2008241609A (en) | Distance measuring system and distance measuring method | |
| JP2014041074A (en) | Image processing apparatus and inspection apparatus | |
| JP5925109B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP2014238558A (en) | Imaging device and parallax detection method | |
| Bender et al. | A Hand-held Laser Scanner based on Multi-camera Stereo-matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 4 |