WO2018092992A1 - Real-time panoramic image production system on basis of lookup table and real-time panoramic image production method using same - Google Patents

Real-time panoramic image production system on basis of lookup table and real-time panoramic image production method using same Download PDF

Info

Publication number
WO2018092992A1
WO2018092992A1 PCT/KR2017/003388 KR2017003388W WO2018092992A1 WO 2018092992 A1 WO2018092992 A1 WO 2018092992A1 KR 2017003388 W KR2017003388 W KR 2017003388W WO 2018092992 A1 WO2018092992 A1 WO 2018092992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image information
image
real
lookup table
time
Prior art date
Application number
PCT/KR2017/003388
Other languages
French (fr)
Korean (ko)
Inventor
최재용
Original Assignee
최재용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최재용 filed Critical 최재용
Publication of WO2018092992A1 publication Critical patent/WO2018092992A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to a real-time panorama image production system based on a lookup table and a panorama image production method using the same, and more particularly, to a panorama image production system for manufacturing a panorama image by processing image information collected based on a previously stored lookup table. And a panorama image production method using the same.
  • the current virtual reality technology is applied to various fields such as web 3D, simulation, game, design, education, medical, military, etc., and the panorama image using the virtual reality technology is made by attaching images taken with a camera.
  • a method of producing a panoramic image is a process of rotating a landscape or a room (360 degree horizontal or vertical), attaching a photographed image through a processing process, and attaching it to a spherical or cylindrical shape (mapping), It is implemented so that the image can be rotated, zoomed and moved around the shooting point.
  • the 360-degree left and right 360 degrees are implemented so that the user can select the direction or point to view by using a keyboard or a mouse during playback. It has a wide viewing angle of 180 degrees up and down.
  • FIG. 1 is a view illustrating a state in which a corresponding point is output by selecting a direction or a point to be viewed in a mobile terminal on which a panorama image is output, and for convenience of explanation, an image having a wide viewing angle from side to side is illustrated.
  • a view of a corresponding point may be output by selecting a direction or a point to be viewed using a wide viewing angle of 180 degrees up and down.
  • Such a panoramic image has a special geometric characteristic of setting a virtual sphere as a projection plane, and has a inconvenience in that distortion occurs due to a distance and rotation between a camera and an object in a planar image.
  • a separate image processing apparatus processes the received image and panoramas. Since an image can be produced, a problem occurs that a production of a panorama image cannot be processed in real time.
  • the present invention has been made to solve the above problems, an object of the present invention is to produce a panoramic image through an image processing process for solving the problem of nonlinear radiation distortion, to perform the image processing process in real time,
  • the present invention provides a lookup table-based real-time panoramic image production system for processing a photographed image information based on a predetermined lookup table and a panorama image production method using the same.
  • another object of the present invention can perform an image processing process in real time on a limited resource, a real-time panoramic image production system based on a look-up table that can implement the image capturing means and image processing means in a single real-time independent embedded and using the same
  • the present invention provides a method for producing a panoramic image.
  • a real-time panoramic image production system based on a look-up table, including: a first image information collector configured to collect first image information about a subject; And a second image information generator configured to process the collected first image information based on a pre-stored lookup table to generate second image information.
  • the first image information may include at least two of front, rear, up, down, left, and right images based on a predetermined geographical position during a predetermined time period.
  • the second image information generation unit processes the based on the pre-stored lookup table before the collected first image information is output or stored.
  • the second image information can be generated.
  • the second image information generator may be configured to map the first position coordinates of the pixels constituting the collected first image information to second position coordinates corresponding to the pre-stored lookup table in real time. Can be generated.
  • the second image information generation unit may include: when the collected first image information is plural, the first position coordinates of the pixels constituting each of the first image information correspond to the pre-stored lookup table. Real-time mapping to the second position coordinates to generate each of the second image information, the predetermined area on the left and right of each of the second image information is stitched with each other, so that the overlapping of the subject or the blank of the subject does not occur Can be processed.
  • the second image information generation unit may encode, store or output the stitched second image information according to a standard when the respective second image information is stitched.
  • the lookup table has a hardness ⁇ of 0 ° to 45 ° or less, wherein a shortest distance from the origin of each pixel to the first position coordinate is r, and the second is based on the origin. If the shortest distance to the position coordinates is R, the shortest distance to the second position coordinates is If the ⁇ is 45 ° to 90 ° or less, the shortest distance to the second position coordinate, Can be calculated and written.
  • a panoramic image production method based on a real-time lookup table captures a plurality of first image information by capturing a subject from different viewpoints through a first image information collection unit. Collecting; And generating second image information by processing the second image information generator based on the pre-stored lookup table.
  • 1 is a view for explaining a conventional panoramic image.
  • FIG. 2 is a diagram illustrating a lookup table based real-time panorama image production system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of a first image information collecting unit of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a process of collecting first image information on a subject by using a first image information collector of a look-up table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a configuration of a second image information generation unit of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 6 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 7 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 8 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing a process of processing collected first image information by using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing a process of processing collected first image information by using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
  • FIG. 11 is a diagram for describing a panorama image production method using a lookup table-based real-time panorama image production system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a lookup table based real-time panorama image production system according to an embodiment of the present invention.
  • a look-up table based real-time panorama image production system (hereinafter, collectively referred to as a 'panorama image production system') according to the present embodiment will be described with reference to FIG. 2.
  • This panorama image production system processes panorama based on lookup table to produce panorama image through image processing process to solve the problem of nonlinear radiation distortion, and to perform image processing process in real time. To produce a panoramic image.
  • the panoramic image production system corrects the deviation between the three-dimensional real world coordinates of the subject photographed on the image and the two-dimensional image coordinates of the subject output by the screen, and processes the corrected image based on the lookup table to produce the panoramic image. It can be produced, and this process can be performed in real time.
  • the panorama image production system includes a first image information collecting unit 100 and a second image information generating unit 200.
  • the first image information collection unit 100 is provided for capturing a plurality of images and collecting first image information about a subject.
  • the first image information on the subject can be collected.
  • the second image information generator 200 is provided to process the collected first image information to generate second image information.
  • the second image information generator 200 produces a panoramic image by synchronizing a timeline between images captured by a plurality of cameras and stitching adjacent images to capture a plurality of images.
  • the second image information may be generated by real-time performing a process of stitching the adjacent images by synchronizing the timeline between the images and correcting the deviation according to the characteristics (the characteristics of the camera) of the information collecting unit 100. .
  • the second image information generator 200 may generate the panorama image by encoding the second image information according to a preset image standard, and store the produced panorama image, It can be delivered to an external device such as a mobile terminal, a tablet PC or a display device through a wireless network.
  • the second image information generator 200 may be processed based on a lookup table to generate second image information.
  • the panoramic image production system is provided to support the above-described first image information collecting unit 100 except for the above-described first image information collecting unit 100 and the second image information generating unit 200.
  • the tripod unit 300 may further include.
  • the tripod unit 300 includes a tripod, which is a tripod support supporting a camera, wherein the first image information collecting unit 100 and the second image information generating unit 200 are implemented as one embedded device.
  • the second image information generating unit 200 may be supported as well as the first image information collecting unit 100.
  • FIG. 3 is a view illustrating a configuration of a first image information collecting unit of a panoramic image production system according to an embodiment of the present invention
  • FIG. 4 is a first view of a panoramic image production system according to an embodiment of the present invention.
  • the first image information collecting unit 100 adjusts the angle of the camera to the left, right, up, or down by using cameras provided in different directions, and controls the subjects provided in different directions.
  • the fisheye lens 110, the sensor 120, the controller 130 and the lens angle adjustment driver 140 is included.
  • the fisheye lens 110 is provided to photograph the subject.
  • the fisheye lens 110 is a camera lens used for photographing that requires a special effect such as measuring the amount of clouds in the sky beyond 180 degrees, specifically, the fisheye lens 110 is directed in different directions.
  • a plurality of lenses may be provided, and the angles of the respective lenses may be adjusted to the left side, the right side, the upper side, or the lower side.
  • the first image information collecting unit 100 uses the fisheye lens 110 as a camera lens instead of a conventional lens having a visual angle of less than 100 degrees to produce a panoramic image of left and right 360 degrees. This can reduce the number of cameras needed to do this.
  • the camera for producing a 360-degree panoramic image of left and right which is implemented so that the image of the virtual reality is displayed as it is, even if the user observes any one of the front, rear, left, right, up and down. Can reduce the number.
  • the sensor 120 is provided to detect light incident through the fisheye lens 110. Specifically, it may be implemented as an optical sensor for a camera.
  • each fisheye lens 110 and each sensor 120 is individually matched to form a unique channel, it is possible to simultaneously shoot different subjects according to each channel, each sensor 120 is As illustrated in FIG. 4A, light incident from the matched fisheye lens 110 may be detected, and the first image information may be collected by photographing a subject as shown in FIG. 4B.
  • each fisheye lens 110 is formed in a spherical shape so that the image of the photographed subject has distortion characteristics as shown in b of FIG. 4.
  • the controller 130 is provided to control the entire first image information collecting unit 100.
  • the controller 130 may adjust the angle of each fisheye lens 110 or allow the image to be captured based on the image information collected through the sensor 120.
  • the controller 130 may allow the fisheye lens 110 to capture a resolution and a YUV image of a predetermined size based on the image information collected by photographing the subject.
  • the YUV method expresses colors by the luminance signal Y and the color difference signals U and V.
  • the controller 130 may collect image information of the YUV420P system.
  • the lens angle adjustment driver 140 is provided to adjust the angle of the fisheye lens 110.
  • the lens angle adjustment driver 140 is driven to adjust the angle of the fisheye lens 110 based on the received control signal. Can be.
  • FIG. 5 is a view illustrating a configuration of a second image information generation unit of a panoramic image production system according to an embodiment of the present invention
  • FIGS. 6 to 10 are panoramic image production systems according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a process of processing collected first image information using a second image information generator.
  • the second image information generating unit 200 may correct the deviation according to the characteristics (characteristics of the camera) of the first image information collecting unit 100, which captures a plurality of images, and then time the images.
  • the line is synchronized and stitches the adjacent images to produce a panoramic image, but the time between the images is corrected with a deviation according to the characteristics (the characteristics of the camera) of the first image information collecting unit 100 that captures a plurality of images.
  • the storage unit 210 includes a storage unit 210, a real time mapping unit 220, a stitch unit 230, and an encoding unit 240 in order to perform a process of stitching adjacent images in real time.
  • the storage unit 210 is provided to store information necessary to drive the panoramic image production system.
  • the storage unit 210 may store a look-up table and second image information created according to the characteristics of the first image information collection unit 100.
  • the lookup table is an algorithm mainly used in an image processing technique and means an array of precomputed results for a given operation.
  • lookup table values arranged in a lookup table are used as a reference used to obtain a value faster than a time for calculating a result of a given operation, and is mainly used in real-time data acquisition and a real-time processing system (embedded system).
  • a real-time processing system embedded system
  • the second image information generation unit 200 when the correction value according to the actual curvature characteristic of the fisheye lens 110 is calculated, the second image information generation unit 200 according to the present embodiment generates and stores a lookup table value for each angle according to the calculated correction value. It may be stored in the unit 210.
  • the curvature projected from the surface of the fisheye lens 110 to the optical axis can be divided into equidistant fisheye type, stereoscopic type, orthographic type and equal solid type according to the fisheye projection type, and according to each fisheye projection type
  • the correction values according to the curvature characteristics are individually calculated through the equations based on experimental data and mathematical principles, and an angle lookup table value may be prepared according to the calculated correction values.
  • the real-time mapping unit 220 configures the collected first image information based on the lookup table value for each angle created according to the calculated correction value.
  • the first position coordinates of the pixels are provided to map in real time to a second position coordinate corresponding to a previously stored lookup table.
  • the real-time mapping unit 220 may include a second position corresponding to a lookup table in which first position coordinates X and Y of one of the plurality of pixels constituting the first image information illustrated in FIG. 6 are stored in advance. By mapping in real time to the position coordinates X 'and Y', the deviation between the two-dimensional image coordinates may be corrected to generate second image information.
  • the real-time mapping unit 220 maps the first position coordinates X and Y of one pixel included in the first image information to the second position coordinates X ′ and Y ′ according to the present embodiment.
  • the correction value can be calculated as follows.
  • r representing the shortest distance to the first position coordinates (X, Y) from the origin and ⁇ representing the hardness may be calculated by the following equation.
  • R which represents the shortest distance to 2nd position coordinate X ', Y' with respect to an origin is a ratio of r: R when (theta) is 45 degrees. Has the maximum value of the ratio.
  • R may be calculated by the following formula.
  • an average value (interpolation) of neighboring pixels may be calculated for pixels having a space in the middle from a rectangular coordinate point with respect to a first position coordinate of an arbitrary pixel.
  • the shortest distance to the first position coordinate of an arbitrary pixel may be defined as ri.
  • the distance that the first position coordinate is moved to map to the second position coordinate is maximum when the shortest distance to the first position coordinate of any pixel is r, and the predetermined ratio ( May be gradually decreased, so that R for mapping the first position coordinates to the second position coordinates may be calculated by the following equation.
  • R is Can be calculated as Is 1
  • R is Can be calculated as Is 2
  • It can be calculated as.
  • R the shortest distance to the first position coordinate of any pixel is r, and ⁇ is 45 ° to 90 ° or less ( ), R may be calculated by the following formula.
  • R When the shortest distance to the first position coordinate of any pixel is r-i, R may be calculated by the following equation.
  • the stitch unit 230 is provided to stitch the generated second image information with each other to produce a panorama image.
  • the stitch unit 230 may allow a panoramic video to be synchronized with timelines between videos captured by a plurality of cameras and to stitch adjacent videos.
  • the stitch unit 230 performs a timeline synchronization operation that matches the time point at which the scene a was shot with the camera A and the time point b was captured with the B camera, and the time a is synchronized.
  • the scenes a and b become one natural scene so that the whole part of the subject (the whole car) is displayed. I mean.
  • the stitch unit 230 is a predetermined region ( ⁇ -1, ⁇ -3, ⁇ -1, ⁇ of the plurality of collected first video information after the subject is photographed and collected as shown in FIG. 9A). -3) when the second video information ⁇ -2, ⁇ -4, ⁇ -2, and ⁇ -4 is generated as shown in FIG. 9B by individually processing the lookup table, FIG. As illustrated in FIG. 2, the predetermined areas ⁇ and ⁇ on the left and right sides of the second video information generated may be stitched together.
  • the encoder 240 is provided to encode the produced panoramic image in a predetermined manner.
  • the encoding unit 240 may encode the stitched second image information according to the panorama image standard by using the H.264 codec.
  • FIG. 11 is a view for explaining a panoramic image production method using a panoramic image production system according to an embodiment of the present invention.
  • a plurality of images may be photographed through the first image information collecting unit 100 to collect first image information on a subject (S910).
  • subjects in different directions may be simultaneously photographed by each fisheye lens 110 to collect first image information about the subject.
  • the second image information generator 200 may include a first position coordinate of each pixel constituting each of the first image information corresponding to a previously stored lookup table.
  • the real time mapping may be performed using two position coordinates (S920).
  • the lookup table is prepared based on the correction value of the deviation calculated according to the characteristics of each fisheye lens 110.
  • the second image generator 200 When each pixel constituting the first image information is mapped to the second position coordinates, the second image generator 200 generates the respective second image information by placing the respective pixels at the mapped second position coordinates. In operation S940, the generated second image information may be stitched with the predetermined areas on the left and right sides of each of the second image information.
  • the second image generator 200 may adjust the size of the stitched panorama image according to a preset image standard and encode the encoded image (S950).
  • a panorama image may be produced through an image processing process for solving the problem of nonlinear radiation distortion, and the image processing process may be performed in real time, and the size of the panorama image production system may be reduced.
  • image processing means can be implemented as a single embedded.

Abstract

Disclosed are a real-time panoramic image production system on the basis of a lookup table and a panoramic image production method using the same. This real-time panoramic image production system on the basis of the lookup table comprises: a first image information collecting unit for collecting first image information about a subject; and a second image information generating unit for generating second image information by processing the collected first image information on the basis of a pre-stored lookup table. Accordingly, when producing a panoramic image on the basis of a plurality of images, it is possible to correct a deviation between three-dimensional real world coordinates of the subject and two-dimensional image coordinates of the subject outputted by a screen to mitigate non-linear radial distortion and deterioration of resolution and image quality caused thereby. In addition, the panoramic image is produced through an image processing process for solving the problem of the non-linear radial distortion, and the image processing process may be performed in real-time on a limited resource, and the size of the panoramic image production system may be miniaturized, and an image capturing means and an image processing means may be embodied as one real-time stand-alone embedded system.

Description

룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법Lookup Table-based Real-time Panorama Image Production System and Real-time Panorama Image Production Method Using the Same
본 발명은 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 파노라마 영상 제작 방법에 관한 것으로서, 더욱 상세하게는 기저장된 룩업테이블을 기반으로 수집된 영상 정보를 가공하여 파노라마 영상을 제작하는 파노라마 영상 제작 시스템 및 이를 이용한 파노라마 영상 제작 방법에 관한 것이다.The present invention relates to a real-time panorama image production system based on a lookup table and a panorama image production method using the same, and more particularly, to a panorama image production system for manufacturing a panorama image by processing image information collected based on a previously stored lookup table. And a panorama image production method using the same.
전자통신 기술의 비약적인 발전과 스마트 기기의 보급으로 인해 사용자들은 댁내에서도 컴퓨터 그래픽(CG) 기술을 통하여 만들어진 실제 환경과 유사한 3차원 가상환경 내에서 인체의 모든 감각(시각, 청각, 후각, 미각, 촉각)이 상호 작용하여, 가상으로 창조한 세계에 몰입되게 함으로써 참여자에게 가상공간을 3차원적으로 재현하고 인간을 이 가상공간에 몰입시킴으로써 정보의 활용을 극대화하는 VR(가상현실)을 체험할 수 있게 되었다.Due to the rapid development of electronic communication technology and the spread of smart devices, users can feel all the senses (visual, auditory, olfactory, taste, and tactile) of the human body in the 3D virtual environment similar to the real environment created through computer graphics (CG) technology in the home. ) Interact with each other, immersing them in the virtually created world, allowing participants to experience VR (Virtual Reality), which maximizes the use of information by reproducing virtual space in three dimensions and immersing humans in this virtual space. It became.
현재의 가상현실 기술은 Web 3D, 시뮬레이션, 게임, 설계, 교육, 의료, 군사 등의 다양한 분야에 응용되고 있으며, 이러한 가상현실 기술을 적용한 파노라마 영상은 카메라를 이용해 촬영된 이미지를 가지고 이어 붙여 제작한 영상으로서, 이 파노라마 영상의 제작 방법은 풍경 또는 실내를 회전하며 (360도 수평 또는 수직) 촬영된 이미지를 가공 과정을 거쳐 연결하여 붙인 뒤 구형, 또는 원통형 모양에 덮어씌우는 과정(매핑)을 거쳐, 촬영 지점을 중심으로 이미지를 회전, 확대/축소, 이동하면서 볼 수 있도록 구현된다.The current virtual reality technology is applied to various fields such as web 3D, simulation, game, design, education, medical, military, etc., and the panorama image using the virtual reality technology is made by attaching images taken with a camera. As an image, a method of producing a panoramic image is a process of rotating a landscape or a room (360 degree horizontal or vertical), attaching a photographed image through a processing process, and attaching it to a spherical or cylindrical shape (mapping), It is implemented so that the image can be rotated, zoomed and moved around the shooting point.
구체적으로 파노라마 영상은 촬영자가 선택한 시점에 고정되었던 기존의 영상과는 달리 재생 도중에 키보드나 마우스 등을 활용해 사용자가 보고 싶은 방향이나 지점을 선택하여 해당 지점의 모습을 볼 수 있도록 구현된 좌우 360도 상하 180도의 넓은 시야각을 가진 영상이다.In detail, unlike the existing video that was fixed at the point of view selected by the photographer, the 360-degree left and right 360 degrees are implemented so that the user can select the direction or point to view by using a keyboard or a mouse during playback. It has a wide viewing angle of 180 degrees up and down.
도 1은 파노라마 영상이 출력되는 모바일 단말에서 보고 싶은 방향이나 지점을 선택하여 해당 지점의 모습이 출력되는 모습을 도시한 도면이며, 설명의 편의를 위하여 좌우로 넓은 시야각을 가진 영상으로 표현하였으나, 파노라마 영상의 경우, 상하로도 180도의 넓은 시야각을 이용하여 보고 싶은 방향이나 지점을 선택하여 해당 지점의 모습이 출력되도록 할 수 있다.FIG. 1 is a view illustrating a state in which a corresponding point is output by selecting a direction or a point to be viewed in a mobile terminal on which a panorama image is output, and for convenience of explanation, an image having a wide viewing angle from side to side is illustrated. In the case of an image, a view of a corresponding point may be output by selecting a direction or a point to be viewed using a wide viewing angle of 180 degrees up and down.
이러한 파노라마 영상은 가상의 구체를 투영면으로 설정하는 특수한 기하 특성을 갖고 있어, 평면 영상에서 카메라와 물체 사이의 거리와 회전에 따라 왜곡현상이 발생한다는 불편함을 갖고 있다.Such a panoramic image has a special geometric characteristic of setting a virtual sphere as a projection plane, and has a inconvenience in that distortion occurs due to a distance and rotation between a camera and an object in a planar image.
또한, 종래의 파노라마 영상 제작 기술은 장치의 리소스 한계 때문에 복수의 영상 촬영 장치가 영상을 촬영하여 별도로 마련된 영상 처리 장치에 촬영된 영상을 전달하면, 별도의 영상 처리 장치가 수신된 영상을 가공하여 파노라마 영상을 제작할 수 있어, 파노라마 영상의 제작이 실시간 처리되지 못한다는 문제가 발생한다. In addition, in the conventional panoramic image production technology, when a plurality of image capturing apparatuses captures an image and delivers the captured image to a separate image processing apparatus due to resource limitations of the apparatus, a separate image processing apparatus processes the received image and panoramas. Since an image can be produced, a problem occurs that a production of a panorama image cannot be processed in real time.
이에, 왜곡현상(비선형 방사 왜곡)에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 파노라마 영상을 제작하되, 실시간으로 영상 처리 과정을 수행할 수 있는 연구에 대한 모색이 필요하다.In order to solve the problem of distortion (non-linear radiation distortion), an image processing process is required to produce a panoramic image, but a search for research that can perform an image processing process in real time is necessary.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로 본 발명의 목적은, 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 파노라마 영상을 제작하되, 실시간으로 영상 처리 과정을 수행하도록, 기저정된 룩업테이블을 기반으로 촬영된 영상 정보를 가공하여 파노라마 영상을 제작하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 파노라마 영상 제작 방법을 제공함에 있다.The present invention has been made to solve the above problems, an object of the present invention is to produce a panoramic image through an image processing process for solving the problem of nonlinear radiation distortion, to perform the image processing process in real time, The present invention provides a lookup table-based real-time panoramic image production system for processing a photographed image information based on a predetermined lookup table and a panorama image production method using the same.
또한, 본 발명의 다른 목적은 제한된 리소스 상에서 실시간으로 영상 처리 과정을 수행할 수 있으며, 영상 촬영 수단과 영상 처리 수단을 하나의 실시간 자립형 임베디드로 구현 가능한 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 파노라마 영상 제작 방법을 제공함에 있다.In addition, another object of the present invention can perform an image processing process in real time on a limited resource, a real-time panoramic image production system based on a look-up table that can implement the image capturing means and image processing means in a single real-time independent embedded and using the same The present invention provides a method for producing a panoramic image.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템은, 피사체에 대한 제1 영상 정보를 수집하는 제1 영상 정보 수집부; 및 상기 수집된 제1 영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 제2 영상 정보를 생성하는 제2 영상 정보 생성부;를 포함한다.According to an aspect of the present invention, there is provided a real-time panoramic image production system based on a look-up table, including: a first image information collector configured to collect first image information about a subject; And a second image information generator configured to process the collected first image information based on a pre-stored lookup table to generate second image information.
또한, 상기 제1 영상 정보는, 기설정된 시구간 동안 기설정된 지리적 위치를 기준으로 한 전방, 후방, 상방, 하방, 좌측방 및 우측방 영상들 중 적어도 두 개를 포함할 수 있다.In addition, the first image information may include at least two of front, rear, up, down, left, and right images based on a predetermined geographical position during a predetermined time period.
그리고 상기 제2 영상 정보 생성부는, 상기 제1 영상 정보 수집부를 통해 상기 제1 영상 정보가 수집되면, 상기 수집된 제1 영상 정보가 출력되거나, 저장되기 이전에 상기 기저장된 룩업테이블을 기반으로 가공하여 상기 제2 영상 정보를 생성할 수 있다.When the first image information is collected through the first image information collecting unit, the second image information generation unit processes the based on the pre-stored lookup table before the collected first image information is output or stored. The second image information can be generated.
또한, 상기 제2 영상 정보 생성부는, 상기 수집된 제1 영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되어 상기 제2 영상 정보를 생성할 수 있다.The second image information generator may be configured to map the first position coordinates of the pixels constituting the collected first image information to second position coordinates corresponding to the pre-stored lookup table in real time. Can be generated.
그리고 상기 제2 영상 정보 생성부는, 상기 수집된 제1 영상 정보가 복수인 경우, 각각의 제1 영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 상기 제2 위치 좌표로 실시간 매핑되어 각각의 제2 영상 정보를 생성하고, 상기 각각의 제2 영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치 되도록 하되, 피사체의 중복이나 피사체의 공백이 발생되지 않도록 처리할 수 있다.The second image information generation unit may include: when the collected first image information is plural, the first position coordinates of the pixels constituting each of the first image information correspond to the pre-stored lookup table. Real-time mapping to the second position coordinates to generate each of the second image information, the predetermined area on the left and right of each of the second image information is stitched with each other, so that the overlapping of the subject or the blank of the subject does not occur Can be processed.
또한, 상기 제2 영상 정보 생성부는, 상기 각각의 제2 영상 정보가 스티치되면, 스티치된 상기 제2 영상 정보를 규격에 맞게 인코딩하여 저장하거나 출력할 수 있다.The second image information generation unit may encode, store or output the stitched second image information according to a standard when the respective second image information is stitched.
그리고 상기 룩업테이블은, 경도를 나타내는 θ가 0° 내지 45°이하이며, 상기 각각의 픽셀들의 원점을 기준으로 상기 제1 위치 좌표까지의 최단거리를 r이라고 하고, 상기 원점을 기준으로 상기 제2 위치 좌표까지의 최단거리를 R이라고 하면, 상기 제2 위치 좌표까지의 최단거리가,
Figure PCTKR2017003388-appb-I000001
로 산출되고, 상기 θ가 45° 내지 90°이하이면, 상기 제2 위치 좌표까지의 최단거리가,
Figure PCTKR2017003388-appb-I000002
로 산출되어 작성될 수 있다. The lookup table has a hardness θ of 0 ° to 45 ° or less, wherein a shortest distance from the origin of each pixel to the first position coordinate is r, and the second is based on the origin. If the shortest distance to the position coordinates is R, the shortest distance to the second position coordinates is
Figure PCTKR2017003388-appb-I000001
If the θ is 45 ° to 90 ° or less, the shortest distance to the second position coordinate,
Figure PCTKR2017003388-appb-I000002
Can be calculated and written.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 실시간 룩업테이블 기반의 파노라마 영상 제작 방법은 제1 영상 정보 수집부를 통해 피사체를 서로 다른 시점에서 촬영하여 복수의 제1 영상 정보를 수집하는 단계; 및 제2 영상 정보 생성부가 기저장된 룩업테이블을 기반으로 가공하여 제2 영상 정보를 생성하는 단계;를 포함한다.Meanwhile, according to an embodiment of the present invention, a panoramic image production method based on a real-time lookup table according to an embodiment of the present invention captures a plurality of first image information by capturing a subject from different viewpoints through a first image information collection unit. Collecting; And generating second image information by processing the second image information generator based on the pre-stored lookup table.
이에 의해, 복수의 영상을 기반으로 파노라마 영상을 제작함에 있어, 피사체의 3차원 실세계 좌표와 화면에 의해 출력되는 피사체의 2차원 영상 좌표 사이의 편차를 보정하여 비선형 방사왜곡 및 이에 의해 발생되는 해상도 및 화질의 저화를 완화시킬 수 있다.Accordingly, in producing a panoramic image based on a plurality of images, non-linear radiation distortion and the resolution generated by correcting the deviation between the three-dimensional real world coordinates of the subject and the two-dimensional image coordinates of the subject output by the screen, The deterioration of image quality can be alleviated.
그리고 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 파노라마 영상을 제작하되, 제한된 리소스 상에서 실시간으로 영상 처리 과정을 수행할 수 있으며, 파노라마 영상 제작 시스템의 크기를 소형화시킬 수 있으며, 영상 촬영 수단과 영상 처리 수단을 하나의 실시간 자립형 임베디드로 구현할 수 있다.In addition, it is possible to produce panoramic images through image processing to solve the problem of nonlinear radiation distortion, and to perform image processing in real time on limited resources, and to reduce the size of the panoramic image production system, and to capture images. Means and image processing means can be implemented in a single real-time independent embedded.
도 1은 종래의 파노라마 영상을 설명하기 위한 도면이다.1 is a view for explaining a conventional panoramic image.
도 2는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템을 도시한 도면이다.2 is a diagram illustrating a lookup table based real-time panorama image production system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제1 영상 정보 수집부의 구성을 설명하기 위해 도시한 도면이다.FIG. 3 is a diagram illustrating a configuration of a first image information collecting unit of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제1 영상 정보 수집부를 이용하여 피사체에 대한 제1 영상 정보를 수집하는 과정을 설명하기 위한 도면이다. FIG. 4 is a diagram for describing a process of collecting first image information on a subject by using a first image information collector of a look-up table based real-time panoramic image production system according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부의 구성을 설명하기 위해 도시한 도면이다.FIG. 5 is a diagram illustrating a configuration of a second image information generation unit of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. FIG. 6 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. FIG. 7 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. FIG. 8 is a diagram for describing a process of processing first image information collected using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. FIG. 9 is a diagram for describing a process of processing collected first image information by using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. FIG. 10 is a diagram for describing a process of processing collected first image information by using a second image information generator of a lookup table based real-time panoramic image production system according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템을 이용하는 파노라마 영상 제작 방법을 설명하기 위한 도면이다.FIG. 11 is a diagram for describing a panorama image production method using a lookup table-based real-time panorama image production system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하기로 한다.Hereinafter, with reference to the drawings will be described in more detail with respect to the present invention. The embodiments introduced below are provided as an example to sufficiently convey the spirit of the present invention to those skilled in the art to which the present invention pertains. The invention is not limited to the embodiments described below and may be embodied in other forms. In order to clearly describe the present invention, parts irrelevant to the description will be omitted in the drawings.
도 2는 본 발명의 일 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템을 도시한 도면이다. 2 is a diagram illustrating a lookup table based real-time panorama image production system according to an embodiment of the present invention.
이하에서는 도 2를 참조하여 본 실시예에 따른 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템(이하, '파노라마 영상 제작 시스템'으로 총칭함)에 대하여 설명하기로 한다.Hereinafter, a look-up table based real-time panorama image production system (hereinafter, collectively referred to as a 'panorama image production system') according to the present embodiment will be described with reference to FIG. 2.
본 파노라마 영상 제작 시스템은 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 파노라마 영상을 제작하되, 실시간으로 영상 처리 과정을 수행하도록, 기저정된 촬영된 영상 정보를 룩업테이블을 기반으로 가공하여 파노라마 영상을 제작하기 위해 마련된다. This panorama image production system processes panorama based on lookup table to produce panorama image through image processing process to solve the problem of nonlinear radiation distortion, and to perform image processing process in real time. To produce a panoramic image.
구체적으로 파노라마 영상 제작 시스템은 영상에 촬영된 피사체의 3차원 실세계 좌표와 화면에 의해 출력되는 피사체의 2차원 영상 좌표 사이의 편차를 보정하고, 보정된 영상을 룩업테이블을 기반으로 가공하여 파노라마 영상을 제작할 수 있으며, 이러한 과정을 실시간으로 수행할 수 있다.Specifically, the panoramic image production system corrects the deviation between the three-dimensional real world coordinates of the subject photographed on the image and the two-dimensional image coordinates of the subject output by the screen, and processes the corrected image based on the lookup table to produce the panoramic image. It can be produced, and this process can be performed in real time.
이를 위해, 본 실시예에 따른 파노라마 영상 제작 시스템은 제1 영상 정보 수집부(100), 제2 영상 정보 생성부(200)를 포함한다. To this end, the panorama image production system according to the present embodiment includes a first image information collecting unit 100 and a second image information generating unit 200.
제1 영상 정보 수집부(100)는, 복수의 영상을 촬영하여, 피사체에 대한 제1 영상 정보를 수집하기 위해 마련된다. The first image information collection unit 100 is provided for capturing a plurality of images and collecting first image information about a subject.
구체적으로, 서로 다른 방향으로 마련된 카메라를 이용하여 좌측방, 우측방, 상방 또는 하방으로 카메라의 각도를 조절하며, 서로 다른 방향에 마련된 각각의 피사체를 동시에 촬영하여, 피사체에 대한 제1 영상 정보를 수집할 수 있다. Specifically, by adjusting the angle of the camera in the left, right, up or down using the camera provided in different directions, and simultaneously photographing the respective subjects provided in different directions, the first image information on the subject Can be collected.
제2 영상 정보 생성부(200)는, 제1 영상 정보가 수집되면, 수집된 제1 영상 정보를 가공하여 제2 영상 정보를 생성하기 위해 마련된다. When the first image information is collected, the second image information generator 200 is provided to process the collected first image information to generate second image information.
구체적으로, 제2 영상 정보 생성부(200)는, 복수의 카메라에 의해 촬영된 영상들 간의 타임 라인이 동기화되고 인접한 영상들을 스티치 처리하여 파노라마 영상을 제작하되, 복수의 영상을 촬영하는 제1 영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 영상들 간의 타임 라인이 동기화되고 인접한 영상들을 스티치 처리하는 과정을 실시간으로 수행하여 제2 영상 정보를 생성할 수 있다.In detail, the second image information generator 200 produces a panoramic image by synchronizing a timeline between images captured by a plurality of cameras and stitching adjacent images to capture a plurality of images. The second image information may be generated by real-time performing a process of stitching the adjacent images by synchronizing the timeline between the images and correcting the deviation according to the characteristics (the characteristics of the camera) of the information collecting unit 100. .
제2 영상 정보가 생성되면, 그리고 제2 영상 정보 생성부(200)는, 제2 영상 정보를 기설정된 영상 규격에 맞게 인코딩하여 파노라마 영상을 제작할 수 있으며, 제작된 파노라마 영상을 저장하거나, 유, 무선 네크워크를 통해 모바일 단말, 테블릿 PC 또는 디스플레이 장치와 같은 외부 장치로 전달하도록 할 수 있다. When the second image information is generated, and the second image information generator 200 may generate the panorama image by encoding the second image information according to a preset image standard, and store the produced panorama image, It can be delivered to an external device such as a mobile terminal, a tablet PC or a display device through a wireless network.
또한, 제2 영상 정보 생성부(200)는 복수의 제1 영상 정보들이 서로 다른 채널에서 촬영되어 수집된 이후, 룩업테이블을 기반으로 가공되어 제2 영상 정보들이 생성되도록 할 수 있다.In addition, after the plurality of first image information are photographed and collected on different channels, the second image information generator 200 may be processed based on a lookup table to generate second image information.
한편, 본 파노라마 영상 제작 시스템은 전술한 제1 영상 정보 수집부(100) 및 제2 영상 정보 생성부(200)를 제외하고, 전술한 제1 영상 정보 수집부(100)를 지지하기 위해 마련되는 트라이포드부(300)를 더 포함할 수 있다.Meanwhile, the panoramic image production system is provided to support the above-described first image information collecting unit 100 except for the above-described first image information collecting unit 100 and the second image information generating unit 200. The tripod unit 300 may further include.
이때, 트라이포드부(300)는 카메라를 지지하는 삼각대 형태의 지지대인 트라이포드가 구비되며, 제1 영상 정보 수집부(100)와 제2 영상 정보 생성부(200)가 하나의 임베디드로 구현된 경우, 제1 영상 정보 수집부(100)뿐 아니라 제2 영상 정보 생성부(200)까지 지지하는 형태로 구현될 수 있다.In this case, the tripod unit 300 includes a tripod, which is a tripod support supporting a camera, wherein the first image information collecting unit 100 and the second image information generating unit 200 are implemented as one embedded device. In this case, the second image information generating unit 200 may be supported as well as the first image information collecting unit 100.
도 3은 본 발명의 일 실시예에 따른 파노라마 영상 제작 시스템의 제1 영상 정보 수집부의 구성을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 파노라마 영상 제작 시스템의 제1 영상 정보 수집부를 이용하여 피사체에 대한 제1 영상 정보를 수집하는 과정을 설명하기 위한 도면이다. 3 is a view illustrating a configuration of a first image information collecting unit of a panoramic image production system according to an embodiment of the present invention, and FIG. 4 is a first view of a panoramic image production system according to an embodiment of the present invention. A diagram for describing a process of collecting first image information on a subject by using an image information collector.
이하에서는 도 3 내지 도 4를 참조하여 본 실시예에 따른 파노라마 영상 제작 시스템의 제1 영상 정보 수집부에 대하여 상세히 설명하기로 한다.Hereinafter, the first image information collecting unit of the panoramic image production system according to the present embodiment will be described in detail with reference to FIGS. 3 to 4.
본 실시예에 따른 제1 영상 정보 수집부(100)는 서로 다른 방향으로 마련된 카메라를 이용하여 좌측방, 우측방, 상방 또는 하방으로 카메라의 각도를 조절하며, 서로 다른 방향에 마련된 각각의 피사체를 동시에 촬영하기 위해, 어안 렌즈(110), 센서(120), 제어부(130) 및 렌즈 각도 조절 구동부(140)를 포함한다.The first image information collecting unit 100 according to the present embodiment adjusts the angle of the camera to the left, right, up, or down by using cameras provided in different directions, and controls the subjects provided in different directions. In order to simultaneously photograph, the fisheye lens 110, the sensor 120, the controller 130 and the lens angle adjustment driver 140 is included.
어안 렌즈(110)는 피사체를 촬영하기 위해 마련된다. The fisheye lens 110 is provided to photograph the subject.
여기서, 어안 렌즈(110)는 시각이 180도를 넘어 하늘의 구름의 양의 측정과 같이 특수한 효과가 필요한 사진촬영에서 사용되는 카메라 렌즈이며, 구체적으로 어안 렌즈(110)는 서로 다른 방향을 향하도록 복수로 마련되되, 각각의 렌즈의 각도가 좌측방, 우측방, 상방 또는 하방으로 조절되도록 마련될 수 있다. Here, the fisheye lens 110 is a camera lens used for photographing that requires a special effect such as measuring the amount of clouds in the sky beyond 180 degrees, specifically, the fisheye lens 110 is directed in different directions. A plurality of lenses may be provided, and the angles of the respective lenses may be adjusted to the left side, the right side, the upper side, or the lower side.
첨언하면, 본 실시예에 따른 제1 영상 정보 수집부(100)는 기존의 100도 이내의 시각을 갖는 일반 렌즈가 아닌 어안 렌즈(110)를 카메라 렌즈로 이용함으로써, 좌우 360도의 파노라마 영상을 제작하기 위해 필요한 카메라의 수를 절감시킬 수 있다.Incidentally, the first image information collecting unit 100 according to the present embodiment uses the fisheye lens 110 as a camera lens instead of a conventional lens having a visual angle of less than 100 degrees to produce a panoramic image of left and right 360 degrees. This can reduce the number of cameras needed to do this.
구체적으로 예를 들면, 100도 이내의 시각을 갖는 일반 렌즈 4개를 이용하여 동서남북을 촬영하는 기존의 방식과 다르게 180도를 넘는 시각을 갖는 어안 렌즈(110) 2개를 이용하여 동서남북을 촬영함으로써, 사용자가 위치한 지점을 기반으로 전방, 후방, 좌측방, 우측방, 상방 및 하방 중 어느 곳을 주시하여도 해당 가상현실의 모습이 그대로 디스플레이되도록 구현되는 좌우 360도의 파노라마 영상을 제작하기 위한 카메라의 수를 절감시킬 수 있다.Specifically, for example, by recording the east, west, north and south using two fisheye lenses 110 having a vision of more than 180 degrees, unlike the conventional method of photographing east, west, north and south using four general lenses having a vision within 100 degrees. Based on the point where the user is located, the camera for producing a 360-degree panoramic image of left and right, which is implemented so that the image of the virtual reality is displayed as it is, even if the user observes any one of the front, rear, left, right, up and down. Can reduce the number.
센서(120)는 어안 렌즈(110)를 통해 입사되는 빛을 감지하기 위해 마련된다. 구체적으로 카메라용 광학 센서로 구현될 수 있다. The sensor 120 is provided to detect light incident through the fisheye lens 110. Specifically, it may be implemented as an optical sensor for a camera.
또한, 각각의 어안 렌즈(110)와 각각의 센서(120)는 개별적으로 매칭되어 고유한 채널을 이루며, 각각의 채널에 따라 서로 다른 피사체를 동시에 촬영할 수 있으며, 이때, 각각의 센서(120)는 도 4의 a와 같이 매칭된 어안 렌즈(110)로부터 입사되는 빛을 감지하여, 도 4의 b와 같이 피사체를 촬영하여 제1 영상 정보를 수집할 수 있다. In addition, each fisheye lens 110 and each sensor 120 is individually matched to form a unique channel, it is possible to simultaneously shoot different subjects according to each channel, each sensor 120 is As illustrated in FIG. 4A, light incident from the matched fisheye lens 110 may be detected, and the first image information may be collected by photographing a subject as shown in FIG. 4B.
여기서, 각각의 어안 렌즈(110)는 구 형태로 형성되어 촬영된 피사체의 영상이 도 4의 b와 같이 왜곡 특성을 갖게 된다.Here, each fisheye lens 110 is formed in a spherical shape so that the image of the photographed subject has distortion characteristics as shown in b of FIG. 4.
한편, 제어부(130)는 제1 영상 정보 수집부(100) 전반을 제어하기 위해 마련된다. 구체적으로 제어부(130)는, 각각의 어안 렌즈(110)의 각도를 조절하거나, 센서(120)를 통해 수집된 영상정보를 기반으로 영상이 촬영되도록 할 수 있다.Meanwhile, the controller 130 is provided to control the entire first image information collecting unit 100. In detail, the controller 130 may adjust the angle of each fisheye lens 110 or allow the image to be captured based on the image information collected through the sensor 120.
구체적으로 제어부(130)는, 각각의 어안 렌즈(110)가 피사체를 촬영하여 수집된 영상정보를 기반으로 기설정된 사이즈의 해상도 및 YUV 방식의 영상이 촬영되도록 할 수 있다.In detail, the controller 130 may allow the fisheye lens 110 to capture a resolution and a YUV image of a predetermined size based on the image information collected by photographing the subject.
YUV 방식은 휘도 신호(Y)와 색차 신호(U,V)로 색을 표현하는 방식으로 본 실시예에 따른 제어부(130)는 YUV420P 방식의 영상 정보를 수집할 수 있다.The YUV method expresses colors by the luminance signal Y and the color difference signals U and V. The controller 130 according to the present exemplary embodiment may collect image information of the YUV420P system.
렌즈 각도 조절 구동부(140)는 어안 렌즈(110)의 각도를 조절하기 위해 마련된다. 구체적으로 렌즈 각도 조절 구동부(140)는 제어부(130)로부터 어안 렌즈(110)의 각도가 조절되도록 하는 제어 신호가 전달되면, 수신된 제어 신호를 기반으로 어안 렌즈(110)의 각도가 조절되도록 구동될 수 있다.The lens angle adjustment driver 140 is provided to adjust the angle of the fisheye lens 110. In detail, when a control signal for adjusting the angle of the fisheye lens 110 is transmitted from the controller 130, the lens angle adjustment driver 140 is driven to adjust the angle of the fisheye lens 110 based on the received control signal. Can be.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 제작 시스템의 제2 영상 정보 생성부의 구성을 설명하기 위해 도시한 도면이고, 도 6 내지 도 10은 본 발명의 일 실시예에 따른 파노라마 영상 제작 시스템의 제2 영상 정보 생성부를 이용하여 수집된 제1 영상 정보를 가공하는 과정을 설명하기 위한 도면이다. 5 is a view illustrating a configuration of a second image information generation unit of a panoramic image production system according to an embodiment of the present invention, and FIGS. 6 to 10 are panoramic image production systems according to an embodiment of the present invention. FIG. 4 is a diagram for describing a process of processing collected first image information using a second image information generator.
이하에서는 도 5 내지 도 8을 참조하여 본 실시예에 따른 파노라마 영상 제작 시스템의 제2 영상 정보 생성부(200)의 구성 및 이를 이용하여 파노라마 영상을 제작하는 과정을 설명하기로 한다.Hereinafter, the configuration of the second image information generator 200 and the process of producing a panoramic image using the same will be described with reference to FIGS. 5 to 8.
본 실시예에 따른 제2 영상 정보 생성부(200)는, 복수의 영상을 촬영하는 제1 영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 영상들 간의 타임 라인이 동기화되고 인접한 영상들을 스티치 처리하여 파노라마 영상을 제작하되, 복수의 영상을 촬영하는 제1 영상 정보 수집부(100)의 특성(카메라의 특성)에 따른 편차를 보정한 상태로 영상들 간의 타임 라인이 동기화되고 인접한 영상들을 스티치 처리하는 과정을 실시간으로 수행하기 위해, 저장부(210), 실시간 매핑부(220), 스티치부(230) 및 인코딩부(240)를 포함한다.The second image information generating unit 200 according to the present embodiment may correct the deviation according to the characteristics (characteristics of the camera) of the first image information collecting unit 100, which captures a plurality of images, and then time the images. The line is synchronized and stitches the adjacent images to produce a panoramic image, but the time between the images is corrected with a deviation according to the characteristics (the characteristics of the camera) of the first image information collecting unit 100 that captures a plurality of images. The storage unit 210 includes a storage unit 210, a real time mapping unit 220, a stitch unit 230, and an encoding unit 240 in order to perform a process of stitching adjacent images in real time.
저장부(210)는 본 파노라마 영상 제작 시스템을 구동하는데 필요한 정보들을 저장하기 위해 마련된다.The storage unit 210 is provided to store information necessary to drive the panoramic image production system.
구체적으로 저장부(210)는 제1 영상 정보 수집부(100)의 특성에 따라 작성된 룩업테이블 및 제2 영상 정보를 저장할 수 있다.In detail, the storage unit 210 may store a look-up table and second image information created according to the characteristics of the first image information collection unit 100.
여기서, 룩업테이블은 영상처리 기법에서 주로 사용되는 알고리즘으로서, 주어진 연산에 대해 미리 계산된 결과들의 배열을 의미한다.Here, the lookup table is an algorithm mainly used in an image processing technique and means an array of precomputed results for a given operation.
일반적으로 룩업테이블에 배열된 룩업테이블 값들은 주어진 연산에 대한 결과를 계산하는 시간보다 더 빠르게 값을 취득해 갈 수 있도록 사용되는 레퍼런스로 이용되어, 주로 실시간 데이터 취득, 실시간 프로세싱 시스템(임베디드 시스템)에서 적용될 수 있지만, 시간 내 연산 결과 획득에 대한 요구사항이 매우 높기 때문에, 배열의 최초 초기화할 때에는 연산량이 매우 많다는 문제가 있어, 초기화에서 딜레이가 일어날 수 있다.In general, lookup table values arranged in a lookup table are used as a reference used to obtain a value faster than a time for calculating a result of a given operation, and is mainly used in real-time data acquisition and a real-time processing system (embedded system). Although it can be applied, since the requirement for obtaining the result of calculation in time is very high, there is a problem that the amount of calculation is very large when initializing the array, and a delay may occur in the initialization.
이에, 본 실시예에 따른 제2 영상 정보 생성부(200)는, 어안 렌즈(110)의 실제 곡률 특성에 따른 보정 값이 산출되면, 산출된 보정 값에 따라 각도별 룩업테이블 값을 작성하여 저장부(210)에 저장할 수 있다.Accordingly, when the correction value according to the actual curvature characteristic of the fisheye lens 110 is calculated, the second image information generation unit 200 according to the present embodiment generates and stores a lookup table value for each angle according to the calculated correction value. It may be stored in the unit 210.
첨언하면, 어안 렌즈(110)의 표면에서 광축으로 투사되는 곡률이 어안 투사 유형에 따라 등거리 어안 유형, 입체 화법 유형, 정사영 유형 및 이퀄 솔리드 유형으로 구분될 수 있으며, 각각의 어안 투사 유형에 따라 실제 곡률 특성에 따른 보정 값이 실험적 데이터 및 수학적 원리에 근거한 수식을 통해 개별적으로 산출되며, 산출된 보정 값에 따라 각도별 룩업테이블 값이 작성될 수 있다. Incidentally, the curvature projected from the surface of the fisheye lens 110 to the optical axis can be divided into equidistant fisheye type, stereoscopic type, orthographic type and equal solid type according to the fisheye projection type, and according to each fisheye projection type The correction values according to the curvature characteristics are individually calculated through the equations based on experimental data and mathematical principles, and an angle lookup table value may be prepared according to the calculated correction values.
실시간 매핑부(220)는 어안 렌즈(110)의 실제 곡률 특성에 따라 보정 값이 산출되면, 산출된 보정 값에 따라 작성된 각도별 룩업테이블 값을 기반으로 수집된 제1 영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되도록 하기 위해 마련된다.When the correction value is calculated according to the actual curvature characteristic of the fisheye lens 110, the real-time mapping unit 220 configures the collected first image information based on the lookup table value for each angle created according to the calculated correction value. The first position coordinates of the pixels are provided to map in real time to a second position coordinate corresponding to a previously stored lookup table.
구체적으로 실시간 매핑부(220)는 도 6에 도시된 제1 영상 정보를 구성하는 복수의 픽셀들 중 어느 하나의 픽셀의 제1 위치 좌표(X, Y)를 기저장된 룩업테이블에 대응되는 제2 위치 좌표(X‘, Y’)로 실시간 매핑시켜, 2차원 영상 좌표 사이의 편차가 보정하여 제2 영상 정보가 생성되도록 할 수 있다. In more detail, the real-time mapping unit 220 may include a second position corresponding to a lookup table in which first position coordinates X and Y of one of the plurality of pixels constituting the first image information illustrated in FIG. 6 are stored in advance. By mapping in real time to the position coordinates X 'and Y', the deviation between the two-dimensional image coordinates may be corrected to generate second image information.
구체적으로, 실시간 매핑부(220)는 본 실시예에 따른 제1 영상 정보에 포함된 어느 하나의 픽셀의 제1 위치 좌표(X, Y)를 제2 위치 좌표(X‘, Y’)로 매핑시키기 위한 보정 값은 아래와 같이 산출할 수 있다. In detail, the real-time mapping unit 220 maps the first position coordinates X and Y of one pixel included in the first image information to the second position coordinates X ′ and Y ′ according to the present embodiment. The correction value can be calculated as follows.
우선, 원점을 기준으로 제1 위치 좌표(X, Y)까지의 최단거리를 나타내는 r과 경도를 나타내는 θ는 다음과 같은 수식으로 산출될 수 있다.First, r representing the shortest distance to the first position coordinates (X, Y) from the origin and θ representing the hardness may be calculated by the following equation.
Figure PCTKR2017003388-appb-I000003
Figure PCTKR2017003388-appb-I000003
Figure PCTKR2017003388-appb-I000004
Figure PCTKR2017003388-appb-I000004
Figure PCTKR2017003388-appb-I000005
Figure PCTKR2017003388-appb-I000005
또한, 원점을 기준으로 제2 위치 좌표(X’, Y’)까지의 최단거리를 나타내는 R은 θ가 45°인 경우, r : R의 비율은 1 :
Figure PCTKR2017003388-appb-I000006
로 비율의 최대값을 갖는다.In addition, R which represents the shortest distance to 2nd position coordinate X ', Y' with respect to an origin is a ratio of r: R when (theta) is 45 degrees.
Figure PCTKR2017003388-appb-I000006
Has the maximum value of the ratio.
그리고 도 7a에 도시된 바와 같이 θ가 0° 내지 45°이하(
Figure PCTKR2017003388-appb-I000007
)인 경우, R은 다음과 같은 수식으로 산출될 수 있다.And θ is 0 ° to 45 ° or less as shown in Figure 7a (
Figure PCTKR2017003388-appb-I000007
), R may be calculated by the following formula.
Figure PCTKR2017003388-appb-I000008
Figure PCTKR2017003388-appb-I000008
Figure PCTKR2017003388-appb-I000009
Figure PCTKR2017003388-appb-I000009
Figure PCTKR2017003388-appb-I000010
Figure PCTKR2017003388-appb-I000010
또한, 도 8에 도시된 바와 같이 임의의 픽셀의 제1 위치 좌표에 대하여 직교좌표 관점에서 중간에 공백이 발생하는 픽셀들에 대해서는 인접 픽셀들에 대한 평균값(보간)을 산출할 수 있다.In addition, as illustrated in FIG. 8, an average value (interpolation) of neighboring pixels may be calculated for pixels having a space in the middle from a rectangular coordinate point with respect to a first position coordinate of an arbitrary pixel.
구체적으로 인접 픽셀들에 대한 평균값(보간)을 산출하기 위해 r을 임의로 분할한 최소단위를 나타내는 값이 i인 경우, 임의의 픽셀의 제1 위치 좌표까지의 최단거리가 r-i로 정의할 수 있으며, 제1 위치 좌표가 제2 위치 좌표로 매핑되기 위해 이동되는 거리는 임의의 픽셀의 제1 위치 좌표까지의 최단거리가 r이 경우에 최대가 되고, 소정의 비(
Figure PCTKR2017003388-appb-I000011
)에 따라 점진적으로 감소될 수 있어, 제1 위치 좌표가 제2 위치 좌표로 매핑되기 위한 R은 이때 다음과 같은 수식으로 산출될 수 있다.In more detail, when a value representing the minimum unit obtained by arbitrarily dividing r to calculate an average value (interpolation) for adjacent pixels is i, the shortest distance to the first position coordinate of an arbitrary pixel may be defined as ri. The distance that the first position coordinate is moved to map to the second position coordinate is maximum when the shortest distance to the first position coordinate of any pixel is r, and the predetermined ratio (
Figure PCTKR2017003388-appb-I000011
May be gradually decreased, so that R for mapping the first position coordinates to the second position coordinates may be calculated by the following equation.
Figure PCTKR2017003388-appb-I000012
Figure PCTKR2017003388-appb-I000012
구체적으로
Figure PCTKR2017003388-appb-I000013
가 0인 경우, R은
Figure PCTKR2017003388-appb-I000014
로 산출될 수 있으며,
Figure PCTKR2017003388-appb-I000015
가 1인 경우, R은
Figure PCTKR2017003388-appb-I000016
로 산출될 수 있으며,
Figure PCTKR2017003388-appb-I000017
가 2인 경우,
Figure PCTKR2017003388-appb-I000018
로 산출될 수 있다. Specifically
Figure PCTKR2017003388-appb-I000013
Is 0, R is
Figure PCTKR2017003388-appb-I000014
Can be calculated as
Figure PCTKR2017003388-appb-I000015
Is 1, R is
Figure PCTKR2017003388-appb-I000016
Can be calculated as
Figure PCTKR2017003388-appb-I000017
Is 2,
Figure PCTKR2017003388-appb-I000018
It can be calculated as.
또한, 도 7b에 도시된 바와 같이 임의의 픽셀의 제1 위치 좌표까지의 최단거리가 r이고, θ가 45° 내지 90°이하(
Figure PCTKR2017003388-appb-I000019
)인 경우, R은 다음과 같은 수식으로 산출될 수 있다.In addition, as shown in FIG. 7B, the shortest distance to the first position coordinate of any pixel is r, and θ is 45 ° to 90 ° or less (
Figure PCTKR2017003388-appb-I000019
), R may be calculated by the following formula.
Figure PCTKR2017003388-appb-I000020
Figure PCTKR2017003388-appb-I000020
Figure PCTKR2017003388-appb-I000021
Figure PCTKR2017003388-appb-I000021
Figure PCTKR2017003388-appb-I000022
Figure PCTKR2017003388-appb-I000022
임의의 픽셀의 제1 위치 좌표까지의 최단거리가 r-i 인 경우, R은 다음과 같은 수식으로 산출될 수 있다.When the shortest distance to the first position coordinate of any pixel is r-i, R may be calculated by the following equation.
Figure PCTKR2017003388-appb-I000023
Figure PCTKR2017003388-appb-I000023
한편, 스티치부(230)는 생성된 제2 영상 정보들을 서로 스티치 처리하여 파노라마 영상을 제작하기 위해 마련된다.Meanwhile, the stitch unit 230 is provided to stitch the generated second image information with each other to produce a panorama image.
스티치부(230)는 파노라마 동영상이 복수의 카메라에 의해 촬영된 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치 처리한 상태로 되도록 할 수 있다. The stitch unit 230 may allow a panoramic video to be synchronized with timelines between videos captured by a plurality of cameras and to stitch adjacent videos.
예를 들어, 스티치부(230)는 A 카메라를 통해 a 장면을 촬영한 시점과 B 카메라를 통해 b 장면을 촬영한 시점을 일치시키는 타임 라인 동기화 작업을 수행하고, 타임 라인이 동기화된 상태에서 a 장면의 우측 에지 부분의 피사체(자동차 앞부분)와 b 장면의 좌측 에지 부분(자동차 뒷부분)의 피사체를 결합함으로써 a 장면과 b 장면이 자연스러운 하나의 장면이 되어 피사체의 온전한 부분(자동차 전체)이 디스플레이되도록 하는 것을 의미한다. For example, the stitch unit 230 performs a timeline synchronization operation that matches the time point at which the scene a was shot with the camera A and the time point b was captured with the B camera, and the time a is synchronized. By combining the subject in the right edge of the scene (front part of the car) with the subject in the left edge of the scene (part of the back of the car), the scenes a and b become one natural scene so that the whole part of the subject (the whole car) is displayed. I mean.
이러한 동영상의 스티치 처리에는 각 카메라의 화각 내에 들어온 피사체들이 중복으로 출현되거나 피사체들 간의 공백이 발생되지 않도록 하는 것이 중요하다.It is important that the stitches of the moving images do not appear in the subjects in each camera's angle of view in duplicate or the gaps between the subjects occur.
구체적으로 스티치부(230)는 도 9a에 도시된 바와 같이 피사체가 촬영되어 수집된 이후, 수집된 복수의 제1 동영상 정보들 중 기설정된 영역(α-1, α-3, β-1, β-3)이 룩업테이블을 기반으로 개별적으로 가공되어 도 9b에 도시된 바와 같이 각각의 제2 동영상 정보들(α-2, α-4, β-2, β-4)이 생성되면, 도 10에 도시된 바와 같이 생성된 각각의 제2 동영상 정보들의 좌측 및 우측의 기설정된 영역(α, β)이 서로 스티치 되도록 할 수 있다. In detail, the stitch unit 230 is a predetermined region (α-1, α-3, β-1, β of the plurality of collected first video information after the subject is photographed and collected as shown in FIG. 9A). -3) when the second video information α-2, α-4, β-2, and β-4 is generated as shown in FIG. 9B by individually processing the lookup table, FIG. As illustrated in FIG. 2, the predetermined areas α and β on the left and right sides of the second video information generated may be stitched together.
인코딩부(240)는 제작된 파노라마 영상 기설정된 방식으로 인코딩하기 위해 마련된다. The encoder 240 is provided to encode the produced panoramic image in a predetermined manner.
구체적으로 인코딩부(240)는 H.264 코덱을 이용하여 스티치된 제2 영상 정보를 파노라마 영상 규격에 맞게 인코딩할 수 있다. In detail, the encoding unit 240 may encode the stitched second image information according to the panorama image standard by using the H.264 codec.
도 11은 본 발명의 일 실시예에 따른 파노라마 영상 제작 시스템을 이용하는 파노라마 영상 제작 방법을 설명하기 위한 도면이다. 11 is a view for explaining a panoramic image production method using a panoramic image production system according to an embodiment of the present invention.
이하에서는 도 11을 참조하여 본 실시예에 따른 파노라마 영상 제작 시스템을 이용하는 파노라마 영상 제작 방법을 설명하기로 한다.Hereinafter, a panorama image production method using the panorama image production system according to the present embodiment will be described with reference to FIG. 11.
우선, 제1 영상 정보 수집부(100)를 통해 복수의 영상이 촬영되어 피사체에 대한 제1 영상 정보가 수집될 수 있다(S910). 구체적으로 예를 들면, 각각의 어안 렌즈(110)에 의해 서로 다른 방향의 피사체가 동시에 촬영되어 피사체에 대한 제1 영상 정보가 수집될 수 있다. First, a plurality of images may be photographed through the first image information collecting unit 100 to collect first image information on a subject (S910). Specifically, for example, subjects in different directions may be simultaneously photographed by each fisheye lens 110 to collect first image information about the subject.
복수의 영상이 촬영되어 제1 영상 정보가 수집되면, 제2 영상 정보 생성부(200)가 각각의 제1 영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되도록 할 수 있다(S920). When a plurality of images are captured and the first image information is collected, the second image information generator 200 may include a first position coordinate of each pixel constituting each of the first image information corresponding to a previously stored lookup table. The real time mapping may be performed using two position coordinates (S920).
여기서 룩업테이블은 각각의 어안 렌즈(110)의 특성에 따라 산출된 편차의 보정 값을 기반으로 작성된다.Here, the lookup table is prepared based on the correction value of the deviation calculated according to the characteristics of each fisheye lens 110.
제1 영상 정보를 구성하는 각각의 픽셀들이 제2 위치 좌표로 매핑되면, 제2 영상 생성부(200)가 매핑된 제2 위치 좌표에 각각의 픽셀들이 배치되어 각각의 제2 영상 정보를 생성하고(S930), 생성된 제2 영상 정보들을 각각의 제2 영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치되도록 할 수 있다(S940). When each pixel constituting the first image information is mapped to the second position coordinates, the second image generator 200 generates the respective second image information by placing the respective pixels at the mapped second position coordinates. In operation S940, the generated second image information may be stitched with the predetermined areas on the left and right sides of each of the second image information.
각각의 제2 영상 정보들이 서로 스티치되어 하나의 파노라마 영상이 생성되면, 제2 영상 생성부(200)는 스티치된 파노라마 영상을 기설정된 영상 규격에 맞게 크기를 조절하여 인코딩할 수 있다(S950).When each of the second image information is stitched together to generate one panorama image, the second image generator 200 may adjust the size of the stitched panorama image according to a preset image standard and encode the encoded image (S950).
이에 의해, 비선형 방사왜곡에 대한 문제를 해결하기 위한 영상 처리 과정을 거쳐 파노라마 영상을 제작하되, 실시간으로 영상 처리 과정을 수행할 수 있으며, 파노라마 영상 제작 시스템의 크기를 소형화시킬 수 있어, 영상 촬영 수단과 영상 처리 수단을 하나의 자립형 임베디드로 구현할 수 있다.As a result, a panorama image may be produced through an image processing process for solving the problem of nonlinear radiation distortion, and the image processing process may be performed in real time, and the size of the panorama image production system may be reduced. And image processing means can be implemented as a single embedded.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명의 기술적 사상을 효과적으로 설명하기 위한 특정의 실시예를 위주로 도시하고 설명한 것에 불과하다. 따라서, 본 발명은 상기한 실시예에만 한정되지는 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다. 아울러, 본 발명의 범위는 상기의 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, only specific embodiments for effectively explaining the technical idea of the present invention are illustrated and described. Therefore, the present invention is not limited to the above-described embodiments, and those skilled in the art to which the present invention pertains have various changes without departing from the spirit of the technical idea of the invention described in the claims below. You can do it. In addition, the scope of the present invention is indicated by the appended claims rather than the detailed description above. Also, it is to be construed that all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention.

Claims (8)

  1. 피사체에 대한 제1 영상 정보를 수집하는 제1 영상 정보 수집부; 및 A first image information collecting unit collecting first image information about a subject; And
    상기 수집된 제1 영상 정보를 기저장된 룩업테이블을 기반으로 가공하여 제2 영상 정보를 생성하는 제2 영상 정보 생성부;를 포함하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.And a second image information generator configured to process the collected first image information based on a pre-stored lookup table to generate second image information.
  2. 제1항에 있어서,The method of claim 1,
    상기 제1 영상 정보는,The first video information,
    기설정된 시구간 동안 기설정된 지리적 위치를 기준으로 한 전방, 후방, 상방, 하방, 좌측방 및 우측방 영상들 중 적어도 두 개를 포함하는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.A look-up table based real-time panoramic image production system, characterized in that it comprises at least two of the front, rear, up, down, left and right images based on a predetermined geographic location for a predetermined time period.
  3. 제2항에 있어서,The method of claim 2,
    상기 제2 영상 정보 생성부는, The second image information generator,
    상기 제1 영상 정보 수집부를 통해 상기 제1 영상 정보가 수집되면, 상기 수집된 제1 영상 정보가 출력되거나, 저장되기 이전에 상기 기저장된 룩업테이블을 기반으로 가공하여 상기 제2 영상 정보를 생성하는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.When the first image information is collected through the first image information collecting unit, the second image information is generated by processing the collected first image information based on the pre-stored lookup table before being output or stored. Real-time panorama image production system based on the lookup table, characterized in that.
  4. 제3항에 있어서,The method of claim 3,
    상기 제2 영상 정보 생성부는,The second image information generator,
    상기 수집된 제1 영상 정보를 구성하는 각각의 픽셀들의 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 제2 위치 좌표로 실시간 매핑되어 상기 제2 영상 정보를 생성하는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.Based on the lookup table, the first position coordinates of the pixels constituting the collected first image information are mapped in real time to a second position coordinate corresponding to the pre-stored lookup table to generate the second image information. Real-time panoramic image production system.
  5. 제4항에 있어서,The method of claim 4, wherein
    상기 제2 영상 정보 생성부는,The second image information generator,
    상기 수집된 제1 영상 정보가 복수인 경우, 각각의 제1 영상 정보를 구성하는 상기 각각의 픽셀들의 상기 제1 위치 좌표가 상기 기저장된 룩업테이블에 대응되는 상기 제2 위치 좌표로 실시간 매핑되어 각각의 제2 영상 정보를 생성하고, 상기 각각의 제2 영상 정보의 좌측 및 우측의 기설정된 영역이 서로 스티치 되도록 하되, 피사체의 중복이나 피사체의 공백이 발생되지 않도록 처리하는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.When the collected first image information is plural, the first position coordinates of the pixels constituting each first image information are mapped in real time to the second position coordinates corresponding to the pre-stored lookup table, respectively. Generates a second image information, and the predetermined area on the left and right sides of each of the second image information is stitched with each other, so that the overlapping of the subject or the blank of the subject is processed; Real-time panoramic image production system.
  6. 제5항에 있어서,The method of claim 5,
    상기 제2 영상 정보 생성부는,The second image information generator,
    상기 각각의 제2 영상 정보가 스티치되면, 스티치된 상기 제2 영상 정보를 규격에 맞게 인코딩하여 저장하거나 출력하는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.When the respective second image information is stitched, the stitched second image information is encoded and stored or output according to a standard.
  7. 제4항에 있어서,The method of claim 4, wherein
    상기 룩업테이블은, The lookup table,
    경도를 나타내는 θ가 0° 내지 45°이하이며, 상기 각각의 픽셀들의 원점을 기준으로 상기 제1 위치 좌표까지의 최단거리를 r이라고 하고, 상기 원점을 기준으로 상기 제2 위치 좌표까지의 최단거리를 R이라고 하면, 상기 제2 위치 좌표까지의 최단거리가,
    Figure PCTKR2017003388-appb-I000024
    로 산출되고,     Θ representing the longitude is 0 ° to 45 ° or less, and the shortest distance to the first position coordinate based on the origin of each of the pixels is r, and the shortest distance to the second position coordinate based on the origin If R is the shortest distance to the second position coordinate,
    Figure PCTKR2017003388-appb-I000024
    Is calculated as
    상기 θ가 45° 내지 90°이하이면, 상기 제2 위치 좌표까지의 최단거리가,
    Figure PCTKR2017003388-appb-I000025
    로 산출되어 작성되는 것을 특징으로 하는 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템.    When the θ is 45 ° to 90 ° or less, the shortest distance to the second position coordinate is
    Figure PCTKR2017003388-appb-I000025
    The look-up table-based real-time panorama image production system, characterized in that is calculated and created by.
  8. 제1 영상 정보 수집부를 통해 피사체를 서로 다른 시점에서 촬영하여 복수의 제1 영상 정보를 수집하는 단계; 및 Collecting a plurality of first image information by photographing a subject at different points of time through the first image information collecting unit; And
    제2 영상 정보 생성부가 기저장된 룩업테이블을 기반으로 가공하여 제2 영상 정보를 생성하는 단계;를 포함하는 실시간 룩업테이블 기반의 파노라마 영상 제작 방법.And generating second image information by processing the second image information generator based on the pre-stored lookup table.
PCT/KR2017/003388 2016-11-18 2017-03-29 Real-time panoramic image production system on basis of lookup table and real-time panoramic image production method using same WO2018092992A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160153996A KR101704362B1 (en) 2016-11-18 2016-11-18 System for real time making of panoramic video base on lookup table and Method for using the same
KR10-2016-0153996 2016-11-18

Publications (1)

Publication Number Publication Date
WO2018092992A1 true WO2018092992A1 (en) 2018-05-24

Family

ID=58155066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003388 WO2018092992A1 (en) 2016-11-18 2017-03-29 Real-time panoramic image production system on basis of lookup table and real-time panoramic image production method using same

Country Status (2)

Country Link
KR (1) KR101704362B1 (en)
WO (1) WO2018092992A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791390A (en) * 2016-12-16 2017-05-31 上海传英信息技术有限公司 Wide-angle auto heterodyne live preview method and user terminal
CN113225491A (en) * 2021-04-01 2021-08-06 桂林电子科技大学 Embedded multi-lens panoramic video imaging method and device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198217B1 (en) 2018-04-11 2021-01-04 한국전자통신연구원 Look-up table based stitching image generating apparatus and method
WO2021132832A1 (en) * 2019-12-23 2021-07-01 서경대학교 산학협력단 Image distribution and conversion device for multi-projector image registration and image registration method using same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066183A (en) * 2003-12-26 2005-06-30 주식회사 팬택 System and method for embodying panorama image
KR20060132383A (en) * 2005-06-18 2006-12-21 엘지전자 주식회사 Mobile communication terminal enable to shot of panorama and its operating method
KR20090078463A (en) * 2008-01-15 2009-07-20 주식회사 이미지넥스트 Distorted image correction apparatus and method
KR20160116075A (en) * 2015-03-25 2016-10-07 ㈜베이다스 Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor
KR20160118868A (en) * 2015-04-03 2016-10-12 한국전자통신연구원 System and method for displaying panorama image using single look-up table

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993471A (en) * 1995-09-25 1997-04-04 N H K Itec:Kk Panorama television camera and video monitor
KR100944389B1 (en) 2008-05-14 2010-03-03 (주)파노시스 One-shot panorama virtual reality photographing device
KR101502448B1 (en) * 2014-09-25 2015-03-13 주식회사 영국전자 Video Surveillance System and Method Having Field of Views of 360 Degrees Horizontally and Vertically

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066183A (en) * 2003-12-26 2005-06-30 주식회사 팬택 System and method for embodying panorama image
KR20060132383A (en) * 2005-06-18 2006-12-21 엘지전자 주식회사 Mobile communication terminal enable to shot of panorama and its operating method
KR20090078463A (en) * 2008-01-15 2009-07-20 주식회사 이미지넥스트 Distorted image correction apparatus and method
KR20160116075A (en) * 2015-03-25 2016-10-07 ㈜베이다스 Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor
KR20160118868A (en) * 2015-04-03 2016-10-12 한국전자통신연구원 System and method for displaying panorama image using single look-up table

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791390A (en) * 2016-12-16 2017-05-31 上海传英信息技术有限公司 Wide-angle auto heterodyne live preview method and user terminal
CN113225491A (en) * 2021-04-01 2021-08-06 桂林电子科技大学 Embedded multi-lens panoramic video imaging method and device
CN113225491B (en) * 2021-04-01 2023-01-31 桂林电子科技大学 Embedded multi-lens panoramic video imaging method and device

Also Published As

Publication number Publication date
KR101704362B1 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
EP3356887B1 (en) Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
CN107637060B (en) Camera rig and stereoscopic image capture
US7429997B2 (en) System and method for spherical stereoscopic photographing
CN105678693B (en) Panoramic video browses playback method
CN109348119B (en) Panoramic monitoring system
WO2018092992A1 (en) Real-time panoramic image production system on basis of lookup table and real-time panoramic image production method using same
US8208048B2 (en) Method for high dynamic range imaging
CN107341832B (en) Multi-view switching shooting system and method based on infrared positioning system
JP4914171B2 (en) Imaging device control method and camera system
JP2005500721A (en) VTV system
CN107358577B (en) Rapid splicing method of cubic panoramic image
WO2018101652A1 (en) Device for providing realistic media image
JP7196421B2 (en) Information processing device, information processing system, information processing method and program
KR20120108747A (en) Monitoring camera for generating 3 dimensional scene and method thereof
KR101725024B1 (en) System for real time making of 360 degree VR video base on lookup table and Method for using the same
KR20140090775A (en) Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof
JP2006515128A (en) Stereo panoramic image capturing device
CN111866523B (en) Panoramic video synthesis method and device, electronic equipment and computer storage medium
CN109166076B (en) Multi-camera splicing brightness adjusting method and device and portable terminal
CN107197135B (en) Video generation method and video generation device
EP3420725A1 (en) A multi-camera device and a calibration method
WO2018121401A1 (en) Splicing method for panoramic video images, and panoramic camera
CN111083368A (en) Simulation physics cloud platform panoramic video display system based on high in clouds
WO2013180442A1 (en) Apparatus and camera for filming three-dimensional video
CN111061123B (en) Rotary panoramic imaging system for tourist landscape display and use method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17870791

Country of ref document: EP

Kind code of ref document: A1