WO2019209069A1 - 광각 영상 제공 방법 - Google Patents

광각 영상 제공 방법 Download PDF

Info

Publication number
WO2019209069A1
WO2019209069A1 PCT/KR2019/005074 KR2019005074W WO2019209069A1 WO 2019209069 A1 WO2019209069 A1 WO 2019209069A1 KR 2019005074 W KR2019005074 W KR 2019005074W WO 2019209069 A1 WO2019209069 A1 WO 2019209069A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
images
angle
phase difference
Prior art date
Application number
PCT/KR2019/005074
Other languages
English (en)
French (fr)
Inventor
박성열
Original Assignee
주식회사 텐앤투
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180048328A external-priority patent/KR102057602B1/ko
Priority claimed from KR1020180048327A external-priority patent/KR102062736B1/ko
Priority claimed from KR1020180048326A external-priority patent/KR102062734B1/ko
Application filed by 주식회사 텐앤투 filed Critical 주식회사 텐앤투
Priority to EP19791751.1A priority Critical patent/EP3787277A4/en
Priority to CN201980028456.XA priority patent/CN112119626B/zh
Priority to JP2021509710A priority patent/JP7231281B2/ja
Priority to US17/050,461 priority patent/US11523054B2/en
Publication of WO2019209069A1 publication Critical patent/WO2019209069A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • An embodiment of the present invention relates to a wide-angle image providing method.
  • CCTV cameras are used for crime prevention in general homes or in places such as department stores, banks, exhibition halls, etc. to prevent and prevent intrusion, theft or fire in advance, and are installed to promptly deal with accidents. .
  • such a CCTV camera system is installed in a specific place for a specific purpose and is used for the purpose of monitoring the image from a remote place in order to monitor all the situations. It is generally installed on the wall or ceiling and set in a specific direction.
  • cameras used in CCTV and the like generally have an angle of view of 30 ° to 70 °, and the shooting range is limited so that a blind spot exists.
  • a fish-eye lens or the like is used. The same wide-angle lens is used.
  • a camera equipped with a wide-angle lens has a characteristic that a focal length is shorter and a field of view is wider than that of a standard lens, and the acquired image has a radial distortion. ) And distortion of the object occurs.
  • the image taken by the panoramic camera according to the prior art has a problem that the position distortion phenomenon occurs.
  • the present invention has been made to solve the above-described problem, the wide-angle image providing system according to the present invention has no blind spots, provides a wide-angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration, and wide-angle without distortion It is possible to output the image in VR form by providing the image and to prevent distortion even when the image is reduced or enlarged.
  • the wide-angle image providing system is to utilize a variety of camera modules, such as mobile cameras, CCTV cameras, web cameras, and to provide a wide-angle image through correction using a dedicated program or a dedicated mobile application.
  • the wide-angle image providing system provides a wide-angle image providing method and system that can be applied to the entire industry, such as cars, drones, mobile, cameras, ships, rockets, medical, defense, home, leisure, etc. I would like to.
  • the method for providing a wide-angle image generates a first region image in which the first camera module photographs the first region, and the second camera module includes a first camera.
  • the distortion correction step is to correct the perspective distortion after the wide angle distortion correction of the first and second region images, respectively
  • the phase difference correction step is the phase difference correction unit
  • coordinate rotation is moved to adjust the position of the first and second region images
  • the overlap correction unit adjusts the size of the first and second region images, respectively.
  • the coordinates are moved to overlap the coordinates, and the color correction step may adjust brightness and chromatic aberration of the overlapped image corrected by the color correction unit.
  • the photographing step includes the first and second camera modules to be photographed at an angle of 110 ° to 135 ° from each other. An image can be generated.
  • the method for providing a wide-angle image generates a first region image in which the first camera module photographs the first region, and a second camera module adjacent to the right side of the first region. Generates a second region image photographing the region, the third camera module generates a third region image photographing the third region adjacent to the lower side of the first region, and the fourth camera module generates a second region image of the second region.
  • the distortion correction unit corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction step includes the phase difference.
  • the correction unit extracts the horizontal reference point of the first, second, third, and fourth region images
  • coordinates are moved to adjust the position of the first, second, third, and fourth region images
  • the overlapping correction step is the overlap correction.
  • the coordinates are moved to overlap the coordinates, and the color correction step controls the brightness and chromatic aberration of the overlapped image corrected by the color correction unit. Can be.
  • the photographing step may further include adjusting the angles formed by the first, second, third, and fourth camera modules.
  • the method for providing a wide-angle image generates a first region image in which the first camera module photographs the first region, and a second camera module adjacent to the right side of the first region.
  • Generate a second region image photographing the region the third camera module generates a third region image photographing the third region that is opposite to the first region, and the fourth camera module is the opposite side of the second region
  • a photographing step of generating a fourth region image photographing a fourth region adjacent to the right side of the third region A distortion correction step of distorting the first, second, third, and fourth region images by the distortion correction unit;
  • a phase difference correction step of performing phase difference correction on each of the first, second, third, and fourth region images corrected by the phase difference correction unit;
  • An overlap correction step of overlapping and correcting the first, second, third, and fourth region images corrected by the phase difference so that the region images are adjacent to each other;
  • the distortion correction unit corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction step includes the phase difference.
  • the correction unit extracts the horizontal reference point of the first, second, third, and fourth region images
  • coordinates are moved to adjust the position of the first, second, third, and fourth region images
  • the overlapping correction step is the overlap correction.
  • the coordinates are moved to overlap the coordinates, and the color correction step controls the brightness and chromatic aberration of the overlapped image corrected by the color correction unit. Can be.
  • the photographing step includes adjusting the angles formed by the first and second camera modules; And adjusting an angle between the third and fourth camera modules.
  • the image can be output in a VR form, and distortion does not occur even when the image is reduced or enlarged.
  • the present invention can utilize a variety of camera modules, such as a mobile camera, a CCTV camera, a web camera, and can provide a wide-angle image through the correction using a dedicated program or a dedicated mobile application.
  • camera modules such as a mobile camera, a CCTV camera, a web camera
  • an image of a wide field of view may be provided by applying to an entire industry where cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.
  • FIG. 1 is a block diagram of a wide-angle image providing system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a wide-angle image providing method according to an embodiment of the present invention.
  • FIG 3 is a view for explaining a photographing area of the first and second cameras according to an exemplary embodiment of the present invention.
  • 4 to 8 are diagrams for explaining a first and second region image correction process for explaining a wide-angle image providing method according to an embodiment of the present invention.
  • FIG 9 and 10 are views illustrating an arrangement position of first and second cameras according to an embodiment of the present invention.
  • 11 and 12 are diagrams illustrating a photographing arrangement angle of a camera according to an arrangement position of first and second cameras according to an embodiment of the present invention.
  • 13 to 15 are views illustrating a correction booth for the correction of the wide-angle image providing method according to an embodiment of the present invention.
  • 16 is a perspective view of a camera module of a wide-angle image providing system according to an embodiment of the present invention.
  • 17 is an exploded view of a camera module of a wide-angle image providing system according to an embodiment of the present invention.
  • FIG. 18 is a diagram for describing a method of arranging and adjusting an angle of a camera module of a wide-angle image providing system according to an exemplary embodiment of the present invention.
  • 19 is a block diagram of a wide-angle image providing system according to another embodiment of the present invention.
  • 20 is a flowchart illustrating a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • 21 to 25 are diagrams for describing a process of correcting a first, second, third, and fourth region image for explaining a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • 26 to 28 are views illustrating a correction booth for correcting a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • FIG. 29 is a view illustrating photographing arrangement angles of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to another embodiment of the present invention.
  • FIG. 30 is a perspective view of a camera module of a wide-angle image providing system according to another exemplary embodiment.
  • FIG. 31 is an exploded view of a camera module of a wide-angle image providing system according to another exemplary embodiment.
  • 32 to 36 are diagrams for describing a correction process of first, second, third, and fourth region images for explaining a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • 37 to 39 are views illustrating a correction booth for correcting a wide-angle image providing method according to another embodiment of the present invention.
  • FIG 40 is a view illustrating a photographing arrangement angle of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to another embodiment of the present invention.
  • 41 is a configuration diagram of a camera module of a wide-angle image providing system according to another embodiment of the present invention.
  • FIG. 42 is a perspective view of a camera module of a wide-angle image providing system according to another embodiment of the present invention.
  • FIG. 43 is a view illustrating an angle adjusting method of a camera module of a wide-angle image providing system according to another embodiment of the present invention.
  • 44 is an exploded view of a camera module of a wide-angle image providing system according to another embodiment of the present invention.
  • FIG. 1 is a block diagram of a wide-angle image providing system according to an embodiment of the present invention.
  • the configuration of the wide-angle image providing system according to an exemplary embodiment of the present invention will be described with reference to FIG. 1.
  • a wide-angle image providing system includes a first camera module 110, a second camera module 120, a correction processor 130, and an image storage unit 140.
  • the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, an overlap correction unit 133, and a color correction unit 134.
  • the first camera module 110 generates a first region image photographing the first region
  • the second camera module 120 generates a second region image photographing the second region adjacent to the first region.
  • the first camera module 110 may generate a first region image that is a left image by photographing an area corresponding to a left side of an area to be photographed, and the second camera module 120. Captures an area corresponding to the right side of the area to be photographed to generate a second area image that is a right image.
  • the photographing surfaces of the first camera module 110 and the second camera module 120 are disposed at an angle of 110 ° to 135 ° with each other, such that the first camera module 110 and the second camera are disposed.
  • the image photographed by the camera module 120 may provide an image having an angle of view of 180 ° to 200 ° and up and down to 90 ° to 110 °.
  • the images photographed by the first and second cameras 110 and 120 include wide-angle distortion and perspective distortion.
  • the images photographed by using two cameras are overlapped to be adjacent to each other, a phase difference, an overlapped area, and a business card difference are obtained. Or chromatic aberration occurs.
  • the correction processor 130 corrects the distortion, phase difference, overlapped area, business card difference, or chromatic aberration of the image as described above. That is, the correction processor 130 corrects distortion and phase difference of the first and second region images photographed by the first and second cameras 110 and 120, respectively, and overlaps the phase difference corrected first and second region images. Calibrate and color correct.
  • the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, an overlap correction unit 133, and a color correction unit 134.
  • the distortion correcting unit 131 corrects the distortion of the first region image photographed by the first camera module 110
  • the phase difference correcting unit 132 corrects the phase difference of the first and second region images corrected for each distortion.
  • the overlap correction unit 133 overlaps and corrects the phase-corrected first and second region images to be adjacent to each other
  • the color correction unit 134 may color-correct the overlapped and corrected overlapping images.
  • the distortion correction unit 131 corrects perspective distortion after wide-angle distortion correction of the first and second region images
  • the phase difference correction unit 132 adjusts the first and second region images.
  • the coordinate rotation is moved to adjust the position of the first and second region images
  • the overlap correction unit 133 adjusts the size of the first and second region images, and then moves the coordinates to overlap each other.
  • Position adjustment so as to, and the color correction unit 134 may adjust the brightness and chromatic aberration of the superimposed and superimposed image.
  • the image storage unit 140 may store the image corrected and synthesized by the correction processor 130 as described above.
  • a wide-angle image without blind spots and without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided.
  • FIG. 2 is a flowchart illustrating a method for providing a wide-angle image according to an embodiment of the present invention
  • FIG. 3 is a view for explaining a photographing area of the first and second cameras according to an embodiment of the present invention.
  • 4 to 8 are diagrams for explaining a first and second region image correction process for explaining a wide-angle image providing method according to an embodiment of the present invention.
  • the first camera module corresponding to the left camera generates and extracts a first area image photographing the first area (S210), and corresponds to the right camera (right camera).
  • the second camera module generates and extracts a second region image photographing the second region adjacent to the first region (S211).
  • the extracted first and second region images include perspective distortion and wide-angle distortion. Therefore, the distortion correcting unit corrects the wide-angle distortion and the perspective distortion of the first and second region images, respectively, with reference to the distortion constant (S220 and S221).
  • FIG 4 shows the first and second region images in which the wide-angle distortion correction and the perspective distortion correction are thus performed.
  • the phase difference correction unit extracts a horizontal reference point of the first and second region images corrected for the wide angle distortion and the perspective distortion by referring to a phase difference constant, and then moves the coordinates as shown in FIG.
  • the position of the second region image is adjusted (S230 and S231), and the first and second region images adjusted by the coordinate rotation movement and position are respectively stored (S235 and S236).
  • the overlap correcting unit adjusts the size of the stored first and second area images with reference to the overlap constant, and then moves the coordinates to position the overlap as shown in FIG. 6 (S240).
  • a position-controlled overlapping image includes a first region image 111 in which the first camera module 110 photographs the first region, and a second region in which the second camera module 120 photographs the second region. It consists of a two-zone image 121, the overlapping area 301 is generated, the overlapping area 301 is the first camera module correction region 112 and the second camera module correction region 122, respectively ).
  • the color compensator adjusts brightness and chromatic aberration with reference to a color constant for the overlapped image corrected by overlapping as shown in FIG. 7, and the first and second region images are overlapped and synthesized as shown in FIG. 8. It generates and stores (S250, S255), and outputs the composite image stored in this way (S260).
  • FIGS. 11 and 12 are diagrams showing arrangement positions of the first and second cameras according to an embodiment of the present invention
  • FIGS. 11 and 12 are arrangement positions of the first and second cameras according to the embodiment of the present invention.
  • the figure shows the photographing arrangement angle of the camera.
  • 13 to 15 are diagrams illustrating a correction booth for correcting a wide-angle image providing method according to an exemplary embodiment of the present invention.
  • the photographing surfaces of the first and second cameras are 110 ° to 135 ° to each other as shown in FIG.
  • the first and second cameras and the wall may be disposed at an angle of 27 ° to 35 °, and may provide an image of other areas except the corresponding side (wall).
  • first and second cameras when the first and second cameras are disposed to face the ground, such as a place such as a ceiling, as shown in FIG. 10, as illustrated in FIG. It may be disposed at an angle to provide an image of all surfaces of both sides and an image of some surfaces of the remaining both sides.
  • FIG. 13 illustrates a calibration booth for correcting wide angle distortion and perspective distortion according to an embodiment of the present invention
  • FIG. 14 illustrates a correction booth for correcting an overlapping image according to an embodiment of the present invention. (Calibration Booth) is shown.
  • FIG. 15 illustrates a correction booth for correcting brightness and chromatic aberration of an area image according to an embodiment of the present invention.
  • a wide angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided, and a wide-angle image without distortion can be provided to output an image in VR form.
  • No distortion occurs when the image is reduced or enlarged.
  • an image of a wide field of view may be provided by applying to an entire industry where cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.
  • FIG. 16 is a perspective view of a camera module of a wide-angle image providing system according to an embodiment of the present invention
  • FIG. 17 is an exploded view of a camera module of a wide-angle image providing system according to an embodiment of the present invention
  • FIG. 1 is a diagram illustrating a method of arranging and adjusting an angle of a camera module of a wide angle image providing system according to an exemplary embodiment.
  • a first camera module 110 includes a first lens module 111, a first image sensor module 112, and a first structure 113. It is configured by.
  • the first image sensor module 112 generates a first region image photographing the first region through the first lens module 111, and the first structure 113 includes the first lens module 111 and the It may be configured to receive the first image sensor module 112.
  • the second camera module 120 may include a second lens module 121, a second image sensor module 122, and a second structure 123
  • the second image sensor module 122 may include the first lens. 2 generates a second region image photographing the second region through the lens module 121, and the second structure 123 accommodates the second lens module 121 and the first image sensor module 122. Can be configured.
  • first and second structures 113 and 123 may be formed of an aluminum frame for weight reduction.
  • first and second link units 115 and 125 are coupled to respective one sides of the first and second camera modules 110 and 120, respectively, and the circular plate 150 is fixed to the fixing plate 160 by a motor. Rotating, the circular plate 150 may be configured to include a curved groove 151 to which the first, second, link portions 115 and 125 are coupled and move.
  • first and second camera modules 110 and 120 are configured such that each other side opposite to the one side is hinged to each other, and the first and second link parts 115 and 125 are the circular plate 150.
  • the curved groove 151 may be moved by the rotation of) to adjust angles formed by the first and second camera modules 110 and 120.
  • the motor is controlled to rotate the circular plate 150 to adjust the angle between the first and second camera modules 110 and 120 and zoom in. And through the zoom out can obtain an optimal image capture angle.
  • angles of the first and second camera modules 110 and 120 may be determined according to angles of view of the first and second camera modules 110 and 120.
  • ⁇ is the angle of the first and second camera modules to the bottom surface
  • a is the horizontal angle of view of the first and second camera modules.
  • ⁇ is the angle of the image module of each of the first and second camera modules
  • b is the vertical angle of view of the first and second camera modules
  • each of the first and second camera modules 110 when the first and second camera modules 110 and 120 are disposed as illustrated in FIGS. 16 and 18, each of the first and second camera modules 110, The angle formed by the 120 with the bottom surface may be calculated, and the angles of the image modules 112 and 122 of the first and second camera modules 110 and 120 may be calculated and applied using Equation 2.
  • FIG. 19 is a block diagram of a wide-angle image providing system according to another embodiment of the present invention.
  • the configuration of a wide-angle image providing system according to another exemplary embodiment of the present invention will be described with reference to FIG. 19.
  • a wide-angle image providing system may include a first camera module 110, a second camera module 115, a third camera module 120, and a fourth camera module ( 125, the correction processor 130, and the image storage 140, and the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, and an overlap correction unit 133. ) And a color corrector 134.
  • the first camera module 110 generates a first region image photographing the first region
  • the second camera module 115 captures a second region image photographing the second region rightwardly adjacent to the first region.
  • the third camera module 120 generates a third region image photographing a third region adjacent to the lower side of the first region
  • the fourth camera module 125 generates a lower region of the second region and the A fourth area image of the fourth area adjacent to the right side of the third area is generated.
  • the first camera module 110 may generate a first region image, which is an upper left image, by photographing an area corresponding to an upper left of an area to be photographed, and the second camera module.
  • a region corresponding to an upper right side of the region to be photographed may be photographed to generate a second region image that is an upper right image.
  • the third camera module 120 may generate a third region image, which is a lower left image, by photographing an area corresponding to a lower left of an area to be photographed, and the fourth camera module 125. ) May generate a fourth region image which is a lower right image by photographing an area corresponding to a lower right side of the region to be photographed.
  • the images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125 have wide-angle distortion and perspective distortion, and overlapping images photographed using four cameras adjacent to each other. Phase difference, superimposed region, business card difference, or chromatic aberration.
  • the correction processor 130 corrects the distortion, phase difference, overlapped area, business card difference, or chromatic aberration of the image as described above. That is, the correction processor 130 corrects distortion and phase difference of the first, second, third, and fourth region images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125, respectively. The overlap correction and color correction are performed on the phase difference corrected first, second, third and fourth region images.
  • the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, an overlap correction unit 133, and a color correction unit 134.
  • the distortion correction unit 131 corrects the distortion of the first, second, third, and fourth region images
  • the phase difference correction unit 132 corrects the phase differences of the first, second, third, and fourth region images, respectively.
  • the overlap correction unit 133 overlaps and corrects the phase-corrected first, second, third, and fourth region images to be adjacent to each other
  • the color correction unit 134 corrects the overlapped images that are overlapped and corrected. can do.
  • the distortion correction unit 131 corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction unit 132 performs the first, second, and third distortion corrections.
  • the coordinate rotation is moved to adjust the position of the first, 2, 3, 4 region image, and the overlap corrector 133 is configured to control the first, second, After adjusting the 3 and 4 region images, the coordinates are moved to overlap the coordinates, and the color corrector 134 may adjust brightness and chromatic aberration of the overlapped and corrected overlapped images.
  • the image storage unit 140 may store the image corrected and synthesized by the correction processor 130 as described above.
  • FIG. 20 is a flowchart illustrating a wide-angle image providing method according to another exemplary embodiment of the present invention
  • FIGS. 21 to 25 are first and second diagrams illustrating a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • FIG. 4 illustrates a process of correcting 3,4 region images.
  • a first camera module corresponding to an up left camera generates and extracts a first area image photographing a first area (S210), and then an up right camera.
  • the second camera module corresponding to the second camera module generates and extracts a second region image photographing the second region adjacent to the right side of the first region (S211).
  • the third camera module corresponding to the down left camera generates and extracts a third region image photographing the third region (S212), and the fourth camera module corresponding to the down right camera.
  • the second region image photographing the second region adjacent to the lower side of the second region and to the right side of the third region is generated and extracted (S213).
  • the extracted first, second, third, and fourth region images include perspective distortion and wide-angle distortion. Therefore, the distortion correcting unit corrects the wide-angle distortion and the perspective distortion of the first, second, third, and fourth region images, respectively, with reference to the distortion constant (S220, S221, S222, and S223).
  • FIG. 21 shows the first, second, third and fourth region images in which wide-angle distortion correction and perspective distortion correction are performed.
  • the phase difference correction unit extracts a horizontal reference point of the first, second, third, and fourth region images corrected for the wide-angle distortion and the perspective distortion by referring to a phase difference constant, and then moves the coordinate rotation as shown in FIG. 22.
  • the position of the first, second, third, fourth region image S230.
  • the overlap corrector adjusts the size of the stored first, second, third, and fourth region images by referring to the overlap constant, and then moves coordinates, as shown in FIG. 23.
  • the position is adjusted to overlap each other between the four region images (S240).
  • the color corrector adjusts brightness and chromatic aberration with reference to a color constant for the superimposed image corrected by overlapping as shown in FIG. 24, and the first, second, third, and fourth region images are displayed as shown in FIG.
  • the superimposed and synthesized images may be generated and stored (S250 and S255), and the synthesized images thus stored may be output (S260).
  • 26 to 28 are views illustrating a correction booth for correcting a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • FIG. 26 illustrates a calibration booth for correcting wide angle distortion and perspective distortion according to another embodiment of the present invention
  • FIG. 27 illustrates correction of an overlapping image according to another embodiment of the present invention. A calibration booth is shown.
  • FIG. 28 illustrates a correction booth for correcting brightness and chromatic aberration of an area image according to another exemplary embodiment of the present invention.
  • a wide-angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided, and a wide-angle image without distortion can be provided to output an image in VR form. Also, distortion does not occur when the image is reduced or enlarged.
  • a wide field of view image may be provided by applying to an entire industry in which cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.
  • FIG. 29 is a view illustrating photographing arrangement angles of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to another embodiment of the present invention.
  • the first, second, third, and fourth cameras may provide a front view image having a wide angle of view of 200 ° left and right and 200 ° up and down without a blind spot. Can be.
  • first, second, third and fourth cameras are arranged on the side vertically placed from the ground such as the wall surface as shown in FIG. 29 (b), images of other areas except the corresponding side (wall surface) are displayed. Can be photographed and provided.
  • FIG. 30 is a configuration diagram of a camera module of the wide-angle image providing system according to another embodiment of the present invention
  • FIG. 31 is a perspective view of a camera module of the wide-angle image providing system according to another embodiment of the present invention.
  • the first, second, third, and fourth camera modules 110, 115, 120, and 125 are each a lens module 111, an image sensor module 112, and a structure. It may be configured to include (113).
  • the image sensor module 112 generates an area image photographing the corresponding area through the lens module 111, and the structure 113 may be configured to receive the lens module 111 and the image sensor module 112. Can be.
  • the structure 113 may be composed of an aluminum frame to reduce the weight.
  • ⁇ is the angle between the first, second, third and fourth camera modules, and a is the horizontal angle of view of the first, second, third and fourth camera modules.
  • the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be used to arrange the first, second, third, and fourth camera modules 110, 115, 120, and 125.
  • the angles between the 3, 4 camera modules 110, 115, 120, and 125 may be calculated, and the image modules of the first, 2, 3, and 4 camera modules 110, 115, 120, and 125 may be calculated using Equation 4.
  • the angle of 112 can be calculated and placed.
  • the wide-angle image providing system may include a first camera module 110, a second camera module 115, a third camera module 120, and a fourth camera module.
  • a correction processor 130 and an image storage 140 and the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, and an overlap correction unit ( 133 and the color corrector 134.
  • the first camera module 110 generates a first region image photographing the first region
  • the second camera module 115 captures a second region image photographing the second region rightwardly adjacent to the first region.
  • the third camera module 120 generates a third region image photographing the third region, which is the opposite side of the first region
  • the fourth camera module 125 is the opposite side of the second region and the third region image.
  • a fourth area image of the fourth area adjacent to the left side of the area is generated.
  • the first camera module 110 may generate a first area image that is a front left image by photographing an area corresponding to the front left, and the second camera module 115 may face the front.
  • a second area image that is a front right image may be generated by photographing an area corresponding to a front up side.
  • the third camera module 120 may capture a region corresponding to a back left to generate a third region image that is a rear left image, and the fourth camera module 125 may have a rear right side ( a fourth region image, which is a rear right image, may be generated by photographing a region corresponding to back right).
  • the images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125 have wide-angle distortion and perspective distortion, and overlapping images photographed using four cameras adjacent to each other. Phase difference, superimposed region, business card difference, or chromatic aberration.
  • the correction processor 130 corrects the distortion, phase difference, overlapped area, business card difference, or chromatic aberration of the image as described above. That is, the correction processor 130 corrects distortion and phase difference of the first, second, third, and fourth region images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125, respectively. The overlap correction and color correction are performed on the phase difference corrected first, second, third and fourth region images.
  • the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, an overlap correction unit 133, and a color correction unit 134.
  • the distortion correction unit 131 corrects the distortion of the first, second, third, and fourth region images
  • the phase difference correction unit 132 corrects the phase differences of the first, second, third, and fourth region images, respectively.
  • the overlap correction unit 133 overlaps and corrects the phase-corrected first, second, third, and fourth region images to be adjacent to each other
  • the color correction unit 134 corrects the overlapped images that are overlapped and corrected. can do.
  • the distortion correction unit 131 corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction unit 132 performs the first, second, and third distortion corrections.
  • the coordinate rotation is moved to adjust the position of the first, 2, 3, 4 region image, and the overlap corrector 133 is configured to control the first, second, After adjusting the 3 and 4 region images, the coordinates are moved to overlap the coordinates, and the color corrector 134 may adjust brightness and chromatic aberration of the overlapped and corrected overlapped images.
  • the image storage unit 140 may store the image corrected and synthesized by the correction processor 130 as described above.
  • a wide-angle image without blind spots and without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided.
  • 32 to 36 are diagrams for describing a correction process of first, second, third, and fourth region images for explaining a wide-angle image providing method according to another exemplary embodiment of the present invention.
  • the first camera module corresponding to the up left camera generates and extracts a first area image photographing the first area (S210), and the up right camera.
  • the second camera module corresponding to the second camera module generates and extracts a second region image photographing the second region adjacent to the right side of the first region (S211).
  • the third camera module corresponding to the back left camera generates and extracts a third region image photographing the third region (S212), and the fourth camera corresponding to the back right camera.
  • the module generates and extracts a second region image photographing the second region adjacent to the lower side of the second region and to the right of the third region (S213).
  • the extracted first, second, third, and fourth region images include perspective distortion and wide-angle distortion. Therefore, the distortion correcting unit corrects the wide-angle distortion and the perspective distortion of the first, second, third, and fourth region images, respectively, with reference to the distortion constant (S220, S221, S222, and S223).
  • FIG. 32 shows the first and second region images in which wide-angle distortion correction and perspective distortion correction are thus performed.
  • the phase difference correction unit extracts a horizontal reference point of the first, second, third, and fourth region images corrected for the wide-angle distortion and the perspective distortion by referring to a phase difference constant, and then moves the coordinate rotation as shown in FIG. 33.
  • the position of the first and second region images is adjusted, and the position of the third and fourth region images is also adjusted (S230).
  • the overlap correcting unit adjusts the size of the stored first, second, third, and fourth region images with reference to the overlap constant, and then adjusts the positions so as to overlap as shown in FIG. 34 (S240). .
  • the color corrector adjusts brightness and chromatic aberration with reference to a color constant for the superimposed image corrected by overlapping as shown in FIG. 35, and the first, second, third, and fourth region images are displayed as shown in FIG.
  • the superimposed and synthesized images may be generated and stored (S250 and S255), and the synthesized images thus stored may be output (S260).
  • 37 to 39 are views illustrating a correction booth for correcting a wide-angle image providing method according to another embodiment of the present invention.
  • FIG. 37 illustrates a calibration booth for correcting wide-angle distortion and perspective distortion according to an embodiment of the present invention
  • FIG. 38 illustrates a correction booth for correcting an overlapping image according to an embodiment of the present invention. (Calibration Booth) is shown.
  • 39 illustrates a correction booth for correcting brightness and chromatic aberration of an area image according to an embodiment of the present invention.
  • a wide angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided, and a wide-angle image without distortion can be provided to output an image in VR form.
  • No distortion occurs when the image is reduced or enlarged.
  • an image of a wide field of view may be provided by applying to an entire industry where cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.
  • FIG. 40 is a view illustrating photographing arrangement angles of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to an exemplary embodiment of the present invention.
  • the first, second, third, and fourth cameras may provide a front view image having a wide angle of view of 360 ° left and right, 90 ° to 100 ° up and down without a blind spot in an area except for the floor and the ceiling. Can be.
  • first, second, third and fourth cameras are arranged on the side of the camera which is perpendicular to the ground, such as a wall, as shown in (b) of FIG. 40, images of other areas except the floor and the ceiling are photographed. Can provide.
  • FIG. 41 is a configuration diagram of a camera module of the wide-angle image providing system according to an embodiment of the present invention
  • FIG. 42 is a perspective view of a camera module of the wide-angle image providing system according to an embodiment of the present invention.
  • FIG. 43 is a view illustrating an angle adjusting method of a camera module of the wide-angle image providing system according to an embodiment of the present invention
  • FIG. 44 is a view of a camera module of the wide-angle image providing system according to an embodiment of the present invention. It is a development view.
  • the first, second, third and fourth camera modules 110, 115, 120, and 125 are respectively a lens module 111 and an image sensor module 112. And a structure 113.
  • the image sensor module 112 generates an area image photographing the corresponding area through the lens module 111, and the structure 113 may be configured to receive the lens module 111 and the image sensor module 112. Can be.
  • the structure 113 may be configured of an aluminum frame for light weight
  • the fixed type wide-angle image providing system may include first, second, third, and fourth camera modules 110, 115, and 120. , 125) is fixed to be disposed on four sides and may be configured as a square photographing system for photographing 360 °.
  • the first and second link units 151 and 152 are coupled to respective one sides of the first and second camera modules 110 and 115, and similarly, the third and fourth link units ( 153 and 154 are coupled to each side of the third and fourth camera modules 120 and 125, respectively, and the circular plate 150 may be fixed between the fixing plates 160 and 161 to be rotated by a motor. have.
  • the circular plate 150 may be configured to include curved grooves to which the first, second, third and fourth link portions 151 and 152 are coupled and move.
  • the first and second camera modules 110 and 115 are configured such that each other side opposite to the one side is hinged to each other, and the first and second link parts 151 and 152 are the circular plate 150.
  • the curved groove is moved by the rotation of), and similarly, the 3,4 camera modules 120 and 125 are configured such that the other sides facing each other are hinged to each other, so that the third and fourth link units 153 , 154 may move the curved groove by the rotation of the circular plate 150.
  • angles formed by the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be adjusted by the rotation of the circular plate 150.
  • the first, second, third, and fourth camera module 110, 115, 120, and 125 is controlled by rotating the circular plate 150 by controlling a motor. By adjusting the angle between (110, 115, 120, 125), and zooming in and out to obtain the optimum image capture range.
  • the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be configured according to the angles of view of the first, second, third, and fourth camera modules 110, 115, 120, and 125. You can set the angle.
  • ⁇ is the angle between the first, second, third and fourth camera modules, and a is the horizontal angle of view of the first, second, third and fourth camera modules.
  • the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be used to arrange the first, second, third, and fourth camera modules 110, 115, 120, and 125.
  • the angle between the 3,4 camera modules 110, 115, 120, and 125 may be calculated, and the image module of each of the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be calculated using Equation 2.
  • the angle of 112 can be calculated and placed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Cameras In General (AREA)
  • Accessories Of Cameras (AREA)

Abstract

본 발명은 광각 영상 제공 방법에 관한 것으로, 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역에 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 상기 제1,2 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 상기 왜곡 보정한 제1,2 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 상기 위상차 보정한 제1,2 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 상기 중첩하여 보정한 제1,2, 영역영상을 색상 보정하는 색상 보정 단계;를 포함한다.

Description

광각 영상 제공 방법
본 발명의 실시예는 광각 영상 제공 방법에 관한 것이다.
일반적으로, CCTV 카메라는 일반 가정의 방범용으로 사용되거나 또는 백화점, 은행, 전시장 등의 장소에서는 침입, 도난 또는 화재 등을 사전에 예방하고 방지하며, 만약 사고가 발생하더라도 신속하게 처리하기 위하여 설치된다.
특히, 이러한 CCTV 카메라 시스템은 특수한 목적을 가지고 특정 장소에 설치되어 모든 상황을 감시하기 위하여 원격지에서 영상을 모니터링 하기 위한 목적으로 이용되는 것으로, 상기 CCTV 카메라는 가능한 넓은 지역을 감시할 수 있도록 대개 건물의 벽면 상부나 천장에 설치되어 특정방향을 향하여 세팅되어 있는 것이 일반적이다.
그러나, 이와 같이 CCTV 등에 사용되는 카메라는 일반적으로 화각이 30 °내지 70°의 범위로서, 촬영 범위가 제한되어 사각지대가 존대하며, 이와 같은 사각지대를 줄이기 위하여 어안렌즈(fish-eye lens) 등과 같은 광각렌즈(wide-angle lens)를 사용하고 있다.
그러나, 광각렌즈(wide-angle lens)를 장착한 카메라는 표준 렌즈를 이용했을 때에 비해 초점거리가 짧고 FOV(Field Of View)가 넓다는 특성을 가지며, 취득된 영상의 형태는 방사형 왜곡(radial distortion)이 발생하여 사물 왜곡 현상이 발생한다.
또한, 종래 기술에 따른 파노라마 카메라가 촬영한 영상은 위치 왜곡 현상이 발생하는 문제점이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따른 광각 영상 제공 시스템은 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공하고, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않도록 하고자 한다.
또한, 본 발명에 따른 광각 영상 제공 시스템은 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공하고자 한다.
또한, 본 발명에 따른 광각 영상 제공 시스템은 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용이 가능한 광각 영상 제공 방법 및 시스템을 제공하고자 한다.
전술한 문제를 해결하기 위한 본 실시예에 따른 본 발명의 일실시예에 따른 광각 영상 제공 방법은 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역에 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 상기 제1,2 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 상기 왜곡 보정한 제1,2 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 상기 위상차 보정한 제1,2 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 상기 중첩하여 보정한 제1,2, 영역영상을 색상 보정하는 색상 보정 단계;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하고, 상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 촬영 단계는 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈의 각각의 촬영면을 상호간에 110°내지 135°의 각도로 배치되도록 하여 상기 제1,2 영역영상을 생성할 수 있다.
또한, 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법은 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 촬영 단계는 상기 제1,2,3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;를 더 포함할 수 있다.
또한, 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법은 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 반대측이며 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;를 포함한다.
본 발명의 다른 일실시예에 따르면, 상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 촬영 단계는 상기 제1,2 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계; 및 상기 제3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
또한, 본 발명의 실시예에 따르면 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공할 수 있다.
나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 제1,2 카메라의 촬영 영역을 설명하기 위한 도면이다.
도 4 내지 도 8은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2 영역영상의 보정 과정을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일실시예에 따른 제1,2 카메라의 배치 위치를 도시한 도면이다.
도 11 및 도 12는 본 발명의 일실시예에 따른 제1,2 카메라의 배치 위치에 따른 카메라의 촬영 배치 각도를 도시한 도면이다.
도 13 내지 도 15는 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 17은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
도 18은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 배치 및 각도 조절 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 구성도이다.
도 20은 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이다.
도 21 내지 도 25은 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
도 26 내지 도 28은 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 29는 본 발명의 다른 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
도 30은 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 31은 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
도 32 내지 도 36은 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
도 37 내지 도 39는 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 40은 본 발명의 또 다른 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
도 41은 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이다.
도 42는 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 43은 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 각도 조절 방법을 설명하기 위한 도면이다.
도 44는 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다. 이후부터는 도 1을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성을 설명하기로 한다.
도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 광각 영상 제공 시스템은 제1 카메라 모듈(110), 제2 카메라 모듈(120), 보정 처리부(130) 및 영상 저장부(140)를 포함하여 구성될 수 있으며, 또한 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
제1 카메라 모듈(110)는 제1 영역을 촬영한 제1 영역영상을 생성하며, 제2 카메라 모듈(120)는 상기 제1 영역에 인접하는 제2 영역을 촬영한 제2 영역영상을 생성한다.
보다 구체적으로, 상기 제1 카메라 모듈(110)는 촬영하고자 하는 영역의 좌측(left)에 해당하는 영역을 촬영하여 좌측 영상인 제1 영역영상을 생성할 수 있으며, 상기 제2 카메라 모듈(120)는 촬영하고자 하는 영역의 우측(right)에 해당하는 영역을 촬영하여 우측 영상인 제2 영역영상을 생성할 수 있다.
이때, 상기 제1 카메라 모듈(110) 및 상기 제2 카메라 모듈(120)의 각각의 촬영면은 상호간에 110°내지 135°의 각도로 배치되어, 상기 제1 카메라 모듈(110) 및 상기 제2 카메라 모듈(120)에서 촬영된 영상은 화각이 좌우 180 °내지 200°, 상하 90°내지 110°의 영상을 제공할 수 있다.
이와 같이 상기 제1,2 카메라(110, 120)에서 촬영된 영상에는 광각 왜곡 및 원근 왜곡이 있으며, 2 대의 카메라를 이용하여 촬영한 영상을 인접하도록 중첩시키는 경우에는 위상차, 중첩된 영역, 명함차 또는 색수차가 발생한다.
따라서, 보정 처리부(130)는 이와 같이 영상의 왜곡, 위상차, 중첩된 영역, 명함차 또는 색수차 등을 보정한다. 즉, 상기 보정 처리부(130)는 상기 제1,2 카메라(110, 120)에서 촬영된 제1,2 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2 영역영상을 오버랩 보정 및 색상 보정한다.
보다 구체적으로, 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
상기 왜곡 보정부(131)는 제1 카메라 모듈(110)에서 촬영된 제1 영역영상의 왜곡을 보정하고, 위상차 보정부(132)는 상기 왜곡 보정한 제1,2 영역영상을 각각 위상차 보정한다. 또한, 중첩 보정부(133)는 상기 위상 보정한 제1,2 영역영상을 상호 인접하도록 중첩하여 보정하며, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상을 색상 보정할 수 있다.
보다 상세하게 설명하면, 상기 왜곡 보정부(131)는 상기 제1,2 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부(132)는 상기 제1,2 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하고, 상기 중첩 보정부(133)는 상기 제1,2 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
영상 저장부(140)는 이와 같이 보정 처리부(130)에서 보정되어 합성된 영상을 저장할 수 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일실시예에 따른 제1,2 카메라의 촬영 영역을 설명하기 위한 도면이다.
또한, 도 4 내지 도 8은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2 영역영상의 보정 과정을 설명하기 위한 도면이다.
이후부터는 도 2 내지 도 8을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기로 한다.
먼저, 도 2에 도시된 바와 같이 좌측 카메라(left 카메라)에 해당하는 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하여 추출하고(S210), 우측 카메라(right 카메라)에 해당하는 제2 카메라 모듈이 제1 영역에 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S211).
이와 같이 추출된 제1,2 영역영상은 원근왜곡과 광각왜곡이 포함되어 있다. 따라서, 왜곡 보정부가 왜곡 상수(Distortion Constant)를 참조하여 상기 제1,2 영역영상을 각각 광각왜곡과 원근왜곡을 보정한다(S220, S221).
도 4는 이와 같이 광각왜곡 보정과 원근왜곡 보정이 된 제1,2 영역영상을 도시하고 있다.
이후, 상기 위상차 보정부는 위상차 상수(Phase Difference Constant)를 참조하여 상기 광각왜곡과 원근왜곡 보정된 상기 제1,2 영역영상의 수평기준점을 추출 후, 도 5와 같이 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하며(S230, S231), 상기 좌표회전 이동 및 위치 조절된 제1,2 영역영상을 각각 저장한다(S235, S236).
이후에는, 중첩 보정부가 중첩 상수(Overlap Constant)를 참조하여 상기 저장된 제1,2 영역영상의 크기를 조절 후, 좌표를 이동하여 도 6에서와 같이 중첩되도록 위치 조절한다(S240).
도 3을 참조하면, 위치 조절되어 중첩된 영상은 제1 카메라 모듈(110)가 제1 영역을 촬영한 제1 영역영상(111)과 제2 카메라 모듈(120)가 제2 영역을 촬영한 제2 영역영상(121)으로 구성되어, 상호간에 중첩되는 영역(301)이 발생하며, 이와 같은 중첩되는 영역(301)은 각각 제1 카메라 모듈 보정 영역(112)과 제2 카메라 모듈 보정 영역(122)으로 구분된다.
색상 보정부는 도 7에 도시된 바와 같이 중첩하여 보정한 중첩영상에 대해 색상 상수(Color Constant)를 참조해 밝기 및 색수차를 조절하여, 도 8과 같이 제1,2 영역영상이 중첩되어 합성된 영상을 생성하여 저장하고(S250, S255), 이와 같이 저장된 합성 영상을 출력할 수 있다(S260).
도 9 및 도 10은 본 발명의 일실시예에 따른 제1,2 카메라의 배치 위치를 도시한 도면이고, 도 11 및 도 12는 본 발명의 일실시예에 따른 제1,2 카메라의 배치 위치에 따른 카메라의 촬영 배치 각도를 도시한 도면이다.
또한, 도 13 내지 도 15는 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
이후부터는 도 9 내지 도 12를 참조하여 본 발명의 일실시예에 따른 제1,2 카메라의 배치에 따른 카메라의 촬영 각도를 설명하기로 한다.
도 9에서와 같이 제1,2 카메라가 벽면 등과 같이 지면으로부터 수직으로 세워지는 측부에 배치되는 경우에는, 도 11에서와 같이 제1,2 카메라의 촬영면은 상호간에 110°내지 135°의 각도로 배치되고, 상기 제1,2 카메라와 벽면의 각도는 27°내지 35°를 이루도록 배치되어, 해당 측부(벽면)를 제외한 그 외의 영역의 영상을 제공할 수 있다.
또한, 도 10에서와 같이 제1,2 카메라가 천정 등의 장소와 같이 지면을 향하도록 배치되는 경우에는, 도 12에서와 같이 제1,2 카메라의 촬영면은 상호간에 110°내지 135°의 각도로 배치되어, 양 측면의 모든 면의 영상과, 상기 나머지 양 측면의 일부 면의 영상을 제공할 수 있다.
도 13은 본 발명의 일실시예에 따른 광각왜곡과 원근왜곡을 보정하기 위한 보정 부스(Calibration Booth)를 도시하고 있고, 도 14는 본 발명의 일실시예에 따른 중첩 영상의 보정을 위한 보정 부스(Calibration Booth)를 도시하고 있다.
또한, 도 15는 본 발명의 일실시예에 따른 영역영상의 밝기 및 색수차를 보정하기 위한 보정 부스를 도시하고 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있으며, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 16은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이고, 도 17은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이며, 도 18은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 배치 및 각도 조절 방법을 설명하기 위한 도면이다.
도 16 및 도 17을 참조하면, 본 발명의 일실시예에 따른 제1 카메라 모듈(110)은 제1 렌즈 모듈(111), 제1 이미지 센서 모듈(112) 및 제1 구조체(113)을 포함하여 구성된다.
제1 이미지 센서 모듈(112)은 상기 제1 렌즈 모듈(111)을 통해 제1 영역을 촬영한 제1 영역영상을 생성하며, 제1 구조체(113)는 상기 제1 렌즈 모듈(111)과 상기 제1 이미지 센서 모듈(112)을 수납하도록 구성될 수 있다.
마찬가지로, 제2 카메라 모듈(120)은 제2 렌즈 모듈(121), 제2 이미지 센서 모듈(122) 및 제2 구조체(123)을 포함하여 구성되고, 제2 이미지 센서 모듈(122)은 상기 제2 렌즈 모듈(121)을 통해 제2 영역을 촬영한 제2 영역영상을 생성하며, 제2 구조체(123)는 상기 제2 렌즈 모듈(121)과 상기 제1 이미지 센서 모듈(122)을 수납하도록 구성될 수 있다.
이때, 상기 제1,2 구조체(113, 123)는 경량화를 위해 알루미늄 프레임으로 구성될 수 있다.
또한, 제1,2 링크부(115, 125)는 상기 제1,2 카메라 모듈(110, 120)의 각 일측에 각각 결합되고, 원형 판(150)은 고정판(160)에 고정되어 모터에 의해 회전하며, 상기 원형 판(150)은 각 상기 제1,2, 링크부(115, 125)가 결합되어 이동하는 곡선 홈(151)을 포함하도록 구성될 수 있다.
그에 따라, 제1,2 카메라 모듈(110, 120)은 각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되도록 구성되어, 상기 제1,2 링크부(115, 125)는 상기 원형 판(150)의 회전에 의해 상기 곡선 홈(151)을 이동하여, 상기 제1,2 카메라 모듈(110, 120)이 상호간에 이루는 각도를 조절할 수 있다.
이와 같은 제1,2 카메라 모듈(110, 120) 간의 각도 조절 시에는, 모터를 제어해 원형 판(150)을 회전시켜 제1,2 카메라 모듈(110, 120) 간의 각도를 조절하고, 줌 인 및 줌 아웃을 통해 최적의 영상 촬영 각도를 얻을 수 있다.
한편, 도 18를 참조하면, 제1,2 카메라 모듈(110, 120)의 화각에 따라 상기 제1,2 카메라 모듈(110, 120)의 각도를 정할 수 있다.
[수학식 1]
α= (180°- a)×(2/3)
(이때, α는 각 제1,2 카메라 모듈이 바닥면과 이루는 각도, a는 제1,2 카메라 모듈의 수평 화각임.)
[수학식 2]
β= (180°- b)×(1/3)
(이때, β 는 각 제1,2 카메라 모듈의 이미지 모듈의 각도, b는 제1,2 카메라 모듈의 수직 화각임.)
본 발명의 일실시예에 따르면, 도 16 및 도 18에 도시된 바와 같이 제1,2 카메라 모듈(110, 120)의 배치시에, 수학식 1을 이용해 각 제1,2 카메라 모듈(110, 120)이 바닥면과 이루는 각도를 계산할 수 있으며, 수학식 2를 이용해 각 제1,2 카메라 모듈(110, 120)의 이미지 모듈(112, 122)의 각도를 계산하여 적용할 수 있다.
도 19는 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 구성도이다. 이후부터는 도 19를 참조하여 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 구성을 설명하기로 한다.
도 19에 도시된 바와 같이 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템은 제1 카메라 모듈(110), 제2 카메라 모듈(115), 제3 카메라 모듈(120), 제4 카메라 모듈(125), 보정 처리부(130) 및 영상 저장부(140)를 포함하여 구성될 수 있으며, 또한 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
제1 카메라 모듈(110)는 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈(115)는 상기 제1 영역에 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하며, 제3 카메라 모듈(120)은 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하며, 제4 카메라 모듈(125)은 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성한다.
보다 구체적으로, 상기 제1 카메라 모듈(110)는 촬영하고자 하는 영역의 좌측상부(up left)에 해당하는 영역을 촬영하여 좌측상부 영상인 제1 영역영상을 생성할 수 있으며, 상기 제2 카메라 모듈(115)는 촬영하고자 하는 영역의 우측 상부(up right)에 해당하는 영역을 촬영하여 우측상부 영상인 제2 영역영상을 생성할 수 있다. 마찬가지로, 상기 제3 카메라 모듈(120)은 촬영하고자 하는 영역의 좌측하부(down left)에 해당하는 영역을 촬영하여 좌측하부 영상인 제3 영역영상을 생성할 수 있으며, 상기 제4 카메라 모듈(125)은 촬영하고자 하는 영역의 우측하부(down right)에 해당하는 영역을 촬영하여 우측하부 영상인 제4 영역영상을 생성할 수 있다.
이와 같이 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 영상에는 광각 왜곡 및 원근 왜곡이 있으며, 4 대의 카메라를 이용하여 촬영한 영상을 인접하도록 중첩시키는 경우에는 위상차, 중첩된 영역, 명함차 또는 색수차가 발생한다.
따라서, 보정 처리부(130)는 이와 같이 영상의 왜곡, 위상차, 중첩된 영역, 명함차 또는 색수차 등을 보정한다. 즉, 상기 보정 처리부(130)는 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정한다.
보다 구체적으로, 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
상기 왜곡 보정부(131)는 제1,2,3,4 영역영상의 왜곡을 보정하고, 위상차 보정부(132)는 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정한다. 또한, 중첩 보정부(133)는 상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하며, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상을 색상 보정할 수 있다.
보다 상세하게 설명하면, 상기 왜곡 보정부(131)는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부(132)는 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정부(133)는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
영상 저장부(140)는 이와 같이 보정 처리부(130)에서 보정되어 합성된 영상을 저장할 수 있다.
따라서, 본 발명의 실시예에 따르면 화각이 좌우 200°, 상하 200°의 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
도 20은 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이고, 도 21 내지 도 25는 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
이후부터는 도 20 내지 도 25를 참조하여 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기로 한다.
먼저, 도 20에 도시된 바와 같이 좌측상부(up left) 카메라에 해당하는 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하여 추출하고(S210), 우측상부(up right) 카메라에 해당하는 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S211).
또한, 좌측하부(down left) 카메라에 해당하는 제3 카메라 모듈이 제3 영역을 촬영한 제3 영역영상을 생성하여 추출하고(S212), 우측하부(down right) 카메라에 해당하는 제4 카메라 모듈이 상기 제2 영역의 하측 및 제3 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S213).
이와 같이 추출된 제1,2,3,4 영역영상은 원근왜곡과 광각왜곡이 포함되어 있다. 따라서, 왜곡 보정부가 왜곡 상수(Distortion Constant)를 참조하여 상기 제1,2,3,4 영역영상을 각각 광각왜곡과 원근왜곡을 보정한다(S220, S221, S222, S223).
도 21은 이와 같이 광각왜곡 보정과 원근왜곡 보정이 된 제1,2,3,4 영역영상을 도시하고 있다.
이후, 상기 위상차 보정부는 위상차 상수(Phase Difference Constant)를 참조하여 상기 광각왜곡과 원근왜곡 보정된 상기 제1,2,3,4 영역영상의 수평기준점을 추출 후, 도 22와 같이 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절한다(S230).
이후에는, 중첩 보정부가 중첩 상수(Overlap Constant)를 참조하여 상기 저장된 제1,2,3,4 영역영상의 크기를 조절 후, 좌표를 이동하여 도 23에서와 같이 상기 제1,2,3,4 영역영상 간에 상호 중첩되도록 위치 조절한다(S240).
색상 보정부는 도 24에 도시된 바와 같이 중첩하여 보정한 중첩영상에 대해 색상 상수(Color Constant)를 참조해 밝기 및 색수차를 조절하여, 도 25에서와 같이 제1,2,3,4 영역영상이 중첩되어 합성된 영상을 생성하여 저장하고(S250, S255), 이와 같이 저장된 합성 영상을 출력할 수 있다(S260).
도 26 내지 도 28은 본 발명의 다른 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 26은 본 발명의 다른 일실시예에 따른 광각왜곡과 원근왜곡을 보정하기 위한 보정 부스(Calibration Booth)를 도시하고 있고, 도 27은 본 발명의 다른 일실시예에 따른 중첩 영상의 보정을 위한 보정 부스(Calibration Booth)를 도시하고 있다.
또한, 도 28은 본 발명의 다른 일실시예에 따른 영역영상의 밝기 및 색수차를 보정하기 위한 보정 부스를 도시하고 있다.
따라서, 본 발명의 다른 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있으며, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
나아가, 본 발명의 다른 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 29는 본 발명의 다른 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
이후부터는 도 29를 참조하여 본 발명의 다른 일실시예에 따른 제1,2,3,4 카메라의 배치에 따른 제1,2,3,4 카메라의 촬영 각도를 설명하기로 한다.
본 발명의 다른 일실시예에 따르면, 도 29의 (a)에서와 같이 제1,2,3,4 카메라가 사각지대 없이 화각이 좌우 200°, 상하 200°의 넓은 화각의 전면 영상을 제공할 수 있다.
또한, 도 29의 (b)에서와 같이 제1,2,3,4 카메라가 벽면 등과 같이 지면으로부터 수직으로 세워지는 측부에 배치되는 경우에는, 해당 측부(벽면)를 제외한 그 외의 영역의 영상을 촬영하여 제공할 수 있다.
도 30은 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이고, 도 31은 본 발명의 다른 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 30을 참조하면, 본 발명의 다른 일실시예에 따른 제1,2,3,4 카메라 모듈(110, 115, 120, 125)은 각각 렌즈 모듈(111), 이미지 센서 모듈(112) 및 구조체(113)을 포함하여 구성될 수 있다.
이미지 센서 모듈(112)은 상기 렌즈 모듈(111)을 통해 해당 영역을 촬영한 영역영상을 생성하며, 구조체(113)는 상기 렌즈 모듈(111)과 상기 이미지 센서 모듈(112)을 수납하도록 구성될 수 있다.
이때, 상기 구조체(113)는 경량화를 위해 알루미늄 프레임으로 구성될 수 있다.
[수학식 3]
α= (180°- a)×(2/3)
(이때, α는 각 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각임.)
[수학식 4]
β= (180°- b)×(1/3)
(이때, β 는 각 제1,2,3,4 카메라 모듈의 이미지 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각임.)
본 발명의 일실시예에 따르면, 도 31에 도시된 바와 같이 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 배치를 위하여 수학식 3을 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 계산할 수 있으며, 수학식 4를 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 이미지 모듈(112)의 각도를 계산하여 배치할 수 있다.
이후부터는 도 19를 참조하여 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템의 구성을 설명하기로 한다.
도 19에 도시된 바와 같이 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 시스템은 제1 카메라 모듈(110), 제2 카메라 모듈(115), 제3 카메라 모듈(120), 제4 카메라 모듈(125), 보정 처리부(130) 및 영상 저장부(140)를 포함하여 구성될 수 있으며, 또한 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
제1 카메라 모듈(110)는 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈(115)는 상기 제1 영역에 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하며, 제3 카메라 모듈(120)은 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하며, 제4 카메라 모듈(125)은 상기 제2 영역의 반대측이며 상기 제3 영역의 좌측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성한다.
보다 구체적으로, 상기 제1 카메라 모듈(110)은 정면좌측(front left)에 해당하는 영역을 촬영하여 정면좌측 영상인 제1 영역영상을 생성할 수 있으며, 상기 제2 카메라 모듈(115)은 정면우측(front up)에 해당하는 영역을 촬영하여 정면우측 영상인 제2 영역영상을 생성할 수 있다. 마찬가지로, 상기 제3 카메라 모듈(120)은 후면좌측(back left)에 해당하는 영역을 촬영하여 후면좌측 영상인 제3 영역영상을 생성할 수 있으며, 상기 제4 카메라 모듈(125)은 후면우측(back right)에 해당하는 영역을 촬영하여 후면우측 영상인 제4 영역영상을 생성할 수 있다.
이와 같이 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 영상에는 광각 왜곡 및 원근 왜곡이 있으며, 4 대의 카메라를 이용하여 촬영한 영상을 인접하도록 중첩시키는 경우에는 위상차, 중첩된 영역, 명함차 또는 색수차가 발생한다.
따라서, 보정 처리부(130)는 이와 같이 영상의 왜곡, 위상차, 중첩된 영역, 명함차 또는 색수차 등을 보정한다. 즉, 상기 보정 처리부(130)는 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정한다.
보다 구체적으로, 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.
상기 왜곡 보정부(131)는 제1,2,3,4 영역영상의 왜곡을 보정하고, 위상차 보정부(132)는 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정한다. 또한, 중첩 보정부(133)는 상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하며, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상을 색상 보정할 수 있다.
보다 상세하게 설명하면, 상기 왜곡 보정부(131)는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부(132)는 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정부(133)는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.
영상 저장부(140)는 이와 같이 보정 처리부(130)에서 보정되어 합성된 영상을 저장할 수 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.
도 32 내지 도 36은 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
이후부터는 도 20 그리고 도 32 내지 도 36을 참조하여본 발명의 또 다른 일실시예에 따른 광각 영상 제공 방법을 설명하기로 한다.
먼저, 도 20에 도시된 바와 같이 전면좌측(up left) 카메라에 해당하는 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하여 추출하고(S210), 전면우측(up right) 카메라에 해당하는 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S211).
또한, 후면좌측(back left) 카메라에 해당하는 제3 카메라 모듈이 제3 영역을 촬영한 제3 영역영상을 생성하여 추출하고(S212), 후면우측 카메라(back right) 카메라에 해당하는 제4 카메라 모듈이 상기 제2 영역의 하측 및 제3 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S213).
이와 같이 추출된 제1,2,3,4 영역영상은 원근왜곡과 광각왜곡이 포함되어 있다. 따라서, 왜곡 보정부가 왜곡 상수(Distortion Constant)를 참조하여 상기 제1,2,3,4 영역영상을 각각 광각왜곡과 원근왜곡을 보정한다(S220, S221, S222, S223).
도 32는 이와 같이 광각왜곡 보정과 원근왜곡 보정이 된 제1,2 영역영상을 도시하고 있다.
이후, 상기 위상차 보정부는 위상차 상수(Phase Difference Constant)를 참조하여 상기 광각왜곡과 원근왜곡 보정된 상기 제1,2,3,4 영역영상의 수평기준점을 추출 후, 도 33과 같이 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하며, 마찬가지로 제3,4 영역영상의 위치도 조절한다 (S230).
이후에는, 중첩 보정부가 중첩 상수(Overlap Constant)를 참조하여 상기 저장된 제1,2,3,4 영역영상의 크기를 조절 후, 좌표를 이동하여 도 34에서와 같이 중첩되도록 위치 조절한다(S240).
색상 보정부는 도 35에 도시된 바와 같이 중첩하여 보정한 중첩영상에 대해 색상 상수(Color Constant)를 참조해 밝기 및 색수차를 조절하여, 도 36에서와 같이 제1,2,3,4 영역영상이 중첩되어 합성된 영상을 생성하여 저장하고(S250, S255), 이와 같이 저장된 합성 영상을 출력할 수 있다(S260).
도 37 내지 도 39는 본 발명의 또 다른 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 37은 본 발명의 일실시예에 따른 광각왜곡과 원근왜곡을 보정하기 위한 보정 부스(Calibration Booth)를 도시하고 있고, 도 38은 본 발명의 일실시예에 따른 중첩 영상의 보정을 위한 보정 부스(Calibration Booth)를 도시하고 있다.
또한, 도 39는 본 발명의 일실시예에 따른 영역영상의 밝기 및 색수차를 보정하기 위한 보정 부스를 도시하고 있다.
따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있으며, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.
나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.
도 40은 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
이후부터는 도 40을 참조하여 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치에 따른 제1,2,3,4 카메라의 촬영 각도를 설명하기로 한다.
도 40의 (a)에서와 같이 제1,2,3,4 카메라가 바닥과 천정을 제외한 영역에서 사각지대 없이 화각이 좌우 360°, 상하 90°~ 100°의 넓은 화각의 전면 영상을 제공할 수 있다.
또한, 도 40의 (b)에서와 같이 제1,2,3,4 카메라가 벽면 등과 같이 지면으로부터 수직으로 세워지는 측부에 배치되는 경우에는, 바닥과 천정을 제외한 그 외의 영역의 영상을 촬영하여 제공할 수 있다.
도 41은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이고, 도 42는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
또한, 도 43은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 각도 조절 방법을 설명하기 위한 도면이고, 도 44는는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.
도 41 및 도 42를 참조하면, 본 발명의 일실시예에 따른 제1,2,3,4 카메라 모듈(110, 115, 120, 125)은 각각 렌즈 모듈(111), 이미지 센서 모듈(112) 및 구조체(113)을 포함하여 구성될 수 있다.
이미지 센서 모듈(112)은 상기 렌즈 모듈(111)을 통해 해당 영역을 촬영한 영역영상을 생성하며, 구조체(113)는 상기 렌즈 모듈(111)과 상기 이미지 센서 모듈(112)을 수납하도록 구성될 수 있다.
이때, 상기 구조체(113)는 경량화를 위해 알루미늄 프레임으로 구성될 수 있으며, 본 발명의 일실시예에 따른 고정형의 광각 영상 제공 시스템은 제1,2,3,4 카메라 모듈(110, 115, 120, 125)이 4면에 배치되도록 고정되어 360°를 촬영하는 정방형 촬영 시스템으로 구성될 수 있다.
또한, 도 43 및 도 44에서와 같이 제1,2 링크부(151, 152)가 상기 제1,2 카메라 모듈(110, 115)의 각 일측에 각각 결합되고, 마찬가지로 제3,4 링크부(153, 154)가 상기 제3,4 카메라 모듈(120, 125)의 각 일측에 각각 결합되며, 원형 판(150)은 고정판(160, 161)의 사이에 고정되어 모터에 의해 회전하도록 구성될 수 있다.
또한, 상기 원형 판(150)에는 각 상기 제1,2,3,4 링크부(151, 152)가 결합되어 이동하는 곡선 홈을 포함하도록 구성될 수 있다.
그에 따라, 제1,2 카메라 모듈(110, 115)은 각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되도록 구성되어, 상기 제1,2 링크부(151, 152)는 상기 원형 판(150)의 회전에 의해 상기 곡선 홈을 이동하며, 마찬가지로 3,4 카메라 모듈(120, 125)은 각 상기 일측에 대향하는 각 타측이 상호간에 힌지 결합되도록 구성되어, 상기 제3,4 링크부(153, 154)는 상기 원형 판(150)의 회전에 의해 상기 곡선 홈을 이동할 수 있다.
따라서, 본 발명의 일실시예에 따르면 상기 원형 판(150)의 회전에 의해 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)이 상호간에 이루는 각도를 조절할 수 있다.
이와 같은 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도 조절 시에는, 모터를 제어해 상기 원형 판(150)을 회전시켜 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 조절하고, 줌 인 및 줌 아웃을 통해 최적의 영상 촬영 범위를 얻을 수 있다.
한편, 본 발명에 따르면 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 화각에 따라 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 각도를 정할 수 있다.
[수학식 5]
α= (180°- a)×(2/3)
(이때, α는 각 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각임.)
[수학식 6]
β= (180°- b)×(1/3)
(이때, β 는 각 제1,2,3,4 카메라 모듈의 이미지 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각임.)
본 발명의 일실시예에 따르면, 도 43에 도시된 바와 같이 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 배치를 위하여 수학식 1을 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 계산할 수 있으며, 수학식 2를 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 이미지 모듈(112)의 각도를 계산하여 배치할 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (9)

  1. 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역에 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 촬영 단계;
    왜곡 보정부가 상기 제1,2 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계;
    위상차 보정부가 상기 왜곡 보정한 제1,2 영역영상을 각각 위상차 보정하는 위상차 보정 단계;
    중첩 보정부가 상기 위상차 보정한 제1,2 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및
    색상 보정부가 상기 중첩하여 보정한 제1,2, 영역영상을 색상 보정하는 색상 보정 단계;
    를 포함하는 광각 영상 제공 방법.
  2. 청구항 1에 있어서,
    상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
    상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2 영역영상의 위치를 조절하고,
    상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
    상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 방법.
  3. 청구항 1에 있어서,
    상기 촬영 단계는,
    상기 제1,2 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;
    를 더 포함하는 광각 영상 제공 방법.
  4. 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계;
    왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계;
    위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계;
    중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및
    색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;
    를 포함하는 광각 영상 제공 방법.
  5. 청구항 4에 있어서,
    상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
    상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
    상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
    상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 방법.
  6. 청구항 4에 있어서,
    상기 촬영 단계는,
    상기 제1,2,3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;
    를 더 포함하는 광각 영상 제공 방법.
  7. 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 반대측인 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 반대측이며 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계;
    왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계;
    위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계;
    중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및
    색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;
    를 포함하는 광각 영상 제공 방법.
  8. 청구항 7에 있어서,
    상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
    상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
    상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
    상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 방법.
  9. 청구항 7에 있어서,
    상기 촬영 단계는,
    상기 제1,2 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계; 및
    상기 제3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;
    를 더 포함하는 광각 영상 제공 방법.
PCT/KR2019/005074 2018-04-26 2019-04-26 광각 영상 제공 방법 WO2019209069A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19791751.1A EP3787277A4 (en) 2018-04-26 2019-04-26 WIDE IMAGE DELIVERY METHOD
CN201980028456.XA CN112119626B (zh) 2018-04-26 2019-04-26 广角影像提供方法
JP2021509710A JP7231281B2 (ja) 2018-04-26 2019-04-26 広角映像提供方法
US17/050,461 US11523054B2 (en) 2018-04-26 2019-04-26 Wide-angle image providing method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0048327 2018-04-26
KR10-2018-0048326 2018-04-26
KR1020180048328A KR102057602B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
KR10-2018-0048328 2018-04-26
KR1020180048327A KR102062736B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
KR1020180048326A KR102062734B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2019209069A1 true WO2019209069A1 (ko) 2019-10-31

Family

ID=68293599

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2019/005074 WO2019209069A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 방법
PCT/KR2019/005068 WO2019209067A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005068 WO2019209067A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 시스템

Country Status (5)

Country Link
US (2) US20210243367A1 (ko)
EP (2) EP3787277A4 (ko)
JP (2) JP7231281B2 (ko)
CN (2) CN112119626B (ko)
WO (2) WO2019209069A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7231281B2 (ja) * 2018-04-26 2023-03-01 テンエントゥ カンパニー，リミテッド 広角映像提供方法
JP7566474B2 (ja) * 2020-03-05 2024-10-15 キヤノン株式会社 電子機器
TWI760733B (zh) * 2020-04-27 2022-04-11 晶睿通訊股份有限公司 影像校正方法及其影像校正裝置
US11637958B2 (en) * 2020-06-25 2023-04-25 Canon Kabushiki Kaisha Control apparatus, control method, and storage medium
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
CN112969033A (zh) * 2020-12-31 2021-06-15 清华大学苏州汽车研究院（吴江） 一种智能座舱车内智能感知系统
US11849100B2 (en) * 2021-05-31 2023-12-19 Canon Kabushiki Kaisha Information processing apparatus, control method, and non-transitory computer readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060044129A (ko) * 2004-11-11 2006-05-16 김배훈 360°파노라마 촬영용 카메라장치
JP2011120138A (ja) * 2009-12-07 2011-06-16 Toshiba Corp カメラモジュール
KR101657673B1 (ko) * 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 파노라마뷰 생성 장치 및 방법
JP6022123B1 (ja) * 2015-11-09 2016-11-09 三菱電機株式会社 画像生成システム及び画像生成方法
KR20170053256A (ko) * 2015-11-06 2017-05-16 한화테크윈 주식회사 감시 카메라

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022123B2 (ja) 1981-07-07 1985-05-31 ピーエスコンクリート株式会社 舗装版の結合方法
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP2004120226A (ja) 2002-09-25 2004-04-15 Sharp Corp パノラマ画像撮像装置及びパノラマ画像撮像方法
FI115947B (fi) * 2004-02-25 2005-08-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US20060098897A1 (en) * 2004-11-10 2006-05-11 Agfa-Gevaert Method of superimposing images
KR100709780B1 (ko) * 2005-03-02 2007-04-19 김배훈 영상 조합기를 이용한 감시 카메라 장치
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
JP2009169601A (ja) * 2008-01-15 2009-07-30 Ricoh Co Ltd 画像処理システム及びこの画像処理システムを有するカメラ
US9105080B2 (en) * 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP2010245831A (ja) * 2009-04-06 2010-10-28 Nikon Corp 撮影画像合成装置
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP2011182078A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
JP2011182328A (ja) * 2010-03-03 2011-09-15 Fujifilm Corp 複眼撮像装置
CN101833231B (zh) * 2010-03-19 2012-05-23 中国人民解放军国防科学技术大学 拼接全景相机视域的调节装置及调节方法
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
JP2012159616A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9600863B2 (en) * 2012-02-13 2017-03-21 Omnivision Technologies, Inc. Method for combining images
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
JP2015100613A (ja) * 2013-11-27 2015-06-04 ソニー株式会社 画像処理装置および方法、並びに超音波診断装置
JP6232994B2 (ja) 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2015125002A (ja) 2013-12-25 2015-07-06 株式会社ズームスケープ 計測用画像撮影方法及び画像計測プログラム
JP5843034B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
US10027948B2 (en) * 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US20170061686A1 (en) * 2015-08-28 2017-03-02 Hai Yu Stage view presentation method and system
JP2017187727A (ja) * 2016-04-01 2017-10-12 健治 比嘉 連結カメラ
CN207196012U (zh) * 2017-08-21 2018-04-06 中国科学院深圳先进技术研究院 一种全景视频拍摄架
KR102372808B1 (ko) * 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
JP2019168661A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP7231281B2 (ja) * 2018-04-26 2023-03-01 テンエントゥ カンパニー，リミテッド 広角映像提供方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060044129A (ko) * 2004-11-11 2006-05-16 김배훈 360°파노라마 촬영용 카메라장치
JP2011120138A (ja) * 2009-12-07 2011-06-16 Toshiba Corp カメラモジュール
KR101657673B1 (ko) * 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 파노라마뷰 생성 장치 및 방법
KR20170053256A (ko) * 2015-11-06 2017-05-16 한화테크윈 주식회사 감시 카메라
JP6022123B1 (ja) * 2015-11-09 2016-11-09 三菱電機株式会社 画像生成システム及び画像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3787277A4 *

Also Published As

Publication number Publication date
US11523054B2 (en) 2022-12-06
JP2021519954A (ja) 2021-08-12
JP7185357B2 (ja) 2022-12-07
US20210243368A1 (en) 2021-08-05
WO2019209067A1 (ko) 2019-10-31
JP7231281B2 (ja) 2023-03-01
EP3787278A4 (en) 2022-03-16
EP3787277A4 (en) 2022-03-30
EP3787277A1 (en) 2021-03-03
CN112154647A (zh) 2020-12-29
CN112119626B (zh) 2022-03-18
US20210243367A1 (en) 2021-08-05
EP3787278A1 (en) 2021-03-03
CN112154647B (zh) 2022-03-18
JP2021520174A (ja) 2021-08-12
CN112119626A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2019209069A1 (ko) 광각 영상 제공 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2010137860A2 (ko) 지능형 감시 카메라 장치 및 이를 채용하는 영상 감시 시스템
WO2011005024A9 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 씨모스 이미지 센서
WO2012002742A2 (en) Camera module and method for driving the same
WO2019164298A1 (ko) 카메라 모듈
WO2015199432A1 (ko) 단안식 입체 카메라
WO2014157847A1 (ko) 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치
WO2016137273A1 (ko) 카메라 모듈 및 이를 이용한 자동 초점 조절 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2017039418A1 (ko) 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
WO2019177258A1 (ko) 차단기 개폐 보조 장치
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2021034002A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2020145744A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2020078404A1 (zh) 背光补偿方法、设备、系统及存储介质
WO2019093674A1 (ko) 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
WO2021034003A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2016119150A1 (zh) 具有多摄像头的移动终端的拍摄方法和移动终端
WO2011149300A2 (en) Mems actuator mounted camera module having sag compensation and sag compensation method using the same
WO2012108577A1 (ko) 감시 장치 및 방법
WO2021235834A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2017200306A1 (ko) 광각 렌즈계 및 이를 포함한 차량용 카메라
WO2020145740A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2019098447A1 (ko) 미러의 회전이 가능한 멀티스케일 이미징 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19791751

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509710

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019791751

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019791751

Country of ref document: EP

Effective date: 20201126