WO2011027994A2 - 광각의 이미지를 생성하는 영상 처리 장치 및 방법 - Google Patents

광각의 이미지를 생성하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2011027994A2
WO2011027994A2 PCT/KR2010/005750 KR2010005750W WO2011027994A2 WO 2011027994 A2 WO2011027994 A2 WO 2011027994A2 KR 2010005750 W KR2010005750 W KR 2010005750W WO 2011027994 A2 WO2011027994 A2 WO 2011027994A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
images
mirror
view
Prior art date
Application number
PCT/KR2010/005750
Other languages
English (en)
French (fr)
Other versions
WO2011027994A3 (ko
Inventor
채장진
Original Assignee
씨엠아이텍주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨엠아이텍주식회사 filed Critical 씨엠아이텍주식회사
Publication of WO2011027994A2 publication Critical patent/WO2011027994A2/ko
Publication of WO2011027994A3 publication Critical patent/WO2011027994A3/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Definitions

  • the present invention relates to an image processing apparatus and method for generating a wide-angle image.
  • a wide-angle camera device capable of acquiring a wide range of images at present is largely mechanically a system using a PTZ (Pan / Tilt / Zoom) camera, a system using a camera with a fisheye lens, and a linear image sensor.
  • PTZ Pan / Tilt / Zoom
  • a panoramic camera system to obtain a 360 ° image.
  • the fisheye lens intentionally creates a cylindrical shape, and maintains uniform brightness and sharpness over the entire angle of view of 180 degrees or more.
  • the subject of the lens center point is extremely large and the surroundings are very small. That is, the fisheye lens can acquire a wide range of images, but the acquired image at this time has a severe distortion.
  • a wide-angle camera device for acquiring such wide-area images is also used for a vehicle rearview device.
  • the rear view device of the car is a camera installed at the rear of the car, and the driver checks the rear of the picture through the monitor.
  • the field of view seen through the objective lens of a camera depends on the angle of the lens. In general, when the angle of view of the lens exceeds about 120 degrees, the distortion of the image is severe, and more lenses are required to correct this, which increases the cost.
  • An object of the present invention is to provide an image processing apparatus and method capable of acquiring a high resolution video image without distortion with a low cost configuration while securing a wide range of field of view.
  • An image processing apparatus is an image processing apparatus that receives images from a plurality of cameras and generates a wide-angle image covering a wide range of angles of view, and receives a plurality of images captured by the plurality of cameras.
  • a memory unit for storing a lookup table for converting the plurality of images into a single wide-angle image; A correction process of correcting distortion included in the plurality of received images, a projection process of spreading an image of a subject included in the plurality of received images on a plane, and the plurality of received images using the lookup table; An image processor configured to process an image to collectively perform a bonding process of bonding the single wide-angle image to generate an output image; And an output unit configured to output the output image to be displayed on a predetermined display.
  • an image processing method for generating a wide-angle image covering a wide field of view by receiving images from a plurality of cameras comprising: receiving a plurality of images captured by the plurality of cameras ; A correction process for correcting distortion included in the plurality of received images using a lookup table stored in a memory, a projection process of spreading images of a subject included in the plurality of received images on a plane, and the received plurality of images Generating an output image by collectively performing a bonding process of joining images into the single wide-angle image; And outputting the output image to be displayed on a predetermined display.
  • the image processing method according to an embodiment of the present invention described above can be recorded on a computer-readable recording medium having a program for realizing each step.
  • image distortion is achieved by correcting distortion caused by a lens included in an image, a projection of spreading an image captured by an image sensor on a plane, and combining a plurality of images received from a plurality of cameras to obtain a single wide-angle image.
  • a single lookup table By using a single lookup table, a single image processing process can be performed at a time, so that images can be output more quickly.
  • FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating a structure of a plurality of cameras according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram illustrating an arrangement structure between a center of an angle of view and a mirror according to an embodiment of the present invention.
  • FIG. 4 is a view comparing an image loss range according to an arrangement between a view angle center and a mirror of a camera according to an embodiment of the present invention.
  • FIG. 5 is a view illustrating a process of combining images acquired from two cameras according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a configuration of a lookup table according to an embodiment of the present invention.
  • FIG. 7 is a schematic view illustrating a structure of a camera unit according to another embodiment of the present invention.
  • FIG 8 to 10 are views illustrating a process of generating an output image by combining images obtained from three cameras according to an embodiment of the present invention.
  • 11 to 16 are diagrams illustrating a board and its arrangement used in three projection schemes according to an embodiment of the present invention.
  • 17 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an image processing apparatus 1 according to an embodiment of the present invention.
  • an image processing apparatus 1 receives an image from a plurality of cameras 111, 112, and 113 and generates a wide-angle image covering a wide field of view.
  • the receiver 12 receives a plurality of images captured by the plurality of cameras 111, 112, and 113, and a memory unit 13 stores a look up table for converting the plurality of images into a single wide-angle image.
  • a correction process of correcting distortion included in the plurality of received images by using the lookup table, a projection process of spreading an image of a subject included in the plurality of received images on a plane, and the plurality of received images An image processing unit 14 for processing an image to collectively perform a bonding process for bonding a single wide-angle image into an output image, and the output image And an output unit 15 for outputting to be displayed on a predetermined display.
  • the image processing apparatus 1 includes a plurality of mirrors 114 and 115, which are reflection surfaces on which one surface receives light, and a center of the angle of view is symmetrically disposed with respect to the mirrors 114 and 115.
  • the cameras 111, 112, and 113 may further include.
  • the image processing apparatus 1 of the present invention may be integrally provided with an image processor which processes the plurality of images to generate a wide-angle image, and a plurality of cameras that capture the images.
  • the present invention is not limited thereto, and the plurality of cameras 111, 112, and 113 and the image processing module may not be integrally formed, but may be configured and used as individual modules.
  • the display unit 16 for displaying the generated wide-angle image may also be formed integrally with the image processing apparatus 1 of the present invention, but is not limited thereto. 16 may be provided as separate modules to be assembled and used with each other.
  • the plurality of cameras 111, 112, and 113 capture images at different angles of view.
  • FIG. 2 is a schematic diagram showing a structure of a camera unit according to an embodiment of the present invention.
  • the camera unit illustrated in FIG. 2 includes two cameras 111 and 112 and one mirror 114 to cover a wide angle of view.
  • FIG. 2 a plurality of cameras 111 and 112 in which the centers of the angles of view are symmetrically arranged with respect to the mirror 114 and the mirror 114, which are reflection surfaces on which one surface receives and reflects light, are illustrated in FIG. It may include.
  • the center 201 of the field of view covered by the first camera 111 and the center 202 of the field of view covered by the second camera 112 are disposed symmetrically with respect to the mirror 114.
  • the distances from the centers 201 and 202 of the respective angles of view to the mirror 114 are the same.
  • the first camera 111 includes a lens 211 and an image sensor 212.
  • the second camera 112 also includes a lens and an image sensor to collect the light reflected from the subject to capture the image.
  • the image processing apparatus 1 acquires an image having a wide angle of view by using two cameras 111 and 112. For example, the image processing apparatus 1 may secure an angle of view of about 150 ° by using two cameras 111 and 112. The image processing apparatus 1 may generate a single image having a wide angle of view by processing two images acquired from the two cameras 111 and 112.
  • the centers 201 and 202 of the angles of view of the two cameras 111 and 112 are symmetrically positioned with respect to the mirror 114.
  • the second camera 112 obtains the reflected image according to the angle of the mirror 114. This image is the same as the image viewed from the center 201 of the angle of view of the first camera 111.
  • the centers 201 and 202 of the angles of view of each of the cameras 111 and 112 are symmetrical with respect to the mirror 114, the first image acquired, that is, the image captured by the first camera 111 and the first Using the second image, that is, the image acquired by the second camera 112, an angle of view of 150 ° horizontally can be easily secured without a separate image bonding algorithm.
  • the centers 201 and 202 of the angles of view of the plurality of cameras 111 and 112 may be symmetrical with respect to the center line of the mirror 114 located between one surface and the other surface of the mirror.
  • the centers of the angles of view 201 and 202 are centerlines of the mirrors positioned between one surface 302 of the mirror 114, for example, the reflective surface and the other surface 303 opposite thereto. 301 may be arranged symmetrically.
  • the centers 201 and 202 of the angle of view are arranged based on the center line 301 positioned at the center of the one surface 302 and the other surface 303 without reference to any one surface of the mirror 114.
  • FIG. 4 is a view comparing an image loss range according to an arrangement between a view angle center and a mirror of a camera according to an embodiment of the present invention.
  • the angle of view centers 201 and 202 of the camera may be symmetrically disposed with respect to the centerline 301 of the mirror 114.
  • the loss of an image due to the thickness of the mirror 114 is the same width as the thickness of the mirror 114.
  • the missing portion may be less than one pixel.
  • the angle of view centers 201 and 202 of the camera may be symmetrically disposed with respect to the reflective surface 302 of the mirror 114. have.
  • the missing portion of the image due to the thickness of the mirror 114 is shown in FIG. Is greater than the missing part of the.
  • the angle of view centers 201 and 202 of the camera may be the reflection surface 302 of the mirror 114 or the centerline of the mirror 114. 301 may be arranged asymmetrically rather than symmetrically.
  • the distance d1 from the centerline 301 of the mirror 114 to the first angle of view center 202 located on the reflective surface 302 side of the mirror 114 and The distance d2 from the center line 301 of the mirror 114 to the second view angle center 201 located on the other surface 303 which is the opposite surface of the reflective surface 302 of the mirror 114 may be different.
  • the second angle of view center 201 located on the other surface 303 side of the mirror 114 is compared to the first angle of view center 202 located on the reflective surface 302 side of the mirror 114. It is disposed farther away from the centerline 301 of 114, that is, d2 may be configured larger than d1.
  • the cameras 111 and 112 are arranged because the angles of view center 201 and 202 collect light passing through the corner portions 1141 and 1142 of the mirror 114.
  • an area corresponding to the edges 1141 and 1142 of the mirror 114 may be dark or poor in image quality due to blurring.
  • a camera positioned on the reflective surface 302 side of the mirror 114 that is, a camera having a first angle of view center 202, is reflected on all of the reflective surfaces 302 of the mirror 114.
  • 4 (a) and 4 (b), which use the captured image only the image reflected on a part of the reflective surface 302 of the mirror 114 is used as the output image.
  • the camera located on the reflective surface 302 has a predetermined distance from the edge 1142 of the mirror among the images acquired from the entire reflective surface 302 of the mirror 114.
  • An output image is generated by excluding an image corresponding to a part of the reflective surface, that is, an image portion in which light blurring occurs due to an edge.
  • FIGS. 4 (a) and 4 (b) which generate an image obtained from the entire reflection surface 302 of the mirror 114 as an output image.
  • the camera located on the other surface 303 side of the mirror 114 that is, the camera whose center of view is the second view angle center 201, is output to a portion adjacent to the edge 1141 of the mirror 114.
  • 4 (a) and 4 (b), which generate the L the area corresponding to the predetermined distance from the edge 1141 of the mirror 114 is excluded from the output image without generating the image as the mirror 114 Deterioration of image quality due to light bleeding caused by the edges of
  • the structure of FIG. 4 (c) may have a larger loss area than the structure of FIG. 4 (a).
  • the loss area is less than 1 pixel, and the corner 1141, The light bleeding caused by 1142 may be eliminated and as a result, a better image may be provided.
  • FIG. 5 is a view illustrating a process of combining images acquired from two cameras according to an embodiment of the present invention.
  • FIG. 5 is an embodiment for generating one wide-angle image by acquiring image data from two image sensors provided in the two cameras 111 and 112 shown in FIG.
  • the receiver 12 of the image processing apparatus 1 receives original image data from two image sensors.
  • the received original image is distorted due to lens distortion.
  • a subject that is actually straight may appear as a curve in the original image.
  • This is a distortion of the lens of the camera is made of a spherical shape rather than an elliptical shape, the present invention uses a look-up table to correct the distortion included in the image.
  • the image processing apparatus 1 of the present invention performs a conversion process of combining the plurality of received images into a single wide-angle image.
  • the image processor 14 of the present invention combines the first image received from the first camera 111 and the second image received from the second camera 112 to form a single image. Create a wide angle image.
  • all or part of the first image and the second image may be collected to generate a wide-angle image.
  • the first image includes all of the 480 ⁇ 600 images in the wide angle image, but the second image includes only 320 ⁇ 600 images corresponding to some of the original images in the wide angle image.
  • the image processor 14 may generate an 800 ⁇ 600 wide-angle image and output an 4: 3 ratio output image.
  • the size of the generated wide-angle image does not necessarily match the sum of the sizes of the input image, that is, the first image and the second image, and according to an embodiment, the size of the generated wide-angle image may be freely set.
  • the ratio of the image acquired by the image processing apparatus 1 of the present invention from the plurality of original images may be changed according to the embodiment, so that the output image is not a 4: 3 ratio but 16 It may have a ratio of 9: 9.
  • an image acquired from the first image covers an angle of view of 90 °
  • an image obtained from the second image covers an angle of view of 60 °, thereby obtaining a wide-angle image covering a total angle of view of 150 °. .
  • the present invention provides a distortion correction process for correcting distortion generated by a lens, a bonding process of bonding the plurality of received images to a single wide-angle image, and a projection of spreading the image captured by the image sensor on a plane. ) Process is performed in batch using one lookup table.
  • the present invention does not include a separate distortion correction lookup table for distortion correction, a separate projection lookup table for projection, and a separate lookup table for image bonding, and one lookup. It has the advantage of simplifying the image processing process into a single process by carrying out the above-described correction, projection and bonding processes all at once with only a table.
  • the image processing time required to output a single wide-angle image using a plurality of cameras is shortened, so that image processing is performed in real time.
  • FIG. 6 is a diagram illustrating the configuration of a lookup table according to an embodiment of the present invention.
  • one coordinate of a plurality of original images received from a plurality of cameras is mapped to one coordinate of a wide-angle image generated by image processing.
  • n is a component representing a camera
  • x is a component representing an x-axis coordinate value
  • y is a component representing a y-axis coordinate value
  • n of the coordinates of the input image is an integer
  • x and y are real numbers
  • X and Y of the coordinates of the output image are integers.
  • the present invention is not limited thereto, and x and y may be configured as integers, and X and Y may be configured as real numbers.
  • n 1 for the first camera 111
  • n 2 for the second camera 112
  • the coordinates (1,3.2,2.1) of the input image are the first received from the first camera.
  • a pixel value corresponding to the coordinate (3.2,2.1) of the image is shown, and according to the lookup table of FIG. 6, the pixel value is mapped to the coordinate (0,0) of the output image.
  • the coordinates (1,4.3,2.2) represent pixel values corresponding to the coordinates (4.3,2.2) of the first image received from the first camera, which are mapped to the coordinates (1,0) of the output image.
  • multiple images i.e. the first and second images
  • the present invention provides a correction process for correcting distortion by the lens and an image captured by the image sensor through the lookup table. Perform a projection process that develops on a plane all at once.
  • the look-up table described above is predetermined when the image processing apparatus 1 is manufactured and stored in the memory unit 13.
  • FIG. 7 is a schematic view illustrating a structure of a camera unit according to another embodiment of the present invention.
  • the camera unit illustrated in FIG. 7 includes three cameras 111, 112 and 113 and two mirrors 114 and 115, and each mirror 114 and 115 is disposed between the plurality of cameras 111, 112 and 113. It is provided.
  • An arrangement angle of the mirrors 114 and 115 may be adaptively disposed according to a distance from the centers 201, 202, and 203 of the angles of view of the cameras 111, 112, and 113 to cover a wider angle of view than the camera unit of FIG. 2.
  • one surface of the mirrors 114 and 115 is a reflective surface that receives light and reflects light.
  • the centers of the angles of view 201, 202, and 203 are symmetrical with respect to the mirrors 114 and 115. Is deployed.
  • the center 201 of the angle of view of the first camera 111 and the center 202 of the angle of view of the second camera 112 are symmetrically disposed with respect to the first mirror 114, and the first camera ( The center of view angle 201 of 111 and the center of view angle 203 of the third camera 113 are symmetrically disposed with respect to the second mirror 115.
  • the reflective surfaces of the mirrors 114 and 115 are disposed to face outwards, and similarly to FIG. 3, the centers 201, 202, and 203 of the angles of view of the plurality of cameras 111, 112, and 113 are one surface and the other surface of the mirrors 114 and 115. It may be arranged to be symmetrical with respect to the centerline of the mirror located between.
  • the centers of the angles of view of the cameras 111, 112, and 113 are not symmetrical with respect to any one side of the mirrors 114, 115, but are symmetrical with respect to the centerline of the mirror positioned at the center of one side and the other side of the mirror.
  • the center of the angle of view may be asymmetrically disposed with respect to the center line of the mirror to remove light bleeding caused by the edge of the mirror, thereby obtaining a good image.
  • the camera unit illustrated in FIG. 7 may secure an angle of view of about 180 ° by using three cameras.
  • FIG 8 to 10 are views illustrating a process of generating an output image by combining images obtained from three cameras according to an embodiment of the present invention.
  • the receiver 12 receives three original images, namely, first, second and third images, from the three cameras 111, 112, and 113.
  • the image processor 14 corrects the distortions included in the three original images by using the lookup table stored in the memory 13, and performs a projection process of spreading the images on a plane. Convert the original image into one wide-angle image.
  • the image processor 14 may acquire all or part of the original image and combine it into an output image.
  • the image processor 14 may extract only an image corresponding to some of the first, second and third images, and combine the same to generate an output image having a predetermined size.
  • the size of the output image may coincide with the sum of the sizes of the input image, but the present invention is not limited thereto, and the size of the output image may be arbitrarily set and output.
  • an image corresponding to an angle of view of 60 degrees from each original image is combined so that the output image can cover a total angle of view of 180 degrees.
  • the size of the image extracted from the original image may be changed according to the size or aspect ratio of the output image.
  • the image processor 14 extracts only a part of a predetermined size image from an image of 480 ⁇ 752 to generate one output image, and as a result, the output image is a predetermined size. It has a 16: 9 aspect ratio.
  • the image processor 14 of the present invention generates a single wide-angle image as an output image, and the output unit 15 outputs the single wide-angle image to be displayed on the display unit 16.
  • the image processor 14 may generate the output image by dividing the single wide-angle image into a plurality of divided images. Then, the output unit 15 may output the plurality of divided images to be displayed on the display unit 16 as an output image.
  • FIG. 10 is a diagram illustrating a process of generating a plurality of divided images according to another exemplary embodiment of the present invention.
  • the image processor 14 receives a plurality of original images, that is, first, second, and third images from the plurality of cameras 111, 112, and 113.
  • the image processor 14 corrects distortions included in the plurality of original images by using a lookup table stored in the memory unit 13, and spreads the original images on a plane by a predetermined projection method.
  • a plurality of images are converted into wide-angle images to generate one wide-angle image.
  • the image processor 14 divides the generated wide-angle image into a plurality of divided images and outputs the divided images as an output image to be displayed on the display unit 16. Can be.
  • the image displayed on the display unit 16 in FIG. 10 may be a plurality of divided images in which the wide-angle image is divided into a predetermined size, rather than one wide-angle image as shown in FIGS. 8 and 9.
  • the plurality of divided images may be displayed in a line on the display unit 16 to cover an angle of view of 180 ° like the one wide-angle image.
  • the plurality of divided images may be generated by dividing the wide-angle image into equal sizes, but the present disclosure is not limited thereto, and the plurality of divided images may be configured such that their sizes are not equal.
  • a projection process performed by using the lookup table may include a perspective projection of developing an image of a subject projected on a plane onto a plane, and an image of the subject projected on a cylindrical plane on a plane It may be one of a developing cylindrical projection and a spherical projection that develops an image of a subject projected on a spherical surface in a plane.
  • the image projected by the perspective projection method may express the perspective of the subject, but the range of the image covered in the horizontal and vertical directions may be limited.
  • the image projected by the cylindrical projection method has a wider range of images covered in the horizontal direction than the perspective projection method, but the range of the images covered in the vertical direction is limited.
  • the image projected by the spherical projection method has a wide range of images covering the horizontal and vertical direction compared to the perspective projection method.
  • the lookup table used in the present invention is configured such that the image is projected onto a plane according to any one of the three projections described above.
  • the lookup table used in the present invention may be configured to project an image according to other projection methods in addition to the three projection methods described above.
  • 11 to 16 are diagrams illustrating a board and its arrangement used in three projection schemes according to an embodiment of the present invention.
  • the lookup table is configured such that the subject of FIG. 11 is displayed in the image of FIG. 12 using a perspective projection method.
  • planar board of FIG. 11 has P011, P111, P018, P118 and P065 as each corner and center point.
  • P011 of the flat board of FIG. 11 corresponds to (50,50) which is the X and Y coordinates of P011 of FIG. 12, and P111 of the flat board of FIG. 11 is (590,50) which is the X and Y coordinates of P111 of FIG.
  • the lookup table may be configured to correspond to.
  • the lookup table is configured such that the subject of FIG. 13 becomes an image as shown in FIG. 12 using a cylindrical projection method.
  • the cylindrical board of FIG. 13 may be located in front of the image processing apparatus 1 having three cameras and two mirrors.
  • the three cameras may capture a calibration image as shown in FIG. 15.
  • N is a component meaning any one of the first to third cameras.
  • the image processing apparatus 1 of the present invention obtains image values for (n, x, y) points in a lookup table in real time when images are input from three cameras. And store it in the output buffer (X, Y) point. Once the image values for all (X, Y) points are found, they are output in the next frame.
  • the present invention enables distortion correction, projection, and image bonding at once. Through this calibration step, it is possible to output the image of the wide-angle camera in real time.
  • the lookup table may be configured such that the subject of FIG. 16 becomes the image of FIG. 12 using a spherical projection method.
  • 16A and 16B are front and side views, respectively, of a spherical board.
  • the spherical board as shown in FIG. 16 is located in front of the camera unit, and after extracting a part of the image captured by each camera, the coordinates of the respective points constituting the extracted image are coordinates of the planar image of FIG.
  • the lookup table can be configured.
  • 17 is a flowchart of an image processing method according to an embodiment of the present invention.
  • an image processing method receives images from a plurality of cameras to generate a wide-angle image covering a wide range of view angles, and captures a plurality of images captured by the plurality of cameras.
  • Receiving step (S11) by using a look-up table stored in the memory, a correction process for correcting the distortion included in the plurality of received images, the projection of spreading the image of the subject included in the plurality of received images on a plane Performing a process and a bonding process of joining the plurality of received images into the single wide-angle image in a batch to generate an output image (S12), and outputting the output image to be displayed on a predetermined display ( S15).
  • the receiver 12 receives a plurality of images from the plurality of cameras 111, 112, and 113. Each camera captures images corresponding to different ranges of view.
  • the image processor 14 performs image processing to receive a captured image of each camera to generate a wide-angle image.
  • a projection process for developing an image onto a plane and a bonding process for joining the received plurality of images into the single wide angle image are collectively performed.
  • the image processor 14 generates a single wide-angle image from the plurality of received images, and the generated wide-angle image covers a wide range of field of view.
  • Step S13 determines whether the image processing apparatus 1 of the present invention outputs a single wide-angle image as an output image and displays it on the display.
  • the output unit 15 when outputting a single wide-angle image as an output image and displaying it on the display, the output unit 15 outputs the generated wide-angle image in step S15 and processes it to be displayed on the display unit 16.
  • the image processor 14 divides the single wide-angle image into a plurality of images (S14).
  • the output unit 15 outputs the plurality of divided images and processes them to be displayed on the display unit 16.
  • the divided plurality of divided images may be displayed in a line on the display unit to provide an image covering a wide field of view to a user.
  • the image processing method of the present invention described above can be created by a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art.
  • the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention.
  • the recording medium may include any type of computer readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 광각의 이미지를 생성하는 영상 처리 장치 및 방법에 관한 것이다. 본 발명에 따르면 비교적 저렴한 가격으로 넓은 범위의 화각을 커버하는 광각의 이미지를 획득할 수 있다. 본 발명에 따르면 이미지에 포함된 렌즈에 의한 왜곡의 보정, 이미지에 포함된 피사체의 상을 평면에 전개하는 프로젝션 및 다수의 카메라로부터 수신된 다수의 이미지를 결합하여 단일의 광각 이미지를 획득하는 이미지 변환을 하나의 룩 업 테이블을 이용하여 단일의 영상 처리 프로세스를 통해 한꺼번에 수행할 수 있어, 보다 신속한 영상 출력을 가능하게 한다.

Description

광각의 이미지를 생성하는 영상 처리 장치 및 방법
본 발명은 광각의 이미지를 생성하는 영상 처리 장치 및 방법에 관한 것이다.
일반적으로, 현재 광역의 영상을 획득할 수 있도록 하는 광각 카메라 장치로는 크게 기계적으로 PTZ(Pan/Tilt/Zoom) 카메라를 이용하는 시스템, 어안 렌즈를 구비하는 카메라를 이용하는 시스템, 및 리니어 이미지 센서를 회전하여 360°영상을 획득하는 파노라믹 카메라 시스템 등이 존재한다.
어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있는 렌즈로서, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안렌즈는 광역의 영상을 획득할 수 있도록 하나, 이때의 획득된 영상은 심한 왜곡을 가진다.
이러한 광역의 영상을 획득할 수 있도록 하는 광각 카메라 장치는 자동차 후면 확인 장치에 이용되기도 한다. 자동차 후면 확인 장치는 카메라를 자동차의 후방에 설치하여 촬영한 후면을 운전자가 모니터를 통해 확인하는 것이다. 카메라의 대물렌즈를 통해 볼 수 있는 화각(field of view, 결정된 이미지 크기 내에서 촬영 가능한 범위의 각도)은 렌즈의 각도에 의존하게 된다. 일반적으로 렌즈의 화각이 약 120도를 넘어가게 되면 영상의 왜곡이 심해지고 이를 보정하기 위해서는 더 많은 렌즈가 필요하게 되어 비용이 증가한다.
본 발명은 넓은 범위의 화각을 확보하면서 저비용의 구성으로 왜곡이 없는 고해상도의 비디오 영상을 획득할 수 있는 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 처리 장치는 다수의 카메라로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하는 영상 처리 장치에 있어서, 상기 다수의 카메라가 캡쳐한 다수의 이미지를 수신하는 수신부; 상기 다수의 이미지를 단일의 광각 이미지로 변환하는 룩업 테이블을 저장하는 메모리부; 상기 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하도록 이미지를 처리하여 출력 이미지를 생성하는 이미지 처리부; 및 상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 출력부;를 포함한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 다수의 카메라로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하는 영상 처리 방법에 있어서, 상기 다수의 카메라가 캡쳐한 다수의 이미지를 수신하는 단계; 메모리에 저장된 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하여 출력 이미지를 생성하는 단계; 및 상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 단계;를 포함한다.
상술한 본 발명의 일 실시예에 따른 영상 처리 방법은 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
본 발명에 따르면 저비용의 장치 구성으로 넓은 범위의 화각을 커버하는 광각의 이미지를 획득할 수 있다.
본 발명에 따르면 이미지에 포함된 렌즈에 의한 왜곡의 보정, 이미지 센서에 캡쳐된 이미지를 평면에 전개하는 프로젝션 및 다수의 카메라로부터 수신된 다수의 이미지를 결합하여 단일의 광각 이미지를 획득하는 이미지 변환을 하나의 룩 업 테이블을 이용하여 단일의 영상 처리 프로세스를 통해 한꺼번에 수행할 수 있어, 보다 신속하게 영상을 출력할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다수의 카메라의 구조를 도시하는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 카메라의 화각의 중심과 미러 간의 배치 구조를 설명하는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 카메라의 화각 중심과 미러 간의 배치에 따른 영상 소실 범위를 비교하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 두 개의 카메라로부터 획득한 이미지를 조합하는 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 룩업 테이블의 구성을 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 카메라부의 구조를 설명하는 개략도이다.
도 8 내지 도 10는 본 발명의 일 실시예에 따른 세 개의 카메라로부터 획득한 이미지를 조합하여 출력 이미지를 생성하는 과정을 설명하는 도면이다.
도 11 내지 도 16은 본 발명의 일 실시예에 따른 세 가지 투영 방식에 사용되는 보드 및 그 배치를 설명하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(1)의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 장치(1)는 다수의 카메라(111,112,113)로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하는 영상 처리 장치(1)로서, 상기 다수의 카메라(111,112,113)가 캡쳐한 다수의 이미지를 수신하는 수신부(12), 상기 다수의 이미지를 단일의 광각 이미지로 변환하는 룩업 테이블(Look Up Table)을 저장하는 메모리부(13), 상기 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하도록 이미지를 처리하여 출력 이미지를 생성하는 이미지 처리부(14), 및 상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 출력부(15)를 포함한다.
본 발명의 일 실시예에 따르면, 상기 영상 처리 장치(1)는 일면이 빛을 받아 반사하는 반사면인 미러(114,115) 및 상기 미러(114,115)를 기준으로 화각의 중심이 대칭적으로 배치되는 다수의 카메라(111,112,113)를 더 포함할 수 있다.
즉, 본 발명의 영상 처리 장치(1)는 상기 다수의 이미지를 처리하여 광각 이미지를 생성하는 영상 처리부와 상기 이미지를 캡쳐하는 다수의 카메라들이 일체로 구비될 수 있다. 하지만, 본 발명은 이에 제한되지 않고, 상기 다수의 카메라(111,112,113)와 영상 처리 모듈이 일체로 형성되지 않고, 개별 모듈로 구성되어 사용될 수 있다.
마찬가지로, 도 1에 도시된 바와 같이, 상기 생성된 광각의 이미지를 디스플레이하는 디스플레이부(16) 역시 본 발명의 영상 처리 장치(1)와 일체로 형성될 수 있으나, 이에 제한되지 않고, 상기 디스플레이부(16)는 별개의 모듈로 구비되어 서로 조립되어 사용될 수 있다.
상기 다수의 카메라(111,112,113)는 서로 다른 화각에서 이미지를 캡쳐한다.
도 2는 본 발명의 일 실시예에 따른 카메라부의 구조를 도시하는 개략도이다.
도 2에 도시된 카메라부는 두 개의 카메라(111,112)와 한 개의 미러(114)로 구성되어 광각의 화각을 커버한다.
도 2에 도시된 바와 같이, 상기 카메라부는 일면이 빛을 받아 반사하는 반사면인 미러(114) 및 상기 미러(114)를 기준으로 화각의 중심이 서로 대칭적으로 배치되는 다수의 카메라(111,112)를 포함할 수 있다.
즉, 제 1 카메라(111)가 커버하는 화각의 중심(201)과 제 2 카메라(112)가 커버하는 화각의 중심(202)은 미러(114)를 중심으로 서로 대칭적으로 배치되며, 그 결과, 각각의 화각의 중심(201,202)으로부터 미러(114)까지의 거리는 동일하다.
여기서, 제 1 카메라(111)는 렌즈(211) 및 이미지 센서(212)를 포함한다. 또한, 제 2 카메라(112) 역시 렌즈 및 이미지 센서를 포함하여 피사체로부터 반사된 빛을 수집하여 이미지를 캡쳐한다.
본 발명의 일 실시예에 따른 영상 처리 장치(1)는 두 개의 카메라(111,112)를 이용하여 광각의 화각을 가지는 영상을 획득한다. 예를 들어, 상기 영상 처리 장치(1)는 두 개의 카메라(111,112)를 이용하여 수평 각도 약 150°의 화각을 확보할 수 있다. 영상 처리 장치(1)는 2개의 카메라(111,112)로부터 획득된 2개의 영상을 처리하여 광각의 화각을 확보한 단일 영상을 생성할 수 있다.
여기서, 2개의 카메라(111,112)의 화각의 중심(201,202)은 미러(114)를 기준으로 서로 대칭적으로 위치하게 된다. 그 결과, 제 2 카메라(112)는 미러(114)의 각도에 따라 반사된 영상을 얻게 된다. 이러한 영상은 제 1 카메라(111)의 화각의 중심(201)에서 바라보는 영상과 동일하다.
전술된 바와 같이, 각 카메라(111,112)의 화각의 중심(201,202)이 미러(114)를 기준으로 서로 대칭되므로, 획득된 제 1 영상, 즉, 제 1 카메라(111)에 의해 촬영된 영상 및 제 2 영상, 즉, 제 2 카메라(112)에 의해 획득된 영상을 이용하여 수평 150°의 화각을 별도의 이미지 접합 알고리듬 없이 용이하게 확보할 수 있다.
본 발명의 일 실시예에 따르면, 상기 다수의 카메라(111,112)의 화각의 중심(201,202)은 상기 미러의 일면과 타면 사이에 위치하는 미러(114)의 중심선을 기준으로 대칭일 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 화각의 중심(201,202)은 상기 미러(114)의 일면(302), 예컨대 반사면과 그 반대면인 타면(303) 사이에 위치하는 미러의 중심선(301)을 기준으로 대칭적으로 배치될 수 있다.
즉, 화각의 중심(201,202)은 상기 미러(114)의 어느 한 면을 기준으로 하지 않고, 일면(302)과 타면(303)의 중앙에 위치하는 중심선(301)을 기준으로 배치된다.
그 결과, 두 개의 이미지를 결합하여 하나의 광각 이미지를 생성할 때, 미러(114)의 두께와 동일한 폭만큼의 영상만이 소실되어 미러(114)의 두께로 인해 소실되는 영상을 최소화할 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라의 화각 중심과 미러 간의 배치에 따른 영상 소실 범위를 비교하는 도면이다.
도 4의 (a)에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 카메라의 화각 중심(201,202)은 거울(114)의 중심선(301)을 기준으로 대칭적으로 배치될 수 있다. 이와 같이, 카메라의 화각 중심(201,202)이 거울(114)의 중심선(301)을 기준으로 대칭적으로 배치되면, 미러(114)의 두께로 인한 영상의 소실은 미러(114)의 두께와 동일한 폭만큼만 소실되며, 일반적으로 고려되는 카메라와 피사체 간의 거리(예컨대 수십 센티미터에서 수 미터)에서 상기 소실되는 부분은 1 픽셀 미만이 될 수 있다.
또한, 도 4의 (b)에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 카메라의 화각 중심(201,202)은 거울(114)의 반사면(302)을 기준으로 대칭적으로 배치될 수 있다. 이와 같이, 카메라의 화각 중심(201,202)이 거울(114)의 반사면(302)을 기준으로 대칭적으로 배치되면, 미러(114)의 두께로 인한 영상의 소실 부분은 도 4의 (a)에서의 소실 부분보다 더 크다.
또한, 도 4의 (c)에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따르면, 카메라의 화각 중심(201,202)은 거울(114)의 반사면(302)이나 거울(114)의 중심선(301)을 기준으로 대칭적으로 배치되지 않고 비대칭적으로 배치될 수도 있다.
구체적으로, 도 4의 (c)에 도시된 바와 같이, 거울(114)의 중심선(301)으로부터 거울(114)의 반사면(302) 쪽에 위치하는 제 1 화각 중심(202)까지의 거리 d1과 거울(114)의 중심선(301)으로부터 거울(114)의 반사면(302)의 반대면인 타면(303) 쪽에 위치하는 제 2 화각 중심(201)까지의 거리 d2는 서로 다를 수 있다.
일 실시예에 따르면, 상기 거울(114)의 타면(303) 쪽에 위치하는 제 2 화각 중심(201)은 거울(114)의 반사면(302) 쪽에 위치하는 제 1 화각 중심(202)에 비해 거울(114)의 중심선(301)으로부터 보다 멀리 이격되어 배치되며, 다시 말해 d2는 d1보다 더 크게 구성될 수 있다.
상술한 도 4의 (c)와 같은 카메라의 화각 중심(201,202)과 거울(114) 간의 배치에 따르면, 도 4(a) 및 도 4(b)와 같은 배치로 인해 발생할 수 있는 영상 내 빛번짐 현상을 개선할 수 있다.
구체적으로, 도 4(a) 및 도 4(b)의 배치에 따르면, 화각 중심(201,202)은 거울(114)의 모서리 부분(1141,1142)을 지나는 빛을 수집하기 때문에, 카메라(111,112)가 캡쳐한 영상 중 상기 거울(114)의 모서리(1141,1142) 주변에 해당하는 영역은 빛번짐(blurring) 현상으로 인해 영상이 어둡거나 화질이 열악할 수 있다.
이는 거울(114)의 모서리(1141,1142)가 카메라에 너무 가까워 초점이 맞지 않아 발생하는 현상이며, 도 4(c)에 도시된 배치는 이로 인해 발생하는 영상의 열악한 화질을 개선할 수 있다.
도 4(c)를 참조하면, 거울(114)의 반사면(302) 쪽에 위치한 카메라, 즉 화각 중심이 제 1 화각 중심(202)인 카메라는 거울(114)의 반사면(302) 전부에 반사된 영상을 사용하는 도 4(a) 및 도 4(b)와 달리, 거울(114)의 반사면(302) 일부에 반사된 영상만을 출력 영상으로 사용한다.
다시 말해, 도 4(c)에 도시된 바와 같이, 반사면(302) 쪽에 위치한 카메라는 거울(114)의 반사면(302) 전체로부터 획득한 영상 중 거울의 모서리(1142)로부터 소정 거리만큼의 일부 반사면에 해당하는 영상, 즉 모서리에 의해 빛번짐 현상이 발생하는 영상 부분을 배제하여 출력 영상을 생성한다. 그 결과, 거울(114)의 반사면(302) 전체로부터 획득한 영상을 출력 영상으로 생성하는 도 4(a) 및 도 4(b)에 비해 빛번짐으로 인한 영상의 화질 저하가 개선될 수 있다.
마찬가지로, 도 4(c)에서 거울(114)의 타면(303) 쪽에 위치한 카메라, 즉 화각 중심이 제 2 화각 중심(201)인 카메라는 거울(114)의 모서리(1141)에 인접한 부분까지 출력 영상을 생성하는 도 4(a) 및 도 4(b)와 달리, 거울(114)의 모서리(1141)로부터 소정 거리만큼에 해당하는 영역에 대해서는 출력 영상으로 생성하지 않고 해당 영역을 배제시킴으로써 거울(114)의 모서리에 의한 빛번짐 현상에 따른 화질 저하를 개선할 수 있다.
그 결과, 도 4(c)의 구조는 도 4(a)의 구조에 비해 소실부위가 더 넓어질 수 있으나, 일반적인 카메라 동작 영역 안에서는 소실 부위가 1 픽셀 미만이고 거울(114)의 모서리(1141,1142)에 의한 빛번짐 현상을 배제하여 결과적으로 보다 우수한 영상을 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 두 개의 카메라로부터 획득한 이미지를 조합하는 과정을 설명하는 도면이다.
도 5는 도 2에 도시된 두 개의 카메라(111,112)에 구비된 두 개의 이미지 센서로부터 이미지 데이터를 획득한 후, 이를 조합하여 하나의 광각 이미지를 생성하기 위한 실시예이다.
본 발명의 일 실시예에 따른 영상 처리 장치(1)의 수신부(12)는 두 개의 이미지 센서들로부터 원본 이미지 데이터를 수신한다. 수신된 원본 이미지에는 렌즈에 의한 왜곡으로 인해 이미지가 왜곡되어 있다. 예를 들어, 실제로는 직선인 피사체가 상기 원본 이미지에는 곡선으로 나타나 있을 수 있다. 이는 카메라의 렌즈가 타원형이 아닌 구형으로 제작되어 나타나는 왜곡으로서, 본 발명은 룩업 테이블을 이용하여 상기 이미지에 포함된 왜곡을 보정한다.
또한, 본 발명의 영상 처리 장치(1)는 상기 수신된 다수의 이미지를 결합하여 단일의 광각 이미지로 변환하는 변환 과정을 수행한다.
구체적으로, 도 5에 도시된 바와 같이, 본 발명의 이미지 처리부(14)는 제 1 카메라(111)로부터 수신된 제 1 이미지 및 제 2 카메라(112)로부터 수신된 제 2 이미지를 결합하여 단일의 광각 이미지를 생성한다.
실시예에 따라, 상기 제 1 이미지 및 제 2 이미지는 그 전부 또는 일부만이 취합되어 광각 이미지를 생성할 수 있다. 예를 들어, 도 5에서 제 1 이미지는 480×600의 이미지 전부가 광각 이미지에 포함되었지만, 제 2 이미지는 원본 이미지 중 일부에 해당되는 320×600의 이미지만이 광각 이미지에 포함되었다.
그 결과, 상기 이미지 처리부(14)는 800×600의 광각 이미지를 생성하여 4:3 비율의 출력 영상을 출력할 수 있다.
하지만, 상기 생성된 광각 이미지의 크기는 입력 이미지, 즉 제 1 이미지 및 제 2 이미지의 크기의 합과 반드시 일치하지는 않으며, 실시예에 따라, 상기 생성되는 광각 이미지의 크기는 자유롭게 설정될 수 있다.
또한, 실시예에 따라, 본 발명의 영상 처리 장치(1)가 다수의 원본 이미지로부터 취득하는 이미지의 비율은 실시예에 따라 변경될 수 있으며, 그에 따라, 출력 영상은 4:3 비율이 아닌 16:9의 비율을 가질 수도 있다.
도 6에서 제 1 이미지로부터 획득된 이미지는 90°의 화각을 커버하고, 제 2 이미지로부터 획득된 이미지는 60°의 화각을 커버하여, 총 150°의 화각을 커버하는 광각 이미지를 획득할 수 있다.
본 발명은 렌즈에 의해 발생되는 왜곡을 보정하는 왜곡 보정 과정, 상기 수신된 다수의 이미지를 접합하여 단일의 광각 이미지로 변환하는 접합 과정 및 상기 이미지 센서가 캡쳐한 이미지를 평면에 전개하는 투영(projection) 과정을 하나의 룩업 테이블을 이용하여 일괄적으로 수행한다.
즉, 본 발명은 왜곡 보정을 위해 별도의 왜곡 보정용 룩업 테이블을 구비하거나, 프로젝션을 위한 별도의 프로젝션용 룩업 테이블, 그리고 이미지 접합을 위한 별도의 접합용 룩업 테이블을 개별적으로 구비하지 않고, 하나의 룩업 테이블만을 구비하여 상술한 보정, 투영 및 접합 과정을 한꺼번에 수행하여 이미지 처리 과정을 단일의 프로세스로 단순화시키는 장점이 있다.
그 결과, 본 발명에 따르면 다수의 카메라를 이용하여 단일의 광각 이미지를 출력하기까지 걸리는 이미지 처리 시간이 단축되어 리얼 타임으로 영상 처리가 수행되는 효과가 있다.
상기 프로세스에 사용되는 룩업 테이블은 본 발명의 영상 처리 장치(1)에 구비되는 메모리부(13)에 저장되며, 도 6은 본 발명의 일 실시예에 따른 룩업 테이블의 구성을 나타내는 도면이다.
도 6에 도시된 바와 같이, 다수의 카메라로부터 수신된 다수의 원본 이미지의 일 좌표는 이미지 처리에 의해 생성되는 광각 이미지의 일 좌표에 매핑된다.
여기서, 룩업 테이블의 좌측 컬럼을 구성하는 좌표 (n,x,y)에서 n은 카메라를 나타내는 컴포넌트이며, x는 x축 좌표값을 나타내는 컴포넌트이며, y는 y축 좌표값을 나타내는 컴포넌트이다.
바람직하게, 상기 입력 이미지의 좌표 중 n은 정수이고, x 및 y는 실수이며, 출력 이미지의 좌표 중 X 및 Y는 정수이다. 하지만, 본 발명은 이에 제한되지 않고 x 및 y가 정수로 구성될 수도 있으며, X 및 Y가 실수로 구성될 수도 있다.
예를 들어, 제 1 카메라(111)의 경우 n = 1이고, 제 2 카메라(112)의 경우 n=2이며, 입력 이미지의 좌표 (1,3.2,2.1)은 제 1 카메라로부터 수신된 제 1 이미지의 좌표 (3.2,2.1)에 해당되는 픽셀 값을 나타내며, 도 6의 룩업 테이블에 의하면, 해당 픽셀 값은 출력 이미지의 좌표 (0,0)에 매핑된다.
이와 마찬가지로, 좌표 (1,4.3,2.2)은 제 1 카메라로부터 수신된 제 1 이미지의 좌표 (4.3,2.2)에 해당되는 픽셀 값을 나타내며, 이는 출력 이미지의 좌표 (1,0)에 매핑된다.
이러한 방식으로 다수의 이미지, 즉 제 1 및 제 2 이미지는 단일의 광각 이미지로 변환될 수 있으며, 본 발명은 상기 룩업 테이블을 통해 렌즈에 의한 왜곡을 보정하는 보정 프로세스 및 이미지 센서에 캡쳐된 이미지를 평면에 전개하는 투영 프로세스를 한꺼번에 수행한다.
그 결과, 왜곡 보정, 투영 및 이미지 결합을 개별적으로 실시할 필요가 없으며, 이미지 프로세싱에 소요되는 시간이 줄어들어 실시간 영상 출력이 가능하게 된다.
상술한 룩업 테이블은 상기 영상 처리 장치(1)의 제작 시 기결정되어 상기 메모리부(13)에 저장된다.
도 7은 본 발명의 다른 실시예에 따른 카메라부의 구조를 설명하는 개략도이다.
도 7에 도시된 카메라부는 도 2에 도시된 카메라부와 달리 세 개의 카메라(111,112,113)와 두 개의 미러(114,115)로 구성되며, 각각의 미러(114,115)는 상기 다수의 카메라(111,112,113)들 사이에 구비된다.
상기 미러(114,115)의 배치 각도는 상기 카메라(111,112,113)의 화각의 중심(201,202,203) 과의 거리에 따라 적응적으로 배치되어, 도 2의 카메라부보다 더 넓은 범위의 화각을 커버할 수 있다.
도 7에 도시된 카메라부 역시, 상기 미러(114,115)의 일면은 빛을 받아 반사하는 반사면이며, 상기 다수의 카메라(111,112,113)는 상기 미러(114,115)를 기준으로 화각의 중심(201,202,203)이 대칭적으로 배치된다.
구체적으로, 제 1 카메라(111)의 화각의 중심(201)과 제 2 카메라(112)의 화각의 중심(202)은 제 1 미러(114)를 기준으로 대칭적으로 배치되며, 제 1 카메라(111)의 화각의 중심(201)과 제 3 카메라(113)의 화각의 중심(203)은 제 2 미러(115)를 기준으로 대칭적으로 배치된다.
도 7에서 상기 미러(114,115)의 반사면은 바깥쪽을 향하도록 배치되며, 도 3과 유사하게, 상기 다수의 카메라(111,112,113)의 화각의 중심(201,202,203)은 상기 미러(114,115)의 일면과 타면 사이에 위치하는 미러의 중심선을 기준으로 대칭되도록 배치될 수 있다.
즉, 카메라(111,112,113)의 화각의 중심은 미러(114,115)의 어느 한 면을 기준으로 대칭되는 것이 아니라, 미러의 한 면과 다른 한 면의 중심에 위치하는 미러의 중심선을 기준으로 대칭된다.
또한, 도 4(c)를 참조로 전술한 바와 같이, 화각의 중심을 미러의 중심선에 대해 비대칭적으로 배치하여 거울의 모서리에 의해 발생하는 빛번짐 현상을 제거하여 양질의 영상을 획득할 수도 있다.
도 7에 도시된 카메라부는 세 개의 카메라를 이용하여 수평 각도 약 180°의 화각을 확보할 수 있다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 세 개의 카메라로부터 획득한 이미지를 조합하여 출력 이미지를 생성하는 과정을 설명하는 도면이다.
도 8에 도시된 바와 같이, 상기 수신부(12)는 상기 세 개의 카메라(111,112,113)로부터 세 개의 원본 이미지, 즉 제 1, 제 2 및 제 3 이미지를 수신한다.
그리고 나서, 상기 이미지 처리부(14)는 메모리부(13)에 저장된 룩업 테이블을 이용하여, 상기 세 개의 원본 이미지에 포함된 왜곡을 보정하고, 이미지를 평면에 전개하는 프로젝션 과정을 수행하고, 세 개의 원본 이미지를 하나의 광각 이미지로 변환한다.
마찬가지로, 실시예에 따라, 상기 이미지 처리부(14)는 상기 원본 이미지의 전부 또는 일부만을 취득하여 출력 이미지로 결합할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 상기 이미지 처리부(14)는 제 1, 제 2 및 제 3 이미지 중 일부에 해당하는 이미지만을 추출하고, 이를 결합하여 소정 사이즈의 출력 이미지를 생성할 수 있다. 상기 출력 이미지의 사이즈는 상기 입력 이미지의 사이즈의 합과 일치할 수 있지만, 본 발명은 이에 제한되지 않고 상기 출력 이미지의 사이즈를 임의로 설정하여 출력할 수 있다.
그 결과, 각각의 원본 이미지로부터 60°만큼의 화각에 해당하는 이미지가 결합되어 상기 출력 이미지는 총 180°의 화각을 커버할 수 있게 된다.
실시예에 따라, 상기 원본 이미지로부터 추출되는 이미지의 사이즈는 출력 이미지의 사이즈 또는 화면 비율에 따라 변경될 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 상기 이미지 처리부(14)는 480×752의 이미지로부터 소정 사이즈의 일부 이미지만을 추출하여, 하나의 출력 이미지를 생성하고, 그 결과 출력 이미지는 소정의 사이즈로 형성되어 16:9의 화면 비율을 가지게 된다.
이와 같은 이미지 프로세싱을 통해 본 발명의 이미지 처리부(14)는 출력 이미지로서 단일의 광각 이미지를 생성하고, 상기 출력부(15)는 상기 단일의 광각 이미지를 디스플레이부(16)에 표시되도록 출력한다.
본 발명의 다른 실시예에 따르면, 상기 이미지 처리부(14)는 상기 단일의 광각 이미지를 다수의 분할 이미지로 분할함으로써 이를 출력 이미지로 생성할 수 있다. 그리고 나서, 상기 출력부(15)는 상기 다수의 분할 이미지를 출력 이미지로서 디스플레이부(16)에 표시되도록 출력할 수 있다.
도 10은 본 발명의 다른 실시예에 따라 다수의 분할 이미지를 생성하는 과정을 설명하는 도면이다.
도 10에 도시된 바와 같이, 상기 이미지 처리부(14)는 다수의 카메라(111,112,113)로부터 다수의 원본 이미지, 즉 제 1, 제 2 및 제 3 이미지를 수신한다.
그리고 나서, 상기 이미지 처리부(14)는 메모리부(13)에 저장된 룩업 테이블을 이용하여 상기 다수의 원본 이미지에 포함된 왜곡을 보정하고, 상기 원본 이미지를 소정의 투영 방식으로 평면에 전개하고, 상기 다수의 이미지를 광각 이미지로 변환하여, 하나의 광각 이미지를 생성한다.
그리고 나서, 상기 이미지 처리부(14)는 상기 생성된 하나의 광각 이미지를 출력 이미지로 출력하는 대신, 다수의 분할 이미지로 분할하여 상기 분할된 이미지들을 출력 이미지로서 출력하여 디스플레이부(16)에 표시할 수 있다.
즉, 도 10에서 디스플레이부(16)에 표시되는 이미지는 도 8 및 도 9와 같이 하나의 광각 이미지가 아니라 상기 광각 이미지가 소정의 사이즈로 분할된 다수의 분할 이미지일 수 있다.
상기 다수의 분할 이미지는 디스플레이부(16)에 일렬로 표시되어, 상기 하나의 광각 이미지와 같이 180°의 화각을 커버할 수 있다.
실시예에 따라, 상기 다수의 분할 이미지는 상기 광각 이미지를 균등한 사이즈로 분할하여 생성될 수 있으나, 이에 제한되지 않고, 상기 다수의 분할 이미지는 그 사이즈가 균등하지 않게 구성될 수도 있다.
본 발명의 일 실시예에 따르면, 상기 룩업 테이블을 이용하여 수행되는 투영 과정은 평면에 투영된 피사체의 상을 평면에 전개하는 원근 투영(perspective projection), 원통면에 투영된 피사체의 상을 평면에 전개하는 원통 투영(cylindrical projection) 및 구면에 투영된 피사체의 상을 평면에 전개하는 구면 투영(spherical projection) 중 어느 하나일 수 있다.
상기 원근 투영 방식에 의해 투영되는 이미지는 피사체의 원근감을 표현할 수 있지만, 수평 및 수직 방향으로 커버하는 영상의 범위가 제한적일 수 있다.
이에 비해, 상기 원통 투영 방식에 의해 투영되는 이미지는 원근 투영 방식에 비해 수평 방향으로 커버하는 영상의 범위가 더 광범위하지만, 수직 방향으로 커버되는 영상의 범위는 제한적이다.
반면, 상기 구면 투영 방식에 의해 투영되는 이미지는 원근 투영 방식에 비해 수평 및 수직 방향으로 커버하는 영상의 범위가 광범위한 장점이 있다.
본 발명에서 사용되는 룩업 테이블은 상술한 세 가지 프로젝션 중 어느 하나의 방식에 따라 이미지가 평면에 투영되도록 구성된다.
실시예에 따라, 본 발명에 사용되는 룩업 테이블은 상술한 세 가지 프로젝션 방법 외에 다른 프로젝션 방법들에 따라 이미지가 투영되도록 구성될 수도 있다.
도 11 내지 도 16은 본 발명의 일 실시예에 따른 세 가지 투영 방식에 사용되는 보드 및 그 배치를 설명하는 도면이다.
일반적으로 광각의 화각을 커버하지 않는 일반 카메라의 경우, 룩업 테이블은 도 11과 같은 피사체가 원근 투영 방식을 이용하여 도 12과 같은 이미지로 표시되도록 구성된다.
구체적으로, 도 11의 평면 보드는 각 모서리 및 중앙 점으로 P011, P111, P018, P118 및 P065을 가진다. 도 11의 평면 보드의 P011은 도 12의 P011의 X, Y 좌표인 (50,50)에 대응되고, 도 11의 평면 보드의 P111은 도 12의 P111의 X, Y 좌표인 (590,50)에 대응되도록 룩업 테이블이 구성될 수 있다.
그러나, 수평 화각이 광범위하고 수직 화각이 크지 않은 카메라, 예컨대 파노라마 카메라의 경우, 룩업 테이블은 도 13의 피사체가 원통 투영 방식을 이용하여 도 12와 같은 이미지가 되도록 구성된다.
구체적으로, 도 14에 도시된 바와 같이, 세 개의 카메라와 두 개의 미러를 구비하는 영상 처리 장치(1)의 전방에 도 13의 원통형 보드가 위치될 수 있다. 이 경우, 상기 세 개의 카메라는 도 15에 도시된 바와 같은 캘리브레이션 이미지를 캡쳐할 수 있다.
상기 세 개의 카메라가 캡쳐한 이미지로부터 도 12와 같은 이미지를 출력하기 위해, 제 3 카메라의 이미지인 제 3 이미지 중 거울에 비친 부분인 오른쪽 이미지 부분을 추출하고, 제 1 카메라의 이미지인 제 1 이미지 중 거울의 뒷면인 까만 부분을 제외한 중앙 부분을 추출하고, 제 2 카메라의 이미지인 제 2 이미지 중 거울에 비친 부분인 왼쪽 이미지 부분을 추출한다. 그리고 나서, 상기 추출된 이미지의 각 지점이 도 12의 이미지의 해당 지점에 대응되도록 룩업 테이블을 구성한다.
예를 들어, 원통형 보드 위의 점 'P011'는 제 3 카메라(113)의 이미지인 제 3 이미지에서는 좌표 (x, y) = (582.7, 414.5)에 위치한다. 이 점의 이미지 값은 출력 시 출력 이미지의 좌표(X,Y) = (50, 50)으로 내보내야 한다.
따라서 출력 이미지를 구성하는 모든 정수 좌표 (X,Y)에 대응하는 각 카메라의 이미지의 실수 점 (n, x, y)을 룩업 테이블에 저장한다. 여기서 n은 제 1 내지 제 3 카메라 중 어느 하나를 의미하는 컴포넌트이다.
실제로, 본 발명의 영상 처리 장치(1)는 3개의 카메라로부터 영상이 들어오면 실시간으로 룩업 테이블에서 (n, x, y) 점에 대한 이미지 값을 구한다. 그리고 이를 출력 버퍼 (X, Y) 점에 저장한다. 모든 (X, Y) 점에 대한 이미지 값이 구해지면 다음 프레임에서 이를 출력한다. 따라서 본 발명은 왜곡 보정, 프로젝션 및 이미지 접합을 한꺼번에 할 수 있다. 이러한 캘리브레이션 단계를 통해 실시간으로 광각 카메라의 영상 출력이 가능하게 된다.
또한, 수평 화각과 수직 화각 둘 모두가 광범위한 카메라의 경우, 룩업 테이블은 도 16과 같은 피사체가 구면 투영 방식을 이용하여 도 12와 같은 이미지가 되도록 구성될 수 있다. 도 16의 (a) 및 (b)는 각각 구면형 보드의 정면도 및 측면도이다.
이 역시, 도 16과 같은 구면형 보드가 카메라부의 전방에 위치되어, 각각의 카메라가 캡쳐한 이미지의 일부를 추출한 후, 추출된 이미지를 구성하는 각 지점의 좌표를 도 12의 평면 이미지의 해당 좌표에 대응시킴으로써 룩업 테이블을 구성할 수 있다.
도 17은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 17에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법은 다수의 카메라로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하며, 상기 다수의 카메라가 캡쳐한 다수의 이미지를 수신하는 단계(S11), 메모리에 저장된 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하여 출력 이미지를 생성하는 단계(S12), 및 상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 단계(S15)를 포함한다.
단계(S11)은 수신부(12)가 다수의 카메라(111,112,113)로부터 다수의 이미지를 수신한다. 각각의 카메라는 서로 다른 범위의 화각에 해당하는 이미지를 캡쳐한다. 상기 이미지 처리부(14)는 상기 각각의 카메라가 캡쳐한 이미지를 수신하여 광각 이미지를 생성하도록 이미지 처리를 수행한다.
단계(S12)는 이미지 처리부(14)가 메모리(13)에 저장된 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 프로세스, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 프로세스 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 프로세스를 일괄적으로 수행한다.
그 결과, 상기 이미지 처리부(14)는 상기 수신된 다수의 이미지로부터 단일의 광각 이미지를 생성하며, 상기 생성된 광각 이미지는 넓은 범위의 화각을 커버한다.
단계(S13)은 본 발명의 영상 처리 장치(1)가 출력 이미지로 단일의 광각 이미지를 출력하여 디스플레이에 표시하는지 판단한다.
그 결과, 단일의 광각 이미지를 출력 이미지로서 출력하여 디스플레이에 표시하는 경우, 단계(S15)에서 출력부(15)는 상기 생성된 광각 이미지를 출력하여 디스플레이부(16)에 표시되도록 처리한다.
단계(S13)에서 출력 이미지로서 단일의 광각 이미지를 출력하지 않는 경우, 이미지 처리부(14)는 상기 단일의 광각 이미지를 다수의 이미지로 분할한다(S14).
그리고 나서, 출력부(15)는 상기 분할된 다수의 분할 이미지를 출력하여 디스플레이부(16)에 표시되도록 처리한다.
상기 분할된 다수의 분할 이미지는 디스플레이부에 일렬로 표시되어 광범위한 화각을 커버하는 영상을 사용자에게 제공할 수 있다.
전술한 본 발명의 영상 처리 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　
또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (15)

  1. 다수의 카메라로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하는 영상 처리 장치에 있어서,
    상기 다수의 카메라가 캡쳐한 다수의 이미지를 수신하는 수신부;
    상기 다수의 이미지를 단일의 광각 이미지로 변환하는 룩업 테이블을 저장하는 메모리부;
    상기 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하도록 이미지를 처리하여 출력 이미지를 생성하는 이미지 처리부; 및
    상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 출력부;
    를 포함하는 영상 처리 장치.
  2. 제 1항에 있어서,
    일면이 빛을 받아 반사하는 반사면인 미러; 및
    상기 미러를 사이에 두고 화각의 중심이 상기 미러의 양쪽에 배치되는 다수의 카메라;
    를 더 포함하는 영상 처리 장치.
  3. 제 2항에 있어서,
    상기 다수의 카메라의 화각의 중심 중 상기 미러의 반사면 쪽에 배치되는 제 1 화각 중심은 상기 미러의 타면 쪽에 배치되는 제 2 화각 중심보다 상기 미러에 더 근접하여 배치되는 영상 처리 장치.
  4. 제 1항에 있어서,
    상기 이미지 처리부는 상기 투영 과정으로서 평면에 투영된 피사체의 상을 평면에 전개하는 원근 투영(perspective projection), 원통면에 투영된 피사체의 상을 평면에 전개하는 원통 투영(cylindrical projection) 및 구면에 투영된 피사체의 상을 평면에 전개하는 구면 투영(spherical projection) 중 어느 하나를 수행하는 영상 처리 장치.
  5. 제 1항에 있어서,
    상기 디스플레이에 표시되는 출력 이미지는 상기 변환된 단일의 광각 이미지인 영상 처리 장치.
  6. 제 1항에 있어서,
    상기 디스플레이에 표시되는 출력 이미지는 상기 변환된 단일의 광각 이미지로부터 분할된 다수의 분할 이미지인 영상 처리 장치.
  7. 제 1항에 있어서,
    상기 이미지 처리부는 소정의 영상 표준에 부합하여 상기 출력 이미지를 생성하는 영상 처리 장치.
  8. 제 1항에 있어서,
    상기 이미지 처리부는 소정의 영상 표준에 부합하지 않는 비표준 영상으로 상기 출력 이미지를 생성하는 영상 처리 장치.
  9. 다수의 카메라로부터 이미지를 수신하여 광범위한 화각을 커버하는 광각 이미지를 생성하는 영상 처리 방법에 있어서,
    상기 다수의 카메라가 캡쳐한 다수의 이미지를 수신하는 단계;
    메모리에 저장된 룩업 테이블을 이용하여, 상기 수신된 다수의 이미지에 포함된 왜곡을 보정하는 보정 과정, 상기 수신된 다수의 이미지에 포함된 피사체의 상을 평면에 전개하는 투영 과정 및 상기 수신된 다수의 이미지를 상기 단일의 광각 이미지로 접합하는 접합 과정을 일괄적으로 수행하여 출력 이미지를 생성하는 단계; 및
    상기 출력 이미지가 소정의 디스플레이에 표시되도록 출력하는 단계;
    를 포함하는 영상 처리 방법.
  10. 제 9항에 있어서,
    상기 다수의 카메라 사이에 일면이 빛을 받아 반사하는 반사면인 미러가 구비되는 영상 처리 방법.
  11. 제 10항에 있어서,
    상기 다수의 카메라의 화각의 중심 중 상기 미러의 반사면 쪽에 배치되는 제 1 화각 중심은 상기 미러의 타면 쪽에 배치되는 제 2 화각 중심보다 상기 미러에 더 근접하여 배치되는 영상 처리 방법.
  12. 제 9항에 있어서, 상기 생성 단계는,
    상기 투영 과정으로서 평면에 투영된 피사체의 상을 평면에 전개하는 원근 투영, 원통면에 투영된 피사체의 상을 평면에 전개하는 원통 투영 및 구면에 투영된 피사체의 상을 평면에 전개하는 구면 투영 중 어느 하나를 수행하는 단계를 포함하는 영상 처리 방법.
  13. 제 9항에 있어서, 상기 출력 단계는,
    상기 디스플레이에 표시되는 출력 이미지로서 상기 변환된 단일의 광각 이미지를 출력하는 단계를 포함하는 영상 처리 방법.
  14. 제 9항에 있어서, 상기 출력 단계는,
    상기 디스플레이에 표시되는 출력 이미지로서 상기 변환된 단일의 광각 이미지로부터 분할된 다수의 분할 이미지를 출력하는 단계를 포함하는 영상 처리 방법.
  15. 제 9항 내지 제 14항 중 어느 한 항에 기재된 방법의 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2010/005750 2009-09-04 2010-08-26 광각의 이미지를 생성하는 영상 처리 장치 및 방법 WO2011027994A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20090083584 2009-09-04
KR10-2009-0083584 2009-09-04
KR1020100043197A KR101011704B1 (ko) 2009-09-04 2010-05-07 광각의 이미지를 생성하는 영상 처리 장치 및 방법
KR10-2010-0043197 2010-05-07

Publications (2)

Publication Number Publication Date
WO2011027994A2 true WO2011027994A2 (ko) 2011-03-10
WO2011027994A3 WO2011027994A3 (ko) 2011-05-26

Family

ID=43616939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005750 WO2011027994A2 (ko) 2009-09-04 2010-08-26 광각의 이미지를 생성하는 영상 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101011704B1 (ko)
WO (1) WO2011027994A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056927A1 (ko) * 2013-10-14 2015-04-23 동우화인켐 주식회사 윈도우 기판의 절단면 검사 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493946B1 (ko) * 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100385826B1 (ko) * 1998-08-28 2003-06-02 루센트 테크놀러지스 인크 압축 고해상도 파노라마 조망 시스템
KR100898824B1 (ko) * 2007-07-29 2009-05-22 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100385826B1 (ko) * 1998-08-28 2003-06-02 루센트 테크놀러지스 인크 압축 고해상도 파노라마 조망 시스템
KR100898824B1 (ko) * 2007-07-29 2009-05-22 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056927A1 (ko) * 2013-10-14 2015-04-23 동우화인켐 주식회사 윈도우 기판의 절단면 검사 장치

Also Published As

Publication number Publication date
WO2011027994A3 (ko) 2011-05-26
KR101011704B1 (ko) 2011-01-31

Similar Documents

Publication Publication Date Title
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2017007096A1 (en) Image capturing apparatus and method of operating the same
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2015122604A1 (en) Solid-state image sensor, electronic device, and auto focusing method
US8139120B2 (en) Image processing device, camera device and image processing method
JPH10200804A (ja) カメラ型スキャナ
WO2011027994A2 (ko) 광각의 이미지를 생성하는 영상 처리 장치 및 방법
WO2019160237A1 (en) Electronic device and method for controlling display of images
KR100445548B1 (ko) 파노라마 촬영감시방법 및 촬영감시장치
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2021261737A1 (ko) 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법
JP3709362B2 (ja) ディジタルカメラ装置
JP2020043430A (ja) 撮像装置
TW201905852A (zh) 影像擷取裝置及影像處理方法
WO2021145612A1 (ko) 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
KR101436231B1 (ko) 영상 표시부에 폐공간을 없앤 전방위촬영시스템 및 촬영방법
KR20100050264A (ko) 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법 및 광축오차 보상 기능이 구현된 줌 카메라
JPH08305841A (ja) 歪曲収差画像補正表示装置
JPH09224180A (ja) 撮像装置
JP4147656B2 (ja) 画像処理装置
US6697115B1 (en) Image photographing apparatus for electrically performing inversion/non-inversion of captured pictures
WO2021246736A1 (ko) 이미지 처리 장치 및 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813903

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/06/12)

122 Ep: pct application non-entry in european phase

Ref document number: 10813903

Country of ref document: EP

Kind code of ref document: A2