WO2015030449A1 - 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 - Google Patents

사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 Download PDF

Info

Publication number
WO2015030449A1
WO2015030449A1 PCT/KR2014/007894 KR2014007894W WO2015030449A1 WO 2015030449 A1 WO2015030449 A1 WO 2015030449A1 KR 2014007894 W KR2014007894 W KR 2014007894W WO 2015030449 A1 WO2015030449 A1 WO 2015030449A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
camera
supply device
rectangular
Prior art date
Application number
PCT/KR2014/007894
Other languages
English (en)
French (fr)
Inventor
고재용
Original Assignee
주식회사 와이드벤티지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이드벤티지 filed Critical 주식회사 와이드벤티지
Priority to KR1020157002824A priority Critical patent/KR20150037975A/ko
Publication of WO2015030449A1 publication Critical patent/WO2015030449A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to a panoramic image generating apparatus, and more particularly, to a panoramic image generating apparatus using a rectangular image supply device for generating a panoramic image by additionally supplying an image of a rectangular region outside the angle of view of a camera.
  • both front and rear cameras can be operated simultaneously, allowing video recording and camera shooting.
  • This simultaneous shooting is used to record both the subject of the smartphone and the subject shooting the smartphone at the same time.
  • the shooting of the subject and the subject is technically possible but tends not to be considered as a necessary function by consumers. .
  • a panorama image (picture) is generated by performing an image stitching algorithm that sequentially photographs a plurality of images with a smartphone or the like and then stitches each image at an appropriate position.
  • panoramic images combine images (pictures) taken from several viewpoints, they cannot be used for video recording or shooting moving objects, and shooting is cumbersome.
  • the angle of view (viewing angle) of the camera employed in the conventional smartphone is usually about 50 to 60 degrees
  • the rectangular area is wide in the left and right and the front of the camera beyond this angle, it is conventionally convex to widen the angle of view.
  • the conventional method using a lens or a mirror is not only expensive, but because more images enter the area of an imaging sensor (imaging area) included in a predetermined camera, resolution is inevitably deteriorated.
  • the panoramic image generating apparatus using the rectangular image supply device reflects the image of the rectangular area outside the predetermined center area to the center area, but reflects the front area of the center area and the image of the rectangular area or the image of the rectangular area as the center area.
  • At least one first camera that captures only an image or an image of a blind area, and a controller that processes and combines the captured image from the first camera to generate a panoramic image in a desired direction in consideration of image characteristics of the blind image supply device.
  • Panoramic image It consists of a generating device.
  • the rectangular image supply device preferably includes a second reflecting mirror that reflects an image of an area different from the rectangular area to the second reflecting mirror.
  • the first reflecting mirror is composed of a pair of reflecting mirrors symmetrically with respect to the center region.
  • the first reflecting mirror is composed of a plurality of reflecting mirrors having different reflection angles from each other.
  • the first reflecting mirror reflects an image having an area smaller than the angle of view of the first camera in the first direction, and an area larger than the angle of view of the first camera in the direction perpendicular to the first direction.
  • the controller may perform at least one or more of left and right inversion processing, up and down inversion processing, or separation processing on the photographed image, and generate the panorama image by combining the processed photographed images.
  • the panorama image generating apparatus includes a second camera that captures an image of an area that does not overlap or has a minimum overlapping area of the rectangular area, and the controller generates a panorama image by combining the captured images of the first and second cameras. It is desirable to.
  • the panoramic image generating apparatus includes a second camera for capturing an image overlapping with the image of the blind spot, and the controller determines the position of the subject included in the blind spot captured by the first and second cameras. For example, it is preferable to generate a stereoscopic image using the images photographed by the first and second cameras.
  • the present invention has the effect of enabling instant panorama shooting or panoramic video recording by using a low-cost mirror or the like and simultaneously using one or two cameras already mounted on a smartphone.
  • the present invention has the effect that the user can take a panorama without sacrificing the resolution using a smart phone without the need for expensive heavy and precise optical tools required for conventional instant panorama shooting.
  • the present invention has the effect of determining the location of the desired subject or to generate a three-dimensional image using the images of the two cameras.
  • FIG. 1 is a block diagram of a panoramic image generating apparatus.
  • FIG 2 is a side view of the rectangular image supply device and the panoramic image generating device according to the first embodiment.
  • 3A and 3B are conceptual views of images photographed by the first and second cameras according to the first embodiment.
  • FIGS. 4A and 4B are schematic configuration diagrams and side views of a rectangular image supply device and a panoramic image generating device according to a second embodiment.
  • 5A and 5B are conceptual views of images photographed by the first and second cameras according to the second embodiment.
  • FIG. 6 is a side view of the rectangular image supply device and the panoramic image generating device according to the third embodiment.
  • FIG 7 is a partial side view of the rectangular image supply device and the panoramic image generating device according to the fourth embodiment.
  • FIG 8 is a partial side view of the rectangular image supply device and the panoramic image generating device according to the fifth embodiment.
  • FIGS. 9A to 9C are diagrams of a rectangular image supply device and a panoramic image generating device according to a sixth embodiment.
  • FIG. 10 is a conceptual diagram of images photographed by a second camera according to a sixth embodiment.
  • 11A to 11B are diagrams of a rectangular image supply device and a panoramic image generating device according to a seventh embodiment.
  • FIG. 12 is a conceptual diagram of images photographed by a second camera according to a seventh embodiment.
  • FIGS. 13A to 13D are diagrams of a rectangular image supply device and a panoramic image generating device according to an eighth embodiment.
  • FIG. 14 is a conceptual diagram of images photographed by a second camera according to an eighth embodiment.
  • 15 shows a combining device for connecting the rectangular image supply device and the panoramic image generating device.
  • 16 is a schematic structural diagram of a rectangular image supply device and a panoramic image generation device according to a ninth embodiment.
  • 17 is a conceptual diagram of images photographed by the first and second cameras according to the ninth embodiment.
  • the panoramic image generating apparatus 1 includes first and second cameras 11 and 12 photographing the same or opposite directions, and captured images (still images and moving images) from the first and second cameras 11 and 12.
  • a storage unit 14 storing a panoramic image generated using the captured image, a communication unit 16 performing wired or wireless communication with an external device or network, and an input unit 17 obtaining input from a user.
  • the display unit 18 displaying various information and images, and the first and second cameras 11 and 12 simultaneously or sequentially to obtain a captured image, and generate a panoramic image using the captured image.
  • the control unit 19 is configured.
  • the panorama image generating apparatus 1 may be implemented by, for example, an electric device such as a smartphone or a tablet PC having a plurality of cameras.
  • the first and second cameras 11 and 12 photograph the same direction or the opposite direction depending on the mounting position thereof, and simultaneously or selectively operate under the control of the controller 19 to display images of the same time zone or different time zones. An image is taken and applied to the controller 19.
  • the controller 19 processes and combines the photographed images from the first and second cameras 11 and 12 in consideration of the photographing direction (same direction / counter direction) and the image characteristics of the rectangular image supply device 20. To create a panoramic image of the foreground in the desired direction. A more detailed description follows.
  • FIG 2 is a side view of the rectangular image supply device and the panoramic image generating device according to the first embodiment.
  • the panoramic image generating apparatus 1 includes a first camera 11 photographing a first direction indicated by an arrow, and a second camera 12 photographing a second direction opposite to the first direction of the first camera 11. ), The angles of view of the first camera 11 and the second camera 12 do not overlap each other.
  • the blind spot image supply device 20 is positioned in front of the second camera 12 so that the second camera 12 captures the first direction, and the blind spots C1 and C2 outside the field of view of the first camera 11 are photographed. Take a picture.
  • the blind spot image supply device 20 may reflect the images of the blind spots C1 and C2 outside the angle of view of the first camera 11 toward the front of the second camera 12.
  • 21b and the rectangular areas C1 and C2 reflected by the first and second reflecting mirrors 21a and 21b are reflected to the imaging area (photographing sensor) of the second camera 12 so as to reflect the second camera 12.
  • the first and second reflecting mirrors 21a and 21b are planar mirrors, and the images of the rectangular areas C1 and C2 outside the angle of view of the first camera 11 are preset. It is reflected to the area (the area before the predetermined center area).
  • the third and fourth reflecting mirrors 22a and 22b are planar mirrors, and reflect the images of the rectangular areas C1 and C2 to the imaging area (preset center area) of the preset second camera 12, respectively. It forms a predetermined angle so as to be in contact with each other at the center line (O ') which is the center of the angle of view.
  • the third and fourth reflecting mirrors 22a and 22b are symmetrically positioned with respect to the center line O '.
  • the first reflecting mirror 21a and the third reflecting mirror 22a are disposed at predetermined intervals and angles such that the blind spot C1 is reflected to an area that is 1/2 of the imaging area of the second camera 12.
  • the second reflecting mirror 21b and the fourth reflecting mirror 22b are arranged at predetermined intervals and angles so that the blind spot C2 is reflected to an area that is 1/2 of the imaging area of the second camera 12. do.
  • the rectangular image supply device 20 has a case 30 for fixedly mounting the first to fourth reflective mirrors 21a, 21b, 22a, and 22b. Although the case 30 is not described below, the reflective mirrors are fixedly mounted to the case.
  • the third and fourth reflecting mirrors 22a and 22b may be in contact with each other in the region other than the center line O ', and the blind spots C1 and C2 may be in contact with each other on the imaging region of the second camera 12. The size of is changed.
  • the first and second cameras 11 and 12 may be driven at the same time to perform simultaneous shooting.
  • the first and second cameras 11 and 12 show an example of an angle of view of 60 degrees ranging from -30 degrees to 30 degrees at the center lines O and O ', respectively.
  • the first camera 11 photographs the main photographing area M included in the angle of view of the first direction
  • the second camera 12 records the second camera 12 at -30 degrees of the center line O '.
  • 3A and 3B are conceptual views of images photographed by the first and second cameras.
  • the main image MI is an image of the main photographing area M photographed by the first camera 11, and the quadrangular images CI1 and CI2 are photographed at the same time by the second camera 12. Images of the regions C1 and C2.
  • the blind spot C1 is an area corresponding to -60 degrees to -30 degrees of the center line O, and is reflected by the first reflecting mirror 21a and the third reflecting mirror 22a of the second camera 12. It is photographed at 1/2 of the imaging area, and is applied to the actual image of the rectangular area C1 in the imaging area of the second camera 12 by the left and right inversion effect of the first reflection mirror 21a and the third reflection mirror 22a. The image reversed left and right is obtained.
  • the blind spot C2 is an area corresponding to 60 to 30 degrees of the center line O, and the second camera 12 is reflected by the reflection of the second reflection mirror 21b and the fourth reflection mirror 22b.
  • the main image MI corresponding to the main photographing area M and the rectangular images CI1 and CI2 respectively corresponding to the rectangular areas C1 and C2 do not overlap or are minimized.
  • the controller 19 obtains a combination image of the main image MI and the quadrangle images CI1 and CI2 from the first and second cameras 11 and 12.
  • the controller 19 separates the combined image of the rectangular images CI1 and CI2 into rectangular images CI1 and CI2, respectively.
  • the controller 19 determines a position where the quadrangular image is separated according to the contact positions of the third and fourth reflection mirrors 22a and 22b on the imaging area of the second camera 12.
  • the controller 19 performs left and right inversion processing on the rectangular images CI1 and CI2 in consideration of the image characteristics (left and right reversal characteristics) of the rectangular images CI1 and CI2.
  • the controller 19 may include a quadrangle image CI1, which is an area of ⁇ 60 degrees to ⁇ 30 degrees, on the left side of the main image MI in consideration of the photographing directions of the first and second cameras 11 and 12.
  • the main image MI and the quadrangle images CI1 and CI2 are processed such that the quadrangle image CI2, which is an area of 60 to 30 degrees, is disposed on the right side of the main image MI.
  • the rectangular images CI1 and CI2 may be processed to correspond to the size of the main image MI.
  • the panoramic image of FIG. 3B is generated, and the controller 19 stores the generated panoramic image in the storage unit 14.
  • the junction between the blind spot image CI1 and the main image MI, and the blind spot image CI2 and the main image Since the image may appear broken at the joints between the MI, it is desirable to adjust these joints to look natural using an image stitching algorithm.
  • FIGS. 4A and 4B are schematic configuration diagrams and side views of a rectangular image supply device and a panoramic image generating device according to a second embodiment.
  • the panoramic image generating apparatus 1 includes a first camera 11 photographing a first direction indicated by an arrow, and a second camera 12 photographing a second direction opposite to the first direction of the first camera 11. ).
  • the blind spot image supply device 20a is positioned in front of the second camera 12 so that the second camera 12 captures the first direction, and the blind spots C3 and C4 outside the field of view of the first camera 11 are photographed. Take a picture.
  • the rectangular image supply device 20a may include fifth and sixth reflective mirrors 21c and 21d reflecting the rectangular areas C3 and C outside the angle of view of the first camera 11 toward the front of the second camera 12.
  • the quadrangular areas C3 and C4 reflected by the fifth and sixth reflective mirrors 21c and 21d are reflected to the imaging area of the second camera 12 so that the second camera 12 causes the rectangular area C3 to be reflected.
  • C) seventh and eighth reflecting mirrors 22c and 22d are seventh and eighth reflecting mirrors 22c and 22d.
  • the first and third reflection mirrors 21a and 22a and the second and fourth reflection mirrors 21b and 22b of the blind spot image supply device 20 have a left and right reflection effect based on the panoramic image generating device 1.
  • the fifth and seventh reflecting mirrors 21c and 22c and the sixth and eighth reflecting mirrors 21d and 22d in the quadrangular image supply device 20a are arranged up and down on the basis of the panoramic image generating device 1. The reflection effect is used, and only the reflection direction is different.
  • the fifth and sixth reflecting mirrors 21c and 21d may be planar mirrors, and the rectangular areas C3 and C4 outside the field of view of the first camera 11 may be formed as areas of the second camera 12. Reflect.
  • the seventh and eighth reflecting mirrors 22c and 22d are planar mirrors, and have a predetermined angle to reflect the rectangular areas C3 and C4 to the imaging area of the second camera 12, respectively.
  • the first camera 11 photographs the main photographing area M, which is an angle of view (shooting angle of ⁇ 30 degrees to 30 degrees) in the first direction
  • the second camera 12 includes fifth and fifth images.
  • 5A and 5B are conceptual views of images photographed by the first and second cameras.
  • the main image MI is an image of the main photographing area M taken by the first camera 11, and the quadrangular images CI3 and CI4 are taken at the same time by the second camera 12. Images of the regions C3 and C4.
  • the blind spot C3 is an area corresponding to -60 degrees to -30 degrees of the center line O, and is reflected by the fifth reflecting mirror 21c and the seventh reflecting mirror 22c of the second camera 12. It is photographed at 1/2 of the imaging area, and is applied to the actual image of the rectangular area C3 in the imaging area of the second camera 12 by the vertical inversion effect of the fifth reflection mirror 21c and the seventh reflection mirror 22c. The image CI3 reversed up and down is obtained.
  • the blind spot C4 is an area corresponding to 60 degrees to 30 degrees of the center line O, and the second camera 12 is reflected by the reflection of the sixth reflecting mirror 21d and the eighth reflecting mirror 22d.
  • the controller 19 acquires a combination image of the main image MI and the quadrangle images CI3 and CI4 from the first and second cameras 11 and 12.
  • the controller 19 separates the combination image of the rectangular images CI3 and CI4 into rectangular images CI3 and CI4, respectively.
  • the controller 19 determines a position at which the quadrangular image is separated according to the contact positions of the seventh and eighth reflective mirrors 22c and 22d on the imaging area of the second camera 12.
  • the controller 19 performs upside down processing on the rectangular images CI3 and CI4 in consideration of the image characteristics (vertical upside down characteristics) of the rectangular images CI3 and CI4.
  • the controller 19 may be configured to have a rectangular image CI3, which is an area of ⁇ 60 degrees to ⁇ 30 degrees, on the left side of the main image MI in consideration of the photographing directions of the first and second cameras 11 and 12.
  • the main image MI and the quadrangle images CI3 and CI4 are processed such that the quadrangle image CI4, which is an area of 60 to 30 degrees, is disposed on the right side of the main image MI.
  • the controller 19 processes the quadrature images CI3 and CI4 to correspond to the size of the main image MI, or if the image is tilted, performs tilt correction. You may.
  • the panoramic image of FIG. 5B is generated, and the controller 19 stores the generated panoramic image in the storage unit 14.
  • the panoramic image generating apparatus includes a first camera 11 and a second camera 12 having the same angle of view in the same direction and spaced apart at regular intervals.
  • the first camera 11 and the second camera 12 have an angle of view corresponding to the photographing virtual lines L11 and L12, and photograph the subject in the angle of view.
  • the first camera 11 captures the main photographing area M within the normal angles of view L11-L12.
  • the blind spot image supply device 20b is positioned on the image capturing area of the second camera 12, and the reflection surface is at least partially positioned within the angles of view L11-L12, and the main image corresponding to the angle of view of the first camera 11 is photographed.
  • a ninth reflective mirror 23 not overlapping the area. Since the first end 23a of the reflecting surface of the ninth reflecting mirror 23 of the present embodiment is located on the photographing virtual line L11, and the second end 23b of the reflecting surface is located within the angle of view L11-L12.
  • the second camera 12 captures a rectangular area C5 corresponding to an angle between the photographing virtual line L23 and L21.
  • the controller 19 of the panoramic image generating apparatus 1 may capture the main image MI and the blind spot C5 of the main image capture area M from the first and second cameras 11 and 12. (CI5) is approved separately. Since the quadrangle image CI5 is an image of the ninth reflective mirror 23 and is inverted left and right with respect to the actual image of the original quadrangle area, the controller 19 performs left and right inversion processing on the quadrangle image CI5. In combination with the right side of the main image M, a panoramic image of a wide angle region corresponding to the photographing virtual lines L11-L21 is generated.
  • the angle of view (L11) is made by bending the angle of view (60 degrees) to form a reflection image. It is difficult for the mirror image of the ninth reflective mirror 23 to be guided to the image capturing area of the second camera 112 by utilizing the entirety of L12, and the area corresponding to the angle between the imaging virtual lines L23 to L12. There is a direct image overlapping the main image (M) taken by the first camera (11). In addition, in order to secure a sufficient mirror image, the ninth reflecting mirror 23 must be protruded substantially in the direction in which the second camera 12 faces, so the portability is poor.
  • FIG 7 is a partial side view of the rectangular image supply device and the panoramic image generating device according to the fourth embodiment.
  • the second camera 12 of the panoramara image generating apparatus 1 has the same structure as in FIG. 6.
  • the blind spot image supply device 20c is a tenth smaller than the ninth reflective mirror 23. And eleventh reflective mirrors 24a and 24b.
  • the tenth and eleventh reflective mirrors 24a and 24b are fixedly mounted to the case at different angles, and have different reflection angles.
  • the total reflecting surfaces of the tenth and eleventh reflecting mirrors 24a and 24b overlap the entire view angles L11-L12 of the second camera 12, that is, the total reflecting surface is the centerline O of the second camera 12. It is equal to or greater than the vertical cross-sectional area of ').
  • the tenth reflecting mirror 24a converts the photographing angle between the photographing virtual line L11 and the intermediate virtual line L13 into a photographing angle between the imaginary lines L22-L24, thereby converting the photographing angle between the photographing virtual line L11 and the intermediate imaginary line L13.
  • the blind spot C6 between L24 is reflected to guide the pick-up area of the second camera 12.
  • the eleventh reflecting mirror 24b converts the photographing angle between the photographic virtual line L13 and the intermediate virtual line L12 into a photographing angle between the imaginary lines L22-L23, thereby converting the photographic angle L22-(
  • the blind spot C7 between L23 is reflected to guide the pick-up area of the second camera 12.
  • the virtual line L23 corresponds to a photographing virtual line extended farthest from the center line O ′ of the second camera 12, and the second camera 12 acquires an image up to the area.
  • Square images CI6 and CI7 respectively corresponding to the blind spots C6 and C7 captured by the second camera 12 are generated through the left and the right of the capture zone of the second camera 12.
  • the image is applied to the controller 19 from the second camera 12 as a series of images in contact with each other or a combination image of the quadrature images C6 and C7 inverted left and right by mirror reflection.
  • the controller 19 stores information about the coupling structure of the tenth and eleventh reflecting mirrors 24a and 24b of the rectangular image supply device 1.
  • the controller 19 obtains a combination image of the main image MI and the quadrangle images CI6 and CI7 from the first and second cameras 11 and 12.
  • the control unit 19 separates the combination image of the quadrangle images CI6 and CI7 into quadrature images CI6 and CI7, and performs left and right inversion processing, respectively, and sets the quadrangle image CI6 to the right and the quadrangle image CI7.
  • FIG 8 is a partial side view of the rectangular image supply device and the panoramic image generating device according to the fifth embodiment.
  • the rectangular image supply device 20d of Fig. 8 is provided. Is a case composed of three reflective mirrors 24c, 24d and 24e, and the total reflecting surface (reflected area) of the three reflective mirrors 24c, 24d and 24e in the photographing area corresponding to the angle of view of the second camera 12.
  • the degree of protrusion of the rectangular image supply device 20d is minimized.
  • FIGS. 9A to 9C are diagrams of a rectangular image supply device and a panoramic image generating device according to a sixth embodiment
  • FIG. 10 is a conceptual diagram of images photographed by a second camera.
  • the simple apparatus for obtaining instant panoramic views using the mirrors in FIGS. 3 to 8 can also be applied to configurations using only one camera.
  • the twelfth reflecting mirror 25 of the rectangular image supply device 2 is located at the top front of the second camera 12 of the panoramic image generating device 1.
  • the twelfth reflecting mirror 25 is composed of a relatively short upper side 25a, a long bottom side 25b, and sides 25c and 25d connecting the upper side 25a and the bottom side 25b, and the upper side 25a.
  • base 25b have a trapezoidal reflective surface that is a parallel structure.
  • the twelfth reflecting mirror 25 is disposed to overlap half of the imaging area of the second camera 12.
  • FIG. 9B is a side view in the third direction of FIG. 9A, wherein the twelfth reflecting mirror 25 of the rectangular image supply device 20e is disposed on the front top of the second camera 12, and the twelfth reflecting mirror 25 is shown. It is fixed to be inclined at a predetermined inclination angle so that the reflecting surface of the light faces the vector direction indicated by the arrow. With this arrangement, the image of the subject A reflected by the twelfth reflecting mirror 25 is formed on the upper left side 81 of the imaging area of the second camera 12 as shown in FIG. 10, and on the lower end 82 of the imaging area. An image including the subject B directly entering the second camera 12 is formed.
  • FIG. 9C is a side view in the fourth direction of FIG. 9A, in which the panoramic image generating apparatus 1 is laid back on the plane by an angle (about 15 degrees).
  • the upper portion of the imaging virtual lines L51 to L52 of the second camera in the up and down direction forms an image 81 reflected by the twelfth reflecting mirror 25, and the lower portions L53 to L52 represent the second camera ( 12 directly enters the image (82).
  • the photographing area to be used is a photographing area included in the photographing virtual lines L21 to L23 in FIG. 9B, and is formed on the upper left portion 81 of the photographing area of the second camera 12.
  • the imaginary angle of 60 degrees is the imaginary virtual lines L53 to L52 and L61 to L63 of 30 degrees, respectively, to the twelfth reflection mirror 25 (upper side 25a). Divided by). Therefore, the angle of view, which was originally 60 degrees up, down, left, and right, becomes a narrow angle of 30 degrees up and down, and becomes wide angle close to 120 degrees, which is a photographic virtual line (L11-L21), on the left and right. You can shoot about. In other words, in order to photograph the desired subject more widely, the length of the reflecting mirror reflecting the unwanted subject or the part of the subject is shortened.
  • the control unit 19 receives the combined images 81 and 82 from the second camera 12 and processes the imaging areas 81 and 82 by software to form the combined images 81 and 82 formed up and down on the left side.
  • the subject B which is a direct image
  • the subject A which is a mirror image
  • the tilted image is corrected by the inclination angle of the twelfth reflecting mirror 25 and arranged on the right side to generate a panoramic image.
  • the controller 19 appropriately cuts out and processes the contour portion of the mirror image, etc., which are not visible by the thickness of the twelfth reflecting mirror 25, thereby generating a low-cost wide-angle lens image.
  • the photographing virtual line L11 is generated by reflecting the angle of view L11 to L12 of the second camera 12 whose 60th angle is 60 degrees to the right to make a reflection image. Since it is impossible to include all of L12, the twelfth reflecting mirror 25 must protrude more from the panoramic image generating apparatus 1 in order to make the upper end of the imaging area mirror the wider portion 82. Portability may be reduced.
  • FIGS. 11A to 11B are diagrams of a rectangular image supply device and a panoramic image generating device according to a seventh embodiment, and FIG. 12 is a conceptual view of images photographed by a second camera.
  • the seventh embodiment is an embodiment combining Figs. 7 and 9A to 9C.
  • the rectangular image generating device 20f is a panoramic image generating device 1 using the thirteenth and fourteenth reflecting mirrors 26 and 27 which are planar mirrors. Disposed at each preset angle of inclination in front of the second camera 12 of the camera, the protrusion degree is significantly reduced, so that the portability is excellent and more effective than the single 12th reflective mirror 25 discussed in FIGS. 9A to 9C.
  • the angle of view of the second camera 12 is extended to the right.
  • the thirteenth and fourteenth reflecting mirrors 26 and 27 are disposed in front of the second camera 12, wherein half (bottom) of the imaging area of the second camera 12 is an image. It does not overlap with the thirteenth and fourteenth reflecting mirrors 26, 27 so as to be directly formed.
  • the upper end 816 of the image capturing area of the second camera 12 is thus positioned with the images 83 and 84 reflected by the thirteenth and fourteenth cameras 26 and 27.
  • the lower portion 85 of the image capturing region forms an image directly directed to the second camera 12.
  • the image 85 of the lower portion of the image capturing region of the second camera forms an image incident directly on the viewing angles L11 to L12 determined by the second camera 12.
  • an image between the imaging virtual lines L23 to L22 reflected by the thirteenth reflection mirror 26 is formed in the area 83, and the area 84 is reflected by the fourteenth reflection mirror 27.
  • the images between the photographed virtual lines L22 to L24 are formed.
  • the images 84 and 83 are two images or mirror images that are continuous in the horizontal direction, so that the controller 19 is shown in FIG. 12. Likewise, the left and right are reversed to obtain separate combination images. Therefore, the control unit 19 processes the software to create a natural panoramic image.
  • the direct image 85 is disposed on the left side of the panoramic image as it is, and the mirror image of the image 84 is disposed on the right and right sides of the panoramic image.
  • the mirror image of the image 83 is symmetrically disposed on the right side thereof, thereby completing the panoramic image.
  • FIG. 13A to 13D are diagrams of a rectangular image supply device and a panoramic image generating device according to an eighth embodiment
  • FIG. 14 is a conceptual diagram of images photographed by a second camera according to an eighth embodiment.
  • the eighth embodiment uses the rectangular image supply device 20g including the fifteenth and sixteenth reflective mirrors 28 and 29 which are planar mirrors to widen the angle of view of the second camera 12 by about 45 to 60 degrees. .
  • the fifteenth and sixteenth reflecting mirrors 28 and 29 are placed in front of the second camera 12 of the panoramic image generating apparatus 1 of the fifteenth and sixteenth reflecting mirrors 28 and 29.
  • the reflecting surface faces the second and third vector directions.
  • the images 86 and 87 reflected by the fifteenth and sixteenth reflecting mirrors 28 and 29 are successively formed at the upper end of the imaging area of the second camera 12, respectively, and directly at the lower end of the imaging area.
  • the incoming image 88 is concluded.
  • Each of the fifteenth and sixteenth reflecting mirrors 28 and 29 looks rectangular in the front view with perspective transformation, but in the form of a plane that cuts diagonally the camera angle of view, which is a quadrangular pyramid in space, as shown in FIG. 13B, It is an irregular quad.
  • the imaging virtual lines L5 to L7 of the upper portion of the imaging virtual lines L5 to L6 in the vertical direction of the second camera 12 are the fifteenth and sixteenth reflective mirrors 28 and 29.
  • the image area reflected by the light source and corresponding to the image capturing virtual lines L7 to L6 at the lower part is directly oriented to form an image 88 directly entering the second camera 12.
  • the photographing region (subject) in the photographing virtual lines L5 to L7 is reflected by the fifteenth and sixteenth reflecting mirrors 28 and 29 and folded to form the photographing virtual lines L51 to L71 in FIG.
  • a photographic virtual line in the same vertical direction as L7 to L6) is formed.
  • the photographing regions in the photographing virtual lines L51 to L71 are reflected by the reflecting surfaces of the fifteenth and sixteenth reflecting mirrors 28 and 29 in the second and third vector directions inclined left and right, respectively, from FIG. 13C. Images left and right, respectively, from the photographing virtual lines L1 to L2, which are the angles of view of the second camera 12, are formed in the imaging regions 86 and 87 of the second camera 12.
  • the controller 19 acquires the combined image as shown in FIG. 14 from the second camera 12, and processes the images of the imaging regions 86 and 87 by software to the left and right sides of the imaging region 88 which is a direct image. To create a panoramic image.
  • the controller 19 is inverted left and right by the fifteenth and sixteenth reflecting mirrors 28 and 29 and converts the tilted image back to the mirror image and corrects the tilt, size, etc., so as to obtain a wide-angle image that enters the user. Create a panoramic image for natural viewing. In addition, you can choose from a variety of panorama projection methods.
  • the inclination angles of the fifteenth and sixteenth reflecting mirrors 28 and 29 are changed so that the fifteenth reflecting mirror 28 obtains the image on the right, and the sixteenth reflecting mirror 29 produces the left image.
  • a staggered mirror may be configured, and the control unit 19 may process the software to generate a panoramic image having a wide angle of view.
  • 15 shows a combining device for connecting the rectangular image supply device and the panoramic image generating device.
  • the quadrangular image supply apparatuses 20 and 20a-20g When the quadrangular image supply apparatuses 20 and 20a-20g are mounted to the panoramic image generating apparatus 1, they must be precisely seated at a predetermined position with the second camera 12. However, since most of the panoramic image generating apparatuses 1 cover a case having a different thickness or shape, when the user attaches the rectangular image feeder to the outside while the case is fitted, the rectangular image feeder and As the relative position of the second camera 12 is changed, malfunction occurs due to an error caused by the change. Therefore, after separating the panoramic image generating apparatus from the case, it is preferable to mount and mount the square image supply apparatus. However, in order to eliminate such inconvenience, the rectangular image supply device is connected to the power plug or the headset plug of the panoramic image generating device 1 and fixed.
  • the coupling device 7 is provided with an elastic member 72 between the contact point and the plug so that it can be brought into close contact with at least two panoramic image generating devices or points on the case surface which are sufficiently separated from each other.
  • the coupling device 7 has a connecting member 74 for connecting the elastic member 72 and the rectangular image supply device 20g, and the connecting portion 74 has a plug 71 inserted into the receptacle 1a.
  • the blind spot image supply device 20g is positioned in front of the second camera 12 at a predetermined position and angle.
  • the connecting member 74 and the elastic member 72 may be integrally formed.
  • the plug fixed to the square image generating device does not have to have an electrical specification for transmitting power, data, and sound signals, and may be made of plastic, rubber, etc. having the same mechanical specifications, and the plug receptacle ( They can be counted accurately and consistently without gaps in 1a).
  • the coupling device 7 of FIG. 15 also applies to the other embodiments described above.
  • FIG. 16 is a schematic configuration diagram of a rectangular image supply device and a panoramic image generating device according to a ninth embodiment
  • FIG. 17 is a conceptual diagram of images captured by the first and second cameras according to the ninth embodiment.
  • the panoramic image generating apparatus 1 includes a first camera 11 for photographing a front side on which the display unit 18 is formed, and a second camera 12 for photographing a direction opposite to the first camera 11.
  • the quadrangular image supply device 20h is placed on a plane and positioned at an angle of view of the second camera 12 and has a seventeenth reflecting mirror 30, wherein the seventeenth reflecting mirror 30 is provided with a first camera 11.
  • the second camera 12 reflects a subject such as a finger so that the photographing direction is photographed.
  • the first and second cameras 11 and 12 capture a photographing area in a common direction by the reflection function of the seventeenth reflection mirror 30. That is, the images captured by the first and second cameras 11 and 12 overlap the predetermined portions or more.
  • the controller 19 obtains the images 90 and 91 in FIG. 16 from the first and second cameras 11 and 12, constructs a stereoscopic image through the obtained images 90 and 91, and configures the stereoscopic image.
  • the three-dimensional position of the finger can be determined from the stereoscopic image.
  • the image captured at the position of the second camera 12 is the same as the image captured at the position of the virtual camera 12 ′.
  • the distance between the second camera 12 and the reflection position 30a and the distance between the virtual camera 12 'and the reflection position 30a are the same.
  • the position of the virtual camera 12 ′ is located at a distance far from the first camera 11, a finger that is accurately tracked by applying triangulation to the tracking positions L1 and L2 captured in the images 90 and 91.
  • the location of the object in three dimensions can be determined.
  • the first camera 11 and the second camera 12 are devices for photographing different directions or photographing regions that do not overlap each other. 30) to change the shooting area of the second camera 12. Accordingly, the first and second cameras 11 and 12 photograph the same subject (finger), but the photographing angles toward the subject are different, and the overlapping image is supplied to the controller 19 at least a predetermined portion.
  • the controller 19 may generate a stereoscopic image using the images 90 and 91 photographing the same subject at different positions (photographing angles). In addition, the controller 19 may determine the three-dimensional position including the distance from the subject and the first and second cameras 11 and 12 using the images 90 and 91.
  • the process of acquiring the main image and the quadrangular image, the separation process, the left / right and up / down inversion process, the slope correction process, and the like performed by the panoramic image generating apparatus 1 discussed in the present invention may be stored in a storage medium as a program file.
  • This program file is transferred between electric devices by transmission over a network, installed in various electric devices, and the same operation is performed. That is, the function performed by the panoramic image generating apparatus 1 may be provided as a program stored in a computer readable storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명인 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치는 카메라의 화각 밖의 사각 영역의 이미지를 추가적으로 공급하여 파노라마 이미지를 생성할 수 있도록 하기 위해, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 제1 반사 거울과, 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와, 사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진다.

Description

사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
본 발명은 파노라마 이미지의 생성 장치에 관한 것으로서, 특히 카메라의 화각 밖의 사각 영역의 이미지를 추가적으로 공급하여 파노라마 이미지를 생성할 수 있도록 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치에 관한 것이다.
스마트폰의 성능이 향상되면서, 전/후방 카메라를 동시에 작동시켜 비디오 녹화나 카메라 촬영이 가능하게 되었다. 이러한 동시 촬영은 스마트폰의 촬영 대상과 스마트폰을 촬영하는 주체를 모두 동시에 녹화하는데 사용되며, 실제로 이러한 촬영 대상과 주체의 촬영은 기술적으로는 가능하나 소비자들이 꼭 필요한 기능으로 생각하지는 않는 경향이 있다.
한편 스마트폰 등으로 여러 개의 이미지들을 순차적으로 촬영한 후 각 이미지들을 적절한 위치에서 이어 붙이는 image stitching 알고리즘을 수행하여 파노라마 이미지(사진)을 생성한다. 그러나 이러한 파노라마 이미지는 여러 시점들에서 촬영한 이미지(사진)를 하나로 잇는 것이므로, 동영상 녹화나 움직이는 대상에 대한 촬영에 쓰일 수 없고 촬영을 하는 행위도 번거롭다.
또한, 종래의 스마트폰에 채용된 카메라의 화각(시야각)은 대개 50~60도 정도이므로, 이 각도를 넘어가는 카메라 전방의 좌우 및 상하에는 사각 영역이 넓게 존재하므로, 화각을 넓히기 위해 종래에는 볼록거울이나 오목렌즈를 써서 화각을 넓혔다. 그러나 종래의 렌즈나 거울을 사용한 방법은 가격이 비쌀 뿐 아니라, 정해져 있는 카메라에 구비된 촬상 센서(촬상 영역)의 면적에 더 많은 이미지가 들어가므로 해상도가 떨어질 수 밖에 없다.
본 발명은 스마트폰에 장착된 2개 이상의 카메라를 사용하여 복잡한 광학적인 장치 없이도 해상도를 유지하면서 파노라마 촬영이나 비디오 녹화를 가능하게 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치를 제공하는 것을 목적으로 한다.
본 발명인 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치는 기설정된 중심 영역 밖의 사각 영역의 이미지를 중심 영역으로 반사시키되, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 적어도 하나 이상의 제1 반사 거울과, 적어도 하나 이상의 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와, 사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 적어도 하나 이상의 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진다.
또한, 사각 이미지 공급 장치는 사각 영역과 다른 영역의 이미지를 제2 반사 거울로 반사시키는 제2 반사 거울을 구비하는 것이 바람직하다.
또한, 제1 반사 거울은 중심 영역에 대하여 대칭적으로 이루어진 한쌍의 반사 거울로 이루어진 것이 바람직하다.
또한, 제1 반사 거울은 서로 반사 각도가 상이한 복수의 반사 거울로 이루어진 것이 바람직하다.
또한, 제1 반사 거울이 제1 방향으로는 제1 카메라의 화각보다 작은 영역이고, 제1 방향에 수직인 방향으로는 제1 카메라의 화각보다 큰 영역을 지닌 이미지를 반사하는 것이 바람직하다.
또한, 제어부는 촬영 이미지에 대한 좌우 반전 처리 또는 상하 반전 처리 또는 분리 처리 중의 적어도 하나 이상을 수행하고, 처리된 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것이 바람직하다.
또한, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩되지 않거나 중첩이 최소인 영역의 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라의 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것이 바람직하다.
또한, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩된 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라에 의해 촬영된 사각 영역의 이미지에 포함된 피사체의 위치를 판단하거나, 제1 및 제2 카메라에 의해 촬영된 이미지를 이용하여 입체 영상을 생성하는 것이 바람직하다.
본 발명은 저가의 거울 등을 이용하고, 이미 스마트폰에 장착된 1개 또는 2개의 카메라를 동시에 사용하여 순간적인 파노라마 촬영이나 파노라마 동영상 녹화를 가능하게 하는 효과가 있다.
또한, 본 발명은 기존의 순간적인 파노라마 촬영에 필요한 고가의 무겁고 정밀한 광학도구가 필요 없이 사용자가 스마트폰을 사용하여 해상도를 떨어뜨리지 않고 파노라마 촬영을 할 수 있는 효과가 있다.
또한, 본 발명은 2개의 카메라의 이미지를 이용하여 원하는 피사체의 위치 파악하거나 입체 영상을 생성할 수 있는 효과가 있다.
도 1은 파노라마 이미지 생성 장치의 구성도이다.
도 2는 제1 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
도 3a 및 3b는 제1실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 4a 및 4b는 제2 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도와 측면도이다.
도 5a 및 5b는 제2 실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 6은 제3실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
도 7은 제4 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 8은 제5 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 9a 내지 9c는 제6 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 10은 제6실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 11a 내지 11b는 제7 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 12는 제7실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 13a 내지 13d는 제8 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 14는 제8실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 15는 사각 이미지 공급 장치와 파노라마 이미지 생성 장치를 연결하기 위한 결합 장치를 도시한다.
도 16은 제9실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도이다.
도 17은 제9실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
이하에서, 본 발명은 실시예들과 도면들을 통하여 상세하게 설명된다.
도 1은 파노라마 이미지 생성 장치의 구성도이다. 파노라마 이미지 생성 장치(1)는 같은 방향 또는 반대 방향을 촬영하는 제1 및 제2 카메라(11, 12)와, 제1 및 제2 카메라(11, 12)로부터의 촬영 이미지(정지 영상, 동영상)와, 촬영 이미지를 이용하여 생성된 파노라마 이미지를 저장하는 저장부(14)와, 외부의 기기나 네트워크와 유선 또는 무선 통신을 수행하는 통신부(16)와, 사용자로부터의 입력을 획득하는 입력부(17)와, 다양한 정보 및 이미지를 표시하는 표시부(18)와, 제1 및 제2 카메라(11, 12)를 동시에 또는 순차적으로 동작시켜 촬영 이미지를 획득하고, 촬영 이미지를 이용하여 파노라마 이미지를 생성하는 제어부(19)를 포함하여 구성된다. 다만, 전원부(미도시), 저장부(14), 통신부(16), 입력부(17), 표시부(18) 등의 구성요소는 본 발명이 속하는 기술분야에 익숙한 통상의 기술자에게는 당연히 이해되는 정도의 기술에 해당되기에, 그 설명이 생략된다. 파노라마 이미지 생성 장치(1)는 예를 들면, 복수의 카메라를 구비한 스마트폰이나 테블릿 PC 등과 같은 전기 기기로 구현될 수 있다.
제1 및 제2 카메라(11, 12)는 그 장착 위치에 따라 같은 방향 또는 반대 방향을 촬영하며, 제어부(19)의 제어에 의해 동시에 동작하거나 선택적으로 동작하여 동 시간대의 이미지 또는 서로 다른 시간대의 이미지를 촬영하여 제어부(19)에 인가한다.
제어부(19)는 촬영 방향(같은 방향/반대 방향)과, 사각 이미지 공급 장치(20)에 의한 이미지 특성을 고려하여, 제1 및 제2 카메라(11, 12)로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 전경에 대한 파노라마 이미지를 생성한다. 보다 상세한 설명은 하기에서 이루어진다.
도 2는 제1 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
파노라마 이미지 생성 장치(1)는 화살표로지시되는제1 방향을 촬영하는 제1 카메라(11)와, 제1 카메라(11)의 제1 방향과 반대인 제2 방향을 촬영하는 제2 카메라(12)를 구비하며, 제1 카메라(11)와 제2 카메라(12)의 화각은 서로 중첩되지 않는다.
사각 이미지 공급 장치(20)는 제2 카메라(12)의 전방에 위치하여 제2 카메라(12)가 제1 방향을 촬영하되, 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)를 촬영하도록 한다. 자세하게는, 사각 이미지 공급 장치(20)는 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)의 이미지를 제2 카메라(12)의 전방으로 반사시키는 제1 및 제2 반사 거울(21a, 21b)와, 제1 및 제2 반사 거울(21a, 21b)에 의해 반사된 사각 영역(C1, C2)를 제2 카메라(12)의 촬상 영역(촬영 센서)으로 반사시켜 제2 카메라(12)가 사각 영역(C1, C2)를 촬영하도록 하는 제3 및 제4 반사 거울(22a, 22b)를 포함한다.
제1 및 제2 반사 거울(21a, 21b)은 평면 거울로 구성되며, 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)의 이미지를 제2 카메라(12)의 화각이 형성된 기설정된 영역(기설정된 중심 영역의 전방 영역)으로 반사시킨다.
제3 및 제4 반사 거울(22a, 22b)은 평면 거울로 구성되며, 사각 영역(C1, C2)의 이미지를 각각 기설정된 제2 카메라(12)의 촬상 영역(기설정된 중심 영역)으로 반사시키도록 기설정된 각도를 이루며 화각의 중심인 중앙선(O')에서 서로 접한다. 제3 및 제4 반사 거울(22a, 22b)은 중앙선(O')에 대하여 대칭적으로 위치된다.
제1 반사 거울(21a)와 제3 반사 거울(22a)은 사각 영역(C1)이 제2 카메라(12)의 촬상 영역의 1/2인 영역으로 반사되도록 기설정된 이격 간격과 각도로 배치된다. 또한, 제2 반사 거울(21b)와 제4 반사 거울(22b)은 사각 영역(C2)이 제2 카메라(12)의 촬상 영역의 1/2인 영역으로 반사되도록 기설정된 이격 간격과 각도로 배치된다. 이러한 배치(이격 간격과 경사 각도)를 위해, 사각 이미지 공급 장치(20)는 제1 내지 제4 반사 거울(21a, 21b, 22a, 22b)을고정장착하는케이스(30)를 구비한다. 하기에서 케이스(30)가 기재되고 있지 않더라고 반사 거울들은 이 케이스에 고정 장착된다.
다만, 제3 및 제4 반사 거울(22a, 22b)은 중앙선(O')이 아닌 영역에서 접할 수 있으며, 제2 카메라(12)의 촬상 영역 상에서의 접하는 위치에 따라 사각 영역(C1, C2)의 크기가 변경된다.
본 실시예에서, 제1 및 제2 카메라(11, 12)는 동시에 구동되어 동시 촬영을 할 수 있다. 제1 및 제2 카메라(11, 12)는 각각 중심선(O), (O')에서 -30도에서 30도에 이르는 60도의 화각을 지닌 예를 보인다.
제1 카메라(11)는 제1방향의 화각에 포함되는 주촬영 영역(M)을 촬영하고, 제2 카메라(12)는 제2 카메라(12)는 중심선(O')의 -30도에서 0도에 이르며, 주촬영 영역(M)의 좌측인 사각 영역(C2)과, 중심선(O')의 0도에서 +30도에 이르며, 주촬영 영역(M)의 우측인 사각 영역(C1)을 촬영한다.
도 3a 및 3b는 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다. 도 3a에서, 주 이미지(MI)는 제1 카메라(11)에 의해 촬영된 주촬영 영역(M)의 이미지이고, 사각 이미지(CI1, CI2)는 제2 카메라(12)에 의해 동시에 촬영된 사각 영역(C1, C2)의 이미지이다.
사각 영역(C1)은 중심선(O)의 -60도~ -30도에 해당되는 영역으로, 제1 반사 거울(21a)과 제3 반사 거울(22a)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되며, 제1반사 거울(21a)와 제3 반사 거울(22a)의 좌우 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C1)의 실제 이미지에 대하여 좌우 반전된 이미지가 획득된다. 같은 이유로, 사각 영역(C2)은 중심선(O)의 60도~ 30도에 해당되는 영역으로, 제2 반사 거울(21b)과 제4 반사 거울(22b)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되고, 제2반사 거울(21b)과 제4 반사 거울(22b)의 좌우 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C2)의 실제 이미지에 대하여 좌우 반전된 이미지가 획득되며, 이러한 특성이 사각 이미지 공급 장치(20)에 의한 이미지 특성으로 제어부(19)에 의해 이미 저장되어 있다.
또한, 주촬영 영역(M)에 대응하는 주이미지(MI)와, 사각 영역(C1, C2)에 각각 대응하는 사각 이미지(CI1, CI2)는 중첩되지 않거나, 중첩되는 것이 최소화되는 것이 바람직하다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI1, CI2)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI1, CI2)의 조합 이미지를 사각 이미지(CI1, CI2)로 각각 분리한다. 이때, 제어부(19)는 제2 카메라(12)의 촬상 영역 상에서 제3 및 제4 반사 거울(22a, 22b)의 접하는 위치에 따라 사각 이미지가 분리되는 위치가 결정된다.
이후에, 제어부(19)는 사각 이미지(CI1, CI2)의 이미지 특성(좌우 반전 특성)을 고려하여, 사각 이미지(CI1), (CI2)에 대한 좌우 반전 처리를 수행한다. 또한, 제어부(19)는 제1 및 제2 카메라(11, 12)의 촬영 방향을 고려하여, 주이미지(MI)의 좌측에 -60도~-30도의 영역인 사각 이미지(CI1)가 배치되고, 주이미지(MI)의 우측에 60~30도의 영역인 사각 이미지(CI2)가 배치되도록 주이미지(MI)와 사각 이미지(CI1, CI2)를 처리한다. 이러한 이미지의 재배치 과정에서, 이미지의 크기가 다를 경우, 주이미지(MI)의 크기에 대응하도록 사각 이미지(CI1, CI2)를 처리할 수도 있다. 이러한 이미지의 재배치 및 처리 과정에 의해, 도 3b의 파노라마 이미지가 생성되며, 제어부(19)는 생성된 파노라마 이미지를 저장부(14)에 저장한다.
또한, 주촬영 영역(M)과 사각 영역(C1, C2)에 포함된 피사체가 아주 가까이 있을 경우, 사각 이미지(CI1)과 주이미지(MI) 간의 접합부분과, 사각 이미지(CI2)와 주이미지(MI) 간의 접합부분에서 이미지가 깨져 보일 수 있기에, image stitching 알고리즘을 사용하여 이들 접합 부분이 자연스럽게 보이도록 조정되는 것이 바람직하다.
도 4a 및 4b는 제2 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도와 측면도이다.
파노라마 이미지 생성 장치(1)는 화살표로지시되는제1 방향을 촬영하는 제1 카메라(11)와, 제1 카메라(11)의 제1 방향과 반대인 제2 방향을 촬영하는 제2 카메라(12)를 구비한다.
사각 이미지 공급 장치(20a)는 제2 카메라(12)의 전방에 위치하여 제2 카메라(12)가 제1 방향을 촬영하되, 제1 카메라(11)의 화각 밖의 사각 영역(C3, C4)를 촬영하도록 한다. 자세하게는, 사각 이미지 공급 장치(20a)는 제1 카메라(11)의 화각 밖의 사각 영역(C3, C)을 제2 카메라(12)의 전방으로 반사시키는 제5 및 제6 반사 거울(21c, 21d)와, 제5 및 제6 반사 거울(21c, 21d)에 의해 반사된 사각 영역(C3, C4)를 제2 카메라(12)의 촬상 영역으로 반사시켜 제2 카메라(12)가 사각 영역(C3, C)를 촬영하도록 하는 제7 및 제8 반사 거울(22c, 22d)를 포함한다.
사각 이미지 공급 장치(20)에서의 제1 및 제3 반사거울(21a, 22a)와 제2 및 제4 반사 거울(21b, 22b)는 파노라마 이미지 생성 장치(1)를 기준으로 하여 좌우 반사 효과를 이용하는 것이고, 사각 이미지 공급 장치(20a)에서의 제5 및 제7 반사 거울(21c, 22c)와 제6 및 제8 반사 거울(21d, 22d)는 파노라마 이미지 생성 장치(1)를 기준으로 하여 상하 반사 효과를 이용한 것으로, 그 반사 방향이 상이할 뿐이다.
즉, 제5 및 제6 반사 거울(21c, 21d)은 평면 거울로 구성되며, 제1 카메라(11)의 화각 밖의 사각 영역(C3, C4)을 제2 카메라(12)의 화각이 형성된 영역으로 반사시킨다.
제7 및 제8 반사 거울(22c, 22d)은 평면 거울로 구성되며, 사각 영역(C3, C4)을 각각 제2 카메라(12)의 촬상 영역으로 반사시키도록 기설정된 각도를 이룬다.
도 2와 유사하게, 제1 카메라(11)는 제1방향의 화각(촬영각 -30도~30도)인 주촬영 영역(M)을 촬영하고, 제2 카메라(12)는 제5 및 제7 반사 거울(21c, 22c)와 제6 및 제8 반사 거울(21d, 22d)에 의해 사각 영역(C3)인 주촬영 영역(M)의 좌측 영역(-60~-30도) 및 우측 영역(60~30도)을 함께 촬영한다.
도 5a 및 5b는 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 5a에서, 주 이미지(MI)는 제1 카메라(11)에 의해 촬영된 주촬영 영역(M)의 이미지이고, 사각 이미지(CI3,CI4)는 제2 카메라(12)에 의해 동시에 촬영된 사각 영역(C3, C4)의 이미지이다.
사각 영역(C3)은 중심선(O)의 -60도~ -30도에 해당되는 영역으로, 제5 반사 거울(21c)과 제7 반사 거울(22c)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되며, 제5반사 거울(21c)와 제7 반사 거울(22c)의 상하 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C3)의 실제 이미지에 대하여 상하 반전된 이미지(CI3)가 획득된다. 같은 이유로, 사각 영역(C4)은 중심선(O)의 60도~ 30도에 해당되는 영역으로, 제6 반사 거울(21d)과 제8 반사 거울(22d)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되고, 제6반사 거울(21d)과 제8 반사 거울(22d)의 상하 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C4)의 실제 이미지에 대하여 상하 반전된 이미지(CI4)가 획득되며, 이러한 특성이 사각 이미지 공급 장치(20a)에 의한 이미지 특성으로 제어부(19)에 의해 이미 저장되어 있다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI3, CI4)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI3, CI4)의 조합 이미지를 사각 이미지(CI3, CI4)로 각각 분리한다. 이때, 제어부(19)는 제2 카메라(12)의 촬상 영역 상에서 제7 및 제8 반사 거울(22c, 22d)의 접하는 위치에 따라 사각 이미지가 분리되는 위치가 결정된다.
이후에, 제어부(19)는 사각 이미지(CI3, CI4)의 이미지 특성(상하 반전 특성)을 고려하여, 사각 이미지(CI3), (CI4)에 대한 상하 반전 처리를 수행한다. 또한, 제어부(19)는 제1 및 제2 카메라(11, 12)의 촬영 방향을 고려하여, 주이미지(MI)의 좌측에 -60도~-30도의 영역인 사각 이미지(CI3)가 배치되고, 주이미지(MI)의 우측에 60~30도의 영역인 사각 이미지(CI4)가 배치되도록 주이미지(MI)와 사각 이미지(CI3, CI4)를 처리한다. 이러한 이미지의 재배치 과정에서, 이미지의 크기가 다를 경우, 제어부(19)는 주이미지(MI)의 크기에 대응하도록 사각 이미지(CI3, CI4)를 처리하거나, 이미지가 기울어진 경우, 기울임 보정을 수행할 수도 있다. 이러한 이미지의 재배치 및 처리 과정에 의해, 도 5b의 파노라마 이미지가 생성되며, 제어부(19)는 생성된 파노라마 이미지를 저장부(14)에 저장한다.
도 6은 제3실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다. 파노라마 이미지 생성 장치는 동일한 방향으로 동일한 화각을 지니며 일정 간격 이격된 제1 카메라(11)와 제2 카메라(12)를 구비한다.
제1 카메라(11)와 제2 카메라(12)는 촬영 가상선(L11)과 (L12) 사이에 해당되는 화각을 지니며, 화각 내의 피사체를 촬영한다. 제1 카메라(11)는 통상의 화각(L11-L12) 내의 주촬영 영역(M)을 촬영한다.
사각 이미지 공급 장치(20b)는 제2 카메라(12)의 촬상 영역 상에 위치되며 반사면이 화각(L11-L12) 내에 적어도 일부분이 위치하며, 제1 카메라(11)의 화각에 대응하는 주촬영 영역에 중첩되지 않는 제9 반사 거울(23)을 구비한다. 본 실시예의 제9 반사 거울(23)의 반사면의 제1단부(23a)는 촬영 가상선(L11)에 위치되고, 반사면의 제2단부(23b)는 화각(L11-L12) 내에 위치되므로, 제2 카메라(12)는 촬영 가상선(L23)과 (L21) 사이의 각도에 해당되는 사각 영역(C5)을 촬영한다.
파노라마 이미지 생성 장치(1)의 제어부(19)는 제1 및 제2 카메라(11, 12)로부터 주촬영 영역(M)을 촬영한 주이미지(MI)와 사각 영역(C5)을 촬영한 사각 이미지(CI5)를 각각 인가받는다. 사각 이미지(CI5)는 제9 반사 거울(23)에 의한 이미지이므로 본래의 사각 영역의 실제 이미지에 대하여 좌우 반전된 상태이므로, 제어부(19)는 사각 이미지(CI5)를 좌우 반전 처리를 수행하고, 주이미지(M)의 우측에 조합시켜 촬영 가상선(L11-L21)에 해당하는 넓은 각도 영역의 파노라마 이미지를 생성한다.
다만, 제2 카메라(12)의 촬영 가상선(L11~L12)이 제9 반사 거울(23)이 주촬영 영역과 중첩되지 않으면서, 화각(60도)만큼 꺾어 반사 이미지를 만들면서 화각(L11~L12) 전체를 활용하여 제 2 카메라(112)의 촬상 영역으로 제9 반사 거울(23)의 거울상이 유도되도록 하는 것이 어려우며, 촬영 가상선(L23)-(L12) 사이의 각도에 해당되는 영역에는 제 1 카메라(11)가 촬영한 주이미지(M)와 중복되는 직사이미지가 들어오게 된다. 아울러, 충분한 거울상을 확보하기 위해서는 제9 반사 거울(23)이 제2 카메라(12)가 향하는 방향으로 상당히 돌출되어야 하기에 휴대성이 떨어진다.
도 7은 제4 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
파노마라 이미지 생성 장치(1)의 제2 카메라(12)는 도 6에서와 같은 구조이다.
도 6에서의 사각 이미지 공급 장치(20b)가 제2 카메라(12)의 촬영 방향으로 상당히 돌출된 점을 해소하기 위해, 사각 이미지 공급 장치(20c)는 제9 반사 거울(23)보다 작은 제10 및 제11 반사거울(24a, 24b)을 포함한다. 제10 및 제11 반사 거울(24a, 24b)는 서로 다른 각도로 케이스에 고정 장착되어, 서로 상이한 반사 각도를 지닌다.
제10 및 제11 반사 거울(24a, 24b)의 총 반사면은 제2 카메라(12)의 화각(L11-L12) 전체와 중첩되어,즉 총 반사면이 제2 카메라(12)의 중심선(O')의 수직 단면 면적과 같거나 크도록 된다. 제10 반사 거울(24a)은 촬영 가상선(L11)과 중간 가상선(L13) 사이의 촬영 각도를 가상선(L22)-(L24) 사이의 촬영 각도로 변환하여, 가상선(L22)-(L24) 사이의 사각 영역(C6)을 반사하여 제2 카메라(12)의 촬상 영역으로 유도한다. 제11 반사 거울(24b)은 촬영 가상선(L13)과 중간 가상선(L12) 사이의 촬영 각도를 가상선(L22)-(L23) 사이의 촬영 각도로 변환하여, 가상선(L22)-(L23) 사이의 사각 영역(C7)을 반사하여 제2 카메라(12)의 촬상 영역으로 유도한다. 가상선(L23)은 제2 카메라(12)의 중심선(O')로부터 가장 멀리 확장된 촬영 가상선에 해당되며, 제2 카메라(12)는 그 영역까지의 이미지를 획득한다.
제2 카메라(12)에 의해 촬영된 사각 영역(C6)과 (C7)에 각각 대응하는 사각 이미지(CI6)과 (CI7)는 제2 카메라(12)의 촬영 영역의 좌측과 우측을 통하여 생성되며, 서로 접하는 연속된 이미지들이나, 거울 반사에 의해서 각각 좌우가 반전된 사각 이미지(C6)와 (C7)의 조합 이미지로 제2 카메라(12)로부터 제어부(19)에 인가된다. 제어부(19)는 사각 이미지 공급 장치(1)의 제10 및 제11 반사 거울(24a, 24b)의 결합 구조에 대한 정보를 저장한다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI6, CI7)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI6, CI7)의 조합 이미지를 사각 이미지(CI6)과 (CI7)로 분리하고, 각각 좌우 반전 처리를 하고, 사각 이미지(CI6)을 우측으로, 사각 이미지(CI7)을 좌측으로 배치하여 보정된 조합 이미지를 생성한다. 즉, 제어부(19)는 제2 카메라(12)의 화각(L11~L12)의 거의 전부를 이용하여, 본래의 화각(60도)에 대응하는 보정된 조합 이미지를 획득한다.
도 8은 제5 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 7의 제4실시예의 연장에서, 도 6의 사각 이미지 공급 장치(20c)가 2개의 제10 및 제11 반사 거울(24a, 24b)로 구성된 경우라면, 도 8의 사각 이미지 공급 장치(20d)는 3개의 반사 거울(24c, 24d, 24e)로 구성된 경우로, 제2 카메라(12)의 화각에 대응하는 촬영 영역을 3개의 반사 거울(24c, 24d, 24e)의 총 반사면(반사 면적)과 중첩되도록 하여, 파노라마 이미지 생성 장치(1)의 전방 측면을 촬영함에 있어서, 사각 이미지 공급 장치(20d)의 돌출 정도가 최소화되도록 한다.
도 9a 내지 9c는 제6 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이며, 도 10은 제2 카메라에 의해 촬영된 이미지들의 개념도이다. 도 3 내지 8에서의 거울을 이용하여 순간적인 파노라마 뷰를 얻는 단순한 장치는 하나의 카메라만을 쓰는 구성에도 적용될 수 있다.
도 9a에 도시된 바와 같이, 사각 이미지 공급 장치(2)의 제12 반사 거울(25)은 파노라마 이미지 생성 장치(1)의 제2 카메라(12)의 정면 상단에 위치된다. 제12 반사 거울(25)는 상대적으로 짧은 윗변(25a)과, 긴 밑변(25b)과, 윗변(25a)과 밑변(25b)을 연결하는 변(25c, 25d)으로 구성되며, 윗변(25a)와 밑변(25b)이 평행한 구조인 사다리꼴의 반사면을 지닌다. 또한 제12 반사 거울(25)은 제2 카메라(12)의 촬상 영역의 절반과 중첩되도록 배치된다.
도 9b는 도 9a의 제3방향에서의 측면도로, 사각 이미지 공급 장치(20e)의 제12 반사 거울(25)은 제2 카메라(12)의 정면 상단에 배치되며, 제12 반사 거울(25)의 반사면이 화살표로표시된벡터방향을향하도록기설정된경사각도로경사지게고정된다. 이러한 배치에 의해, 도 10에서와 같이 제2 카메라(12)의 촬상 영역의 좌측 상단부(81)에는 제12 반사 거울(25)에서 반사된 피사체 A의 상이 맺히고, 촬상 영역의 하단부(82)에는 제2 카메라(12)로 직접 들어온 피사체 B를 포함하는 영상이 맺힌다.
도 9c는 도 9a의 제4방향에서의 측면도로, 파노라마 이미지 생성 장치(1)를 일정 각도(대략 15도) 정도 뒤로 눕혀 평면 상에 고정된다.
제2 카메라의 상하 방향의 촬영 가상선(L51) 내지 (L52) 중 윗부분은 제12 반사 거울(25)에 의해 반사된 상(81)이 맺히고, 아랫부분(L53~L52)은 제2카메라(12)에 직접 들어오는 상(82)이 맺힌다.
제2 카메라(12)의 화각의 윗부분(L51~L53)에는 제12 반사 거울(25)에 의해 반사된 촬영 가상선(L61) 내지 (L63)에 포함된 촬영 영역이 유도되고, 또한, 이 유도되는 촬영 영역은 도 9b에서의 촬영 가상선(L21) 내지 (L23)에 포함되는 촬영 영역으로, 제2 카메라(12)의 촬상 영역 중에서 좌측 상단부(81)에 맺힌다.
부연하면, 원래 60도인 화각(촬영 가상선(L51) 내지 (L52))이 각 30도인 촬영 가상선(L53~L52)와 (L61~L63)로 제12 반사 거울(25)(윗변(25a))에 의해 나뉘어진다. 따라서, 원래 상하 좌우로 60도이던 화각이 상하로는 30도의 협각이 되고, 좌우로는 촬영 가상선(L11-L21)인 120도에 가까운 광각이 되어 평면에서 가까이 움직이는 피사체를 좌우로 넓은 영역에 대해 촬영할 수 있다. 즉, 원하는 피사체를 보다 넓게 촬영하기 위해서, 원하지 않는 피사체 또는 피사체의 부분을 반사하는 반사 거울의 길이를 짧게 한다.
제어부(19)는 제2 카메라(12)로부터의 조합 이미지(81, 82)를 인가받고, 촬상 영역(81, 82)를 소프트웨어적으로 처리하여 상하로 맺힌 조합 이미지(81, 82)를 좌측에 직사 이미지인 피사체 B를 배치하고, 거울상인 피사체 A를 좌우 반전 처리하고, 제12 반사 거울(25)의 경사 각도에 의해 기울어진 상을 보정하여 우측에 배치하여 파노라마 이미지를 생성한다. 이러한 생성 과정에서, 제어부(19)는 제12 반사 거울(25)의 두께에 의해 보이지 않는 거울상의 윤곽 부분 등을 적절히 잘라내어 처리함으로써, 저가의 광각 렌즈 이미지를 생성한다.
도 9b에서, 도 6에서와 유사하게, 제12 반사 거울(25)이 60도인 제2카메라(12)의 화각(L11~L12)을 오른쪽으로 60도 꺾어 반사 이미지를 만들면서 촬영 가상선(L11~L12)을 모두 포함시키는 것은 불가능 하며 촬상 영역의 상단부를 보다 넓은 부분(82)에 거울상이 맺히게 하기 위해서는 제12 반사 거울(25)이 파노라마 이미지 생성 장치(1)로부터 보다 많이 돌출되어야 하기에, 휴대성이 떨어질 수 있다.
도 11a 내지 11b는 제7 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이고, 도 12는 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
제7 실시예는 도 7과 도 9a 내지 9c를 조합한 실시예로, 사각 이미지 생성 장치(20f)는 평면 거울인 제13 및 제14 반사 거울(26, 27)를 파노라마 이미지 생성 장치(1)의 제2 카메라(12)의 전방에 기설정된 각각의 경사 각도로 배치되어, 돌출 정도가 현저하게 감소되어 휴대성이 우수하면서도 도 9a 내지 9c에서 논의된 단일의 제12 반사 거울(25)보다 효과적으로 제2카메라(12)의 화각을 우측으로 확장시킨다.
도 11a에 도시된 바와 같이, 제13 및 제14 반사 거울(26, 27)은 제2 카메라(12)의 전방에 배치되되, 제2 카메라(12)의 촬상 영역의 반(하단)은 이미지가 직접 맺히도록 제13 및 제14 반사 거울(26, 27)과 중첩되지 않는다.
도 12에 도시된 바와 같이, 이에 따라 제2 카메라(12)의 촬상 영역의 상단부(816)는 제13 및 제14 카메라(26, 27)에 의해 반사된 이미지(83)과 (84)가 위치되고, 촬상 영역의 아랫부분(85)은 제2카메라(12)에 직사된 이미지가 맺힌다.
도 11b에 도시된 바와 같이, 제2카메라의 촬상 영역의 아랫부분의 이미지(85)는 제2카메라(12)에 의해 정해지는 시야각 L11~L12로 직접 입사되는 이미지가 맺힌다. 촬상 영역의 윗부분 중 영역(83)에는 제13 반사 거울(26)에 반사되어 들어오는 촬영 가상선(L23~L22) 사이의 영상이 맺히고, 영역(84)에는 제14 반사 거울(27)에 의해 반사되어 들어오는 촬영 가상선(L22~L24) 사이의 영상이 맺힌다.
도 7에서 이미 논의된 바대로 촬영 가상선(L22)이 중첩되기에, 이미지(84, 83)는 가로 방향으로 연속된 두개의 이미지이나 거울상이기 때문에, 제어부(19)는 도 12에 도시된 바와 같이 각각 좌우가 뒤바뀌어 분리된 조합 이미지를 획득하게 된다. 따라서, 제어부(19)는 소프트웨어로 처리하여 자연스러운 파노라마 이미지를 를 만드는데, 이때 직사 이미지(85)를 그대로 파노라마 이미지의 왼쪽에 배치시키고, 그 오른쪽 옆에 이미지(84)의 거울상을 좌우 반전처리하여 배치하고, 그 오른쪽 옆에 이미지(83)의 거울상을 좌우 대칭 처리하여 배치함으로써, 파노라마 이미지를 완성한다. 이때 제13 및 제14 반사 거울(26, 27)의 3차원적인 기울어짐에 따른 이미지 왜곡을 보정하는 어파인 변환을 이미지(83, 83)를 처리하는 것이 바람직하다.
도 13a 내지 13d는 제8 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이고, 도 14는 제8실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
제8실시예는 제2 카메라(12)의 화각을 약 45~60도만큼 더 넓히기 위해 평면 거울인 제15 및 제16 반사 거울(28, 29)를 포함하는 사각 이미지 공급 장치(20g)를 이용한다.
도 13a에 도시된 바와 같이, 파노라마 이미지 생성 장치(1)의 제2 카메라(12) 전방에 제15 및 제16 반사 거울(28, 29)를 제15 및 제16 반사 거울(28, 29)의 반사면이 제2 및 제3 벡터 방향을 향한다. 이러한 배치 구조에서, 제2 카메라(12)의 촬상 영역 중 상단부에는 제15 및 제16 반사 거울(28, 29)에 반사된 이미지(86, 87)가 연속적으로 각각 맺히고, 촬상 영역의 하단부에는 직접 들어온 영상(88)이 맺힌다. 제15 및 제16 반사 거울(28, 29) 각각은 시각 변환(perspective transformation)된 정면도에서는 직사각형으로 보이지만, 공간상에서는 사각뿔인 카메라 화각을 사선으로 자르는 평면의 형태이므로, 도 13b에 도시된 바와 같이, 비정규적인 사각형(irregular quad) 형태이다.
도 13d에 도시된 바와 같이, 제2 카메라(12)의 수직 방향의 촬영 가상선(L5~L6) 중 윗부분의 촬영 가상선(L5~L7)은 제15 및 제16 반사 거울(28, 29)에 반사되고, 아랫부분의 촬영 가상선(L7~L6)에 대응하는 촬영 영역은 직사되어 제2카메라(12)에 직접 들어오는 이미지(88)가 맺힌다. 촬영 가상선(L5~L7) 내의 촬영 영역(피사체)는 제15 및 제16 반사 거울(28, 29)에 반사되어 꺾여 도 13d에서 촬영 가상선(L51~L71)을 이루어 직사하는 촬영 가상선(L7~L6)과 동일한 수직 방향의 촬영 가상선을 이룬다. 이 촬영 가상선(L51~L71) 내의 촬영 영역은 도 13c로부터 각각 좌측과 우측으로 기울어진 제2 및 제3 벡터 방향으로 제15 및 제16 반사 거울(28, 29)의 반사면에 반사되어 원래 제2카메라(12)의 화각인 촬영 가상선(L1~L2)보다 각각 좌측과 우측에 있는 영상을 제2카메라(12)의 촬상 영역(86, 87)에 맺히게 한다.
제어부(19)는 도 14와 같은 조합 이미지를 제2 카메라(12)로부터 획득하여, 촬상 영역(86, 87)의 이미지를 소프트웨어적으로 처리하여 직사 이미지인 촬상 영역(88)의 좌측과 우측으로 배치하여 파노라마 이미지를 생성한다.
이때 제어부(19)는 제15 및 제16 반사 거울(28, 29)에 의해 좌우 반전되고 기울어짐에 의해 기울어진 이미지를 다시 거울상으로 변환하고 기울임, 크기 등을 보정하여 사용자에게 들어오는 넓은 광각 영상처럼 자연스럽게 볼 수 있도록 한 파노라마 이미지를 생성한다. 이뿐만 아니라 다양한 파노라마 사영(panorama projection) 방법 중 하나를 선택할 수 있다.
제8 실시예와 다르게, 제15 및 제16 반사 거울(28, 29)의 경사 각도를 바꾸어 제15 반사 거울(28)이 오른쪽의 영상을 얻게 하고, 제16 반사 거울(29)이 왼쪽 영상을 얻게 하는 엇갈림 거울을 구성하고, 제어부(19)가 소프트웨어적으로 처리하여 넓은 화각을 지닌 파노라마 이미지를 생성할 수도 있다.
도 15는 사각 이미지 공급 장치와 파노라마 이미지 생성 장치를 연결하기 위한 결합 장치를 도시한다.
이러한 사각 이미지 공급 장치(20, 20a-20g)는 파노라마 이미지 생성 장치(1)에 장착될 때, 제2 카메라(12)와 기설정된 위치에 정밀하게 안착되어야 한다. 그러나 대부분의 파노라마 이미지 생성 장치(1)는 사용자가 두께나 모양이 다른 케이스를 씌워 사용하고 있기 때문에 케이스를 끼운 상태로 외부에 사각 이미지 공급 장치를 장착할 경우, 케이스의 두께만큼 사각 이미지 공급 장치와 제2카메라(12)의 상대적인 위치가 바뀌게 됨으로써, 그 변경에 의한 오차에 의해 오동작을 하게 된다. 따라서 케이스에서 파노라마 이미지 생성 장치를 분리한 이후에, 사각 이미지 공급 장치를 결합 장착하는 것이 바람직하다. 그러나, 이러한 불편을 없애기 위해 사각 이미지 공급 장치를 파노라마 이미지 생성 장치(1)의 전원 플러그나 헤드셋 플러그에 꼽아 고정시켜 연결한다.
기존의 케이스들도 플러그를 꼽는 부분은 구멍이 나 있어 플러그의 꼽히는 위치가 케이스에 의해 변하지 않으므로, 케이스의 의한 사각 이미지 공급 장치의 위치 차이가 생기지 않는다. Micro USB 등 대부분의 전원 및 데이터 플러그의 경우, 꼽히는 각도가 정해져 있어 위치와 각도가 모두 고정되나, 헤드셋 플러그와 같이 원기둥형 플러그의 경우는 정해진 위치 위에 꼽힌 후에도 1차원적으로 회전할 수 있다. 이러한 회전에 의해 사각 이미지 공급 장치의 위치가 달라지는 것을 막기 위해 플러그(71)가 꼽히는 방향과 직각이 아닌 면으로 파노라마 이미지 생성 장치나 케이스와 밀착되는 결합장치(7)를 구비된다. 특히, 이 결합 장치(7)는 서로 충분히 떨어진 적어도 두 개의 파노라마 이미지 생성 장치나 케이스 표면의 점에 동시에 밀착되도록 하고, 착탈이 쉽도록 밀착점과 플러그 사이에 탄성부재(72)를 구비하는것이 바람직하다. 또한, 결합 장치(7)는 탄성 부재(72)와 사각 이미지 공급 장치(20g)를 연결하는 연결부재(74)를 구비하고, 연결부개(74)는 플러그(71)가 리셉터클(1a)에 삽입된 때, 사각 이미지 공급 장치(20g)가 기설정된 위치와 각도로 제2 카메라(12)의 전방에 위치되도록 하는 기능을 수행한다. 이 연결부재(74)와 탄성 부재(72)는 일체로 형성될 수도 있다. 사각 이미지 생성 장치에 고정되어 꼽히는 플러그는 전원, 데이터, 소리 신호를 전달하는 전기적인 스펙을 갖출 필요는 없고, 기구적인 스펙만 동일한 플라스틱, 고무 등을 사용하여도 되고, 플러그의 리셉터클(receptacle)(1a)과 틈새 없이 충분히 정확하고 일관적으로 꼽히면 된다. 도 15의 결합 장치(7)는 상술된 다른 실시예들에도 적용된다.
본 발명에서 발명된 다수개의 카메라 각각이 바라보는 방향을 거울을 설치하여 꺾는 방법, 거울로 카메라의 일부 촬상 영역에 시야를 꺾어 촬영하는 방법, 거울 조각을 쓰고 소프트웨어로 쪼개진 영상을 재배치하여 연속적인 영상으로 복원하는 방법들을 적절히 혼합하여 사용하면, 다양한 시각적 추적이나 파노라마 구성을 할 수 있다.
도 16은 제9실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도이고, 도 17은제9실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
파노라마 이미지 생성 장치(1)는 표시부(18)가 형성된 전방을 촬영하는 제1카메라(11)과, 제1카메라(11)와 반대 방향을 촬영하는 제2카메라(12)를 구비한다. 사각 이미지 공급 장치(20h)는 평면 상에 놓여지고 제2 카메라(12)의 화각에 위치되어 제17반사 거울(30)을 구비하며, 제17 반사 거울(30)은 제1 카메라(11)가 촬영하는 방향을 제2 카메라(12)가 촬영하도록 손가락 등과 같은 피사체를 반사한다. 제1 및 제2 카메라(11, 12)는 제17 반사 거울(30)의 반사 기능에 의해 공통된 방향의 촬영 영역을 촬영한다. 즉, 제1 및 제2 카메라(11, 12)에 의해 촬영된 이미지를 일정 부분 이상 중첩되는 이미지들이다.
제어부(19)는 제1 및 제2 카메라(11, 12)로부터 도 16에서의 이미지(90, 91)를 획득하며, 이 획득된 이미지(90, 91)을 통해 입체 영상을 구성하고, 이 구성된 입체 영상으로부터 손가락의 3차원 위치를 알아낼 수 있다. 제17 반사 거울(30)과 제2 카메라(12)의 위치와 각도에 의해, 실제 제2 카메라(12)의 위치에 촬영되는 영상은 가상 카메라(12’)의 위치에서 촬영되는 영상과 동일하다. 이때, 제2 카메라(12)와 반사 위치(30a) 간의 거리와, 가상 카메라(12')와 반사 위치(30a) 간의 거리는 동일하다. 가상 카메라(12')의 위치는 제1 카메라(11)와 상당히 떨어져 있는 거리에 위치되므로, 이미지(90, 91)에 촬영된 추적 위치(L1, L2)에 삼각 측량법을 적용하여 정확하게 추적 대상인 손가락 대상의 3차원 상의 위치를 알아 낼 수 있다.
도 16과 같이 제1 카메라(11)와 제2 카메라(12)는 서로 다른 방향을 촬영하거나, 서로 중첩되지 않는 영역을 촬영하는 장치이기에, 제2 카메라(12)의 화각 내에 사각 이미지 공급 장치(30)를 위치시켜, 제2 카메라(12)의 촬영 영역을 변경시킨다. 이에 따라, 제1 및 제2 카메라(11, 12)는 동일한 피사체(손가락)를 촬영하나, 그 피사체를 향하는 촬영 각도는 상이하며, 일정 부분 이상을 중첩된 이미지를 제어부(19)에 공급한다. 제어부(19)는 동일 피사체를 다른 위치(촬영 각도)로 촬영된 이미지(90, 91)를 이용하여 입체 영상(stereoscopy)을 생성할 수도 있다. 또한, 제어부(19)는 이미지(90, 91)을 이용하여 피사체와 제1 및 제2 카메라(11, 12)로부터의 거리를 포함하는 3차원 위치를 알아낼 수 있다.
본 발명에서 논의된 파노라마 이미지 생성 장치(1)가 수행하는 주이미지 및 사각 이미지의 획득 과정, 분리 처리 과정, 좌우/상하 반전 처리 과정, 기울기 보정 처리 과정 등은 프로그램 파일로 저장매체에 저장될 수 있으며, 이 프로그램 파일은 네트워크를 통한 전송에 의해 전기 기기 간에 전송되어, 다양한 전기 기기에 설치되고 동일한 동작이 수행된다. 즉, 파노라마 이미지 생성 장치(1)가 수행하는 기능은 컴퓨터 판독 가능한 저장 매체에 저장되는 프로그램으로 제공될 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

Claims (8)

  1. 기설정된 중심 영역 밖의 사각 영역의 이미지를 중심 영역으로 반사시키되, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 적어도 하나 이상의 제1 반사 거울과, 적어도 하나 이상의 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와;
    사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 적어도 하나 이상의 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  2. 제1항에 있어서, 사각 이미지 공급 장치는 사각 영역과 다른 영역의 이미지를 제2 반사 거울로 반사시키는 제2 반사 거울을 구비하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
  3. 제1항에 있어서, 제1 반사 거울은 중심 영역에 대하여 대칭적으로 이루어진 한쌍의 반사 거울로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  4. 제1항에 있어서, 제1 반사 거울은 서로 반사 각도가 상이한 복수의 반사 거울로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  5. 제1항에 있어서, 제1 반사 거울이 제1 방향으로는 제1 카메라의 화각보다 작은 영역이고, 제1 방향에 수직인 방향으로는 제1 카메라의 화각보다 큰 영역을 지닌 이미지를 반사하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  6. 제1항에 있어서, 제어부는 촬영 이미지에 대한 좌우 반전 처리 또는 상하 반전 처리 또는 분리 처리 중의 적어도 하나 이상을 수행하고, 처리된 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  7. 제1항에 있어서, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩되지 않거나 중첩이 최소인 영역의 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라의 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  8. 제1항에 있어서, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩된 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라에 의해 촬영된 사각 영역의 이미지에 포함된 피사체의 위치를 판단하거나, 제1 및 제2 카메라에 의해 촬영된 이미지를 이용하여 입체 영상을 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
PCT/KR2014/007894 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 WO2015030449A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020157002824A KR20150037975A (ko) 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130100744 2013-08-24
KR10-2013-0100744 2013-08-24

Publications (1)

Publication Number Publication Date
WO2015030449A1 true WO2015030449A1 (ko) 2015-03-05

Family

ID=52586923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/007894 WO2015030449A1 (ko) 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치

Country Status (2)

Country Link
KR (1) KR20150037975A (ko)
WO (1) WO2015030449A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4124014A1 (en) * 2021-07-20 2023-01-25 Spiideo AB Devices and methods for wide field of view image capture

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102460906B1 (ko) * 2016-02-17 2022-11-01 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123630A (ko) * 2010-05-07 2011-11-15 김제민 셀프 카메라 기능 부여용 핸드폰 거치대
KR20120045850A (ko) * 2010-11-01 2012-05-09 엘지전자 주식회사 휴대용 단말기
JP2012093511A (ja) * 2010-10-26 2012-05-17 Mathematec Corp ３ｄカメラ用パノラマアタッチメント
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
KR20130028060A (ko) * 2010-02-10 2013-03-18 버블픽스 엘티디. 개인 통신 디바이스에 대한 부착물

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130028060A (ko) * 2010-02-10 2013-03-18 버블픽스 엘티디. 개인 통신 디바이스에 대한 부착물
KR20110123630A (ko) * 2010-05-07 2011-11-15 김제민 셀프 카메라 기능 부여용 핸드폰 거치대
JP2012093511A (ja) * 2010-10-26 2012-05-17 Mathematec Corp ３ｄカメラ用パノラマアタッチメント
KR20120045850A (ko) * 2010-11-01 2012-05-09 엘지전자 주식회사 휴대용 단말기
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4124014A1 (en) * 2021-07-20 2023-01-25 Spiideo AB Devices and methods for wide field of view image capture

Also Published As

Publication number Publication date
KR20150037975A (ko) 2015-04-08

Similar Documents

Publication Publication Date Title
CN217849511U (zh) 图像捕捉装置、设备和系统以及集成传感器光学部件配件
TWI676386B (zh) 影像捕獲設備、個人電子裝置、影像捕獲系統及可安裝透鏡配置
WO2016027930A1 (en) Portable device and method for controlling the same
CN105530431A (zh) 一种反射式全景成像系统及方法
CN107219710B (zh) 多镜头系统及具有该多镜头系统的便携式电子装置
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2012111970A2 (ko) 모바일 스테레오 카메라 장치 및 그 촬영방법
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
JP2018522510A (ja) ３ｄ及び／又は２ｄ高品質ビデオ撮影、写真撮影、自撮り録画用のカメラシステム及び非電気的３ｄ／マルチビデオ及び静止フレームビューアーと一体化される多目的携帯機器ケース／カバー
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
JP2003502925A (ja) 一台の携帯カメラによる３ｄ情景の撮影法
CN105657099B (zh) 便携式3d摄像头及可拍摄3d视频的手机
WO2017161871A1 (zh) 广角拍摄的光学镜头配件
WO2010076988A2 (en) Image data obtaining method and apparatus therefor
CN103780817A (zh) 摄像组件
WO2017119575A1 (ko) 영상촬영장치 및 영상촬영방법
CN108495016A (zh) 一种摄像装置、电子设备及获取图像方法
WO2011134215A1 (zh) 一种立体摄像装置
WO2015030449A1 (ko) 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
CN211702154U (zh) 一种摄像机
JP3612865B2 (ja) ビデオカメラ装置
WO2011078615A2 (en) Distance adaptive 3d camera
WO2013180442A1 (ko) 입체 동영상 촬영용 장치 및 카메라
WO2018018357A1 (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
JPH1198532A (ja) 立体撮像装置および立体表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20157002824

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14840757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15.06.2016)

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15.06.2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14840757

Country of ref document: EP

Kind code of ref document: A1