WO2018048185A1 - 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라 - Google Patents

입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라 Download PDF

Info

Publication number
WO2018048185A1
WO2018048185A1 PCT/KR2017/009747 KR2017009747W WO2018048185A1 WO 2018048185 A1 WO2018048185 A1 WO 2018048185A1 KR 2017009747 W KR2017009747 W KR 2017009747W WO 2018048185 A1 WO2018048185 A1 WO 2018048185A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
omnidirectional
max
axis
Prior art date
Application number
PCT/KR2017/009747
Other languages
English (en)
French (fr)
Inventor
권경일
Original Assignee
주식회사 에스360브이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170113227A external-priority patent/KR101889225B1/ko
Application filed by 주식회사 에스360브이알 filed Critical 주식회사 에스360브이알
Publication of WO2018048185A1 publication Critical patent/WO2018048185A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/04—Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention relates to a stereoscopic omnidirectional image acquisition method, a reproduction method, and a stereoscopic omnidirectional camera, which allow a head-mounted display device to enjoy a stereoscopic image of a landscape in any direction.
  • Figure 1 shows the omnidirectional painting of Robert Barker in Edinburgh University Library ([Non-Special 1]). He is also the author of the word panorama by combining 'pan' which means 'all' in Greek and 'horama' which means 'view' ([Non-Special 2] ⁇ [Non-Special). 3]).
  • the method of obtaining an omnidirectional image as a photograph rather than a painting is a method using a panoramic lens having a function of capturing an omnidirectional image in the lens itself, or a method using an omnidirectional camera.
  • the two cases will be referred to as omnidirectional imaging system.
  • FIG. 2 shows an example of an omnidirectional imaging system using an omnidirectional mirror having a rectilinear projection scheme included in Ref. 10, wherein the vertical angle of view of the omnidirectional mirror is a human standard. It was designed at 46 ° to match the time of day.
  • FIG. 3 shows an unfolded omnidirectional image captured by the omnidirectional imaging system of FIG. 2
  • FIG. 4 shows an unrolled omnidirectional image obtained from the unfolded omnidirectional image of FIG. 3
  • FIG. 5 shows an omnidirectional image of FIG. 4. Show some Although only the trigonometric function transformation is used to obtain FIG. 3 to FIG. 4, it can be seen that the proportion of the vertical direction is well matched as shown in FIG. 5. This is because, from the beginning, the omnidirectional mirror shown in Fig. 2 is designed to have a linear aberration correction projection method.
  • a panoramic camera that captures a 360 ° view in all directions in one scenic spot is an example of an omnidirectional imaging system.
  • the omnidirectional imaging system refers to an imaging system that captures all of the scenery seen by an observer as it spins around.
  • a system that captures a view of the landscape in all directions that can be viewed from the viewer's location is called an omnidirectional imaging system.
  • the observer not only turns around in place, but includes all the scenery that the viewer can tilt or look down.
  • the solid angle of a region that can be captured by an imaging system refers to a case of 4 ⁇ steradian.
  • Omnidirectional imaging systems and omnidirectional imaging systems are not only traditional fields such as photography of buildings, natural landscapes and celestial bodies, but also CCD (Charge-Coupled Device) or CMOS (Complementary Metal-Oxide-Semiconductor) complementary metal oxide films.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • Many researches and developments have been made for applications to security surveillance systems using cameras, virtual tours of real estate, hotels, and tourist attractions, or mobile robots or unmanned aerial vehicles.
  • the omnidirectional camera has a long history and various kinds, but it can be classified into three types.
  • the first is a rotating scanning panoramic camera such as Spinner 360 from Lomography.
  • the camera rotates 360 ° and records the omnidirectional image on 35mm film.
  • This rotating omnidirectional camera produces the most accurate omnidirectional image in principle.
  • the hand holding the camera cannot be shaken at the time of shooting, an accurate omnidirectional image is not obtained, and this product is close to a novel toy.
  • FIG. 7 is a view of a Seitz Roundshot 35/35 Panoramic Film Camera.
  • US Pat. No. 11 is a US-patented patent filed on August 8, 1996, which includes a fisheye lens and a relay lens for transmitting an image of the fisheye lens to the lower end of the rotating stage.
  • a camera is disclosed.
  • the relay lens serves to derotate the image to match the image of the rotating fisheye lens with a linear sensor array fixed to the bottom of the rotating stage, and includes a mirror and a dove prism. It has a complicated structure. While it is possible in principle, it is expected that it will be difficult to achieve stable performance enough to be used outdoors, and it is assumed that it has never been manufactured.
  • MIR mid-infrared light
  • the Spynel series radars of the French HGH Infrared System have a horizontal angle of view of 360 ° but a vertical angle of view of 20 °.
  • These cameras are equipped with an infrared lens and a linear image sensor, while the camera constantly rotates in the horizontal direction, updating the omni-directional image to show the omni-directional image close to the video.
  • Moultrie's omnidirectional camera which is widely used for wildlife viewing in national parks, also uses a method of rotating the lens. When motion is detected by the motion sensor, the lens rotates and captures an omnidirectional image.
  • the images are stitched together to obtain a single omnidirectional image.
  • Stitching is called because stitching is similar to sewing. You can rotate a single camera to get multiple images, or you can use images from multiple cameras, each facing different directions from the beginning.
  • the former is mainly used for obtaining still images, and the latter is mainly used for obtaining moving images.
  • a panoramic head can be mounted on a tripod and then moved horizontally so that the nodal point of the camera lens is aligned with the center of the tripod.
  • the nodal point of a camera corresponds to the position of the needle hole assuming that the camera is an ideal pinhole camera, and where the nodal point is located in the actual lens can be theoretically calculated if there is a design of the lens.
  • the decision can be made experimentally with a real camera.
  • Such a method is called a nodal slide method.
  • Fig. 8 is Sony's DSC-HX1 camera with omnidirectional image capturing using Stitching technology
  • Fig. 9 is an omnidirectional image sample taken with this digital camera.
  • the angle of view in the horizontal direction is significantly different from 360 °.
  • 10 is a Samsung Galaxy Camera EK-KC120L with a omnidirectional image capturing function using the stitching technology, the method of use is similar to the DSC-HX1. However, if you try to shoot in panorama mode, you can see that the angle of view ends before it reaches 360 °. 11 is an omnidirectional image taken with this camera, but the left end and the right side of the image do not naturally follow. Also, the height does not fit, because it is virtually impossible to hold the camera in a horizontal position while keeping it horizontal.
  • FIG. 12 and 13 are examples of omnidirectional images taken with Panorama 360, which is an Android app having a omnidirectional image capturing function using a stitching technology.
  • FIG. 14 it can be seen that the left end and the right end of the image naturally follow.
  • FIG. 15 is an enlarged part of the omnidirectional image of FIG. 13, and it can be seen that a passenger car and a building are seen as double because of technical limitations of the omnidirectional image by the stitching technique.
  • Two or more CCTV cameras are used to obtain a 360-degree image with video (Non-Special 14).
  • an omnidirectional camera such as Honeywell's ParaScan or Germany's Mobotix D12, combines images from two cameras with a horizontal angle of view of 90 ° to produce a 360-degree image with a horizontal angle of view of 180 °. )to be.
  • Arecont Vision offers a high-resolution, all-round security camera with a stitching method that uses multiple CCTV cameras.
  • the biggest advantage of the Stitching omnidirectional camera is that it can produce an omnidirectional image that is several times larger than the resolution of currently available image sensors.
  • GoPro's Odyssey uses 16 Hero 4 cameras, making it possible to create 360 ° omnidirectional images with 16 times the resolution of a single Hero 4 camera.
  • the stitching omni-directional camera is much more expensive than other cameras.
  • Internet portal companies such as Google, Naver, and Daum are collecting images by carrying a Stitching omnidirectional camera on a car or bicycle to provide Street View service linked to their map.
  • Stitching omnidirectional camera has no moving parts, so you can get a video.
  • a parallel error occurs. This is a problem that arises because the viewpoints of the two cameras are in different locations, which is a physical limitation that cannot be solved by software correction. Therefore, when the subject is near, it can be an unpleasant experience to see the face with a broken mirror. However, it would not be a problem if you only want to monitor subjects that are far from the beginning, such as railroad tracks, coastlines, railroads, and highways.
  • the third method is an image processing-based panoramic camera which generates an omnidirectional image through image processing after capturing an image with a wide-angle lens.
  • Image processing-based omnidirectional cameras and fisheye lenses are inseparably related.
  • One way of obtaining an omnidirectional image is to employ a fisheye lens with a wide angle of view.
  • a fisheye lens with an angle of view of 180 ° can be pointed vertically into the sky to capture a single image from the sky constellation to the horizon.
  • fisheye lenses are also referred to as all-sky lenses.
  • a Nikon fisheye lens (6mm f / 5.6 Fisheye-Nikkor) reaches an angle of view of 220 °, so when attached to the camera, some of the scenery behind the camera can be included in the image.
  • the image obtained by using the fisheye lens may be image processed to obtain an omnidirectional image.
  • references [Non-Special 15] to [Non-Special 16] present key technologies for extracting images having different viewpoints or projection schemes from images having a given viewpoint and projection scheme.
  • reference [Non-Special 16] shows a cubic panorama.
  • a cube panorama describes the landscape in all directions visible from the glass wall, when the observer is at the center of the glass cube, but all views are viewed from the center of the cube.
  • the actual landscape obtained by using the optical lens is not used, and the virtual landscape is captured by a virtual lens without distortion, that is, an image of a pinhole camera.
  • Reference [17] describes an algorithm for projecting an Omnimax image using a fisheye lens on a semi-cylindrical screen.
  • the method of finding the position of the object point on the film surface forming a shop at a specific position of the screen is described in that the projection method of the fisheye lens mounted on the movie projector differs from the ideal equidistant projection method. Therefore, it is possible to know what form the image recorded on the film should be in order to project a specific image on the screen, and such image is produced using a computer.
  • the distortion of the lens is reflected in the image processing algorithm, viewers adjacent to the projector can enjoy satisfactory panoramic movies.
  • Non-Special 18 describes the well-known projection methods among various mapping methods, such as iso-rectangular projection, Mercator projection, and cylindrical projection. ] Summarizes the history of various projections.
  • the orthogonal projection method is one of the most familiar mapping methods when we describe the celestial sphere to represent geography on the earth or to mark constellations.
  • References [14] and [Non-20] describe embodiments of fisheye lenses having an angle of view of 190 °, and Reference [15] describes various wide angles, including refractive projection and refraction fisheye lenses of projection projection. An embodiment of the lens is shown.
  • Reference [Special 16] describes various embodiments of obtaining an omnidirectional image according to a cylindrical projection method, an orthogonal projection method, and a mechatronic projection method from an image obtained using a rotationally symmetric wide-angle lens including a fisheye lens. .
  • an example of another image system that can be attached to one wall of the room to monitor the entire room is a pan tilt zoom camera.
  • a camera is implemented by mounting a CCTV with an optical zoom lens on a pan tilt stage.
  • the pan action refers to a function that can rotate by a predetermined angle in the horizontal direction
  • the tilt action refers to a function that can rotate by a predetermined angle in the vertical direction.
  • the pan when the camera is in the center of the celestial sphere describing the object, the pan means the operation of changing the longitude, and the tilt means the operation of changing the latitude. Therefore, the theoretical range of pan action is 360 ° and the theoretical range of tilt action is 180 °.
  • pan tilt zoom cameras Disadvantages of such pan tilt zoom cameras include high cost and large volume and weight. Lenses with optical zoom are bulky, heavy and expensive due to the complexity of the design and the complexity of the structure.
  • the pan tilt stage is an expensive device comparable to a camera. Therefore, it is very expensive to install the pan tilt zoom camera.
  • the pan tilt zoom camera since the pan tilt zoom camera is bulky and heavy, it can be a significant obstacle depending on the application. For example, when the weight of a payload is very important, such as an airplane, or when space constraints exist to install an imaging system in a narrow space.
  • the pan tilt zoom action is a physical action, it takes a long time to perform this action. Therefore, the mechanical response of such a camera may not be fast enough, depending on the application.
  • the reference [Special 17] describes an imaging system capable of a pan tilttrotate zoom function without a physically moving part.
  • the camera without distortion is the direction.
  • a linear aberration correction image (rectilinear image) is extracted.
  • the user generates a linear aberration correction image in a direction selected by various input devices such as a joystick or a computer mouse.
  • This technology is a core technology when trying to replace a virtual reality or mechanical pan tilt zoom camera, and the keyword may be referred to as "interactive picture". In this technology, there is no physically moving part, so the system responds quickly and is less prone to mechanical failure.
  • the present invention assumes that the projection method of the fisheye lens is an ideal equi-distance projection scheme.
  • the actual projection method of the fisheye lens usually shows a considerable error from the ideal equidistant projection method.
  • the distortion characteristic of the actual lens is not reflected as described above, there is distortion even in the image processed image.
  • Reference [18] describes an image processing method that compensates for the disadvantage that the actual projection method of the fisheye lens is not reflected in Reference [17]. However, the disadvantage that the vertical lines are not displayed as vertical lines in the image has not been solved.
  • Reference [19] describes an image system that remotely transmits images captured by a fisheye lens to generate distortion-free linear aberration correction images at the receiving end. In other words, there is no need to send a control signal from the receiving end to the transmitting end. In addition, there is an additional advantage that a plurality of receivers may generate separate linear aberration correction images for one transmitter.
  • a camera with a fisheye lens with an angle of view of 180 ° or an omni-directional camera with a horizontal angle of view of 180 ° is attached to a wall in the room, there is virtually no blind spot for surveillance. This is because the area that the camera cannot capture is a wall without the need for surveillance.
  • the image by the fisheye lens causes aesthetic discomfort due to the cylindrical distortion, and the ultra-wide linear aberration correction image without distortion does not naturally capture a subject far away from the optical axis even though most of the room can be seen.
  • the image by the omnidirectional camera may naturally capture the entire room, but may be difficult to identify because a distant subject is captured too small. In this case, the most natural image is a linear aberration correction image viewed from the front with the camera facing the subject.
  • a camera capable of doing this physically is a camera equipped with a pan-tilt stage with a straight aberration correcting lens without distortion.
  • the most satisfactory image can be obtained because the camera can be rotated so that the direction requiring attention is in the front.
  • the image may be captured while following the movement of the subject.
  • Reference [Special 20] discloses a method of tilting after a software-acting pan and a video processing method of performing a pan-action after a tilting in order to implement such a function in software.
  • different images are obtained according to the relationship between the pan and tilt actions. Therefore, it is necessary to use a preferred image processing method according to the installation state of the camera.
  • Reference [Special 20] provides a method for obtaining a distortion-free linear aberration correction image by performing mathematically accurate image processing on an image of a wide-angle lens that is rotationally symmetrical around an optical axis, and various imaging systems using the same.
  • an image processing algorithm in which a vertical line is displayed as a vertical line while implementing a digital pan tilt effect is proposed.
  • the invention of Ref. [20] relates to an algorithm for extracting an image obtained by a pan tilt camera equipped with a linear aberration correcting lens from an image acquired by a camera equipped with a fisheye lens, but may be encountered by a pan tilt camera. It does not provide an algorithm that takes into account all of the various possibilities.
  • Ref. a method for obtaining a distortion-free linear aberration correction image by performing mathematically accurate image processing on an image of a wide-angle lens that is rotationally symmetrical around an optical axis, and various imaging systems using the same.
  • the linear aberration correction image to be obtained is obtained when the optical axis of the camera is parallel or perpendicular to the horizontal plane, or even when the optical axis of the camera has a predetermined angle with respect to the horizontal plane.
  • An image processing method considering only the case where the optical axis of the aberration correction camera is parallel to the horizontal plane is proposed.
  • a physical pan tilt camera is usually installed so that the optical axis of the camera is parallel to the horizontal plane when both the pan angle and the tilt angle are 0 degrees. Therefore, the invention of Ref. [Special 20] can implement the effect of a physical pan tilt camera. However, when the digital pan tilt effect is to be implemented in an image obtained by a camera equipped with a fisheye lens, an effect beyond the range that can be realized by a physical pan tilt camera may be obtained.
  • the invention of [Special 21] provides a mathematically rigorous image processing method and an imaging system that implements the effects beyond the limits of the physical pan tilt camera. In particular, the invention of Ref. [21] also provides the most common image processing method that can be used even when the horizontal side of the image sensor plane is not parallel to the horizon.
  • Virtual Reality is expanding in size due to explosive interest. Similar areas of virtual reality include Artificial Reality (AR), Augmented Reality (AR) or Mixed Reality (MR). However, in order to enjoy stereoscopic images of virtual reality, artificial reality, and augmented reality, images with different viewpoints must be seen in the left eye and the right eye. It is a Head Mounted Display (HMD) device that can show different images to the eyes.
  • FIG. 17 illustrates a cardboard viewer made by Google
  • FIG. 18 is an example of a stereoscopic image corresponding to a screen corresponding to the left eye and a right eye in the HMD device.
  • HMD Head Mounted Display
  • anaglyph glasses there are other types of stereoscopic glasses or 3D glasses capable of viewing stereoscopic images, among which the cheapest and most effective glasses are anaglyph glasses.
  • 19 shows inexpensive anaglyph glasses made from paper and celluloid films.
  • the left and right sides of the anaglyph glasses have different colors, such as red and blue, or red and green.
  • red and blue or red and green.
  • you view anaglyphed stereoscopic images with anaglyph glasses you see different images for the left and right eyes. In the brain, these images are synthesized and recognized in three dimensions.
  • Anaglyph glasses and polarized glasses are passive 3D glasses because they do not require electrical power to be used.
  • a more complex method is active 3D glasses with shutter glass, which alternates the left and right eye images on the monitor, and the left eyeglasses are synchronized with the monitor on the shutter glass.
  • the eyeglasses on the right and the eyeball alternate between the transparent and opaque states, respectively.
  • the monitor and the 3D glasses are synchronized to alternately display the left image and the right image.
  • a GoPro stereo camera using two fisheye lenses may be used.
  • the stereoscopic image of the front of the camera can be generated, but the stereoscopic image of the oblique direction rather than the front side has a poor stereoscopic effect. The reason for this can be seen in FIGS. 21 and 22.
  • 21 is a conceptual diagram of stereoscopic image acquisition by image processing in a stereoscopic omnidirectional camera using two fisheye lenses.
  • the origin O of the World Coordinate System is located in the middle of the node points N L and N R of the two fisheye lenses. Therefore, the node points N L and N R of the two fisheye lenses are separated at the same distance from the origin.
  • the optical axes 2101L and 2101R of the two fisheye lenses face the same direction, and the directions of the optical axes are perpendicular to the X-axis and parallel to the Z-axis. That is, the Z-axis of the world coordinate system passes through the origin and is parallel to the optical axis of the two fisheye lenses.
  • the principal direction of vision 2103L of the left linear aberration corrected image and the direction 2103R of the right linear aberration corrected image coincide with the optical axis directions 2101L and 2101R.
  • the nodes (N L , N R ) of the two fisheye lenses are separated by the distance D 0 .
  • the distance D 0 can be set similarly to 6.35 cm, the distance between the average human eye.
  • the coordinates of the nodal point of the left fish-eye lens in the world coordinate system N L (X, Y, Z ) are the coordinates of (-D 0/2, 0, 0)
  • the nodal point of the right fish-eye lens is N R (+ D 0/2 , 0, 0).
  • the angle of view of the left fisheye lens and the angle of view of the right fisheye lens are indicated by a semicircle. Therefore, it is assumed that the angle of view of the fisheye lens is 180 °, but the angle of view of the fisheye lens may have any value. Also, the object plane 2131L and the image plane 2135L and the object plane 2131R and the image plane 2135R corresponding to the right fisheye lens of the linear aberration corrected image obtained by the image processing in the left fisheye lens are also displayed. .
  • the two linear aberration correction image planes 2135L and 2135R obtained through the image processing are the distance D.
  • a parallax corresponding to 0 is displayed on the screen of the HMD device corresponding to the left eye and the right eye, respectively, a user wearing the HMD device may feel a three-dimensional feeling as if the user is actually at the place.
  • HMD devices not only HMD devices but also passive 3D glasses such as anaglyph glasses and polarized glasses or active 3D glasses using shutter glasses are the same.
  • the process of generating the linear aberration correction image corresponding to the left eye and the right eye is the same, except that the process of converting the pair of linear aberration correction images into stereoscopic images according to the 3D method is different.
  • the distance between the nodes (N L , N R ) of the two fisheye lenses is two straight lines.
  • Equation 1 When measured in a direction perpendicular to the gaze directions 2203L and 2203R of the aberration correction image, it is given by Equation 1 below.
  • Fig. 23 shows another GoPro Odyssey, which is GoPro's three-dimensional omnidirectional camera, in which several cameras using a fisheye lens are disposed outward on concentric circles.
  • GoPro's three-dimensional omnidirectional camera in which several cameras using a fisheye lens are disposed outward on concentric circles.
  • it is possible to realize the effect of stereoscopic image by generating the linear aberration correction image from two cameras arranged in the direction closest to the direction that the user of HMD wants to look at and showing it to the left eye and the right eye.
  • this method requires a large number of cameras, the production cost is expensive, and there is a disadvantage in that the fisheye images from multiple cameras must be simultaneously transmitted or stored.
  • GoD 360 Hero is a three-dimensional omnidirectional camera, in which a plurality of cameras having the same specification are integrated to face in various directions.
  • the stereoscopic image is generated by two cameras facing the direction that the viewer wants to look at.
  • accurate stereoscopic images cannot be provided.
  • FIG. 26 is a conceptual diagram of a stereoscopic 360 ° omnidirectional camera shown in Reference [Non-Special 24].
  • two cameras having the same specification are mounted on a rotating stage.
  • the midpoint of the nodal points of the two lenses is located on the axis of rotation of the rotating stage.
  • the spacing between two lens nodes is similar to the spacing between two eyes of a person.
  • the camera disclosed in [Non-Special 26] has been described using a 35 mm roll film, and is equipped with a narrow slit in the longitudinal direction in front of the lens. Therefore, when the camera is facing in one direction, a thin band-shaped image in the vertical direction corresponding to the direction is connected in pairs. As the rotating stage rotates, a band-shaped image is obtained in all directions, and when all of them are connected, a pair of omnidirectional images corresponding to the left eye and the right eye are obtained as shown in FIG. 27.
  • FIG. 28 is a conceptual diagram illustrating a process of obtaining a linear aberration correction image from a 360 ° omnidirectional image obtained once.
  • a mathematically accurate linear aberration correction image is not obtained, but it is sufficient to obtain a satisfactory three-dimensional image visually.
  • FIG. 27 shows a pair of omnidirectional images obtained using a actually rotating camera
  • FIG. 28 shows a pair of linear aberration correction images generated from an artificial omnidirectional image obtained by a virtual camera.
  • the technique disclosed in [Non-24] does not provide an image processing algorithm for generating a pair of wide-angle images without distortion in a pair of omnidirectional images obtained from a rotating camera.
  • FIG. 29 is a conceptual diagram of a system for obtaining stereoscopic 360 ° omnidirectional image using only one rotating camera instead of a pair of cameras.
  • the nodal points of the camera lens are some distance away from the axis of rotation of the rotating stage.
  • two thin band-shaped images captured by oblique lines are extracted from the image obtained when the camera is located at one position, and all of them are obtained, the same effect as the omnidirectional image obtained by using two cameras may be realized.
  • an omnidirectional imaging system or a stereoscopic omnidirectional imaging system may be implemented using a line scan sensor having only one row of image sensors in the vertical direction.
  • an omnidirectional imaging system using a line scan sensor is disclosed.
  • [Special 11] discloses an omnidirectional camera and a stereoscopic omnidirectional camera using a line scan sensor.
  • the invention of [Special 11] uses a derotator using a mirror and a dove prism, and it is judged that it is difficult to make a commercial product with such a structure.
  • [Special 23] discloses a stereoscopic omnidirectional camera using a fisheye lens and a line scan sensor, but includes elements that are not necessary for the elements of the invention and are virtually impossible to implement. Applicant is still running the Stitching omnidirectional camera business to date, but the invention disclosed in [Special 23] has not been produced.
  • [24] discloses a method of obtaining a stereoscopic omnidirectional image by rotating the camera horizontally, but it is not clear whether the detailed description is insufficient to obtain a desired result, but it is fundamentally difficult to estimate what the present invention is. For example, panning horizontally while holding the shutter in panorama mode, detecting overlapping parts of a series of photos, or performing various corrections are already used in existing products, and what does "rotation correction" mean? There is no explanation of what it means, and it is not possible to know the process of obtaining a stereoscopic image rather than an omnidirectional image from an image obtained by horizontal panning.
  • [25] also discloses a method of obtaining a stereoscopic omnidirectional image using a single rotating camera, but almost all examples of image stitching except for the part of up-sampling the image.
  • [26] and [27] disclose a method for obtaining a linear aberration correction image from a cylindrical omnidirectional image.
  • a reflection refractive omnidirectional lens having a linear aberration correction projection method is used or a linear aberration correction lens is used.
  • a scanning omnidirectional camera is used, the linear aberration correction image shown in Fig. 30 can be obtained through a simple geometric transformation in the omnidirectional image ([Non-Special 10]).
  • the present invention is to provide a method and apparatus for obtaining a stereoscopic 360 ° full-angle image to enjoy a stereoscopic image in any direction by using an HMD device or other 3D glasses, in particular in the horizontal direction 360 ° all directions, We want to provide a technology that allows you to see all directions in 180 ° even in the vertical direction.
  • a pair of cameras is used which are arranged symmetrically on both sides of the rotating stage. Both cameras have the same specifications and are line scan cameras with a line scan sensor arranged in the vertical direction, and the lens is a fisheye lens having a vertical angle of view of preferably 180 ° or more, but a slender shape having a width of 3 cm or less in the horizontal direction. to be.
  • the fisheye lens is moved in the optical axis direction to focus, the fisheye lens does not rotate about the optical axis, and the long axis direction of the fisheye lens is always maintained in the vertical direction.
  • Each turn of the camera produces a pair of omnidirectional images corresponding to the left and right eyes.
  • This omnidirectional image is similar to a spherical panorama or an orthogonal projection method, but there is a difference.
  • the main difference is that it has a real projection method in which the distortion of the fisheye lens is not corrected in the vertical direction, but a perfect equidistant projection method is satisfied in the horizontal direction due to the rotating stage.
  • the longitudinal size of this omnidirectional image is the same as that of the line array sensor, but the horizontal size depends on the rotational speed of the rotating stage and the output speed of the line scan sensor. Therefore, there is no correlation between the size of the horizontal direction and the length of the 360 ° omnidirectional image plane measured in pixels.
  • a linear aberration correction image having arbitrary pan and tilt angles can be generated using the developed image processing algorithm, and when viewed with 3D glasses, stereoscopic images of arbitrary directions can be enjoyed. .
  • FIG. 2 is an embodiment of an imaging system using an omnidirectional mirror having a linear aberration correction projection method.
  • FIG. 3 is an example of the interior view captured with the omni-directional imaging system of FIG.
  • FIG. 4 is an example of an unfolded omnidirectional image of the unfolded omnidirectional image of FIG. 3;
  • FIG. 5 is a portion of the expanded omnidirectional image of FIG. 4.
  • 6 is a view of a Globuscope.
  • Figure 8 is a DSC-HX1 digital camera of Sony Inc. with an omnidirectional imaging function using Stitching technology.
  • 11 is an omnidirectional image taken with a galaxy camera.
  • 13 is another example of the omnidirectional image captured by Panorama 360.
  • FIG. 14 is a photograph showing that the angle of view in the horizontal direction of the omnidirectional image of FIG. 13 is 360 °.
  • 15 is a photograph illustrating the technical limitations of the omnidirectional image by the stitching technique.
  • 16 is a stereoscopic omni-directional camera of Kodak Corporation.
  • 17 is a cardboard viewer of Google company.
  • Fig. 19 is Anaglyph glasses, which is one of the 3D glasses.
  • 20 is a GoPro 3D camera equipped with two fisheye lenses.
  • 21 is a conceptual diagram of stereoscopic image acquisition by image processing in a 3D camera using two fisheye lenses.
  • FIG. 22 is a conceptual diagram illustrating the inability to enjoy stereoscopic images in any direction with the 3D camera shown in FIG. 20.
  • FIG. 22 is a conceptual diagram illustrating the inability to enjoy stereoscopic images in any direction with the 3D camera shown in FIG. 20.
  • Figure 23 is an embodiment of another omnidirectional camera of GoPro Corporation.
  • 25 is a conceptual view of a stereoscopic omnidirectional camera using a pair of rotating cameras of Professor Hung.
  • 26 is a conceptual view of a stereoscopic 360 ° omnidirectional camera using a pair of rotating cameras.
  • FIG. 27 is an example of the omnidirectional image captured by the stereoscopic 360 ° omnidirectional camera illustrated in FIG. 26.
  • FIG. 28 is a conceptual view of generating a stereoscopic image from a pair of 360 ° omnidirectional images corresponding to the left eye and the right eye;
  • 29 is a conceptual diagram of a technique for generating a 360 ° stereoscopic omnidirectional image with one rotating camera.
  • FIG. 30 is an example of linear aberration correction image extracted from the omnidirectional image of FIG. 4.
  • Fig. 31 is a plan view of the omnidirectional camera of the first embodiment of the present invention.
  • 33 is a conceptual diagram of an omnidirectional image obtained by the omnidirectional camera of the first embodiment of the present invention.
  • 35 is a three dimensional cutaway view of a fisheye lens of one embodiment of the prior art.
  • 36 is a view illustrating an optical structure and a path of a light beam of a fisheye lens according to an embodiment of the present invention.
  • 37 is a conceptual diagram of an actual projection method of a general rotationally symmetric imaging lens.
  • Fig. 38 is a diagram for understanding the relationship between the horizontal coordinates and the incident angle in the horizontal direction in the 360 ° omnidirectional image plane;
  • 39 is a virtual 360 ° omnidirectional image plane.
  • 40 is a virtual 360 ° omnidirectional image plane generated from a fisheye image of the prior art.
  • Fig. 41 is a conceptual diagram of the linear aberration correction image plane extracted from the omnidirectional image plane
  • FIG. 42 is a linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 39.
  • FIG. 42 is a linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 39.
  • FIG. 43 is a linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 40.
  • FIG. 43 is a linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 40.
  • FIG. 44 is another linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 40.
  • FIG. 44 is another linear aberration corrected image plane generated from the 360 ° omnidirectional image plane of FIG. 40.
  • 45 is a conceptual diagram illustrating a process of obtaining an omnidirectional image using the omnidirectional camera of the first embodiment of the present invention.
  • 46 is a conceptual diagram of the omnidirectional image obtained in the first embodiment of the present invention.
  • 47 is a conceptual diagram illustrating a process of acquiring an omnidirectional image using the omnidirectional camera of the first embodiment of the present invention when the subject is moving.
  • 48 is a conceptual diagram of the omnidirectional image obtained in the first embodiment of the present invention when the subject is moving.
  • 49 is a conceptual diagram illustrating a method of operation of the omni-directional camera of the second embodiment of the present invention.
  • FIG. 50 is a plan view of a stereoscopic omnidirectional image acquisition device according to a third embodiment of the present invention.
  • Fig. 51 is a side view of the stereoscopic omnidirectional image acquisition device according to the third embodiment of the present invention.
  • FIG. 52 is a diagram for understanding characteristics of a linear aberration corrected image obtained by a rotating stereoscopic omnidirectional image acquisition device
  • 53 is a diagram for understanding the camera structure of the third embodiment of the present invention.
  • 54 is a conceptual diagram illustrating the camera structure of the third embodiment of the present invention.
  • 55 is a conceptual view illustrating a state in which the stereoscopic omnidirectional camera of the third embodiment of the present invention focuses on a subject at an infinite distance.
  • 56 is a conceptual diagram illustrating a state in which a stereoscopic omnidirectional camera of a third embodiment of the present invention focuses on a subject at a short distance.
  • Fig. 50 is a plan view of the stereoscopic omnidirectional image acquisition device (stereoscopic camera) of the third embodiment of the present invention.
  • two cameras of the same specification consisting of the fisheye lenses 5012L and 5012R having an angle of view of 180 ° or more and the camera bodies 5014L and 5014R having line scan sensors 5013L and 5013R therein are connected to the rotating portion 5022.
  • This rotating part 5022 is connected with the lower base part 5024 and the rotating shaft 5026.
  • the rotating part rotates horizontally about an origin C on the rotating part, which is located at the center point of the node points N L and N R of the two fisheye lenses 5012L and 5012R.
  • the distance D between the two points of the fisheye lens is preferably 6.35 cm, which is the average distance between two eyes of a person.
  • the optical axes 5001L and 5001R of the two fisheye lenses rotate together when the rotating part rotates.
  • the Z'-axis of the camera coordinate system is the direction past the origin C and parallel to the optical axes (5001L, 5001R) of the two fisheye lenses, and the direction passing through the origin C and the nodal points (N L , N R ) of the two fisheye lenses is the camera coordinate system.
  • the camera coordinate system is a right hand coordinate system.
  • the directions of the optical axes 5001L and 5001R of the two fisheye lenses are in the Z-axis direction of the world coordinate system, and the origin of the world coordinate system is the origin C of the camera coordinate system.
  • the Y-axis of the world coordinate system coincides with the Y'-axis of the camera coordinate system.
  • the world coordinate system is also a right hand coordinate system.
  • the node points of two fisheye lenses are always located in the X-Z plane and the X'-Z 'plane.
  • the line scan sensors 5013L and 5013R of both cameras are always parallel to the Y-axis of the world coordinate system and the Y'-axis of the camera coordinate system.
  • FIG. 51 is a side view of a stereoscopic (3D) omnidirectional imaging system according to a third embodiment of the present invention, and includes an image acquisition device 5120, an image processing device 5130, and an image display device 5140.
  • the image capturing apparatus 5120 includes a rotating part and a base part 5124 on which the above two cameras are mounted, and in the base part, a dual omnidirectional image in which two omnidirectional image surfaces 5126L and 5126R obtained by rotating two cameras are combined into one. Face 5126 is created.
  • the rotating unit rotates once, a double omnidirectional image plane 5126 1 frame is generated, and the double omnidirectional image plane 5126 is an omnidirectional image plane 5126L obtained from the left camera and an omnidirectional image plane 5126R obtained from the right camera. ) Is the omnidirectional image plane obtained as one.
  • the dual omnidirectional image plane 5126 obtained by this image acquisition device is transmitted in real time or afterwards to one or more image processing devices 5130.
  • the image processing device may be a desktop computer, a notebook computer, or a virtual computer, a network video recorder (NVR), or any kind of device capable of performing image processing with a CPU or an application processor (AP) such as a smartphone or a dedicated terminal. Can be.
  • the image processing apparatus 5130 stores at least one frame of the dual omnidirectional image plane 5152 transmitted from the image capturing apparatus 5120.
  • the image processing apparatus 5130 is connected to the image display apparatus 5140 by wire or wirelessly.
  • a head mounted display (HMD) device may be used as a typical image display apparatus.
  • the direction sensor embedded in the HMD extracts the direction information toward the user and transmits the direction information to the image processing apparatus, and the image processing apparatus corrects the linear aberration corresponding to the direction information.
  • the pair of images is extracted from the left omnidirectional image 5134L and the right omnidirectional image 5134R, respectively, and displayed on the image display device.
  • the user equipped with the HMD can view the linear aberration correction image corresponding to the direction of the user's head, and the image corresponding to binocular vision is shown from the left omnidirectional image 5134L and the right omnidirectional image 5134R. You can feel three-dimensional as if you were actually there.
  • the direction information sent from the image display device 5140 to the image processing device 5130 is preferably an azimuth angle ⁇ and an elevation angle ⁇ to which the direction of attention of the linear aberration corrected image is directed.
  • the image display device 5140 may be various devices as well as the HMD.
  • the image processing apparatus 5130 may be a main body of a computer, and the image display apparatus may be a 3D monitor.
  • the image processing apparatus extracts a pair of linear aberration correction images from the dual omnidirectional image plane, converts them again to be viewed with anaglyph glasses, and displays them on a computer screen, a TV screen, or a smartphone screen. You can enjoy wearing anaglyph glasses.
  • the 3D omnidirectional imaging device of the third embodiment of the present invention may be used to generate a still image or may be generated to generate a moving image.
  • the dual omnidirectional image planes generated by the same image acquisition apparatus 5120 may be used as a plurality of image processing apparatuses 5130. Will be sent.
  • FIG. 52 is a diagram for understanding characteristics of a linear aberration corrected image plane that can be extracted from an omnidirectional image plane obtained from a rotating omnidirectional camera. Since the nodal points N L and N R of the two fisheye lenses have a distance D, the two nodal points move along a circle of diameter D as the rotating part rotates about the origin C.
  • the optical axes 5201L and 5201R of the two fisheye lenses face the same direction.
  • the desired field of view (5205L, 5205R) is determined when the positions of the node points of the two fisheye lenses are as shown in FIG. It would be desirable to obtain an image with.
  • the line scan sensor obtains only one line of image corresponding to one direction when the rotating part is at any position, to obtain an image having a non-zero horizontal angle of view, the image must be continuously acquired while the rotating part rotates. .
  • the diameter of the chaos circle is D, it may be said that there is a large amount of error in the omnidirectional image or the linear aberration correction image of the close-range subject.
  • the distance of the subject is more than 10 times the diameter of the chaos, the error can be expected to be hardly noticeable.
  • the diameter of the chaos is 6.35cm, 10 times that is 63.5cm and less than 1m. Therefore, it can be expected to obtain a satisfactory image even with a rotating omnidirectional camera unless it is a very close-up shot.
  • the pixels of the line scan sensor are much larger than the pixels of the area image sensor.
  • the reason for this is as follows.
  • An area image sensor capable of obtaining Full HD quality images will have a matrix of pixels consisting of 1920 columns in the horizontal direction and 1080 rows in the vertical direction. If you want to shoot a video using an image sensor like this, it's enough to capture 30 frames per second.
  • a 1920 scan image must be captured by a line scan sensor having 1080 pixels. Therefore, in order to capture 30 frames of video per second, the line scan sensor must capture 1920 x 30 images per second, and one image is captured within 20 microseconds. I can't get it.
  • the pixel pitch of the aforementioned Hamamatsu S11637-1124Q sensor is 12.5 ⁇ m
  • the pixel height is 500 ⁇ m
  • the length of the image sensor area is 12.8 mm, much larger than that of the area iamge sensor.
  • the length of the image sensor area of the S11637-2048Q is 25.6mm.
  • the diameter of the image surface 5333L should have a similar size.
  • the first lens element is always larger than the diameter of the image plane, and if the wide-angle lens is a fisheye lens, the diameter of the first lens element is much larger than the diameter of the image plane. Therefore, it is not possible to maintain the distance between the imaging lenses 5312L and 5312R as the distance D between the eyes of the average person. If the distance between the centers of the two lenses is significantly different from D, the image obtained from such a stereoscopic omnidirectional camera will not provide a natural three-dimensional effect.
  • each camera should be manufactured in an elongated shape having a width within 3 cm. Therefore, lens elements having a round cross-sectional area cannot be used like a normal imaging lens, and they must be manufactured in the shape of both sides cut out. As described above, the lens 5412 manufactured in the elongated shape cannot be inserted into or removed from the lens holder 5416 in the same way as a general lens.
  • the lens holder 5416 is fixed to the body of the line scan camera 5414, and the imaging lens 5412 must be manufactured to be inserted into the lens holder 5416 as if it slides.
  • the insertion portion 5418 of the imaging lens 5412 has a size that fits well with the hole of the lens holder 5416.
  • a means 5442 for moving the imaging lens is required. Although shown in FIG. 54 by rack and pinion gears, in practice, various means such as a linear motor can be used.
  • the line scan sensor since the line scan sensor must operate at a constant shutter speed in order to acquire an omnidirectional image, a separate means for controlling exposure is required. Therefore, a motorized camera iris is preferred.
  • the imaging lens mounted on such a camera has an angle of view of 180 ° or more in the direction of the rotation axis, and a cross section perpendicular to the optical axis of the imaging lens has a slender shape in which the width measured in the direction perpendicular to the rotation axis is smaller than the height measured in the rotation axis direction. Even if the imaging lens moves in the optical axis direction, the long axis of the imaging lens is maintained in the rotation axis direction.
  • the rotating part 5522 is a conceptual diagram of a stereoscopic omnidirectional camera of a third embodiment of the present invention.
  • the rotating part 5522 can rotate indefinitely with respect to the lower base part 5524, and two cameras 5512L and 5512R are mounted on the rotating part.
  • FIG. 56 illustrates a view in which the optical axes 5601L and 5601R of the left camera 5612L and the right camera 5612R are inclined inward toward the Z'-axis of the camera coordinate system when focusing on a near subject.
  • the optical axes (5601L, 5601R) of the two cameras can always be kept parallel to the Z'-axis of the camera coordinate system, regardless of the distance of the subject.
  • a camera body 3114 having an imaging lens 3112 and a line scan sensor 3113 therein is mounted to a rotating part 3122, which is the base part of the lower part. It can rotate infinitely about the rotation axis 3126 with respect to 3124, and the rotation axis 3126 passes vertically through the nodal point N of the imaging lens.
  • the preferred longitudinal angle of view of the omnidirectional image plane varies. For example, if the goal is to monitor in the middle of the sea, the vertical angle of view is advantageous. In fact, since only the horizontal line needs to be monitored, the smaller the angle of view of the lens, the farther the detail can be seen. On the other hand, if you want to photograph a room in a palace filled with paintings and sculptures on the walls and ceilings, it would be desirable to use a fisheye lens with an angle of view of 180 ° or more.
  • the basic structure of the omnidirectional camera using a general linear aberration correction lens with a small angle of view or a fisheye lens with a field of view of 180 ° or more is almost the same.
  • the World Coordinate System is fixed to the base 3124, where the origin of the world coordinate system coincides with the nodal point of the fisheye lens. Also, the Y-axis of the world coordinate system coincides with the axis of rotation. Meanwhile, the Z-axis of the world coordinate system coincides with the optical axis 3101 of the fisheye lens when the omnidirectional camera is in an initial zero state.
  • the world coordinate system uses the Right Handed Coordinate System.
  • the camera coordinate system coincides with the world coordinate system, but when the rotating part rotates, it rotates like the rotating part.
  • the Y'-axis of the camera coordinate system always coincides with the Y-axis of the world coordinate system.
  • the Z'-axis of the camera coordinate system coincides with the optical axis 3101 of the fisheye lens.
  • the fisheye lens 3112 Since the fisheye lens 3112 has an angle of view of 180 ° or more, an image corresponding to at least a hemisphere is generated on the image plane 3132.
  • the line scan sensor 3113 inside the camera body 3114 is disposed in the Y'-axis direction. Thus, the image of the subject in the vertical direction in front of the fisheye lens is captured by the line scan sensor. As the rotating unit rotates, images in different directions are sequentially captured by the line scan sensor, and when the camera is rotated once, images in all directions by 360 ° are obtained.
  • FIG. 32 is a side view of the omnidirectional imaging device.
  • the Y-axis of the world coordinate system and the Y′-axis of the camera coordinate system pass through the node point N of the fisheye lens.
  • the Z'-axis of the camera coordinate system passes the nodal point of the fisheye lens, and the line scan sensor 3213 inside the camera body 3214 is parallel to the Y-axis and the Y'-axis.
  • the rotating part 3222 equipped with a camera is connected to the base part 3224 by a rotation shaft 3326, and rotates the rotating part at a high speed by a motor inside the base part.
  • the base is also equipped with a position sensor 3322, which measures the inclination in two directions with respect to the horizontal plane of the camera, that is, the inclination in the X-axis direction and the inclination in the Z-axis direction and the relative rotation angle of the rotating part relative to the base. do.
  • GPS and digital compass are included, it is convenient to link the omnidirectional image with the map.
  • the rotating part is connected to the base and the rotating shaft to enable infinite rotation.
  • the signal from the camera may have several strands of signal lines, so it may be difficult to transmit an image signal from the rotating part to the base part. Therefore, the transmitting unit 3244 may be installed in the rotating unit, and the receiving unit 3246 may be installed in the base unit 3224 to transmit an image signal by a wireless signal or a light signal.
  • power and control signals must be sent in the opposite direction.
  • the power may be delivered via a slip ring or may be transmitted using near field wireless power transfer technology.
  • the control signal may be transmitted through a slip ring, or an optical signal or a wireless signal may be used.
  • FIG. 32 illustrates that the transmitting unit 3244 and the receiving unit 3246 are installed near the rotating shaft 3262, the rotating shaft 3326 is manufactured to have a hollow cylinder inside, and the transmitting unit and the receiving unit are wirelessly connected through the inner space. It would be desirable to communicate by wireless signal or light.
  • DDM Direct Drive Motor
  • DDM Direct Drive Motor
  • Power, control signals, and video signals can come and go through the center hole of the DDM.
  • FIG. 33 is a conceptual view of a 360 ° omnidirectional image plane obtained by the omnidirectional camera of the first embodiment of the present invention, and the unit of the coordinate system is a pixel.
  • the horizontal axis of the 360 ° omnidirectional image plane 3342 corresponds to the X'-axis of the camera coordinate system
  • the vertical axis corresponds to the Y'-axis of the camera coordinate system.
  • the reference point C of this coordinate system corresponds to incident light entering along the optical axis when the Z'-axis of the camera coordinate system coincides with the Z-axis of the world coordinate system. Therefore, the elevation angle and the azimuth angle of the incident light forming the image point at the reference point C on the 360 ° omnidirectional image plane 3342 are both zero.
  • the vertical dimension of the 360 ° omnidirectional image plane is K max, which is a natural number. This vertical size corresponds to the number of effective pixels of the line scan sensor. That is, if the line scan sensor has 2048 effective pixels arranged in one column, K max is 2048.
  • K max is 2048.
  • the magnitude L max in the horizontal direction of the omnidirectional image plane corresponds to the number of samplings during which the omnidirectional camera rotates 360 ° one rotation. Therefore, the slower the rotational speed of the rotating unit, the faster the output speed of the line scan sensor, the larger the horizontal size of the omnidirectional image plane.
  • the horizontal angle of view of the omnidirectional image plane is exactly 360 °. That is, each time the rotation unit rotates once, one frame of 360 ° omnidirectional image plane 3342 is generated.
  • the vertical angle of view of the omnidirectional image plane corresponds to the angle of view of the fisheye lens. That is, if the angle of view of the fisheye lens is 190 °, the angle of view 2 ⁇ in the longitudinal direction of the omnidirectional image plane is 190 °.
  • the angle of view in the longitudinal direction of the omnidirectional image plane is 180 °, but it is more preferable if the angle of view is larger than this. The reason is to obtain a satisfactory image even when the digital tilt angle is large.
  • One point Q on the omnidirectional image plane 3342 has coordinate values (K, L), which have a transverse azimuth angle ⁇ and a longitudinal elevation angle ⁇ .
  • the incident light reaching the pixel having the coordinate values (K, L) has an azimuth angle ⁇ and an elevation angle ⁇ .
  • FIG. 34 is a photograph of a fisheye lens (model name: FEED802) having an angle of view of 190 ° described in Ref. [14] and [Non-Special 20], and FIG. 35 is a partial cut-away view for easy understanding of the mechanical structure of the fisheye lens.
  • 3D perspective view. 36 shows the optical structure of the fisheye lens and the path of light rays.
  • FIG. 37 is a conceptual diagram of a real projection scheme of a rotationally symmetric imaging lens 3712 including a fisheye lens.
  • the Z-axis of the world coordinate system describing the object captured by the imaging lens coincides with the optical axis 3701 of the imaging lens 3712.
  • Incident light 3705 having a zenith angle ⁇ about this Z-axis is refracted by the imaging lens 3712 and then converges to an image point P on the focal plane 3732 as refracted light 3706. .
  • the distance from the nodal point N of the imaging lens to the focal plane approximately coincides with the effective focal length of the lens.
  • the portion where the actual shop is formed in the focal plane is an image plane 3733.
  • the image plane 3735 and the image sensor plane 3713 inside the camera body 3714 should coincide with each other.
  • the focal plane and the image sensor plane are perpendicular to the optical axis.
  • the distance from the intersection of the optical axis 3701 and the image plane 3735 O-hereinafter referred to as the first intersection-to the shop P is r.
  • Equation 2 The image height r in a typical imaging lens that is rotationally symmetric about an optical axis is given by Equation 2.
  • the unit of the incident angle ⁇ is radian
  • the function f ( ⁇ ) is a monotonically increasing function passing through the origin for the ceiling angle ⁇ of the incident light.
  • the actual projection method of such a lens can be measured experimentally with a real lens, or can be calculated with a lens design program such as Code V or Zemax with the design of the lens.
  • a lens design program such as Code V or Zemax with the design of the lens.
  • the REAY operator in Zemax allows you to calculate the y-axis coordinate y on the focal plane of incident light with a given horizontal and vertical angle of incidence, where the x coordinate in the x-axis direction is similar to the REAX operator. Can be calculated using.
  • the fisheye lens FEED802 with an angle of view of 190 ° used in the embodiments of the prior art is well described as a polynomial across the origin as detailed in Ref.
  • Equation 4 holds.
  • the pixel coordinate K and the elevation angle ⁇ of the incident light on the omnidirectional image plane satisfy the equation (5).
  • the user has no choice but to measure the projection method of the lens in the 360 ° omnidirectional image plane. useful.
  • F ( ⁇ ) is a projection method in the vertical direction of the imaging lens measured in units of pixels.
  • the omnidirectional image plane can be considered as a cylindrical plane having an imaginary radius S given by Equation (7).
  • Equation (8) the column number L of the pixel having the azimuth angle ⁇ is given by Equation (8).
  • Inverted pixels having column number L correspond to incident light having a transverse azimuth angle given by equation (9).
  • FIG. 39 is a virtual 360 ° omnidirectional image plane, which is generated based on an artificial fisheye image produced by Professor Paul Bourke.
  • 40 is a virtual 360 ° omnidirectional image plane generated from a fisheye image captured by a fisheye lens according to an embodiment of the present invention.
  • L max and K max can have any ratio regardless of the relationship between the horizontal and vertical angles of view.
  • the ratio of the horizontal size to the vertical size of the omnidirectional image plane presented in the related art is almost 2: 1 without exception, for the following reason.
  • the longitude ranges from -180 ° to 180 ° 360 ° and the latitude ranges from -90 ° to 90 ° 180 °. Therefore, if you draw the world map using the equictangular projection scheme, the ratio of horizontal to vertical becomes 2: 1.
  • the size of the longitudinal direction of the omnidirectional image plane is the same as the number of effective pixels of the line scan sensor, and the size of the horizontal direction is determined by the operating speed of the line scan sensor and the rotational speed of the rotating unit, so the size of the horizontal direction is the same.
  • the longitudinal size may have any ratio.
  • the horizontal angle of view is 360 °, but the vertical angle of view may have any value depending on the angle of view of the imaging lens.
  • pixels adjacent in the horizontal direction in the omnidirectional image plane correspond to increments of the same azimuth angle.
  • the pixels adjacent in the vertical direction correspond to an increment of an arbitrary elevation angle.
  • pixels corresponding to each row may correspond to an arbitrary elevation angle depending on whether the lens is a linear aberration correcting lens or a fisheye lens.
  • the present invention provides an image processing method capable of extracting a correct linear aberration corrected image plane in principle from an omnidirectional image plane having an arbitrary aspect ratio and a vertical projection method.
  • the reference point C coincides with the direction of the camera optical axis when the omnidirectional camera is stationary. Therefore, the coordinates are preferably given by the equations (10) to (11), but may have any value.
  • FIG. 41 is a conceptual diagram of the linear aberration correction image plane 4131 extracted from the omnidirectional image plane of FIG. 33.
  • the coordinates of the center point ⁇ of this linear aberration correction image plane are given by the equations (12) to (13).
  • the omnidirectional image plane in order to obtain a linear aberration correction image plane having a horizontal angle of view ⁇ , an azimuth angle of a principal direction of vision, and an elevation angle of ⁇ ,
  • the aberration correction image plane should be panned by ⁇ about the Y-axis, and the coordinate values in the new coordinate system tilted by ⁇ around the X'-axis of the rotated coordinate system should be obtained, given by Equations 16 to 19.
  • FIG. 42 is a linear aberration corrected image plane generated from the omnidirectional image plane of FIG. 39.
  • the horizontal direction is 240 pixels
  • the vertical direction is 180 pixels
  • the horizontal angle of view is 90 °
  • the pan angle is 90 °.
  • the tilt angle is 45 degrees.
  • a linear aberration correction image in a desired direction was obtained, and it can be seen that all the straight lines were captured as straight lines.
  • 43 is a linear aberration correction image extracted from the omnidirectional image of FIG. 40.
  • the horizontal direction is 640 pixels
  • the vertical direction is 480 pixels
  • the horizontal angle of view is 90 °
  • both the pan and tilt angles 0 °.
  • 44 is a linear aberration correction image obtained by using a pan angle of -90 ° and a tilt angle of -45 °.
  • T (Jmax-1) / 2.0 / tan (Dpsi / 2.0);
  • ALPHA -45.0
  • alpha ALPHA / 180.0 * pi
  • beta BETA / 180.0 * pi
  • Xp X * cos_beta + Y * sin_beta * sin_alpha + Z * sin_beta * cos_alpha;
  • Yp Y * cos_alpha-Z * sin_alpha
  • Zp -X * sin_beta + Y * cos_beta * sin_alpha + Z * cos_beta * cos_alpha;
  • rho_p sqrt (Xp ⁇ 2 + Zp ⁇ 2);
  • delta_p atan2 (Yp, rho_p);
  • y_p Ko + gain * polyval (coeff, delta_p);
  • DI uint 8 (EI-1);
  • FIG. 45 is a conceptual diagram illustrating a method of obtaining an omnidirectional image using the omnidirectional camera of the first embodiment of the present invention. As shown in FIG. 45, if all of the subjects are in a stationary state, there is no technical difficulty in generating the omnidirectional image with the rotating camera, and a natural omnidirectional image is obtained as shown in FIG. 46.
  • FIG. 47 the police patrol car is moving in the opposite direction with respect to the rotation direction of the camera, and the truck is moving in the same direction. Then, as illustrated in FIG. 48, the police patrol car appears compressed in the longitudinal direction in the omnidirectional image, and the truck is captured to be elongated in the longitudinal direction. On the other hand, all non-moving trees are captured normally. Also, the faster the speed of the subject compared to the rotational speed of the camera, the more severe the motion blur will be.
  • High-speed line scan sensors can output tens of thousands of frames per second.
  • High speed motors can also run hundreds of revolutions per second. The performance of such hardware can be used to reduce motion blur to a negligible level.
  • the rotating part of the camera rotates in multiples of 30. That is, it rotates in multiples of 30, such as 60 revolutions per second, 90 revolutions per second, and 300 revolutions per second.
  • the image output from the line scan sensor is integrated to generate one omnidirectional image.
  • idling is performed without acquiring images.
  • the images output from the line scan sensor are integrated to generate one omnidirectional image, and in the fifth and sixth rotations, no idling is performed, and in the seventh rotation, the omnidirectional image is generated again. .
  • Fig. 50 is a plan view of the stereoscopic omnidirectional image acquisition device (stereoscopic camera) of the third embodiment of the present invention.
  • two cameras of the same specification consisting of the fisheye lenses 5012L and 5012R having an angle of view of 180 ° or more and the camera bodies 5014L and 5014R having line scan sensors 5013L and 5013R therein are connected to the rotating portion 5022.
  • This rotating part 5022 is connected with the lower base part 5024 and the rotating shaft 5026.
  • the rotating part rotates horizontally about an origin C on the rotating part, which is located at the center point of the node points N L and N R of the two fisheye lenses 5012L and 5012R.
  • the distance D between the two points of the fisheye lens is preferably 6.35 cm, which is the average distance between two eyes of a person.
  • the optical axes 5001L and 5001R of the two fisheye lenses rotate together when the rotating part rotates.
  • the Z'-axis of the camera coordinate system is the direction past the origin C and parallel to the optical axes (5001L, 5001R) of the two fisheye lenses, and the direction passing through the origin C and the nodal points (N L , N R ) of the two fisheye lenses is the camera coordinate system.
  • the camera coordinate system is a right hand coordinate system.
  • the directions of the optical axes 5001L and 5001R of the two fisheye lenses are in the Z-axis direction of the world coordinate system, and the origin of the world coordinate system is the origin C of the camera coordinate system.
  • the Y-axis of the world coordinate system coincides with the Y'-axis of the camera coordinate system.
  • the world coordinate system is also a right hand coordinate system.
  • the node points of two fisheye lenses are always located in the X-Z plane and the X'-Z 'plane.
  • the line scan sensors 5013L and 5013R of both cameras are always parallel to the Y-axis of the world coordinate system and the Y'-axis of the camera coordinate system.
  • FIG. 51 is a side view of a stereoscopic (3D) omnidirectional imaging system according to a third embodiment of the present invention, and includes an image acquisition device 5120, an image processing device 5130, and an image display device 5140.
  • the image capturing apparatus 5120 includes a rotating part and a base part 5124 on which the above two cameras are mounted, and in the base part, a dual omnidirectional image in which two omnidirectional image surfaces 5126L and 5126R obtained by rotating two cameras are combined into one. Face 5126 is created.
  • the rotating unit rotates once, a double omnidirectional image plane 5126 1 frame is generated, and the double omnidirectional image plane 5126 is an omnidirectional image plane 5126L obtained from the left camera and an omnidirectional image plane 5126R obtained from the right camera. ) Is the omnidirectional image plane obtained as one.
  • the dual omnidirectional image plane 5126 obtained by this image acquisition device is transmitted in real time or afterwards to one or more image processing devices 5130.
  • the image processing device may be a desktop computer, a notebook computer, or a virtual computer, a network video recorder (NVR), or any kind of device capable of performing image processing with a CPU or an application processor (AP) such as a smartphone or a dedicated terminal. Can be.
  • the image processing apparatus 5130 stores at least one frame of the dual omnidirectional image plane 5152 transmitted from the image capturing apparatus 5120.
  • the image processing apparatus 5130 is connected to the image display apparatus 5140 by wire or wirelessly.
  • a head mounted display (HMD) device may be used as a typical image display apparatus.
  • the direction sensor embedded in the HMD extracts the direction information toward the user and transmits the direction information to the image processing apparatus, and the image processing apparatus corrects the linear aberration corresponding to the direction information.
  • the pair of images is extracted from the left omnidirectional image 5134L and the right omnidirectional image 5134R, respectively, and displayed on the image display device.
  • the user equipped with the HMD can view the linear aberration correction image corresponding to the direction of the user's head, and the image corresponding to binocular vision is shown from the left omnidirectional image 5134L and the right omnidirectional image 5134R. You can feel three-dimensional as if you were actually there.
  • the direction information sent from the image display device 5140 to the image processing device 5130 is preferably an azimuth angle ⁇ and an elevation angle ⁇ to which the direction of attention of the linear aberration corrected image is directed.
  • the image display device 5140 may be various devices as well as the HMD.
  • the image processing apparatus 5130 may be a main body of a computer, and the image display apparatus may be a 3D monitor.
  • the image processing apparatus extracts a pair of linear aberration correction images from the dual omnidirectional image plane, converts them again to be viewed with anaglyph glasses, and displays them on a computer screen, a TV screen, or a smartphone screen. You can enjoy wearing anaglyph glasses.
  • the 3D omnidirectional imaging device of the third embodiment of the present invention may be used to generate a still image or may be generated to generate a moving image.
  • the dual omnidirectional image planes generated by the same image acquisition apparatus 5120 may be used as a plurality of image processing apparatuses 5130. Will be sent.
  • FIG. 52 is a diagram for understanding characteristics of a linear aberration corrected image plane that can be extracted from an omnidirectional image plane obtained from a rotating omnidirectional camera. Since the nodal points N L and N R of the two fisheye lenses have a distance D, the two nodal points move along a circle of diameter D as the rotating part rotates about the origin C.
  • the optical axes 5201L and 5201R of the two fisheye lenses face the same direction.
  • the desired field of view (5205L, 5205R) is determined when the positions of the node points of the two fisheye lenses are as shown in FIG. It would be desirable to obtain an image with.
  • the line scan sensor obtains only one line of image corresponding to one direction when the rotating part is at any position, to obtain an image having a non-zero horizontal angle of view, the image must be continuously acquired while the rotating part rotates. .
  • the diameter of the chaos circle is D, it may be said that there is a large amount of error in the omnidirectional image or the linear aberration correction image of the close-range subject.
  • the distance of the subject is more than 10 times the diameter of the chaos, the error can be expected to be hardly noticeable.
  • the diameter of the chaos is 6.35cm, 10 times that is 63.5cm and less than 1m. Therefore, it can be expected to obtain a satisfactory image even with a rotating omnidirectional camera unless it is a very close-up shot.
  • the pixels of the line scan sensor are much larger than the pixels of the area image sensor.
  • the reason for this is as follows.
  • An area image sensor capable of obtaining Full HD quality images will have a matrix of pixels consisting of 1920 columns in the horizontal direction and 1080 rows in the vertical direction. If you want to shoot a video using an image sensor like this, it's enough to capture 30 frames per second.
  • a 1920 scan image must be captured by a line scan sensor having 1080 pixels. Therefore, in order to capture 30 frames of video per second, the line scan sensor must capture 1920 x 30 images per second, and one image is captured within 20 microseconds. I can't get it.
  • the pixel pitch of the aforementioned Hamamatsu S11637-1124Q sensor is 12.5 ⁇ m
  • the pixel height is 500 ⁇ m
  • the length of the image sensor area is 12.8 mm, much larger than that of the area iamge sensor.
  • the length of the image sensor area of the S11637-2048Q is 25.6mm.
  • the diameter of the image surface 5333L should have a similar size.
  • the first lens element is always larger than the diameter of the image plane, and if the wide-angle lens is a fisheye lens, the diameter of the first lens element is much larger than the diameter of the image plane. Therefore, it is not possible to maintain the distance between the imaging lenses 5312L and 5312R as the distance D between the eyes of the average person. If the distance between the centers of the two lenses is significantly different from D, the image obtained from such a stereoscopic omnidirectional camera will not provide a natural three-dimensional effect.
  • each camera should be manufactured in an elongated shape having a width within 3 cm. Therefore, lens elements having a round cross-sectional area cannot be used like a normal imaging lens, and they must be manufactured in the shape of both sides cut out. As described above, the lens 5412 manufactured in the elongated shape cannot be inserted into or removed from the lens holder 5416 in the same way as a general lens.
  • the lens holder 5416 is fixed to the body of the line scan camera 5414, and the imaging lens 5412 must be manufactured to be inserted into the lens holder 5416 as if it slides.
  • the insertion portion 5418 of the imaging lens 5412 has a size that fits well with the hole of the lens holder 5416.
  • a means 5442 for moving the imaging lens is required. Although shown in FIG. 54 by rack and pinion gears, in practice, various means such as a linear motor can be used.
  • the line scan sensor since the line scan sensor must operate at a constant shutter speed in order to acquire an omnidirectional image, a separate means for controlling exposure is required. Therefore, a motorized camera iris is preferred.
  • the imaging lens mounted on such a camera has an angle of view of 180 ° or more in the direction of the rotation axis, and a cross section perpendicular to the optical axis of the imaging lens has a slender shape in which the width measured in the direction perpendicular to the rotation axis is smaller than the height measured in the rotation axis direction. Even if the imaging lens moves in the optical axis direction, the long axis of the imaging lens is maintained in the rotation axis direction.
  • the rotating part 5522 is a conceptual diagram of a stereoscopic omnidirectional camera of a third embodiment of the present invention.
  • the rotating part 5522 can rotate indefinitely with respect to the lower base part 5524, and two cameras 5512L and 5512R are mounted on the rotating part.
  • FIG. 56 illustrates a view in which the optical axes 5601L and 5601R of the left camera 5612L and the right camera 5612R are inclined inward toward the Z'-axis of the camera coordinate system when focusing on a near subject.
  • the optical axes (5601L, 5601R) of the two cameras can always be kept parallel to the Z'-axis of the camera coordinate system, regardless of the distance of the subject.
  • Such a stereoscopic omnidirectional video system may be used to generate a high-resolution omnidirectional image or a 3D omnidirectional image of a tourist attraction, a building, a stadium, or a performance hall, or may be used as a 3D omnidirectional broadcasting device that broadcasts an interesting game or performance in real time.
  • the user can extract a linear aberration correction image in any direction from the transmitted dual omnidirectional image and enjoy stereoscopic images with a device such as an HMD.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템을 제공한다. 영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며, 회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있다. 회전부에는 동일한 사양을 가지는 두 대의 라인 스캔 카메라가 같은 방향으로 나란히 설치되어 있고, 상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고, 결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며, 결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지한다.

Description

입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
본 발명은 헤드 마운티드 디스플레이(Head-Mounted Display) 기기로 임의의 방향의 풍경을 입체 영상(Stereoscopic image)으로 감상할 수 있게 해주는 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라에 관한 것이다.
1788년에 영국의 화가 Robert Barker는 스코틀랜드 에든버러시(Edinburgh, Scotland)의 풍경을 원통형 벽의 내부에 그려서 그 중심에 선 관객이 360°모든 방향의 도시 풍경을 감상할 수 있도록 하였다고 한다. 도 1은 에든버러 대학 도서관에 소장중인 Robert Barker의 전방위 회화를 보여준다([비특 1]). 그는 그리스어로 '전부(all)'를 뜻하는 'pan'과 '본다(view)'를 뜻하는 'horama'를 합성하여 파노라마(panorama)라는 단어를 만든 인물이기도 하다([비특 2] ~ [비특 3]).
회화가 아닌 사진으로서의 전방위 영상을 얻는 방법은 렌즈 자체에 전방위 영상을 포착하는 기능이 있는 전방위 렌즈(panoramic lens)를 이용하는 방법도 있고, 전방위 카메라를 이용하는 방법도 있다. 여기서는 두 경우를 구분하지 않고 전방위 영상 시스템이라고 지칭할 것이다.
전방위 영상을 얻는 가장 쉬운 방법의 하나는 반사식 렌즈와 굴절식 렌즈를 결합한 반사굴절식 전방위 렌즈(catadioptric panoramic lens)를 사용하는 것이며, 20세기 초반에 시작되어 현재까지도 활발하게 연구되고 있지만([특1] ~ [특8]), 반사굴절식 렌즈에 대한 이론적인 연구의 역사는 그다지 오래지 않다([비특 4] ~ [비특 11]).
도 2는 참고 문헌 [비특 10]에 포함된 직선수차보정 투사 방식(rectilinear projection scheme)을 가지는 전방위 거울을 사용하는 전방위 영상 시스템의 일 예를 보여주며, 전방위 거울의 수직 방향의 화각은 사람의 표준 시각과 일치하도록 46°로 설계되었다.
도 3은 도 2의 전방위 영상 시스템으로 포착한 펼쳐지지 않은 전방위 영상을 보여주며, 도 4는 도 3의 펼쳐지지 않은 전방위 영상에서 얻어진 펼쳐진 전방위 영상을 보여주고, 도 5는 도 4의 전방위 영상의 일부를 보여준다. 도 3에서 도 4를 얻는데 단순한 삼각 함수 변환만을 사용하였음도 불구하고 도 5에서 알 수 있는 바와 같이 수직 방향의 비례가 잘 맞는 것을 알 수 있다. 이는 처음부터 도 2에 보이는 전방위 거울이 직선수차보정 투사 방식을 갖도록 설계되었기 때문이다.
한편, 경관이 뛰어난 관광지 등에서 360°모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한 바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한다.
전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(Charge-Coupled Device)나 CMOS(Complementary Metal-Oxide-Semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.
전방위 카메라는 그 역사도 오래되고 종류도 다양하지만, 크게 3가지 종류로 분류할 수 있다. 첫번째로 로모그래피(Lomography)사의 Spinner 360과 같은 회전하는 주사형 전방위 카메라(scanning panoramic camera)를 들 수 있다. 촬영자가 카메라를 한 손에 들고 다른 손으로 핸들에 달린 줄을 잡아당기면 카메라가 360°회전하면서 35mm 필름에 전방위 영상이 기록된다. 이와 같이 회전하는 전방위 카메라는 원리적으로 가장 정확한 전방위 영상을 만들어 낸다. 그런데, 촬영시에 카메라를 든 손이 흔들리지 않을 수 없으므로 실제로는 정확한 전방위 영상이 얻어지지 않으며, 이 제품은 신기한 장난감(gadget)에 가깝다.
[특 9]는 1978년 11월 27일 출원된 미국 등록 특허로서 회전하는 주사형 전방위 카메라에 관한 것이고, 이 특허는 발명자들이 설립한 회사(Globuscope Inc., a Corp. of N. Y.)에 의하여 Globuscope라는 상품명으로 판매되었으나 현재는 단종된 상태이다. 도 6은 이 전방위 카메라의 커버를 벗긴 모습을 보여준다. 이 카메라는 35mm 필름을 사용하며, 태엽 동력으로 360°를 회전하는데, 사용자는 Globusope를 손으로 들고서 카메라 헤드가 1회전하는 1초 남짓의 시간 동안 움직이지 않고 있어야 한다. 이 특허는 주사형 전방위 카메라의 고질적인 문제인 밴딩(banding) 문제를 해결하였다고 주장하는데, 옥수수 전분(corn starch) 등의 요변성 액체(Thixotropic fluids)를 사용하여 회전 속도를 일정하게 유지시킨다고 한다. 한편, 도 7은 Seitz사의 주사형 전방위 카메라(Seitz Roundshot 35/35 Panoramic Film Camera)의 모습이다.
[특 10]은 1983년 6월 28일 출원된 미국 등록 특허로서, 35mm 필름이 아니라 linescan sensor를 사용하는 주사형 전방위 텔레비전 카메라(scanning panoramic television camera)에 관한 것이다.
[특 11]은 1996년 8월 8일 출원된 미국 등록 특허로서, 이 특허에는 어안 렌즈와 이 어안 렌즈의 상(image)을 회전 스테이지의 하단부로 전송하기 위한 릴레이(relay) 렌즈를 포함하는 전방위 카메라가 개시되어 있다. 릴레이 렌즈는 회전하는 어안 렌즈의 상을 회전 스테이지 하단에 고정된 리니어 이미지 센서(linear sensor array)와 일치시키기 위하여 상을 역회전(derotate)시키는 역할을 하며, 거울과 도브 프리즘(dove prism)을 포함하는 복잡한 구조로 되어 있다. 원리적으로 가능하지만 실제로 실외에서 사용하기에 충분한 정도로 안정적인 성능을 구현하기는 어려울 것으로 기대되고, 실제로 제작된 적은 없는 것으로 추정된다.
공항이나 항만과 같이 그 너비가 수 km에 달하기도 하는 넓은 영역을 감시하는 전방위 카메라도 있는데, 이와 같은 카메라는 밤낮의 변화와 악천후에도 상관없이 침입자를 용이하게 검출하기 위하여 대개 중적외선(MIR: Medium Wave Infrared, 中赤外線) 영역에서 작동하며, 가로 방향의 화각과 세로 방향의 화각이 극단적으로 다른 것이 특징이다. 예를 들어 프랑스 HGH Infrared System의 Spynel 시리즈 레이더는 가로 방향의 화각은 360°이지만, 세로 방향의 화각은 20°정도이다. 이런 카메라는 적외선 렌즈와 리니어 영상 센서(linear image sensor)를 장착한 카메라가 수평 방향으로 끊임없이 회전하면서 전방위 영상을 갱신하여 동영상에 가까운 전방위 영상을 보여준다.
한편, 카메라 전체가 회전하는 대신에 렌즈만 회전하는 방식의 전방위 카메라도 있는데, Horizon, Noblex, Widelux 같은 제품들이 있다. 이와 같은 카메라의 가로 방향의 화각은 대개 140°정도로 작은 편이고, 필름은 렌즈 반대쪽의 원통형 실린더에 감긴다. 따라서, 렌즈가 회전하더라도 렌즈에서 필름까지의 거리는 항상 일정하게 유지된다. 이와 같은 카메라는 풍경 사진이나 단체 사진을 찍기에 적당하며, 사진 촬영시 렌즈가 회전하는 2 ~ 3초 동안 움직이지 말아야 한다.
국립공원 등에서 야생 동물 관찰용으로 널리 사용되는 Moultrie사의 전방위 카메라도 렌즈가 회전하는 방식을 사용하는데, 모션 센서에 움직임이 감지되면 렌즈가 회전하면서 전방위 영상을 포착하는 방식이다.
이와 같은 회전하는 전방위 카메라들은 파노라마의 개념을 직관적으로 구현하고 있고, 원리적으로도 정확한 전방위 영상을 얻을 수 있지만 동영상을 얻기에는 곤란하다. 복사기로 서류를 복사하면서 실수로 서류를 움직여 본 사람은 움직이는 물체를 움직이는 카메라로 찍을 때 어떤 결과가 벌어질지 쉽게 짐작할 수 있을 것이다.
두번째 방식은 여러 장의 영상들을 얻은 후에 이 영상들을 이어 붙여서 하나의 전방위 영상을 얻는 방식이다. 영상을 이어 붙이는 것이 바느질을 하는 것과 비슷하다고 하여 Stitching 방식이라고 한다. 여러 장의 영상들을 얻기 위하여 하나의 카메라를 돌려가면서 할 수도 있고, 처음부터 각각 다른 방향을 향하는 여러 대의 카메라에서 얻어진 영상들을 사용할 수도 있다. 전자는 주로 정지 영상을 얻기 위하여 사용되며, 후자는 주로 동영상을 얻기 위하여 사용된다.
35mm 필름 카메라의 전성기에는 카메라의 방향을 수평으로 돌려가면서 여러 장의 사진을 얻은 후에 이 사진들이 잘 이어지도록 중첩되는 부분을 가위로 잘라서 이어 붙이기도 했다. 이와 같은 전방위 영상도 좀 더 전문적인 방식으로 얻기 위해서는 카메라를 삼각대에 장착한 후에, 카메라 렌즈의 마디점(Nodal Point)이 삼각대의 중심과 일치하도록 카메라를 수평으로 이동시킬 수 있는 파노라마 헤드(Panorama head)라는 특수한 보조 기구를 사용한다. 카메라의 마디점이란 카메라를 이상적인 바늘구멍 사진기(pinhole camera)로 가정했을 때 그 바늘 구멍의 위치에 해당하는 점이며, 실제 렌즈 내의 어느 곳에 마디점이 위치하는지는 렌즈의 설계도가 있다면 이론적으로 계산할 수도 있고, 아니면 실제 카메라를 가지고 실험적으로 결정할 수도 있다. 이와 같은 방식을 노달 슬라이드(Nodal Slide) 방식이라고 한다.
디지털 카메라와 CCTV, 스마트폰이 출현하면서 Stitching 방식으로 전방위 영상을 제작하는 것이 훨씬 용이해졌으며, Stitching을 쉽게 해주는 상용 소프트웨어도 찾아볼 수 있다([특12] ~ [특13], [비특 12]). 요즘은 PTGui나 AutoPano와 같은 소프트웨어들이 인기가 있다고 한다.
도 8은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 Sony의 DSC-HX1 카메라이며, 도 9는 이 디지털 카메라로 촬영한 전방위 영상 샘플이다. 도 9에서 알 수 있는 바와 같이 가로 방향의 화각이 360°와는 큰 차이가 있다. DSC-HX1으로 전방위 영상을 촬영하기 위해서는 panorama 모드를 선택한 후에, 셔터를 누른 채로 적당한 속도로 가로 방향으로 패닝(panning)을 하여야 한다([비특 13]).
도 10은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 삼성 갤럭시 카메라 EK-KC120L이며, 사용 방법은 DSC-HX1과 비슷하다. 그런데 파노라마 모드로 촬영을 해보면 화각이 360°에 도달하기 전에 미리 종료되는 것을 느낄 수 있다. 도 11은 이 카메라로 촬영한 전방위 영상인데 영상의 왼쪽 끝과 오른쪽이 자연스럽게 이어지지 않는다. 또한, 높낮이도 맞지 않는데 카메라를 손에 들고 수평으로 회전하면서 완벽하게 수평을 유지하는 것이 사실상 불가능하기 때문이다.
도 12와 도 13은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 안드로이드 앱인 Panorama 360으로 촬영한 전방위 영상의 예이다. 도 14에서 알 수 있는 바와 같이 이 영상의 왼쪽 끝과 오른쪽 끝이 자연스럽게 이어지는 것을 알 수 있다. 한편, 도 15는 도 13의 전방위 영상의 일부를 확대한 것으로 승용차 및 건물이 이중으로 보이는 것을 알 수 있는데, 이는 Stitching 기술에 의한 전방위 영상의 기술적 한계 때문이다.
Stitching 기술을 이용하여 전방위 영상을 촬영할 때에는 대략 8장 정도의 일반적인 사진을 촬영하는데, 물론 그 8장의 영상을 촬영할 때의 카메라의 방향은 모두 다르다. 그런데 카메라로부터 피사체까지의 거리에 따라서 카메라 방향이 바뀔 때 피사체가 영상에서 가로 방향으로 이동하는 거리가 모두 다르다. 따라서, Stitching을 할 때에는 특정 거리에 있는 주요 피사체를 기준으로 Stitching을 할 수 밖에 없고, 그 주요 피사체와 다른 거리에 있는 피사체는 이중으로 포착될 가능성이 매우 높다.
이는 순전히 기하학적인 문제이므로 렌즈나 영상 처리 알고리즘의 개선으로 해결될 수 있는 문제가 아니다. 현실적인 대안은 이중으로 포착된 영상 중 하나를 지우는 것이며, 일부 소프트웨어는 그런 기능을 제공하고 있다.
동영상으로 전방위 영상을 얻기 위해서는 2개 이상의 CCTV 카메라를 사용한다([비특 14]). 예를 들어 Honeywell의 ParaScan이나 독일 Mobotix사의 D12 같은 전방위 카메라는 가로 방향의 화각이 각각 90°인 카메라 2대로부터 얻은 영상을 합성하여 가로 방향의 화각이 180°인 전방위 영상을 만들어내는 보안 카메라(CCTV)이다. 아레콘트 비전(Arecont Vision)은 여러 개의 CCTV 카메라를 사용하는 Stitching 방식의 고해상도 전방위 보안 카메라를 제공한다.
이와 같은 Stitching 방식의 전방위 카메라의 가장 큰 장점은 현재 구할 수 있는 이미지 센서(image sensor)의 해상도보다도 몇 배나 더 큰 전방위 영상을 만들어 낼 수 있다는 것이다. GoPro의 Odyssey는 16대의 Hero 4 카메라를 사용하므로 Hero 4 카메라 한 대의 해상도보다 16배나 높은 해상도의 360°전방위 영상을 만들 수 있을 것이다. 당연히 Stitching 방식의 전방위 카메라는 다른 방식의 카메라에 비하여 훨씬 고가이다.
구글, 네이버, 다음 등 인터넷 포털업체(Internet Portal)들은 자사의 지도와 연계한 스트리트뷰(Street View) 서비스를 제공하기 위하여 이와 같은 Stitching 방식의 전방위 카메라를 자동차나 자전거에 싣고 다니면서 영상을 수집하고 있다.
Stitching 방식의 전방위 카메라는 움직이는 부분이 없으므로 동영상을 얻을 수 있지만, 영상과 영상이 만나는 부분에서 그 이음새가 정확하지 않은 부정합 에러(parallex error)가 발생한다. 이는 두 카메라의 시점(viewpoint)이 다른 위치에 존재하기 때문에 발생하는 문제로 소프트웨어적인 보정으로 해결할 수 없는 물리적인 한계이다. 따라서, 피사체가 가까이 있을 때에는 깨진 거울로 얼굴을 비춰보는 것 같은 불쾌한 경험을 할 수 있다. 그런데 철책선이나 해안선, 철로, 고속도로 등 처음부터 멀리 있는 피사체만 모니터링할 목적이라면 별 문제가 되지 않을 것이다.
세번째 방식은 광각 렌즈(wide-angle lens)로 영상을 촬영한 후에 영상 처리를 통하여 전방위 영상을 만들어 내는 영상 처리 기반의 전방위 카메라(image processing-based panoramic camera)이다. 영상 처리 기반의 전방위 카메라와 어안 렌즈(Fisheye lens)는 불가분의 관계에 있다.
전방위 영상을 얻는 한 방법은 화각이 넓은 어안 렌즈(fisheye lens)를 채용하는 것이다. 예를 들어, 화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안 렌즈는 전천 렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에 영상 처리(image processing)를 하여 전방위 영상을 얻을 수 있다.
참고 문헌 [비특 15] 내지 [비특 16]에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 [비특 16]에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다.
참고 문헌 [비특 17]에는 반 원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점을 형성하는 필름면 상의 물점의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. 특히, 영상 처리 알고리즘에 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립변수로 설정하여 사용이 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.
또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360°모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360°모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다.
지구상의 모든 동식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 그런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다. 그런데 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다.
참고 문헌 [비특 18]에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사(equi-rectangular projection), 메카토르 투사(Mercator projection) 및 원통형 투사(cylindrical projection)가 기술되어 있으며, 참고문헌 [비특 19]에는 다양한 투사 방식의 역사가 요약되어 있다. 이 중에서 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.
참고 문헌 [특 14] 및 [비특 20]에는 화각 190°를 가지는 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 [특 15]에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.
그리고 참고 문헌 [특 16]에는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈를 사용하여 획득한 영상에서 원통형 투사 방식이나 등직교 투사 방식 및 메카토르 투사 방식을 따르는 전방위 영상을 얻는 다양한 실시 예가 기술되어 있다.
한편, 실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 또 다른 영상 시스템의 예로는 팬(pan)틸트(tilt)줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 CCTV를 팬틸트 스테이지(stage)에 장착함으로써 구현된다.
팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다.
이와 같은 팬틸트줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬틸트줌 카메라를 설치하기 위해서는 상당히 많은 비용을 지불하여야 한다. 또한, 팬틸트줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬틸트줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.
한편, 참고 문헌 [특 17]에는 물리적으로 움직이는 부분이 없이 팬틸트로테이트줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180°이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차별성은 사용자가 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치에 의하여 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상 현실(virtual reality) 혹은 기계적인 팬틸트줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.
일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬틸트줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 참고 문헌 [특 17]의 발명에서는 소프트웨어적인 팬틸트 작용을 하여 얻어진 영상에서 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬틸트 카메라에는 없는 회전(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.
또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명은 이와 같이 실제 렌즈의 왜곡 특성이 반영되지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.
참고 문헌 [특 18]에는 참고 문헌 [특 17]에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.
참고 문헌 [특 19]에는 어안 렌즈로 포착한 영상을 원격으로 전송하여 수신단에서 왜곡이 없는 직선수차보정 영상을 생성하는 영상 시스템이 기술되어 있는데 이 시스템의 가장 큰 장점으로는 기계적인 팬틸트 카메라와 다르게 수신단에서 송신단으로 조정 신호(control signal)를 보낼 필요가 없다는 점이다. 또한, 송신단 1개에 대하여 다수의 수신단에서 각자 별개의 직선수차보정 영상을 생성할 수도 있다는 추가적인 이점이 있다.
화각 180°의 어안 렌즈를 장착한 카메라 또는 가로 방향의 화각이 180°인 전방위 카메라가 실내의 한 벽면에 부착되어 있다면 사실상 감시의 사각 지대가 없다. 카메라가 포착하지 못하는 영역은 감시의 필요성이 없는 벽면이기 때문이다. 그러나 어안 렌즈에 의한 영상은 통형 왜곡으로 인하여 심미적으로 불쾌감을 유발하며, 왜곡이 없는 초광각 직선수차보정 영상은 비록 실내의 대부분을 볼 수 있다고 하더라도 광축에 대하여 많이 떨어져 있는 방향의 피사체는 자연스럽게 포착되지 않는다. 또한, 전방위 카메라에 의한 영상은 실내 전체를 자연스럽게 포착할 수는 있지만 멀리 떨어져 있는 피사체가 너무 작게 포착되어서 식별이 곤란할 가능성이 있다. 이러한 경우에 가장 자연스러운 영상은 피사체의 방향으로 카메라를 향하게 하여 정면으로 바라보는 직선수차보정 영상이다.
전술한 바와 같이 물리적으로 이러한 일이 가능한 카메라는 왜곡이 없는 직선수차보정 렌즈를 구비하고 팬(pan)틸트(tilt) 스테이지에 장착된 카메라이다. 카메라가 주의가 필요한 방향이 정면이 되도록 회전할 수 있기 때문에 가장 만족스러운 영상을 얻을 수 있다. 또한, 고양이나 불법 칩입자처럼 움직이는 피사체가 있을 경우에 피사체의 움직임을 그대로 따라가면서 영상을 포착할 수도 있다. 참고 문헌 [특 20]에는 이와 같은 기능을 소프트웨어적으로 구현하기 위하여 소프트웨어적으로 팬 작용을 한 이후에 틸트 작용을 하는 방법 및 틸트 작용을 한 이후에 팬 작용을 하는 영상 처리 방법이 개시되어 있다. 그런데 팬 작용과 틸트 작용의 선후 관계에 따라서 서로 다른 영상이 얻어진다. 따라서, 카메라의 설치 상태에 따라서 바람직한 영상 처리 방법을 사용하여야 한다.
참고 문헌 [특 20]에는 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 영상 시스템을 제공한다. 특히, 디지털 팬틸트 효과를 구현하면서도 수직선이 수직선으로 표시되는 영상 처리 알고리즘이 제시되어 있다. 그런데 참고 문헌 [특 20]의 발명은 어안 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 팬틸트 카메라로 얻을 수 있는 영상을 추출하는 알고리즘에 관한 것이지만, 팬틸트 카메라가 처할 수 있는 다양한 가능성을 모두 고려한 알고리즘을 제공하는 것은 아니다. 예를 들어, 참고 문헌 [특 20]의 발명에서는 카메라의 광축이 지평면에 평행하거나 수직한 경우, 또는 카메라의 광축이 지평면에 대하여 소정의 각도를 가지더라도 획득하고자 하는 직선수차보정 영상은 가상의 직선수차보정 카메라의 광축이 지평면에 평행한 경우만을 고려한 영상 처리 방법이 제시되어 있다.
실제로 사용되는 물리적인 팬틸트 카메라는 팬각과 틸트각이 모두 0°인 경우에 대개 카메라의 광축이 지평면에 평행하도록 설치된다. 따라서, 참고 문헌 [특 20]의 발명은 물리적인 팬틸트 카메라의 효과를 구현할 수 있다. 그런데 어안 렌즈를 장착한 카메라로 얻은 영상에서 디지털 팬틸트 효과를 구현하고자 할 경우에는 물리적인 팬틸트 카메라가 구현할 수 있는 범위를 넘어서는 효과를 얻을 수 있다. 참고 문헌 [특 21]의 발명은 이와 같이 물리적인 팬틸트 카메라의 한계를 넘어서는 효과를 구현하는 수학적으로 엄밀한 영상 처리 방법 및 영상 시스템을 제공한다. 특히, 참고 문헌 [특 21]의 발명에서는 이미지 센서면의 가로 방향의 변이 지평선에 평행하지 않은 경우에도 사용될 수 있는 가장 일반적인 영상 처리 방법도 아울러서 제공되고 있다.
그런데 TV나 영화를 볼 때는 왼쪽 눈과 오른쪽 눈에 보여지는 영상이 동일하여 화면이 입체적이 아니라 평면적으로 느껴지며, 몰입감(沒入感)이 저하된다. 그런 이유로 TV나 영화로 보는 화면은 육안으로 보는 것만큼 생생하게 느껴지지 않는다.
한편, TV나 영화, 컴퓨터 화면에서 입체 영상을 감상할 수 있도록 하는 다양한 입체 영상 기술이 개발되어 왔다. 이와 같은 기술들의 공통점은 도 16에 보이는 것과 같이 동일한 사양의 두 렌즈가 나란히 같은 방향을 향하는 입체 카메라(stereo camera)를 이용하여 두 장의 영상을 획득한 뒤, 두 영상을 각각 왼쪽 눈과 오른쪽 눈에 보여주는 것이다. 물론 이 경우에도 입체 카메라에서 두 렌즈의 가로 방향의 간격은 두 눈 사이의 간격과 비슷하게 설정된다.
가상 현실(VR: Virtual Reality)은 폭발적인 관심속에 날로 시장규모가 확대되고 있다. 가상 현실과 유사한 분야로 인공 현실(AR: Artificial Reality)과 증강 현실(AR: Augmented Reality) 또는 복합 현실(MR: Mixed Reality)도 있다. 그런데 가상 현실과 인공 현실, 증강 현실 모두 이들 영상을 입체 영상으로 즐기기 위해서는 왼쪽 눈과 오른쪽 눈에 시점이 다른 영상이 보여져야 하며, 이를 가능하게 하는 기기 중 가장 대표적인 것이 머리에 착용하여 왼쪽 눈과 오른쪽 눈에 각각 다른 영상을 보여줄 수 있는 헤드 마운티드 디스플레이(HMD: Head Mounted Display) 기기이다. 도 17은 구글(Google)사에서 만든 Cardboard viewer를 보여주며, 도 18은 HMD 기기에서 왼쪽 눈에 해당하는 화면과 오른쪽 눈에 해당하는 입체 영상의 예이다.
한편, 입체 영상을 감상할 수 있는 다른 종류의 입체 안경, 또는 3D 안경들이 존재하는데, 이중 가장 저렴하고 효과적인 안경은 애너글리프 안경(anaglyph glass)이다. 도 19는 종이와 셀룰로이드(celluloid) 필름으로 제작한 저렴한 애너글리프 안경을 보여준다. 애너글리프 안경의 왼쪽과 오른쪽은 적색과 청색, 또는 적색과 녹색처럼 다른 색깔을 가지고 있으며, 애너글리프 방식으로 제작된 입체 영상을 애너글리프 안경으로 바라보면 왼쪽 눈과 오른쪽 눈에 각각 다른 영상이 보여지며, 뇌에서는 이들 영상을 합성하여 입체로 인식하게 된다.
또 다른 방식으로는 왼쪽 눈과 오른쪽 눈에 각각 반대되는 편광판을 사용하는 편광 안경도 있다. 애너글리프 안경이나 편광 안경은 사용하는데 있어서 전기 동력을 필요로 하지 않으므로 수동형 3D 안경(passive 3D glass)에 해당한다.
더 복잡한 방식으로는 셔터 글래스(shutter glass) 방식의 능동형 3D 안경(Active 3D glass)이 있는데, 이는 모니터에서 왼쪽 눈과 오른쪽 눈에 해당하는 영상을 번갈아서 보여주고, 셔터 글래스에서는 모니터와 동기되어 왼쪽 안경알과 오른쪽 안경알이 각각 투명한 상태와 불투명한 상태를 오가는 것이다. 즉, 능동형 방식에서는 모니터와 3D 안경이 동기화되어 왼쪽 영상과 오른쪽 영상을 번갈아서 보여주는 것이다.
실제로 입체 영상을 생성하기 위해서는 도 20에 보이는 바와 같이 두 개의 어안 렌즈를 사용하는 GoPro사의 입체 카메라를 사용할 수 있다. 그런데 이 경우에도 카메라 정면의 입체 영상은 생성이 가능하지만, 정면이 아닌 사선 방향의 입체 영상은 입체 효과가 떨어진다. 그 이유는 도 21 및 도 22에서 알 수 있다.
도 21은 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도이다. 두 어안 렌즈의 마디점(NL, NR)의 중간에 세계 좌표계(World Coordinate System)의 원점 O가 위치한다. 따라서, 두 어안 렌즈의 마디점(NL, NR)은 원점에서 동일한 거리에 떨어져 있다. 또한, 두 어안 렌즈의 광축(2101L, 2101R)은 같은 방향을 향하고 있는데, 그 광축의 방향은 X-축에 수직하고, Z-축에 평행하다. 즉, 세계 좌표계의 Z-축은 원점을 지나고 두 어안 렌즈의 광축에 평행하다. 도 21에서 왼쪽의 직선수차보정 영상의 주시 방향(principal direction of vision)(2103L)과 오른쪽의 직선수차보정 영상의 주시방향(2103R)은 광축 방향(2101L, 2101R)과 일치한다.
두 어안 렌즈의 마디점 (NL, NR)은 거리 D0만큼 떨어져 있다. 그 거리 D0는 사람의 평균적인 두 눈 사이의 거리인 6.35cm와 유사하게 설정할 수 있다. 이와 같은 세계 좌표계에서 왼쪽 어안 렌즈의 마디점 NL의 좌표 (X, Y, Z)는 (-D0 / 2, 0, 0)이며, 오른쪽 어안 렌즈의 마디점 NR의 좌표는 (+D0 / 2, 0, 0)이다.
도 21에는 왼쪽 어안 렌즈의 화각과 오른쪽 어안 렌즈의 화각이 반원으로 표시되어 있다. 따라서, 어안 렌즈의 화각은 180°인 것으로 가정하였지만, 어안 렌즈의 화각은 임의의 값을 갖더라도 상관없다. 또한, 왼쪽 어안 렌즈에서 영상 처리에 의하여 얻어지는 직선수차보정 영상의 물체면(2131L)과 영상면(2135L) 및 오른쪽 어안 렌즈에 대응하는 물체면(2131R)과 영상면(2135R)도 같이 표시되어 있다.
도 21에 도시한 입체 카메라에서 왼쪽 어안 렌즈와 오른쪽 어안 렌즈의 마디점이 광축에 수직한 방향으로 거리 D0만큼 떨어져 있으므로, 영상 처리를 통하여 얻어진 두 직선수차보정 영상면(2135L, 2135R)은 거리 D0에 해당하는 시차를 가지며, 이를 각각 왼쪽 눈과 오른쪽 눈에 대응하는 HMD 기기의 화면에 표시하면, 이 HMD 기기를 착용한 사용자는 실제 그 장소에 있는 것과 마찬가지의 입체감을 느낄 수 있다.
물론, HMD 기기뿐만 아니라 애너글리프 안경이나 편광 안경과 같은 수동형 3D 안경이나 셔터 글래스를 사용하는 능동형 3D 안경을 사용하더라도 마찬가지이다. 이와 같은 경우에 왼쪽 눈과 오른쪽 눈에 대응하는 직선수차보정 영상을 생성하는 과정은 동일하며, 단 3D 방식에 따라서 이 한 쌍의 직선수차보정 영상을 입체 영상으로 바꿔주는 과정만 달라질 뿐이다.
도 22는 이와 같은 입체 전방위 카메라에서 어안 렌즈의 광축 방향과 다른 방향의 입체 영상을 얻기 위하여 팬(pan) 작용을 한 한 쌍의 직선수차보정 영상을 얻고자 할 때 입체 효과가 감소되거나 사라진다는 것을 예시하는 도면이다.
도 22를 참조하여 어안 렌즈의 광축 방향(2201L, 2201R)과 각도 β만큼 팬 작용을 한 직선수차보정 영상을 얻고자 할 때 두 어안 렌즈의 마디점 (NL, NR)의 간격을 두 직선수차보정 영상의 주시 방향(2203L, 2203R)에 수직한 방향으로 측정하면 수학식 1과 같이 주어진다.
Figure PCTKR2017009747-appb-M000001
따라서, 팬 각이 커지면 커질수록 두 마디점의 주시 방향에 수직한 간격은 점점 줄어들며, 팬 각이 90°가 되면 그 간격은 0이 되어 아무런 입체 효과를 기대할 수 없다. 이런 이유에서 도 20에 보이는 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라는 임의의 방향에 대하여 입체 영상을 제공할 수 없다.
도 23은 GoPro사의 또 다른 입체 전방위 카메라인 GoPro Odyssey를 보여주며, 어안 렌즈를 사용하는 카메라 여러 대가 동심원상에 바깥쪽을 향하는 방향으로 배치된 것이다. 이와 같은 경우에 HMD의 사용자가 바라보기를 원하는 방향에 가장 가까운 방향으로 배치된 두 대의 카메라에서 각각 직선수차보정 영상을 생성하여 이를 왼쪽 눈과 오른쪽 눈에 보여주면 입체 영상의 효과를 구현할 수 있을 것이다. 그런데 이 방식은 많은 수의 카메라를 필요로 하므로 제작 비용이 비쌀 뿐만 아니라, 여러 대의 카메라에서 나오는 어안 영상을 동시에 전송 내지는 저장하여야 하는 단점이 있다.
도 24는 또 다른 입체 전방위 카메라인 GoPro 360 Hero인데 동일한 사양을 가지는 다수의 카메라가 여러 방향을 향하도록 집적된 것이다. 이때 관찰자가 바라보기를 원하는 방향을 향하는 두 대의 카메라에서 입체 영상을 생성하는 것으로 추정된다. 그러나, 정확한 입체 영상을 제공할 수 없음이 명백하다.
1998년에 Yi-Ping Hung 교수 등은 한 쌍의 회전하는 카메라를 이용하는 입체 전방위 카메라를 발표하였다([비특 21]). 도 25에 보이는 것처럼 같은 방향을 향하는 동일한 카메라 2대를 수평으로 회전시키면서 여러 장의 사진을 획득한 후 각각의 카메라에서 얻은 영상들을 Stitching하면 각각 왼쪽 카메라와 오른쪽 카메라에 해당하는 전방위 영상이 얻어지는 원리이다. 실험에 사용한 카메라는 화각이 30°이고, 수평으로 15°씩 회전시키면서 영상을 촬영하였다고 한다. 마이크로소프트의 H. Shum 등도 비슷한 개념의 연구 결과를 발표하였다([비특 22], [특 22]).
그러나 원리적으로 더 나은 결과는 두 카메라의 중간점을 중심으로 회전하는 것이다([비특 23] ~ [비특 24]). 도 26은 참고 문헌 [비특 24]에 제시되어 있는 입체 360°전방위 카메라의 개념도이다. 이 구조에서 동일한 사양을 갖는 두 대의 카메라가 회전하는 스테이지에 장착되어 있다. 두 렌즈의 마디점의 중간점은 회전 스테이지의 회전축에 위치한다. 또한, 두 렌즈 마디점 사이의 간격은 사람의 두 눈 사이의 간격과 비슷하다.
[비특 26]에 개시된 카메라는 35mm 롤 필름(roll film)을 사용하는 것으로 기술되었으며, 렌즈 앞에는 세로 방향으로 좁은 슬릿(slit)이 장착되어 있다. 따라서, 카메라가 어느 한 방향을 향하고 있을 때 그 방향에 대응하는 세로 방향의 얇은 띠 모양의 영상이 쌍으로 이어진다. 회전 스테이지가 회전하면서 모든 방향으로 띠 모양의 영상을 얻을 후 이를 모두 이으면 도 27에 보이는 것과 같이 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 전방위 영상이 얻어지게 된다.
도 28은 일단 얻어진 360°전방위 영상에서 직선수차보정 영상을 얻은 과정을 예시하는 개념도이다. 이와 같은 경우에 카메라의 마디점이 제자리에 있지 않고 계속 회전하므로 수학적으로 엄밀하게 정확한 직선수차보정 영상이 얻어지는 것은 아니지만, 육안으로 보기에 만족스러운 입체 영상을 얻기에는 충분하다. 도 27은 실제로 회전하는 카메라를 사용하여 얻은 한 쌍의 전방위 영상인데 반하여, 도 28은 가상의 카메라로 획득한 인공적인 전방위 영상에서 생성한 한 쌍의 직선수차보정 영상을 보여준다. 따라서, [비특 24]에 개시된 기술은 실제로 회전하는 카메라에서 얻어진 한 쌍의 전방위 영상에서 왜곡이 없는 한 쌍의 광각 영상을 생성하는 영상 처리 알고리즘을 제공하지 못하였다.
한편, 도 29는 한 쌍의 카메라가 아니라 단 한 대의 회전하는 카메라를 이용하여 입체 360°전방위 영상을 얻는 시스템의 개념도이다. 이와 같은 시스템에서 카메라 렌즈의 마디점은 회전 스테이지의 회전축에서 얼마의 거리를 가지고 떨어져 있다. 그리고 카메라가 어느 한 위치에 있을 때 얻어지는 영상에서 사선으로 포착된 두 개의 얇은 띠 모양의 영상들을 추출하여 이를 모두 이으면, 마치 두 대의 카메라를 이용하여 얻은 전방위 영상과 동일한 효과를 구현할 수 있다.
[비특 21] 내지 [비특 24]에 개시된 입체 전방위 영상 시스템에서는 어느 한 방향을 향하는 영상에서 세로 방향으로 얇은 띠(strip) 모양의 영상을 잘라내서 이를 이어 붙이는 방식을 사용한다. 그런데 이와 같이 stitching 방식을 사용할 경우에는 도 15에 예시한 것과 같은 이상 현상을 근본적으로 회피할 수 없다.
그런데 세로 방향으로 단 한 줄의 이미지 센서들을 가지는 라인 스캔 센서(line scan sensor)를 사용하여 전방위 영상 시스템 또는 입체 전방위 영상 시스템을 구현할 수도 있다. 전술한 바와 같이 [특 10]에는 라인 스캔 센서를 사용하는 전방위 영상 시스템이 개시되어 있다. 또한, [특 11]에는 라인 스캔 센서를 사용하는 전방위 카메라와 입체 전방위 카메라가 개시되어 있다. 그런데 [특 11]의 발명은 거울과 도브 프리즘(dove prism)을 사용하는 derotator를 사용하고 있으며, 이와 같은 구조로 상용 제품을 만들기는 어렵다고 판단된다.
[특 23]에는 어안 렌즈와 라인 스캔 센서를 사용하는 입체 전방위 카메라가 개시되어 있으나 발명의 구성 요소에 불필요할 뿐만 아니라 사실상 구현이 거의 불가능한 요소가 포함되어 있다. 출원인은 Stitching 방식의 전방위 카메라 사업을 현재까지도 영위하고 있지만, [특 23]에 개시된 발명은 제작한 적이 없는 것으로 추정된다.
[특 24]에는 카메라를 수평으로 회전시켜서 입체 전방위 영상을 얻는 방법이 개시되어 있으나 상세한 설명이 불충분하여 목적하는 결과를 얻을 수 있는지도 불분명하지만, 근본적으로 출원인이 발명한 기술이 무엇인지 추정하기 어렵다. 예를 들어 panorama 모드에서 셔터를 누른채 수평으로 panning을 하거나, 일련의 사진에서 중첩되는 부분을 검출하거나, 여러 가지 보정 작업을 하는 것은 이미 기존 제품에서도 사용되고 있는 기술이고, "rotation correction"이 무엇을 의미하는지 설명이 없으며, 수평으로 panning을 하여 얻은 영상에서 전방위 영상이 아니라 입체 영상이 얻어지는 과정이 무엇인지 알 수 없다.
[특 25]도 회전하는 단일 카메라를 사용하여 입체 전방위 영상을 얻는 방법에 대하여 개시하고 있으나, 영상을 up-sampling하는 부분을 제외하면 영상 정합(Stitching)하는 방법에 대한 예시가 거의 전부이다.
[특 26] 및 [특 27]에는 원통형 전방위 영상에서 직선수차보정 영상을 얻는 방법이 개시되어 있다 그런데, 만약 직선수차보정 투사 방식을 가지는 반사굴절식 전방위 렌즈를 사용했거나, 직선수차보정 렌즈를 사용하는 주사형 전방위 카메라를 사용했다면, 도 30에 보이는 직선수차보정 영상을 전방위 영상에서 단순한 기하학적 변환을 통하여 얻을 수 있다([비특 10]).
[선행기술문헌]
[특허문헌]
[특 1] R. Parodi, "Optical device for horizontal panoramic and zenithal view", 미국 특허 제1,616,279호, 등록일 1927년 2월 1일.
[특 2] M. M. Kirtane, "Optical system for viewing tubes", 미국 특허 제1,653,575호, 등록일 1927년 12월 20일.
[특 3] D. W. Rees, "Hyperbolic ellipsoidal real time display panoramic viewing installation for vehicles", 미국 특허 제3,229,576호, 등록일 1966년 1월 18일.
[특 4] D. W. Rees, "Panoramic television viewing system", 미국 특허 제3,505,465호, 등록일 1970년 4월 7일.
[특 5] J. A. Pinzone, G. J. Troje and E. L. Schiavone, "Reflectors and mounts for Panoramic optical systems", 미국 특허 제3,846,809호, 등록일 1974년 11월 5일.
[특 6] J. S. Chahl, M. G. Nagle, M. V. Srinivasan and P. J. Sobey, "Panoramic surveillance system", 미국 특허 제5,790,181호, 등록일 1998년 8월 4일.
[특 7] 권경일, "직선수차보정 거울 및 그를 구비하는 영상 시스템", 대한민국 특허 제10-0552367호, 등록일 2006년 2월 8일.
[특 8] A. A. Kostrzewski, S. Ro, I. Agurok and M. Bennahmias, "Panoramic video system with real-time distortion-free imaging", 미국 특허 제7,336,299호, 등록일 2008년 2월 26일.
[특 9] R. P. Globus, R. D. Globus and S. E. Globus, "Panoramic camera", 미국 특허 제4,241,985호, 등록일 1980년 12월 30일.
[특 10] G. Federau, "Line-scan panoramic camera", 미국 특허 제4,532,544호, 등록일 1985년 7월 30일.
[특 11] J. D. Keast and J. F. Buford, "Digital video panoramic image capture and display system", 미국 특허 제5,721,585호, 등록일 1998년 2월 24일.
[특 12] P. C. Teo, "Method and system for creating panoramas", 미국 특허 제6,246,413호, 등록일 2001년 6월 12일.
[특 13] K. Park and S. Cho, "Method of taking a panoramic photo and mobile communication terminal using it", 유럽 특허 EP 1,858,251, 출원일 2007년 5월 16일.
[특 14] 권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-0888922호, 등록일 2009년 3월 10일.
[특 15] 권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일.
[특 16] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치", 대한민국 특허 제10-0882011호, 등록일 2009년 1월 29일.
[특 17] S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일.
[특 18] E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일.
[특 19] H. L. Martin, D. P. Kuban and S. D. Zimmerman, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,877,801호, 등록일 1999년 3월 2일.
[특 20] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-0898824호, 등록일 2009년 5월 14일.
[특 21] 권경일, "회전 대칭형의 광각 렌즈를 이용하여 디지털 팬틸트 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-1233948호, 등록일 2013년 2월 8일.
[특 22] H. Shum and R. S. Szeliski, "Stereo reconstruction from multiperspective panoramas", 미국 특허 제6,639,596호, 등록일 2003년 10월 28일.
[특 23] D. J. McCutchen, "Rotating scan camera", 미국 특허 제7,791,638호, 등록일 2010년 9월 7일.
[특 24] H. Ooshima, "Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program", 미국 특허 제9,210,408호, 등록일 2015년 12월 8일.
[특 25] C. Richardt, H. Zimmer, Y. Pritch and A. S. Hornung, "Stereoscopic panoramas", 미국 특허 제9,398,215호, 등록일 2016년 7월 19일.
[특 26] S. E. Chen and G. S. P. Miller, "Cylindrical to planar image mapping using scanline coherence", 미국 특허 제5,396,583호, 등록일 1995년 3월 7일.
[특 27] K. F. Cheng, K. G. Kumar, J. S. Lipscomb, J. P. Menon, M. H. Willebeek-LeMair, "Method and apparatus for displaying panoramas with streaming video", 미국 특허 제6,356,297호, 등록일 2002년 3월 12일.
[비특허문헌]
[비특 1] University of Edinburgh, Main Library.
[비특 2] Wikipedia, "Robert Barker(painter)".
[비특 3] 권경일, "전방위 카메라의 역사와 전망", Vision System Design, 17-27 (2016년 5월호).
[비특 4] P. Greguss, "Panoramic security", Proc. SPIE, 1509, 55-66 (1991).
[비특 5] J. S. Chahl and M. V. Srinivasan, "Reflective surfaces for panoramic imaging", Appl. Opt. 36, 8275-8285 (1997).
[비특 6] H. Ishiguro, "Development of low-cost compact omnidirectional vision sensors and their applications", in Panoramic Vision: Sensors, Theory, and Applications, R. Benosman and S. Kang, eds. (Springer, 2001), Chap. 3.
[비특 7] R. A. Hicks and R. Bajcsy, "Reflective surfaces as computational sensors", Image and Vision Computing, 19, 773-777 (2001).
[비특 8] G. Kweon, K. Kim, G. Kim, and H. Kim, "Folded catadioptric panoramic lens with an equidistance projection scheme", Appl. Opt. 44, 2759-2767 (2005).
[비특 9] G. Kweon, K. Kim, Y. Choi, G. Kim, and S. Yang, "Catadioptric panoramic lens with a rectilinear projection scheme", J. Korean Phys. Soc. 48, 554-563 (2006).
[비특 10] G. Kweon, Y. Choi, G. Kim, and S. Yang, "Extraction of perspectively normal images from video sequences obtained using a catadioptric panoramic lens with the rectilinear projection scheme", Technical Proceedings of the 10th World Multi-Conference on Systemics, Cybernetics, and Informatics, 67-75 (Olando, Florida, USA, June, 2006).
[비특 11] G. Kweon, S. Hwang-bo, G. Kim, S. Yang and Y. Lee, "Wide-angle catadioptric lens with a rectilinear projection scheme", Appl. Opt. 45, 8659-8673 (2006).
[비특 12] T. R. Halfhill, "See you around", BYTE, 85-90 (May 1995).
[비특 13] Sony Corporation, "Digital still camera instruction manual: DSC-HX1", 38-39 (2009)
[비특 14] A. N. de Jong and P. B. W. Schwering, "IR panoramic alerting sensor concepts and applications", Proc. SPIE, 5074, 658-668 (2003).
[비특 15] J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976).
[비특 16] N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986).
[비특 17] N. L. Max, "Computer graphics distortion for IMAX and OMNIMAX projection", Proc. NICOGRAPH, 137-159 (1983).
[비특 18] E. W. Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html.
[비특 19] W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969).
[비특 20] G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008).
[비특 21] H. Huang and Y. Hung, "Panoramic stereo imaging system with automatic disparity warping and seaming", Graphical Models and Image Processing, 60, 196-208 (1998).
[비특 22] H. Shum and R. Szeliski, "Stereo reconstruction from multiper spective panoramas", International Conference on Computer Vision, 14-21 (1999).
[비특 23] S. Peleg, Y. Pritch and M. Ben-Ezra, "Cameras for stereo panoramic imaging", IEEE Conference on Computer Vision and Pattern Recognition, 208-214 (2000).
[비특 24] P. D. Bourke, "Synthetic stereoscopic panoramic images", Lecture Notes in Computer Graphics (LNCS), Springer, 4270, 147-155 (2006).
본 발명은 HMD 기기나 기타 3D 안경을 사용하여 임의의 방향의 입체 영상을 감상할 수 있도록 입체 360°전방위 영상을 얻는 방법과 그 장치를 제공하고자 하며, 특히 수평 방향으로 360°모든 방향 뿐만 아니라, 수직 방향으로도 180°모든 방향을 볼 수 있는 기술을 제공하고자 한다.
회전하는 스테이지의 양쪽으로 대칭되게 배치된 한 쌍의 카메라를 이용한다. 두 카메라는 동일한 사양을 가지고 있으며 세로 방향으로 배치된 라인 스캔 센서를 가지는 라인 스캔 카메라이고, 렌즈는 수직 방향의 화각이 바람직하게 180°이상의 어안 렌즈이지만, 가로 방향으로는 폭이 3cm 이하인 홀쭉한 모양이다. 또한, 초점을 맞추기 위하여 어안 렌즈를 광축 방향으로 움직이더라도 어안 렌즈는 광축을 중심으로 회전하지 않으며, 어안 렌즈의 장축 방향은 항상 수직 방향을 유지한다. 카메라가 1회전할 때마다 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 전방위 영상이 얻어진다. 이 전방위 영상은 구형 파노라마(spherical panorama) 또는 등직교 투사 방식의 전방위 영상과 유사하지만, 차이점이 있다. 가장 큰 차이점은 수직 방향으로는 어안 렌즈의 왜곡이 보정되지 않은 실제 투사 방식을 가지고 있지만, 회전하는 스테이지로 인하여 가로 방향으로는 완벽한 등거리 투사 방식을 만족한다는 점이다. 또한, 이 전방위 영상의 세로 방향의 크기는 라인 어레이 센서의 크기와 동일하지만, 가로 방향의 크기는 회전 스테이지의 회전 속도 및 라인 스캔 센서의 출력 속도에 달려있다. 따라서, 픽셀 단위로 측정한 360°전방위 영상면의 가로 방향의 크기와 세로 방향의 크기는 전혀 상관이 없다.
이와 같은 전방위 영상이 얻어진 다음에는 개발된 영상 처리 알고리즘을 이용하여 임의의 팬 각과 틸트 각을 갖는 직선수차보정 영상을 생성할 수 있으며, 이를 3D 안경으로 감상하면 임의의 방향의 입체 영상을 즐길 수 있다.
본 기술을 이용하여 임의의 방향의 입체 영상을 즐길 수 있다.
도 1은 Robert Barker의 전방위 회화.
도 2는 직선수차보정 투사 방식을 가지는 전방위 거울을 사용하는 영상 시스템의 일 실시예.
도 3은 도 2의 전방위 영상 시스템으로 포착한 실내 전경의 예.
도 4는 도 3의 펼쳐지지 않은 전방위 영상을 펼친 펼쳐진 전방위 영상의 예.
도 5는 도 4의 펼쳐진 전방위 영상의 일부분.
도 6은 Globuscope의 모습.
도 7은 Seitz사의 Roundshot 35/35.
도 8은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 Sony사의 DSC-HX1 디지털 카메라.
도 9는 DSC-HX1으로 촬영한 전방위 영상.
도 10은 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 삼성의 갤럭시 카메라.
도 11은 갤럭시 카메라로 촬영한 전방위 영상.
도 12는 Stitching 기술을 이용한 전방위 영상 촬영 기능이 있는 스마트폰 앱인 Panorama 360으로 포착한 전방위 영상.
도 13은 Panorama 360으로 포착한 전방위 영상의 또 다른 예.
도 14는 도 13의 전방위 영상의 가로 방향의 화각이 360°임을 보여주는 사진.
도 15는 Stitching 기술에 의한 전방위 영상의 기술적 한계를 예시하는 사진.
도 16은 Kodak사의 입체 전방위 카메라.
도 17은 Google사의 cardboard viewer.
도 18은 헤드 마운티드 디스플레이로 보여지는 입체 영상의 예.
도 19는 3D 안경의 하나인 애너글리프 안경(Anaglyph glass).
도 20은 두 개의 어안 렌즈를 장착한 GoPro사의 3D 카메라.
도 21은 두 개의 어안 렌즈를 사용하는 3D 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도.
도 22는 도 20에 보이는 3D 카메라로 임의의 방향의 입체 영상을 감상할 수 없음을 예시하는 개념도.
도 23은 GoPro사의 또 다른 전방위 카메라의 실시예.
도 24는 GoPro사의 또 다른 3D 전방위 카메라의 실시예.
도 25는 Hung 교수의 회전하는 한 쌍의 카메라를 사용하는 입체 전방위 카메라의 개념도.
도 26은 회전하는 한 쌍의 카메라를 사용하는 입체 360°전방위 카메라의 개념도.
도 27은 도 26에 예시한 입체 360°전방위 카메라로 포착한 전방위 영상의 예.
도 28은 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 360°전방위 영상에서 입체 영상을 생성하는 개념도.
도 29는 회전하는 하나의 카메라에서 360°입체 전방위 영상을 생성하는 기술의 개념도.
도 30은 도 4의 전방위 영상에서 추출한 직선수차보정 영상의 예.
도 31은 본 발명의 제 1 실시예의 전방위 카메라의 평면도.
도 32는 본 발명의 제 1 실시예의 전방위 카메라의 측면도.
도 33은 본 발명의 제 1 실시예의 전방위 카메라로 획득한 전방위 영상의 개념도.
도 34는 종래 발명의 일 실시 예의 어안 렌즈의 사진.
도 35는 종래 발명의 일 실시 예의 어안 렌즈의 3차원 절개도.
도 36은 종래 발명의 일 실시 예에 의한 어안 렌즈의 광학적 구조와 광선의 경로를 보여주는 도면.
도 37은 일반적인 회전 대칭형의 결상 렌즈의 실제 투사 방식의 개념도.
도 38은 360°전방위 영상면에서 가로 방향의 좌표와 가로 방향의 입사각의 관계를 이해하기 위한 도면.
도 39는 가상의 360°전방위 영상면.
도 40은 종래 실시 예의 어안 영상에서 생성한 가상의 360°전방위 영상면.
도 41은 전방위 영상면에서 추출한 직선수차보정 영상면의 개념도.
도 42는 도 39의 360°전방위 영상면으로부터 생성한 직선수차보정 영상면.
도 43은 도 40의 360°전방위 영상면으로부터 생성한 직선수차보정 영상면.
도 44는 도 40의 360°전방위 영상면으로부터 생성한 또 다른 직선수차보정 영상면.
도 45는 본 발명의 제 1 실시예의 전방위 카메라를 이용하여 전방위 영상을 획득하는 과정을 예시하는 개념도.
도 46은 본 발명의 제 1 실시예에서 얻어진 전방위 영상의 개념도.
도 47은 피사체가 움직이는 경우에 본 발명의 제 1 실시예의 전방위 카메라를 이용하여 전방위 영상을 획득하는 과정을 예시하는 개념도.
도 48은 피사체가 움직이는 경우에 본 발명의 제 1 실시예에서 얻어진 전방위 영상의 개념도.
도 49는 본 발명의 제 2 실시예의 전방위 카메라의 동작 방법을 예시하는 개념도.
도 50은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치의 평면도.
도 51은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치의 측면도.
도 52는 회전하는 입체 전방위 영상 획득 장치에서 얻은 직선수차보정 영상의 특성을 이해하기 위한 도면.
도 53은 본 발명의 제 3 실시 예의 카메라 구조를 이해하기 위한 도면.
도 54는 본 발명의 제 3 실시 예의 카메라 구조를 예시하는 개념도.
도 55는 본 발명의 제 3 실시 예의 입체 전방위 카메라가 무한대의 거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.
도 56은 본 발명의 제 3 실시 예의 입체 전방위 카메라가 근거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.
도 50은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치(입체 전방위 카메라)의 평면도이다. 바람직하게 화각 180°이상을 가지는 어안 렌즈(5012L, 5012R)와 그 내부에 라인 스캔 센서(5013L, 5013R)를 가지는 카메라 몸체(5014L, 5014R)로 구성된 동일한 사양의 2개의 카메라는 회전부(5022)에 장착되어 있으며, 이 회전부(5022)는 하부의 기저부(5024)와 회전축(5026)으로 연결되어 있다. 회전부는 회전부 상의 원점(origin) C를 중심으로 수평으로 회전하는데, 이 원점 C는 두 어안 렌즈(5012L, 5012R)의 마디점(NL, NR)의 중심점에 위치한다. 두 어안 렌즈의 마디점이 떨어진 간격 D는 사람의 두 눈 사이의 평균 간격인 6.35cm인 것이 바람직하다. 또한, 두 어안 렌즈의 광축(5001L, 5001R)은 회전부가 회전할 때 같이 회전한다.
원점 C를 지나고 두 어안 렌즈의 광축(5001L, 5001R)에 평행한 방향이 카메라 좌표계의 Z'-축이며, 원점 C와 두 어안 렌즈의 마디점(NL, NR)을 지나는 방향이 카메라 좌표계의 X'-축 방향이고, 원점 C를 지나고 회전축에 평행한 방향이 카메라 좌표계의 Y'-축 방향이다. 카메라 좌표계는 오른손 좌표계이다.
한편, 3D 전방위 카메라가 초기 정지 상태(initial zero position)에 있을 때 두 어안 렌즈의 광축(5001L, 5001R)이 향하는 방향이 세계 좌표계의 Z-축 방향이며, 세계 좌표계의 원점은 카메라 좌표계의 원점 C와 일치한다. 세계 좌표계의 Y-축은 카메라 좌표계의 Y'-축과 일치한다. 세계 좌표계도 오른손 좌표계이다.
이와 같은 좌표계에서 두 어안 렌즈의 마디점은 항상 X-Z 평면 및 X'-Z' 평면에 위치한다. 또한, 두 카메라의 라인 스캔 센서(5013L, 5013R)는 항상 세계 좌표계의 Y-축 및 카메라 좌표계의 Y'-축에 평행하다. 회전부가 일정한 속도로 회전하면서 두 개의 카메라로 이미지를 획득하여 이를 이어붙이면 회전부가 1회전할 때마다 2장의 전방위 영상면이 생성된다.
도 51은 본 발명의 제 3 실시 예의 입체(3D) 전방위 영상 시스템의 측면도이며, 영상 획득 장치(5120)와 영상 처리 장치(5130)와 영상 표시 장치(5140)로 구성된다. 영상 획득 장치(5120)는 전술한 2 대의 카메라가 장착된 회전부 및 기저부(5124)를 포함하는데, 기저부에서는 2대의 카메라가 회전하면서 얻어진 두 개의 전방위 영상면(5126L, 5126R)이 하나로 합쳐진 이중 전방위 영상면(5126)이 생성된다. 즉, 회전부가 1회전할 때마다 이중 전방위 영상면(5126) 1 프레임이 생성되며, 이중 전방위 영상면(5126)은 왼쪽 카메라에서 얻어진 전방위 영상면(5126L)과 오른쪽 카메라에서 얻어진 전방위 영상면(5126R)이 하나로 얻어진 전방위 영상면이다.
이 영상 획득 장치에서 얻어진 이중 전방위 영상면(5126)은 하나 이상의 영상 처리 장치(5130)로 실시간 혹은 사후적으로 전송된다. 영상 처리 장치는 데스크탑 컴퓨터나 노트북, 사실상 컴퓨터인 NVR(Network Video Recorder)가 될 수도 있고, 스마트폰이나 전용 단말기 등 CPU나 AP(Application Processor)를 갖추고 영상 처리를 수행할 수 있는 모든 종류의 장치가 될 수 있다.
이 영상 처리 장치(5130)는 영상 획득 장치(5120)에서 전송된 이중 전방위 영상면(5132)을 1 프레임 이상 저장하고 있다. 이 영상 처리 장치(5130)는 영상 표시 장치(5140)와 유선이나 무선으로 연결되어 있는데, HMD(Head Mounted Display) 장치가 전형적인 영상 표시 장치로 사용될 수 있다. 이 HMD를 장착한 사용자가 HMD를 착용하면 그 HMD에 내장된 방향 지시 센서가 그 사용자가 향하는 방향 정보를 추출하여 이를 영상 처리 장치로 전송하며, 영상 처리 장치는 이 방향 정보에 해당하는 직선수차보정 영상의 쌍을 각각 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)로부터 추출하여 영상 표시 장치에 표시하게 된다. 따라서, HMD를 장착한 사용자는 사용자의 머리가 향하는 방향에 해당하는 직선수차보정 영상을 감상할 수 있으며, 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)으로부터 양안시에 해당하는 영상이 보여지므로 실제 그 장소에 있는 것처럼 입체감을 느낄 수 있다.
영상 표시 장치(5140)에서 영상 처리 장치(5130)로 보내지는 방향 정보는 직선수차보정 영상의 주시 방향이 향하는 방위각 ψ 및 고도각 δ인 것이 바람직하다.
영상 표시 장치(5140)는 HMD 뿐만 아니라 다양한 장치가 될 수 있다. 예를 들어 영상 처리 장치(5130)는 컴퓨터의 본체이고, 영상 표시 장치는 3D 모니터가 될 수 있다. 또는, 영상 처리 장치는 이중 전방위 영상면에서 직선수차보정 영상의 쌍을 추출한 후, 이를 애너글리프 안경으로 볼 수 있도록 다시 한번 변환작업을 하여 컴퓨터 화면이나 TV 화면, 스마트폰 화면에서 보여주고, 사용자는 이를 애너글리프 안경을 쓰고 감상할 수 있다.
본 발명의 제 3 실시 예의 3D 전방위 영상 장치는 정지 영상을 생성하기 위하여 사용될 수도 있고, 동영상을 생성하기 위하여 생성될 수도 있다. 특히, 경치가 아름다운 관광지나 흥미로운 경기가 펼쳐지는 경기장, 공연장을 3D 전방위 영상으로 실시간 방송하기 위하여 사용된다면 동일한 영상 획득 장치(5120)에서 생성되는 이중 전방위 영상면이 다수의 영상 처리 장치(5130)로 전송될 것이다. 이때 네트워크의 통행량을 줄이기 위하여 각각의 영상 처리 장치에서 필요한 직선수차보정 영상에 대응하는 전방위 영상면의 일부만을 전송하는 것도 가능할 것이다.
도 52는 회전하는 전방위 카메라에서 얻은 전방위 영상면에서 추출할 수 있는 직선수차보정 영상면의 특성을 이해하기 위한 도면이다. 두 어안 렌즈의 마디점(NL, NR)이 간격 D를 가지고 있으므로, 회전부가 원점 C를 중심으로 회전함에 따라 두 마디점은 지름 D인 원을 따라서 이동하게 된다.
회전부가 회전하여 카메라 좌표계의 Z'-축이 세계 좌표계의 Z-축과 각도 ψ를 이루고 있다면, 두 어안 렌즈의 광축(5201L, 5201R)도 같은 방향을 향하게 된다. 직선수차보정 영상면의 주시 방향이 이 방향과 일치하는 직선수차보정 영상면을 얻고자 한다면, 두 어안 렌즈의 마디점의 위치가 도 52에 도시한 것과 같을 때 원하는 시야 범위(5205L, 5205R)를 갖는 영상을 얻는 것이 바람직할 것이다. 그런데 회전부가 어느 한 위치에 있을 때 라인 스캔 센서에서는 어느 한 방향에 해당하는 1줄의 영상만을 얻기 때문에 0이 아닌 가로 방향의 화각을 갖는 영상을 얻기 위해서는 회전부가 회전하는 동안 연속적으로 영상을 얻어야 한다.
회전부가 회전하는 동안 어안 렌즈의 마디점이 원(5203)을 따라서 움직이므로 수학적으로 엄밀하게 한 시점(viewpoint)을 가질 수 없다. 도 52에서는 가로 방향의 화각이 90°인 영상을 얻는 것으로 가정하였는데, 그렇다면 회전부가 1/4 회전하는 동안에 얻어진 영상들을 사용하여야 한다. 그런데 그 사이에 어안 렌즈의 마디점들이 이동한 호(arc)를 살펴보면, 다행히 어안 렌즈의 광축 방향에 수직하기 보다는 오히려 평행한 것을 볼 수 있다. 따라서, 어안 렌즈의 마디점이 움직이는 동안에 얻어진 불완전한 전방위 영상에서 불완전한 직선수차보정 영상을 추출하더라도 그 오류가 심각하지 않다. 또한, 전방위 영상이나 직선수차보정 영상을 획득하는 동안에 그 시점이 지름 6.35cm의 혼돈원(circle of confusion) 안에 존재한다는 것을 알 수 있다.
혼돈원의 지름이 D라면, 이를 기준으로 가까운 거리의 피사체의 전방위 영상이나 직선수차보정 영상에서는 어느 정도의 오차가 존재할 가능성이 크다고 할 수 있다. 그러나 피사체의 거리가 혼돈원의 지름의 10배 이상이라면 그 오차는 거의 눈에 띄이지 않을 것이라고 예상할 수 있다. 그런데, 혼돈원의 지름이 6.35cm라면, 그 10배는 63.5cm이며 채 1m가 되지 않는다. 따라서, 아주 근접 촬영하는 경우가 아니라면 회전하는 전방위 카메라로도 만족스러운 영상을 얻을 것을 기대할 수 있다.
도 53은 본 발명의 제 3 실시 예의 카메라 구조를 이해하기 위한 도면이다. 라인 스캔 센서의 픽셀은 area image sensor의 픽셀에 비하여 매우 큰 편이다. 그 이유는 다음과 같다. Full HD급의 영상을 얻을 수 있는 area image sensor라면 가로 방향으로 1920개의 열과 세로 방향으로 1080개의 행으로 구성된 행렬 모양의 픽셀들을 가지고 있을 것이다. 이와 같은 이미지 센서를 이용하여 동영상을 찍고 싶다면 초당 30 frame의 영상을 포착하면 충분하다.
한편, 라인 스캔 센서로 Full HD급의 영상을 포착하기 위해서는 1080개의 픽셀을 가지는 라인 스캔 센서로 1920번의 영상을 포착하여야 한다. 따라서, 초당 30 프레임의 동영상을 포착하기 위해서는 라인 스캔 센서는 초당 1920 ×30번의 영상을 포착하여야 하고, 어느 한 번의 영상은 20 마이크로초(㎲) 이내에 포착되어 하므로, 픽셀을 크게 만들지 않으면 충분한 광량을 받을 수 없다.
전술한 Hamamatsu S11637-1124Q 센서의 픽셀 피치(pixel pitch)는 12.5㎛이며, 픽셀 높이(pixel height)는 500㎛이고, 이미지 센서 영역의 길이는 12.8mm로 area iamge sensor에 비하여 훨씬 크다. 또한, S11637-2048Q의 이미지 센서 영역의 길이는 25.6mm나 된다.
이와 같은 라인 스캔 센서(5313L, 5313R)의 길이와 라인 스캔 센서에 형성되면 영상면(5333L)의 직경은 비슷한 크기를 가져야 한다. 그런데 광각 렌즈에서 제 1 렌즈 요소는 항상 영상면의 직경에 비하여 크고, 광각 렌즈가 어안 렌즈라면 제 1 렌즈 요소의 직경은 영상면의 직경에 비하여 훨씬 크다. 따라서, 결상 렌즈(5312L, 5312R) 간의 간격을 평균적인 사람의 두 눈 사이의 간격(D)으로 유지할 수가 없다. 두 렌즈의 중심 간의 간격이 D와 크게 다르다면 이와 같은 입체 전방위 카메라에서 얻어지는 영상은 자연스러운 입체감을 제공하지 않게 된다.
도 54는 본 발명의 실시 예에 따른 카메라의 구조를 보여준다. 라인 스캔 센서(5413)는 세로 방향으로 긴 모양이고, 2개의 라인 스캔 센서의 간격이 6.35cm 정도로 유지되어야 하므로, 각각의 카메라는 3cm 이내의 폭을 가지는 홀쭉한 모양으로 제작되어야 한다. 따라서 일반적인 결상 렌즈와 같이 둥근 단면적을 가지는 렌즈 요소들을 사용할 수가 없으며, 양 옆을 잘라낸 모양으로 제작되어야 한다. 이와 같이 홀쭉한 모양으로 제작된 렌즈(5412)는 일반적인 렌즈와 같이 렌즈 홀더(5416)에 돌려서 끼우거나 뺄 수가 없다. 따라서 렌즈 홀더(5416)는 라인 스캔 카메라(5414) 몸체에 고정되며, 결상 렌즈(5412)는 렌즈 홀더(5416)에 미끄러지듯이 삽입될 수 있는 구조로 제작되어야 한다. 결상 렌즈(5412)의 삽입부(5418)은 렌즈 홀더(5416)의 구멍에 꼭 맞는 크기를 가지고 있다.
원거리에 있거나 근거리에 있는 피사체에 초점을 맞추기 위해서는 결상 렌즈(5412)와 라인 스캔 센서(5413)의 간격을 조절할 수 있어야 하므로, 결상 렌즈를 움직일 수 있는 수단(5442)이 필요하다. 도 54에는 랙(rack)과 피니언(pinion) 기어로 표현했지만, 실제로는 리니어 모터와 같은 다양한 수단을 사용할 수 있다.
또한, 전방위 영상을 획득하기 위하여 라인 스캔 센서는 일정한 셔터 속도로 동작할 수 밖에 없으므로, 노출을 조절할 별도의 수단이 필요하다. 따라서, 모터로 구동되는 카메라 조리개(motorized camera iris)가 바람직하다.
이와 같은 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고, 결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적은 홀쭉한 모양이며, 결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향으로 유지된다.
도 55는 본 발명의 제 3 실시 예의 입체 전방위 카메라의 개념도이다. 회전부(5522)는 하부의 기저부(5524)에 대하여 무한회전할 수 있으며, 회전부에는 2개의 카메라(5512L, 5512R)가 장착되어 있다.
도 56은 근거리에 있는 피사체에 초점을 맞출 경우에 왼쪽 카메라(5612L)와 오른쪽 카메라(5612R)의 광축(5601L, 5601R)이 카메라 좌표계의 Z'-축을 향하여 안쪽으로 기울어진 모양을 도시한 것이다. 물론, 이와 같이 동작시키지 않고, 피사체의 거리에 상관없이 두 카메라의 광축(5601L, 5601R)이 항상 카메라 좌표계의 Z'-축에 평행하도록 유지시킬 수도 있다.
[실시예 1]
도 31은 본 발명의 제 1 실시예의 전방위 카메라의 평면도이다. 결상 렌즈(imaging lens)(3112)와 그 내부에 라인 스캔 센서(3113)를 가지는 카메라 몸체(3114)는 회전부(rotating part)(3122)에 장착되어 있으며, 이 회전부는 하부의 기저부(base part)(3124)에 대하여 회전축(rotation axis)(3126)을 중심으로 무한회전할 수 있고, 회전축(3126)은 결상 렌즈의 마디점(N)을 수직으로 통과한다.
용도에 따라서 전방위 영상면의 바람직한 세로 방향의 화각이 달라진다. 예를 들어 바다 한가운데서 사방을 모니터링하는 것이 목적이라면 수직 방향의 화각은 아주 작은 것이 유리하다. 사실상 수평선만 모니터링하면 되기 때문에 렌즈의 화각이 작을수록 멀리까지 자세하게 볼 수 있기 때문이다. 한편, 벽과 천정에 그림과 조각품으로 가득찬 궁전 내의 한 방을 촬영하고자 한다면, 화각 180°이상의 어안 렌즈를 사용하는 것이 바람직할 것이다.
그런데, 화각이 작은 일반적인 직선수차보정 렌즈를 사용하던, 화각 180°이상의 어안 렌즈를 사용하던 그 전방위 카메라의 기본적인 구조는 거의 동일하다. 사실상 전방위 카메라를 렌즈 교환식으로 설계하여, 용도에 따라서 망원 렌즈나 표준 렌즈, 광각 렌즈를 바꿔가면서 사용하는 것이 바람직할 것이다. 따라서 이하에서는 논의의 편의상 결상 렌즈를 어안 렌즈라고 표현하더라도, 본 발명의 범위는 어안 렌즈에 한정되지 않는다.
세계 좌표계(World Coordinate System)는 기저부(3124)에 고정되어 있는데, 그 세계 좌표계의 원점(Origin)은 어안 렌즈의 마디점과 일치한다. 또한, 세계 좌표계의 Y-축은 회전축과 일치한다. 한편, 세계 좌표계의 Z-축은 전방위 카메라가 초기 정지 상태(initial zero state)에 있을 때 어안 렌즈의 광축(3101)과 일치한다. 세계 좌표계는 오른손 좌표계(Right Handed Coordinate System)를 사용한다.
전방위 카메라가 초기 정지 상태에 있을 때 카메라 좌표계(camera coordinate system)는 세계 좌표계와 일치하지만, 회전부가 회전할 때 회전부와 같이 회전한다. 카메라 좌표계의 Y'-축은 세계 좌표계의 Y-축과 항상 일치한다. 한편, 카메라 좌표계의 Z'-축은 어안 렌즈의 광축(3101)과 일치한다.
어안 렌즈(3112)는 화각 180°이상을 가지므로 최소한 반구(hemisphere)에 해당하는 영상을 영상면(3132)에 생성한다. 그리고 카메라 몸체(3114) 내부의 라인 스캔 센서(3113)는 Y'-축 방향으로 배치되어 있다. 따라서, 어안 렌즈 정면의 세로 방향의 피사체의 영상이 라인 스캔 센서에 포착된다. 이 회전부가 회전함에 따라 다른 방향의 영상이 순차적으로 라인 스캔 센서에 포착되어, 카메라가 한바퀴 회전하면 360°모든 방향의 영상이 얻어진다.
도 32는 전방위 영상 장치의 측면도이다. 도 32에서 세계 좌표계의 Y-축과 카메라 좌표계의 Y'-축이 어안 렌즈의 마디점(N)을 지나는 것을 알 수 있다. 또한, 카메라 좌표계의 Z'-축이 어안 렌즈의 마디점을 지나며, 카메라 몸체(3214) 내부의 라인 스캔 센서(3213)는 Y-축 및 Y'-축에 평행한 것을 알 수 있다.
카메라가 장착된 회전부(3222)는 회전축(3226)으로 기저부(3224)에 연결되어 있으며, 기저부 내부의 모터로 회전부를 고속으로 회전시킨다. 또한, 기저부에는 위치 센서(3242)가 장착되어 있는데 이는 카메라의 수평면에 대한 두 방향의 기울기, 즉, X-축 방향의 기울기와 Z-축 방향의 기울기 및 기저부에 대한 회전부의 상대적인 회전각을 측정한다. 또한, GPS와 디지털 나침판이 포함되어 있으면, 전방위 영상을 지도와 연계시키는데 편리하다.
회전부는 기저부와 회전축으로 연결되어 무한 회전이 가능하다. 반면에 카메라에서 나오는 신호는 여러 가닥의 신호선을 가질 수 있으므로 회전부에서 기저부로 영상 신호를 보내기가 어려울 수 있다. 그러므로 회전부에는 송신부(3244)를 설치하고, 기저부(3224)에는 수신부(3246)를 설치하여 무선 신호(wireless signal)나 광 신호(light signal)로 영상 신호를 보낼 수 있다. 물론, 반대 방향으로도 전원(power)과 컨트롤 신호가 보내져야 한다. 전원은 슬립링(slip ring)을 통하여 전달하거나 근거리 무선 전력 전송 기술을 사용하여 전송할 수도 있다. 한편, 컨트롤 신호는 슬립링을 통하여 전달할 수도 있고, 아니면 광 신호나 무선 신호를 사용할 수도 있다.
도 32에는 회전축(3226) 가까이에 송신부(3244)와 수신부(3246)가 설치된 것으로 도시하였으나, 실제로는 회전축(3226)을 내부가 빈 원통으로 제작하여, 그 내부 공간을 통하여 송신부와 수신부가 무선(wireless signal) 또는 광(light)으로 통신하는 것이 바람직할 것이다. DDM(Direct Drive Motor) 기술을 사용하면 전방위 카메라의 기저부와 모터를 일체화 할 수 있으며, 전력 및 콘트롤 신호, 영상 신호는 DDM의 중공(center hole)을 통하여 오고갈 수 있으므로 편리하다.
도 33은 본 발명의 제 1 실시 예의 전방위 카메라로 획득한 360°전방위 영상면의 개념도이며, 좌표계의 단위는 픽셀이다. 360°전방위 영상면(3334)의 가로축은 카메라 좌표계의 X'-축과 대응하며, 세로축은 카메라 좌표계의 Y'-축과 대응한다. 이 좌표계의 기준점 C는 카메라 좌표계의 Z'-축이 세계 좌표계의 Z-축과 일치할 때 광축을 따라서 들어온 입사광에 대응한다. 따라서 360°전방위 영상면(3334) 상의 기준점 C에 상점(image point)를 형성하는 입사광의 고도각(elevation angle)과 방위각(azimuth angle)은 모두 0이다.
360°전방위 영상면의 세로 방향의 크기는 Kmax인데 자연수 값을 가진다. 이 세로 방향의 크기는 라인 스캔 센서의 유효 픽셀수에 대응한다. 즉, 라인 스캔 센서가 1열로 배열된 2048개의 유효 픽셀을 가지고 있다면, Kmax는 2048이 된다. 이하에는 논의의 편의상 360°전방위 영상면과 전방위 영상면, 전방위 영상이라는 용어를 혼용하여 사용할 것이다.
한편, 전방위 영상면의 가로 방향의 크기 Lmax는 전방위 카메라가 360°를 1 회전하는 동안의 샘플링(sampling) 수에 대응한다. 따라서, 회전부의 회전 속도가 느릴수록, 라인 스캔 센서의 출력 속도가 빠를수록 전방위 영상면의 가로 방향의 크기가 커진다.
전방위 영상면의 가로 방향의 화각은 정확하게 360°이다. 즉, 회전부가 1회전 할 때마다 360°전방위 영상면(3334) 1 프레임(frame)이 생성된다. 한편, 전방위 영상면의 세로 방향의 화각은 어안 렌즈의 화각에 대응된다. 즉, 어안 렌즈의 화각이 190°라면, 전방위의 영상면의 세로 방향의 화각 2Γ는 190°가 된다.
전방위 영상면의 세로 방향의 화각이 180°이면 충분할 것 같지만, 이보다 화각이 더 크면 더 바람직하다. 그 이유는 디지털 틸트각이 클 때도 만족스러운 영상을 얻기 위해서이다.
전방위 영상면(3334) 상의 한 점 Q는 좌표값 (K, L)을 갖는데, 이는 가로 방향의 방위각 ψ 및 세로 방향의 고도각 δ를 갖는다. 즉, 좌표값 (K, L)을 갖는 픽셀에 도달하는 입사광은 방위각 ψ 및 고도각 δ를 갖는다.
도 34는 참고 문헌 [특 14] 및 [비특 20]에 기술된 화각 190°의 어안 렌즈(모델명: FEED802)의 사진이며, 도 35는 이 어안 렌즈의 기계적 구조를 이해하기 쉽도록 일부를 절개한 3차원 투시도이다. 한편, 도 36은 이 어안 렌즈의 광학적 구조와 광선의 경로를 보여준다.
도 37은 어안 렌즈를 포함하는 회전 대칭형의 결상 렌즈(3712)의 실제 투사 방식(real projection scheme)의 개념도이다. 결상 렌즈에 의하여 포착되는 피사체(object)를 기술하는 세계 좌표계의 Z-축은 결상 렌즈(3712)의 광축(3701)과 일치한다. 이 Z-축에 대하여 천정각 θ를 가지는 입사광(3705)은 결상 렌즈(3712)에 의하여 굴절된 후 굴절광(3706)으로서 초점면(focal plane: 3732) 상의 한 상점(image point) P로 수렴한다. 상기 결상 렌즈의 마디점 N에서 상기 초점면까지의 거리는 대략 렌즈의 유효 초점 거리(effective focal length)와 일치한다. 상기 초점면에서 실제 상점이 형성된 부분이 영상면(image plane: 3733)이다. 선명한 영상을 얻기 위하여 상기 영상면(3733)과 카메라 몸체(3714) 내부의 이미지 센서면(3713)이 일치하여야 한다. 상기 초점면과 상기 이미지 센서면은 광축에 수직하다. 이 광축(3701)과 영상면(3733)과의 교점 Ｏ - 이하 제 1 교점이라 지칭함 - 에서부터 상기 상점 P까지의 거리는 r이다.
광축을 중심으로 회전 대칭형인 일반적인 결상 렌즈에서의 상 크기(image height) r은 수학식 2와 같이 주어진다.
Figure PCTKR2017009747-appb-M000002
여기서 입사각 θ의 단위는 라디안(radian)이며, 상기 함수 f(θ)는 입사광의 천정각 θ에 대한 원점을 지나는 단조 증가 함수(monotonically increasing function passing through the origin)이다.
이와 같은 렌즈의 실제 투사 방식은 실제 렌즈를 가지고 실험적으로 측정할 수도 있으며, 아니면 렌즈의 설계도를 가지고 Code V나 Zemax 등의 렌즈 설계 프로그램으로 계산할 수 있다. 예를 들어 Zemax에서 REAY 연산자를 사용하면 주어진 수평 방향 및 수직 방향의 입사각을 가지는 입사광의 초점면상에서의 y-축 방향의 좌표 y를 계산할 수 있으며, x-축 방향의 좌표 x는 유사하게 REAX 연산자를 사용하여 계산할 수 있다.
종래 발명의 실시예에서 사용된 화각 190°의 어안 렌즈(FEED802)는 참고 문헌 [특 14]에 자세히 기술된 것처럼 원점을 지나는 다항식으로 잘 기술된다.
Figure PCTKR2017009747-appb-M000003
그런데 본 발명의 제 1 실시예에서와 같이 회전하는 전방위 카메라로 얻어진 전방위 영상에서는 상 크기 r을 세로 방향의 상 크기 y가 대신하며, 입사각 θ는 들림각 δ가 대신한다. 따라서, 수학식 4가 성립한다.
Figure PCTKR2017009747-appb-M000004
또한, 라인 스캔 센서에서 인접하는 픽셀간의 간격이 p라면, 전방위 영상면에서의 픽셀 좌표 K와 입사광의 고도각 δ는 수학식 5를 만족한다.
Figure PCTKR2017009747-appb-M000005
여기서 상 크기의 단위는 밀리미터(mm)를 사용한다. 예를 들어 Hamamatsu사의 S11637-1024Q 센서를 사용한다면, 이 센서는 총 픽셀의 수가 1024개이며, 각 픽셀은 12.5㎛ ×500㎛의 크기를 가진다. 따라서, Kmax = 1024이며, p = 0.0125mm이다. 따라서 픽셀의 이득(gain) g는 80.0이다.
영상 획득에 사용된 결상 렌즈나 라인 스캔 센서의 픽셀 피치(pixel pitch)에 대한 정보가 없다면 사용자는 360°전방위 영상면에서 렌즈의 투사 방식을 측정할 수 밖에 없으며, 그 경우에는 수학식 6이 더 유용하다.
Figure PCTKR2017009747-appb-M000006
여기서 F(δ)는 픽셀 단위로 측정한 결상 렌즈의 수직 방향의 투사 방식이다.
도 38은 본 발명의 실시 예의 전방위 영상면의 가상의 반경 S를 이해하기 위한 도면이다. 전방위 영상면의 가로 방향의 크기는 Lmax이고, 가로 방향의 화각은 360°즉, 2π)이므로, 전방위 영상면은 수학식 7로 주어지는 가상의 반경 S를 갖는 원통면으로 생각할 수 있다.
Figure PCTKR2017009747-appb-M000007
따라서, 방위각 ψ을 갖는 픽셀의 열 번호 L은 수학식 8과 같이 주어진다.
Figure PCTKR2017009747-appb-M000008
거꾸로 열 번호 L을 갖는 픽셀들은 수학식 9로 주어지는 가로 방향의 방위각을 갖는 입사광에 대응한다.
Figure PCTKR2017009747-appb-M000009
도 39는 가상의 360°전방위 영상면이며, Paul Bourke 교수가 제작한 인공적인 어안 영상을 기초로 생성된 것이다. 또한, 도 40은 종래 발명의 실시 예의 어안 렌즈로 포착한 어안 영상에서 생성한 가상의 360°전방위 영상면이다. 여기서 주의할 점은 Lmax와 Kmax는 가로 방향의 화각과 세로 방향의 화각의 관계에 상관없이 임의의 비율을 가질 수 있다는 점이다.
종래 발명에서 제시하는 전방위 영상면의 가로 크기 대 세로 크기의 비는 거의 예외없이 2:1인데 그 이유는 다음과 같다. 극좌표계(polar coordinate system)에서 경도의 범위는 -180°에서 180°까지 360°이며, 위도의 범위는 -90°에서 90°까지 180°이다. 따라서 등직교 투사 방식(equirectangular projection scheme)으로 세계 지도를 그린다면 가로 대 세로의 비가 2:1이 된다.
한편, 본 발명에서의 전방위 영상면의 세로 방향의 크기는 라인 스캔 센서의 유효 픽셀 수와 동일하고, 가로 방향의 크기는 라인 스캔 센서의 동작 속도와 회전부의 회전 속도에 의하여 결정되므로 가로 방향의 크기와 세로 방향의 크기는 임의의 비를 가질 수 있다. 또한, 가로 방향의 화각은 360°이지만, 세로 방향의 화각은 결상 렌즈의 화각에 따라서 임의의 값을 가질 수 있다.
세번째로 본 발명의 실시 예에 따른 전방위 영상면에서 가로 방향으로 인접하는 픽셀들은 모두 동일한 방위각의 증분(increment)에 대응한다. 그런데, 세로 방향으로 인접하는 픽셀들은 임의의 고도각의 증분에 대응한다. 그 이유는 렌즈가 직선수차보정 렌즈이나 어안 렌즈이냐에 따라서 각각의 행에 해당하는 픽셀들이 임의의 고도각에 대응할 수 있기 때문이다.
본 발명은 이와 같이 임의의 가로: 세로 비 및 임의의 수직 방향의 투사 방식을 갖는 전방위 영상면에서 원리적으로 정확한 직선수차보정 영상면을 추출할 수 있는 영상 처리 방법을 제공한다.
도 33에 예시된 전방위 영상면에서 기준점 C는 전방위 카메라가 정지 상태일 때의 카메라 광축의 방향과 일치한다. 그러므로 그 좌표는 수학식 10 내지 11로 주어지는 것이 바람직하지만, 임의의 값을 가지더라도 무관하다.
Figure PCTKR2017009747-appb-M000010
Figure PCTKR2017009747-appb-M000011
한편, 도 41은 도 33의 전방위 영상면에서 추출한 직선수차보정 영상면(4131)의 개념도이다. 이 직선수차보정 영상면의 중점(center point) Ω의 좌표는 수학식 12 내지 13으로 주어진다.
Figure PCTKR2017009747-appb-M000012
Figure PCTKR2017009747-appb-M000013
이 직선수차보정 영상면의 가로 방향의 화각이 ΔΨ라면, 이 직선수차보정 영상면의 원점으로부터의 거리 T는 수학식 14와 같이 주어진다.
Figure PCTKR2017009747-appb-M000014
따라서, 디지털 팬/틸트를 하기 전의 직선수차보정 영상면 상의 한 점 Q의 좌표는 수학식 15와 같이 주어진다.
Figure PCTKR2017009747-appb-M000015
본 발명의 실시 예의 전방위 영상면에서 가로 방향의 화각이 ΔΨ이고, 주시 방향(principal direction of vision)의 방위각이 β이며, 고도각이 α인 직선수차보정 영상면을 얻기 위해서는 수학식 15로 주어지는 직선수차보정 영상면을 Y-축을 중심으로 β만큼 팬 작용을 하고, 회전된 좌표계의 X'-축을 중심으로 α만큼 틸트된 새로운 좌표계에서의 좌표값들을 얻어야 하며, 수학식 16 내지 19로 주어진다.
Figure PCTKR2017009747-appb-M000016
Figure PCTKR2017009747-appb-M000017
Figure PCTKR2017009747-appb-M000018
Figure PCTKR2017009747-appb-M000019
팬/틸트된 직선수차보정 영상면 상의 한 점 Q"의 고도각 및 방위각은 수학식 20 내지 21로 주어진다.
Figure PCTKR2017009747-appb-M000020
Figure PCTKR2017009747-appb-M000021
이와 같은 새로운 좌표계에 대한 방위각과 고도각에 대한 정보를 바탕으로 전방위 영상면 상의 한 점의 좌표는 수학식 22 내지 23으로 주어진다.
Figure PCTKR2017009747-appb-M000022
Figure PCTKR2017009747-appb-M000023
이와 같은 방법으로 직선수차보정 영상면(4131) 상의 모든 점들에 대하여 영상 처리를 하여 전방위 영상면으로부터 팬/틸트된 직선수차보정 영상면을 얻을 수 있다.
도 42는 도 39의 전방위 영상면에서 생성한 직선수차보정 영상면으로 가로 방향의 크기는 240 픽셀이고, 세로 방향의 크기는 180 픽셀이며, 가로 방향의 화각은 90°이고, 팬 각은 90°이며, 틸트각은 45°이다. 도 42에서 알 수 있는 것처럼 원하는 방향의 직선수차보정 영상이 얻어졌으며, 직선들이 모두 직선으로 포착된 것을 알 수 있다.
한편, 도 43은 도 40의 전방위 영상에서 추출한 직선수차보정 영상으로서 가로 방향의 크기는 640 픽셀이고, 세로 방향의 크기는 480 픽셀이며, 가로 방향의 화각은 90°이고, 팬각과 틸트각은 모두 0°이다. 또한, 도 44는 -90°의 팬각과 -45°의 틸트각을 사용하여 얻은 직선수차보정 영상이다.
도 42 내지 도 44에서 알 수 있는 것처럼 이와 같은 알고리즘을 사용하여, 회전하는 전방위 카메라로부터 얻은 전방위 영상에서 임의의 방향의 직선수차보정 영상을 얻을 수 있다.
다음은 도 44의 직선수차보정 영상면을 생성하는데 사용된 MatLab 코드이다.
% Rectilinear image generation from a 360 deg. panoramic image.
% Programmed by Gyeong-il Kweon, the Super-Genius.
% D:2017/main.m
% format long
% 2017. 9. 2.
%
% *********** Real projection scheme **********************
% r as a function of theta
coeff = [-3.101406e-2, 7.612269e-2, -1.078742e-1, 3.054932e-2, 1.560778, 0.0];
%
% *** Reads the graphic image ***************************************
picture = imread('image', 'jpg');
[Kmax, Lmax, Qmax] = size(picture);
CI = double(picture) + 1;
%
S = Lmax / (2 * pi); % Radius of the cylinder
%
Lo = (1 + Lmax) / 2;
Ko = (1 + Kmax) / 2;
gain = 312.5; % 1/2-inch sensor
%
% Draw an empty canvas
Jmax = 640; % canvas width
Imax = 480; % canvas height
Jo = (1 + Jmax) / 2;
Io = (1 + Imax) / 2;
EI = zeros(Imax, Jmax, 3); % dark canvas
%
Dpsi = 90.0 / 180.0 * pi;
T = (Jmax - 1) / 2.0 / tan(Dpsi / 2.0);
%
ALPHA = -45.0;
alpha = ALPHA / 180.0 * pi;
sin_alpha = sin(alpha);
cos_alpha = cos(alpha);
%
BETA = -90.0;
beta = BETA / 180.0 * pi;
sin_beta = sin(beta);
cos_beta = cos(beta);
%
% Virtual screen
for I = 1: Imax
for J = 1: Jmax
X = J - Jo;
Y = I - Io;
Z = T;
%
Xp = X * cos_beta + Y * sin_beta * sin_alpha + Z * sin_beta * cos_alpha;
Yp = Y * cos_alpha - Z * sin_alpha;
Zp = -X * sin_beta + Y * cos_beta * sin_alpha + Z * cos_beta * cos_alpha;
%
rho_p = sqrt(Xp ^ 2 + Zp ^ 2);
delta_p = atan2(Yp, rho_p);
psi_p = atan2(Xp, Zp);
y_p = Ko + gain * polyval(coeff, delta_p);
x_p = Lo + S * psi_p;
%
Km = floor(y_p);
Kp = Km + 1;
dK = y_p - Km;
Lm = floor(x_p);
Lp = Lm + 1;
dL = x_p - Lm;
if((Km >= 1) & (Kp <= Kmax) & (Lm >= 1) & (Lp <= Lmax))
EI(I, J, :) = (1 - dK) * (1 - dL) * CI(Km, Lm, :) ...
+ dK * (1 - dL) * CI(Kp, Lm, :) ...
+ (1 - dK) * dL * CI(Km, Lp, :) ...
+ dK * dL * CI(Kp, Lp, :);
else
EI(I, J, :) = zeros(1, 1, 3);
end
end
end
DI = uint8(EI - 1);
imwrite(DI, 'result.jpg', 'jpg');
imagesc(DI);
axis equal;
[실시예 2]
도 45는 본 발명의 제 1 실시예의 전방위 카메라를 사용하여 전방위 영상을 획득하는 방법을 예시하는 개념도이다. 도 45에서와 같이 피사체가 모두 정지 상태에 있다면 회전하는 카메라로 전방위 영상을 생성하는데 아무런 기술적인 어려움이 없으며, 도 46과 같이 자연스러운 전방위 영상이 얻어질 것이다.
그런데, 도 47에 예시한 바와 같이 회전하는 카메라에 더하여 피사체도 같이 움직인다면 모션 블러(motion blur)라고 불리는 영상의 왜곡이 발생한다. 이때는 복사기로 복사를 하면서 복사하는 서류를 같이 움직일 때 발생하는 왜곡과 같은 현상이 발생한다. 복사기에 내장된 스캐너가 움직이는 방향과 서류가 움직이는 방향이 같다면 복사된 이미지는 길게 늘어날 것이고, 반대 방향이라면 복사된 이미지는 짧게 줄어들 것이다.
마찬가지의 현상이 도 47의 상황에서도 발생한다. 도 47에서 카메라의 회전 방향에 대하여 경찰 순찰차는 반대 방향으로 움직이고 있으며, 트럭은 같은 방향으로 움직이고 있다. 그러면 도 48에 예시한 바와 같이 전방위 영상에서는 경찰 순찰차는 길이 방향으로 압축되어 나타나고, 트럭은 길이 방향으로 길게 늘어나게 포착된다. 한편, 움직이지 않는 나무들은 모두 정상적으로 포착된다. 또한, 카메라의 회전 속도에 비하여 피사체의 속도가 빠르면 빠를수록 모션 블러는 더 심해질 것이다.
도 49는 이와 같은 모션 블러를 감소시키기 위한 방법을 보여준다. 출력 속도가 빠른 라인 스캔 센서는 초당 몇만 프레임을 출력하는 것이 가능하다. 또한, 고속의 모터도 초당 수백회 회전까지도 가능하다. 이와 같은 하드웨어의 성능을 사용하여 모션 블러를 무시할만한 수준으로 감소시킬 수 있다.
전방위 동영상을 얻기 위하여 초당 30 프레임의 영상이 필요하다고 가정하자. 그러면, 카메라의 회전부는 30의 배수로 회전을 한다. 즉, 초당 60 회전, 초당 90 회전, 초당 300 회전 등 30의 배수로 회전을 한다.
예를 들어 회전부가 초당 90 회전을 한다면 카메라의 회전부가 첫번째 회전을 할 때 라인 스캔 센서에서 출력되는 영상들을 집적하여 전방위 영상 1장을 생성한다. 그리고 두번째와 세번째 회전을 할 때에는 영상을 취득하지 않고 공회전을 한다. 다시 네번째 회전을 할 때는 라인 스캔 센서에서 출력되는 영상들을 집적하여 전방위 영상 1장을 생성하고, 5번째와 6번째 회전에서는 영상을 취득하지 않는 공회전을 하고, 7번째 회전에서는 다시 전방위 영상을 생성한다.
이와 같은 방식을 사용하면 피사체의 속도에 비하여 상대적으로 카메라의 속도가 커지므로 모션 블러로 인한 영상의 왜곡이 줄어든다. 만약, 카메라의 회전부가 초당 300 회전을 한다면 특수한 경우를 제외하고는 모션 블러에 의한 효과가 아주 미미해질 것으로 기대된다.
[실시예 3]
도 50은 본 발명의 제 3 실시예의 입체 전방위 영상 획득 장치(입체 전방위 카메라)의 평면도이다. 바람직하게 화각 180°이상을 가지는 어안 렌즈(5012L, 5012R)와 그 내부에 라인 스캔 센서(5013L, 5013R)를 가지는 카메라 몸체(5014L, 5014R)로 구성된 동일한 사양의 2개의 카메라는 회전부(5022)에 장착되어 있으며, 이 회전부(5022)는 하부의 기저부(5024)와 회전축(5026)으로 연결되어 있다. 회전부는 회전부 상의 원점(origin) C를 중심으로 수평으로 회전하는데, 이 원점 C는 두 어안 렌즈(5012L, 5012R)의 마디점(NL, NR)의 중심점에 위치한다. 두 어안 렌즈의 마디점이 떨어진 간격 D는 사람의 두 눈 사이의 평균 간격인 6.35cm인 것이 바람직하다. 또한, 두 어안 렌즈의 광축(5001L, 5001R)은 회전부가 회전할 때 같이 회전한다.
원점 C를 지나고 두 어안 렌즈의 광축(5001L, 5001R)에 평행한 방향이 카메라 좌표계의 Z'-축이며, 원점 C와 두 어안 렌즈의 마디점(NL, NR)을 지나는 방향이 카메라 좌표계의 X'-축 방향이고, 원점 C를 지나고 회전축에 평행한 방향이 카메라 좌표계의 Y'-축 방향이다. 카메라 좌표계는 오른손 좌표계이다.
한편, 3D 전방위 카메라가 초기 정지 상태(initial zero position)에 있을 때 두 어안 렌즈의 광축(5001L, 5001R)이 향하는 방향이 세계 좌표계의 Z-축 방향이며, 세계 좌표계의 원점은 카메라 좌표계의 원점 C와 일치한다. 세계 좌표계의 Y-축은 카메라 좌표계의 Y'-축과 일치한다. 세계 좌표계도 오른손 좌표계이다.
이와 같은 좌표계에서 두 어안 렌즈의 마디점은 항상 X-Z 평면 및 X'-Z' 평면에 위치한다. 또한, 두 카메라의 라인 스캔 센서(5013L, 5013R)는 항상 세계 좌표계의 Y-축 및 카메라 좌표계의 Y'-축에 평행하다. 회전부가 일정한 속도로 회전하면서 두 개의 카메라로 이미지를 획득하여 이를 이어붙이면 회전부가 1회전할 때마다 2장의 전방위 영상면이 생성된다.
도 51은 본 발명의 제 3 실시 예의 입체(3D) 전방위 영상 시스템의 측면도이며, 영상 획득 장치(5120)와 영상 처리 장치(5130)와 영상 표시 장치(5140)로 구성된다. 영상 획득 장치(5120)는 전술한 2 대의 카메라가 장착된 회전부 및 기저부(5124)를 포함하는데, 기저부에서는 2대의 카메라가 회전하면서 얻어진 두 개의 전방위 영상면(5126L, 5126R)이 하나로 합쳐진 이중 전방위 영상면(5126)이 생성된다. 즉, 회전부가 1회전할 때마다 이중 전방위 영상면(5126) 1 프레임이 생성되며, 이중 전방위 영상면(5126)은 왼쪽 카메라에서 얻어진 전방위 영상면(5126L)과 오른쪽 카메라에서 얻어진 전방위 영상면(5126R)이 하나로 얻어진 전방위 영상면이다.
이 영상 획득 장치에서 얻어진 이중 전방위 영상면(5126)은 하나 이상의 영상 처리 장치(5130)로 실시간 혹은 사후적으로 전송된다. 영상 처리 장치는 데스크탑 컴퓨터나 노트북, 사실상 컴퓨터인 NVR(Network Video Recorder)가 될 수도 있고, 스마트폰이나 전용 단말기 등 CPU나 AP(Application Processor)를 갖추고 영상 처리를 수행할 수 있는 모든 종류의 장치가 될 수 있다.
이 영상 처리 장치(5130)는 영상 획득 장치(5120)에서 전송된 이중 전방위 영상면(5132)을 1 프레임 이상 저장하고 있다. 이 영상 처리 장치(5130)는 영상 표시 장치(5140)와 유선이나 무선으로 연결되어 있는데, HMD(Head Mounted Display) 장치가 전형적인 영상 표시 장치로 사용될 수 있다. 이 HMD를 장착한 사용자가 HMD를 착용하면 그 HMD에 내장된 방향 지시 센서가 그 사용자가 향하는 방향 정보를 추출하여 이를 영상 처리 장치로 전송하며, 영상 처리 장치는 이 방향 정보에 해당하는 직선수차보정 영상의 쌍을 각각 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)로부터 추출하여 영상 표시 장치에 표시하게 된다. 따라서, HMD를 장착한 사용자는 사용자의 머리가 향하는 방향에 해당하는 직선수차보정 영상을 감상할 수 있으며, 왼쪽 전방위 영상(5134L)과 오른쪽 전방위 영상(5134R)으로부터 양안시에 해당하는 영상이 보여지므로 실제 그 장소에 있는 것처럼 입체감을 느낄 수 있다.
영상 표시 장치(5140)에서 영상 처리 장치(5130)로 보내지는 방향 정보는 직선수차보정 영상의 주시 방향이 향하는 방위각 ψ 및 고도각 δ인 것이 바람직하다.
영상 표시 장치(5140)는 HMD 뿐만 아니라 다양한 장치가 될 수 있다. 예를 들어 영상 처리 장치(5130)는 컴퓨터의 본체이고, 영상 표시 장치는 3D 모니터가 될 수 있다. 또는, 영상 처리 장치는 이중 전방위 영상면에서 직선수차보정 영상의 쌍을 추출한 후, 이를 애너글리프 안경으로 볼 수 있도록 다시 한번 변환작업을 하여 컴퓨터 화면이나 TV 화면, 스마트폰 화면에서 보여주고, 사용자는 이를 애너글리프 안경을 쓰고 감상할 수 있다.
본 발명의 제 3 실시 예의 3D 전방위 영상 장치는 정지 영상을 생성하기 위하여 사용될 수도 있고, 동영상을 생성하기 위하여 생성될 수도 있다. 특히, 경치가 아름다운 관광지나 흥미로운 경기가 펼쳐지는 경기장, 공연장을 3D 전방위 영상으로 실시간 방송하기 위하여 사용된다면 동일한 영상 획득 장치(5120)에서 생성되는 이중 전방위 영상면이 다수의 영상 처리 장치(5130)로 전송될 것이다. 이때 네트워크의 통행량을 줄이기 위하여 각각의 영상 처리 장치에서 필요한 직선수차보정 영상에 대응하는 전방위 영상면의 일부만을 전송하는 것도 가능할 것이다.
도 52는 회전하는 전방위 카메라에서 얻은 전방위 영상면에서 추출할 수 있는 직선수차보정 영상면의 특성을 이해하기 위한 도면이다. 두 어안 렌즈의 마디점(NL, NR)이 간격 D를 가지고 있으므로, 회전부가 원점 C를 중심으로 회전함에 따라 두 마디점은 지름 D인 원을 따라서 이동하게 된다.
회전부가 회전하여 카메라 좌표계의 Z'-축이 세계 좌표계의 Z-축과 각도 ψ를 이루고 있다면, 두 어안 렌즈의 광축(5201L, 5201R)도 같은 방향을 향하게 된다. 직선수차보정 영상면의 주시 방향이 이 방향과 일치하는 직선수차보정 영상면을 얻고자 한다면, 두 어안 렌즈의 마디점의 위치가 도 52에 도시한 것과 같을 때 원하는 시야 범위(5205L, 5205R)를 갖는 영상을 얻는 것이 바람직할 것이다. 그런데 회전부가 어느 한 위치에 있을 때 라인 스캔 센서에서는 어느 한 방향에 해당하는 1줄의 영상만을 얻기 때문에 0이 아닌 가로 방향의 화각을 갖는 영상을 얻기 위해서는 회전부가 회전하는 동안 연속적으로 영상을 얻어야 한다.
회전부가 회전하는 동안 어안 렌즈의 마디점이 원(5203)을 따라서 움직이므로 수학적으로 엄밀하게 한 시점(viewpoint)을 가질 수 없다. 도 52에서는 가로 방향의 화각이 90°인 영상을 얻는 것으로 가정하였는데, 그렇다면 회전부가 1/4 회전하는 동안에 얻어진 영상들을 사용하여야 한다. 그런데 그 사이에 어안 렌즈의 마디점들이 이동한 호(arc)를 살펴보면, 다행히 어안 렌즈의 광축 방향에 수직하기 보다는 오히려 평행한 것을 볼 수 있다. 따라서, 어안 렌즈의 마디점이 움직이는 동안에 얻어진 불완전한 전방위 영상에서 불완전한 직선수차보정 영상을 추출하더라도 그 오류가 심각하지 않다. 또한, 전방위 영상이나 직선수차보정 영상을 획득하는 동안에 그 시점이 지름 6.35cm의 혼돈원(circle of confusion) 안에 존재한다는 것을 알 수 있다.
혼돈원의 지름이 D라면, 이를 기준으로 가까운 거리의 피사체의 전방위 영상이나 직선수차보정 영상에서는 어느 정도의 오차가 존재할 가능성이 크다고 할 수 있다. 그러나 피사체의 거리가 혼돈원의 지름의 10배 이상이라면 그 오차는 거의 눈에 띄이지 않을 것이라고 예상할 수 있다. 그런데, 혼돈원의 지름이 6.35cm라면, 그 10배는 63.5cm이며 채 1m가 되지 않는다. 따라서, 아주 근접 촬영하는 경우가 아니라면 회전하는 전방위 카메라로도 만족스러운 영상을 얻을 것을 기대할 수 있다.
도 53은 본 발명의 제 3 실시 예의 카메라 구조를 이해하기 위한 도면이다. 라인 스캔 센서의 픽셀은 area image sensor의 픽셀에 비하여 매우 큰 편이다. 그 이유는 다음과 같다. Full HD급의 영상을 얻을 수 있는 area image sensor라면 가로 방향으로 1920개의 열과 세로 방향으로 1080개의 행으로 구성된 행렬 모양의 픽셀들을 가지고 있을 것이다. 이와 같은 이미지 센서를 이용하여 동영상을 찍고 싶다면 초당 30 frame의 영상을 포착하면 충분하다.
한편, 라인 스캔 센서로 Full HD급의 영상을 포착하기 위해서는 1080개의 픽셀을 가지는 라인 스캔 센서로 1920번의 영상을 포착하여야 한다. 따라서, 초당 30 프레임의 동영상을 포착하기 위해서는 라인 스캔 센서는 초당 1920 ×30번의 영상을 포착하여야 하고, 어느 한 번의 영상은 20 마이크로초(㎲) 이내에 포착되어 하므로, 픽셀을 크게 만들지 않으면 충분한 광량을 받을 수 없다.
전술한 Hamamatsu S11637-1124Q 센서의 픽셀 피치(pixel pitch)는 12.5㎛이며, 픽셀 높이(pixel height)는 500㎛이고, 이미지 센서 영역의 길이는 12.8mm로 area iamge sensor에 비하여 훨씬 크다. 또한, S11637-2048Q의 이미지 센서 영역의 길이는 25.6mm나 된다.
이와 같은 라인 스캔 센서(5313L, 5313R)의 길이와 라인 스캔 센서에 형성되면 영상면(5333L)의 직경은 비슷한 크기를 가져야 한다. 그런데 광각 렌즈에서 제 1 렌즈 요소는 항상 영상면의 직경에 비하여 크고, 광각 렌즈가 어안 렌즈라면 제 1 렌즈 요소의 직경은 영상면의 직경에 비하여 훨씬 크다. 따라서, 결상 렌즈(5312L, 5312R) 간의 간격을 평균적인 사람의 두 눈 사이의 간격(D)으로 유지할 수가 없다. 두 렌즈의 중심 간의 간격이 D와 크게 다르다면 이와 같은 입체 전방위 카메라에서 얻어지는 영상은 자연스러운 입체감을 제공하지 않게 된다.
도 54는 본 발명의 실시 예에 따른 카메라의 구조를 보여준다. 라인 스캔 센서(5413)는 세로 방향으로 긴 모양이고, 2개의 라인 스캔 센서의 간격이 6.35cm 정도로 유지되어야 하므로, 각각의 카메라는 3cm 이내의 폭을 가지는 홀쭉한 모양으로 제작되어야 한다. 따라서 일반적인 결상 렌즈와 같이 둥근 단면적을 가지는 렌즈 요소들을 사용할 수가 없으며, 양 옆을 잘라낸 모양으로 제작되어야 한다. 이와 같이 홀쭉한 모양으로 제작된 렌즈(5412)는 일반적인 렌즈와 같이 렌즈 홀더(5416)에 돌려서 끼우거나 뺄 수가 없다. 따라서 렌즈 홀더(5416)는 라인 스캔 카메라(5414) 몸체에 고정되며, 결상 렌즈(5412)는 렌즈 홀더(5416)에 미끄러지듯이 삽입될 수 있는 구조로 제작되어야 한다. 결상 렌즈(5412)의 삽입부(5418)은 렌즈 홀더(5416)의 구멍에 꼭 맞는 크기를 가지고 있다.
원거리에 있거나 근거리에 있는 피사체에 초점을 맞추기 위해서는 결상 렌즈(5412)와 라인 스캔 센서(5413)의 간격을 조절할 수 있어야 하므로, 결상 렌즈를 움직일 수 있는 수단(5442)이 필요하다. 도 54에는 랙(rack)과 피니언(pinion) 기어로 표현했지만, 실제로는 리니어 모터와 같은 다양한 수단을 사용할 수 있다.
또한, 전방위 영상을 획득하기 위하여 라인 스캔 센서는 일정한 셔터 속도로 동작할 수 밖에 없으므로, 노출을 조절할 별도의 수단이 필요하다. 따라서, 모터로 구동되는 카메라 조리개(motorized camera iris)가 바람직하다.
이와 같은 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고, 결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적은 홀쭉한 모양이며, 결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향으로 유지된다.
도 55는 본 발명의 제 3 실시 예의 입체 전방위 카메라의 개념도이다. 회전부(5522)는 하부의 기저부(5524)에 대하여 무한회전할 수 있으며, 회전부에는 2개의 카메라(5512L, 5512R)가 장착되어 있다.
도 56은 근거리에 있는 피사체에 초점을 맞출 경우에 왼쪽 카메라(5612L)와 오른쪽 카메라(5612R)의 광축(5601L, 5601R)이 카메라 좌표계의 Z'-축을 향하여 안쪽으로 기울어진 모양을 도시한 것이다. 물론, 이와 같이 동작시키지 않고, 피사체의 거리에 상관없이 두 카메라의 광축(5601L, 5601R)이 항상 카메라 좌표계의 Z'-축에 평행하도록 유지시킬 수도 있다.
이와 같은 입체 전방위 영상 시스템은 관광지나 건축물, 경기장이나 공연장 등의 풍경을 고해상도 전방위 영상이나 3D 전방위 영상으로 생성하기 위하여 사용될 수도 있고, 흥미로운 경기나 공연을 실시간으로 방송하는 3D 전방위 방송 장비로 사용될 수도 있다. 사용자는 전송된 이중 전방위 영상에서 임의의 방향의 직선수차보정 영상을 추출하여 HMD 등의 장치로 입체 영상을 감상할 수 있다.

Claims (16)

  1. 360°전방위 영상면에서 직선수차보정 영상면을 생성하는 영상 처리 방법에 있어서,
    360°전방위 영상면의 세로 방향의 크기는 Kmax이고 가로 방향의 크기는 Lmax이되,
    여기서 Kmax와 Lmax는 1보다 큰 자연수이며,
    360°전방위 영상면의 가로 방향의 화각은 360°이고,
    수평 방향의 한 방향을 Z-축으로 하고 수직 방향을 Y-축으로 하는 세계 좌표계에서 360°전방위 영상면으로 포착된 세계 좌표계 상의 가상의 한 물점의 좌표를 (X, Y, Z)라 할 때,
    상기 물점의 고도각은 다음의 수학식으로 주어지고,
    Figure PCTKR2017009747-appb-I000001
    상기 물점의 방위각은 다음의 수학식으로 주어지며,
    Figure PCTKR2017009747-appb-I000002
    세계 좌표계 상의 Z-축에 대응하는 360°전방위 영상면의 한 상점인 기준점의 좌표는 (Ko, Lo)로 주어지되,
    여기서 Kδ는 1보다 크고 Kmax보다 작은 실수이며,
    Lo는 1보다 크고 Lmax보다 작은 실수이고,
    고도각 δ에 대응하는 상점의 행 번호 K는 다음의 수학식으로 주어지되,
    Figure PCTKR2017009747-appb-I000003
    여기서 F는 원점을 지나는 단조 증가 함수이며,
    열 번호 L을 갖는 상점에 대응하는 물점의 방위각 ψL은 다음의 수학식으로 주어지고,
    Figure PCTKR2017009747-appb-I000004
    직선수차보정 영상면의 세로 방향의 크기는 Imax이고 가로 방향의 크기는 Jmax이되,
    여기서 Imax와 Jmax는 1보다 큰 자연수이며,
    상기 직선수차보정 영상면의 가로 방향의 화각은 Δψ이고,
    직선수차보정 영상면 상의 중점의 좌표는 (Io, Jo)로 주어지되,
    여기서 Io는 다음의 수학식으로 주어지고,
    Figure PCTKR2017009747-appb-I000005
    Jo는 다음의 수학식으로 주어지며,
    Figure PCTKR2017009747-appb-I000006
    상기 직선수차보정 영상면이 향하는 주시 방향의 방위각이 β이고 고도각이 α일 때,
    상기 직선수차보정 영상면 상의 좌표 (I, J)를 가지는 상점의 영상 신호는 360°전방위 영상면에서 가상의 좌표 (xI,J, yI,J)를 가지는 가상의 상점의 영상 신호로 주어지되,
    상기 좌표 (xI,J, yI,J)는 다음의 일련의 수학식으로 주어지는 것을 특징으로 하는 영상 처리 방법.
    Figure PCTKR2017009747-appb-I000007
    Figure PCTKR2017009747-appb-I000008
    Figure PCTKR2017009747-appb-I000009
    Figure PCTKR2017009747-appb-I000010
    Figure PCTKR2017009747-appb-I000011
    Figure PCTKR2017009747-appb-I000012
    Figure PCTKR2017009747-appb-I000013
    Figure PCTKR2017009747-appb-I000014
    Figure PCTKR2017009747-appb-I000015
    Figure PCTKR2017009747-appb-I000016
    Figure PCTKR2017009747-appb-I000017
    Figure PCTKR2017009747-appb-I000018
  2. 제 1항에 있어서,
    상기 360°전방위 영상면은 Y-축을 중심으로 균일한 각속도로 회전하는 카메라에서 얻어진 것을 특징으로 하되,
    상기 카메라의 몸체 내부에는 Y-축에 평행한 방향으로 장착된 라인 스캔 센서를 구비하며,
    상기 카메라에 장착된 결상 렌즈의 마디점은 세계 좌표계의 원점에 위치하고,
    상기 카메라가 회전하더라도 상기 렌즈의 광축은 항상 X-Z 평면에 포함되며,
    상기 렌즈의 실제 투사 방식은
    Figure PCTKR2017009747-appb-I000019
    와 같이 주어지되,
    여기서 r은 상기 렌즈의 영상면에서의 상 크기이며,
    θ는 상기 렌즈에 입사하는 입사광의 입사각이며,
    f는 원점을 지나는 단조증가함수이며,
    상기 라인 스캔 센서는 Kmax 개의 유효 픽셀을 가지고 있으며,
    라인 스캔 센서에서 인접하는 픽셀간의 간격은 p이며,
    상기 함수 F는 다음의 수학식으로 주어지고,
    Figure PCTKR2017009747-appb-I000020
    상기 카메라가 1회전하는 동안에 Lmax 번의 샘플링이 이루어지며,
    각 샘플링에서는 Kmax개의 영상 신호가 얻어지고,
    Lmax번의 샘플링으로 이루어진 영상 신호들이 모두 가로 방향으로 축적되어 세로 방향의 크기가 Kmax이고 가로 방향의 크기가 Lmax인 360°전방위 영상면이 생성되는 것을 특징으로 하는 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 카메라에 장착된 결상 렌즈는 화각이 180°이상인 어안 렌즈인 것을 특징으로 하는 영상 처리 방법.
  4. 회전하는 카메라를 사용하는 360°전방위 영상면 획득 장치에 있어서,
    360°전방위 영상면 획득 장치는 하부의 기저부와 상부의 회전부를 포함하며,
    회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
    기저부에는 회전부를 균일한 각속도로 회전시킬 수 있는 수단이 구비되어 있고,
    회전부에는 결상 렌즈를 장착한 카메라가 설치되어 있으며,
    카메라의 몸체 내부에는 라인 스캔 센서가 회전축과 평행한 방향으로 설치되어 있고,
    라인 스캔 센서에는 Kmax개의 유효 픽셀이 있되,
    여기서 Kmax는 1보다 큰 자연수이고,
    결상 렌즈의 마디점은 회전축 상에 위치하며,
    결상 렌즈의 광축은 회전축에 수직하며,
    회전부가 1회전할 동안에 균일한 시간 간격으로 Lmax번의 샘플링이 이루어지되,
    여기서 Lmax는 1보다 큰 자연수이며,
    기저부는 회전부가 1회전하는 동안에 카메라로부터 얻어진 영상 신호들을 가로 방향으로 집적하여 세로 방향의 크기가 Kmax이고 가로 방향의 크기가 Lmax인 360°전방위 영상면을 생성하는 것을 특징으로 하는 360°전방위 영상면 획득 장치.
  5. 제 4항에 있어서,
    상기 카메라에 장착된 결상 렌즈는 화각이 180°이상인 어안 렌즈인 것을 특징으로 하는 영상 처리 방법.
  6. 제 4항에 있어서,
    기저부에는 360°전방위 영상 획득 장치의 위치와 기울기를 측정할 수 있는 기울기 센서와 디지털 나침반과 GPS 수신기가 장착되어 있으며,
    회전부에서 획득된 영상 신호들은 광 신호나 무선 신호로 기저부로 전달되는 것을 특징으로 하는 360°전방위 영상면 획득 장치.
  7. 회전하는 카메라를 사용하는 이중 360°전방위 영상면 획득 장치에 있어서,
    이중 360°전방위 영상면 획득 장치는 하부의 기저부와 상부의 회전부를 포함하며,
    회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
    기저부에는 회전부를 균일한 각속도로 회전시킬 수 있는 수단이 구비되어 있고,
    회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
    각 카메라의 몸체 내부에는 라인 스캔 센서가 회전축과 평행한 방향으로 설치되어 있고,
    라인 스캔 센서에는 Kmax개의 유효 픽셀이 있되,
    여기서 Kmax는 1보다 큰 자연수이고,
    각 카메라에 장착된 두 결상 렌즈의 마디점의 중간은 회전축 상에 위치하고,
    두 결상 렌즈의 광축은 회전축에 수직하며,
    회전부가 1회전할 동안에 균일한 시간 간격으로 Lmax번의 샘플링이 이루어지되,
    여기서 Lmax는 1보다 큰 자연수이며,
    기저부는 회전부가 1회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 Kmax이고 가로 방향의 크기가 Lmax인 360°전방위 영상면의 쌍을 생성하는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
  8. 제 7항에 있어서,
    상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고,
    결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며,
    결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
  9. 제 7항에 있어서,
    기저부에는 이중 360°전방위 영상 획득 장치의 위치와 기울기를 측정할 수 있는 기울기 센서와 디지털 나침반과 GPS 수신기가 장착되어 있으며,
    회전부에서 획득된 영상 신호들은 광 신호나 무선 신호로 기저부로 전달되는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
  10. 영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템에 있어서,
    영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며,
    회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
    회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
    각 카메라의 몸체 내부에는 라인 스캔 센서가 회전축 방향으로 설치되어 있고,
    라인 스캔 센서에는 Kmax개의 유효 픽셀이 있되,
    여기서 Kmax는 1보다 큰 자연수이고,
    각 카메라에 장착된 결상 렌즈의 마디점의 중간은 회전축 상에 위치하며,
    회전부가 1 회전할 동안에 균일한 시간 간격으로 Lmax번의 샘플링이 이루
    어지되,
    여기서 Lmax는 1보다 큰 자연수이며,
    기저부는 회전부가 1회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 Kmax이고 가로 방향의 크기가 Lmax인 360°전방위 영상면의 쌍을 생성하며,
    영상 표시 수단은 사용자의 왼쪽 눈과 오른쪽 눈에 시점이 다른 직선수차보정 영상을 표시할 수 있는 수단을 구비하며,
    영상 선택 수단은 사용자가 보기를 원하는 방향의 방위각과 고도각의 정보를 추출하여 영상 처리 수단으로 전송하며,
    영상 처리 수단은 영상 선택 수단에서 전송되어진 방위각과 고도각을 기반으로 360°전방위 영상면의 쌍에서 직선수차보정 영상의 쌍을 생성하여 영상 표시 수단으로 전송하는 것을 특징으로 하는 입체 전방위 영상 시스템.
  11. 제 10항에 있어서,
    상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고,
    결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며,
    결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
  12. 제 10항에 있어서,
    영상 획득 장치의 기저부에는 영상 획득 장치의 위치와 기울기를 측정할 수 있는 기울기 센서와 디지털 나침반과 GPS 수신기가 장착되어 있으며,
    회전부에서 획득된 영상 신호들은 광 신호나 무선 신호로 기저부로 전달되는 것을 특징으로 하는 입체 전방위 영상 시스템.
  13. 제 10항에 있어서,
    영상 표시 수단은 헤드 마운티드 디스플레이 기기이며,
    영상 선택 수단은 헤드 마운티드 디스플레이 기기 내부에 장착된 방향 센서인 것을 특징으로 하는 입체 전방위 영상 시스템.
  14. 영상 획득 수단과 영상 처리 수단과 영상 표시 수단과 영상 선택 수단을 포함하는 입체 전방위 영상 시스템에 있어서,
    영상 획득 수단은 하부의 기저부와 상부의 회전부를 포함하며,
    회전부는 회전축을 중심으로 기저부에 대하여 무한 회전할 수 있도록 기저부와 연결되어 있으며,
    회전부에는 동일한 사양을 가지는 두 대의 카메라가 같은 방향으로 나란히 설치되어 있되,
    두 대의 카메라에는 동일한 사양을 가지는 결상 렌즈가 장착되어 있으며,
    각 카메라의 몸체 내부에는 라인 스캔 센서가 각 결상 렌즈의 광축에 수직한 방향으로 설치되어 있고,
    라인 스캔 센서에는 Kmax개의 유효 픽셀이 있되,
    여기서 Kmax는 1보다 큰 자연수이고,
    두 결상 렌즈의 마디점의 중간은 회전축 상에 위치하며,
    회전부는 동일한 각속도로 계속 회전하되,
    회전부의 회전은 영상 획득이 이루어지는 활성 회전과 영상 획득이 이루어지지 않는 공회전이 있으며,
    활성 회전이 이루어지는 동안에는 회전부가 360°를 회전하는 동안에 균일한 시간 간격으로 Lmax번의 샘플링이 이루어지되,
    여기서 Lmax는 1보다 큰 자연수이며,
    회전부가 매 n번의 회전을 할 때마다 1번의 활성 회전과 (n-1) 번의 공회전이 이루어지되,
    여기서 n은 1보다 큰 자연수이며,
    기저부는 회전부가 활성 회전하는 동안에 두 카메라로부터 얻어진 영상 신호들을 각각 가로 방향으로 집적하여 세로 방향의 크기가 Kmax이고 가로 방향의 크기가 Lmax인 360°전방위 영상면의 쌍을 생성하며,
    영상 표시 수단은 사용자의 왼쪽 눈과 오른쪽 눈에 시점이 다른 직선수차보정 영상을 표시할 수 있는 수단을 구비하며,
    영상 선택 수단은 사용자가 보기를 원하는 방향의 방위각과 고도각의 정보를 추출하여 영상 처리 수단으로 전송하며,
    영상 처리 수단은 영상 선택 수단에서 전송되어진 방위각과 고도각을 기반으로 360°전방위 영상면의 쌍에서 직선수차보정 영상의 쌍을 생성하여 영상 표시 수단으로 전송하는 것을 특징으로 하는 입체 전방위 영상 시스템.
  15. 제 14항에 있어서,
    상기 카메라에 장착된 결상 렌즈는 회전축 방향의 화각이 180°이상이고,
    결상 렌즈의 광축에 수직한 단면은 회전축에 수직한 방향으로 측정한 폭이 회전축 방향으로 측정한 높이보다 적으며,
    결상 렌즈가 광축 방향으로 이동하더라도 결상 렌즈의 장축이 회전축 방향을 유지하는 것을 특징으로 하는 이중 360°전방위 영상면 획득 장치.
  16. 제 14항에 있어서,
    상기 두 카메라에 장착된 결상 렌즈는 렌즈의 화각을 변경할 수 있는 줌 렌즈인 것을 특징으로 하는 입체 전방위 영상 시스템.
PCT/KR2017/009747 2016-09-06 2017-09-06 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라 WO2018048185A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2016-0114184 2016-09-06
KR20160114184 2016-09-06
KR10-2017-0015529 2017-02-03
KR20170015529 2017-02-03
KR1020170113227A KR101889225B1 (ko) 2016-09-06 2017-09-05 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
KR10-2017-0113227 2017-09-05

Publications (1)

Publication Number Publication Date
WO2018048185A1 true WO2018048185A1 (ko) 2018-03-15

Family

ID=61561948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009747 WO2018048185A1 (ko) 2016-09-06 2017-09-06 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라

Country Status (1)

Country Link
WO (1) WO2018048185A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787302A (zh) * 2020-06-29 2020-10-16 湖南傲英创视信息科技有限公司 基于线扫描相机的立体全景直播拍摄系统
CN111861912A (zh) * 2020-06-30 2020-10-30 湖南傲英创视信息科技有限公司 一种线列周扫立体全景图像去噪方法、系统及存储介质
US20210088893A1 (en) * 2019-09-19 2021-03-25 Canon Kabushiki Kaisha Lens apparatus and image pickup apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
KR20100001924A (ko) * 2008-06-27 2010-01-06 (주)오션망고코리아 양안식 입체영상 카메라 장치 및 그 카메라 장착 장치
KR20120125073A (ko) * 2011-05-06 2012-11-14 (주)지에스엠솔루션 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치
KR101376733B1 (ko) * 2013-01-03 2014-03-25 주식회사 스테레오피아 수평 이동식 입체 카메라 장치 및 광축 정렬방법
KR101502448B1 (ko) * 2014-09-25 2015-03-13 주식회사 영국전자 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
KR20100001924A (ko) * 2008-06-27 2010-01-06 (주)오션망고코리아 양안식 입체영상 카메라 장치 및 그 카메라 장착 장치
KR20120125073A (ko) * 2011-05-06 2012-11-14 (주)지에스엠솔루션 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치
KR101376733B1 (ko) * 2013-01-03 2014-03-25 주식회사 스테레오피아 수평 이동식 입체 카메라 장치 및 광축 정렬방법
KR101502448B1 (ko) * 2014-09-25 2015-03-13 주식회사 영국전자 좌우 360도 상하 360도의 화각을 가지는 영상감시 시스템 및 감시방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210088893A1 (en) * 2019-09-19 2021-03-25 Canon Kabushiki Kaisha Lens apparatus and image pickup apparatus
US11796906B2 (en) * 2019-09-19 2023-10-24 Canon Kabushiki Kaisha Lens apparatus and image pickup apparatus
CN111787302A (zh) * 2020-06-29 2020-10-16 湖南傲英创视信息科技有限公司 基于线扫描相机的立体全景直播拍摄系统
CN111861912A (zh) * 2020-06-30 2020-10-30 湖南傲英创视信息科技有限公司 一种线列周扫立体全景图像去噪方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US9948858B2 (en) Image stabilization related methods and apparatus
WO2018048185A1 (ko) 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
US6583815B1 (en) Method and apparatus for presenting images from a remote location
US5721585A (en) Digital video panoramic image capture and display system
US20100045773A1 (en) Panoramic adapter system and method with spherical field-of-view coverage
Foote et al. FlyCam: practical panoramic video
WO2011005024A2 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 씨모스 이미지 센서
US7525567B2 (en) Recording a stereoscopic image of a wide field of view
US6002430A (en) Method and apparatus for simultaneous capture of a spherical image
WO2018217057A1 (ko) 360 비디오 처리 방법 및 그 장치
KR102126159B1 (ko) 주사형 전방위 카메라 및 주사형 입체 전방위 카메라
EP1178352A1 (en) Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
WO2019168304A1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
WO2004066632A1 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
JP2006352851A (ja) 複合カメラによりシーンの画像を取得する方法及び装置
WO2019245303A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US20050093891A1 (en) Image orientation apparatus and method
WO2018043905A1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2023177036A1 (ko) 휴대용 입체촬영 카메라 및 시스템
US7051938B2 (en) System and method for a multi-directional imaging system
KR20020040919A (ko) 단일 영사기 다방향 영사 장치를 갖춘 극장 시스템
KR20060094957A (ko) 광역 이미지와 그 관심 영역을 캡쳐하는 방법 및 시스템
KR101889225B1 (ko) 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
KR101009683B1 (ko) 파노라믹 동영상 생성 시스템
WO1996031050A1 (en) Video viewfinder

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17849069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17849069

Country of ref document: EP

Kind code of ref document: A1