KR102126159B1 - Scanning panoramic camera and scanning stereoscopic panoramic camera - Google Patents
Scanning panoramic camera and scanning stereoscopic panoramic camera Download PDFInfo
- Publication number
- KR102126159B1 KR102126159B1 KR1020190143076A KR20190143076A KR102126159B1 KR 102126159 B1 KR102126159 B1 KR 102126159B1 KR 1020190143076 A KR1020190143076 A KR 1020190143076A KR 20190143076 A KR20190143076 A KR 20190143076A KR 102126159 B1 KR102126159 B1 KR 102126159B1
- Authority
- KR
- South Korea
- Prior art keywords
- rail
- camera
- line scan
- mount
- axis
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/02—Stereoscopic photography by sequential recording
- G03B35/04—Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H04N5/23238—
-
- H04N5/23299—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
본 발명은 결상 렌즈를 장착한 한 대 또는 두 대의 라인 스캔 카메라를 이용하여 전방위 영상이나 입체 전방위 영상을 얻는 주사형 전방위 카메라 또는 주사형 입체 전방위 카메라에 관한 것이다.The present invention relates to a scanning omnidirectional camera or a scanning omnidirectional omnidirectional camera for obtaining omnidirectional images or stereoscopic omnidirectional images using one or two line scan cameras equipped with an imaging lens.
1788년에 영국의 화가 Robert Barker는 스코틀랜드 에든버러시(Edinburgh, Scotland)의 풍경을 원통형 벽의 내부에 그려서 그 중심에 선 관객이 360° 모든 방향의 도시 풍경을 감상할 수 있도록 하였다고 한다. 도 1은 에든버러 대학 도서관에 소장중인 Robert Barker의 전방위 회화를 보여준다([비특 1]). 그는 그리스어로 '전부(all)'를 뜻하는 'pan'과 '본다(view)'를 뜻하는 'horama'를 합성하여 파노라마(panorama)라는 단어를 만든 인물이기도 하다([비특 2] ~ [비특 3]).In 1788, British painter Robert Barker said that the scenery of Edinburgh, Scotland, was drawn inside the cylindrical wall, allowing the audience at the center to enjoy the 360° view of the city in all directions. Figure 1 shows the omnidirectional conversation of Robert Barker, who is in the Edinburgh University Library ([Special 1]). He is also a person who created the word panorama by combining'pan', meaning'all' in Greek, and'horama', meaning'view' ([Special 2] ~ [Special] 3]).
회화가 아닌 사진으로서의 전방위 영상을 얻는 방법은 렌즈 자체에 전방위 영상을 포착하는 기능이 있는 전방위 렌즈(panoramic lens)를 이용하는 방법도 있고, 전방위 카메라를 이용하는 방법도 있다. 여기서는 두 경우를 구분하지 않고 전방위 영상 시스템이라고 지칭할 것이다.As a method of obtaining an omnidirectional image as a photograph rather than a painting, there is a method using a panoramic lens having a function of capturing an omnidirectional image on the lens itself, or a method using an omnidirectional camera. Here, the two cases will be referred to as omnidirectional imaging systems.
전방위 영상을 얻는 가장 쉬운 방법의 하나는 반사식 렌즈와 굴절식 렌즈를 결합한 반사굴절식 전방위 렌즈(catadioptric panoramic lens)를 사용하는 것이며, 20세기 초반에 시작되어 현재까지도 활발하게 연구되고 있지만([특1] ~ [특8]), 반사굴절식 렌즈에 대한 이론적인 연구의 역사는 그다지 오래지 않다([비특 4] ~ [비특 11]).One of the easiest ways to obtain omnidirectional images is to use a catadioptric panoramic lens that combines a reflective lens with a refractive lens. It started in the early 20th century and is still actively studied ([Special 1] ~ [Special 8]), The history of theoretical research on reflective refractive lenses is not very long ([Special 4]-[Special 11]).
도 2는 참고 문헌 [비특 10]에 포함된 직선수차보정 투사 방식(rectilinear projection scheme)을 가지는 전방위 거울을 사용하는 전방위 영상 시스템의 일 예를 보여주며, 전방위 거울의 수직 방향의 화각은 사람의 표준 시각과 일치하도록 46°로 설계되었다.FIG. 2 shows an example of an omnidirectional imaging system using an omnidirectional mirror having a rectilinear projection scheme included in Reference [Non-Special 10], and the vertical angle of view of the omnidirectional mirror is the standard of a person. It was designed at 46° to match the vision.
도 3은 도 2의 전방위 영상 시스템으로 포착한 펼쳐지지 않은 전방위 영상을 보여주며, 도 4는 도 3의 펼쳐지지 않은 전방위 영상에서 얻어진 펼쳐진 전방위 영상을 보여주고, 도 5는 도 4의 전방위 영상의 일부를 보여준다. 도 3에서 도 4를 얻는데 단순한 삼각 함수 변환만을 사용하였음도 불구하고 도 5에서 알 수 있는 바와 같이 수직 방향의 비례가 잘 맞는 것을 알 수 있다. 이는 처음부터 도 2에 보이는 전방위 거울이 직선수차보정 투사 방식을 갖도록 설계되었기 때문이다.FIG. 3 shows the unfolded omnidirectional image captured by the omnidirectional imaging system of FIG. 2, FIG. 4 shows the unfolded omnidirectional image obtained from the unfolded omnidirectional image of FIG. 3, and FIG. 5 shows the omnidirectional image of FIG. 4 Show some. Although only a simple trigonometric function transformation is used to obtain FIG. 3 to FIG. 4, it can be seen that the proportion in the vertical direction fits well, as can be seen in FIG. 5. This is because the omnidirectional mirror shown in FIG. 2 is designed to have a linear aberration correction projection method from the beginning.
한편, 경관이 뛰어난 관광지 등에서 360° 모든 방향의 경치를 한 장의 사진에 포착하는 파노라마 사진기(panoramic camera)는 전방위 영상 시스템의 일 예이다. 전방위 영상 시스템은 관찰자가 제자리에서 한 바퀴 돌 때 바라보이는 경치를 모두 한 장의 이미지에 포착하는 영상 시스템을 지칭한다. 이와는 다르게 관찰자의 위치에서 바라볼 수 있는 모든 방향의 경치를 한 장의 이미지에 포착하는 시스템은 전방향 영상 시스템(omnidirectional imaging system)이라 지칭된다. 전방향 영상 시스템에서는 관찰자가 제자리에서 한 바퀴 도는 것은 물론, 고개를 젖히거나 숙여서 바라볼 수 있는 모든 경치를 포함한다. 수학적으로는 영상 시스템으로 포착할 수 있는 영역의 입체각(solid angle)이 4π 스테라디안(steradian)인 경우를 지칭한다.On the other hand, a panoramic camera that captures a 360° view in one direction from a tourist attraction with a great view is an example of an omnidirectional video system. An omni-directional imaging system refers to an imaging system that captures all the scenery viewed when an observer turns around in one image. In contrast, a system that captures scenery in all directions that can be viewed from an observer's position on a single image is referred to as an omnidirectional imaging system. The omni-directional imaging system includes not only the observer's rotation in place, but also all the scenery that can be seen by tilting or leaning his head. Mathematically, it refers to a case in which the solid angle of an area that can be captured by an imaging system is 4π steradian.
전방위 영상 시스템이나 전방향 영상 시스템은 건축물, 자연경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, CCD(Charge-Coupled Device)나 CMOS(Complementary Metal-Oxide-Semiconductor: 상보형(相補型) 금속 산화막(酸化膜) 반도체) 카메라를 이용한 보안·감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 비행기 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.An omni-directional imaging system or omni-directional imaging system, as well as traditional fields such as architecture, natural scenery, and astronomical imaging, charge-coupled device (CCD) or complementary metal-oxide-semiconductor (CMOS) complementary metal oxide films (Semiconductor semiconductor) Many researches and developments have been made to apply to security and surveillance systems using cameras, virtual tours of real estate, hotels, tourist destinations, or mobile robots and drones.
전방위 카메라는 그 역사도 오래되고 종류도 다양하지만, 크게 3가지 종류로 분류할 수 있다. 첫 번째로 로모그래피(Lomography)사의 Spinner 360과 같은 회전하는 주사형 전방위 카메라(scanning panoramic camera)를 들 수 있다. 촬영자가 카메라를 한 손에 들고 다른 손으로 핸들에 달린 줄을 잡아당기면 카메라가 360° 회전하면서 35mm 필름에 전방위 영상이 기록된다. 이와 같이 회전하는 전방위 카메라는 원리적으로 가장 정확한 전방위 영상을 만들어 낸다. 그런데 촬영시에 카메라를 든 손이 흔들리지 않을 수 없으므로 실제로는 정확한 전방위 영상이 얻어지지 않으며, 이 제품은 신기한 장난감(gadget)에 가깝다.Omni-directional cameras have a long history and varied types, but can be classified into three types. The first is a rotating scanning panoramic camera such as Spinner 360 from Lomography. When the photographer holds the camera in one hand and pulls the string attached to the handle with the other hand, the camera rotates 360° and records omnidirectional images on a 35mm film. In principle, the rotating omnidirectional camera produces the most accurate omnidirectional image. However, since the camera-raised hand cannot be shaken during shooting, an accurate omnidirectional image is not actually obtained, and this product is close to a mysterious toy.
[특 9]는 1978년 11월 27일 출원된 미국 등록 특허로서 회전하는 주사형 전방위 카메라에 관한 것이고, 이 특허는 발명자들이 설립한 회사(Globuscope Inc., a Corp. of N. Y.)에 의하여 Globuscope라는 상품명으로 판매되었으나 현재는 단종된 상태이다. 도 6은 이 전방위 카메라의 커버를 벗긴 모습을 보여준다. 이 카메라는 35mm 필름을 사용하며, 태엽 동력으로 360°를 회전하는데, 사용자는 Globusope를 손으로 들고서 카메라 헤드가 회전하는 1초 남짓의 시간 움직이지 않고 있어야 한다. 이 특허는 주사형 전방위 카메라의 고질적인 문제인 밴딩(banding) 문제를 해결하였다고 주장하는데, 옥수수 전분(corn starch) 등의 요변성 액체(Thixotropic fluids)를 사용하여 회전 속도를 일정하게 유지시킨다고 한다. 한편, 도 7은 Seitz사의 주사형 전방위 카메라(Seitz Roundshot 35/35 Panoramic Film Camera)의 모습이다.[Feature 9] is a US registered patent filed on November 27, 1978, which relates to a rotating scanning omnidirectional camera, which is called Globuscope by a company established by the inventors (Globuscope Inc., a Corp. of NY). It was sold under the trade name, but is now discontinued. 6 shows a state in which the cover of the omni-directional camera is removed. The camera uses a 35mm film and rotates 360° with the mainspring power, which requires the user to hold the Globusope by hand and keep the camera head still rotating for about a second. The patent claims to have solved the banding problem, which is a chronic problem of scanning omnidirectional cameras. It is said that the rotation speed is kept constant using thixotropic fluids such as corn starch. Meanwhile, FIG. 7 is a view of a Seitz Roundshot 35/35 Panoramic Film Camera.
[특 10]은 1983년 6월 28일 출원된 미국 등록 특허로서, 35mm 필름이 아니라 linescan sensor를 사용하는 주사형 전방위 텔레비전 카메라(scanning panoramic television camera)에 관한 것이다. 이 카메라는 주로 내시경 카메라(boroscope)로 사용할 목적으로 개발된 것으로, 회전하는 카메라 헤드(camera head)와 카메라 몸체(camera body) 사이에 영상 신호 및 컨트롤 신호를 교환하기 위하여 비접촉식 광학적 로터리 조인트(non-contacting optical rotary joint)를 사용한다.[Special 10] is a US registered patent filed on June 28, 1983 and relates to a scanning panoramic television camera that uses a linecan sensor rather than a 35mm film. This camera is mainly developed for use as an endoscope camera (boroscope), a non-contact optical rotary joint (non-) to exchange the image signal and control signal between the rotating camera head (camera head) and the camera body (camera body) contacting optical rotary joint).
[특 11]은 1996년 8월 8일 출원된 미국 등록 특허로서, 이 특허에는 어안 렌즈와 이 어안 렌즈의 상(image)을 회전 스테이지의 하단부로 전송하기 위한 릴레이(relay) 렌즈를 포함하는 전방위 카메라가 개시되어 있다. 릴레이 렌즈는 회전하는 어안 렌즈의 상을 회전 스테이지 하단에 고정된 리니어 이미지 센서(linear sensor array)와 일치시키기 위하여 상을 역회전(derotate)시키는 역할을 하며, 거울과 도브 프리즘(dove prism)을 포함하는 복잡한 구조로 되어 있다. 원리적으로 가능하지만 실제로 실외에서 사용하기에 충분한 정도로 안정적인 성능을 구현하기는 어려울 것으로 기대되고, 실제로 제작된 적은 없는 것으로 추정된다.[Special 11] is a U.S. registered patent filed on August 8, 1996, which includes a fisheye lens and a relay lens for transmitting an image of the fisheye lens to the lower end of the rotating stage. The camera is disclosed. The relay lens serves to derotate the image to match the image of the rotating fish-eye lens with a linear sensor array fixed at the bottom of the rotating stage, and includes a mirror and a dove prism. It has a complicated structure. In principle, it is possible, but it is expected that it will be difficult to realize stable performance enough to be used outdoors, and it is presumed that it has never been produced.
공항이나 항만과 같이 그 너비가 수 km에 달하기도 하는 넓은 영역을 감시하는 전방위 카메라도 있는데, 이와 같은 카메라는 밤낮의 변화와 악천후에도 상관없이 침입자를 용이하게 검출하기 위하여 대개 중적외선(MIR: Medium Wave Infrared, 中赤外線) 영역에서 작동하며, 가로 방향의 화각과 세로 방향의 화각이 극단적으로 다른 것이 특징이다[비특 12]. 예를 들어 프랑스 HGH Infrared System의 Spynel 시리즈 레이더는 가로 방향의 화각은 360°이지만, 세로 방향의 화각은 20° 정도이다. 이런 카메라는 적외선 렌즈와 리니어 영상 센서(linear image sensor)를 장착한 카메라가 수평 방향으로 끊임없이 회전하면서 전방위 영상을 갱신하여 동영상에 가까운 전방위 영상을 보여준다.There are also omni-directional cameras that monitor large areas, such as airports and ports, that can reach a few kilometers in width. These cameras are usually medium-infrared (MIR) medium to easily detect intruders regardless of day and night changes and bad weather. It operates in a wave-infrared area, and is characterized by extremely different angles of view in the horizontal direction and in the vertical direction [Non-Special 12]. For example, the Spynel series radar of the HGH Infrared System in France has an angle of view of 360° in the horizontal direction, but an angle of view in the vertical direction of 20°. In such a camera, a camera equipped with an infrared lens and a linear image sensor continuously rotates in the horizontal direction to update the omnidirectional image to show the omnidirectional image close to the video.
한편, 카메라 전체가 회전하는 대신에 렌즈만 회전하는 방식의 전방위 카메라도 있는데, Horizon, Noblex, Widelux 같은 제품들이 있다. 이와 같은 카메라의 가로 방향의 화각은 대개 140° 정도로 작은 편이고, 필름은 렌즈 반대쪽의 원통형 실린더에 감긴다. 따라서, 렌즈가 회전하더라도 렌즈에서 필름까지의 거리는 항상 일정하게 유지된다. 이와 같은 카메라는 풍경 사진이나 단체 사진을 찍기에 적당하며, 사진 촬영시 렌즈가 회전하는 2 ~ 3초 동안 움직이지 말아야 한다.On the other hand, there are also omni-directional cameras in which only the lens is rotated instead of the entire camera rotating, and there are products such as Horizon, Noblex, and Widelux. The horizontal angle of view of such a camera is usually as small as 140°, and the film is wound on a cylindrical cylinder opposite the lens. Therefore, even if the lens rotates, the distance from the lens to the film is always kept constant. Such a camera is suitable for taking a landscape photo or a group photo, and when taking a picture, the lens should not move for 2-3 seconds while the lens rotates.
국립공원 등에서 야생 동물 관찰용으로 널리 사용되는 Moultrie사의 전방위 카메라도 렌즈가 회전하는 방식을 사용하는데, 모션 센서에 움직임이 감지되면 렌즈가 회전하면서 전방위 영상을 포착하는 방식이다.Moultrie's omni-directional camera, which is widely used for wildlife observation in national parks, also uses a method in which the lens rotates. When motion is detected by the motion sensor, the lens rotates to capture the omni-directional image.
이와 같은 회전하는 전방위 카메라들은 파노라마의 개념을 직관적으로 구현하고 있고, 원리적으로도 정확한 전방위 영상을 얻을 수 있지만 동영상을 얻기에는 곤란하다. 복사기로 서류를 복사하면서 실수로 서류를 움직여 본 사람은 움직이는 물체를 움직이는 카메라로 찍을 때 어떤 결과가 벌어질지 쉽게 짐작할 수 있을 것이다.These rotating omnidirectional cameras intuitively implement the concept of panorama, and in principle, it is possible to obtain an accurate omnidirectional image, but it is difficult to obtain a video. Anyone who accidentally moves a document while copying the document with a copier can easily guess what will happen when a moving object is photographed with a moving camera.
두 번째 방식은 여러 장의 영상들을 얻은 후에 이 영상들을 이어 붙여서 하나의 전방위 영상을 얻는 방식이다. 영상을 이어 붙이는 것이 바느질을 하는 것과 비슷하다고 하여 Stitching 방식이라고 한다. 여러 장의 영상들을 얻기 위하여 하나의 카메라를 돌려가면서 할 수도 있고, 처음부터 각각 다른 방향을 향하는 여러 대의 카메라에서 얻어진 영상들을 사용할 수도 있다. 전자는 주로 정지 영상을 얻기 위하여 사용되며, 후자는 주로 동영상을 얻기 위하여 사용된다.The second method is to obtain one omnidirectional image by pasting these images after obtaining several images. The stitching method is said to be similar to stitching video. You can do this by turning one camera to get multiple images, or you can use images from multiple cameras facing different directions from the beginning. The former is mainly used to obtain a still image, and the latter is mainly used to obtain a moving image.
35mm 필름 카메라의 전성기에는 카메라의 방향을 수평으로 돌려가면서 여러 장의 사진을 얻은 후에 이 사진들이 잘 이어지도록 중첩되는 부분을 가위로 잘라서 이어 붙이기도 했다. 이와 같은 전방위 영상도 좀 더 전문적인 방식으로 얻기 위해서는 카메라를 삼각대에 장착한 후에, 카메라 렌즈의 마디점(Nodal Point)이 삼각대의 중심과 일치하도록 카메라를 수평으로 이동시킬 수 있는 파노라마 헤드(Panorama head)라는 특수한 보조 기구를 사용한다. 카메라의 마디점이란 카메라를 이상적인 바늘구멍 사진기(pinhole camera)로 가정했을 때 그 바늘구멍의 위치에 해당하는 점이며, 실제 렌즈 내의 어느 곳에 마디점이 위치하는지는 렌즈의 설계도가 있다면 이론적으로 계산할 수도 있고, 아니면 실제 카메라를 가지고 실험적으로 결정할 수도 있다. 이와 같은 방식을 노달 슬라이드(Nodal Slide) 방식이라고 한다.In the heyday of a 35mm film camera, the camera was rotated horizontally, and after taking several photos, the overlapping part was cut with scissors so that the photos could be joined well. In order to obtain such omnidirectional images in a more professional manner, after mounting the camera on a tripod, a panoramic head that can move the camera horizontally so that the nodal point of the camera lens matches the center of the tripod ) Using a special aid. The nodal point of the camera is the point corresponding to the position of the needle hole when the camera is assumed to be an ideal pinhole camera, and the position of the nodal point in the actual lens can be calculated theoretically if there is a lens design. Or you can experiment with an actual camera. This method is called a Nodal Slide method.
디지털 카메라와 CCTV, 스마트폰이 출현하면서 Stitching 방식으로 전방위 영상을 제작하는 것이 훨씬 쉬워졌으며, Stitching을 쉽게 해주는 상용 소프트웨어도 찾아볼 수 있다([특12] ~ [특13], [비특 13]). 요즘은 PTGui나 AutoPano와 같은 소프트웨어들이 인기가 있다고 한다.With the advent of digital cameras, CCTVs, and smartphones, it has become much easier to produce omnidirectional images using the stitching method, and commercial software that facilitates stitching can be found ([Special 12] to [Special 13], [Special 13]) . Software such as PTGui and AutoPano are popular these days.
세 번째 방식은 광각 렌즈(wide-angle lens)로 영상을 촬영한 후에 영상 처리를 통하여 전방위 영상을 만들어 내는 영상 처리 기반의 전방위 카메라(image processing-based panoramic camera)이다. 영상 처리 기반의 전방위 카메라와 어안 렌즈(Fisheye lens)는 불가분의 관계에 있다.The third method is an image processing-based panoramic camera that produces an omnidirectional image through image processing after capturing an image with a wide-angle lens. An omnidirectional camera based on image processing and a fisheye lens are inseparable.
화각이 180°인 어안 렌즈를 수직으로 하늘을 향하게 하면 하늘의 별자리에서부터 지평선까지를 한 장의 이미지에 포착하는 것이 가능하다. 이러한 이유로 어안 렌즈는 전천 렌즈(all-sky lens)라고도 지칭된다. 특히, 니콘(Nikon)사의 한 어안 렌즈(6mm f/5.6 Fisheye-Nikkor)는 화각이 220°에 달하므로, 이를 카메라에 장착하면 카메라 후방의 경치도 일부나마 이미지에 포함시킬 수 있다. 이와 같이 어안 렌즈를 사용하여 얻은 영상에 영상 처리(image processing)를 하여 전방위 영상을 얻을 수 있다.When a fish-eye lens with an angle of view of 180° is vertically directed to the sky, it is possible to capture a constellation from the sky to the horizon in a single image. For this reason, fisheye lenses are also referred to as all-sky lenses. In particular, a Nikon (6mm f/5.6 Fisheye-Nikkor) fisheye lens has an angle of view of 220°, so when mounted on the camera, the scenery behind the camera can be included in some images. In this way, omnidirectional images can be obtained by performing image processing on images obtained using a fisheye lens.
참고 문헌 [비특 14] 내지 [비특 15]에는 주어진 시점(viewpoint) 및 투사 방식(projection scheme)을 가지는 영상에서 다른 시점 내지는 투사 방식을 가지는 영상을 추출하는 핵심 기술이 제시되어 있다. 구체적으로 참고 문헌 [비특 15]에는 정육면체 파노라마(cubic panorama)가 제시되어 있다. 간단히 말하면 정육면체 파노라마는 관찰자가 유리로 제작된 정육면체의 중심에 있다고 할 때 유리벽 밖으로 보이는 모든 방향의 풍경을 유리벽에 묘사하되, 모든 풍경은 정육면체의 중심에서 바라본 시점으로 묘사하는 것이다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다.In References [Non-Special 14] to [Non-Special 15], a core technique for extracting an image having a different viewpoint or projection method from an image having a given viewpoint and projection scheme is proposed. Specifically, in the reference [Non-Special 15], a cube panorama is presented. Simply put, a cube panorama describes a landscape on all sides of the glass wall that is viewed from the center of the cube, as if the observer is at the center of the cube made of glass. However, there is a disadvantage in that the actual landscape obtained by using the optical lens is not used, but the virtual landscape is a distortion-free virtual lens, that is, an image captured by a needle hole camera.
참고 문헌 [비특 16]에는 반 원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점을 형성하는 필름면 상의 물점의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. 특히, 영상 처리 알고리즘에 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립변수로 설정하여 사용이 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.In Reference [Non-Special 16], an algorithm for projecting an Omnimax image using a fish-eye lens on a semi-cylindrical screen is presented. In particular, a method of finding a position of a water spot on a film surface forming a store at a specific location on a screen is described in consideration of an error in the projection method of a fisheye lens mounted on a movie projector and an ideal equidistant projection method. Therefore, it is possible to know what the image recorded on the film should be in order to project a specific image on the screen, and such an image is produced using a computer. In particular, since the distortion of the lens is reflected in the image processing algorithm, the viewer adjacent to the projector can enjoy a satisfactory panoramic movie. However, in modeling the actual projection method of a fish-eye lens, it is inconvenient to use it by setting the angle of incidence of the incident light as a dependent variable and the image size on the film surface as an independent variable. Also, unnecessarily, the approximation was limited to the odd polynomial.
또 다른 측면에서, 사람을 포함한 모든 동식물은 중력에 의하여 지구 표면에 구속되어 살아가므로 주의 혹은 관심이 필요한 대부분의 사건은 지평선 근처에서 발생한다. 따라서 지평선 주변의 360° 모든 방향을 감시할 필요가 있더라도, 수직 방향으로는 그다지 높이까지 즉, 천정(zenith)이나 천저(nadir)까지 감시할 필요성이 적다. 그런데 360° 모든 방향의 풍경을 2차원적인 평면에 묘사하기 위해서는 어쩔 수 없이 왜곡이 필요하다. 구(sphere)의 표면인 지구상의 지리를 평면적인 이차원 지도에 표현하기 위한 지도작성법에도 마찬가지의 어려움이 존재한다.In another aspect, most animals and plants, including humans, are confined to the surface of the Earth by gravity, so most events requiring attention or attention occur near the horizon. Therefore, even if it is necessary to monitor all 360° directions around the horizon, there is less need to monitor not only the height in the vertical direction, that is, the zenith or nadir. However, distortion is inevitable in order to describe the landscape in all directions in a two-dimensional plane. The same difficulty exists in cartography for representing geography on Earth, the surface of a sphere, on a planar two-dimensional map.
지구상의 모든 동·식물과 건물 등의 무생물은 모두 중력의 영향 아래에 있으며, 중력의 방향이 똑바로 선 방향, 즉 수직선이 된다. 그런데 모든 왜곡 중에서 사람이 가장 부자연스럽게 느끼는 왜곡은 수직선이 곡선으로 보이는 왜곡이다. 따라서 다른 왜곡이 있더라도 이러한 왜곡은 없도록 하는 것이 중요하다. 그런데 지면은 대체로 중력의 방향에 대해서 수직이지만 경사진 곳에서는 당연히 수직이지 않다. 따라서 엄밀한 의미에서는 수평면을 기준으로 하여야 하며, 수직 방향은 수평면에 대하여 수직인 방향이다.All animals, plants, and inanimate objects on the earth are under the influence of gravity, and the direction of gravity becomes a straight line, that is, a vertical line. However, among all the distortions, the distortion that a person feels the most unnatural is a distortion in which a vertical line appears as a curve. Therefore, it is important to make sure that there are no other distortions. However, the ground is generally perpendicular to the direction of gravity, but of course it is not perpendicular to the slope. Therefore, in a strict sense, it should be based on a horizontal plane, and the vertical direction is a direction perpendicular to the horizontal plane.
참고 문헌 [비특 17]에는 다양한 지도 작성법 중에서도 널리 알려진 투사 방식인 등직교 투사(equi-rectangular projection), 메카토르 투사(Mercator projection) 및 원통형 투사(cylindrical projection)가 기술되어 있으며, 참고문헌 [비특 18]에는 다양한 투사 방식의 역사가 요약되어 있다. 이 중에서 등직교 투사 방식은 우리가 지구상의 지리를 표현하거나 별자리를 표시하기 위한 천구를 묘사할 때 가장 익숙한 지도 작성법의 하나이다.Reference [Non-Special 17] describes equi-rectangular projection, Mercator projection and Cylindrical projection, which are well-known projection methods among various mapping methods. ] Summarizes the history of various projection methods. Of these, the orthogonal projection method is one of the most familiar mapping methods when we describe the celestial sphere to represent geography or constellations on Earth.
참고 문헌 [특 14] 및 [비특19]에는 화각 190°를 가지는 어안 렌즈의 실시 예가 기술되어 있으며, 참고 문헌 [특 15]에는 평사투영 방식의 굴절식 및 반사굴절식 어안 렌즈를 포함하는 다양한 광각 렌즈의 실시 예가 제시되어 있다.References [Special 14] and [Non-Special 19] describe an embodiment of a fish-eye lens having an angle of view of 190°, and reference [Special 15] includes various wide-angles including a flat-projection refracting type and a refracting type fish-eye lens. An embodiment of a lens is presented.
참고 문헌 [특 16]에는 어안 렌즈를 포함하는 회전 대칭형의 광각 렌즈를 사용하여 획득한 영상에서 원통형 투사 방식이나 등직교 투사 방식 및 메카토르 투사 방식을 따르는 전방위 영상을 얻는 다양한 실시 예가 기술되어 있다.Reference [Special 16] describes various embodiments of obtaining omnidirectional images that follow a cylindrical projection method, an orthogonal projection method, and a mecator projection method from images obtained using a rotationally symmetric wide-angle lens that includes a fish-eye lens.
한편, 실내의 한쪽 벽면에 부착하여 실내 전체를 감시할 수 있는 또 다른 영상 시스템의 예로는 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 들 수 있다. 이와 같은 카메라는 광학적으로 줌 기능이 있는 렌즈를 장착한 CCTV를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다.On the other hand, another example of a video system that can be attached to one wall surface of the room and monitor the entire room is a pan, tilt, or zoom camera. Such a camera is realized by mounting a CCTV equipped with an optically zoomable lens on a pan-tilt stage.
팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(celestial sphere)의 중심에 있다고 할 때 팬은 경도(longitude)를 변경하는 작용(operation)을 의미하며, 틸트는 위도(latitude)를 변경하는 작용을 의미한다. 따라서 팬 작용의 이론적인 범위는 360°이며, 틸트 작용의 이론적인 범위는 180°이다.The pan action refers to a function capable of rotating by a predetermined angle in the horizontal direction, and the tilt action refers to a function capable of rotating by a predetermined angle in the vertical direction. In other words, when the camera is at the center of the celestial sphere describing the celestial body, the pan means the operation of changing the longitude, and the tilt means the operation of changing the latitude. Therefore, the theoretical range of the pan action is 360°, and the theoretical range of the tilt action is 180°.
이와 같은 팬·틸트·줌 카메라의 단점은 높은 가격과 큰 부피 및 중량을 들 수 있다. 광학적 줌 기능이 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이다. 따라서 팬·틸트·줌 카메라를 설치하기 위해서는 상당히 큰 비용을 지불하여야 한다. 또한, 팬·틸트·줌 카메라는 부피도 크고 무게도 무거우므로 응용 예에 따라서 상당한 장애 요인이 될 수 있다. 예를 들어 비행기와 같이 탑재체의 중량이 상당히 중요한 경우나, 아니면 좁은 공간에 영상 시스템을 설치하기 위하여 공간적인 제약이 존재하는 경우이다. 더구나 팬·틸트·줌 작용은 물리적인 작용이므로 이러한 작용을 수행하는데 시간이 많이 소요된다. 따라서 응용 예에 따라서 이와 같은 카메라의 기계적인 반응이 충분히 빠르지 않을 수 있다.The disadvantages of such a pan, tilt, and zoom camera include high price, large volume, and weight. Lenses with an optical zoom function are bulky, heavy, and expensive due to design difficulty and structural complexity. In addition, the pan/tilt stage is an expensive device comparable to a camera. Therefore, to install a pan/tilt/zoom camera, a significant cost has to be paid. In addition, the pan, tilt, and zoom cameras are bulky and heavy, which can be a significant obstacle depending on the application. This is the case, for example, when the weight of the payload is very important, such as an airplane, or when there are spatial restrictions to install the imaging system in a small space. Moreover, because the pan, tilt, and zoom actions are physical actions, it takes a lot of time to perform these actions. Therefore, depending on the application example, the mechanical response of such a camera may not be fast enough.
한편, 참고 문헌 [특 17]에는 물리적으로 움직이는 부분이 없이 팬·틸트·로테이트·줌 기능을 할 수 있는 영상 시스템이 기술되어 있다. 상기 발명은 화각이 180° 이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차별성은 사용자가 조이스틱이나 컴퓨터 마우스 등 다양한 입력장치에 의하여 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상현실(virtual reality) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 "상호적인 영상(interactive picture)"이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.On the other hand, reference [Special 17] describes a video system that can function as a pan, tilt, rotate and zoom without physically moving parts. In the present invention, after acquiring an image using a camera equipped with a fisheye lens having an angle of view of 180° or more, when a user designates a principal direction of vision using an input device such as a joystick, the camera without distortion is in that direction. It is characterized in that it extracts an image when facing, that is, a linear aberration correction image. The difference between this invention and the prior art is the fact that the user generates a linear aberration correction image in a direction selected by various input devices such as a joystick or a computer mouse. These technologies are key technologies to replace virtual reality or mechanical pan/tilt/zoom cameras, and the keyword can be called "interactive picture". In these technologies, there is no physically moving part, so the system has a fast response speed and a low risk of mechanical failure.
일반적으로 감시 카메라와 같은 영상 시스템을 설치할 때에는 수평면에 수직인 수직선이 획득된 영상에서도 수직선으로 표시되도록 한다. 그러한 상태에서 기계적인 팬·틸트·줌 작용을 하더라도 상기 수직선은 영상에서 계속 수직선으로 표시된다. 그런데 참고 문헌 [특 17]의 발명에서는 소프트웨어적인 팬·틸트 작용을 하여 얻어진 영상에서 수직선이 일반적으로 수직선으로 표시되지 않는다. 이와 같은 부자연스러운 화면을 보정하기 위하여 기계적인 팬·틸트 카메라에는 없는 회전(rotate) 작용을 추가적으로 수행하여야 한다. 그런데 상기 발명에서는 수직선이 수직선으로 표시되기 위하여 필요한 회전각이 얼마인지가 제시되지 않고 있다. 따라서 상기 발명에서는 수직선이 수직선으로 표시되는 영상을 얻기 위하여 시행착오적인 방법으로 정확한 회전각을 찾아야 하는 단점이 있다.In general, when installing an imaging system such as a surveillance camera, a vertical line perpendicular to the horizontal plane is displayed as a vertical line even in the acquired image. In such a state, even if a mechanical pan/tilt/zoom action is performed, the vertical line is continuously displayed as a vertical line in the image. However, in the invention of Reference [Special 17], in the image obtained by the software pan/tilt action, the vertical line is not generally displayed as a vertical line. In order to correct such an unnatural screen, it is necessary to additionally perform a rotation action that is not found in a mechanical pan/tilt camera. However, in the above invention, the rotation angle required for the vertical line to be displayed as a vertical line is not suggested. Therefore, in the above invention, there is a disadvantage in that an accurate rotation angle must be found by trial and error in order to obtain an image in which a vertical line is displayed as a vertical line.
또한, 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 상기 발명은 이와 같이 실제 렌즈의 왜곡 특성을 반영하지 못하므로 영상 처리를 한 영상에서도 왜곡이 있게 된다.In addition, in the above invention, the projection method of the fisheye lens is assumed to be an ideal equi-distance projection scheme. However, the actual fish-eye lens projection method usually exhibits a significant error from the ideal equidistant projection method. Since the invention does not reflect the distortion characteristics of the actual lens as described above, there is distortion even in an image processed by the image.
참고 문헌 [특 18]에는 참고 문헌 [특 17]에서 어안 렌즈의 실제 투사 방식이 반영되지 않는 단점을 보완한 영상 처리 방법이 제시되어 있다. 그러나 수직선이 영상에서 수직선으로 표시되지 않는 단점은 해소되지 않고 있다.In reference [Special 18], reference [Special 17] proposes an image processing method that compensates for the disadvantage that the actual projection method of a fish-eye lens is not reflected. However, the disadvantage that the vertical line is not displayed as a vertical line in the image has not been solved.
참고 문헌 [특 19]에는 어안 렌즈로 포착한 영상을 원격으로 전송하여 수신단에서 왜곡이 없는 직선수차보정 영상을 생성하는 영상 시스템이 기술되어 있는데 이 시스템의 가장 큰 장점으로는 기계적인 팬·틸트 카메라와 다르게 수신단에서 송신단으로 조정 신호(control signal)를 보낼 필요가 없다는 점이다. 또한, 송신단 1개에 대하여 다수의 수신단에서 각자 별개의 직선수차보정 영상을 생성할 수도 있다는 추가적인 이점이 있다.Reference [Special 19] describes an imaging system that generates a distortion-free, linear aberration correction image by transmitting images captured by a fish-eye lens remotely. The biggest advantage of this system is a mechanical pan/tilt camera. Unlike this, there is no need to send a control signal from the receiving end to the transmitting end. In addition, there is an additional advantage that a plurality of receivers may generate separate linear aberration correction images for each transmitter.
화각 180°의 어안 렌즈를 장착한 카메라 또는 가로 방향의 화각이 180°인 전방위 카메라가 실내의 한 벽면에 부착되어 있다면 사실상 감시의 사각지대가 없다. 카메라가 포착하지 못하는 영역은 감시의 필요성이 없는 벽면이기 때문이다. 그러나 어안 렌즈에 의한 영상은 통형 왜곡으로 인하여 심미적으로 불쾌감을 유발하며, 왜곡이 없는 초광각 직선수차보정 영상은 비록 실내의 대부분을 볼 수 있다고 하더라도 광축에 대하여 많이 떨어져 있는 방향의 피사체는 자연스럽게 포착되지 않는다. 또한, 전방위 카메라에 의한 영상은 실내 전체를 자연스럽게 포착할 수는 있지만 멀리 떨어져 있는 피사체가 너무 작게 포착되어서 식별이 곤란할 가능성이 있다. 이러한 경우에 가장 자연스러운 영상은 피사체의 방향으로 카메라를 향하게 하여 정면으로 바라보는 직선수차보정 영상이다.There is virtually no surveillance blind spot if a camera with a 180° angle of view, a fisheye lens, or an omnidirectional camera with a horizontal angle of view of 180° is attached to a wall in the room. This is because the area that the camera cannot capture is a wall without the need for surveillance. However, the image by the fish-eye lens causes aesthetic discomfort due to the cylindrical distortion, and the distortion-free ultra-wide-angle linear aberration correction image does not naturally capture a subject that is far away from the optical axis even though it can be seen mostly in the room. . In addition, although the image by the omni-directional camera can naturally capture the entire room, there is a possibility that it is difficult to identify because a distant subject is captured too small. In this case, the most natural image is a linear aberration correction image viewed from the front facing the camera in the direction of the subject.
전술한 바와 같이 물리적으로 이러한 일이 가능한 카메라는 왜곡이 없는 직선수차보정 렌즈를 구비하고 팬(pan)·틸트(tilt) 스테이지에 장착된 카메라이다. 카메라가 주의가 필요한 방향이 정면이 되도록 회전할 수 있기 때문에 가장 만족스러운 영상을 얻을 수 있다. 또한, 고양이나 불법 칩입자처럼 움직이는 피사체가 있을 경우에 피사체의 움직임을 그대로 따라가면서 영상을 포착할 수도 있다. 참고 문헌 [특 20]에는 이와 같은 기능을 소프트웨어적으로 구현하기 위하여 소프트웨어적으로 팬 작용을 한 이후에 틸트 작용을 하는 방법 및 틸트 작용을 한 이후에 팬 작용을 하는 영상 처리 방법이 개시되어 있다. 그런데 팬 작용과 틸트 작용의 선후 관계에 따라서 서로 다른 영상이 얻어진다. 따라서, 카메라의 설치 상태에 따라서 바람직한 영상 처리 방법을 사용하여야 한다.As described above, a physically capable camera is a camera equipped with a distortion-free linear aberration correction lens and mounted on a pan/tilt stage. The most satisfactory image can be obtained because the camera can be rotated so that the direction requiring attention is in front. In addition, when there is a moving object such as a cat or illegal chip particles, the image may be captured while following the motion of the subject. Reference [Special 20] discloses a method of tilting after panning in software and an image processing method of panning after tilting in order to implement such a function in software. However, different images are obtained according to the sequential relationship between the pan action and the tilt action. Therefore, a preferred image processing method should be used according to the installation state of the camera.
참고 문헌 [특 20]에는 광축을 중심으로 회전 대칭형인 광각 렌즈의 영상에 수학적으로 정확한 영상 처리를 함으로써 왜곡이 없는 직선수차보정 영상을 얻는 방법 및 이를 이용하는 다양한 영상 시스템을 제공한다. 특히, 디지털 팬·틸트 효과를 구현하면서도 수직선이 수직선으로 표시되는 영상 처리 알고리즘이 제시되어 있다. 그런데 참고 문헌 [특 20]의 발명은 어안 렌즈를 장착한 카메라로 획득한 영상에서 직선수차보정 렌즈를 장착한 팬·틸트 카메라로 얻을 수 있는 영상을 추출하는 알고리즘에 관한 것이지만, 팬·틸트 카메라가 처할 수 있는 다양한 가능성을 모두 고려한 알고리즘을 제공하는 것은 아니다. 예를 들어, 참고 문헌 [특 20]의 발명에서는 카메라의 광축이 지평면에 평행하거나 수직인 경우, 또는 카메라의 광축이 지평면에 대하여 소정의 각도를 가지더라도 획득하고자 하는 직선수차보정 영상은 가상의 직선수차보정 카메라의 광축이 지평면에 평행한 경우만을 고려한 영상 처리 방법이 제시되어 있다.Reference [Special 20] provides a method for obtaining a distortion-free linear aberration correction image by performing mathematically accurate image processing on an image of a wide-angle lens that is rotationally symmetrical around an optical axis, and various imaging systems using the same. In particular, an image processing algorithm is proposed in which a vertical line is displayed as a vertical line while realizing a digital pan/tilt effect. However, the invention of the reference [Special 20] relates to an algorithm for extracting an image obtainable by a pan/tilt camera equipped with a linear aberration correction lens from an image acquired by a camera equipped with a fisheye lens, but the pan/tilt camera It does not provide an algorithm that takes into account all the different possibilities. For example, in the invention of Reference [Special 20], the linear aberration correction image to be obtained is a virtual straight line when the optical axis of the camera is parallel or perpendicular to the plane, or even if the optical axis of the camera has a predetermined angle with respect to the plane. An image processing method considering only the case where the optical axis of the aberration correction camera is parallel to the horizontal plane is proposed.
실제로 사용되는 물리적인 팬·틸트 카메라는 팬각과 틸트각이 모두 0°인 경우에 대개 카메라의 광축이 지평면에 평행하도록 설치된다. 따라서, 참고 문헌 [특 20]의 발명은 물리적인 팬·틸트 카메라의 효과를 구현할 수 있다. 그런데 어안 렌즈를 장착한 카메라로 얻은 영상에서 디지털 팬·틸트 효과를 구현하고자 할 경우에는 물리적인 팬·틸트 카메라가 구현할 수 있는 범위를 넘어서는 효과를 얻을 수 있다. 참고 문헌 [특 21]의 발명은 이와 같이 물리적인 팬·틸트 카메라의 한계를 넘어서는 효과를 구현하는 수학적으로 엄밀한 영상 처리 방법 및 영상 시스템을 제공한다. 특히, 참고 문헌 [특 21]의 발명에서는 이미지 센서면의 가로 방향의 변이 지평선에 평행하지 않은 경우에도 사용될 수 있는 가장 일반적인 영상 처리 방법도 아울러서 제공되고 있다.The physical pan/tilt camera used in practice is usually installed so that the optical axis of the camera is parallel to the ground plane when both the pan angle and the tilt angle are 0°. Therefore, the invention of Reference [Special 20] can realize the effect of a physical pan-tilt camera. However, if a digital pan/tilt effect is to be realized from an image obtained by a camera equipped with a fisheye lens, an effect beyond the range that can be realized by a physical pan/tilt camera can be obtained. The invention of Reference [Special 21] provides a mathematically rigorous image processing method and image system that realizes effects beyond the limitations of the physical pan/tilt camera. In particular, in the invention of Reference [Special 21], the most common image processing method that can be used even when the horizontal side of the image sensor surface is not parallel to the horizon is also provided.
한편, TV나 영화를 볼 때는 왼쪽 눈과 오른쪽 눈에 보여지는 영상이 동일하여 화면이 입체적이 아니라 평면적으로 느껴지며, 몰입감(沒入感)이 저하된다. 그런 이유로 TV나 영화로 보는 화면은 육안으로 보는 것만큼 생생하게 느껴지지 않는다.On the other hand, when watching TV or a movie, the images seen in the left and right eyes are the same, so the screen feels flat rather than three-dimensional, and the immersion feeling is reduced. For that reason, the screens seen on TV or movies do not feel as vivid as those seen with the naked eye.
한편, TV나 영화, 컴퓨터 화면에서 입체 영상을 감상할 수 있도록 하는 다양한 입체 영상 기술이 개발되어 왔다. 이와 같은 기술들의 공통점은 도 8에 보이는 것과 같이 동일한 사양의 두 렌즈가 나란히 같은 방향을 향하는 입체 카메라(stereo camera)를 이용하여 두 장의 영상을 획득한 뒤, 두 영상을 각각 왼쪽 눈과 오른쪽 눈에 보여주는 것이다. 물론 이 경우에도 입체 카메라에서 두 렌즈의 가로 방향의 간격은 두 눈 사이의 간격과 비슷하게 설정된다.Meanwhile, various stereoscopic image technologies have been developed to allow stereoscopic images to be viewed on TVs, movies, and computer screens. The commonality of these technologies is that two images of the same specifications are obtained using a stereo camera facing the same direction side by side, as shown in FIG. 8, and then the two images are placed on the left and right eyes, respectively. To show. Of course, in this case as well, in the stereoscopic camera, the horizontal distance between the two lenses is set to be similar to the distance between the two eyes.
가상현실(VR: Virtual Reality)은 폭발적인 관심속에 날로 시장규모가 확대되고 있다. 가상현실과 유사한 분야로 인공 현실(AR: Artificial Reality)과 증강 현실(AR: Augmented Reality) 또는 복합 현실(MR: Mixed Reality)도 있다. 그런데 가상현실과 인공 현실, 증강 현실 모두 이들 영상을 입체 영상으로 즐기기 위해서는 왼쪽 눈과 오른쪽 눈에 시점이 다른 영상이 보여져야 하며, 이를 가능하게 하는 기기 중 가장 대표적인 것이 머리에 착용하여 왼쪽 눈과 오른쪽 눈에 각각 다른 영상을 보여줄 수 있는 헤드 마운티드 디스플레이(HMD: Head Mounted Display) 기기이다. 도 9는 구글(Google)사에서 만든 Cardboard viewer를 보여주며, 도 10은 HMD 기기에서 왼쪽 눈에 해당하는 화면과 오른쪽 눈에 해당하는 입체 영상의 예이다.VR (Virtual Reality) is exploding with interest and the market is expanding day by day. Some areas similar to virtual reality include Artificial Reality (AR) and Augmented Reality (AR) or Mixed Reality (MR). However, in order to enjoy these images in virtual reality, artificial reality, and augmented reality as stereoscopic images, images with different viewpoints must be seen on the left and right eyes. It is a Head Mounted Display (HMD) device that can show different images to the eyes. 9 shows a Cardboard viewer made by Google, and FIG. 10 is an example of a screen corresponding to the left eye and a stereoscopic image corresponding to the right eye in the HMD device.
한편, 입체 영상을 감상할 수 있는 다른 종류의 입체 안경, 또는 3D 안경들이 존재하는데, 이중 가장 저렴하고 효과적인 안경은 애너글리프 안경(anaglyph glass)이다. 도 11은 종이와 셀룰로이드(celluloid) 필름으로 제작한 저렴한 애너글리프 안경을 보여준다. 애너글리프 안경의 왼쪽과 오른쪽은 적색과 청색, 또는 적색과 녹색처럼 다른 색깔을 가지고 있으며, 애너글리프 방식으로 제작된 입체 영상을 애너글리프 안경으로 바라보면 왼쪽 눈과 오른쪽 눈에 각각 다른 영상이 보여지며, 뇌에서는 이들 영상을 합성하여 입체로 인식하게 된다.On the other hand, there are other types of stereoscopic glasses or 3D glasses capable of viewing stereoscopic images, of which the most inexpensive and effective glasses are anaglyph glasses. 11 shows inexpensive anaglyph glasses made of paper and celluloid film. The left and right sides of the anaglyph glasses have different colors, such as red and blue, or red and green. If you look at the anaglyph glasses produced by anaglyph glasses with anaglyph glasses, different images can be seen on the left and right eyes. , The brain synthesizes these images and recognizes them in three dimensions.
또 다른 방식으로는 왼쪽 눈과 오른쪽 눈에 각각 반대되는 편광판을 사용하는 편광 안경도 있다. 애너글리프 안경이나 편광 안경은 사용하는데 있어서 전기 동력을 필요로 하지 않으므로 수동형 3D 안경(passive 3D glass)에 해당한다.Another way is to have polarized glasses that use polarizing plates opposite to the left and right eyes, respectively. Since anaglyph glasses or polarized glasses do not require electric power to use, they correspond to passive 3D glasses.
더 복잡한 방식으로는 셔터 글래스(shutter glass) 방식의 능동형 3D 안경(Active 3D glass)이 있는데, 이는 모니터에서 왼쪽 눈과 오른쪽 눈에 해당하는 영상을 번갈아서 보여주고, 셔터 글래스에서는 모니터와 동기되어 왼쪽 안경알과 오른쪽 안경알이 각각 투명한 상태와 불투명한 상태를 오가는 것이다. 즉, 능동형 방식에서는 모니터와 3D 안경이 동기화되어 왼쪽 영상과 오른쪽 영상을 번갈아서 보여주는 것이다.A more complicated method is an active 3D glass of a shutter glass type, which alternately shows the images corresponding to the left eye and the right eye on the monitor, and the left eyeglass in synchronization with the monitor on the shutter glass. The right and left eyeglasses move between a transparent state and an opaque state, respectively. That is, in the active method, the monitor and 3D glasses are synchronized to alternately display the left image and the right image.
실제로 입체 영상을 생성하기 위해서는 도 12에 보이는 바와 같이 두 개의 어안 렌즈를 사용하는 GoPro사의 입체 카메라를 사용할 수 있다. 그런데 이 경우에도 카메라 정면의 입체 영상은 생성이 가능하지만, 정면이 아닌 사선 방향의 입체 영상은 입체 효과가 떨어진다.In order to actually generate a stereoscopic image, a stereoscopic camera from GoPro using two fisheye lenses can be used as shown in FIG. 12. However, even in this case, a stereoscopic image in front of the camera can be generated, but a stereoscopic effect in a diagonal direction other than the front side has poor stereoscopic effect.
도 13은 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도이다. 두 어안 렌즈의 마디점(NL, NR)의 중간에 세계 좌표계(World Coordinate System)의 원점 O가 위치한다. 따라서, 두 어안 렌즈의 마디점(NL, NR)은 원점에서 동일한 거리에 떨어져 있다. 또한, 두 어안 렌즈의 광축(1301L, 1301R)은 같은 방향을 향하고 있는데, 그 광축의 방향은 X-축에 수직하고, Z-축에 평행하다. 즉, 세계 좌표계의 Z-축은 원점을 지나고 두 어안 렌즈의 광축에 평행하다. 도 13에서 왼쪽의 직선수차보정 영상의 주시 방향(principal direction of vision)(1303L)과 오른쪽의 직선수차보정 영상의 주시 방향(1303R)은 광축 방향(1301L, 1301R)과 일치한다.13 is a conceptual diagram of stereoscopic image acquisition by image processing in a stereoscopic omnidirectional camera using two fisheye lenses. The origin O of the World Coordinate System is located in the middle of the node points N L and N R of the two fisheye lenses. Therefore, the node points N L and N R of the two fish-eye lenses are separated at the same distance from the origin. Further, the
두 어안 렌즈의 마디점 (NL, NR)은 거리 D0만큼 떨어져 있다. 그 거리 D0는 사람의 평균적인 두 눈 사이의 거리인 6.35cm와 유사하게 설정할 수 있다. 이와 같은 세계 좌표계에서 왼쪽 어안 렌즈의 마디점 NL의 좌표 (X, Y, Z)는 (-D0 / 2, 0, 0)이며, 오른쪽 어안 렌즈의 마디점 NR의 좌표는 (+D0 / 2, 0, 0)이다.The nodes (N L , N R ) of the two fish-eye lenses are separated by a distance D 0 . The distance D 0 can be set to be similar to the distance between the average human two eyes, 6.35 cm. In this world coordinate system, the coordinates (X, Y, Z) of the nodule N L of the left fisheye lens are (-D 0 / 2, 0, 0), and the coordinates of the nodule N R of the right fisheye lens are (+D 0/2 , 0, 0).
도 13에는 왼쪽 어안 렌즈의 화각과 오른쪽 어안 렌즈의 화각이 반원으로 표시되어 있다. 따라서, 어안 렌즈의 화각은 180°인 것으로 가정하였지만, 어안 렌즈의 화각은 임의의 값을 갖더라도 상관없다. 또한, 왼쪽 어안 렌즈에서 영상 처리에 의하여 얻어지는 직선수차보정 영상의 물체면(1331L)과 영상면(1335L) 및 오른쪽 어안 렌즈에 대응하는 물체면(1331R)과 영상면(1335R)도 같이 표시되어 있다.13, the angle of view of the left fish-eye lens and the angle of view of the right fish-eye lens are indicated by a semicircle. Accordingly, it is assumed that the angle of view of the fish-eye lens is 180°, but the angle of view of the fish-eye lens may have any value. In addition, the
도 13에 도시한 입체 카메라에서 왼쪽 어안 렌즈와 오른쪽 어안 렌즈의 마디점이 광축에 수직한 방향으로 거리 D0만큼 떨어져 있으므로, 영상 처리를 통하여 얻어진 두 직선수차보정 영상면(1335L, 1335R)은 거리 D0에 해당하는 시차를 가지며, 이를 각각 왼쪽 눈과 오른쪽 눈에 대응하는 HMD 기기의 화면에 표시하면, 이 HMD 기기를 착용한 사용자는 실제 그 장소에 있는 것과 마찬가지의 입체감을 느낄 수 있다.In the stereoscopic camera shown in FIG. 13, since the nodes of the left fisheye lens and the right fisheye lens are separated by a distance D 0 in the direction perpendicular to the optical axis, the two linear aberration correction image planes 1335L, 1335R obtained through image processing are the distance D Having a parallax corresponding to 0 , and displaying them on the screens of the HMD devices corresponding to the left and right eyes, respectively, the user wearing the HMD device can feel the three-dimensional feeling as if they were actually there.
물론, HMD 기기뿐만 아니라 애너글리프 안경이나 편광 안경과 같은 수동형 3D 안경이나 셔터 글래스를 사용하는 능동형 3D 안경을 사용하더라도 마찬가지이다. 이와 같은 경우에 왼쪽 눈과 오른쪽 눈에 대응하는 직선수차보정 영상을 생성하는 과정은 동일하며, 단 3D 방식에 따라서 이 한 쌍의 직선수차보정 영상을 입체 영상으로 바꿔주는 과정만 달라질 뿐이다.Of course, the same applies to passive 3D glasses such as anaglyph glasses or polarized glasses or active 3D glasses using shutter glasses as well as HMD devices. In this case, the process of generating a linear aberration correction image corresponding to the left eye and the right eye is the same, but only the process of converting the pair of linear aberration correction images into a stereoscopic image according to the 3D method is different.
도 14는 이와 같은 입체 전방위 카메라에서 어안 렌즈의 광축 방향과 다른 방향의 입체 영상을 얻기 위하여 팬(pan) 작용을 한 한 쌍의 직선수차보정 영상을 얻고자 할 때 입체 효과가 감소되거나 사라진다는 것을 예시하는 도면이다.FIG. 14 shows that when such a stereoscopic omnidirectional camera attempts to obtain a pair of linear aberration correction images in which a pan action is performed to obtain a stereoscopic image in a direction different from the optical axis direction of the fisheye lens, the stereoscopic effect is reduced or disappeared. It is an illustrative drawing.
도 14를 참조하여 어안 렌즈의 광축 방향(1401L, 1401R)과 각도 β만큼 팬 작용을 한 직선수차보정 영상을 얻고자 할 때 두 어안 렌즈의 마디점 (NL, NR)의 간격을 두 직선수차보정 영상의 주시 방향(1403L, 1403R)에 수직한 방향으로 측정하면 수학식 1과 같이 주어진다.Referring to FIG. 14, in order to obtain a linear aberration correction image in which a fan acts by the
따라서, 팬 각이 커지면 커질수록 두 마디점의 주시 방향에 수직한 간격은 점점 줄어들며, 팬 각이 90°가 되면 그 간격은 0이 되어 아무런 입체 효과를 기대할 수 없다. 이런 이유에서 도 12에 보이는 두 개의 어안 렌즈를 사용하는 입체 전방위 카메라는 임의의 방향에 대하여 입체 영상을 제공할 수 없다.Therefore, as the pan angle increases, the interval perpendicular to the gaze direction of the two nodes gradually decreases, and when the pan angle reaches 90°, the interval becomes 0, so that no stereoscopic effect can be expected. For this reason, a stereoscopic omnidirectional camera using two fisheye lenses shown in FIG. 12 cannot provide a stereoscopic image in an arbitrary direction.
도 15는 GoPro사의 또 다른 입체 전방위 카메라인 GoPro Odyssey를 보여주며, 어안 렌즈를 사용하는 카메라 여러 대가 동심원상에 바깥쪽을 향하는 방향으로 배치된 것이다. 이와 같은 경우에 HMD의 사용자가 바라보기를 원하는 방향에 가장 가까운 방향으로 배치된 두 대의 카메라에서 각각 직선수차보정 영상을 생성하여 이를 왼쪽 눈과 오른쪽 눈에 보여주면 입체 영상의 효과를 구현할 수 있을 것이다. 그런데 이 방식은 많은 수의 카메라를 필요로 하므로 제작 비용이 비쌀 뿐만 아니라, 여러 대의 카메라에서 나오는 어안 영상을 동시에 전송 내지는 저장하여야 하는 단점이 있다.FIG. 15 shows GoPro Odyssey, another stereoscopic omnidirectional camera from GoPro, and several cameras using a fisheye lens are arranged in a concentric circle outward. In this case, if the HMD user creates a linear aberration correction image from two cameras arranged in the directions closest to the direction that the user wants to see, and shows them to the left and right eyes, the effect of the stereoscopic image can be realized. . However, since this method requires a large number of cameras, it is not only expensive to produce, but also has a disadvantage of simultaneously transmitting or storing fisheye images from multiple cameras.
도 16은 또 다른 입체 전방위 카메라인 GoPro 360 Hero인데 동일한 사양을 가지는 다수의 카메라가 여러 방향을 향하도록 집적된 것이다. 이때 관찰자가 바라보기를 원하는 방향을 향하는 두 대의 카메라에서 입체 영상을 생성하는 것으로 추정된다. 그러나, 정확한 입체 영상을 제공할 수 없음이 명백하다.16 is another stereo omnidirectional camera, the GoPro 360 Hero, which is integrated so that multiple cameras having the same specifications are oriented in various directions. At this time, it is estimated that two cameras facing the direction that the observer wants to look at generate a stereoscopic image. However, it is clear that an accurate stereoscopic image cannot be provided.
1998년에 Yi-Ping Hung 교수 등은 한 쌍의 회전하는 카메라를 이용하는 입체 전방위 카메라를 발표하였다([비특 20]). 도 17에 보이는 것처럼 같은 방향을 향하는 동일한 카메라 2대를 수평으로 회전시키면서 여러 장의 사진을 획득한 후 각각의 카메라에서 얻은 영상들을 Stitching 하면 각각 왼쪽 카메라와 오른쪽 카메라에 해당하는 전방위 영상이 얻어지는 원리이다. 실험에 사용한 카메라는 화각이 30°이고, 수평으로 15°씩 회전시키면서 영상을 촬영하였다고 한다. 마이크로소프트의 H. Shum 등도 비슷한 개념의 연구 결과를 발표하였다([비특 21], [특 22]).In 1998, Prof. Yi-Ping Hung et al. released a stereoscopic omnidirectional camera using a pair of rotating cameras ([Non 20]). As shown in Fig. 17, the principle is that omnidirectional images corresponding to the left and right cameras are obtained by stitching images obtained from each camera after acquiring multiple photos while rotating two identical cameras facing the same direction horizontally. The camera used in the experiment has an angle of view of 30°, and it is said that the image was taken while rotating horizontally by 15°. Microsoft's H. Shum et al. also published results of similar concepts ([Non-21], [22]).
그러나 원리적으로 더 나은 결과는 두 카메라의 중간점을 중심으로 회전하는 것이다([비특 22] ~ [비특 23]). 도 19는 참고 문헌 [비특 23]에 제시되어 있는 입체 360° 전방위 카메라의 개념도이다. 이 구조에서 동일한 사양을 갖는 두 대의 카메라가 회전하는 스테이지에 장착되어 있다. 두 렌즈의 마디점의 중간점은 회전 스테이지의 회전축에 위치한다. 또한, 두 렌즈 마디점 사이의 간격은 사람의 두 눈 사이의 간격과 비슷하다.In principle, however, a better result is to rotate around the midpoint of the two cameras ([Non-22]-[Non-23]). 19 is a conceptual diagram of a stereoscopic 360° omnidirectional camera presented in reference [Non-Special 23]. In this structure, two cameras of the same specification are mounted on a rotating stage. The midpoint of the nodes of the two lenses is located on the axis of rotation of the rotating stage. Also, the distance between two lens node points is similar to that between a person's two eyes.
[비특 23]에 개시된 카메라는 35mm 롤 필름(roll film)을 사용하는 것으로 기술되었으며, 렌즈 앞에는 세로 방향으로 좁은 슬릿(slit)이 장착되어 있다. 따라서, 카메라가 어느 한 방향을 향하고 있을 때 그 방향에 대응하는 세로 방향의 얇은 띠 모양의 영상이 쌍으로 이어진다. 회전 스테이지가 회전하면서 모든 방향으로 띠 모양의 영상을 얻을 후 이를 모두 이으면 도 19에 보이는 것과 같이 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 전방위 영상이 얻어지게 된다.The camera disclosed in [Non-Special 23] is described as using a 35 mm roll film, and a narrow slit in the vertical direction is mounted in front of the lens. Therefore, when the camera is facing in one direction, a thin strip-shaped image in the vertical direction corresponding to the direction continues in pairs. When the rotating stage rotates to obtain a band-shaped image in all directions, and when it is all connected, a pair of omnidirectional images corresponding to the left eye and the right eye are obtained as shown in FIG. 19.
도 20은 획득한 360° 전방위 영상에서 직선수차보정 영상을 얻은 과정을 예시하는 개념도이다. 이와 같은 경우에 카메라의 마디점이 제자리에 있지 않고 계속 회전하므로 수학적으로 엄밀하게 정확한 직선수차보정 영상이 얻어지는 것은 아니지만, 육안으로 보기에 만족스러운 입체 영상을 얻기에는 충분하다.20 is a conceptual diagram illustrating a process of obtaining a linear aberration correction image from an obtained 360° omnidirectional image. In such a case, since the node point of the camera is not in place and continues to rotate, a mathematically accurate linear aberration correction image is not obtained, but it is sufficient to obtain a three-dimensional image satisfactory to the naked eye.
한편, 도 21은 한 쌍의 카메라가 아니라 단 한 대의 회전하는 카메라를 이용하여 입체 360° 전방위 영상을 얻는 시스템의 개념도이다. 이와 같은 시스템에서 카메라 렌즈의 마디점은 회전 스테이지의 회전축에서 특정한 거리를 가지고 떨어져 있다. 그리고 카메라가 어느 한 위치에 있을 때 얻어지는 영상에서 사선으로 포착된 두 개의 얇은 띠 모양의 영상들을 추출하여 이를 모두 이으면, 마치 두 대의 카메라를 이용하여 얻은 전방위 영상과 동일한 효과를 구현할 수 있다.Meanwhile, FIG. 21 is a conceptual diagram of a system for obtaining a stereoscopic 360° omnidirectional image using only one rotating camera, not a pair of cameras. In such a system, the node point of the camera lens is separated by a certain distance from the rotation axis of the rotation stage. In addition, if two thin band-shaped images captured by diagonal lines are extracted from the image obtained when the camera is at one location, and all of them are extracted, the same effect as the omnidirectional image obtained by using two cameras can be realized.
[비특 20] 내지 [비특 23]에 개시된 입체 전방위 영상 시스템에서는 어느 한 방향을 향하는 영상에서 세로 방향으로 얇은 띠(strip) 모양의 영상을 잘라내서 이를 이어 붙이는 방식을 사용한다. 그런데 이와 같이 stitching 방식을 사용할 경우에는 입체 전방위 영상이 불완전할 수 밖에 없다.In the stereoscopic omnidirectional imaging system disclosed in [Non-Special 20] to [Non-Special 23], a method of cutting a thin strip-shaped image in a vertical direction from an image facing one direction is used. However, when the stitching method is used, the stereoscopic omnidirectional image is inevitably incomplete.
그런데 세로 방향으로 단 한 줄의 이미지 센서들을 가지는 라인 스캔 센서(line scan sensor)를 사용하여 전방위 영상 시스템 또는 입체 전방위 영상 시스템을 구현할 수도 있다. 전술한 바와 같이 [특 10]에는 라인 스캔 센서를 사용하는 전방위 영상 시스템이 개시되어 있다. 또한, [특 11]에는 라인 스캔 센서를 사용하는 전방위 카메라와 입체 전방위 카메라가 개시되어 있다. 그런데 [특 11]의 발명은 거울과 도브 프리즘(dove prism)을 사용하는 derotator를 사용하고 있으며, 이와 같은 구조로 상용 제품을 만들기는 어렵다고 판단된다.However, an omnidirectional imaging system or a stereoscopic omnidirectional imaging system may be implemented using a line scan sensor having only one line of image sensors in the vertical direction. As described above, [Special 10] discloses an omnidirectional imaging system using a line scan sensor. In addition, [Special 11] discloses an omnidirectional camera and a stereoscopic omnidirectional camera using a line scan sensor. However, the invention of [Special 11] uses a derotator using a mirror and a dove prism, and it is judged that it is difficult to make a commercial product with such a structure.
[특 23]에는 어안 렌즈와 라인 스캔 센서를 사용하는 입체 전방위 카메라가 개시되어 있으나 발명의 구성 요소에 불필요할 뿐만 아니라 사실상 구현이 거의 불가능한 요소가 포함되어 있다. 출원인은 Stitching 방식의 전방위 카메라 사업을 현재까지도 영위하고 있지만, [특 23]에 개시된 발명은 제작한 적이 없는 것으로 추정된다.[Special 23] discloses a three-dimensional omnidirectional camera using a fisheye lens and a line scan sensor, but includes elements that are not only unnecessary for the components of the invention but are virtually impossible to implement. Although the applicant still operates the all-around camera business of the stitching method to date, it is presumed that the invention disclosed in [Special 23] has never been produced.
[특 24]에는 카메라를 수평으로 회전시켜서 입체 전방위 영상을 얻는 방법이 개시되어 있으나 상세한 설명이 불충분하여 목적하는 결과를 얻을 수 있는지도 불분명하지만, 근본적으로 출원인이 발명한 기술이 무엇인지 추정하기 어렵다. 예를 들어 panorama 모드에서 셔터를 누른 채 수평으로 panning을 하거나, 일련의 사진에서 중첩되는 부분을 검출하거나, 여러 가지 보정 작업을 하는 것은 이미 기존 제품에서도 사용되고 있는 기술이고, "rotation correction"이 무엇을 의미하는지 설명이 없으며, 수평으로 panning을 하여 얻은 영상에서 전방위 영상이 아니라 입체 영상이 얻어지는 과정이 무엇인지 알 수 없다.[Special 24] discloses a method of obtaining a stereoscopic omnidirectional image by rotating the camera horizontally, but it is unclear whether the detailed description is insufficient and the desired result can be obtained, but it is fundamentally difficult to estimate what the technology invented by the applicant. For example, in panorama mode, panning horizontally while pressing the shutter, detecting overlapping parts in a series of photos, or performing various corrections are techniques already used in existing products, and what is “rotation correction”? There is no explanation for what it means, and it is not known what the process of obtaining a stereoscopic image rather than an omnidirectional image in an image obtained by panning horizontally.
[특 25]도 회전하는 단일 카메라를 사용하여 입체 전방위 영상을 얻는 방법에 대하여 개시하고 있으나, 영상을 up-sampling하는 부분을 제외하면 영상 정합(Stitching)하는 방법에 대한 예시가 거의 전부이다.[Special 25] also discloses a method of obtaining a stereoscopic omnidirectional image using a single rotating camera, but almost all examples of a method of image stitching except for the part of up-sampling the image.
[특 26] 및 [특 27]에는 원통형 전방위 영상에서 직선수차보정 영상을 얻는 방법이 개시되어 있다.[Special 26] and [Special 27] disclose a method of obtaining a linear aberration correction image from a cylindrical omnidirectional image.
[특 28]에는 두 대의 카메라를 이용하여 3차원 입체 영상을 획득하기 위한 카메라 장치가 개시되어 있는데, 두 대의 카메라는 사물의 거리 변화에 따른 주시각을 제어할 수 있도록 두 대의 카메라가 서로 반대방향으로 회전할 수 있는 수단을 구비하고 있다.[Special 28] discloses a camera device for acquiring a 3D stereoscopic image using two cameras, in which two cameras are directed in opposite directions so as to control the viewing angle according to a change in the distance of an object. It is equipped with a means to rotate.
[특 29]에는 일정 거리 이격된 두 대의 라인 스캔 카메라와 GPS를 이용한 전방위 입체 영상 생성 방법 및 장치가 개시되어 있다. 이 발명에서는 두 대의 라인 스캔 카메라가 회전할 때 GPS 수신기와 레이저 반사판을 이용하여 라인 스캔 카메라들의 위치 데이터들을 수집한다.[Feature 29] discloses a method and apparatus for generating omnidirectional stereoscopic images using two line scan cameras and GPS spaced apart by a certain distance. In the present invention, when two line scan cameras rotate, the position data of the line scan cameras are collected using a GPS receiver and a laser reflector.
[특 30]에는 회전하는 라인 스캔 카메라를 이용하여 실내의 전방위 영상을 획득하는데 있어서 선정된 복수의 객체 기준점을 이용하여 상기 라인 스캔 카메라의 자세 데이터를 포함하는 외부표정요소를 추정하는 기술이 개시되어 있다.[Feature 30] discloses a technique for estimating an external expression element including posture data of the line scan camera using a plurality of object reference points selected in acquiring an omnidirectional image of the room using a rotating line scan camera have.
[특 31]에는 동일 평면상에 평행하게 배치된 두 대의 카메라를 구비하는 수평 이동식 입체 카메라 장치가 개시되어 있다. 구체적으로 두 카메라는 렌즈와 이미지 센서부가 분리될 수 있는 렌즈 교환식 구조로 되어 있고, 두 카메라 간의 가로 방향의 간격을 조절할 수 있으며, 두 카메라의 광축이 서로 평행하도록 수직 방향의 광축의 방향의 조절할 수 있는 수단을 구비하고 있다.[Special 31] discloses a horizontally movable stereoscopic camera device having two cameras arranged in parallel on the same plane. Specifically, the two cameras have a lens-exchangeable structure in which the lens and the image sensor unit can be separated, the horizontal distance between the two cameras can be adjusted, and the vertical optical axis can be adjusted so that the optical axes of the two cameras are parallel to each other. It is equipped with means.
[특 32]에는 회전하는 두 대의 라인 스캔 카메라를 이용하여 입체 전방위 영상을 얻는 시스템이 개시되어 있다. 도 22는 종래 발명의 일 실시 예의 입체 전방위 영상 획득 장치(입체 전방위 카메라)의 평면도이다. 바람직하게 화각 180° 이상을 가지는 어안 렌즈(2212L, 2212R)와 그 내부에 라인 스캔 센서(2213L, 2213R)를 가지는 카메라 몸체(2214L, 2214R)로 구성된 동일한 사양의 2개의 카메라는 회전부(2222)에 장착되어 있으며, 이 회전부(2222)는 하부의 기저부(2224)와 회전축(2226)으로 연결되어 있다. 회전부는 회전부 상의 원점(origin) C를 중심으로 수평으로 회전하는데, 이 원점 C는 두 어안 렌즈(2212L, 2212R)의 마디점(NL, NR)의 중심점에 위치한다. 두 어안 렌즈의 마디점이 떨어진 간격 D는 사람의 두 눈 사이의 평균 간격인 6.35cm인 것이 바람직하다. 또한, 두 어안 렌즈의 광축(2201L, 2201R)은 회전부가 회전할 때 같이 회전한다.[Feature 32] discloses a system for obtaining stereoscopic omnidirectional images using two rotating line scan cameras. 22 is a plan view of a stereo omnidirectional image acquisition device (stereo omnidirectional camera) according to an embodiment of the present invention. Preferably, two cameras of the same specification composed of the
원점 C를 지나고 두 어안 렌즈의 광축(2201L, 2201R)에 평행한 방향이 카메라 좌표계의 Z'-축이며, 원점 C와 두 어안 렌즈의 마디점(NL, NR)을 지나는 방향이 카메라 좌표계의 X'-축 방향이고, 원점 C를 지나고 회전축에 평행한 방향이 카메라 좌표계의 Y'-축 방향이다. 카메라 좌표계는 오른손 좌표계이다.The direction passing through the origin C and parallel to the optical axes (2201L, 2201R) of the two fish-eye lenses is the Z'-axis of the camera coordinate system, and the direction passing through the origin C and the nodal points (N L , N R ) of the two fish-eye lenses is the camera coordinate system. Is the X'-axis direction, and the direction passing through the origin C and parallel to the rotation axis is the Y'-axis direction of the camera coordinate system. The camera coordinate system is a right-handed coordinate system.
한편, 3D 전방위 카메라가 초기 정지 상태(initial zero position)에 있을 때 두 어안 렌즈의 광축(2201L, 2201R)이 향하는 방향이 세계 좌표계의 Z-축 방향이며, 세계 좌표계의 원점은 카메라 좌표계의 원점 C와 일치한다. 세계 좌표계의 Y-축은 카메라 좌표계의 Y'-축과 일치한다. 세계 좌표계도 오른손 좌표계이다.On the other hand, when the 3D omnidirectional camera is in the initial zero position, the directions of the
이와 같은 좌표계에서 두 어안 렌즈의 마디점은 항상 X-Z 평면 및 X'-Z' 평면에 위치한다. 또한, 두 카메라의 라인 스캔 센서(2213L, 2213R)는 항상 세계 좌표계의 Y-축 및 카메라 좌표계의 Y'-축에 평행하다. 회전부가 일정한 속도로 회전하면서 두 개의 카메라로 이미지를 획득하여 이를 이어붙이면 회전부가 1회전할 때마다 2장의 전방위 영상면이 생성된다.In this coordinate system, the node points of the two fish-eye lenses are always located in the X-Z plane and the X'-Z' plane. Also, the
도 23은 종래 발명의 일 실시 예의 입체 전방위 카메라의 개념도이다. 회전부(2322)는 하부의 기저부(2324)에 대하여 무한회전할 수 있으며, 회전부에는 2개의 비대칭 어안 렌즈(2312L, 2312R)와 두 개의 카메라 몸체가 장착되어 있다.23 is a conceptual diagram of a stereoscopic omnidirectional camera according to an embodiment of the prior art. The rotating
도 24는 근거리에 있는 피사체에 초점을 맞출 경우에 왼쪽 렌즈(2412L)와 오른쪽 렌즈(2412R)의 광축(2401L, 2401R)이 카메라 좌표계의 Z'-축을 향하여 안쪽으로 기울어진 모양을 도시한 것이다. 물론, 이와 같이 동작시키지 않고, 피사체의 거리에 상관없이 두 카메라의 광축(2401L, 2401R)이 항상 카메라 좌표계의 Z'-축에 평행하도록 유지시킬 수도 있다.FIG. 24 illustrates a shape in which the
[특 32]에 개시된 발명은 회전하는 두 대의 라인 스캔 카메라를 이용하여 전방위 영상 및 입체 전방위 영상을 얻는 방법과 장치 및 전방위 영상에서 직선수차보정 영상을 얻는 방법도 제공하고 있다. 그런데 [특 32]에 예시된 입체 전방위 카메라의 개념도는 원리적으로 완벽한 입체 전방위 영상을 얻기에는 부족한 점이 있다.The invention disclosed in [Special 32] also provides a method for obtaining omnidirectional images and stereoscopic omnidirectional images using two rotating line scan cameras, and a method for obtaining linear aberration correction images from apparatus and omnidirectional images. However, the conceptual diagram of the stereoscopic omnidirectional camera illustrated in [Special 32] is in principle insufficient to obtain a perfect stereoscopic omnidirectional image.
도 25는 도 23에 예시된 종래 발명의 일 실시 예의 입체 전방위 카메라의 평면도이다. 회전부(2522)에 장착된 제 1 카메라 몸체(2514L)는 제 1 회전점(CL)을 기준으로 수평으로 회전할 수 있으며, 제 1 카메라와 동일한 수평면(X'-Z' 평면)에 장착된 제 2 카메라 몸체(2514R)는 제 2 회전점(CR)을 기준으로 수평으로 회전할 수 있도록 되어 있다.25 is a plan view of a stereoscopic omnidirectional camera according to an embodiment of the prior art illustrated in FIG. 23. The
여기서 X-Z 평면은 세계 좌표계(world coordinate system)에 고정된 수평면이며, X'-Z' 평면은 카메라 좌표계(camera coordinate system)에 고정된 수평면이다. 따라서, 세계 좌표계의 Y-축과 카메라 좌표계의 Y'-축은 모두 수직선과 일치한다. 또한, 세계 좌표계의 원점(origin) O와 카메라 좌표계의 원점 O'는 모두 회전부의 회전 중심 C와 일치한다.Here, the X-Z plane is a horizontal plane fixed to the world coordinate system, and the X'-Z' plane is a horizontal plane fixed to the camera coordinate system. Therefore, both the Y-axis of the world coordinate system and the Y'-axis of the camera coordinate system coincide with the vertical line. In addition, both the origin O of the world coordinate system and the origin O'of the camera coordinate system coincide with the rotation center C of the rotating part.
제1 카메라 몸체(2514L) 내부의 라인 스캔 센서(2513L)과 제2 카메라 몸체(2514R) 내부의 라인 스캔 센서(2513R)은 모두 Y'-축에 평행한 방향으로 설치되어 있다. 또한, 제 1 카메라 렌즈(2512L)은 제 1 카메라 몸체(2514L)에 체결되어 있고, 제 2 카메라 렌즈(2512R)은 제 2 카메라 몸체(2514R)에 체결되어 있다. 제 1 카메라 렌즈의 광축(2501L)과 제 2 카메라 렌즈의 광축(2501R)은 모두 수평면(X'-Z' 평면)에 포함되어 있다.The
도 25에서 제 1 카메라 렌즈(2512L)의 마디점(Nodal Point) NL과 제 2 카메라 렌즈(2512R)의 마디점 NR은 회전부의 회전 중심과 일치하는 원점(C)을 지나는 직선상에 위치하며, 원점에서 두 마디점까지의 거리는 동일하다.In FIG. 25, the nodal point N L of the
도 25에서 제 1 카메라의 광축(2501L)과 제 2 카메라의 광축(2501R)은 평행하게 도시되어 있다. 도 25와 같이 두 대의 카메라의 광축이 평행할 때에는 우리가 먼 산을 바라보는 것과 같이 사실상 무한대의 거리에 있는 물체에 시점(view point)을 맞춘 경우에 해당한다.In FIG. 25, the
이와 같이 두 마디점(NL, NR)의 중심이 회전부(2522)의 회전축(C)과 일치한 상태로 회전부가 회전하면서 입체 전방위 영상이 얻어질 때 원리적으로 정확한 입체 전방위 영상이 얻어진다.As described above, when a rotating omnidirectional image is obtained while the rotating unit rotates while the centers of the two nodes N L and N R coincide with the rotation axis C of the
그런데 실내에서 전방위 영상 또는 입체 전방위 영상을 포착할 때에는 사실상 모든 피사체들이 몇 미터 이내의 가까운 거리에 있을 것이다. 이와 같은 경우에는 우리가 가까운 거리에 있는 피사체를 볼 경우와 마찬가지로 시선이 모여지는 것이 바람직하다. 도 26은 이와 같이 두 카메라의 광축(2601L, 2601R)이 안쪽으로 각도 θ를 가지고 기울어진 경우를 예시한다.However, when capturing omnidirectional images or stereoscopic omnidirectional images indoors, virtually all subjects will be within a few meters or less. In this case, it is desirable that the gaze is gathered as if we are looking at a subject at a close distance. 26 illustrates the case where the
그런데 도 26에서 명확하게 알 수 있는 바와 같이 종래 발명의 일 실시예의 개념도에 따른 입체 전방위 카메라는 시점을 변경하는 작업(operation)이 바람직하지 않은 마디점의 이동을 가져온다. 도 26에서 알 수 있는 바와 같이 두 마디점 사이의 거리가 D에서 D'으로 줄어들었으며, 또한 두 마디점을 잇는 직선도 회전부의 회전 중심 C를 지나지 않는 것을 볼 수 있다.However, as can be clearly seen in FIG. 26, a stereoscopic omnidirectional camera according to a conceptual diagram of an embodiment of the prior art results in movement of a node point in which an operation for changing a viewpoint is undesirable. As can be seen in FIG. 26, the distance between the two node points was reduced from D to D', and it can be seen that a straight line connecting the two node points does not pass the rotation center C of the rotating part.
본 발명은 원리적으로 가장 정확한 입체 전방위 영상을 얻을 수 있는 주사형 입체 전방위 카메라를 제공하고자 한다.The present invention is in principle to provide a scanning stereoscopic omnidirectional camera that can obtain the most accurate stereoscopic omnidirectional image.
주사형 입체 전방위 카메라의 회전축에 수직한 한 방향으로 형성된 카메라 레일과 카메라 레일을 따라서 이동이 가능한 한 쌍의 라인 스캔 카메라부를 이용한다. 한 쌍의 라인 스캔 카메라부는 각자 수직 방향의 회전축을 중심으로 회전할 수 있되, 결상 렌즈의 마디점은 각자의 회전축 상에 위치하도록 조절할 수 있다.A camera rail formed in one direction perpendicular to the rotational axis of the scanning stereoscopic omnidirectional camera and a pair of line scan camera units movable along the camera rail are used. Each of the pair of line scan camera units may rotate around a vertical rotation axis, but the node of the imaging lens may be adjusted to be positioned on each rotation axis.
원리적으로 가장 완벽한 모노 및 입체 전방위 영상을 얻을 수 있을 뿐만 아니라, 입체 전방위 영상의 입체도와 시점도 조정할 수 있다.In principle, not only can the most complete mono and stereo omnidirectional images be obtained, but also the stereoscopic and viewpoint of the stereo omnidirectional images can be adjusted.
도 1은 Robert Barker의 전방위 회화.
도 2는 직선수차보정 투사 방식을 가지는 전방위 거울을 사용하는 영상 시스템의 일 실시예.
도 3은 도 2의 전방위 영상 시스템으로 포착한 실내 전경의 예.
도 4는 도 3의 펼쳐지지 않은 전방위 영상을 펼친 펼쳐진 전방위 영상의 예.
도 5는 도 4의 펼쳐진 전방위 영상의 일부분.
도 6은 Globuscope의 커버를 벗긴 모습.
도 7은 Seitz사의 Roundshot 35/35.
도 8은 Kodak사의 입체 전방위 카메라.
도 9는 Google사의 cardboard viewer.
도 10은 헤드 마운티드 디스플레이로 보여지는 입체 영상의 예.
도 11은 3D 안경의 하나인 애너글리프 안경(Anaglyph glass).
도 12는 두 개의 어안 렌즈를 장착한 GoPro사의 3D 카메라.
도 13은 두 개의 어안 렌즈를 사용하는 3D 카메라에서 영상 처리에 의한 입체 영상 획득의 개념도.
도 14는 도 12에 보이는 3D 카메라로 임의의 방향의 입체 영상을 감상할 수 없음을 예시하는 개념도.
도 15는 GoPro사의 전방위 카메라의 실시 예.
도 16은 GoPro사의 또 다른 3D 전방위 카메라의 실시 예.
도 17은 Hung 교수의 회전하는 한 쌍의 카메라를 사용하는 입체 전방위 카메라의 개념도.
도 18은 회전하는 한 쌍의 카메라를 사용하는 입체 360°전방위 카메라의 개념도.
도 19는 도 18에 예시한 입체 360°전방위 카메라로 포착한 전방위 영상의 예.
도 20은 왼쪽 눈과 오른쪽 눈에 대응하는 한 쌍의 360°전방위 영상에서 입체 영상을 생성하는 개념도.
도 21은 회전하는 한 대의 카메라에서 360° 입체 전방위 영상을 생성하는 기술의 개념도.
도 22는 종래 발명의 일 실시예의 입체 전방위 영상 획득 장치의 평면도.
도 23은 종래 발명의 일 실시예의 입체 전방위 카메라가 무한대의 거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.
도 24는 종래 발명의 일 실시예의 입체 전방위 카메라가 근거리에 있는 피사체에 초점을 맞춘 상태를 보여주는 개념도.
도 25는 도 23에 예시된 종래 발명의 입체 전방위 카메라의 개념도에 대응하는 입체 전방위 카메라의 구조를 보여주는 평면도.
도 26은 도 24에 예시된 종래 발명의 입체 전방위 카메라의 개념도에서 시점을 유한한 거리로 이동한 상태를 보여주는 개념도.
도 27은 본 발명의 제 1 실시예의 주사형 전방위 카메라 본체의 개념도.
도 28은 본 발명의 제 1 실시예의 카메라 본체의 파노라마 헤드부의 투상도.
도 29는 Arca-Swiss plate를 사용하는 볼 헤드(ball head)의 실시 예.
도 30은 본 발명의 제 1 실시예의 카메라 본체의 주요 구성을 보여주는 도면.
도 31은 본 발명의 제 1 실시예의 카메라 본체의 투상도.
도 32는 본 발명의 제 1 실시예의 카메라 본체의 전력 및 신호 교환부의 개념도.
도 33은 본 발명의 제 2 실시예의 주사형 전방위 카메라의 측면도.
도 34는 본 발명의 제 2 실시예의 주사형 전방위 카메라의 평면도.
도 35는 캐논 EF mount로 개조된 라인 스캔 카메라 몸체의 예.
도 36은 결상 렌즈의 마디점을 중심점에 위치시킨 상태를 보여주는 개념도.
도 37은 화각이 작고 크기가 큰 망원 렌즈의 마디점을 중심점에 위치시킨 상태를 보여주는 개념도.
도 38은 광각 렌즈의 마디점을 중심점에 위치시킨 상태를 보여주는 개념도.
도 39는 화각이 180°인 어안 렌즈의 마디점을 중심점에 위치시킨 상태를 보여주는 개념도.
도 40은 라인 스캔 카메라 몸체를 레일단에 대하여 회전시킨 상태의 개념도.
도 41은 렌즈 교환형 라인 스캔 카메라부의 실시 예.
도 42는 카메라 마운트의 실시 예.
도 43은 결상 렌즈의 마디점과 레일 마운트 회전축이 동일한 축 상에 존재하도록 조정한 상태를 보여주는 개념도.
도 44는 결상 렌즈의 마디점과 레일 마운트 회전축이 동일한 축 상에 존재하도록 조정한 상태를 보여주는 평면도.
도 45는 본 발명의 제 2 실시 예의 렌즈 교환형 라인 스캔 카메라부에서 길이가 짧은 렌즈를 장착한 모습.
도 46은 본 발명의 제 2 실시 예의 렌즈 교환형 라인 스캔 카메라부에서 길이가 긴 렌즈를 장착한 모습.
도 47과 도 48은 본 발명의 제 2 실시 예의 렌즈 교환형 라인 스캔 카메라부를 주사형 전방위 카메라 본체에 장착한 상태.
도 49는 본 발명의 제 3 실시 예의 라인 스캔 카메라부의 단면도.
도 50은 본 발명의 제 3 실시 예의 라인 스캔 카메라부에 레일 마운트를 추가한 상태를 보여주는 개념도.
도 51은 본 발명의 제 3 실시 예의 라인 스캔 카메라부에 틸트 마운트와 레일 마운트를 추가한 상태를 보여주는 개념도.
도 52와 도 53은 본 발명의 제 3 실시 예의 라인 스캔 카메라부의 사진.
도 54는 본 발명의 제 4 실시 예의 주사형 전방위 카메라의 개념도.
도 55는 본 발명의 제 5 실시 예의 주사형 전방위 카메라의 개념도.
도 56는 본 발명의 제 5 실시 예의 주사형 전방위 카메라의 사진.
도 57과 도 58은 주사형 전방위 카메라로 획득한 전방위 영상의 예.
도 59는 평행법에 의한 입체 전방위 영상 획득 원리를 보여주는 개념도.
도 60은 교차법에 의한 입체 전방위 영상 획득 원리를 보여주는 개념도.
도 61은 평행법에 의한 입체 전방위 영상 획득시에 두 라인 스캔 카메라부의 마디점 사이의 간격을 늘려서 입체감을 증가시키는 방법을 보여주는 개념도.
도 62는 평행법에 의한 입체 전방위 영상 획득시에 우 라인 스캔 카메라부의 마디점 사이의 간격을 늘려서 입체감을 증가시키는 방법을 보여주는 개념도.
도 63은 본 발명의 제 6 실시예의 주사형 입체 전방위 카메라의 개념도.
도 64는 파노라마 헤드부에 평행법으로 장착된 제 1 및 제 2 라인 스캔 카메라부의 사진.
도 65는 입체감을 증가시키기 위하여 두 라인 스캔 카메라부 사이의 간격을 늘린 경우를 보여주는 사진.
도 66은 두 라인 스캔 카메라부 사이의 간격을 늘리고, 교차법으로 장착된 제 1 라인 스캔 카메라부와 제 2 라인 스캔 카메라부를 보여주는 사진.
도 67는 본 발명의 제 6 실시예의 주사형 입체 전방위 카메라의 사진.
도 68은 본 발명의 제 6 실시예의 주사형 입체 전방위 카메라로 획득된 입체 전방위 영상 샘플.
도 69는 아나글리프 안경으로 감상할 수 있도록 변환된 입체 전방위 영상 샘플.1 is an omnidirectional painting by Robert Barker.
2 is an embodiment of an image system using an omni-directional mirror having a linear aberration correction projection method.
3 is an example of an indoor view captured by the omnidirectional imaging system of FIG. 2.
4 is an example of an unfolded omnidirectional image in which the unfolded omnidirectional image of FIG. 3 is unfolded.
5 is a part of the unfolded omnidirectional image of FIG. 4.
6 is a view of removing the cover of the Globuscope.
7 is a
8 is a stereoscopic omnidirectional camera of Kodak.
9 is a cardboard viewer of Google.
10 is an example of a stereoscopic image shown by a head mounted display.
Fig. 11 is Anaglyph glass, which is one of 3D glasses.
12 is a GoPro 3D camera equipped with two fisheye lenses.
13 is a conceptual diagram of stereoscopic image acquisition by image processing in a 3D camera using two fisheye lenses.
14 is a conceptual diagram illustrating that a 3D camera shown in FIG. 12 cannot view a stereoscopic image in an arbitrary direction.
15 is an embodiment of an omnidirectional camera of GoPro.
16 is an embodiment of another 3D omnidirectional camera of GoPro.
17 is a conceptual diagram of a three-dimensional omnidirectional camera using a pair of rotating cameras of Professor Hung.
18 is a conceptual diagram of a stereoscopic 360° omnidirectional camera using a pair of rotating cameras.
19 is an example of an omnidirectional image captured by the stereoscopic 360° omnidirectional camera illustrated in FIG. 18.
20 is a conceptual diagram of generating a stereoscopic image from a pair of 360° omnidirectional images corresponding to the left eye and the right eye.
21 is a conceptual diagram of a technology for generating a 360° stereoscopic omnidirectional image from a single rotating camera.
22 is a plan view of a stereoscopic omnidirectional image acquisition device according to an embodiment of the prior art.
23 is a conceptual diagram showing a state in which a stereoscopic omnidirectional camera according to an embodiment of the present invention focuses on a subject at an infinite distance.
24 is a conceptual view showing a state in which a stereoscopic omnidirectional camera according to an embodiment of the present invention focuses on a subject at a short distance.
25 is a plan view showing the structure of a stereo omnidirectional camera corresponding to a conceptual diagram of a stereo omnidirectional camera of the prior art illustrated in FIG. 23;
26 is a conceptual view showing a state in which a viewpoint is moved to a finite distance in a conceptual view of a stereoscopic omnidirectional camera of the prior art illustrated in FIG. 24;
27 is a conceptual diagram of a scanning omnidirectional camera body of the first embodiment of the present invention.
28 is a perspective view of a panoramic head portion of the camera body of the first embodiment of the present invention.
Figure 29 is an embodiment of a ball head (ball head) using an Arca-Swiss plate.
30 is a diagram showing the main configuration of the camera body of the first embodiment of the present invention.
31 is a perspective view of a camera body in the first embodiment of the present invention.
32 is a conceptual diagram of a power and signal exchange unit of the camera body according to the first embodiment of the present invention.
33 is a side view of a scanning omnidirectional camera in the second embodiment of the present invention.
34 is a plan view of a scanning omnidirectional camera in the second embodiment of the present invention.
35 is an example of a line scan camera body converted to a Canon EF mount.
36 is a conceptual view showing a state where a node point of an imaging lens is positioned at a central point.
37 is a conceptual view showing a state in which a node point of a telephoto lens having a small angle of view and a large size is positioned at a center point;
38 is a conceptual view showing a state where a node of a wide-angle lens is positioned at a central point.
39 is a conceptual view showing a state where a node point of a fisheye lens having an angle of view of 180° is positioned at a center point.
40 is a conceptual diagram of a state in which the line scan camera body is rotated relative to a rail end.
41 is an embodiment of a lens-exchangeable line scan camera unit.
42 is an embodiment of a camera mount.
Fig. 43 is a conceptual diagram showing a state in which the node point of the imaging lens and the rail mount rotation axis are adjusted to be on the same axis.
44 is a plan view showing a state where the node point of the imaging lens and the rail-mounted rotation axis are adjusted to exist on the same axis.
45 is a view showing a lens having a short length attached to a line-exchangeable line scan camera unit according to a second embodiment of the present invention.
46 is a view showing a long lens mounted in the interchangeable line scan camera unit of the second embodiment of the present invention.
47 and 48 are a state in which the interchangeable line scan camera unit of the second embodiment of the present invention is attached to the main body of the scan-type omnidirectional camera.
49 is a sectional view of a line scan camera unit of a third embodiment of the present invention.
50 is a conceptual view showing a state in which a rail mount is added to the line scan camera unit of the third embodiment of the present invention.
51 is a conceptual view showing a state in which a tilt mount and a rail mount are added to the line scan camera unit of the third embodiment of the present invention.
52 and 53 are photographs of the line scan camera unit of the third embodiment of the present invention.
54 is a conceptual diagram of a scanning omnidirectional camera according to a fourth embodiment of the present invention.
55 is a conceptual diagram of a scanning omnidirectional camera according to a fifth embodiment of the present invention.
56 is a photograph of a scanning omnidirectional camera according to a fifth embodiment of the present invention.
57 and 58 are examples of omnidirectional images obtained with a scanning omnidirectional camera.
59 is a conceptual diagram showing the principle of acquiring stereoscopic omnidirectional images by a parallel method.
60 is a conceptual diagram showing the principle of acquiring stereoscopic omnidirectional images by a cross method.
FIG. 61 is a conceptual view showing a method of increasing a three-dimensional effect by increasing a distance between nodes of two line scan camera units when acquiring a stereoscopic omnidirectional image by a parallel method.
FIG. 62 is a conceptual diagram showing a method of increasing stereoscopic effect by increasing a distance between nodes of a right-line scan camera unit when acquiring stereoscopic omnidirectional images by a parallel method.
63 is a conceptual diagram of a scanning stereoscopic omnidirectional camera in the sixth embodiment of the present invention.
Fig. 64 is a photograph of first and second line scan camera units mounted in a parallel manner to the panoramic head.
65 is a photograph showing a case where the distance between two line scan camera units is increased in order to increase a three-dimensional effect.
FIG. 66 is a photograph showing a first line scan camera unit and a second line scan camera unit mounted in an intersecting manner by increasing the distance between two line scan camera units.
67 is a photograph of a scanning stereoscopic omnidirectional camera of the sixth embodiment of the present invention.
68 is a stereoscopic omnidirectional image sample obtained with the scanning stereoscopic omnidirectional camera of the sixth embodiment of the present invention.
69 is a stereoscopic omnidirectional image sample converted for viewing with anaglyph glasses.
이하, 도 27 내지 도 69를 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to FIGS. 27 to 69.
[실시 예 1][Example 1]
도 27은 본 발명의 제 1 실시 예의 주사형 전방위 카메라 본체(scanning panoramic camera main body)의 구조를 이해하기 위한 개념도이다. 이하에서는 논의의 편의를 위하여 주사형 전방위 카메라 본체를 '카메라 본체(camera main body)'라고 약칭하기로 한다. 카메라 본체는 파노라마 헤드부(panoramic head assembly)(2730)와 구동부(drive assembly)(2740)와 전력 및 신호 교환부(electrical power and signal exchange assembly)(2750)를 포함하며, 센서부(sensor assembly)(2770)를 더 구비할 수 있다.27 is a conceptual diagram for understanding the structure of a scanning panoramic camera main body in the first embodiment of the present invention. Hereinafter, for convenience of discussion, the main body of the scan-type omnidirectional camera will be abbreviated as'camera main body'. The camera body includes a
카메라 본체에 라인 스캔 카메라부(linescan camera assembly)(미도시)와 영상 처리 수단(image processing means) 혹은 영상 처리부(image processing part)(2780)가 더해지면 전방위 영상을 얻을 수 있는 주사형 전방위 카메라(scanning panoramic camera)의 최소 구성이 완성된다. 영상 처리부는 도 27에 예시된 바와 같이 전용 SW를 탑재한 노트북이 될 수 있다.When a line scan camera assembly (not shown) and an image processing means or an
주사형 전방위 카메라는 도 27에 도시되지 않은 라인 스캔 카메라부가 라인 스캔 카메라의 마디점(Nodal Point)을 수직으로 지나는 수직선을 중심으로 수평으로 회전하면서 획득한 영상 신호들을 가로 방향으로 누적하여 전방위 영상(panoramic image) 또는 전방위 영상면(panoramic image plane)을 생성하여야 한다. 영상 처리 수단은 라인 스캔 카메라부에서 얻어진 라인 영상(line image)들을 가로 방향으로 집적하여 전방위 영상을 생성한다.The scanning omnidirectional camera accumulates the image signals acquired in the horizontal direction by rotating the horizontally around the vertical line passing vertically through the nodal point of the line scan camera, which is not shown in FIG. You must create panoramic images or panoramic image planes. The image processing means integrates line images obtained from the line scan camera unit in a horizontal direction to generate omnidirectional images.
도 27에서 식별 번호 2712는 카메라 본체에 상대적으로 고정된 기준점(reference point) 혹은 중심점(center point)이다. 기준점과 중심점이라는 용어는 동일한 한 점의 다른 측면을 표현하는 말이다. 그리고, 상대적으로 고정되었다는 말은 중심점이 카메라 본체의 물리적인 어느 한 부분과 반드시 일치할 필요는 없지만, 카메라 본체의 특정 부분으로부터 일정한 방향과 거리에 있으며, 따라서 카메라 본체를 움직이면 중심점도 따라서 움직인다는 말이다.In FIG. 27,
상기 중심점(2712)은 세계 좌표계(World coordinate system)의 원점(origin)이다. 세계 좌표계는 주사형 전방위 카메라가 포착하는 피사체들을 기술하는 좌표계이며, 지표면에 대하여 상대적으로 고정되어 있다. 세계 좌표계의 직교하는 세 축은 X-축, Y-축, Z-축이며, 특히 Y-축은 원점, 즉 중심점을 수직으로 지나는 축(2714)이다. 한편, 세계 좌표계의 Z-축은 지구의 방위, 예를 들어 나침반이 가리키는 북쪽 방향과 일치시키는 것이 편리하다. 세계 좌표계는 오른손 좌표계(RHS: right-handed coordinate system)이다. 따라서 양(+)의 Y-축이 천정(zenith)을 가리키고, 양의 Z-축이 북쪽(North)을 가리킨다면, 양의 X-축은 서쪽(West)을 가리킨다.The
상기 중심점(2712)은 또한 카메라 좌표계(camera coordinate system)의 원점이다. 카메라 좌표계는 주사형 전방위 카메라에 상대적으로 고정된 좌표계이며, 주사형 전방위 카메라가 수평으로 회전하면 카메라 좌표계도 수평으로 회전하게 된다. 카메라 좌표계의 직교하는 세 축은 X'-축, Y'-축, Z'-축이며, 카메라 좌표계도 오른손 좌표계이다.The
전방위 영상은 360° 모든 방향의 영상을 포함하므로 전방위 영상을 얻기 전에 전방위 카메라의 수평을 맞추는 것이 중요하다. 전방위 카메라의 수평을 정확하게 맞추면 카메라 좌표계의 Y'-축은 세계 좌표계의 Y-축과 일치한다. 즉, Y'-축은 상기 기준점(중심점)을 수직으로 지나는 축이다. 따라서 전방위 카메라의 수평이 맞았을 때 Y-축과 Y'-축은 항상 일치한다. 또한, Z'-축과 X'-축은 상기 기준점을 수평으로 지나는 두 수평축이다.The omnidirectional image contains 360° images in all directions, so it is important to level the omnidirectional camera before obtaining the omnidirectional image. When the omnidirectional camera is correctly leveled, the Y'-axis of the camera coordinate system coincides with the Y-axis of the world coordinate system. That is, the Y'-axis is an axis that vertically passes the reference point (center point). Therefore, the Y-axis and Y'-axis always match when the omnidirectional camera is level. In addition, the Z'-axis and the X'-axis are two horizontal axes that horizontally pass the reference point.
카메라 좌표계에서 상기 기준점을 지나는 수직선이 Y'-축이며, 상기 기준점을 지나고 상기 Y'-축과 수직한 수평 방향의 한 축이 X'-축이고, Y'-축과 X'-축에 모두 수직한 나머지 한 축이 Z'-축이다. 주사형 전방위 카메라가 회전하면 X'-축은 X-축에 대하여 0°에서 360°까지 연속적으로 변하는 회전각을 가지게 된다.In the camera coordinate system, the vertical line passing through the reference point is the Y'-axis, and one axis in the horizontal direction passing through the reference point and perpendicular to the Y'-axis is the X'-axis, and perpendicular to both the Y'-axis and the X'-axis. The other one is the Z'-axis. When the scanning omnidirectional camera rotates, the X'-axis has a rotation angle that varies continuously from 0° to 360° about the X-axis.
구동부(2740)는 상기 Y'-축을 중심으로 회전 대칭형의 중공(center hole)을 가지며 회전이 가능한 회전단(rotating end)(2742)과, 상기 Y'-축을 회전 대칭축으로 하는 중공(2745)을 구비하는 고정단(stationary end)(2744)과, 상기 회전단을 균일한 각속도로 회전시킬 수 있는 구동 수단(driving means)(2746)을 포함한다.The
상기 파노라마 헤드부(2730)는 하부에 상기 Y'-축을 회전 대칭축으로 하는 중공(2733)을 구비하며 상기 회전단(2742)과 체결되는 체결단(2732)을 구비하고, 상부에는 장치 회전축(2714)에 수직한 한 방향으로 형성된 카메라 레일(camera rail)(2735)을 구비하는 레일단(rail ends)을 포함한다. 중심점(2712)을 지나고 카메라 레일과 같은 방향을 향하는 축을 X'-축 또는 레일축(rail axis)이라고 하기로 한다.The
여기서 레일이란 레일에 장착된 상대물이 한 방향으로 슬라이딩(sliding)이 가능한 구조물을 말하는데, 용도에 따라 I자 모양, 삼각형이나 마름모꼴, 또는 도브테일(dove tail) 형상의 단면을 가지며 한 방향으로 연장된 것을 말한다. 고려대 한국어대사전은 레일을 "열차나 전차의 바퀴가 다닐 수 있도록 땅 위에 두 줄로 깔아 놓은 가늘고 긴 강철재(鋼鐵材). 또는 그것이 깔린 길"과 "운동하는 물체가 제대로 다닐 수 있도록 마련해 놓은 길"이라고 해설해 놓았다.Here, the rail refers to a structure in which a counterpart mounted on a rail is capable of sliding in one direction, and has an I-shaped, triangular or rhombic, or dove tail-shaped cross section and extends in one direction depending on the application. Say things. Korea University's Korean Dictionary has said that rails are "long and long steel materials laid in two rows on the ground so that the wheels of trains and tanks can travel." I commented.
본 발명에서의 카메라 레일이란 카메라 분야에서 사용되는 레일을 의미하며,카메라나 렌즈를 한 방향으로 움직이기 위해서 사용된다. 단면의 형상은 임의의 모양을 가질 수 있지만 도브테일 형상의 단면이 가장 널리 쓰인다. 이는 열차와 달리 카메라는 레일에 상하좌우 어느 방향으로도 장착될 수 있기 때문에 방향에 상관없이 카메라가 레일에서 이탈하는 일 없이 슬라이딩이 가능하도록 하기 위해서다.The camera rail in the present invention means a rail used in the field of cameras, and is used to move a camera or lens in one direction. The shape of the cross section can have any shape, but the cross section of the dovetail shape is most widely used. This is to ensure that the camera can be mounted in any direction up, down, left, or right, unlike a train, so that the camera can slide without leaving the rail regardless of the direction.
따라서 카메라 레일의 단면은 대부분 도브테일의 형상을 가진다. 그리고 그 크기는 여러 크기를 가지는데, 가장 많이 쓰이는 방식은 45° 각도의 경사면을 가지는 도브테일 형상의 레일로서 그 레일의 폭이 38mm인 Swiss-Arca 시스템이다. 하지만, 방송용 카메라와 같이 더 큰 장비를 사용하는 경우에는 훨씬 폭이 넒은 도브테일 형상의 레일을 사용하기도 한다.Therefore, most of the cross-section of the camera rail has the shape of a dovetail. And its size comes in several sizes. The most commonly used method is a dovetail-shaped rail with an inclined surface at an angle of 45°. The Swiss-Arca system is 38mm wide. However, when using larger equipment, such as broadcast cameras, dovetail-shaped rails are often used.
도 27에서 파노라마 헤드부(2730)와 구동부(2740)의 회전단(2742)은 Y'-축을 중심으로 회전한다. 따라서 Y'-축을 장치 회전축(device rotation axis)이라고 부르기로 한다. 또한, 레일단(2734) 상부의 카메라 레일(2735)의 레일면과 장치 회전축(2714)이 만나는 교점(2712)을 중심점으로 하는 것이 편리하다. 전술한 바와 같이 X'-축은 카메라 레일과 평행한 방향으로 하고, Z'-축은 X'-축과 Y'-축에 모두 수직한 축으로 한다. 이와 같은 의미에서 X'-축은 레일축(rail axis)이라고 하고, Z'-축은 교차축(cross axis)이라고 하기로 한다. 주사형 전방위 카메라의 수평이 유지되고 있다면, X'-축과 Z'-축은 수평축이고, Y'-축은 수직축이다.In FIG. 27, the rotating
상기 전력 및 신호 교환부(2750)는 상기 체결단(2732) 내부의 중공(2733)에 결합되는 회전자(rotor)(2752)와, 상기 고정단(2744) 내부의 중공(2745)에 결합되는 고정자(stator)(2754)와, 상기 회전자의 위쪽으로 인출된 카메라쪽 전력 및 신호선(camera-side electrical power and signal wires)(2756)과, 상기 고정자의 아래쪽으로 인출된 구동부쪽 전력 및 신호선(driver-side electrical power and signal wires)(2758)을 포함한다.The power and signal
상기 레일단(2734)은 카메라 레일(2735)에 결합되는 평형 조절추(balancer)(2736)를 더 구비할 수 있다. 평형 조절추는 라인 스캔 카메라부를 장착한 카메라 본체가 Y'-축을 중심으로 회전할 때 회전의 중심(center of rotation)과 무게의 중심(center of gravity)을 일치시키기 위한 것이다. 회전 중심과 무게 중심이 일치하지 않으면 주사형 전방위 카메라가 회전시 흔들릴 수 있고, 이는 영상의 왜곡으로 이어진다. 상기 평형 조절추가 레일축(2716) 방향, 즉 X'-축 방향으로 이동이 가능하면, 무게 중심을 정밀하게 조정하는 것이 가능하다.The rail end 2734 may further include a
카메라 본체는 파노라마 헤드부(2730)에 장착되는 센서부(2770)를 더 포함할 수 있다. 센서부는 수준기(water level), 디지털 각도계(digital level), 나침반(compass), 디지털 나침반(digital compass), GPS 수신기(GPS receiver) 중 하나 이상을 포함한다. 디지털 각도계나 GPS 수신기에 전원 및 신호선이 필요한 경우에는 역시 전력 및 신호 교환부(2750)를 통하여 구동부와 연결하는 것이 필요하다.The camera body may further include a
또한, 카메라 본체의 하단에는 삼각대 장착단(2748)을 구비한다. 주사형 전방위 영상을 얻을 때 라인 스캔 카메라부에 장착된 결상 렌즈(imaging lens)의 높이가 사람의 눈높이와 비슷한 것이 필요하다. 따라서 삼각대 등을 이용하여 높이를 조절할 필요성이 있으므로 구동부의 하단에 삼각대 장착단이 있는 것이 바람직하다. 삼각대 장착단은 1/4-inch 암나사 또는 3/8-inch 암나사의 형태로 형성된다.In addition, a tripod mounting end 2726 is provided at the bottom of the camera body. When obtaining a scanning omnidirectional image, it is necessary that the height of an imaging lens mounted on the line scan camera unit is similar to that of a human eye. Therefore, there is a need to adjust the height using a tripod, etc., so it is preferable to have a tripod mounting end at the bottom of the driving unit. The tripod mounting end is formed in the form of a 1/4-inch female thread or a 3/8-inch female thread.
도 28은 본 발명의 제 1 실시 예의 파노라마 헤드부의 투상도(投像圖, projection)이다. 체결단(2832)은 중공(2833)이 있는 원반(disk)의 형상이며, 회전단에 장착하기 위한 다수의 체결공(2836a)을 가지고 있다. 또한, 체결단의 측면에는 전력 및 신호 교환부(2750)의 회전자(2752)를 고정하기 위한 체결공(2836c)이 형성되어 있다.28 is a projection view of a panoramic head portion of a first embodiment of the present invention. The
체결단(2832) 상부에 체결된 레일단(2834)은 진동을 억제하기 위하여 충분한 두께를 가지고 있으며, 상단에 도브테일(dovetail) 형상의 카메라 레일(camera rail)(2835)이 형성되어 있다.The
전술한 바와 같이 사진 업계에서 가장 널리 쓰이는 카메라 레일은 Arca-Swiss라는 스위스 회사에서 1990년대에 개발한 것이다. 보통 카메라보다도 무거운 초망원 렌즈(super telephoto lens)를 삼각대에 장착하기 위한 방법으로 개발한 것이며, 이와 같은 액세서리를 Arca-Swiss Quick Release Plate라고 부른다. 도 29는 삼각대용 ball-head에 Arca-Swiss Quick Release Plate가 적용된 것을 보여준다.As mentioned above, the most widely used camera rail in the photography industry was developed in the 1990s by a Swiss company called Arca-Swiss. It was developed as a method for attaching a super telephoto lens that is heavier than a normal camera to a tripod, and such an accessory is called an Arca-Swiss Quick Release Plate. 29 shows that the Arca-Swiss Quick Release Plate is applied to the ball-head for a tripod.
Arca-Swiss 시스템은 2개 1세트의 구조로 되어 있는데 plate라고 부르는 부품은 렌즈나 카메라 등에 장착하는 부품으로 중앙에 1/4-inch 수나사가 있고, 양단은 38mm의 폭을 가지고 45° 각도로 형성된 도브 테일(dovetail) 형상을 가지고 있으며, plate의 길이는 다양하게 제작된다. 한편, base라고 부르는 부품은 삼각대에 장착되는 부품으로 plate를 단단히 고정하기 위하여 도브 테일과 맞물리는 부품간의 간격을 노브(nobe)를 이용하여 조절할 수 있다. The Arca-Swiss system consists of two sets of one. The part called a plate is a part mounted on a lens or a camera, and has a 1/4-inch male thread in the center, and both ends are formed at a 45° angle with a width of 38mm. It has a dovetail shape, and the length of the plate is manufactured in various ways. On the other hand, the part called the base is a part mounted on a tripod, and the gap between the dove tail and the interlocking parts can be adjusted using a knob to secure the plate securely.
카메라나 렌즈를 장착하기 위해서는 먼저 카메라나 렌즈에 plate를 장착하고, plate의 dovetail 부분을 base의 맞물리는 부분에 놓은 뒤, 노브를 돌려서 잠그면 끝난다. Arca-Swiss plate를 사용하면 렌즈나 카메라를 빠르게(quick) 분리(release)할 수 있으므로, Arca-Swiss Quick Release Plate라고 부른다.To mount the camera or lens, first attach the plate to the camera or lens, place the dovetail portion of the plate on the interlocking portion of the base, and turn the knob to lock it. Arca-Swiss plates are called Arca-Swiss Quick Release Plates because they allow quick release of lenses or cameras.
원래는 한 기업이 개발한 기술이지만 지금은 많은 카메라 부품 제조사들이 이 표준 아닌 표준을 채택하여 사용하고 있다. Arca-Swiss 시스템을 따르지 않는 회사들도 많지만, 지금도 가장 많은 수의 호환 제품을 찾아 볼 수 있다.It was originally developed by a company, but now many camera component manufacturers adopt and use this standard. Many companies do not follow the Arca-Swiss system, but you can still find the largest number of compatible products.
한편, 레일단(2834)의 상단에서 하단 방향으로 체결단(2832)에 체결하기 위한 체결공(2836b)이 형성되어 있고, 일 측면에는 라인 스캔 카메라부에 체결되지 않은 카메라쪽 전력 및 신호선이 파노라마 헤드부의 회전에 방해되지 않도록 처리하기 위해서 신호선을 위한 더미 랜 포트(dummy lan port)(2839)와 전력선을 위한 더미 터미널(dummy terminal)(2838)이 2 세트 구비되어 있다.On the other hand, a
체결단(2832)의 한쪽에는 수준기(water level)(2872)가 장착되어 있어 주사형 전방위 카메라의 수평을 맞추는데 사용할 수 있다. 도 28에서는 수준기만 도시되어 있으나 나침반과 GPS 수신기 등을 포함하는 다수의 센서가 장착되어 있다면, 전방위 영상이 촬영된 장소 및 방위를 쉽게 확인할 수 있을 것이다.A
도 28에 보이는 체결단(2832)과 레일단(2834)은 8개의 볼트를 사용하여 체결된다. 체결단과 레일단은 볼트로만 연결되어 있으므로 볼트들을 제거하면 레일단은 체결단으로부터 쉽게 분리된다. 따라서 필요하면 다양한 길이를 가지는 레일단으로 교체할 수 있다. 이는 라인 스캔 카메라 몸체에 장착되는 결상 렌즈의 화각에 따라서 바람직한 레일단의 길이가 달라질 수 있기 때문이다.The
도 30은 본 발명의 제 1 실시 예의 주사형 전방위 카메라 본체의 주요 구성을 보여주는 도면이다. 레일단(3034)은 카메라 좌표계의 Y'-Z' 평면을 기준으로 좌우 대칭의 형상이며, 레일단의 상부에 도브테일 형상을 가지는 카메라 레일(3035)이 형성되어 있다. X'-축은 카메라 레일과 평행하며, 중심점(3012)은 카메라 레일의 상단에 위치한다.30 is a view showing the main configuration of the main body of the scan-type omnidirectional camera of the first embodiment of the present invention. The
레일단에는 상단에서 하단 방향으로 8개의 체결공(3036b)이 형성되어 있으며, 이 체결공에 8개의 볼트를 삽입하여 체결단(3032)과 고정된다. 체결단(3032)과 회전단(3042)은 다시 6개의 볼트로 연결된다. 체결단(3032)의 중공(3033)은 전력 및 신호 교환부의 회전자(3052)의 크기보다 조금 큰 원통형으로 되어 있으며, 체결단의 측면에서 Y'-축에 수직한 방향으로 체결되는 4개의 볼트를 통하여 체결단과 회전자가 단단하게 고정된다. 따라서 체결단이 회전하면 회전자도 같이 회전하게 된다. 체결단의 중공(3033)과 마주보는 레일단(3034)의 하부에는 카메라쪽 전력 및 신호선이 인출될 수 있는 인출공(3037)이 형성되어 있다.Eight
구동부의 가장 주요한 부품은 중공형 테이블 감속기(hollow rotary table)이다. 감속기의 회전 테이블이 회전단(3042)을 형성하며, 감속기의 몸통 부분이 고정단(3044)의 상단을 형성한다. 감속기의 회전 테이블과 몸통 부분에 모두 전력 및 신호 교환부의 고정자(3054)의 직경보다 큰 원통형의 중공을 가지고 있다.The main part of the drive is a hollow rotary table. The rotary table of the reducer forms a
구동수단(3046)은 감속기에 연결되어 회전단(3042)을 회전시키는데, 용이하게 회전 속도를 변경할 수 있도록 구동수단은 브러시리스 DC 모터(brushless DC motor)를 사용하는 것이 바람직하다.The driving means 3046 is connected to a reduction gear to rotate the
도 31은 본 발명의 제 1 실시 예의 주사형 전방위 카메라 본체의 투상도이다. 체결단(3132)과 회전단(3142)은 원반의 형상을 하고 있고, 고정단(3144)은 대략 직육면체의 형상을 하고 있으며, 고정단의 일측면에 구동 수단을 컨트롤하기 위한 컨트롤러(3145)가 장착되어 있고, 고정단의 하단에는 3개의 높이 조절 다리(3146)가 있다. 각각의 높이 조절 다리는 그 높이를 쉽게 조절할 수 있도록 되어 있어서 수준기(3172)를 참조하여 높이 조절 다리를 조절하면 카메라 본체의 수평을 조절할 수 있다. 또한, 고정단의 하면의 중심에는 삼각대 장착단도 형성되어 있다.31 is a perspective view of a main body of a scanning omnidirectional camera according to a first embodiment of the present invention. The
전술한 바와 같이 레일단(3134)은 체결단(3132)의 상부에 위치하며, 레일단에 형성된 카메라 레일(3135)은 X'-축에 평행하다. 레일단에는 상단에서 하단을 향하는 방향으로 체결단(3132)과 결합하기 위한 하나 이상의 체결공(3136)이 형성되어 있으며, 레일단의 일측면에는 더미 터미널(3138)과 더미 랜 포트(3139)가 구비되어 있으며, 레일단의 중앙 하단에는 인출공(3137)이 형성되어 있다.As described above, the
도 31에는 2조의 랜선(lan cable)과 15 pin D-sub 터미널을 장착한 전선 다발이 도시되어 있다. D-sub 터미널은 라인 스캔 카메라를 컨트롤하거나 전원을 공급하기 위하여 필요하며, 랜선은 라인 스캔 카메라에서 얻어진 영상 신호들을 가져오기 위하여 필요하다. 레일단에 형성된 더미 터미널들은 각각 2개의 15 pin D-sub female 커넥터와 RJ45 female 커넥터이다.FIG. 31 shows a bundle of wires equipped with two sets of lan cables and 15 pin D-sub terminals. The D-sub terminal is needed to control or supply power to the line scan camera, and a LAN line is required to bring in the image signals obtained from the line scan camera. The dummy terminals formed at the rail end are two 15 pin D-sub female connectors and an RJ45 female connector, respectively.
도 32는 본 발명의 제 1 실시 예의 전력 및 신호 교환부의 개념도이다. 본 발명의 제 1 실시 예의 전력 및 신호 교환부에서 가장 중요한 구성 요소는 기가빗 이더넷 슬립링(Gigabit Ethernet Slipring)이다. 슬립링은 로터리 조인트(rotary joint), 로터리 커넥터(rotary connector) 등으로도 불리는 전기/기계적 부품으로, 회전하는 장비에 전선의 꼬임 없이 전원을 공급하거나 신호를 주고 받기 위하여 사용된다. 슬립링의 회전자(3252)와 고정자(3254)는 모두 원통형의 형상을 가지고 있으며, 회전자는 고정자에 대하여 무한회전할 수 있다.32 is a conceptual diagram of a power and signal exchange unit of the first embodiment of the present invention. The most important component in the power and signal exchange unit of the first embodiment of the present invention is a Gigabit Ethernet Slipring. Slip rings are electrical/mechanical parts, also called rotary joints, rotary connectors, etc., which are used to supply or receive signals without twisting wires to rotating equipment. Both the rotor 3322 and the
카메라쪽 전력 및 신호선(3256)은 하나 이상의 라인 스캔 카메라부(3260L, 3260R) 및 추가적으로 센서부(3270)에 연결될 수 있다. 구동부쪽 전력 및 신호선(3258) 중 전력선은 파워 서플라이(power supply)(3259)에 연결되고, 파워 서플라이는 다시 주사형 전방위 카메라 본체(3200) 외부로 인출되는 전력선(power cord)(3255)에 연결된다. 전력선은 분기되어 파워 서플라이(3259) 및 구동부(3246)에 모두 전력을 공급한다.The camera-side power and
구동부쪽 전력 및 신호선(3258) 중 신호선은 바람직하게 카테고리 6(category 6) 이상의 랜선(lan cable)이다. 이 랜선들은 이더넷 스위치(Ethernet switch)(3251)에 연결되고, 이 스위치는 카메라 본체 외부의 영상 처리 장치(3280)에 제 3의 랜선으로 연결된다.Among the power and
센서부가 없거나 도 31에 예시한 바와 같이 기계식 수준기나 나침반만 장착하고 있다면 센서부를 위한 전력 및 신호 교환선은 필요하지 않다. 그런데 입체 전방위 영상을 획득하기 위해서는 최소한 2개의 라인 스캔 카메라부가 필요하다. 따라서 본 발명에 사용되는 기가빗 이더넷 슬립링은 최소한 2채널 이상인 것이 바람직하다.If there is no sensor part or if only a mechanical level or compass is mounted as illustrated in FIG. 31, power and signal exchange lines for the sensor part are not required. However, at least two line scan camera units are required to acquire a stereoscopic omnidirectional image. Therefore, the gigabit Ethernet slip ring used in the present invention is preferably at least two channels.
[실시예 2][Example 2]
도 33은 본 발명의 제 2 실시 예의 주사형 전방위 카메라(scanning panoramic camera)의 라인 스캔 카메라부(linescan camera assembly)(3360)의 구조를 이해하기 위한 개념도이고, 도 34는 평면도이다. 라인 스캔 카메라부(3360)는 라인 스캔 카메라 몸체(linescan camera body)(3362, 3462)와 결상 렌즈(imaging lens)(3368, 3468)와 라인 스캔 카메라 몸체(3362, 3462) 하부의 레일 마운트(rail mount)(3367, 3467)를 포함한다. 라인 스캔 카메라 몸체는 내부에 장치 회전축(3314)과 평행하게 설치된 라인 스캔 센서(linescan sensor)(3364) 즉 리니어 센서(linear sensor)를 구비하고, 전면에는 결상 렌즈(imaging lens)(3368, 3468)가 체결되는 렌즈 체결부(3365)를 구비한다. 주사형 전방위 카메라 본체와 영상 처리부(3380, 3480)는 구동부쪽 전력 및 신호선(3358, 3468) 중 신호선과 연결된다.33 is a conceptual diagram for understanding the structure of a
상기 결상 렌즈의 영상면(image plane)에 라인 스캔 센서(3364)가 포함되어야 선명한 영상이 얻어진다. 영상면이란 결상 렌즈에 의한 상(image)이 맺혀지는 평면(plane)을 지칭한다. 따라서 결상 렌즈의 광축이 Y'-축에 수직하여야 한다. 현실적으로 결상 렌즈의 광축(3313)이 Y'-축에 수직하도록 수평 방향으로 카메라 몸체(3362, 3462)에 체결된다. 일반적으로 결상 렌즈(3368, 3468)의 광축(3313)과 레일축(3316)은 일치하지 않는다. 따라서 결상 렌즈의 마디점 N을 원점으로 하고, 결상 렌즈의 광축을 Z"-축으로 하며, 원점을 지나고 Z"-축에 수직한 수평선을 X"-축으로 하고, 원점을 지나고 X"-축과 Z"-축에 모두 수직한 축을 Y"-축으로 하는 제 3의 좌표계를 생각할 수 있다. 주사형 전방위 카메라의 수평이 맞았으면, Y"-축도 수직선이 된다. 정의에 의하여 광축은 마디점 즉, 원점을 지난다.A clear image is obtained when the line scan sensor 3346 is included in an image plane of the imaging lens. The image plane refers to a plane in which an image is formed by an imaging lens. Therefore, the optical axis of the imaging lens should be perpendicular to the Y'-axis. Realistically, the
전술한 바와 같이 파노라마 헤드부(3330)는 레일단(3334, 3434)에 결합되는 평형 조절추(3336, 3436)를 더 구비할 수 있다. 도 33과 도 34에서 명확하게 알 수 있는 바와 같이 결상 렌즈(3368, 3468)의 마디점 N이 장치 회전축(3314) 상에 위치하게 되면, Y'-축을 중심으로 한 쪽으로 치우쳐서 라인 스캔 카메라부(3360, 3460)가 위치하게 된다. 따라서 일반적으로 무게 중심(center of gravity)이 장치 회전축 상에 위치하지 않는다. 이 상태로 파노라마 헤드부가 장치 회전축(3314)을 중심으로 회전하게 되면, 무게 중심이 맞지 않는 주사형 전방위 카메라가 진동(wooble)을 할 수 있고, 따라서 전방위 영상에서도 수평선이 정확한 수평선으로 포착되지 않을 가능성이 있다. 따라서, 무게 중심이 장치 회전축 상에 있도록 하기 위한 평형 조절추가 필요하게 된다.As described above, the
전술한 바와 같이 평형 조절추(3336, 3436)도 레일단(3334, 3434)에 결합된다. 평형 조절추는 라인 스캔 카메라 몸체 하부의 레일 마운트(3367, 3467)와 유사한 방식으로 카메라 레일(3335)에 결합될 수 있으며, 결상 렌즈(3368, 3468)와 라인 스캔 카메라 몸체(3362, 3462)의 중량을 합한 값과 유사한 중량을 가질 수 있다. 따라서 라인 스캔 카메라부(3360)의 마디점 N이 중심점(3312, 3412)과 동일한 수직선(3314) 즉 장치 회전축(3314) 상에 위치하도록 한 후에, 다시 평형 조절추를 움직여서 파노라마 헤드부(3330)와 라인 스캔 카메라부(3360)를 합친 전체의 무게 중심이 회전축 상에 위치하게 할 수 있다.As described above, the
라인 스캔 카메라 몸체 하부의 레일 마운트(3367, 3467)는 상기 카메라 레일(3335)에 대하여 움직이지 않도록 마찰력을 증가시킬 수 있는 레일 마운트 이동 잠금 장치(3367a)를 구비하고 있다. 따라서 레일 마운트 이동 잠금 장치를 조절하여 레일 마운트를 느슨하게 한 후에 라인 스캔 카메라부(3360)를 카메라 레일을 따라서 X'-축 방향으로 이동할 수 있으며, 라인 스캔 카메라부가 바람직한 위치에 위치하게 되면 레일 마운트 이동 잠금 장치를 다시 조절하여 라인 스캔 카메라부가 움직이지 않도록 단단히 고정할 수 있다.The rail mounts 3367 and 3467 at the bottom of the line scan camera body are equipped with a rail mount
그런데 포착하고자 하는 풍경에 따라서 바람직한 렌즈의 화각이 달라진다. 예를 들어 초원이나 해변, 망망대해와 같이 지평선이나 수평선 근처에만 피사체들이 몰려 있는 경우에는 화각이 너무 크게 되면 하늘이나 바다 등 별다른 지형지물이 없는 부분이 화면을 대부분 차지하게 되어 영상이 매우 지루하게 된다. 따라서 이와 같은 경우에는 망원 렌즈처럼 화각이 작은 렌즈를 가지고 촬영하는 것이 바람직하다. 반면에 벽과 천정에도 모두 조각품이나 그림이 가득차 있는 궁전이나 박물관 내부를 촬영할 경우에는 렌즈의 화각이 180°를 넘어서 천정이나 바닥도 모두 포착하는 것이 바람직하다. 한편, 거리 풍경과 같이 상당한 높이까지 보행자나 건물들이 보이는 경우에는 렌즈의 화각도 표준 화각과 비슷한 경우가 바람직할 것이다.However, the preferred angle of view of the lens varies depending on the landscape to be captured. For example, when subjects are concentrated only near the horizon or the horizon, such as a meadow, a beach, or the vast ocean, if the angle of view is too large, the part without any other topographic features such as the sky or the sea occupies most of the screen, and the image becomes very boring. . Therefore, in this case, it is preferable to shoot with a lens having a small angle of view, such as a telephoto lens. On the other hand, when photographing the inside of a palace or a museum full of sculptures or paintings on both walls and ceilings, it is desirable to capture both the ceiling and the floor because the angle of view of the lens exceeds 180°. On the other hand, if pedestrians or buildings are visible up to a considerable height, such as a street scene, it may be desirable to have a similar angle of view of the lens.
이와 같이 다양한 환경에서 전방위 영상을 획득하기 위해서는 다양한 화각을 갖는 렌즈를 교환할 수 있어야 한다. 필름 카메라의 개발 초기에는 m42 mount와 같이 나사 형식으로 된 카메라 마운트를 사용하였지만, 요즘은 베요넷 마운트(Bayonet mount)를 사용하여 기계적인 안정성이 높다. 예를 들어 니콘(Nikon) 카메라는 자체 개발한 F-mount를 사용하며, 캐논(Canon)은 과겨에 EF-mount를 사용하였고, 최신 제품은 RF-mount를 사용하고 있다. 도 35는 캐논 EF mount로 개조된 라인 스캔 카메라 몸체와 EF 마운트로 제작된 상용 어안 렌즈를 보여준다. 즉, 도 35에 개시된 라인 스캔 카메라 몸체는 렌즈 교환식으로 제작되어 렌즈를 교체하면서 전방위 영상을 촬영하는 것이 가능하다.In order to acquire omnidirectional images in various environments as described above, it is necessary to exchange lenses having various angles of view. In the early days of the development of the film camera, a screw-type camera mount such as the m42 mount was used, but these days, the bayonet mount has a high mechanical stability. For example, Nikon cameras use self-developed F-mounts, Canon uses EF-mounts for overkill, and the latest products use RF-mounts. 35 shows a line scan camera body converted to a Canon EF mount and a commercial fisheye lens made of an EF mount. That is, the line scan camera body disclosed in FIG. 35 is manufactured by interchangeable lenses, and it is possible to photograph omnidirectional images while replacing lenses.
도 36은 주사형 전방위 카메라 본체의 정확한 위치에 라인 스캔 카메라부(3660)가 장착된 것을 보여준다. 도 36은 일반적인 화각(3669) 또는 표준 화각을 가지는 결상 렌즈(3668)가 장착된 라인 스캔 카메라부(3660)를 보여주며, 결상 렌즈(3668)의 광축은 레일축(3616), 즉 X'-축과 일치하도록 정렬되어 있다.36 shows that the line
도 36에 보이는 바와 같이 라인 스캔 카메라 몸체(3662)에 체결된 결상 렌즈(3668)의 마디점 N은 장치 회전축(3614) 상에 위치한다. 따라서 결상 렌즈의 마디점 N은 중심점(3612)의 위에 위치하고, 라인 스캔 센서(3664)는 장치 회전축(3614)과 평행하다. 도 36에는 결상 렌즈(3668)의 화각(FOV: Field of View)(3669)도 같이 표시되어 있다.The node N of the
전술한 바와 같이 레일 마운트(3667)는 레일단(3634) 상부의 카메라 레일(3635)을 따라서 이동이 가능하며, 또한 레일 마운트 이동 잠금 장치(3667a)를 가지고 있어서 결상 렌즈의 마디점이 장치 회전축 상에 위치하도록 한 후 레일 마운트 이동 잠금 장치를 잠그면, 주사형 전방위 카메라가 회전을 하더라도 라인 스캔 카메라부(3660)가 정 위치를 이탈하는 일이 발생하지 않는다.As described above, the rail mount 3671 is movable along the
또한 도 36에 예시한 바와 같이 라인 스캔 카메라부(3660)가 장치 회전축(3614) 가까이 이동하게 되면 평형 조절추도 대응하게 장치 회전축 가까이 이동하여야 라인 스캔 카메라부(3660)와 파노라마 헤드(3630) 전체의 무게 중심이 장치 회전축(3614) 상에 위치하도록 할 수 있다. 평형 조절추도 정확한 위치에 위치한 이후에는 위치를 고정할 수 있도록 잠금 장치를 가지고 있다. 도 36에 도시한 바와 같이 레일단(3634)의 레일축 방향의 길이는 회전단(3632)의 직경보다 큰 것이 일반적으로 바람직하다.In addition, as illustrated in FIG. 36, when the line
전술한 바와 같이 초원이나 해변 등에서 전방위 영상을 찍을 때에는 화각이 작은 망원 렌즈를 사용하는 것이 바람직하다. 그런데 망원 렌즈는 크기가 큰 경우가 많다. 야구장이나 골프장 등에서 스포츠 촬영용으로 쓰이는 일부 망원 렌즈는 자동차 한대 값에 육박할 정도로 비싸기도 하고, 그 크기 때문에 대포라는 별명으로 불리기도 한다. 도 37은 이와 같은 경우를 보여주는 개념도이다. 카메라 몸체(3762)나 레일 마운트(3767)는 도 36에서와 동일하지만, 장착된 결상 렌즈(3768)는 매우 크고 길며, 화각(3769)은 매우 작다.As described above, it is preferable to use a telephoto lens having a small angle of view when taking omnidirectional images on a meadow or a beach. However, telephoto lenses are often large. Some telephoto lenses, which are used for sports shooting in baseball fields and golf courses, are expensive enough to cost a car, and because of their size, they are also nicknamed cannons. 37 is a conceptual diagram showing such a case. The
이러한 망원 렌즈를 사용하여 전방위 영상을 얻을 때에도 그 망원 렌즈의 마디점이 중심점(3712)과 동일한 장치 회전축(3714) 상에 위치하는 것이 바람직하다. 따라서 도 37에서와 같이 라인 스캔 카메라부(3760)가 장치 회전축으로부터 멀어져야 하며, 주사형 전방위 카메라의 무게 중심이 장치 회전축(3714) 상에 위치하도록 하기 위해서는 평형 조절추도 대응하여 회전축으로부터 멀어져야 한다.Even when an omnidirectional image is obtained using such a telephoto lens, it is preferable that the node point of the telephoto lens is located on the same
이와 같이 크기가 큰 망원 렌즈의 마디점 N이 중심점(3712)과 동일한 장치 회전축 상에 위치하도록 라인 스캔 카메라부(3760)가 장치 회전축(3714)으로부터 충분히 떨어지기 위해서는 긴 카메라 레일이 필요할 수 있다. 본 발명의 제 1 실시 예에서와 같이 파노라마 헤드부(3730)의 레일단(3734)과 체결단(3732)이 분리 가능하다면, 망원 렌즈를 사용할 경우에 긴 카메라 레일을 가지는 레일단(3734)으로 교체할 수 있다.A long camera rail may be required for the line
파노라마 헤드(3730) 자체를 구동부의 회전단(3742)과 분리하는 방식을 사용할 수도 있지만, 체결단(3732)은 구동부의 회전단(3742)과 동심(concentricity)을 완벽히 맞추어야 하므로 탈착을 반복하는 것이 바람직하지 않다. 또, 회전단과 체결단은 금형핀(mold pin) 등을 사용하여 정교하게 체결될 수 있다.It is also possible to use a method of separating the
그리고 망원 렌즈의 경우에는 DSLR 카메라보다도 크고 무거운 경우들이 있다. 이런 경우에는 카메라를 삼각대에 장착하는 것이 아니라 렌즈 자체를 삼각대에 장착하는 경우가 많고, 렌즈에 삼각대 장착단이 마련되어 있다. 이와 같은 경우에는 굳이 레일단(3734)을 교체하지 않아도 될 것이다.And in the case of telephoto lenses, there are cases that are bigger and heavier than DSLR cameras. In this case, the camera itself is often mounted on a tripod instead of a camera, and the lens is provided with a tripod mounting end. In this case, the
그런데 항상 길이가 긴 레일단(3734)을 사용할 수 없는 이유는 도 38과 같이 화각이 큰 결상 렌즈(3868)를 사용할 때 긴 레일단(3834)이 결상 렌즈의 화각을 가리기 때문이다. 따라서 광각 렌즈를 사용하는가 망원 렌즈를 사용하는가에 따라서 그 길이가 다른 레일단을 사용하는 것이 바람직하고, 레일단을 파노라마 헤드의 체결단(3832)으로부터 용이하게 탈착할 수 있는 것이 가장 바람직하다. 도 38에서 다른 식별 번호들은 도 36이나 도 37에서와 동일한 의미를 가진다.However, the reason why the
한편, 어안 렌즈를 장착한 경우에는 화각이 180° 이상이 될 수 있다. 도 39에서는 화각(3969)이 180°인 어안 렌즈(3968)를 장착한 경우를 보여준다. 이와 같은 경우에는 아무리 짧은 길이를 갖는 레일단(3934)을 사용한다고 하더라도 레일단이 어안 렌즈의 화각의 상당 부분을 가리게 된다. 이와 같은 경우에는 도 40에서와 같이 라인 스캔 카메라부의 광축(4013)이 레일축(4016)에 수직한 경우가 더 바람직할 수 있다.On the other hand, when a fisheye lens is mounted, the angle of view may be 180° or more. 39 shows a case in which the
도 40에서 라인 스캔 카메라 몸체(4062)가 레일 마운트(4067)에 대하여 90° 회전한 상태를 보여준다. 레일 마운트(4067)는 레일단(4034) 상부의 카메라 레일을 따라서 이동이 가능하므로 레일 마운트가 중심점(4012) 위에 오도록 한 후, 라인 스캔 카메라 몸체(4062)를 90° 회전시켜서 어안 렌즈(4068)의 화각에 레일단(4034)이 포함되지 않도록 할 수 있다. 그런데 파노라마 헤드부의 체결단(4032)은 원반의 형상을 가지고 있으므로, 라인 스캔 카메라부의 방향과 상관없이 체결단(4032)은 어안 렌즈(4068)의 화각에 항상 포함될 수 밖에 없다. 그러나 카메라 레일과 평행할 경우에 레일단이 가리는 범위에 비하면 훨씬 적을 것이다.40, the line
그런데 도 40과 같은 구조의 주사형 전방위 카메라에서 원리적인 문제점이 존재한다. 즉, 결상 렌즈(4068)의 마디점 N이 중심점(4012)과 동일한 장치 회전축 상에 존재하지 않는 것이다. 실외에서 촬영하여 피사체들이 모두 멀리 있을 경우에는 사실상 아무런 문제가 되지 않는다. 가깝고 먼 기준은 상대적인데, 예를 들어 도 40에서 렌즈의 마디점 N과 중심점(4012)의 Z'-축 방향의 거리가 10cm이고, 가장 가까운 피사체까지의 거리가 1m 정도로 10배 이상 크다면 비교적 멀다고 할 수 있다. 그런데 아주 좁은 실내에서 촬영한다면 어느 정도 문제가 될 수도 있다. 이와 같은 경우에 전방위 영상이 약간 부자연스럽게 포착될 수도 있다.However, a principle problem exists in a scanning omnidirectional camera having a structure as shown in FIG. 40. That is, the node N of the
도 41은 이와 같은 문제를 해결하기 위한 라인 스캔 카메라부를 보여준다. 라인 스캔 카메라부는 라인 스캔 카메라 몸체(4162)와 결상 렌즈(4168)와 카메라 마운트(4163)와 레일 마운트(4167)를 포함한다.41 shows a line scan camera unit for solving this problem. The line scan camera unit includes a line
라인 스캔 카메라 몸체(4162)는 전면에 결상 렌즈(4168)가 체결되는 렌즈 체결부(4165)를 구비하고, 내부에는 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 라인 스캔 센서(4164)를 구비하며, 하부에는 장착부(4162a)를 구비한다. 결상 렌즈(4168)는 광축(4113)이 라인 스캔 센서(4164)의 길이 방향에 수직하게 렌즈 체결부(4165)에 장착된다. 이 라인 스캔 카메라부는 렌즈를 교체 가능할 수 있는 렌즈 교환형 라인 스캔 카메라부이다.The line
렌즈 교환형 라인 스캔 카메라부의 구조를 이해하기 위하여 결상 렌즈에 상대적으로 고정된 제 3의 좌표계를 도입하면 편리하다. 제 3의 좌표계는 결상 렌즈(4168)의 마디점 N을 원점으로 하고, 결상 렌즈의 광축(4113)을 Z"-축으로 한다. 또한, 원점을 지나고 Z"-축에 수직한 수평축을 X"-축으로 하고, Z"-축과 X"-축에 모두 수직한 축을 Y"-축으로 한다.In order to understand the structure of the interchangeable line scan camera unit, it is convenient to introduce a third coordinate system fixed relative to the imaging lens. In the third coordinate system, the node N of the
라인 스캔 카메라 몸체(4162) 하부의 장착부(4162a)는 Z"-축 방향으로 형성된 도브테일의 형상을 가지고 있다.The mounting
레일 마운트(4167)는 상부의 레일 마운트 회전단(4167a)과 하부의 레일 마운트 체결단(4167b)으로 구성된다. 체결단은 주사형 전방위 카메라 본체의 레일단(4134)에 형성된 카메라 레일(4135)과 체결되는 한 쌍의 압박 부재(4167c)와 한 쌍의 압박 부재의 이격 거리를 조절하는 레일 마운트 이동 잠금 장치(4167e)를 구비한다. 레일 마운트 이동 잠금 장치를 느슨하게 하면 레일 마운트(4167)는 체결된 카메라 레일을 따라서 이동이 가능하고, 단단히 조이면 레일 마운트(4167)는 카메라 레일(4135)에 고정된다. 레일 마운트(4167)와 레일단(4134) 사이의 레일 마운트 체결점(4167g)은 레일 마운트 회전축(4167f)과 카메라 레일(4135)이 만나는 점으로 생각할 수 있다.The
레일 마운트 회전단(4167a)은 레일 마운트 회전 잠금 장치(4167d)를 더 구비한다. 레일 마운트 회전 잠금 장치를 느슨하게 하면 레일 마운트 회전단(4167a)은 레일 마운트 회전축(4167f)을 중심으로 레일 마운트 체결단(4167b)에 대하여 회전이 가능하다. 레일 마운트 회전축(4167f)은 장치 회전축(4114)에 평행하다.The rail-mounted
카메라 마운트(4163)의 일측은 레일 마운트 회전단(4167a)의 상부에 체결된다. 카메라 마운트(4163)와 레일 마운트(4167)의 사이의 체결점(4163c)도 카메라 마운트(4163)와 레일 마운트 회전축(4167f)이 만나는 지점으로 생각할 수 있다. 카메라 마운트의 Z"-축 방향의 길이는 장착부(4162a)의 Z"-축 방향의 길이보다 길다.One side of the
카메라 마운트(4163)는 라인 스캔 카메라 몸체(4162) 하부의 장착부(4162a)와 체결되는 라인 스캔 카메라 몸체 이동 잠금 장치(4163b)를 더 포함한다. 라인 스캔 카메라 몸체 이동 잠금 장치를 느슨하게 하면 라인 스캔 카메라 몸체는 카메라 마운트를 따라서 Z"-축 방향으로 이동이 가능하다. 편의상 장착부의 면적의 중심을 라인 스캔 카메라 몸체가 카메라 마운트에 체결되는 체결점(4162b)으로 간주할 수 있다.The
전술한 바와 같이 라인 스캔 카메라 몸체(4162) 하부의 장착부(4162a)는 카메라 마운트(4163)의 두 압박 부재(4163a) 사이에 탈착가능하게 고정된다. 본 실시 예에서는 먼저 라인 스캔 카메라 몸체(4162)를 이동시켜서 결상 렌즈(4168)의 마디점 N을 장치 회전축(4164)과 동일한 축 상에 있도록 할 수 있다.As described above, the mounting
도 42는 본 발명의 제 2 실시예의 카메라 마운트(4163)의 구조를 이해하기 위한 도면이다. 라인 스캔 카메라 몸체(4262)의 전면에는 렌즈 체결부(4265)가 구비되어 있으며, 내부에는 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 라인 스캔 센서(4264)가 설치되어 있다. 제 3 좌표계의 Y"-축과 라인 스캔 센서(4264)의 길이 방향은 서로 평행하다.42 is a diagram for understanding the structure of the
라인 스캔 카메라 몸체(4262)의 하부에는 도브테일 형상을 가지는 장착부(4262a)가 구비되어 있다. 카메라 마운트는 한 쌍의 압박 부재(4263a1, 4263a2)와 라인 스캔 카메라 몸체 이동 잠금 장치(4263b)를 포함한다. 라인 스캔 카메라 몸체 이동 잠금 장치는 도 42에 표시된 것처럼 가장 간단하게 볼트(bolt)로 구성될 수도 있으며, 손잡이와 스프링 등 편의성을 갖춘 좀 더 복잡한 구조를 가질 수도 있다.A lower portion of the line scan camera body 4242 is provided with a mounting portion 4422a having a dovetail shape. The camera mount includes a pair of pressing members 4263a1 and 4263a2 and a line scan camera body
라인 스캔 카메라 몸체 이동 잠금 장치(4263b)를 단단히 고정하면, 한 쌍의 압박 부재(4263a1, 4263a2)는 장착부(4262a)의 두 45° 경사면을 강하게 압박한다. 따라서 라인 스캔 카메라 몸체(4262)와 카메라 마운트(4263)는 서로 고정된다. 그 고정의 기준점, 즉 라인 스캔 카메라 몸체의 장착점(4162b, 4262b)은 장착부(4262a)의 하단과 카메라 마운트가 만나는 접촉면의 중심으로 간주할 수 있다.When the line scan camera body movement locking device 443b is firmly fixed, the pair of pressing members 4263a1 and 4263a2 strongly press the two 45° inclined surfaces of the mounting portion 4422a. Therefore, the line scan camera body 4242 and the camera mount 4203 are fixed to each other. The fixed reference point, that is, the mounting
한편, 라인 스캔 카메라 몸체 이동 잠금 장치(4163b, 4263b)를 느슨하게 하면 라인 스캔 카메라 몸체는 카메라 마운트를 따라서 Z"-축 방향으로 이동이 가능하다. 구조에 의하여 라인 스캔 카메라 몸체(4162, 4262)가 카메라 마운트(4163)를 따라서 이동을 하더라도 광축(4113)의 방향은 변경되지 않는다.On the other hand, if the line scan camera body movement locks 4416b and 4263b are loosened, the line scan camera body can move in the Z"-axis direction along the camera mount. The line
도 43은 결상 렌즈(4368)의 마디점 N을 수직으로 지나는 Y"-축과 레일 마운트 회전축(4367f)을 모두 장치 회전축(4314)에 일치시킨 경우를 보여준다. 이를 위하여 먼저 레일 마운트 이동 잠금 장치(4367e)를 느슨하게 하고 레일 마운트(4367)를 레일축(4316)을 따라서 이동시켜 레일 마운트 회전축(4367f)이 주사형 전방위 카메라의 장치 회전축(4314)과 일치하도록 한다. 레일 마운트 회전축(4367f)이 장치 회전축(4314)과 일치하는 것을 확인한 다음에는 레일 마운트 이동 잠금 장치(4367e)를 다시 고정하여 레일 마운트가 올바른 위치에서 이탈되지 않도록 한다.Fig. 43 shows a case where both the Y"-axis and the rail-mounted rotating shaft 4368f passing vertically through the node N of the
다음에 라인 스캔 카메라 몸체 이동 잠금 장치(4363b)를 느슨하게 하여 한 쌍의 압박 부재(4363a)가 라인 스캔 카메라 몸체 하부의 장착부(4362a)에 가하는 압력을 낮춘 뒤, 라인 스캔 카메라 몸체를 광축(Z"-축) 방향으로 이동시켜 결상 렌즈(4368)의 마디점 N이 장치 회전축(4314) 상에 위치하도록 한다. 라인 스캔 카메라 몸체(4362)와 카메라 마운트(4363) 사이의 장착점(4362b)이 정확한 위치에 오게되면 다시 라인 스캔 카메라 몸체 이동 잠금 장치(4363b)를 잠궈서 라인 스캔 카메라 몸체가 움직이는 것을 막을 수 있다. 이와 같은 상태에서 레일 마운트 회전단을 수평으로 회전시키더라도 결상 렌즈(4368)의 마디점 N은 항상 장치 회전축(4314) 상에 위치하게 된다.Next, after loosening the line scan camera body movement lock 4436b to lower the pressure that the pair of pressing members 4436a exerts on the mounting portion 4322a at the bottom of the line scan camera body, the line scan camera body is optical axis Z. -Axis) so that the node N of the
도 44는 결상 렌즈(4468)의 마디점 N이 장치 회전축 상에 존재하도록 조정한 상태를 보여주는 평면도이다. 전술한 바와 같이 레일 마운트 이동 잠금 장치(4467e)를 느슨하게 하여 레일 마운트 회전축과 장치 회전축이 일치하도록 한 뒤, 레일 마운트 이동 잠금 장치를 잠근다. 다음으로는 레일 마운트 회전 잠금 장치(4467d)를 느슨하게 한 뒤, 레일 마운트를 회전시켜서 결상 렌즈(4068)의 광축이 레일축(4416)에 수직하도록 하고, 다시 레일 마운트 회전 잠금 장치(4467d)를 잠근다.44 is a plan view showing a state where the node N of the
그 다음으로는 결상 렌즈(4468)의 마디점 N의 위치를 확인한 후, 카메라 마운트(4463)에 대하여 라인 스캔 카메라 몸체(4462)를 이동시켜서 결상 렌즈의 마디점 N이 장치 회전축과 일치하도록 한 뒤, 라인 스캔 카메라 몸체 이동 잠금 장치(4463b)를 잠근다.Next, after checking the position of the node N of the
도 45는 본 발명의 제 2 실시 예의 렌즈 교환형 라인 스캔 카메라부에 길이가 짧은 렌즈가 장착된 상태를 보여주며, 도 46은 길이가 긴 렌즈를 장착한 상태를 보여준다. 또한, 도 47과 도 48은 이 렌즈 교환형 라인 스캔 카메라부가 주사형 입체 전방위 카메라 본체에 장착된 상태를 보여준다.FIG. 45 shows a state in which a lens having a short length is attached to the interchangeable lens line scan camera of the second embodiment of the present invention, and FIG. 46 shows a state in which a long lens is mounted. In addition, FIGS. 47 and 48 show a state in which the interchangeable line scan camera unit is mounted on the main body of the scanning stereoscopic omnidirectional camera.
[실시예 3][Example 3]
도 49는 결상 렌즈의 마디점의 위치를 찾을 필요가 없는 라인 스캔 카메라부의 단면도이다. 본 발명의 제 3 실시 예의 라인 스캔 카메라부는 라인 스캔 카메라 몸체(4962)와 결상 렌즈(4968)와 카메라 마운트(4963)와 레일 마운트를 포함한다. 도 49에는 레일 마운트가 생략되어 있다.49 is a cross-sectional view of the line scan camera unit that does not need to locate the node of the imaging lens. The line scan camera unit of the third embodiment of the present invention includes a line scan camera body 4922, an imaging lens 4906, a camera mount 4639, and a rail mount. In Fig. 49, the rail mount is omitted.
라인 스캔 카메라 몸체(4962)는 전면에 렌즈 체결부(4965)를 구비하고, 내부에는 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 라인 스캔 센서(4964)를 구비한다. 렌즈 체결부는 m42 mount와 같이 단순한 형태를 가질 수 있고, 도 35에 보이는 바와 EF mount와 같은 베요넷 마운트를 가질 수도 있다. 결상 렌즈(4968)는 광축(4913)이 라인 스캔 센서(4964)의 길이 방향에 수직하게 렌즈 체결부(4965)에 장착된다.The line
그 내부 구조를 알 수 없는 상용 렌즈를 사용하여 전방위 영상을 촬영할 때에는 노달 슬라이드법(Nodal Slide method)을 이용하여 마디점(Nodal Point)을 찾을 수 있고, 그 마디점의 위치를 활용하여 바람직한 전방위 영상을 얻을 수 있다.When shooting omnidirectional images using a commercial lens whose internal structure is unknown, a nodal point can be found using the Nodal Slide method, and a desired omnidirectional image is utilized by utilizing the position of the nodal point. Can get
한편, 렌즈의 설계도가 있는 경우에는 그 설계도를 활용하여 더 정확하게 마디점의 위치를 계산할 수 있다. 도 49에서 어안 렌즈의 앞 부분에 직경이 작은 목 (neck) 부분이 마련되어 있는데, 그 목 부분의 중심을 지나는 수직선과 어안 렌즈의 광축의 교차점이 이 어안 렌즈의 마디점이다. 상식적으로 렌즈의 조리개(stop)가 마디점의 위치일 것으로 생각하기 쉽지만, 사실은 그렇지 않다. 도 49에서 조리개 위치보다 훨씬 앞쪽에 마디점이 존재하는 것을 알 수 있다.On the other hand, if there is a blueprint of the lens, it is possible to more accurately calculate the position of the node using the blueprint. In FIG. 49, a neck portion having a small diameter is provided at the front portion of the fish-eye lens. The intersection of the vertical line passing through the center of the fish-eye lens and the optical axis of the fish-eye lens is a node of the fish-eye lens. It is common sense to think that the lens stop is the node position, but it is not. It can be seen from FIG. 49 that the node is far ahead of the aperture position.
전술한 바와 같이 본 발명의 제 3 실시 예의 라인 스캔 카메라부의 구조를 이해하기 위하여 제 3의 좌표계를 도입하면 편리하다. 제 3의 좌표계는 결상 렌즈(4968)의 마디점 N을 원점으로 하고, 결상 렌즈의 광축(4913)을 Z"-축으로 하며, 원점을 지나고 Z"-축에 수직한 수평선을 X"-축으로 하며, X"-축과 Z"-축에 모두 수직하게 원점을 지나는 축을 Y"-축으로 한다.As described above, it is convenient to introduce a third coordinate system to understand the structure of the line scan camera unit of the third embodiment of the present invention. In the third coordinate system, the node N of the imaging lens 4946 is the origin, the
결상 렌즈(4968)는 Z"-축을 중심으로 회전 대칭형의 형상을 가지며, 원점을 중심점으로 하는 지지부(4968b)를 가진다. 지지부는 Z"-축 방향으로 앞 쪽 및 뒤 쪽보다 반경이 작은 목(neck) 부분을 형성한다. 도 49에 보이는 결상 렌즈는 11매의 렌즈 요소(lens elements)와 적외선 차단 필터를 가진 화각 190°의 어안 렌즈이며, 라인 스캔 센서에 맞춤 설계되어 있다. 따라서 이 어안 렌즈를 라인 스캔 카메라 몸체에 장착했을 때 수직 방향의 화각이 180°가 되어 실내 전체를 포착할 수 있다.The imaging lens 4906 has a rotationally symmetrical shape around the Z"-axis, and has a support portion 4906b centering on the origin. The support portion has a neck having a smaller radius than the front and back sides in the Z"-axis direction ( neck) part. The imaging lens shown in FIG. 49 is a fish-eye lens having an angle of view of 190° with 11 lens elements and an infrared cut filter, and is custom designed for a line scan sensor. Therefore, when the fisheye lens is mounted on the body of a line scan camera, the vertical angle of view becomes 180°, so that the entire room can be captured.
카메라 마운트(4963)는 지지대(4963a)와 바닥판(4963b)과 카메라 마운트 장착부(4963c)를 포함한다. 지지대(4963a)의 상부는 결상 렌즈(4968)의 지지부(4968b)와 반경 및 두께가 일치하는 고리(ring) 또는 목걸이 형상을 하고 있으며, 2 부분으로 분리가 가능하다. 따라서 지지부의 둘레에 목걸이처럼 두른 다음에 볼트로 체결하면 결상 렌즈는 지지대로부터 이탈되지 않을 뿐만 아니라, Z"-축 방향으로도 이동이 불가능하고, 단지 Z"-축을 중심으로 회전만이 가능하다.The camera mount 4639 includes a support 4949a, a bottom plate 4949b, and a camera mount mount 4949c. The upper portion of the support (4963a) has a ring or necklace shape having the same radius and thickness as the support portion (4968b) of the imaging lens (4968), and can be separated into two parts. Therefore, if you wrap it around the support like a necklace and then fasten it with a bolt, the imaging lens is not detached from the support, but cannot be moved in the Z"-axis direction, and can only be rotated around the Z"-axis.
도 49에서는 이 지지부(4968b)에 지지대(4963a)가 체결된 상태를 보여준다. 그리고 지지대의 하부는 바닥판(4963b)에 볼트로 고정되어 있다. 한편, 라인 스캔 카메라 몸체(4962)는 바닥판(4963b)에 의하여 지지되되, 고정되어 있지 않다. 즉, 카메라 몸체에 어안 렌즈가 체결되었다기보다는 오히려 어안 렌즈에 카메라 몸체가 체결된 형태이며, 레일단에 체결되는 것은 카메라 몸체 하부가 아니라 어안 렌즈이다. Figure 49 shows a state in which the support (4963a) is fastened to this support (4968b). And the lower portion of the support is bolted to the bottom plate (4963b). On the other hand, the line scan camera body 4922 is supported by the bottom plate 4639b, but is not fixed. That is, rather than the fish-eye lens is fastened to the camera body, the camera body is fastened to the fish-eye lens, and the fastening to the rail end is not the bottom of the camera body, but the fish-eye lens.
라인 스캔 카메라 몸체(4962)의 렌즈 체결부(4965)가 m45 마운트와 같이 너트(nuts)의 형상으로 되어 있고, 대응되는 결상 렌즈의 부분은 볼트(bolts)의 형상으로 되어 있다면, 결상 렌즈(4968)는 라인 스캔 카메라 몸체에 돌려서 끼우게 된다. 그런데 결상 렌즈의 지지부(4968b)가 지지대(4963a)에 의하여 고정되어 있으므로, 결상 렌즈를 회전시키면 결상 렌즈는 제자리에서 회전을 하게 된다. 한편 결상 렌즈와 렌즈 체결부는 서로 볼트와 너트로 구성되어 있으므로, 결상 렌즈를 돌리면 결상 렌즈는 제자리에 있고, 라인 스캔 카메라 몸체는 Z"-축 방향으로 이동을 하게 된다. 따라서 결상 렌즈를 회전시킴으로써 초점(focus)를 정확하게 맞출 수 있다.If the lens fastening portion 4925 of the line scan camera body 4922 is in the shape of nuts like the m45 mount, and the portion of the corresponding imaging lens is in the form of bolts, the imaging lens 4946 ) Is rotated into the line scan camera body. However, since the support portion 4906b of the imaging lens is fixed by the support 4949a, when the imaging lens is rotated, the imaging lens rotates in place. On the other hand, the imaging lens and the lens fastening part are composed of bolts and nuts, so when the imaging lens is rotated, the imaging lens is in place and the line scan camera body moves in the Z"-axis direction. Therefore, focusing is performed by rotating the imaging lens. You can focus accurately.
바닥판(4963b)의 밑면에는 레일 마운트와 같은 다른 장치에 장착이 가능하도록 카메라 마운트 장착부(4963c)를 구비하며, 도브테일의 형상을 가질 수 있다.The bottom surface of the base plate 4639b is provided with a camera mount mounting portion 4639c to be mounted on another device such as a rail mount, and may have a shape of a dovetail.
도 50은 레일 마운트(5067)를 포함하는 라인 스캔 카메라부가 레일단(5034)에 장착된 모습을 보여준다. 본 발명의 제 2 실시 예에서와 마찬가지로 레일 마운트(5067)는 하부의 레일 마운트 체결단(5067b)과 상부의 레일 마운트 회전단(5067a)으로 구성된다. 카메라 마운트(5063) 하부의 카메라 마운트 장착부(5063c)는 레일 마운트 회전단(5067a)의 상부에 형성된 한 쌍의 압박 부재에 의하여 고정되며, 지지대(5063a)의 중심과 레일 마운트 회전단(5067a)의 중심, 즉 레일 마운트 회전축(5067f)이 일치되게 고정된다. 따라서 도 50에서 볼 수 있는 바와 같이 결상 렌즈(5068)의 마디점을 지나는 Y"-축은 레일 마운트 회전축(5067f)과 일치한다.50 shows a line scan camera unit including a
레일 마운트 체결단(5067b)은 레일단(5034)에 형성된 카메라 레일(5035)과 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 레일 마운트 이동 잠금 장치(5067e)를 더 구비한다. 레일 마운트 이동 잠금 장치를 느슨하게 하면 레일 마운트는 체결된 카메라 레일을 따라서 이동이 가능하다. 따라서 레일 마운트를 움직여서 레일 마운트 회전축(5067f)이 주사형 전방위 카메라 본체의 중심점(5012)을 지나는 장치 회전축과 일치하도록 할 수 있다.The rail
레일 마운트 회전단은 레일 마운트 회전 잠금 장치(5067d)를 구비한다. 레일 마운트 회전 잠금 장치를 느슨하게 하면 레일 마운트 회전단은 레일 마운트 회전축을 중심으로 레일 마운트 체결단에 대하여 회전이 가능하다.The rail mount rotating end is provided with a rail mount
도 50에 보이는 라인 스캔 카메라부를 이용하면 결상 렌즈의 마디점 N이 주사형 전방위 카메라의 장치 회전축 상에 있도록 할 수 있으며, 레일 마운트 회전단을 회전시켜서 결상 렌즈의 광축(5013)이 가리키는 방향을 바꾸더라도 마디점이 장치 회전축에서 이탈하지 않는다.By using the line scan camera unit shown in FIG. 50, the node N of the imaging lens can be placed on the rotation axis of the device of the scanning omnidirectional camera, and the rail mount rotating end is rotated to change the direction indicated by the
도 51은 라인 스캔 카메라 몸체(5162)와 결상 렌즈(5168)와 카메라 마운트(5163)와 틸트 마운트(tilt mount)(5166)와 레일 마운트(5167)를 포함하는 라인 스캔 카메라부를 보여준다. 결상 렌즈(5168)와 라인 스캔 카메라 몸체(5162)는 카메라 마운트(5163)에 장착되어 있고, 카메라 마운트(5163)는 틸트 마운트(5166)에 장착되어 있으며, 틸트 마운트는 레일 마운트(5167)에 장착되어 있고, 레일 마운트는 레일단(5134)에 형성된 카메라 레일(5135)에 장착될 수 있다.51 shows a line scan camera unit including a line scan camera body 5152, an
틸트 마운트(5166)는 상부의 틸팅단(tilting ends)(5166a)과 하부의 틸트 마운트 체결단(5166c) 및 틸트 조절 장치(5166b)를 포함한다. 카메라 마운트(5163) 하부의 카메라 마운트 장착부(5163c)는 틸팅단의 상부에 구비된 한 쌍의 압박 부재에 의하여 고정된다. 또한 틸트 조절 장치를 이용하면 틸트각(tilt angle)을 세밀하게 조절할 수 있다. 틸트 마운트를 이용하여 결상 렌즈(5168)의 광축(5113)이 Y"-Z" 평면에서 회전할 수 있고, 결상 렌즈의 광축을 정확하게 수평을 맞추기 위하여 사용될 수도 있다. 도 52와 도 53은 본 발명의 제 3 실시 예의 라인 스캔 카메라부의 사진을 보여준다.The
[실시 예 4][Example 4]
도 54는 본 발명의 제 4 실시 예의 주사형 전방위 카메라를 보여준다. 주사형 전방위 카메라는 라인 스캔 카메라부(5460)와 파노라마 헤드부(5430)와 구동부(5440)와 전력 및 신호 교환부(5450)와 영상 처리부(5480)를 포함한다.54 shows a scanning omnidirectional camera of the fourth embodiment of the present invention. The scanning omnidirectional camera includes a line
도 54에서 식별 번호 5412는 주사형 전방위 카메라에 상대적으로 고정된 중심점(center point)이다. 상기 중심점은 세계 좌표계(World coordinate system)의 원점이자, 카메라 좌표계(camera coordinate system)의 원점이다. 그리고 중심점을 수직으로 지나는 축이 Y-축이다. 한편, 카메라 좌표계는 주사형 전방위 카메라에 상대적으로 고정된 좌표계이며, 주사형 전방위 카메라가 수평으로 회전하면 카메라 좌표계도 수평으로 회전하게 된다. 카메라 좌표계의 직교하는 세 축은 X'-축, Y'-축, Z'-축이다.In Fig. 54,
카메라 좌표계의 Y'-축은 세계 좌표계의 Y-축과 일치하며, 또한 주사형 전방위 카메라의 장치 회전축(5414)이다. 구동부는 상기 장치 회전축(5414)을 회전 대칭축으로 하는 중공을 구비하며 장치 회전축을 중심으로 회전이 가능한 회전단(5442)과, 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하는 고정단(5444)과, 상기 장치 회전단을 균일한 각속도로 회전시킬 수 있는 구동 수단(5446)을 포함한다.The Y'-axis of the camera coordinate system coincides with the Y-axis of the world coordinate system, and is also the
상기 파노라마 헤드부(5430)는 상부에 상기 장치 회전축(5414)과 수직한 한 방향(5416)으로 형성된 카메라 레일(5435)을 포함하는 레일단(5434)과, 하부에 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하며 상기 회전단(5442)에 체결되는 체결단(5432)을 포함한다. 레일단의 카메라 레일(5435)이 향하는 방향이 X'-축이며, 레일축이라고 부르기로 한다. 따라서 세계 좌표계의 중심점(5412) 또는 원점은 도 54에 도시한 바와 같이 카메라 레일(5435)의 레일면과 장치 회전축(5414)의 교점이다.The
라인 스캔 카메라부(5460)는 라인 스캔 카메라 몸체(5462)와 결상 렌즈(5468)와 카메라 마운트(5463)와 레일 마운트(5467)를 포함한다. 라인 스캔 카메라 몸체(5462)는 전면에 렌즈 체결부(5465)를 구비하고, 내부에 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 라인 스캔 센서(5464)를 구비하며, 하부에는 장착부를 구비한다. 결상 렌즈(5468)는 광축(5413)이 상기 라인 스캔 센서(5464)의 길이 방향에 수직하게 렌즈 체결부에 장착된다.The line
레일 마운트(5467)는 하부의 레일 마운트 체결단과 상부의 레일 마운트 회전단으로 구성된다. 레일 마운트 체결단은 레일단(5434)의 카메라 레일(5435)에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 레일 마운트 이동 잠금 장치를 구비한다. 따라서 레일 마운트 잠금 장치를 느슨하게 하면 라인 스캔 카메라부(5460)는 레일단의 카메라 레일(5435)을 따라서 이동이 가능하다.The
레일 마운트의 회전단은 레일 마운트 회전 잠금 장치를 구비한다. 레일 마운트 회전 잠금 장치를 느슨하게 하면 레일 마운트 회전단은 레일 마운트 회전축(5467f)을 중심으로 레일 마운트 체결단에 대하여 회전이 가능하다. 레일 마운트 회전축(5467f)은 장치 회전축(5414)에 평행하다.The rotating end of the rail mount is provided with a rail mount rotation lock. When the rail mount rotation lock is loosened, the rail mount rotation end can rotate relative to the rail mount fastening end about the rail mount rotation shaft 5467f. The rail mount axis of rotation 5467f is parallel to the device axis of
카메라 마운트(5463)의 일측은 레일 마운트 회전단의 상부에 체결되고, 라인 스캔 카메라 몸체 하부의 장착부는 카메라 마운트의 상부에 체결된다. 상기 장착부가 카메라 마운트의 상부에 체결되는 위치는 결상 렌즈(5468)의 광축(5413) 방향으로 이동이 가능하다.One side of the camera mount 5503 is fastened to the top of the rail mount rotating end, and the mounting portion of the bottom of the line scan camera body is fastened to the top of the camera mount. The position where the mounting portion is fastened to the upper portion of the camera mount is movable in the direction of the optical axis 5313 of the
제 3의 좌표계는 결상 렌즈(5468)의 마디점 N을 원점으로 하고, 결상 렌즈의 광축(5413)을 Z"-축으로 하며, 원점을 지나고 Z"-축에 수직한 수평선을 X"-축으로 하며, X"-축과 Z"-축에 모두 수직하게 원점을 지나는 축을 Y"-축으로 한다. 광축은 정의에 의하여 당연히 마디점을 지나고, Z"-축은 라인 스캔 센서(5464)의 길이 방향에 수직하다.In the third coordinate system, the node N of the
따라서 Y-축과 Y'-축은 항상 일치하지만, Y"-축은 일반적으로 수직선이 아니다. 또한, Z-축과 Z'-축과 Z"-축은 일반적으로 일치하지 않는다. Z-축은 고정되어 있고, Z'-축은 라인 스캔 카메라가 회전함에 따라서 회전하며, Z"-축은 라인 스캔 카메라가 회전하지 않아도 라인 스캔 카메라부가 향하는 방향을 바꾸면 따라서 바뀐다. 즉, 결상 렌즈의 광축(5413)으로 정해지는 Z"-축은 카메라 레일의 방향으로 결정되는 레일축(5416)과 독립적이다.Therefore, the Y-axis and the Y'-axis always coincide, but the Y"-axis is generally not a vertical line. Also, the Z-axis and the Z'-axis and the Z"-axis do not generally coincide. The Z-axis is fixed, the Z'-axis rotates as the line scan camera rotates, and the Z"-axis changes accordingly by changing the direction the line scan camera part faces even if the line scan camera does not rotate. That is, the optical axis of the imaging lens ( The Z"-axis defined by 5413) is independent of the
전력 및 신호 교환부(5450)는 파노라마 헤드부(5430)의 체결단(5432) 내부의 중공에 결합되는 회전자(5452)와, 상기 구동부(5440)의 고정단(5444) 내부의 중공에 결합되는 고정자(5454)와, 상기 회전자의 위쪽으로 인출되어 라인 스캔 카메라 몸체에 연결되는 카메라쪽 전력 및 신호선(5456)과, 상기 고정단의 아래쪽으로 인출되어 각각 전원과 영상 처리부에 연결되는 구동부쪽 전력 및 신호선(5458)을 포함한다. 영상 처리부(5480)는 라인 스캔 카메라부(5460)로부터 전달된 영상 신호를 가로 방향으로 집적하여 전방위 영상을 생성한다.The power and signal
GPS(Global Positioning Unit)는 군사용으로 개발된 기술로서 지구 궤도상에 위치한 3개 이상의 인공위성으로부터의 신호를 이용하여 지구상에서의 정확한 위치를 알려주는 장치이며, 항공기와 자동차는 물론 현재는 스마트폰에도 장착되고 있다. 일반적인 GPS의 정밀도는 수 미터에 달하지만, 최신 장비는 수 센티미터(cm)의 정밀도를 가지는 제품도 있다.GPS (Global Positioning Unit) is a technology developed for military use, and it is a device that informs the exact position on the earth by using signals from three or more satellites located on the Earth's orbit. Is becoming. Although the accuracy of a typical GPS reaches several meters, some modern equipment has a precision of several centimeters (cm).
주사형 전방위 카메라로 획득한 전방위 영상을 실제 지리적 위치와 대응시키기 위해서는 주사형 전방위 카메라의 정확한 위치를 알아야 하며, 주사형 전방위 카메라의 정확한 위치는 상기 중심점(5412)의 위치가 되어야 함은 명확하다. 따라서, 주사형 전방위 카메라의 위치를 측정하기 위하여 GPS 센서를 부착한다면, 그 위치는 가능한 한 최대한 상기 중심점에 가까워야 하며, 무엇보다도 상기 회전축 상에 위치하여야 할 것은 명확하다. 따라서 GPS 센서를 파노라마 헤드부(5430)의 체결단(5432)에 장착하되, 최대한 장치 회전축에 가까운 위치에 설치하는 것이 바람직하다.In order to match the omnidirectional image acquired by the scanning omnidirectional camera with the actual geographic location, it is necessary to know the exact location of the scanning omnidirectional camera, and it is clear that the exact location of the scanning omnidirectional camera should be the location of the center point 5212. Therefore, if a GPS sensor is attached to measure the position of the scanning omnidirectional camera, the position should be as close to the center point as possible, and above all, it should be clearly located on the rotation axis. Therefore, the GPS sensor is mounted on the fastening end 5302 of the
또한, 전방위 영상과 실제 풍경을 매칭시키기 위해서는 전방위 영상에서 방위를 알 수 있어야 한다. 이를 위해서 디지털 나침반도 체결단에 장착하여 라인 스캔 카메라가 회전할 때 결상 렌즈의 광축이 향하는 방향을 알 수 있어야 한다. 따라서 상기 기준점에 최대한 가까이 설치된 디지털 나침반을 사용하여 결상 렌즈의 광축이 향하는 방향을 모니터링한 후에, 상기 광축이 특정 방향을 향할 때에 대응하는 픽셀 정보를 기록하면 좋을 것이다.Also, in order to match the omnidirectional image with the actual landscape, the orientation must be known from the omnidirectional image. To this end, a digital compass must also be mounted on the fastening end to know the direction the optical axis of the imaging lens is facing when the line scan camera rotates. Therefore, after monitoring the direction in which the optical axis of the imaging lens is directed using a digital compass installed as close as possible to the reference point, it may be desirable to record corresponding pixel information when the optical axis is directed in a specific direction.
예를 들어 결상 렌즈의 광축이 정확하게 북쪽을 향하고 있을 때 얻어진 영상 신호에서 수평에 해당하는 픽셀의 정보, 즉 전방위 영상면에서의 위치(열번호, 행번호) 및 전방위 카메라의 회전 방향(즉, 시계 방향, 또는 반시계 방향)을 알 수 있다면, 전방위 영상과 실제 풍경에서의 방향을 대응시킬 수 있으며, 따라서 실제 지도와 연계하는 것도 가능하다. 그러므로 카메라 몸체나 파노라마 헤드부에 디지털 나침반과 GPS를 구비하는 센서부를 구비하는 것이 바람직하다.For example, in the image signal obtained when the optical axis of the imaging lens is accurately pointing to the north, the information of the horizontal pixel, that is, the position (column number, row number) on the omnidirectional image plane and the rotation direction of the omnidirectional camera (i.e., the clock Direction, or counter-clockwise), it is possible to map the omnidirectional image and the direction in the actual landscape, and thus it is possible to link with the actual map. Therefore, it is preferable to have a sensor unit having a digital compass and GPS on the camera body or the panoramic head.
이와 같은 이유에서 영상 처리부는 센서부에 포함된 디지털 나침반으로부터 수집된 방위 정보와, GPS로부터 수집된 위치 정보를 메타 데이터(meta data)의 형태로 전방위 영상면에 추가하는 것이 바람직하다. 메타 데이터란 디지털 사진(still picture)이나 동영상(movie file)의 헤더(header)에 그 사진이나 동영상이 촬영된 장소나 시간, 사진의 크기, 조리개 노출 정도, 사진가의 개인 정보 등을 기록한 것을 의미한다.For this reason, it is preferable that the image processing unit adds the orientation information collected from the digital compass included in the sensor unit and the location information collected from the GPS to the omnidirectional image surface in the form of meta data. Meta data refers to the place or time the photo or video was taken, the size of the photo, the aperture exposure level, the photographer's personal information, etc., in the header of a digital picture (still picture) or video (movie file). .
센서부가 디지털 나침반과 GPS를 포함하고 있다면, 방위 정보와 위치 정보를 영상 처리부에서 수집하여 메타 데이터(meta data)의 형태로 전방위 영상에 추가할 수 있다. 또한, 영상 처리부에 내재된 시계를 이용하여 정확한 영상 촬영 시간도 알 수 있다. 이 시간 정보까지 메타 데이터의 형태로 추가한다면, 전방위 영상이 촬영된 장소와 시간 및 전방위 영상의 특정 피사체의 방향까지 모두 파악하는 것이 가능하며, 이러한 정보는 다양한 목적으로 사용될 수 있다.If the sensor unit includes a digital compass and GPS, the orientation information and location information may be collected by the image processing unit and added to the omnidirectional image in the form of meta data. In addition, an accurate image capturing time can be known using a clock embedded in the image processing unit. If this time information is added in the form of metadata, it is possible to grasp both the location where the omnidirectional image was taken and the time and direction of a specific subject of the omnidirectional image, and such information can be used for various purposes.
[실시 예 5][Example 5]
실시 예 4는 주사형 전방위 카메라 본체에 렌즈 교환형 라인 스캔 카메라부가 장착된 실시 예이다. 한편, 실시 예 5는 주사형 전방위 카메라 본체에 실시 예 3의 라인 스캔 카메라부가 장착된 실시 예이다.Example 4 is an embodiment in which the interchangeable line scan camera unit is attached to the main body of the scan-type omnidirectional camera. Meanwhile, Example 5 is an example in which the line scan camera unit of Example 3 is mounted on the main body of the scan-type omnidirectional camera.
라인 스캔 카메라부(5560)를 제외한 파노라마 헤드부(5530)와 구동부(5540)와 전력 및 신호 교환부(5550)와 영상 처리부(5580) 및 세계 좌표계의 중심점(5512) 등은 모두 실시 예 4와 동일하다. 구동부는 장치 회전축(5514)을 중심으로 회전이 가능하며 장치 회전축을 회전 대칭축으로 하는 중공을 구비하는 회전단(5542)과, 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하는 고정단(5544)과, 상기 회전단을 균일한 각속도로 회전시킬 수 있는 구동 수단(5546)을 포함한다.The
파노라마 헤드부(5530)는 상부에 상기 장치 회전축(5514)과 수직한 한 방향(5516)으로 형성된 카메라 레일(5535)을 포함하는 레일단(5534)과, 하부에 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하며 상기 회전단에 체결되는 체결단(5532)을 포함한다. 레일단의 카메라 레일(5535)이 향하는 방향이 X'-축 방향이며, 또한 레일축이라고 지칭한다.The
라인 스캔 카메라부(5560)는 라인 스캔 카메라 몸체(5562)와 결상 렌즈(5568)와 카메라 마운트(5563)와 레일 마운트(5567)를 포함한다. 라인 스캔 카메라 몸체는 내부에 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 라인 스캔 센서(5564)를 포함한다. 결상 렌즈(5568)는 광축(5513)이 상기 라인 스캔 센서의 길이 방향에 수직하게 라인 스캔 카메라 몸체의 전면에 장착되며, 라인 스캔 카메라 몸체의 전면에는 렌즈 체결부(5565)가 구비되어 있고, 라인 스캔 카메라 몸체(5562)의 하부에는 도브테일 형상의 장착부를 구비한다.The line
전술한 바와 같이 결상 렌즈(5568)의 마디점 N이 제 3 좌표계의 원점이며, 광축(5513)이 제 3 좌표계의 Z"-축이고, 원점을 지나며 Z"-축에 수직한 수평선이 X"-축이다. 그리고, Z"-축과 X"-축에 모두 수직한 축이 Y"-축이다. 결상 렌즈(5568)는 Z"-축을 중심으로 회전 대칭형의 형상을 가지며, 원점을 중심점으로 하는 지지부를 가지는데, 지지부는 Z"-축 방향으로 앞 쪽이나 뒤 쪽보다 반경이 작은 목(neck) 부분을 형성한다.As described above, the node N of the imaging lens 5682 is the origin of the third coordinate system, the
카메라 마운트(5563)는 지지대와 바닥판과 카메라 마운트 장착부를 포함하고, 지지대의 상부는 결상 렌즈의 지지부를 지지한다. 결상 렌즈는 지지대에 장착된 상태에서 Z"-축을 중심으로 회전이 가능하며, Z"-축 방향으로 이동은 불가능하다. 지지대의 하단은 바닥판에 고정된다. 라인 스캔 카메라 몸체는 고정되지 않은 채 바닥판에 의하여 지지된다.The camera mount 5603 includes a support, a bottom plate, and a camera mount mount, and an upper portion of the support supports the support of the imaging lens. The imaging lens can be rotated about the Z"-axis while mounted on the support, and cannot be moved in the Z"-axis direction. The bottom of the support is fixed to the bottom plate. The line scan camera body is supported by the bottom plate without being fixed.
레일 마운트(5567)는 하부의 레일 마운트 체결단과 상부의 레일 마운트 회전단으로 구성된다. 레일 마운트 체결단의 하부에는 레일단의 카메라 레일에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 레일 마운트 이동 잠금 장치를 더 구비한다. 레일 마운트 회전단은 레일 마운트 회전 잠금 장치를 구비한다. 레일 마운트 회전 잠금 장치를 느슨하게 하면 레일 마운트 회전단은 레일 마운트 회전축(5567f)을 중심으로 레일 마운트 체결단에 대하여 회전이 가능하다. 레일 마운트 회전축(5567f)은 장치 회전축(5514)에 평행하다. 틸트 마운트 체결단은 레일 마운트 회전단의 상부에 체결되고, 카메라 마운트 장착부는 틸팅단의 상부에 체결된다.The
가장 바람직한 상태에서 장치 회전축(5514)과 레일 마운트 회전축(5567f)과 결상 렌즈(5568f)의 마디점을 지나는 Y"-축이 모두 일치한다.In the most preferred state, both the device axis of
라인 스캔 카메라부는 틸트 마운트를 더 포함할 수 있다. 틸트 마운트는 상부의 틸팅단과 하부의 틸트 마운트 체결단 및 틸트 조절 장치를 포함한다. 틸팅단은 Y"-Z" 평면에서 회전이 가능하다.The line scan camera unit may further include a tilt mount. The tilt mount includes an upper tilting end and a lower tilt mount fastening end and a tilt adjusting device. The tilting end can be rotated in the Y"-Z" plane.
전력 및 신호 교환부(5550)는 파노라마 헤드부의 체결단 내부의 중공에 결합되는 회전자(5552)와, 상기 구동부의 고정단 내부의 중공에 결합되는 고정자(5554)와, 상기 회전자의 위쪽으로 인출되어 라인 스캔 카메라 몸체에 연결되는 카메라쪽 전력 및 신호선(5556)과, 상기 고정단의 아래쪽으로 인출되어 각각 전원과 영상 처리부에 연결되는 구동부쪽 전력 및 신호선(5558)을 포함한다. 영상 처리부(5580)는 라인 스캔 카메라로부터 전달된 영상 신호를 가로 방향으로 집적하여 전방위 영상을 생성한다.The power and signal
도 56은 본 발명의 제 5 실시 예의 주사형 전방위 카메라의 사진이고, 도 57과 도 58은 주사형 전방위 카메라로 획득한 전방위 영상의 예이다. 도 56에서 라인 스캔 카메라부는 화각 190°의 어안 렌즈를 장착하고 있지만, 설계에 의하여 라인 스캔 카메라에 포착되는 영상의 화각은 180°이다.56 is a photograph of a scanning omnidirectional camera according to a fifth embodiment of the present invention, and FIGS. 57 and 58 are examples of omnidirectional images acquired by the scanning omnidirectional camera. In FIG. 56, the line scan camera unit is equipped with a fisheye lens having an angle of view of 190°, but the angle of view of an image captured by the line scan camera by design is 180°.
도 57이나 도 58에서 아래쪽의 풍경이 포착되지 않은 것을 알 수 있다. 그 이유는 카메라 레일이 어안 렌즈의 화각을 가리기 때문이다. 이 어안 렌즈의 화각은 190°인데, 렌즈 아래의 레일이 어안 렌즈의 화각을 가리므로 바닥 근처의 영상은 포착을 할 수 없는 것이다.It can be seen from FIG. 57 or FIG. 58 that the landscape below was not captured. The reason is that the camera rail covers the angle of view of the fisheye lens. The angle of view of this fish-eye lens is 190°, and the rails under the lens cover the angle of view of the fish-eye lens, so images near the floor cannot be captured.
[실시 예 6][Example 6]
도 59는 본 발명의 제 6 실시 예의 주사형 입체 전방위 카메라 구조를 이해하기 위한 개념도이며, 결상 렌즈와 카메라 몸체를 포함하는 라인 스캔 카메라는 단지 광축(5913L, 5913R)과 마디점(NL, NR)으로만 표시되었다. 두 카메라의 마디점(NL, NR)은 거리 D만큼 떨어져 있으며, 두 마디점의 중간은 중심점(5912)과 일치한다.59 is a conceptual diagram for understanding the structure of a scanning stereoscopic omnidirectional camera of the sixth embodiment of the present invention, and a line scan camera including an imaging lens and a camera body only has
본 발명의 제 2 실시 예의 라인 스캔 카메라부나 제 3 실시 예의 라인 스캔 카메라부를 이용하면 결상 렌즈의 마디점이 정확히 레일축(5916) 위에 오도록 할 수 있다. 또한, 레일 마운트를 이용하여 결상 렌즈의 광축의 방향을 변경하더라도, 결상 렌즈의 마디점의 위치는 이동하지 않도록 할 수 있다. 이와 같은 상태가 완벽한 입체 전방위 영상을 얻을 수 있는 상태이다.When the line scan camera unit of the second embodiment or the line scan camera unit of the third embodiment of the present invention is used, the node point of the imaging lens can be exactly on the
도 59에서 두 라인 스캔 카메라부의 광축(5913L, 5913R)은 서로 평행하며, 도 59에서는 두 라인 스캔 카메라의 광축이 모두 Z'-축 방향을 향하고 있다. Z'-축 방향은 입체 전방위 카메라의 전방(front direction)이다. 이와 같이 두 카메라의 광축이 서로 평행한 상태에서 입체 전방위 영상을 얻는 방법을 평행법(parallel method)이라고 지칭한다. 또한, 사람이 육안으로 보는 것과 유사한 정도의 입체감을 느끼기 위해서는 두 라인 스캔 카메라의 마디점(NL, NR) 사이의 간격 D가 사람의 두 눈 사이의 간격과 비슷하여야 한다. 평행법으로 입체 전방위 영상을 포착하면 무한대의 거리에 시점을 고정한 경우에 해당하므로 유한한 거리에 있는 모든 물체가 앞으로 튀어나오게 보이게 된다.59, the
도 60은 중심점(6012)에서 반경 L의 거리에 있는 지점으로 시점 P을 이동한 경우를 보여준다. 두 라인 스캔 카메라부의 마디점(NL, NR)은 그대로인 채로 두 라인 스캔 카메라부에 장착된 결상 렌즈의 광축(6013L, 6013R)은 전방(Z'-축)을 향하여 각도 θ를 가지고 기울어진 경우를 예시한다. 주사형 입체 전방위 카메라가 Y'-축을 중심으로 회전하기 때문에, 중심점에서 반경 L인 원이 기준이 되어, 그보다 더 가까이 있는 피사체들은 모두 튀어나온 것처럼 보이게 되고, 그 원 바깥에 있는 피사체들은 뒤로 들어간 것처럼 보이게 된다. 이와 같이 두 카메라의 광축이 서로 교차하는 방법을 교차법(cross method)이라고 지칭한다.FIG. 60 shows a case where the viewpoint P is moved from the
도 61은 두 라인 스캔 카메라부의 마디점 사이의 간격을 D에서 D'으로 변경한 경우를 보여준다. 전술한 바와 같이 사람의 두 눈 사이의 간격은 약 6.35cm이다. 따라서 주사형 입체 전방위 카메라에서 두 라인 스캔 카메라부의 마디점 사이의 간격이 6.35cm 정도일 때 사람이 육안으로 보는 것과 유사한 입체감을 보여주는 입체 영상을 얻을 수 있다.61 shows a case in which the distance between the node points of the two line scan camera units is changed from D to D'. As described above, the distance between the two eyes of a person is about 6.35 cm. Therefore, when the distance between the node points of the two line scan camera units is about 6.35 cm in the scanning stereoscopic omnidirectional camera, it is possible to obtain a stereoscopic image showing a stereoscopic feeling similar to that seen by a human eye.
그런데 대부분의 피사체가 상당한 거리에 있는 실외에서 전방위 영상을 찍을 때 두 라인 스캔 카메라부의 마디점 사이의 간격에 비하여 피사체까지의 거리가 훨씬 크다면 입체감이 미약하거나 사실상 없을 수 있다. 따라서 피사체들의 평균적인 거리가 상당히 멀다면 두 마디점 사이의 간격을 벌려서 입체감을 높일 수 있다. 도 61은 두 마디점 사이의 간격을 D에서 D'으로 늘려서 평행법으로 입체 전방위 영상을 얻는 상태를 보여주는 개념도이다.However, if the distance to the subject is much larger than the distance between the node points of the two line scan cameras when taking an omnidirectional image outdoors, where most subjects are at a considerable distance, the stereoscopic effect may be weak or virtually absent. Therefore, if the average distance of the subjects is considerably large, a three-dimensional effect can be increased by opening a gap between two nodes. FIG. 61 is a conceptual diagram showing a state in which a stereoscopic omnidirectional image is obtained in a parallel method by increasing the distance between two node points from D to D'.
한편, 도 62는 도 60의 교차법에서 두 라인 스캔 카메라부의 마디점 사이의 간격을 D에서 D'으로 변경한 경우를 나타내는 개념도이다. 도 60과 도 62에서 두 라인 스캔 카메라부의 광축(6213L, 6213R) 사이의 각도 2θ는 그대로이다. 반면에 두 마디점 사이의 간격은 D에서 D'으로 증가되었다. 따라서 두 광축의 교차점도 P에서 P'으로 변경되었으며, 중심점(6212)에서 시점 또는 교차점이 그리는 반경도 L에서 L'으로 증가되었다.Meanwhile, FIG. 62 is a conceptual diagram illustrating a case in which the distance between the node points of two line scan camera units is changed from D to D'in the crossing method of FIG. 60. In FIGS. 60 and 62, the angle 2θ between the
이와 같이 두 라인 스캔 카메라부의 마디점 사이의 간격과 두 라인 스캔 카메라부의 광축 사이의 각도를 독립적으로 변경할 수 있다. 즉. 마디점 사이의 간격을 변경하지 않고서도 광축 사이의 각도를 변경할 수 있고, 광축 사이의 각도를 변경하지 않으면서도 두 마디점 사이의 간격을 변경할 수 있다. 그리고 어떤 경우라도 두 마디점의 중심은 장치 회전축 상에 위치한다.In this way, the distance between the node points of the two line scan camera units and the angle between the optical axes of the two line scan camera units can be independently changed. In other words. The angle between the optical axes can be changed without changing the distance between the nodes, and the distance between the two nodes can be changed without changing the angle between the optical axes. And in any case, the centers of the two nodes are located on the axis of rotation of the device.
도 63은 본 발명의 제 6 실시예의 주사형 입체 전방위 카메라의 평면도이다. 세계 좌표계의 수직축은 Y-축이며, 수평한 두 축은 Z-축과 X-축이다. 한편, 카메라 좌표계에서의 수직축은 Y'-축이며, 수평한 두 축은 Z'-축과 X'-축이다. 세계 좌표계의 원점과 카메라 좌표계의 원점은 동일하며, 도 63에서 중심점(center point)(6312)에 위치한다. Y-축과 Y'-축은 또한 장치 회전축(device rotation axis)이다.63 is a plan view of a scanning stereoscopic omnidirectional camera of the sixth embodiment of the present invention. The vertical axis of the world coordinate system is the Y-axis, and the two horizontal axes are the Z-axis and the X-axis. On the other hand, the vertical axis in the camera coordinate system is the Y'-axis, and the two horizontal axes are the Z'-axis and the X'-axis. The origin of the world coordinate system and the origin of the camera coordinate system are the same and are located at a
파노라마 헤드부의 체결단(6332)의 상부에는 레일단(6334)이 수평 방향으로 설치되어 있고, 레일단의 상부에는 카메라 레일이 형성되어 있다. 레일단이 향하는 방향을 X'-축으로 하고, X'-축을 또한 레일축(rail axis)이라고 부르기로 한다. 즉, X'-축은 레일축이며, Y'-축은 장치 회전축이다. 그리고 X'-축과 Y'-축에 수직한 Z'-축은 교차축(cross axis)이라고 부르기로 한다. 중심점은 카메라 레일의 레일면의 중심으로 하기로 한다. 따라서 좌표계의 원점인 중심점은 Y'-축을 중심으로 회전하는 장치 회전축과 카메라 레일의 레일면의 교점이다.A rail end 6340 is installed in a horizontal direction on the upper end of the fastening end 632 of the panoramic head portion, and a camera rail is formed on the upper end of the rail end. The direction that the rail end faces is referred to as the X'-axis, and the X'-axis is also referred to as a rail axis. That is, the X'-axis is the rail axis, and the Y'-axis is the device rotation axis. Also, the Z'-axis perpendicular to the X'-axis and Y'-axis will be referred to as a cross axis. The center point will be the center of the rail surface of the camera rail. Therefore, the center point, which is the origin of the coordinate system, is the intersection of the device rotation axis rotating about the Y'-axis and the rail surface of the camera rail.
제 1 라인 스캔 카메라부(6360L)는 제 1 라인 스캔 카메라 몸체(6362L)와 제 1 결상 렌즈(6368L)와 제 1 레일 마운트(6367L)를 포함하고, 제 2 라인 스캔 카메라부(6360R)는 제 2 라인 스캔 카메라 몸체(6362R)와 제 2 결상 렌즈(6368R)와 제 2 레일 마운트(6367R)를 포함한다. 제 1 라인 스캔 카메라 몸체(6362L)의 내부와 제 2 라인 스캔 카메라 몸체(6362R)의 내부에는 각각 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 1 라인 스캔 센서(6364L)와 제 2 라인 스캔 센서(6364R)를 구비한다.The first line
제 1 결상 렌즈(6368L)는 제 1 라인 스캔 카메라 몸체(6362L)의 전면에 장착되어 있는데, 제 1 결상 렌즈의 광축(6313L)은 제 1 라인 스캔 센서(6364L)의 길이 방향에 수직하다. 또한, 제 2 결상 렌즈(6368R)는 제 2 라인 스캔 카메라 몸체(6362R)의 전면에 장착되어 있는데, 제 2 결상 렌즈의 광축(6313R)은 제 2 라인 스캔 센서(6364R)의 길이 방향에 수직하다. The
제 1 레일 마운트(6367L)는 레일단(6334)의 카메라 레일에 체결되는 하부의 제 1 레일 마운트 체결단과 제 1 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 1 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 1 레일 마운트 회전단으로 구성된다. 마찬가지로 제 2 레일 마운트(6367R)는 레일단(6334)의 카메라 레일에 체결되는 하부의 제 2 레일 마운트 체결단과 하부의 제 2 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 2 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 2 레일 마운트 회전단으로 구성된다.The first rail mount (6367L) is rotated about a first rail mount rotation axis parallel to the device rotation axis with respect to the first rail mount fastening end and the first rail mount fastening end coupled to the camera rail of the rail end (6334). It consists of a first rail-mounted rotating end of the possible top. Likewise, the
제 1 레일 마운트(6367L)는 레일단(6334)의 카메라 레일에 체결되어 X'-축 방향으로 이동이 가능하며, 제 2 레일 마운트(6367R)도 마찬가지로 레일단에 체결되어 X'-축 방향으로 이동이 가능하다.The first rail mount (6367L) is fastened to the camera rail of the rail end (6334) to move in the X'-axis direction, and the second rail mount (6367R) is also fastened to the rail end in the X'-axis direction It is possible to move.
레일 마운트의 구조에 의하여 레일 마운트가 레일단(6334)에 체결되었을 때 제 1 레일 마운트 회전축과 제 2 레일 마운트 회전축은 장치 회전축과 레일축으로 결정되는 X'-Y' 평면내에 존재한다. 따라서 제 1 레일 마운트 회전축과 제 2 레일 마운트 회전축은 항상 장치 회전축에 평행할 뿐만 아니라, 레일 마운트의 중심이 중심점(6312)의 위에 오도록 레일 마운트를 이동하면, 레일 마운트 회전축과 장치 회전축은 일치한다.When the rail mount is fastened to the rail end 6344 by the structure of the rail mount, the first rail mount rotation axis and the second rail mount rotation axis exist in the X'-Y' plane determined by the device rotation axis and the rail axis. Therefore, the first rail mount axis of rotation and the second rail mount axis of rotation are always parallel to the device axis of rotation, and when the rail mount is moved such that the center of the rail mount is above the
또한, 제 2 실시 예의 라인 스캔 카메라부를 이용하면, 결상 렌즈의 마디점이 레일 마운트 회전축 상에 오도록 할 수 있고, 제 3 실시 예의 라인 스캔 카메라부를 이용하면 결상 렌즈의 마디점이 항상 레일 마운트 회전축 상에 오도록 할 수 있다.In addition, by using the line scan camera unit of the second embodiment, it is possible to make the node of the imaging lens come on the rail mount axis of rotation, and when using the line scan camera part of the third embodiment, the node of the imaging lens is always on the rail mount axis of rotation. can do.
따라서 가장 바람직한 상태에서 제 1 결상 렌즈(6368L)의 제 1 광축(6313L)의 방향을 수평 방향으로 변경할 수 있으며, 제 1 광축의 방향에 상관없이 제 1 결상 렌즈의 마디점의 위치는 제 1 레일 마운트 회전축 상에 있으며, 또한 항상 X'-Y' 평면상에 존재한다. 마찬가지로 제 2 결상 렌즈(6368R)의 제 2 광축(6313R)의 방향을 수평으로 변경할 수 있으며, 제 2 광축의 방향에 상관없이 제 2 결상 렌즈의 마디점의 위치는 제 2 레일 마운트 회전축 상에 있으며, 또한 항상 X'-Y' 평면 상에 존재한다.Therefore, in the most preferable state, the direction of the first
도 63에 도시한 바와 같이 제 1 결상 렌즈와 제 1 라인 스캔 카메라 몸체는 일체로 제 1 레일 마운트 회전축을 중심으로 회전할 수 있다. 마찬가지로 제 2 결상 렌즈와 제 2 라인 스캔 카메라 몸체도 일체로 제 2 레일 마운트 회전축을 중심으로 회전할 수 있다.As shown in FIG. 63, the first imaging lens and the first line scan camera body may rotate integrally around the first rail mount rotation axis. Likewise, the second imaging lens and the second line scan camera body can be rotated integrally about the second rail mount rotation axis.
도 63에서 두 라인 스캔 카메라부(6360L, 6360R)의 마디점 NL과 NR은 모두 X'-축 위에 위치하고 있으며, 두 마디점 사이의 간격은 D이다. 사람이 두 눈으로 보는 것과 유사한 정도의 입체감을 얻기 위해서 두 라인 스캔 카메라의 마디점 사이를 변경할 수 있으며, 이를 위하여 제 1 레일 마운트(6367L)와 제 2 레일 마운트(6367R)의 레일 마운트 이동 잠금 장치를 느슨하게 한 후 X'-축 방향으로 이동하고, 바람직한 위치에 도달한 이후에는 레일 마운트 이동 잠금 장치를 잠궈서 레일 마운트(6367L, 6367R)가 레일단(6334)에 대하여 단단히 고정되도록 할 수 있다.In FIG. 63, the node points N L and N R of the two line
또한, 이와 별개로 제 1 라인 스캔 카메라부(6360L)를 제 1 레일 마운트 회전축을 중심으로 회전시키고, 제 2 라인 스캔 카메라부(6360R)도 대칭적으로 제 2 레일 마운트 회전축을 중심으로 회전시킬 수 있으며, 이 경우는 교차법으로 입체 전방위 영상을 획득하는 경우에 해당한다. 도 63에서 제 1 결상 렌즈(6368L)의 광축(6313L)과 제 2 결상 렌즈(6368R)의 광축(6313R)이 Z'-축과 이루는 각도는 θ이며, 이 경우는 중심점(6312)에서 거리 L에 있는 물점(object point) P에 초점을 맞춘 경우에 해당한다.In addition, separately from this, the first line
두 라인 스캔 카메라부의 마디점 사이의 간격 D를 조절하던, 두 라인 스캔 카메라부의 광축의 방향을 조절하던, 항상 대칭적으로 움직여야 바람직한 입체 전방위 영상이 얻어진다. 이 경우 두 라인 스캔 카메라부의 광축(6313L, 6313R)은 항상 Z'-축에서 교차한다. 평행법으로 촬영하는 경우에 두 라인 스캔 카메라의 광축은 평행하므로 Z'-축에서 교차하지 않지만, 이 경우에는 수학적으로 무한대의 거리에서 교차하는 것으로 간주할 수 있다. 따라서, 바람직한 주사형 입체 전방위 카메라에서 두 라인 스캔 카메라의 마디점의 중간점은 주사형 입체 전방위 카메라의 장치 회전축 상에 위치하고 있으며, 두 라인 스캔 카메라의 광축은 항상 Z'-축에서 교차한다.Whether the distance D between the node points of the two line scan camera units is adjusted or the direction of the optical axis of the two line scan camera units is adjusted, it is necessary to always move symmetrically to obtain a desirable stereoscopic omnidirectional image. In this case, the
이와 같은 본 발명의 제 6 실시예의 주사형 입체 전방위 카메라는 제 1 라인 스캔 카메라부와 제 2 라인 스캔 카메라부와 파노라마 헤드부와 구동부와 영상 처리부를 포함한다. 주사형 입체 전방위 카메라에 상대적으로 고정된 한 점을 중심점이라고 하고, 중심점을 지나는 수직선을 장치 회전축이라고 할 때, 파노라마 헤드부는 상부에 상기 장치 회전축과 수직한 한 방향으로 형성된 카메라 레일을 구비하는 레일단을 포함하고, 구동부는 상기 파노라마 헤드부를 장치 회전축을 중심으로 균일한 각속도로 회전시킬 수 있는 구동 수단을 포함한다.The scanning stereoscopic omnidirectional camera of the sixth embodiment of the present invention includes a first line scan camera unit, a second line scan camera unit, a panoramic head unit, a driving unit, and an image processing unit. When a point fixed relative to the scanning stereoscopic omnidirectional camera is called a center point, and a vertical line passing through the center point is called a device rotation axis, the panoramic head portion has a rail end having a camera rail formed in one direction perpendicular to the device rotation axis on the upper part. Including, the driving unit includes a driving means for rotating the panoramic head unit at a uniform angular velocity around the rotation axis of the device.
제 1 라인 스캔 카메라부는 제 1 라인 스캔 카메라 몸체와 제 1 라인 스캔 카메라 전면에 체결되는 제 1 결상 렌즈와 제 1 라인 스캔 카메라 몸체 하부의 제 1 레일 마운트를 포함한다. 제 1 라인 스캔 카메라 몸체는 내부에 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 1 라인 스캔 센서를 포함하고, 제 1 결상 렌즈는 광축이 상기 제 1 라인 스캔 센서의 길이 방향에 수직하게 제 1 라인 스캔 카메라 몸체의 전면에 장착된다.The first line scan camera unit includes a first line scan camera body, a first imaging lens fastened to the front of the first line scan camera, and a first rail mount under the first line scan camera body. The first line scan camera body includes a first line scan sensor installed therein from the top to the bottom of the line scan camera body, and the first imaging lens has a first optical axis perpendicular to the longitudinal direction of the first line scan sensor. It is mounted on the front of the line scan camera body.
제 1 레일 마운트는 레일단의 카메라 레일에 체결되는 하부의 제 1 레일 마운트 체결단과, 제 1 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 1 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 1 레일 마운트 회전단으로 구성된다. 또한, 제 2 라인 스캔 카메라부의 구조는 제 1 라인 스캔 카메라부의 구조와 동일하다.The first rail mount includes a first rail mount fastening end at a lower portion that is fastened to a camera rail at a rail end, and an upper part that can be rotated around a first rail mount rotation axis that is parallel to the rotation axis of the device with respect to the first rail mount fastening end. It consists of one rail-mounted swivel end. Further, the structure of the second line scan camera unit is the same as that of the first line scan camera unit.
영상 처리부는 제1 라인 스캔 카메라부와 제 2 라인 스캔 카메라로부터 전달된 영상 신호를 가로 방향으로 집적하여 입체 전방위 영상을 생성한다.The image processing unit generates a stereoscopic omnidirectional image by integrating the image signals transmitted from the first line scan camera unit and the second line scan camera in the horizontal direction.
도 64는 평행법으로 설정된 제 1 및 제 2 라인 스캔 카메라부의 사진이며, 도 65는 입체감을 증가시키기 위하여 두 라인 스캔 카메라부 간의 간격을 늘린 경우를 보여주는 사진이며, 도 66은 두 라인 스캔 카메라부 사이의 간격을 늘리고, 교차법으로 설정한 제 1 라인 스캔 카메라부와 제 2 라인 스캔 카메라부를 보여준다. 한편, 도 67은 주사형 전방위 카메라 본체에 두 대의 라인 스캔 카메라부를 장착한 상태를 보여준다.FIG. 64 is a photograph of the first and second line scan camera units set in a parallel method, FIG. 65 is a photograph showing a case where the distance between the two line scan camera units is increased in order to increase a three-dimensional effect, and FIG. 66 is between the two line scan camera units Increase the interval of, and show the first line scan camera unit and the second line scan camera unit set by the intersection method. Meanwhile, FIG. 67 shows a state in which two line scan camera units are mounted on the main body of the scan-type omnidirectional camera.
도 68은 평행법으로 얻어진 원본 입체 전방위 영상을 보여주며, 도 69는 아나글리프 안경으로 감상할 수 있도록 도 68의 입체 전방위 영상을 변환한 입체 전방위 영상 샘플이다. 즉, 아나글리프 안경을 쓰고 이 화면을 바라보면 입체감을 느낄 수 있다. 물론, 편광 안경이나 HMD 등 다른 방식으로 입체 영상을 감상할 수도 있다.FIG. 68 shows the original stereoscopic omnidirectional image obtained by the parallel method, and FIG. 69 is a stereoscopic omnidirectional image sample obtained by converting the stereoscopic omnidirectional image of FIG. 68 for viewing with anaglyph glasses. In other words, if you look at this screen while wearing anaglyph glasses, you can feel a three-dimensional effect. Of course, you can also watch stereoscopic images in different ways, such as polarized glasses or HMD.
이와 같은 주사형 입체 전방위 카메라는 관광지나 건축물, 경기장이나 공연장 등의 풍경을 고해상도 전방위 영상이나 3D 전방위 영상으로 생성하기 위하여 사용될 수도 있다. 사용자는 전송된 이중 전방위 영상에서 임의의 방향의 직선수차보정 영상을 추출하여 HMD 등의 장치로 입체 영상을 감상할 수 있다.Such a scanning stereoscopic omnidirectional camera may be used to generate a high-resolution omnidirectional image or a 3D omnidirectional image of a tourist attraction, a building, a stadium, or a performance hall. The user can extract a linear aberration correction image in an arbitrary direction from the transmitted omnidirectional image and watch a stereoscopic image with a device such as an HMD.
6332: 체결단
6334: 레일단
6360L, 6360R: 제 1 및 제 2 라인 스캔 카메라부
6367L, 6367R: 제 1 및 제 2 레일 마운트
6368L, 6368R: 제 1 및 제 2 결상 렌즈
6362L, 6362R: 제 1 및 제 2 라인 스캔 카메라 몸체
NL, NR: 제 1 및 제 2 마디점
6313L, 6313R: 제 1 및 제 2 광축
6364L, 6364R: 제 1 및 제 2 라인 스캔 센서6332: fastening end
6334: rail stage
6360L, 6360R: First and second line scan camera units
6367L, 6367R: First and second rail mounts
6368L, 6368R: First and second imaging lenses
6362L, 6362R: First and second line scan camera bodies
N L , N R : 1st and 2nd node point
6313L, 6313R: 1st and 2nd optical axis
6364L, 6364R: First and second line scan sensors
Claims (33)
주사형 전방위 카메라 본체에 상대적으로 고정된 한 점을 중심점이라고 하고, 상기 중심점을 지나는 수직선을 장치 회전축이라고 할 때,
구동부는 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하며 장치 회전축을 중심으로 회전이 가능한 회전단과,
상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하는 고정단과,
상기 회전단을 균일한 각속도로 회전시킬 수 있는 구동 수단을 포함하고,
상기 파노라마 헤드부는 상부에 상기 장치 회전축과 수직한 한 방향으로 형성된 카메라 레일을 구비하는 레일단과,
하부에 상기 장치 회전축을 회전 대칭축으로 하는 중공을 구비하며 상기 회전단에 체결되는 체결단을 포함하고,
상기 전력 및 신호 교환부는 상기 체결단 내부의 중공에 결합되는 회전자와,
상기 고정단 내부의 중공에 결합되는 고정자와,
상기 회전자의 위쪽으로 인출된 카메라쪽 전력 및 신호선과,
상기 고정자의 아래쪽으로 인출된 구동부쪽 전력 및 신호선을 포함하고,
상기 파노라마 헤드부는 카메라 레일에 장착되는 평형 조절추를 포함하되,
상기 평형 조절추는 카메라 레일을 따라서 이동이 가능한 것을 특징으로 하는 주사형 전방위 카메라 본체.
In the main body of the scanning type omnidirectional camera including a panoramic head portion and a driving portion and a power and signal exchange unit,
When a point fixed relative to the main body of the scanning type omnidirectional camera is called a center point, and a vertical line passing through the center point is called a device rotation axis,
The driving unit has a hollow having the rotation axis of the device as a rotational symmetry axis, and a rotation end capable of rotating around the rotation axis of the device,
And a fixed end having a hollow having a rotation axis of the axis of rotation of the device axis,
It includes a driving means capable of rotating the rotating end at a uniform angular speed,
The panoramic head portion has a rail end having a camera rail formed in one direction perpendicular to the rotation axis of the device,
A hollow having a rotating axis of rotation as the axis of rotation of the device at a lower portion, and a fastening end fastened to the rotating end,
The power and signal exchange unit is a rotor coupled to the hollow inside the fastening end,
The stator coupled to the hollow inside the fixed end,
Power and signal lines toward the camera withdrawn above the rotor;
And a power and signal line toward the driving part drawn out below the stator,
The panoramic head portion includes a counterweight that is mounted on the camera rail,
The counterweight is a scanning omnidirectional camera body, characterized in that it can be moved along the camera rail.
상기 평형 조절추는 카메라 레일과 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 평형 조절추 이동 잠금 장치를 더 구비하는 것을 특징으로 하는 주사형 전방위 카메라 본체.
According to claim 3,
The counterweight is a scan-type omnidirectional camera body further comprising a pair of compression members engaged with the camera rail and a counterweight movement lock for adjusting the separation distance of the pair of compression members.
주사형 입체 전방위 카메라에 상대적으로 고정된 한 점을 중심점이라고 하고, 중심점을 지나는 수직선을 장치 회전축이라고 할 때,
파노라마 헤드부는 상부에 상기 장치 회전축과 수직한 한 방향으로 형성된 카메라 레일을 구비하는 레일단을 포함하고,
구동부는 상기 파노라마 헤드부를 장치 회전축을 중심으로 균일한 각속도로 회전시킬 수 있는 구동 수단을 포함하며,
제 1 라인 스캔 카메라부는 제 1 라인 스캔 카메라 몸체와 제 1 라인 스캔 카메라 몸체의 전면에 체결되는 제 1 결상 렌즈와 제 1 라인 스캔 카메라 몸체 하부의 제 1 레일 마운트를 포함하되,
제 1 라인 스캔 카메라 몸체는 내부에 제 1 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 1 라인 스캔 센서를 포함하고,
제 1 결상 렌즈는 광축이 상기 제 1 라인 스캔 센서의 길이 방향에 수직하게 제 1 라인 스캔 카메라 몸체의 전면에 장착되며,
제 1 레일 마운트는 레일단의 카메라 레일에 체결되는 하부의 제 1 레일 마운트 체결단과 제 1 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 1 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 1 레일 마운트 회전단으로 구성되며,
제 2 라인 스캔 카메라부는 제 2 라인 스캔 카메라 몸체와 제 2 라인 스캔 카메라 몸체의 전면에 체결되는 제 2 결상 렌즈와 제 2 라인 스캔 카메라 몸체 하부의 제 2 레일 마운트를 포함하되,
제 2 라인 스캔 카메라 몸체는 내부에 제 2 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 2 라인 스캔 센서를 포함하고,
제 2 결상 렌즈는 광축이 상기 제 2 라인 스캔 센서의 길이 방향에 수직하게 제 2 라인 스캔 카메라 몸체의 전면에 장착되며,
제 2 레일 마운트는 레일단의 카메라 레일에 체결되는 하부의 제 2 레일 마운트 체결단과 제 2 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 2 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 2 레일 마운트 회전단으로 구성되며,
상기 영상 처리부는 제1 라인 스캔 카메라부와 제 2 라인 스캔 카메라로부터 전달된 영상 신호를 가로 방향으로 집적하여 입체 전방위 영상을 생성하되,
제 1 레일 마운트 체결단은 레일단의 카메라 레일에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 제 1 레일 마운트 이동 잠금 장치를 구비하며,
제 1 레일 마운트 회전단은 제 1 레일 마운트 회전 잠금 장치를 구비하되,
제 1 레일 마운트 회전 잠금 장치를 느슨하게 하면 제 1 레일 마운트 회전단은 제 1 레일 마운트 회전축을 중심으로 제 1 레일 마운트 체결단에 대하여 회전이 가능하며,
제 1 라인 스캔 카메라부는 제 1 카메라 마운트를 포함하되,
제 1 카메라 마운트의 일측은 제 1 레일 마운트 회전단의 상부에 체결되고,
제 1 라인 스캔 카메라 몸체는 하부에 도브테일 형상의 장착부를 구비하며,
상기 장착부는 제 1 카메라 마운트의 상부에 체결되되,
상기 장착부가 제 1 카메라 마운트의 상부에 체결되는 위치는 제 1 결상 렌즈의 광축 방향으로 이동이 가능하며,
제 2 레일 마운트 체결단은 레일단의 카메라 레일에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 제 2 레일 마운트 이동 잠금 장치를 구비하며,
제 2 레일 마운트 회전단은 제 2 레일 마운트 회전 잠금 장치를 구비하되,
제 2 레일 마운트 회전 잠금 장치를 느슨하게 하면 제 2 레일 마운트 회전단은 제 2 레일 마운트 회전축을 중심으로 제 2 레일 마운트 체결단에 대하여 회전이 가능하며,
제 2 라인 스캔 카메라부는 제 2 카메라 마운트를 포함하되,
제 2 카메라 마운트의 일측은 제 2 레일 마운트 회전단의 상부에 체결되고,
제 2 라인 스캔 카메라 몸체는 하부에 도브테일 형상의 장착부를 구비하며,
상기 장착부는 제 2 카메라 마운트의 상부에 체결되되,
상기 장착부가 제 2 카메라 마운트의 상부에 체결되는 위치는 제 2 결상 렌즈의 광축 방향으로 이동이 가능한 것을 특징으로 하는 주사형 입체 전방위 카메라.
In the scanning stereoscopic omnidirectional camera including a first line scan camera unit, a second line scan camera unit, a panoramic head unit, a driving unit and an image processing unit,
When a point fixed relative to a scanning stereoscopic omnidirectional camera is called a center point, and a vertical line passing through the center point is called a device rotation axis,
The panoramic head portion includes a rail end having a camera rail formed in one direction perpendicular to the rotation axis of the device,
The driving unit includes driving means capable of rotating the panoramic head unit at a uniform angular velocity around the rotation axis of the device.
The first line scan camera unit includes a first line scan camera body, a first imaging lens fastened to the front of the first line scan camera body, and a first rail mount under the first line scan camera body,
The first line scan camera body includes a first line scan sensor installed therein from the top to the bottom of the first line scan camera body,
The first imaging lens is mounted on the front of the body of the first line scan camera so that the optical axis is perpendicular to the longitudinal direction of the first line scan sensor,
The first rail mount is a first portion of an upper portion that is rotatable about a first rail mount rotation axis parallel to the rotation axis of the device with respect to a first rail mount fastening end and a first rail mount fastening end that are fastened to a camera rail of the rail end. It consists of a rail mount swivel stage,
The second line scan camera unit includes a second line scan camera body, a second imaging lens fastened to the front of the second line scan camera body, and a second rail mount under the second line scan camera body,
The second line scan camera body includes a second line scan sensor installed therein from the top to the bottom of the second line scan camera body,
The second imaging lens is mounted on the front surface of the body of the second line scan camera so that the optical axis is perpendicular to the longitudinal direction of the second line scan sensor,
The second rail mount is a second upper portion that is rotatable about a second rail mount rotation axis parallel to the rotation axis of the device with respect to a second rail mount fastening end and a second rail mount fastening end that are fastened to the camera rail of the rail end. It consists of a rail mount swivel stage,
The image processing unit generates a stereoscopic omnidirectional image by integrating the image signals transmitted from the first line scan camera unit and the second line scan camera in the horizontal direction,
The first rail mount fastening end includes a pair of pressing members fastened to the camera rail of the rail ends and a first rail-mounted moving lock for adjusting the separation distance between the pair of pressing members,
The first rail-mounted rotating end includes a first rail-mounted rotary lock,
When the first rail mount rotation lock is loosened, the first rail mount rotation end is rotatable relative to the first rail mount fastening end about the first rail mount rotation axis,
The first line scan camera unit includes a first camera mount,
One side of the first camera mount is fastened to the upper portion of the first rail mount rotating end,
The first line scan camera body has a dovetail-shaped mounting portion at the bottom,
The mounting portion is fastened to the top of the first camera mount,
The position where the mounting portion is fastened to the upper portion of the first camera mount is movable in the optical axis direction of the first imaging lens,
The second rail mount fastening end includes a pair of pressing members fastened to the camera rail of the rail ends and a second rail-mounted moving lock for adjusting the separation distance between the pair of pressing members,
The second rail-mounted rotating end is provided with a second rail-mounted rotary lock,
When the second rail mount rotation lock is loosened, the second rail mount rotation end can rotate relative to the second rail mount fastening end about the second rail mount rotation axis,
The second line scan camera unit includes a second camera mount,
One side of the second camera mount is fastened to the upper portion of the second rail mount rotating end,
The second line scan camera body has a dovetail-shaped mounting portion at the bottom,
The mounting portion is fastened to the top of the second camera mount,
The position in which the mounting portion is fastened to the upper portion of the second camera mount is a scanning stereoscopic omnidirectional camera, characterized in that it can be moved in the optical axis direction of the second imaging lens.
주사형 입체 전방위 카메라에 상대적으로 고정된 한 점을 중심점이라고 하고, 중심점을 지나는 수직선을 장치 회전축이라고 할 때,
파노라마 헤드부는 상부에 상기 장치 회전축과 수직한 한 방향으로 형성된 카메라 레일을 구비하는 레일단을 포함하고,
구동부는 상기 파노라마 헤드부를 장치 회전축을 중심으로 균일한 각속도로 회전시킬 수 있는 구동 수단을 포함하며,
제 1 라인 스캔 카메라부는 제 1 라인 스캔 카메라 몸체와 제 1 라인 스캔 카메라 몸체의 전면에 체결되는 제 1 결상 렌즈와 제 1 라인 스캔 카메라 몸체 하부의 제 1 레일 마운트를 포함하되,
제 1 라인 스캔 카메라 몸체는 내부에 제 1 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 1 라인 스캔 센서를 포함하고,
제 1 결상 렌즈는 광축이 상기 제 1 라인 스캔 센서의 길이 방향에 수직하게 제 1 라인 스캔 카메라 몸체의 전면에 장착되며,
제 1 레일 마운트는 레일단의 카메라 레일에 체결되는 하부의 제 1 레일 마운트 체결단과 제 1 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 1 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 1 레일 마운트 회전단으로 구성되며,
제 2 라인 스캔 카메라부는 제 2 라인 스캔 카메라 몸체와 제 2 라인 스캔 카메라 몸체의 전면에 체결되는 제 2 결상 렌즈와 제 2 라인 스캔 카메라 몸체 하부의 제 2 레일 마운트를 포함하되,
제 2 라인 스캔 카메라 몸체는 내부에 제 2 라인 스캔 카메라 몸체의 상단에서 하단 방향으로 설치된 제 2 라인 스캔 센서를 포함하고,
제 2 결상 렌즈는 광축이 상기 제 2 라인 스캔 센서의 길이 방향에 수직하게 제 2 라인 스캔 카메라 몸체의 전면에 장착되며,
제 2 레일 마운트는 레일단의 카메라 레일에 체결되는 하부의 제 2 레일 마운트 체결단과 제 2 레일 마운트 체결단에 대하여 상기 장치 회전축과 평행한 제 2 레일 마운트 회전축을 중심으로 회전이 가능한 상부의 제 2 레일 마운트 회전단으로 구성되며,
상기 영상 처리부는 제1 라인 스캔 카메라부와 제 2 라인 스캔 카메라로부터 전달된 영상 신호를 가로 방향으로 집적하여 입체 전방위 영상을 생성하되,
제 1 라인 스캔 카메라부는 제 1 지지대와 제 1 바닥판과 제 1 장착부를 구비하는 제 1 카메라 마운트를 포함하며,
제 1 결상 렌즈는 제 1 결상 렌즈의 광축 - 이하 제 1 광축이라 함 - 을 중심으로 회전 대칭형의 형상을 가지되,
제 1 결상 렌즈의 마디점 - 이하 제 1 마디점이라 함 - 을 중심으로 하는 제 1 지지부를 가지며,
제 1 지지부는 제 1 마디점을 중심으로 앞 쪽이나 뒤 쪽보다 반경이 작은 목 부분을 형성하고,
제 1 지지대의 상부는 제 1 지지부를 지지하되,
제 1 결상 렌즈는 제 1 지지대에 장착된 상태에서 제 1 광축을 중심으로 회전이 가능하며,
제 1 지지대의 하단은 제 1 바닥판에 고정되며,
제 1 라인 스캔 카메라 몸체는 고정되지 않은 채 제 1 바닥판에 의하여 지지되며,
제 1 장착부는 제 1 바닥판의 하부 일측에서 도브테일의 형상을 가지며,
제 2 라인 스캔 카메라부는 제 2 지지대와 제 2 바닥판과 제 2 장착부를 구비하는 제 2 카메라 마운트를 포함하며,
제 2 결상 렌즈는 제 2 결상 렌즈의 광축 - 이하 제 2 광축이라 함 - 을 중심으로 회전 대칭형의 형상을 가지되,
제 2 결상 렌즈의 마디점 - 이하 제 2 마디점이라 함 - 을 중심으로 하는 제 2 지지부를 가지며,
제 2 지지부는 제 2 마디점을 중심으로 앞 쪽이나 뒤 쪽보다 반경이 작은 목 부분을 형성하고,
제 2 지지대의 상부는 제 2 지지부를 지지하되,
제 2 결상 렌즈는 제 2 지지대에 장착된 상태에서 제 2 광축을 중심으로 회전이 가능하며,
제 2 지지대의 하단은 제 2 바닥판에 고정되며,
제 2 라인 스캔 카메라 몸체는 고정되지 않은 채 제 2 바닥판에 의하여 지지되며,
제 2 장착부는 제 2 바닥판의 하부 일측에서 도브테일의 형상을 가지고,
제 1 라인 스캔 카메라부는 제 1 틸트 마운트와 제 1 레일 마운트를 더 포함하되,
제 1 틸트 마운트는 상부의 제 1 틸팅단과 하부의 제 1 틸트 마운트 체결단 및 제 1 틸트 조절 장치를 포함하되,
제 1 틸팅단은 제 1 광축과 제 1 마디점을 지나는 수직선으로 결정되는 평면에서 회전이 가능하며,
제 1 레일 마운트는 하부의 제 1 레일 마운트 체결단과 상부의 제 1 레일 마운트 회전단으로 구성되고,
제 1 레일 마운트 체결단의 하부에는 레일단의 카메라 레일에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 제 1 레일 마운트 이동 잠금 장치를 더 구비하며,
제 1 레일 마운트 회전단은 제 1 레일 마운트 회전 잠금 장치를 구비하되,
제 1 레일 마운트 회전 잠금 장치를 느슨하게 하면 제 1 레일 마운트 회전단은 제 1 레일 마운트 회전축을 중심으로 제 1 레일 마운트 체결단에 대하여 회전이 가능하되,
제 1 레일 마운트 회전축은 장치 회전축과 평행하며,
제 1 틸트 마운트 체결단은 제 1 레일 마운트 회전단의 상부에 체결되고,
제 1 장착부는 제 1 틸팅단에 체결되며,
제 2 라인 스캔 카메라부는 제 2 틸트 마운트와 제 2 레일 마운트를 더 포함하되,
제 2 틸트 마운트는 상부의 제 2 틸팅단과 하부의 제 2 틸트 마운트 체결단 및 제 2 틸트 조절 장치를 포함하되,
제 2 틸팅단은 제 2 광축과 제 2 마디점을 지나는 수직선으로 결정되는 평면에서 회전이 가능하며,
제 2 레일 마운트는 하부의 제 2 레일 마운트 체결단과 상부의 제 2 레일 마운트 회전단으로 구성되고,
제 2 레일 마운트 체결단의 하부에는 레일단의 카메라 레일에 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 제 2 레일 마운트 이동 잠금 장치를 더 구비하며,
제 2 레일 마운트 회전단은 제 2 레일 마운트 회전 잠금 장치를 구비하되,
제 2 레일 마운트 회전 잠금 장치를 느슨하게 하면 제 2 레일 마운트 회전단은 제 2 레일 마운트 회전축을 중심으로 제 2 레일 마운트 체결단에 대하여 회전이 가능하되,
제 2 레일 마운트 회전축은 장치 회전축과 평행하며,
제 2 틸트 마운트 체결단은 제 2 레일 마운트 회전단의 상부에 체결되고,
제 2 장착부는 제 2 틸팅단에 체결되는 것을 특징으로 하는 주사형 입체 전방위 카메라.
In the scanning stereoscopic omnidirectional camera including a first line scan camera unit, a second line scan camera unit, a panoramic head unit, a driving unit and an image processing unit,
When a point fixed relative to a scanning stereoscopic omnidirectional camera is called a center point, and a vertical line passing through the center point is called a device rotation axis,
The panoramic head portion includes a rail end having a camera rail formed in one direction perpendicular to the rotation axis of the device,
The driving unit includes driving means capable of rotating the panoramic head unit at a uniform angular velocity around the rotation axis of the device.
The first line scan camera unit includes a first line scan camera body, a first imaging lens fastened to the front of the first line scan camera body, and a first rail mount under the first line scan camera body,
The first line scan camera body includes a first line scan sensor installed therein from the top to the bottom of the first line scan camera body,
The first imaging lens is mounted on the front of the body of the first line scan camera so that the optical axis is perpendicular to the longitudinal direction of the first line scan sensor,
The first rail mount is a first portion of an upper portion that is rotatable about a first rail mount rotation axis parallel to the rotation axis of the device with respect to a first rail mount fastening end and a first rail mount fastening end that are fastened to a camera rail of the rail end. It consists of a rail mount swivel stage,
The second line scan camera unit includes a second line scan camera body, a second imaging lens fastened to the front of the second line scan camera body, and a second rail mount under the second line scan camera body,
The second line scan camera body includes a second line scan sensor installed therein from the top to the bottom of the second line scan camera body,
The second imaging lens is mounted on the front surface of the body of the second line scan camera so that the optical axis is perpendicular to the longitudinal direction of the second line scan sensor,
The second rail mount is a second upper portion that is rotatable about a second rail mount rotation axis parallel to the rotation axis of the device with respect to a second rail mount fastening end and a second rail mount fastening end that are fastened to the camera rail of the rail end. It consists of a rail mount swivel stage,
The image processing unit generates a stereoscopic omnidirectional image by integrating the image signals transmitted from the first line scan camera unit and the second line scan camera in the horizontal direction,
The first line scan camera unit includes a first camera mount having a first support, a first bottom plate, and a first mounting unit,
The first imaging lens has a rotationally symmetrical shape around the optical axis of the first imaging lens, hereinafter referred to as the first optical axis,
A first support portion centered on a node point of the first imaging lens, hereinafter referred to as a first node point,
The first support portion forms a neck portion having a smaller radius than the front or rear side around the first node,
The upper portion of the first support supports the first support,
The first imaging lens is rotatable about the first optical axis while mounted on the first support,
The bottom of the first support is fixed to the first bottom plate,
The first line scan camera body is supported by the first bottom plate without being fixed,
The first mounting portion has a shape of a dovetail at a lower side of the first bottom plate,
The second line scan camera unit includes a second camera mount having a second support, a second bottom plate, and a second mounting unit,
The second imaging lens has a rotationally symmetrical shape around the optical axis of the second imaging lens, hereinafter referred to as the second optical axis,
A second support portion centered on a node point of the second imaging lens, hereinafter referred to as a second node point,
The second support portion forms a neck portion having a smaller radius than the front or rear side around the second node,
The upper portion of the second support supports the second support,
The second imaging lens is rotatable about the second optical axis while mounted on the second support,
The bottom of the second support is fixed to the second bottom plate,
The body of the second line scan camera is supported by the second bottom plate without being fixed,
The second mounting portion has a shape of a dovetail at a lower side of the second bottom plate,
The first line scan camera unit further includes a first tilt mount and a first rail mount,
The first tilt mount includes an upper first tilting end and a lower first tilt mount fastening end and a first tilt adjusting device,
The first tilting end is rotatable in a plane determined by a vertical line passing through the first optical axis and the first node point,
The first rail mount includes a lower first rail mount fastening end and an upper first rail mount rotating end,
A lower portion of the first rail mount fastening end further includes a pair of pressing members fastened to the camera rails of the rail ends and a first rail-mounted moving lock for adjusting the separation distance between the pair of pressing members,
The first rail-mounted rotating end includes a first rail-mounted rotary lock,
When the first rail mount rotation lock is loosened, the first rail mount rotation end can be rotated relative to the first rail mount fastening end about the first rail mount rotation axis.
The first rail mount axis of rotation is parallel to the axis of rotation of the device,
The first tilt mount fastening end is fastened to the upper portion of the first rail mount rotating end,
The first mounting portion is fastened to the first tilting end,
The second line scan camera unit further includes a second tilt mount and a second rail mount,
The second tilt mount includes an upper second tilting end and a lower second tilt mount fastening end and a second tilt adjusting device,
The second tilting end can be rotated in a plane determined by a vertical line passing through the second optical axis and the second node point,
The second rail mount includes a lower second rail mount fastening end and an upper second rail mount rotating end,
A lower portion of the second rail mount fastening end further includes a pair of pressing members fastened to the camera rails of the rail ends and a second rail-mounted moving lock for adjusting the separation distance between the pair of pressing members,
The second rail-mounted rotating end is provided with a second rail-mounted rotary lock,
When the second rail mount rotation lock is loosened, the second rail mount rotation end can rotate relative to the second rail mount fastening end about the second rail mount rotation axis.
The second rail mount axis of rotation is parallel to the axis of rotation of the device,
The second tilt mount fastening end is fastened to the upper portion of the second rail mount rotating end,
Scanning stereoscopic omnidirectional camera, characterized in that the second mounting portion is fastened to the second tilting end.
상기 제 1 틸트 마운트의 상부에는 제 1 장착부와 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 카메라 마운트 잠금 장치를 구비하며,
상기 제 2 틸트 마운트의 상부에는 제 2 장착부와 체결되는 한 쌍의 압박 부재와 상기 한 쌍의 압박 부재의 이격 거리를 조절하는 카메라 마운트 잠금 장치를 구비하는 것을 특징으로 하는 주사형 입체 전방위 카메라.
The method of claim 30,
An upper portion of the first tilt mount includes a pair of pressing members fastened with the first mounting portion and a camera mount locking device for adjusting a separation distance between the pair of pressing members,
A scanning stereoscopic omnidirectional camera comprising an upper portion of the second tilt mount and a pair of pressing members fastened with a second mounting portion and a camera mount locking device for adjusting a separation distance between the pair of pressing members.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190143076A KR102126159B1 (en) | 2019-11-10 | 2019-11-10 | Scanning panoramic camera and scanning stereoscopic panoramic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190143076A KR102126159B1 (en) | 2019-11-10 | 2019-11-10 | Scanning panoramic camera and scanning stereoscopic panoramic camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102126159B1 true KR102126159B1 (en) | 2020-06-23 |
Family
ID=71137880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190143076A KR102126159B1 (en) | 2019-11-10 | 2019-11-10 | Scanning panoramic camera and scanning stereoscopic panoramic camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102126159B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102268838B1 (en) * | 2021-01-22 | 2021-06-25 | 명화지리정보(주) | Aerial photography system that accurately captures and synthesizes the image of a feature |
KR102268835B1 (en) * | 2021-01-22 | 2021-06-25 | 명화지리정보(주) | Aerial photography system to obtain photographic images of concealed ground objects |
KR102305053B1 (en) * | 2021-01-18 | 2021-09-27 | 천우항측 주식회사 | Camera fixing system for aerial photography |
KR102305052B1 (en) * | 2021-01-18 | 2021-09-27 | 천우항측 주식회사 | Camera management system for aerial photography |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5752113A (en) * | 1995-12-22 | 1998-05-12 | Borden; John | Panoramic indexing camera mount |
JP2001142167A (en) * | 1999-11-10 | 2001-05-25 | Shimane Pref Gov | Panoramic photographic device |
KR100944214B1 (en) * | 2008-06-24 | 2010-02-24 | 박성수 | Panorama photographing device |
KR100972572B1 (en) | 2008-06-27 | 2010-07-28 | (주)오션망고코리아 | Both eyes type stereoscopic image camera device and camera installing apparatus thereof |
KR101222104B1 (en) | 2011-05-06 | 2013-01-15 | (주)지에스엠솔루션 | Method and Apparatus for Generating Omnidirectional 3D Image using Line Scan Camera |
KR101342393B1 (en) | 2012-04-27 | 2013-12-18 | 서울시립대학교 산학협력단 | Georeferencing Method of Indoor Omni-Directional Images Acquired by Rotating Line Camera |
KR101376733B1 (en) | 2013-01-03 | 2014-03-25 | 주식회사 스테레오피아 | A parallel stereoscopic camera apparatus and method of aligning with parallel optical axis thereof |
KR20180027379A (en) * | 2016-09-06 | 2018-03-14 | 주식회사 에스360브이알 | Method of obtaining stereoscopic panoramic images, playing the same and stereoscopic panoramic camera |
-
2019
- 2019-11-10 KR KR1020190143076A patent/KR102126159B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5752113A (en) * | 1995-12-22 | 1998-05-12 | Borden; John | Panoramic indexing camera mount |
JP2001142167A (en) * | 1999-11-10 | 2001-05-25 | Shimane Pref Gov | Panoramic photographic device |
KR100944214B1 (en) * | 2008-06-24 | 2010-02-24 | 박성수 | Panorama photographing device |
KR100972572B1 (en) | 2008-06-27 | 2010-07-28 | (주)오션망고코리아 | Both eyes type stereoscopic image camera device and camera installing apparatus thereof |
KR101222104B1 (en) | 2011-05-06 | 2013-01-15 | (주)지에스엠솔루션 | Method and Apparatus for Generating Omnidirectional 3D Image using Line Scan Camera |
KR101342393B1 (en) | 2012-04-27 | 2013-12-18 | 서울시립대학교 산학협력단 | Georeferencing Method of Indoor Omni-Directional Images Acquired by Rotating Line Camera |
KR101376733B1 (en) | 2013-01-03 | 2014-03-25 | 주식회사 스테레오피아 | A parallel stereoscopic camera apparatus and method of aligning with parallel optical axis thereof |
KR20180027379A (en) * | 2016-09-06 | 2018-03-14 | 주식회사 에스360브이알 | Method of obtaining stereoscopic panoramic images, playing the same and stereoscopic panoramic camera |
Non-Patent Citations (51)
Title |
---|
A. A. Kostrzewski, S. Ro, I. Agurok and M. Bennahmias, "Panoramic video system with real-time distortion-free imaging", 미국 특허 제7,336,299호, 등록일 2008년 2월 26일. |
A. N. de Jong and P. B. W. Schwering, "IR panoramic alerting sensor concepts and applications", Proc. SPIE, 5074, 658-668 (2003). |
C. Richardt, H. Zimmer, Y. Pritch and A. S. Hornung, "Stereoscopic panoramas", 미국 특허 제9,398,215호, 등록일 2016년 7월 19일. |
D. J. McCutchen, "Rotating scan camera", 미국 특허 제7,791,638호, 등록일 2010년 9월 7일. |
D. W. Rees, "Hyperbolic ellipsoidal real time display panoramic viewing installation for vehicles", 미국 특허 제3,229,576호, 등록일 1966년 1월 18일. |
D. W. Rees, "Panoramic television viewing system", 미국 특허 제3,505,465호, 등록일 1970년 4월 7일. |
E. Gullichsen and S. Wyshynski, "Wide-angle image dewarping method and apparatus", 미국 특허 제6,005,611호, 등록일 1999년 12월 21일. |
E. W. Weisstein, "Cylindrical Projection", http://mathworld.wolfram.com/CylindricalProjection.html. |
G. Federau, "Line-scan panoramic camera", 미국 특허 제4,532,544호, 등록일 1985년 7월 30일. |
G. Kweon, K. Kim, G. Kim, and H. Kim, "Folded catadioptric panoramic lens with an equidistance projection scheme", Appl. Opt. 44, 2759-2767 (2005). |
G. Kweon, K. Kim, Y. Choi, G. Kim, and S. Yang, "Catadioptric panoramic lens with a rectilinear projection scheme", J. Korean Phys. Soc. 48, 554-563 (2006). |
G. Kweon, S. Hwang-bo, G. Kim, S. Yang and Y. Lee, "Wide-angle catadioptric lens with a rectilinear projection scheme", Appl. Opt. 45, 8659-8673 (2006). |
G. Kweon, Y. Choi, and M. Laikin, "Fisheye lens for image processing applications", J. of the Optical Society of Korea, 12, 79-87 (2008). |
G. Kweon, Y. Choi, G. Kim, and S. Yang, "Extraction of perspectively normal images from video sequences obtained using a catadioptric panoramic lens with the rectilinear projection scheme", Technical Proceedings of the 10th World Multi-Conference on Systemics, Cybernetics, and Informatics, 67-75 (Olando, Florida, USA, June, 2006). |
H. Huang and Y. Hung, "Panoramic stereo imaging system with automatic disparity warping and seaming", Graphical Models and Image Processing, 60, 196-208 (1998). |
H. Ishiguro, "Development of low-cost compact omnidirectional vision sensors and their applications", in Panoramic Vision: Sensors, Theory, and Applications, R. Benosman and S. Kang, eds. (Springer, 2001), Chap. 3. |
H. L. Martin, D. P. Kuban and S. D. Zimmerman, "System for omnidirectional image viewing at a remote location without the transmission of control signals to select viewing parameters", 미국 특허 제5,877,801호, 등록일 1999년 3월 2일. |
H. Ooshima, "Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program", 미국 특허 제9,210,408호, 등록일 2015년 12월 8일. |
H. Shum and R. S. Szeliski, "Stereo reconstruction from multiperspective panoramas", 미국 특허 제6,639,596호, 등록일 2003년 10월 28일. |
H. Shum and R. Szeliski, "Stereo reconstruction from multiperspective panoramas", International Conference on Computer Vision, 14-21 (1999). |
J. A. Pinzone, G. J. Troje and E. L. Schiavone, "Reflectors and mounts for Panoramic optical systems", 미국 특허 제3,846,809호, 등록일 1974년 11월 5일. |
J. D. Keast and J. F. Buford, "Digital video panoramic image capture and display system", 미국 특허 제5,721,585호, 등록일 1998년 2월 24일. |
J. F. Blinn and M. E. Newell, "Texture and reflection in computer generated images", Communications of the ACM, 19, 542-547 (1976). |
J. S. Chahl and M. V. Srinivasan, "Reflective surfaces for panoramic imaging", Appl. Opt. 36, 8275-8285 (1997). |
J. S. Chahl, M. G. Nagle, M. V. Srinivasan and P. J. Sobey, "Panoramic surveillance system", 미국 특허 제5,790,181호, 등록일 1998년 8월 4일. |
K. F. Cheng, K. G. Kumar, J. S. Lipscomb, J. P. Menon, M. H. Willebeek-LeMair, "Method and apparatus for displaying panoramas with streaming video", 미국 특허 제6,356,297호, 등록일 2002년 3월 12일. |
K. Park and S. Cho, "Method of taking a panoramic photo and mobile communication terminal using it", 유럽 특허 EP 1,858,251, 출원일 2007년 5월 16일. |
M. M. Kirtane, "Optical system for viewing tubes", 미국 특허 제1,653,575호, 등록일 1927년 12월 20일. |
N. Greene, "Environment mapping and other applications of world projections", IEEE Computer Graphics and Applications, 6, 21-29 (1986). |
N. L. Max, "Computer graphics distortion for IMAX and OMNIMAX projection", Proc. NICOGRAPH, 137-159 (1983). |
P. Bourke, "Synthetic stereoscopic panoramic images", Lecture Notes in Computer Graphics (LNCS), Springer, 4270, 147-155 (2006). |
P. C. Teo, "Method and system for creating panoramas", 미국 특허 제6,246,413호, 등록일 2001년 6월 12일. |
P. Greguss, "Panoramic security", Proc. SPIE, 1509, 55-66 (1991). |
R. A. Hicks and R. Bajcsy, "Reflective surfaces as computational sensors", Image and Vision Computing, 19, 773-777 (2001). |
R. P. Globus, R. D. Globus and S. E. Globus, "Panoramic camera", 미국 특허 제4,241,985호, 등록일 1980년 12월 30일. |
R. Parodi, "Optical device for horizontal panoramic and zenithal view", 미국 특허 제1,616,279호, 등록일 1927년 2월 1일. |
S. D. Zimmermann, "Omniview motionless camera orientation system", 미국 특허 제5,185,667호, 등록일 1993년 2월 9일. |
S. E. Chen and G. S. P. Miller, "Cylindrical to planar image mapping using scanline coherence", 미국 특허 제5,396,583호, 등록일 1995년 3월 7일. |
S. Peleg, Y. Pritch and M. Ben-Ezra, "Cameras for stereo panoramic imaging", IEEE Conference on Computer Vision and Pattern Recognition, 208-214 (2000). |
T. R. Halfhill, "See you around", BYTE, 85-90 (May 1995). |
University of Edinburgh, Main Library. |
W. D. G. Cox, "An introduction to the theory of perspective - part 1", The British Journal of Photography, 4, 628-634 (1969). |
Wikipedia, "Robert Barker(painter)". |
권경일, "입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라", 대한민국 특허 제10-1889225호, 등록일 2018년 8월 9일. |
권경일, "전방위 카메라의 역사와 전망", Vision System Design, 17-27 (2016년 5월호). |
권경일, "직선수차보정 거울 및 그를 구비하는 영상 시스템", 대한민국 특허 제10-0552367호, 등록일 2006년 2월 8일. |
권경일, "회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-1233948호, 등록일 2013년 2월 8일. |
권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템", 대한민국 특허 제10-0898824호, 등록일 2009년 5월 14일. |
권경일, "회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치", 대한민국 특허 제10-0882011호, 등록일 2009년 1월 29일. |
권경일, 밀턴 라이킨, "광각 렌즈", 대한민국 특허 제10-0826571호, 등록일 2008년 4월 24일. |
권경일, 밀턴 라이킨, "어안 렌즈", 대한민국 특허 제10-0888922호, 등록일 2009년 3월 10일. |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102305053B1 (en) * | 2021-01-18 | 2021-09-27 | 천우항측 주식회사 | Camera fixing system for aerial photography |
KR102305052B1 (en) * | 2021-01-18 | 2021-09-27 | 천우항측 주식회사 | Camera management system for aerial photography |
KR102268838B1 (en) * | 2021-01-22 | 2021-06-25 | 명화지리정보(주) | Aerial photography system that accurately captures and synthesizes the image of a feature |
KR102268835B1 (en) * | 2021-01-22 | 2021-06-25 | 명화지리정보(주) | Aerial photography system to obtain photographic images of concealed ground objects |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102126159B1 (en) | Scanning panoramic camera and scanning stereoscopic panoramic camera | |
KR100898824B1 (en) | Method and imaging system for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens | |
US9762795B2 (en) | Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens | |
US7837330B2 (en) | Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument | |
Nayar | Omnidirectional video camera | |
US8798451B1 (en) | Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof | |
WO2011068139A1 (en) | Stereoscopic imaging device | |
WO2014162324A1 (en) | Spherical omnidirectional video-shooting system | |
EP2685707A1 (en) | System for spherical video shooting | |
JP2007517264A (en) | Multidimensional imaging apparatus, system and method | |
JP4421662B2 (en) | 3D image display system | |
WO2009017332A1 (en) | Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof | |
KR101889225B1 (en) | Method of obtaining stereoscopic panoramic images, playing the same and stereoscopic panoramic camera | |
KR20010024468A (en) | Method and system for the creation and interactive viewing of totally immersive stereoscopic images | |
CN102323713A (en) | Portable 360-DEG circular-screen 3D theatre system | |
US20100289881A1 (en) | Camera for multiple perspective image capturing | |
Kweon et al. | Image-processing based panoramic camera employing single fisheye lens | |
KR20200116682A (en) | Scanning mono and stereoscopic panoramic image acquisition device | |
Montgomery et al. | Stereoscopic camera design | |
KR20020040919A (en) | Single projector multiple projection device theather system | |
WO2009017331A1 (en) | Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens | |
JPH0435395A (en) | Stereoscopic monitor | |
Edwards | 360° camera systems for surveillance and security | |
JPH0726819U (en) | Stereoscopic mirror device for video recorder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |