KR20240104810A - 360 degree panorama photo creation application - Google Patents

360 degree panorama photo creation application Download PDF

Info

Publication number
KR20240104810A
KR20240104810A KR1020220187426A KR20220187426A KR20240104810A KR 20240104810 A KR20240104810 A KR 20240104810A KR 1020220187426 A KR1020220187426 A KR 1020220187426A KR 20220187426 A KR20220187426 A KR 20220187426A KR 20240104810 A KR20240104810 A KR 20240104810A
Authority
KR
South Korea
Prior art keywords
eye
image
eye image
lens
center point
Prior art date
Application number
KR1020220187426A
Other languages
Korean (ko)
Inventor
황정우
Original Assignee
주식회사 엠크릿
Filing date
Publication date
Application filed by 주식회사 엠크릿 filed Critical 주식회사 엠크릿
Publication of KR20240104810A publication Critical patent/KR20240104810A/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Abstract

본 발명은 360도 파노라마 사진 생성 애플리케이션에 관한 것으로, 보다 상세하게는 촬영장치와 피사체 간의 거리 변화에 따라 정확하게 양안 이미지의 중심점을 자동으로 보정할 수 있는 360도 파노라마 사진 생성 애플리케이션에 관한 것으로, 특히, 일정간격으로 평형하게 이격되어 각각 우안이미지 및 좌안이미지를 촬영하는 좌안 촬영렌즈 및 우안 촬영렌즈; 상기 좌안 촬영렌즈 및 상기 우안 촬영렌즈에서 각각 촬영된 좌안 이미지와 우안 이미지를 통해 촬영자에게 입체영상을 구현하여 표시하는 디스플레이부; 360도 파노라마 사진 생성 애플리케이션과 피사체와의 거리를 감지하는 거리 감지부; 상기 거리 감지부의 거리 감지상태에 따라 상기 촬영렌즈로부터 전송된 좌안이미지와 우안이미지의 중심점을 이동시켜 중심점을 일치시킨 이미지를 생성하여 상기 디스플레이부로 전송하는 중심점 보정부를 포함하는 것을 특징으로 함으로써, 피사체가 근접하는 경우 발생하는 양안 이미지의 중심점 이탈현상을 자동으로 보정함으로서 정확한 입체영상의 촬영이 가능하도록 하는 현저한 효과를 제공한다The present invention relates to a 360-degree panoramic photo generation application, and more specifically, to a 360-degree panoramic photo creation application that can automatically correct the center point of the binocular image accurately according to changes in the distance between the photographing device and the subject. A left eye photographing lens and a right eye photographing lens that are equally spaced at regular intervals and capture a right eye image and a left eye image, respectively; A display unit that creates and displays a three-dimensional image to the photographer through left-eye images and right-eye images captured respectively by the left-eye photography lens and the right-eye photography lens; A 360-degree panoramic photo creation application and a distance detection unit that detects the distance to the subject; Characterized by including a center point correction unit that moves the center point of the left-eye image and the right-eye image transmitted from the photographing lens according to the distance detection state of the distance detection unit to generate an image with the center point coincident and transmits the image to the display unit, so that the subject It provides a remarkable effect that enables accurate three-dimensional image shooting by automatically correcting the deviation of the center point of the binocular image that occurs when approaching.

Description

360도 파노라마 사진 생성 애플리케이션{360 DEGREE PANORAMA PHOTO CREATION APPLICATION}360 degree panoramic photo creation application {360 DEGREE PANORAMA PHOTO CREATION APPLICATION}

본 발명은 360도 파노라마 사진 생성 애플리케이션에 관한 것이다.The present invention relates to a 360-degree panoramic photo creation application.

일반적으로 양안 시차형 입체 화상 구현 장치는 입체 화상을 관찰하기 위하여 사람의 눈에 특별한 기계적 장치(예를 들어, 셔터 글라스, 편광 필터, HMD 등)를 착용해야 하는 non-auto stereo scope 방식과, 사람의 눈에 특별한 기계적 장치를 부착하지 않고 맨 눈으로 입체 화상을 관찰할 수 있는 auto stereo scope 방식(예를 들어, 렌티큘러 렌즈(lenticular lens) 방식, 패럴렉스 배리어(parallax barrier) 방식 등)으로 구분할 수 있다.In general, binocular parallax type stereoscopic image implementation devices include a non-auto stereo scope method that requires a person to wear a special mechanical device (e.g., shutter glass, polarizing filter, HMD, etc.) on the human eye to observe the stereoscopic image, and It can be divided into auto stereo scope methods (for example, lenticular lens method, parallax barrier method, etc.) that allow you to observe three-dimensional images with the naked eye without attaching a special mechanical device to the eyes. there is.

Non-auto stereo scope 방식 중에서, 액정 셔터를 이용하는 방식의 안경을 착용하는 경우에는 깜박임 현상에 의해 눈이 피곤하거나 안경의 착용에 의한 불편함과 번거로움 등의 단점이 있고, 색안경을 착용하는 경우는 입체감의 향상에 어려움이 있으며 안경을 벗으면 좌우 눈의 색상 적응도가 달라 사물 인식에 부담이 될 수 있는 단점이 있다.Among the non-auto stereo scope types, when wearing glasses that use a liquid crystal shutter, there are disadvantages such as eye fatigue due to flickering or discomfort and hassle due to wearing glasses, and when wearing colored glasses There are difficulties in improving the three-dimensional effect, and when the glasses are taken off, the color adaptability of the left and right eyes is different, which can be a burden on object recognition.

Auto stereo scope 방식 중에서, 디스플레이 화소 위에 렌티큘러 렌즈 시트(lenticular lens sheet)를 부착하여 렌티큘러 렌즈의 굴절각을 이용하여 좌우 눈으로 화상을 분리하여 입사시키는 방식은 대부분의 컨텐츠를 차지하고 있는 2차원 정보를 관찰할 경우에는 렌티큘러 렌즈의 굴절 특성에 의해 2 차원 화상을 원래 정보 그대로 구현시킬 수 없는 단점이 있다.Among the auto stereo scope methods, the method of attaching a lenticular lens sheet on the display pixel and using the refraction angle of the lenticular lens to separate and project images to the left and right eyes allows the observation of two-dimensional information that accounts for most of the content. In this case, there is a disadvantage that a two-dimensional image cannot be realized with the original information due to the refractive characteristics of the lenticular lens.

또한, Auto stereo scope 방식 중에서, 슬릿(slit)을 이용하는 패럴렉스 배리어(parallax barrier) 방식은 3 차원 입체 화상을 관찰하기 위한 전용 장치로써 렌티큘러 렌즈처럼 렌즈 자체의 곡률을 가지고 빛을 굴절시키는 것은 아니지만 빛의 입사각 또는 출사각을 제어하여 필요로 하는 정보를 포함하고 있는 방향의 빛만을 좌우 눈으로 분리하여 보이도록 하기 위하여 일반적으로 줄무늬 슬릿으로 구성된 시트를 형성하는데, 2 차원 화상 정보를 입력하는 경우는 검은 띠(불투명 띠) 부분이 일정한 간격으로 디스플레이의 화면을 가리고 있기 때문에 렌티큘러 렌즈와 마찬가지로 2 차원 영상을 원래 정보 그대로 관찰하기 어려운 단점이 있다.Additionally, among the auto stereo scope methods, the parallax barrier method using a slit is a dedicated device for observing three-dimensional images. Although it does not refract light with the curvature of the lens itself like a lenticular lens, it does In order to control the angle of incidence or exit so that only the light in the direction containing the necessary information can be seen separately by the left and right eyes, a sheet consisting of striped slits is generally formed. When inputting two-dimensional image information, a black sheet is used. Because the bands (opaque bands) cover the screen of the display at regular intervals, there is a disadvantage that, like a lenticular lens, it is difficult to observe two-dimensional images in their original form.

이러한 렌티큘러 렌즈와 패럴랙스 베리어 방식이 갖고 있는 2차원 영상 정보를 정상적으로 볼 수 없다는 단점을 해결하기 위하여 렌티큘러 렌즈 쉬트나 패럴렉스 배리어를 디스플레이부로부터 인위적으로 탈착 부착하는 방식을 제안하기도 했지만 이렇게 되면 디스플레이에 붙였다 떼었다하는 과정에서 기구적인 품질이 상당히 저하될 가능성이 매우 높고, 정밀한 위치에 제대로 고정시키지 못해 입체영상의 품질을 저하시킬 수 있는 단점이 있다.In order to solve the shortcoming of the lenticular lens and parallax barrier method of not being able to view two-dimensional image information normally, a method of artificially detaching and attaching a lenticular lens sheet or parallax barrier from the display unit was proposed, but this does not result in damage to the display. There is a very high possibility that the mechanical quality will deteriorate significantly during the process of attaching and detaching, and there is a disadvantage that the quality of the three-dimensional image can be deteriorated due to the inability to properly fix it in a precise position.

이러한 문제점을 해결하기 위해 전기적으로 슬릿을 형성시키는 전기적 패럴렉스 배리어 방식이 제안되고 있으며, 폰카메라, 디지털 카메라와 같은 개인 휴대용 디스플레이 장치에 사용하기 적합하다는 장점이 있다.To solve this problem, an electrical parallax barrier method that electrically forms a slit has been proposed, and has the advantage of being suitable for use in personal portable display devices such as phone cameras and digital cameras.

그러나, 이러한 문제와는 별도로 입체영상 디스플레이 방식과는 무관하게 입체영상의 촬영에 있어서, 입체영상의 경우는 좌안 이미지와 우안 이미지가 별도로 촬영되어 양안간의 거리에 해당하는 거리를 유지하여 합성되기 때문에, 양안 이미지가 양안을 통한 피사체와의 중심거리가 벗어나거나 양안의 수평 상태가 일치하지 않는 경우는 정확한 입체영상을 구현할 수 없는 문제가 있다. 특히 상이 맺히는 촬영렌즈와 화상이 입력되는 CCD 등의 소자 간의 거리에 해당하는 초점거리와 비교하여 입체영상을 촬영하고자 하는 피사체와의 거리가 근접한 경우 좌안 이미지는 보다 왼쪽으로, 우안 이미지는 보다 오른쪽으로 피사체가 촬영되는 문제가 있다.However, apart from this problem, in the shooting of stereoscopic images regardless of the stereoscopic display method, in the case of stereoscopic images, the left eye image and the right eye image are captured separately and synthesized by maintaining a distance corresponding to the distance between the two eyes. If the central distance between the binocular images and the subject through both eyes deviates or the horizontal state of both eyes does not match, there is a problem in which an accurate three-dimensional image cannot be realized. In particular, if the distance to the subject for which you want to capture a three-dimensional image is close compared to the focal length corresponding to the distance between the shooting lens where the image is formed and the CCD or other device where the image is input, the left eye image is moved to the left and the right eye image is moved to the right. There is a problem with the subject being photographed.

뿐만 아니라, 하나의 렌즈를 사용하는 일반영상 촬영장치와는 달리 두개의 렌즈를 사용하는 360도 파노라마 사진 생성 애플리케이션에서는 좌안 촬영렌즈와 우안 촬영렌즈가 정확한 수평상태를 이루지 못하고 기울어지는 경우, 양안의 이미지는 서로 입체영상으로 정확하게 겹쳐지지 않는다는 문제점이 있으며, 이러한 경우 시청자에게 어지러움을 주게 된다는 문제점이 있다.In addition, unlike general video recording devices that use a single lens, in a 360-degree panoramic photo creation application that uses two lenses, if the left eye photography lens and the right eye photography lens are not accurately horizontal and are tilted, the images of both eyes are lost. There is a problem in that the three-dimensional images do not overlap each other accurately, and in this case, there is a problem that it causes dizziness to the viewer.

본 발명의 실시례에 따르면 중심점 보정 및 수평상태 보정에도 불구하고 잘림이 없는 입체영상을 디스플레이할 수 있는 360도 파노라마 사진 생성 애플리케이션을 제공하는 것을 목적으로 한다.According to an embodiment of the present invention, the purpose is to provide a 360-degree panoramic photo creation application that can display a three-dimensional image without truncation despite center point correction and horizontal state correction.

상기한 목적을 달성하기 위하여, 본 발명에 따른 360도 파노라마 사진 생성 애플리케이션은, 일정간격으로 평형하게 이격되어 각각 우안이미지 및 좌안이미지를 촬영하는 좌안 촬영렌즈 및 우안 촬영렌즈; 상기 좌안 촬영렌즈 및 상기 우안 촬영렌즈에서 각각 촬영된 좌안 이미지와 우안 이미지를 통해 촬영자에게 입체영상을 구현하여 표시하는 디스플레이부; 360도 파노라마 사진 생성 애플리케이션과 피사체와의 거리를 감지하는 거리 감지부; 상기 거리 감지부의 거리 감지상태에 따라 상기 촬영렌즈로부터 전송된 좌안이미지와 우안이미지의 중심점을 이동시켜 중심점을 일치시킨 이미지를 생성하여 상기 디스플레이부로 전송하는 중심점 보정부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the 360-degree panoramic photo generation application according to the present invention includes a left eye photographing lens and a right eye photographing lens that are equally spaced at regular intervals and capture a right eye image and a left eye image, respectively; A display unit that creates and displays a three-dimensional image to the photographer through left-eye images and right-eye images captured respectively by the left-eye photography lens and the right-eye photography lens; A 360-degree panoramic photo creation application and a distance detection unit that detects the distance to the subject; It is characterized in that it includes a center point correction unit that moves the center point of the left-eye image and the right-eye image transmitted from the photographing lens according to the distance detection state of the distance detection unit, generates an image with the center point coincident, and transmits the image to the display unit.

한편, 본 발명에 따른 입체영상 촬영방법은, 좌안 촬영렌즈 및 우안 촬영렌즈를 이용하여 좌안 이미지와 우안 이미지를 각각 촬영하는 제 1 단계; 촬영렌즈와 피사체 사이의 직선거리를 감지하는 제 2 단계; (r : 좌안 촬영렌즈와 우안 촬영렌즈 사이의 이격거리, f : 초점거리, d : 촬영렌즈와 피사체와의 거리) 만큼 좌안 이미지와 우안 이미지를 각각 중심점을 향해 우측과 좌측으로 이동시켜 중심점을 보정하는 제 3 단계; 상기 중심점이 보정된 좌안 이미지와 우안 이미지를 겹쳐서 입체영상으로 디스플레이하는 제 4 단계를 포함하는 것을 특징으로 한다.Meanwhile, the stereoscopic image shooting method according to the present invention includes a first step of shooting a left eye image and a right eye image respectively using a left eye photography lens and a right eye photography lens; A second step of detecting the straight-line distance between the shooting lens and the subject; The center point is corrected by moving the left-eye image and the right-eye image to the right and left, respectively, toward the center point by (r: the separation distance between the left-eye shooting lens and the right-eye shooting lens, f: focal length, d: the distance between the shooting lens and the subject). The third step is to do; It is characterized in that it includes a fourth step of displaying a three-dimensional image by overlapping the left eye image and the right eye image with the center point corrected.

이상에서 설명한 바와 같이 본 발명에 따른 360도 파노라마 사진 생성 애플리케이션에 따르면 피사체가 근접하는 경우 발생하는 양안 이미지의 중심점 이탈현상을 자동으로 보정함으로서 정확한 입체영상의 촬영이 가능하도록 하는 현저한 효과를 제공한다. 또한 본 발명의 바람직한 실시례에 따르면, 양안 촬영렌즈가 서로 수평상태를 이루지 못하는 경우라도 수평각도를 자동으로 보정함으로서 보다 정밀하고 손떨림을 방지할 수 있는 360도 파노라마 사진 생성 애플리케이션을 제공하는 현저한 효과가 있다.As described above, according to the 360-degree panoramic photo generation application according to the present invention, it provides a remarkable effect of enabling accurate three-dimensional image shooting by automatically correcting the deviation of the center point of the binocular image that occurs when the subject approaches. In addition, according to a preferred embodiment of the present invention, there is a significant effect of providing a 360-degree panoramic photo generation application that is more precise and can prevent hand shake by automatically correcting the horizontal angle even when the binocular shooting lenses are not horizontal to each other. there is.

도 1은 본 발명의 실시례에 따른 입체영상 촬영 디지털 카메라의 전면도 및 후면도.
도 2는 본 발명의 실시례에 따른 입체영상 촬영 카메라폰의 전면도.
도 3은 본 발명의 실시례에 따른 360도 파노라마 사진 생성 애플리케이션의 구성도.
도 4는 본 발명의 실시례에 따른 중심점 보정방법의 예시도.
도 5는 본 발명의 실시례에 따른 좌안 및 우안 이미지 중심점 보정화면의 예시도.
도 6은 촬영장치의 수평상태 이탈을 도시하는 예시도.1 is a front view and a back view of a digital camera for capturing stereoscopic images according to an embodiment of the present invention.
Figure 2 is a front view of a stereoscopic image capturing camera phone according to an embodiment of the present invention.
Figure 3 is a configuration diagram of a 360-degree panoramic photo generation application according to an embodiment of the present invention.
Figure 4 is an exemplary diagram of a center point correction method according to an embodiment of the present invention.
Figure 5 is an exemplary diagram of a left-eye and right-eye image center point correction screen according to an embodiment of the present invention.
Figure 6 is an example diagram showing deviation of the photographing device from the horizontal state.

도 1은 본 발명의 실시례에 따른 입체영상 촬영 디지털 카메라를 도시한다. 입체영상 촬영 디지털 카메라는 하나의 렌즈만을 구비하는 일반 디지털 카메라와는 달리 일정간격 이격된 좌안 촬영렌즈(110), 우안 촬영렌즈(120)를 각각 별도로 구비한다. 좌안 촬영렌즈(110)와 우안 촬영렌즈(120)는 일반인의 좌안 및 우안의 이격거리인 65 mm 정도 이격되어 배치되는 것이 바람직하다.Figure 1 shows a digital camera for capturing stereoscopic images according to an embodiment of the present invention. Unlike a general digital camera that has only one lens, a three-dimensional image shooting digital camera is equipped with a separate left eye photography lens 110 and a right eye photography lens 120 spaced apart at a certain interval. The left eye photography lens 110 and the right eye photography lens 120 are preferably arranged to be spaced apart by about 65 mm, which is the separation distance between the left and right eyes of an ordinary person.

좌안 촬영렌즈(110)와 우안 촬영렌즈(120)의 사이에는 중심점 보정을 위한 거리감지부(130) 및 촬영장치의 수평상태를 감지하는 수평상태 감지부(140)를 더 포함할 수 있다. 거리감지부(130)는 피사체와 촬영장치의 거리를 감지하는 센서로서 예컨대 적외선 거리감지 센서를 포함하여 구성될 수 있으며, 수평상태 감지부(140)는 촬영장치의 기울어진 각도를 감지하는 센서로서 예컨대 전기적인 자이로 센서를 포함하여 구성될 수 있다.Between the left eye photography lens 110 and the right eye photography lens 120, a distance detection unit 130 for center point correction and a horizontal state detection unit 140 for detecting the horizontal state of the imaging device may be further included. The distance detection unit 130 is a sensor that detects the distance between the subject and the photographing device and may include, for example, an infrared distance detection sensor, and the horizontal state detector 140 is a sensor that detects the tilt angle of the photographing device, for example. It may be configured to include an electrical gyro sensor.

촬영장치의 후면에는 입체영상을 표시할 수 있는 디스플레이부(180)가 구비된다. 디스플레이부(180)는 편광필터, 셔터 글러스, HMD 등을 사용하여 입체영상을 구현하는 논-오토 스테레오 스코프 방식 또는 렌티큘러 렌즈 또는 패럴렉스 배리어 등을 사용하는 오토 스테레오 스코프 방식이 모두 적용 가능하나, 전기적으로 슬릿의 주기와 폭을 변경하고, 전기적인 제어에 의해 슬릿을 투명 또는 불투명 상태로 유지하는 전기적 패럴렉스 배리어 방식을 사용하는 것이 바람직하다.A display unit 180 capable of displaying a three-dimensional image is provided at the rear of the photographing device. The display unit 180 can be either a non-auto stereo scope method that implements a three-dimensional image using a polarizing filter, shutter glass, HMD, etc., or an auto stereo scope method that uses a lenticular lens or parallax barrier, etc. It is desirable to use an electrical parallax barrier method that electrically changes the period and width of the slit and maintains the slit in a transparent or opaque state through electrical control.

도 2는 본 발명의 실시례에 따른 입체영상 촬영 폰카메라를 도시한다. 폰카메라의 경우도 디지털 카메라의 경우와 동일하게 좌안 촬영렌즈(110)와 우안 촬영렌즈(120)가 일정거리(바람직하게는 65 mm) 이격되고, 양 촬영렌즈의 사이에는 거리감지부(130) 및 수평상태 감지부(140)를 포함할 수 있다. 도면에는 디스플레이부가 도시되지는 않았지만 폰카메라의 경우도 디지털 카메라의 실시례와 동일하게 입체영상을 구현할 수 있는 것 특히 전기적 패럴렉스 배리어를 디스플레이부로 사용하는 것이 바람직하다.Figure 2 shows a phone camera for capturing stereoscopic images according to an embodiment of the present invention. In the case of a phone camera, as in the case of a digital camera, the left eye photography lens 110 and the right eye photography lens 120 are separated by a certain distance (preferably 65 mm), and a distance detection unit 130 and a distance detection unit 130 are provided between the two photography lenses. It may include a horizontal state detection unit 140. Although the display unit is not shown in the drawing, in the case of a phone camera, it is desirable to use an electrical parallax barrier as a display unit that can implement three-dimensional images in the same way as in the case of a digital camera.

도 3은 본 발명의 실시례에 따른 360도 파노라마 사진 생성 애플리케이션의 구성을 도시하는 구성도이다. 360도 파노라마 사진 생성 애플리케이션은 좌안 촬영렌즈(110), 우안 촬영렌즈(120), 디스플레이부(180), 거리 감지부(130), 및 중심점 보정부(160)를 포함하여 구성된다.Figure 3 is a configuration diagram showing the configuration of a 360-degree panoramic photo generating application according to an embodiment of the present invention. The 360-degree panoramic photo generation application includes a left eye photography lens 110, a right eye photography lens 120, a display unit 180, a distance detection unit 130, and a center point correction unit 160.

좌안 촬영렌즈(110) 및 우안 촬영렌즈(120)는 일정간격으로 평형하게 이격되어 각각 우안이미지 및 좌안이미지를 촬영하는 역할을 수행하고, 디스플레이부(180)는 좌안 촬영렌즈(110) 및 우안 촬영렌즈(120)에서 각각 촬영된 좌안 이미지와 우안 이미지를 통해 촬영자에게 입체영상을 구현하여 표시하는 역할을 수행한다. 종래의 360도 파노라마 사진 생성 애플리케이션의 경우는 디스플레이부(180)가 2차원 영상만을 지원하기 때문에, 좌안 이미지와 우안 이미지가 단순히 겹쳐서 촬영자에게 디스플레이하거나,별도의 광학적인 뷰파인더를 통한 2차원 영상만을 디스플레이하게 되는데 비해 본원발명의 실시례에 따른 디스플레이부(180)는 입체영상의 디스플레이가 가능하도록 전기적 패럴렉스 배리어 방식으로 입체영상을 투영하는 것이 바람직하다.The left eye photography lens 110 and the right eye photography lens 120 are equally spaced at regular intervals and serve to photograph the right eye image and the left eye image, respectively, and the display unit 180 displays the left eye photography lens 110 and the right eye image. It plays the role of creating and displaying a three-dimensional image to the photographer through the left-eye image and right-eye image respectively captured by the lens 120. In the case of a conventional 360-degree panoramic photo creation application, the display unit 180 supports only two-dimensional images, so the left-eye image and right-eye image are simply overlapped and displayed to the photographer, or only a two-dimensional image is displayed through a separate optical viewfinder. In contrast, it is preferable that the display unit 180 according to an embodiment of the present invention projects a three-dimensional image using an electrical parallax barrier method to enable display of a three-dimensional image.

다수의 시청자가 다양한 각도에서 시청하는 텔레비전 또는 모니터 등과는 달리 단일의 사용자가 일정한 각도에서 디스플레이부(180)를 응시하는 디지털 카메라또는 폰카메라 등과 같은 개인 휴대장비의 경우는 입체영상 투영각도가 제한되는 패럴렉스 배리어 방식을 사용하기에 적합하다는 장점이 있다.Unlike televisions or monitors that multiple viewers watch from various angles, in the case of personal portable devices such as digital cameras or phone cameras where a single user gazes at the display unit 180 from a certain angle, the projection angle of the three-dimensional image is limited. It has the advantage of being suitable for use with the parallax barrier method.

거리 감지부(130)는 적외선 거리센서 등을 포함함으로써 360도 파노라마 사진 생성 애플리케이션과 피사체와의 거리를 감지하는 기능을 수행하고, 중심점 보정부(160)는 거리감지부(130)의 거리 감지상태에 따라 촬영렌즈(110,120)로부터 전송된 좌안 이미지와 우안 이미지의 중심점을 이동시켜 중심점을 일치시킨 이미지를 생성하여 상기 디스플레이부로 전송하는 기능을 수행한다.The distance detection unit 130 includes an infrared distance sensor, etc. to perform the function of detecting the distance between the 360-degree panoramic photo creation application and the subject, and the center point correction unit 160 determines the distance detection state of the distance detection unit 130. Accordingly, the center point of the left-eye image and the right-eye image transmitted from the photographing lenses 110 and 120 are moved to create an image with the center points aligned, and the image is transmitted to the display unit.

도 4 및 도 5를 참조하여 중심점 보정부의 중심점 일치작용을 상세히 설명하면 다음과 같다. 피사체의 상이 맺히는 촬영렌즈(110,120)와 실제 피사체의 이미지를 전기적인 신호로 변환하는 CCD 등의 소자와의 거리에 해당하는 초점거리(f)와 비교하여 피사체가 비교적 원거리에 위치하는 경우(d1)는 입체영상 촬영에 따른 좌안 이미지와 우안 이미지의 중심점 이탈(d1')이 적으나, 피사체가 근거리에 위치하는 경우(d2)는 입체영상 촬영에 따른 좌안 이미지와 우안 이미지의 중심점 이탈(d2')이 커지게 된다. 좌안 이미지와 우안 이미지의 중심점 이탈이 심해지는 경우 입체영상 구현시 시청자에게 정입체가 제공되지 않고 입체로 겹쳐보이지 않는 단지두개의 어지러운 흐릿한 이미지만이 제공되게 된다.Referring to FIGS. 4 and 5, the center point matching operation of the center point correction unit will be described in detail as follows. When the subject is located relatively far away compared to the focal length (f), which is the distance between the photography lens (110, 120) that forms the image of the subject and an element such as a CCD that converts the image of the actual subject into an electrical signal (d1) There is little deviation (d1') from the center point of the left-eye image and right-eye image due to stereoscopic video shooting, but when the subject is located at a close distance (d2), there is a small deviation (d2') from the center point of the left-eye image and right-eye image due to stereoscopic video shooting. This gets bigger. If the deviation of the center point of the left-eye image and the right-eye image becomes severe, when implementing a stereoscopic image, the viewer is not provided with a stereoscopic image and only two dizzying blurry images that do not appear to overlap in three-dimensional form are provided.

본원발명에서는 거리 감지부(130) 및 중심점 보정부(160)를 통해 좌안 및 우안 이미지의 중심점 이탈을 보정할 수 있다. 도 4를 참조하여 거리에 따른 좌안 이미지 및 우안 이미지의 중심점 이탈정도를 계산하면 다음과 같다.In the present invention, deviation of the center point of the left-eye and right-eye images can be corrected through the distance detection unit 130 and the center point correction unit 160. Referring to FIG. 4, the degree of deviation from the center point of the left eye image and the right eye image according to distance is calculated as follows.

결국, 중심점 보정부(160)는 거리 감지부(130)로부터 제공받은 거리정보를 이용하여 중심점 이탈정도(d')를 계산하여 도 5에 도시된 바와 같이 좌안 이미지(220)의 경우 중심점을 향해 좌측으로 평행 이동시켜 보정하고 디스플레이 상의 우안 이미지(210)의 경우 중심점을 향해 우측으로 평행하게 이동시킴으로서 근거리에서 촬영된 피사체의 중심점을 보정하여 디스플레이부(180) 상에 정입체로서 구현할 수 있는 효과를 제공한다.Ultimately, the center point correction unit 160 calculates the degree of deviation from the center point (d') using the distance information provided by the distance detection unit 130, and moves toward the center point in the case of the left eye image 220, as shown in FIG. 5. Correction is made by moving it in parallel to the left, and in the case of the right eye image 210 on the display, it is moved in parallel to the right toward the center point, thereby correcting the center point of the subject photographed at close range to create an effect that can be implemented as a stereoscopic object on the display unit 180. to provide.

본원발명의 다른 실시례에 의하면, 좌안 이미지 및 우안 이미지의 중심점 이탈 뿐만 아니라 수평상태 이탈도 보정할 수 있다. 도 3을 참조하면, 본원발명에 따른 360도 파노라마 사진 생성 애플리케이션은 360도 파노라마 사진 생성 애플리케이션의 수평상태를 감지하는 수평상태 감지부(140), 수평상태 감지부(140)의 수평상태 감지상태에 따라 촬영렌즈(110,120)로부터 전송된 좌안이미지와 우안이미지를 각각 회전하여 수평상태를 보정한 이미지를 생성하여 상기 디스플레이부로 전송하는 수평상태 보정부(170)를 더 포함하는 것이 바람직하다.According to another embodiment of the present invention, not only the deviation of the center point of the left-eye image and the right-eye image but also the deviation from the horizontal state can be corrected. Referring to FIG. 3, the 360-degree panoramic photo generation application according to the present invention includes a horizontal state detection unit 140 that detects the horizontal state of the 360-degree panoramic photo generation application, and a horizontal state detection state of the horizontal state detection unit 140. Accordingly, it is preferable to further include a horizontal state correction unit 170 that rotates the left eye image and the right eye image transmitted from the photographing lenses 110 and 120, respectively, to generate a horizontal state corrected image, and transmits it to the display unit.

수평상태 감지부(140)는 전기적 자이로 센서를 포함하여 구성될 수 있고, 수평상태 보정부(170)는 수평에 대해 기울어진 각도(θ)만큼 좌안 이미지와 우안 이미지를 각각 회전시키는 방법으로만 보정을 할 수 있지만, 이에 추가하여 좌안 이미지와 우안 이미지를 중심점을 향해 각각 수직으로 이동시켜 보정하도록 하는 것이 보다 바람직하다.The horizontal state detection unit 140 may be configured to include an electrical gyro sensor, and the horizontal state correction unit 170 is corrected only by rotating the left eye image and the right eye image respectively by the tilt angle θ with respect to the horizontal. However, in addition, it is more desirable to correct the left-eye image and the right-eye image by moving them vertically toward the center point, respectively.

110 : 좌안 촬영렌즈
120 : 우안 촬영렌즈
130 : 거리감지부
140 : 수평상태 감지부
150 : 화상정보 분석부
160 : 중심점 보정부
170 : 수평상태 보정부
180 : 디스플레이부
210 : 우안 이미지
220 : 좌안 이미지110: Left eye photography lens
120: Right eye photography lens
130: Distance detection unit
140: horizontal state detection unit
150: Image information analysis unit
160: Center point correction unit
170: Horizontal state correction unit
180: display unit
210: Right eye image
220: Left eye image

Claims (9)

일정간격으로 평형하게 이격되어 각각 우안이미지 및 좌안이미지를 촬영하는 좌안 촬영렌즈 및 우안 촬영렌즈;
상기 좌안 촬영렌즈 및 상기 우안 촬영렌즈에서 각각 촬영된 좌안 이미지와 우안 이미지를 통해 촬영자에게 입체영상을 구현하여 표시하는 디스플레이부;
360도 파노라마 사진 생성 애플리케이션과 피사체와의 거리를 감지하는 거리 감지부;
상기 거리 감지부의 거리 감지상태에 따라 상기 촬영렌즈로부터 전송된 좌안이미지와 우안이미지의 중심점을 이동시켜 중심점을 일치시킨 이미지를 생성하여 상기 디스플레이부로 전송하는 중심점 보정부를 포함하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
A left eye photographing lens and a right eye photographing lens that are equally spaced at regular intervals and capture a right eye image and a left eye image, respectively;
A display unit that creates and displays a three-dimensional image to the photographer through left-eye images and right-eye images captured respectively by the left-eye photography lens and the right-eye photography lens;
A 360-degree panoramic photo creation application and a distance detection unit that detects the distance to the subject;
A 360-degree panorama comprising a center point correction unit that moves the center point of the left-eye image and the right-eye image transmitted from the photographing lens according to the distance detection state of the distance detection unit, generates an image with the center point coincident, and transmits the image to the display unit. Photo creation application.
 제 1 항에 있어서,
상기 중심점 보정부는 (r : 좌안 촬영렌즈와 우안 촬영렌즈 사이의 이격거리, f : 초점거리, d : 촬영렌즈와 피사체와의 거리) 만큼 좌안 이미지와 우안이미지를 중심점으로 각각 평행하게 이동시켜 중심점을 보정하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
According to claim 1,
The center point correction unit moves the left eye image and the right eye image in parallel to the center point by (r: the separation distance between the left eye photography lens and the right eye photography lens, f: focal length, d: the distance between the photography lens and the subject) to determine the center point. A 360-degree panoramic photo creation application characterized by correction.
 제 1 항 또는 제 2 항에 있어서,
360도 파노라마 사진 생성 애플리케이션의 수평상태를 감지하는 수평상태 감지부;
상기 수평상태 감지부의 수평상태 감지상태에 따라 상기 촬영렌즈로부터 전송된 좌안이미지와 우안이미지를 각각 회전하여 수평상태를 보정한 이미지를 생성하여 상기 디스플레이부로 전송하는 수평상태 보정부를 더 포함하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
The method of claim 1 or 2,
A horizontal state detection unit that detects the horizontal state of a 360-degree panoramic photo creation application;
Characterized by further comprising a horizontal state correction unit for generating a horizontal state corrected image by rotating the left eye image and the right eye image transmitted from the photographing lens according to the horizontal state detection state of the horizontal state detection unit and transmitting the horizontal state corrected image to the display unit. A 360-degree panoramic photo creation application.
 제 3 항에 있어서,
상기 수평상태 보정부는 수평에 대해 기울어진 각도(θ)만큼 좌안 이미지와 우안 이미지를 각각 회전시켜 각도를 보정하고, (r : 좌안 촬영렌즈와 우안 촬영렌즈 사이의 이격거리, f : 초점거리, d : 촬영렌즈와 피사체와의 거리, θ : 촬영장치의 기울어진 각도 ) 만큼 좌안 이미지와 우안 이미지를 중심점을 향해 각각 수직으로 이동시켜 보정하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
According to claim 3,
The horizontal state correction unit rotates the left-eye image and the right-eye image by an angle (θ) inclined relative to the horizontal to correct the angle, (r: separation distance between the left-eye photography lens and the right-eye photography lens, f: focal length, d A 360-degree panoramic photo creation application that corrects the left-eye image and the right-eye image by moving them vertically toward the center point by the distance between the shooting lens and the subject, θ: the tilt angle of the shooting device.
 제 3 항 또는 제 4 항에 있어서,
상기 디스플레이부는 좌안 이미지와 우안 이미지의 중심점 일치여부 및 좌안이미지와 우안 이미지간의 수평유지 여부를 더 표시하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
According to claim 3 or 4,
A 360-degree panoramic photo creation application, wherein the display unit further displays whether the center point of the left-eye image and the right-eye image coincide and whether the left-eye image and the right-eye image are maintained horizontally.
 제 3 항 또는 제 4 항에 있어서,
상기 촬영렌즈로부터 촬영되는 상기 좌안 이미지 및 우안 이미지는 디스플레이부에 표시될 영역보다 상하좌우로 더 넓은 영역을 포함하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
According to claim 3 or 4,
A 360-degree panoramic photo creation application, characterized in that the left-eye image and the right-eye image captured from the shooting lens include a wider area up, down, left, and right than the area to be displayed on the display unit.
 제 1 항 또는 제 2 항에 있어서,
상기 좌안 촬영렌즈 및 상기 우안 촬영렌즈는 65 mm 만큼 이격되는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
The method of claim 1 or 2,
A 360-degree panoramic photo creation application, characterized in that the left eye photography lens and the right eye photography lens are spaced apart by 65 mm.
 제 3 항 또는 제 4 항에 있어서,
상기 거리 감지부는 적외선 거리 감지 센서, 상기 수평상태 감지부는 자이로센서를 각각 포함하여 구성되는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.
According to claim 3 or 4,
A 360-degree panoramic photo generation application, wherein the distance detection unit includes an infrared distance detection sensor and the horizontal state detection unit includes a gyro sensor.
 제 1 항 또는 제 2 항에 있어서,
상기 디스플레이부는 전기적인 슬릿을 통해 입체영상을 디스플레이하되, 상기 전기적인 슬릿은 전기적으로 활성화 또는 비활성화를 제어할 수 있고;
2차원 이미지를 촬영하는 경우, 상기 촬영렌즈는 좌안 촬영렌즈 또는 우안촬영렌즈 중 어느 하나만 선택적으로 활성화하여 촬영하고 상기 디스플레이부는 전기적 슬릿을 비활성하여 2차원 이미지를 디스플레이하는 것을 특징으로 하는 360도 파노라마 사진 생성 애플리케이션.The method of claim 1 or 2,
The display unit displays a three-dimensional image through an electrical slit, and the electrical slit can be electrically controlled to be activated or deactivated;
When shooting a two-dimensional image, the shooting lens selectively activates either the left eye shooting lens or the right eye shooting lens to capture the image, and the display unit displays the two-dimensional image by deactivating the electrical slit. A 360-degree panoramic photo. Create application.
KR1020220187426A 2022-12-28 360 degree panorama photo creation application KR20240104810A (en)

Publications (1)

Publication Number Publication Date
KR20240104810A true KR20240104810A (en) 2024-07-05

Family

ID=

Similar Documents

Publication Publication Date Title
JP4863527B2 (en) Stereoscopic imaging device
JP5172972B2 (en) 3D image display device
JP4291862B2 (en) 3D television system and 3D television receiver
US9057942B2 (en) Single camera for stereoscopic 3-D capture
JP2662252B2 (en) 3D image display device
US20170212360A1 (en) Glasses-free 3d display device
US20120307016A1 (en) 3d camera
JP2006267767A (en) Image display device
KR100651225B1 (en) 3D Shooting Device Using Center Compensation and Method thereof
KR20240104810A (en) 360 degree panorama photo creation application
JPH08191462A (en) Stereoscopic video reproducing device and stereoscopic image pickup device
JP2003134534A (en) Image pickup device
JP4360180B2 (en) 3D image shooting device
JPH09327042A (en) Video camera device for image pickup for three-dimension stereoscopic video signal converter and optical adaptor used for the video camera device
US20100073464A1 (en) Method and apparatus for creating and displaying a three dimensional image
US9239464B2 (en) Imaging apparatus and imaging method
JP2014045392A (en) Stereoscopic image receiver
US20240040220A1 (en) Camera having imaging lenses with varied inter-lens spacings
JP4103308B2 (en) 3D live-action video shooting and presentation system
JPH05244643A (en) Three-dimensional television device
JP2001326946A (en) Stereoscopic image photographing device
WO2013061334A1 (en) 3d stereoscopic imaging device with auto parallax
JPH11341399A (en) Spectacle type image display device
JP2004101665A (en) Stereoscopic image photographing method and device
JP2006017806A (en) Three-dimensional imaging adapter