WO2011129488A1 - 평행축 입체카메라 - Google Patents

평행축 입체카메라 Download PDF

Info

Publication number
WO2011129488A1
WO2011129488A1 PCT/KR2010/004916 KR2010004916W WO2011129488A1 WO 2011129488 A1 WO2011129488 A1 WO 2011129488A1 KR 2010004916 W KR2010004916 W KR 2010004916W WO 2011129488 A1 WO2011129488 A1 WO 2011129488A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image sensor
stereoscopic
luminance
color difference
Prior art date
Application number
PCT/KR2010/004916
Other languages
English (en)
French (fr)
Inventor
강희민
박은화
Original Assignee
(주)에이직뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이직뱅크 filed Critical (주)에이직뱅크
Priority to US13/641,275 priority Critical patent/US20130093855A1/en
Priority to CN2010800661837A priority patent/CN102939563A/zh
Publication of WO2011129488A1 publication Critical patent/WO2011129488A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a parallel axis stereoscopic camera. More specifically, the present invention enables to control the electronic angle electronically to the parallel axis stereoscopic camera which is not mechanically controllable angle control, and to minimize the image loss caused by the electronic angle control and left and right camera alignment error.
  • the present invention relates to a three-dimensional camera of a parallel axis type having an electronic perspective control function and an electronic camera alignment function.
  • a stereoscopic camera obtains images of left and right by using two cameras like a human eye, and makes the viewer feel three-dimensional by the parallax of the two images.
  • a parallax or binocular parallax is a difference in the direction when the same point is seen from two viewpoints, and due to such a parallax, an image of a subject in a stereoscopic camera is located at different positions on the imaging planes of the image sensors provided in the two cameras. It is concluded. The difference between such locations is called parallax, which gives the viewer the distance information about the objects and gives a sense of depth.
  • the human eye moves the left and right eyes so that the parallax of the object to be observed is zero, so that the object can be observed while feeling three-dimensional comfort. Adjusting the amount of parallax is called vergence control, and when the amount of parallax of an object to be observed becomes zero, the image can be viewed most comfortably.
  • the parallax amount is very large, resulting in severe fatigue.
  • it is essential to control the viewing angle of the left and right cameras so that a constant parallax is maintained regardless of a change in the position of the subject.
  • three-dimensional cameras used to obtain a stereoscopic image are classified into three types, a parallel axis method, a cross axis method, and a horizontal moving axis method, depending on the arrangement of left and right image sensors.
  • FIG. 1 is a view for conceptually explaining the operation principle of a conventional parallel axis stereoscopic camera.
  • a parallel axis stereoscopic camera is the simplest form of a binocular stereoscopic camera, and is designed to acquire images while fixing two image sensors in parallel at a distance similar to a human eye distance.
  • this parallel axis stereoscopic camera has a problem in that the amount of parallax according to the distance change of the subject cannot be adjusted because there is no perspective control function.
  • FIG. 2 is a view for conceptually explaining the operation principle of a conventional cross-axis stereoscopic camera.
  • the conventional cross-axis type stereoscopic camera is designed to be able to control the viewing angle according to a change in distance of an object.
  • This cross-axis three-dimensional camera rotates the optical axis of the image sensor in accordance with the change of the distance of the object to control the viewing angle so that the image of the object is always at the center of the left and right image sensor. It mimics the eye movements of a person when gathering inward when seeing a close object and when seeing a distant object.
  • FIG. 3 is a view for conceptually explaining the operation principle of a conventional horizontal moving axis stereoscopic camera.
  • a horizontal moving axis stereoscopic camera is a camera capable of controlling the vergence of a camera according to a change in distance of an observation object, such as a cross axis method.
  • the lens is detached from the image sensor and then designed to adjust the viewing angle by moving the image sensor in parallel and horizontally with respect to the lens.
  • the vergence control method by the parallel movement of the image sensor there is an advantage that the image distortion is relatively smaller than the cross-axis method because the amount of change in the distance between the left and right image sensors is small, but the lens and the image sensor are separated. There is a problem that there is a lot of difficulties in the production of a real three-dimensional camera, because you need to control the perspective while moving the image sensor.
  • the parallel axis stereoscopic camera does not have a mechanical angle control function unlike the cross axis method or the horizontal moving axis method, but has a great advantage in that it is structurally simple.
  • a method of electronically controlling the viewing angle through software signal processing has been used.
  • FIG. 4 is a diagram for describing image loss caused by mechanical alignment error between a left camera and a right camera of a conventional parallel axis stereoscopic camera.
  • horizontal and vertical errors occur between the left and right image sensors due to mechanical alignment errors between the left and right cameras.
  • an image loss of 131,000 pixels occurred due to mechanical alignment error
  • FIG. 5 is a diagram for describing an image loss occurring in a vergence control process required in a conventional parallel axis stereoscopic camera.
  • a method of controlling a viewing angle in software by combining a left image with a parallax and a right image is conceptually disclosed.
  • this method it is possible to control the viewing angle mainly because the image (A, B) of the front of the sensor is used as it is or by editing the pre-recorded image, but the two images are crossed (3D).
  • An area 2D that is not generated may occur, and as a result, as shown in FIG. 5, a part of the left and right or top and bottom images may not be implemented in three dimensions.
  • Korean Patent Laid-Open No. 10-2007-0021694 Korean Patent Laid-Open No. 10-2007- 0030501
  • Korean Patent Publication No. 10-2002-0037097 Korean Patent Publication No. 10-2004-005252.
  • the external memory must be provided to control the visual angle.
  • the parallax of the left / right image is adjusted differently according to the read-out point of the external memory according to the vergence control signal generated externally or internally. This is how you control the angle of view.
  • Video loss caused by misalignment of left and right cameras is compensated by interpolation using data stored in external memory.
  • an additional external memory is required, and a problem of distortion of the image and time delay of the image by one frame or more occurs in the process of compensating for the perspective and controlling the lost image.
  • An object of the present invention is to provide a three-dimensional camera of a parallel axis type having an electronic perspective control function and an electronic camera alignment function that can prevent image loss due to mechanical alignment error of the left and right cameras.
  • Another object of the present invention is to provide a three-dimensional camera of a parallel axis type having an electronic perspective control function and an electronic camera alignment function that can prevent image loss in the viewing angle control process.
  • the present invention also simplifies the signal processing process for the control of the viewing angle, thereby reducing the image distortion and the time delay in the stereoscopic image generation process. It is a technical problem to provide a camera.
  • the present invention is to provide a three-dimensional camera of the parallel axis type having an electronic perspective control function and an electronic camera alignment function that can reduce the manufacturing cost by reducing the number of components, such as external memory required in the perspective control process. Let it be technical problem.
  • Parallel axis stereoscopic camera for solving this problem is configured to include a left image sensor and a right image sensor having a higher resolution than the output image and outputting RGB data having the same resolution as the output image Viewing control unit, electronically control to eliminate the binocular disparity of the object by changing a horizontal read out start point of at least one of the camera unit, the left image sensor and the right image sensor, the control of the viewing control unit Image processing the left RGB data output from the left image sensor and outputting a left luminance / color difference signal, and outputting a right luminance / color difference signal by image processing the right RGB data output from the right image sensor.
  • An image processor comprising a right image processor and the left luminance / And a stereoscopic image synthesizer for synthesizing a stereoscopic image by synthesizing a color difference signal and the right luminance / color difference signal.
  • Parallel axis stereoscopic camera is a camera unit including a left image sensor and a right image sensor having a higher resolution than the output image and outputs RGB data having the same resolution as the output image, the left image
  • a main vision control unit which electronically controls a binocular disparity of an object by changing a readout start point of at least one horizontal direction of a sensor and the right image sensor, and a left output from the left image sensor under control of the gaze control
  • Stereoscopic RGB data synthesizing unit for synthesizing stereoscopic RGB data by synthesizing RGB data and right RGB data output from the right image sensor, and stereoscopic image comprising left luminance / color difference signal and right luminance / color difference signal by image processing the stereoscopic RGB data Configured to include an image processor for outputting an image .
  • Parallel axis stereoscopic camera comprises a left image sensor and a right image sensor having a higher resolution than the output image and the camera unit for outputting RGB data having the same resolution as the output image, the left A vergence controller for electronically controlling the binocular disparity of an object by changing a readout start point in at least one horizontal direction of the image sensor and the right image sensor, and outputting from the left image sensor according to the control of the vergence controller Image processing the left RGB data to generate a left luminance / color difference signal and image processing the right RGB data output from the right image sensor to generate a right luminance / color difference signal, and the left luminance / color difference signal and the right luminance / color difference Corrected so that there is no difference in luminance and color between signals Element is an image processor, and configured to include input from the three-dimensional image processing of the left luminance / color difference signal and the right luminance / color-difference synthesis signal by synthesizing the three-dimensional image to a three-
  • Parallel axis stereoscopic camera comprises a left image sensor and a right image sensor having a higher resolution than the output image, the left luminance / color difference signal and the right luminance / color difference having the same resolution as the output image
  • a camera unit for outputting a signal
  • a vergence controller for controlling electronically so that binocular disparity is eliminated by changing a horizontal lead-out start point of at least one of the left image sensor and the right image sensor, and the left luminance / color difference signal
  • a stereoscopic image synthesizer for synthesizing a stereoscopic image by synthesizing the right luminance / color difference signal.
  • the initial readout starting point of the left image sensor and the right image sensor and the resolution of the output image are set so that there is no image loss of the output image.
  • the initial readout starting point of the left image sensor and the right image sensor and the resolution of the output image may be changed.
  • the vergence controller calculates a binocular disparity between the left luminance / color difference signal and the right luminance / color difference signal, and the binocular between the calculated left luminance / color difference signal and the right luminance / color difference signal.
  • the at least one leadout start point of the left image sensor or the right image sensor may be changed to eliminate parallax.
  • the gaze angle controller is configured to calculate the binocular disparity based on an intermediate object located in the middle of the object.
  • the left image sensor and the right image sensor are spaced apart from each other on a printed circuit board, and on the printed circuit board between the left image sensor and the right image sensor, the perspective control unit and the At least one of an image processing unit, the stereoscopic image synthesizing unit, the stereoscopic RGB data synthesizing unit, and the stereoscopic image processing unit is installed.
  • the left image sensor and the right image sensor are spaced apart from each other on a wafer, and on the wafer between the left image sensor and the right image sensor, the vertex control unit, the image processing unit, and the And a stereoscopic image synthesizing unit, at least one of the stereoscopic RGB data synthesizing unit and the stereoscopic image processing unit.
  • a three-dimensional camera of a parallel axis type having an electronic perspective control function and an electronic camera alignment function that can prevent image loss due to mechanical alignment error of the left and right cameras.
  • the signal processing process for the control of the viewing angle is simplified to provide a parallel axis stereoscopic camera equipped with an electronic viewing control function and an electronic camera alignment function to minimize image distortion and time delay in the process of generating a stereoscopic image. It is effective.
  • a three-dimensional camera of the parallel axis type having an electronic perspective control function and an electronic camera alignment function that can reduce the number of components, such as external memory required in the perspective control process to reduce the manufacturing cost.
  • FIG. 1 is a view for conceptually explaining the operation principle of a conventional parallel axis stereoscopic camera.
  • FIG. 2 is a view for conceptually explaining the operation principle of a conventional cross-axis stereoscopic camera.
  • FIG. 3 is a view for conceptually explaining the operation principle of a conventional horizontal moving axis stereoscopic camera.
  • FIG. 4 is a diagram for describing image loss caused by mechanical alignment error between a left camera and a right camera of a conventional parallel axis stereoscopic camera.
  • FIG. 5 is a diagram for describing an image loss occurring in a vergence control process required in a conventional parallel axis stereoscopic camera.
  • FIG. 6 is a diagram illustrating a parallel axis stereoscopic camera according to a first embodiment of the present invention.
  • FIG. 7 is a view illustrating preventing loss of an output image due to misalignment between left and right image sensors by using a left and right image sensor having a higher resolution than a resolution of a finally output image in the first embodiment of the present invention. It is a figure for demonstrating the principle.
  • FIG. 8 illustrates a principle of preventing loss of an output image in a vergence control process by using left and right image sensors having a higher resolution than a resolution of an output image finally output according to the first embodiment of the present invention. It is a figure for following.
  • 9 to 11 are diagrams for describing a detailed vergence control method according to a first embodiment of the present invention.
  • FIG. 12 is a view showing a parallel axis stereoscopic camera according to a second embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a parallel axis stereoscopic camera according to a third embodiment of the present invention.
  • FIG. 14 is a view showing a parallel axis stereoscopic camera according to a fourth embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a parallel axis stereoscopic camera according to a first embodiment of the present invention.
  • the parallel axis stereoscopic camera includes a camera unit 10, a viewing angle control unit 20, an image processing unit 30, and a stereoscopic image synthesizing unit 40. do.
  • the camera unit 10 includes a left lens module 11, a left image sensor 12, a right lens module 13, and a right image sensor 14, and includes a left image sensor 12 and a right image sensor ( The resolution of 14) is higher than the resolution of the stereoscopic image which is the finally output image.
  • FIG. 7 is a diagram illustrating a relationship between left and right image sensors 12 and 14 using left and right image sensors 12 and 14 having a higher resolution than a resolution of a finally output image. The figure for explaining the principle of preventing the loss of the output image due to misalignment.
  • the resolution of the required output image is 1280 ⁇ 720
  • the resolutions of the two image sensors 12 and 14 are each 1600 ⁇ 1200.
  • the image sensor having a higher resolution than the resolution of the output image required to eliminate the image loss caused by the alignment error of the left and right cameras, and adopts the data of the left and right image sensors 12, 14 Set the data readout start point of the left image sensor 12, the data readout start point of the left image sensor 12, and the resolution of the output image so as to window the left / right common part as much as the required output image size. In this case, no image loss occurs because the required image size is always output.
  • the initial readout start point (U1, V1) of the left image sensor 12, the initial readout start point (U2, V2) of the right image sensor 14, and the resolution (1,280 ⁇ 720) of the output image are reduced. It is preferable to set the input in advance in the manufacturing process of the three-dimensional camera.
  • the resolution of the output image may be set by inputting an end point for reading out data of the image sensor. For example, when manufacturing a parallel-axis stereoscopic camera for the first time, the manufacturer looks at the stereoscopic camera on the left image and the right image on a 2D monitor, and then uses the external perspective control signal of the vergence control unit 20 to control the left image sensor 12.
  • the initial readout start points U1 and V1 and the initial readout start points U2 and V2 of the right image sensor 14 may be input to the left and right image sensors 12 and 14.
  • the camera unit 10 outputs RGB data having the same resolution as the output image that is required without image loss, that is, the entire RGB data required for generating the final output stereoscopic image.
  • the initial readout starting point and the resolution of the output image of the left image sensor 12 and the right image sensor 14 is preferably configured to be changed by the user as needed.
  • the vergence control unit 20 is a means for electronically controlling the binocular disparity of an object by changing a readout start point of at least one of the left image sensor 12 and the right image sensor 14 in the horizontal direction.
  • the gaze angle controller 20 may include both eyes between a left luminance / color difference signal that is a left image signal output by the left image processor 301 and a right luminance / color difference signal that is a right image signal output by the right image processor 302. Calculate the parallax and change the start point of at least one of the left image sensor 12 or the right image sensor 14 so that the binocular disparity between the calculated left luminance / color difference signal and the right luminance / color difference signal disappears. have.
  • FIG. 8 illustrates the loss of the output image during the vergence control process by using the left and right image sensors 12 and 14 having higher resolution than the resolution of the finally output image. It is a figure for demonstrating the principle to prevent.
  • FIG. 8 the left side according to an internal or external angle control signal (a signal such that there is no binocular disparity of an object, a position where the binocular disparity of an object becomes zero, and may be automatically and manually changed according to an object).
  • the viewing angle is controlled by changing the readout start point of the image sensor 12 and the right image sensor 14 in the horizontal direction.
  • FIG. 8A illustrates a case where an object is located at a short distance
  • FIG. 8B illustrates a perspective control when the object is located at a far distance. It can be seen that no image loss occurs in either case.
  • 9 to 11 are diagrams for describing a detailed vergence control method according to a first embodiment of the present invention.
  • the viewing angle controller 20 receives a left image signal of three objects from the left image processing unit 301, and the right image processing unit ( 302 receives the right image signal for three objects.
  • the viewing angle controller 20 calculates the binocular disparity of the intermediate objects b1 and b2, that is, the separation distance k between the b1 and b2 and moves the image of the right camera to the left so that there is no binocular disparity between the intermediate objects b1 and b2. .
  • the gaze angle controller 20 inputs data readout points to the right image sensor 14 to the left to move the right image to the left.
  • the point B 'with binocular disparity equal to 0 is represented on the stereoscopic monitor, A' before the point B 'is shown before the stereoscopic monitor, and C' behind the B 'point. Is behind the stereo monitor, creating a natural stereoscopic effect.
  • This automatic viewing control function is automatically performed whenever the object is changed in the viewing control unit 20 so that a natural 3D image can be obtained at all times, and the lead-out points of the left and right image sensors 12 and 14 are adjusted. Adjusting together can maximize the gaze control range.
  • the image processor 30 includes a left image processor 301 and a right image processor 302, and the left image processor 301 is output from the left image sensor 12 under the control of the vergence controller 20.
  • Image processing the RGB data to output the left luminance / color difference signal the right image processing unit 302 is image processing the right RGB data output from the right image sensor 14 under the control of the vergence control unit 20 to the right luminance Outputs the color difference signal.
  • the stereoscopic image synthesizer 40 generates and outputs a stereoscopic image by synthesizing the left luminance / color difference signal and the right luminance / color difference signal.
  • the first embodiment of the present invention may further include a stereo monitor for outputting a stereoscopic image output by the stereoscopic image synthesizer 40 and a storage unit for storing the stereoscopic image.
  • the left image sensor 12 and the right image sensor 14 is installed so as to be spaced apart from each other on the printed circuit board, the angle of view on the printed circuit board between the left image sensor 12 and the right image sensor 14
  • At least one of the controller 20, the image processor 30, and the stereoscopic image synthesizer 40 may be installed.
  • the left image sensor 12 and the right image sensor 14 are installed so as to be spaced apart from each other on the wafer, and the vergence controller 20 on the wafer between the left image sensor 12 and the right image sensor 14.
  • at least one of the image processor 30 and the stereoscopic image synthesizer 40 may be installed. According to this configuration, it is possible to reduce the size of the three-dimensional camera, there is an effect that a parallel-axis three-dimensional camera that can be embedded in a device such as a mobile terminal.
  • a parallel axis stereoscopic camera having an electronic perspective control function and an electronic camera alignment function, which can prevent image loss due to mechanical alignment errors of the left and right cameras. It is effective.
  • the signal processing process for the control of the viewing angle is simplified to provide a parallel axis stereoscopic camera equipped with an electronic viewing control function and an electronic camera alignment function to minimize image distortion and time delay in the process of generating a stereoscopic image. It is effective.
  • a three-dimensional camera of the parallel axis type having an electronic perspective control function and an electronic camera alignment function that can reduce the number of components, such as external memory required in the perspective control process to reduce the manufacturing cost.
  • the size of the three-dimensional camera can be reduced, can be embedded in a device such as a mobile terminal, there is an effect that a parallel axis stereoscopic camera having an electronic viewing angle control function and an electronic camera alignment function is provided.
  • FIG. 12 is a view showing a parallel axis stereoscopic camera according to a second embodiment of the present invention.
  • a parallel axis stereoscopic camera includes a left image sensor 12 and a right image sensor 14 having a higher resolution than an output image, and have the same resolution as the output image.
  • the stereoscopic RGB data is synthesized by synthesizing the left RGB data output from the left image sensor 12 and the right RGB data output from the right image sensor 14 under the control of the viewing angle control unit 20 and the viewing angle control unit 20.
  • the function of the viewing angle controller 20 included in the second embodiment is the same as the function of the viewing angle controller 20 included in the first embodiment.
  • the second embodiment has the following features.
  • the stereoscopic RGB data synthesizing unit 42 receives the outputs of the two image sensors 12 and 14 (left RGB data and right RGB data, respectively, 1280 ⁇ 720) and receives one stereoscopic RGB data (2560 ⁇ 720, Full). Frame Side by Side).
  • This stereoscopic RGB data is subjected to video signal processing by one image processing unit 32. According to this, the left and right images can be expressed more naturally.
  • FIG. 13 is a diagram illustrating a parallel axis stereoscopic camera according to a third embodiment of the present invention.
  • a parallel axis stereoscopic camera includes a left image sensor 12 and a right image sensor 14 having a higher resolution than an output image, and have the same resolution as the output image.
  • the stereoscopic image processor 33 and the stereoscopic image processor 33 include a stereoscopic image synthesizing unit 43 for synthesizing a stereoscopic image by synthesizing the left luminance / color difference signal and the right luminance / color difference signal.
  • One difference between the second and third embodiments lies in the order of image signal processing and stereoscopic image synthesis.
  • the stereoscopic image processor 33 generates a left luminance / color difference signal by image-processing the left RGB data output from the left image sensor 12 under the control of the vergence controller 20, and generates a right image sensor ( 14) the right RGB data output from the image is processed to generate a right luminance / color difference signal, and the stereoscopic image synthesis unit 43 corrects such that the luminance and color difference between the left luminance / color difference signal and the right luminance / color difference signal disappear.
  • the stereoscopic image synthesis unit 43 corrects such that the luminance and color difference between the left luminance / color difference signal and the right luminance / color difference signal disappear.
  • FIG. 14 is a view showing a parallel axis stereoscopic camera according to a fourth embodiment of the present invention.
  • a parallel axis stereoscopic camera includes a left image sensor 12 and a right image sensor 14 having a higher resolution than an output image, and have the same resolution as the output image.
  • the camera unit 10 for outputting the left luminance / color difference signal and the right luminance / color difference signal having a change in the horizontal readout start point of at least one of the left image sensor 12 and the right image sensor 14 is changed.
  • a stereoscopic control unit 20 for electronically controlling the binocular disparity, and a stereoscopic image synthesizing unit 44 for synthesizing a stereoscopic image by synthesizing a left luminance / color difference signal and a right luminance / color difference signal.
  • the fourth embodiment has a feature that blocks for performing image signal processing are included in the left and right image sensors 12 and 14.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 평행축 입체카메라에 관한 것이며, 출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부, 좌측 이미지센서와 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부, 주시각 제어부의 제어에 따라 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 출력하는 좌측 영상처리부 및 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 출력하는 우측 영상처리부로 이루어진 영상처리부 및 좌측 휘도/색차신호와 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하여 구성된다. 본 발명에 따르면, 좌, 우측 카메라의 정렬오차로 인한 영상 손실 및 주시각 제어 과정에서의 영상 손실을 방지할 수 있고, 신호처리 과정이 단순화되어 입체영상 생성과정에서의 영상 왜곡 및 시간 지연을 최소화시킬 수 있다.

Description

평행축 입체카메라
본 발명은 평행축 입체카메라에 관한 것이다. 보다 구체적으로, 본 발명은 기계적으로는 주시각 제어가 불가능한 평행축 입체카메라에 전자적으로 주시각을 제어할 수 있게 하고, 전자적 주시각 제어 및 좌, 우측 카메라 정렬 오차로 발생하는 영상 손실을 최소화할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라에 관한 것이다.
일반적으로, 입체카메라는 사람의 눈과 같이 2대의 카메라를 사용하여 좌, 우의 영상을 얻고 그 두 영상의 시차에 의해 관측자로 하여금 입체감을 느끼게 한다.
시차(parallax) 또는 양안시차란, 동일점을 2개의 관측점에서 보았을 때의 방향의 차를 말하며, 이러한 시차로 인하여 입체카메라에서 피사체의 영상이 두 카메라에 구비된 이미지센서들의 촬상면에서 서로 다른 위치에 맺히게 된다. 그러한 위치의 차를 시차량이라고 하며, 이것은 관측자에게 관측 물체들에 대한 거리 정보를 제공하며 입체감을 느끼게 해준다.
사람의 눈은 관측하고자 하는 물체의 시차량을 0이 되도록 좌, 우 눈동자를 움직여 편안하게 입체감을 느끼면서 물체를 관측할 수 있도록 한다. 이렇게 시차량을 조절하는 것을 주시각 제어(vergence control)라 하며, 관측하고자 하는 물체의 시차량이 0이 되었을 때 가장 편안하게 영상을 볼 수 있다.
주시각 제어가 되지 않은 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 피사체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌, 우 카메라의 관측 방향을 제어하는 주시각 제어 기능이 필수적이다.
한편 입체 영상을 얻기 위해 사용되는 입체카메라는 좌, 우측 이미지센서의 배열방법에 따라 평행축 방식, 교차축 방식 및 수평 이동축 방식의 세가지로 구분된다.
도 1은 종래의 평행축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 1을 참조하면, 평행축 방식 입체카메라는 양안식 입체카메라 중 가장 단순한 형태로서, 두 개의 이미지센서를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 설계되어 있다. 그러나 이 평행축 방식 입체카메라는 주시각 제어 기능이 없어 피사체의 거리 변화에 따른 시차량을 조절할 수 없다는 문제점이 있다.
도 2는 종래의 교차축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 2를 참조하면, 종래의 교차축 방식 입체카메라는 물체의 거리 변화에 따라 주시각 제어가 가능하도록 설계되어 있다. 이 교차축 입체 카메라는 물체의 거리 변화에 따라 이미지센서의 광축을 회전시켜 항상 물체의 상이 좌, 우측 이미지센서의 중심에 맺히도록 주시각을 제어한다. 이는 가까운 물체를 볼 때 안쪽으로 모이고 멀리있는 물체를 볼 때 벌어지는 사람의 눈동자 움직임을 모방한 것이다.
그러나, 교차축 방식의 경우 이미지센서를 교차시켜 주시각을 맞추기 때문에 주시각 제어에 따른 이미지센서 간의 간격 변화가 심하여 입체 영상 재생 시 왜곡이 심하며, 카메라 광축의 회전으로 주시각 제어를 해야 하기 때문에 소형화가 어렵다는 문제점이 있다.
도 3은 종래의 수평 이동축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 3을 참조하면, 수평 이동축 입체 카메라는 교차축 방식과 같이 관측물체의 거리 변화에 따라 카메라의 주시각 제어가 가능한 카메라이다. 그러나 교차축 방식과는 달리 렌즈를 이미지센서로부터 분리시킨 후, 렌즈에 대해서 이미지센서가 평행하게 수평으로 움직이게 하여 주시각을 조절하도록 설계되어 있다. 이러한 이미지센서의 평행 이동에 의한 주시각 제어방식에 따르면, 좌, 우측 이미지센서 사이의 간격 변화량이 작아 교차축 방식에 비해 상대적으로 영상 왜곡이 작다는 장점이 있지만, 렌즈와 이미지센서를 서로 분리시키고 이미지센서를 이동시키면서 주시각 제어를 해야 하므로 실제 입체카메라 제작에 많은 어려움이 있다는 문제점이 있다.
앞서 간략히 설명하였지만, 평행축 방식 입체카메라는 교차축 방식이나 수평 이동축 방식과는 달리 기계적인 주시각 제어 기능은 구비되어 있지 않지만, 구조적으로 단순하다는 큰 장점을 갖는다. 평행축 방식 입체카메라의 이러한 장점을 활용하기 위하여 소프트웨어적인 신호처리를 통하여 전자적으로 주시각을 제어하는 방식이 활용되고 있다.
그러나 종래의 이러한 평행축 방식 입체카메라에 따르면, 좌, 우측 카메라의 기구적인 정렬오차로 인한 영상 손실과 주시각 제어 과정에서의 영상 손실이 발생한다는 문제점이 있다.
이를 도 4와 도 5를 참조하여 보다 구체적으로 설명한다.
도 4는 종래의 평행축 방식 입체카메라를 구성하는 좌측 카메라와 우측 카메라 간의 기구적인 정렬오차로 인해 발생하는 영상 손실을 설명하기 위한 도면이다.
도 4를 참조하면, 좌측 카메라와 우측 카메라 간의 기구적인 정렬오차로 인해 좌측 이미지센서와 우측 이미지센서 간에는 수평오차 및 수직오차가 발생하게 된다. 예를 들어, 좌측 이미지센서와 우측 이미지센서의 해상도가 각각 1,280×720=921,600픽셀이고, 수평오차가 100픽셀, 수직오차가 50픽셀인 경우, 영상손실이 100×720+50×(1280-100)=131,000픽셀만큼 발생한다. 결과적으로, 원하는 출력영상의 해상도는 1,280×720=921,600픽셀이었으나, 기구적인 정렬오차로 인해 131,000픽셀의 영상손실이 발생하여, 실제 출력영상의 해상도는 1180×670=790,600픽셀이 된다.
도 5는 종래의 평행축 방식 입체카메라에서 요구되는 주시각 제어 과정에서 발생하는 영상 손실을 설명하기 위한 도면이다.
도 5를 참조하면, 시차를 갖는 좌측 영상과 우측 영상을 결합하여 소프트웨어적으로 주시각을 제어해주는 방식이 개념적으로 개시되어 있다. 그러나 이 방식에 따르면, 주로 센서 전면(total field)의 영상(A, B)을 그대로 가져다 사용하거나 미리 촬영된 영상을 편집하여 사용하기 때문에 주시각을 제어하는 것은 가능하지만 두 영상이 교차(3D)되지 않는 영역(2D)이 발생할 수 있으며, 따라서 도 5에 도시된 바와 같이 좌우 또는 상하 영상 일부가 입체로 구현되지 않는다는 문제점이 있다.
또한 이러한 종래의 주시각 제어 및 이 과정에서 발생하는 영상 손실을 보간법(Interpolation method) 등을 이용하여 보상해주는 방식이 한국공개특허공보 제10-2007-0021694호, 한국공개특허공보 제10-2007-0030501호, 한국공개특허공보 제10-2002-0037097호, 한국공개특허공보 제10-2004-005252호에 개시되어 있다.
그러나 이 방식들은 이미 제작된 일반 카메라 2대를 이용하여 입체영상을 생성하기 때문에 주시각 제어를 하기 위해서는 기본적으로 외부에 메모리를 구비해야한다. 즉, 좌/우 영상을 임시로 이 외부 메모리에 저장한 후, 외부 또는 내부에서 생성된 주시각 제어신호에 따라 좌/우 영상의 시차를 외부 메모리의 리드아웃(Read out) 지점을 다르게 조절함으로써 주시각을 제어하는 방식이다. 좌/우 카메라의 정렬 오차로 발생하는 영상 손실도 외부 메모리에 저장된 데이터를 이용하여 보간 등의 방식으로 보상해준다. 이를 통하여 알 수 있는 바와 같이, 종래의 방식에 따르면, 추가적인 외부 메모리가 필요하고, 주시각 제어 및 손실된 영상을 보상해주는 과정에서 영상의 왜곡 및 영상이 1 프레임 이상 시간 지연되는 문제가 발생한다.
본 발명은 좌, 우측 카메라의 기구적인 정렬오차로 인한 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라를 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 주시각 제어 과정에서의 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라를 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 주시각 제어를 위한 신호처리 과정을 단순화시켜 입체영상 생성과정에서의 영상 왜곡 및 시간 지연을 최소화시킬 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라를 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 주시각 제어 과정에서 요구되는 외부 메모리 등의 부품의 수를 줄여 제조비용을 저감할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라를 제공하는 것을 기술적 과제로 한다.
이러한 과제를 해결하기 위한 본 발명의 일 측면에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부, 상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃(Read out) 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부, 상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 출력하는 좌측 영상처리부 및 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 출력하는 우측 영상처리부로 이루어진 영상처리부 및 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하여 구성된다.
본 발명의 다른 측면에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부, 상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는주시각 제어부, 상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터와 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 합성하여 입체 RGB 데이터를 합성하는 입체 RGB 데이터 합성부 및 상기 입체 RGB 데이터를 영상처리하여 좌측 휘도/색차신호와 우측 휘도/색차신호로 이루어진 입체영상을 출력하는 영상처리부를 포함하여 구성된다.
본 발명의 또 다른 측면에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부, 상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부, 상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 생성하고 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 생성하고, 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 휘도와 색상 차이가 없어지도록 보정하여 출력하는 입체 영상처리부 및 상기 입체 영상처리부로부터 입력받은 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하여 구성된다.
본 발명의 또 다른 측면에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 좌측 휘도/색차신호와 우측 휘도/색차신호를 출력하는 카메라부, 상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부 및 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하여 구성된다.
본 발명의 여러 측면에 있어서, 상기 좌측 이미지센서와 상기 우측 이미지센서의 초기 리드아웃 시작점과 출력영상의 해상도는 상기 출력영상의 영상손실이 없도록 기 설정되어 있는 것을 특징으로 한다.
본 발명의 여러 측면에 있어서, 상기 좌측 이미지센서와 상기 우측 이미지센서의 초기 리드아웃 시작점과 출력영상의 해상도는 변경이 가능한 것을 특징으로 한다.
본 발명의 여러 측면에 있어서, 상기 주시각 제어부는 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 양안시차를 계산하고, 상기 계산된 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 양안시차가 없어지도록 상기 좌측 이미지센서 또는 상기 우측 이미지센서 중 적어도 하나의 리드아웃 시작점을 변경하는 것을 특징으로 한다.
본 발명의 여러 측면에 있어서, 상기 주시각 제어부는 상기 대상물 중 중간에 위치하는 중간 대상물을 기준으로 상기 양안시차를 계산하는 것을 특징으로 한다.
본 발명의 여러 측면에 있어서, 상기 좌측 이미지센서와 상기 우측 이미지센서는 인쇄회로기판 상에 상호 이격되어 설치되어 있고 상기 좌측 이미지센서와 상기 우측 이미지센서 사이의 인쇄회로기판 상에는 상기 주시각 제어부와 상기 영상처리부와 상기 입체영상 합성부와 상기 입체 RGB 데이터 합성부와 상기 입체 영상처리부 중 적어도 하나가 설치되어 있는 것을 특징으로 한다.
본 발명의 여러 측면에 있어서, 상기 좌측 이미지센서와 상기 우측 이미지센서는 웨이퍼 상에 상호 이격되어 설치되어 있고 상기 좌측 이미지센서와 상기 우측 이미지센서 사이의 웨이퍼 상에는 상기 주시각 제어부와 상기 영상처리부와 상기 입체영상 합성부와 상기 입체 RGB 데이터 합성부와 상기 입체 영상처리부 중 적어도 하나가 설치되어 있는 것을 특징으로 한다.
본 발명에 따르면, 좌, 우측 카메라의 기구적인 정렬오차로 인한 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어 과정에서의 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어를 위한 신호처리 과정이 단순화되어 입체영상 생성과정에서의 영상 왜곡 및 시간 지연을 최소화시킬 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어 과정에서 요구되는 외부 메모리 등의 부품의 수가 줄어들어 제조비용을 저감할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
도 1은 종래의 평행축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 2는 종래의 교차축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 3은 종래의 수평 이동축 방식 입체카메라의 동작원리를 개념적으로 설명하기 위한 도면이다.
도 4는 종래의 평행축 방식 입체카메라를 구성하는 좌측 카메라와 우측 카메라 간의 기구적인 정렬오차로 인해 발생하는 영상 손실을 설명하기 위한 도면이다.
도 5는 종래의 평행축 방식 입체카메라에서 요구되는 주시각 제어 과정에서 발생하는 영상 손실을 설명하기 위한 도면이다.
도 6은 본 발명의 제1 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 7은 본 발명의 제1 실시 예에 있어서, 최종적으로 출력되는 출력영상의 해상도보다 높은 해상도를 갖는 좌, 우측 이미지센서를 이용하여 좌, 우측 이미지센서 간의 정렬오차로 인한 출력영상의 손실을 방지하는 원리를 설명하기 위한 도면이다.
도 8은 본 발명의 제1 실시 예에 있어서, 최종적으로 출력되는 출력영상의 해상도보다 높은 해상도를 갖는 좌, 우측 이미지센서를 이용하여 주시각 제어 과정에서의 출력영상의 손실을 방지하는 원리를 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 제1 실시 예에 있어서의 구체적인 주시각 제어방법을 설명하기 위한 도면이다.
도 12는 본 발명의 제2 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 13은 본 발명의 제3 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 14는 본 발명의 제4 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
***** 도면의 주요 부분에 대한 부호의 설명 *****
10: 카메라부
11: 좌측 렌즈모듈
12: 좌측 이미지센서
13: 우측 렌즈모듈
14: 우측 이미지센서
20: 주시각 제어부
30, 32, 33: 영상처리부
40, 43, 44: 입체영상 합성부
42: 입체 RGB 데이터 합성부
301: 좌측 영상처리부
302: 우측 영상처리부
도 6은 본 발명의 제1 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 6을 참조하면, 본 발명의 제1 실시 예에 따른 평행축 입체카메라는 카메라부(10), 주시각 제어부(20), 영상처리부(30) 및 입체영상 합성부(40)를 포함하여 구성된다.
카메라부(10)는 좌측 렌즈모듈(11), 좌측 이미지센서(12), 우측 렌즈모듈(13) 및 우측 이미지센서(14)를 포함하여 구성되며, 좌측 이미지센서(12) 및 우측 이미지센서(14)의 해상도는 최종적으로 출력되는 출력영상인 입체영상의 해상도보다 높다.
좌측 이미지센서(12) 및 우측 이미지센서(14)의 해상도 즉, 크기를 이와 같이 크게 구성한 이유를 도 7을 참조하여 설명한다.
도 7은 본 발명의 제1 실시 예에 있어서, 최종적으로 출력되는 출력영상의 해상도보다 높은 해상도를 갖는 좌, 우측 이미지센서(12, 14)를 이용하여 좌, 우측 이미지센서(12, 14) 간의 정렬오차로 인한 출력영상의 손실을 방지하는 원리를 설명하기 위한 도면이다.
도 7을 참조하면, 필요로 하는 출력영상의 해상도가 1280×720인 경우, 두 이미지센서(12, 14)의 해상도는 각각 1600×1200으로 구성된다.
이와 같이, 좌측 카메라와 우측 카메라의 정렬오차로 발생하는 영상 손실을 제거하기 위하여 필요로 하는 출력영상의 해상도보다 높은 해상도를 갖는 이미지센서를 채택하고, 좌측 및 우측 이미지센서(12, 14)의 데이터 중 필요로 하는 출력영상 크기만큼 좌/우 공통부분을 윈도우잉(windowing)되도록 좌측 이미지센서(12)의 데이터 리드아웃 시작점, 좌측 이미지센서(12)의 데이터 리드아웃 시작점 및 출력영상의 해상도를 설정하면, 필요로 하는 영상크기가 항상 출력되기 때문에 영상 손실이 발생하지 않는다.
좌측 이미지센서(12)의 초기 리드아웃 시작점(U1, V1), 우측 이미지센서(14)의 초기 리드아웃 시작점(U2, V2), 출력영상의 해상도(1,280×720)는 출력영상의 영상손실이 없도록 입체카메라 제조과정에서 미리 설정하여 입력하는 것이 바람직하다. 출력영상의 해상도는 이미지센서의 데이터를 리드아웃하는 종료점을 입력하는 방식으로 설정될 수 있다. 구체적인 예를 들어, 평행축 입체카메라를 처음 제조 시 제조자는 입체카메라를 좌측 영상과 우측 영상을 2D 모니터로 보면서 주시각 제어부(20)의 외부 주시각 제어신호를 이용하여 좌측 이미지센서(12)의 초기 리드아웃 시작점(U1, V1)과 우측 이미지센서(14)의 초기 리드아웃 시작점(U2, V2)을 좌측 및 우측 이미지센서(12, 14)에 입력하는 방식으로 진행될 수 있다.
요약하면, 기구적인 정렬 오차에도 불구하고 카메라부(10)는 영상 손실 없이 필요로 하는 출력영상과 같은 해상도의 RGB 데이터 즉, 최종 출력되는 입체영상을 생성하기 위해 요구되는 전체 RGB 데이터를 출력한다.
한편, 좌측 이미지센서(12)와 우측 이미지센서(14)의 초기 리드아웃 시작점과 출력영상의 해상도는 필요에 따라 사용자가 변경할 수 있도록 구성되는 것이 바람직하다.
주시각 제어부(20)는 좌측 이미지센서(12)와 우측 이미지센서(14) 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하기 위한 수단이다.
예를 들어, 주시각 제어부(20)는 좌측 영상처리부(301)가 출력하는 좌측 영상신호인 좌측 휘도/색차신호와 우측 영상처리부(302)가 출력하는 우측 영상신호인 우측 휘도/색차신호 간의 양안시차를 계산하고, 계산된 좌측 휘도/색차신호와 우측 휘도/색차신호 간의 양안시차가 없어지도록 좌측 이미지센서(12) 또는 우측 이미지센서(14) 중 적어도 하나의 리드아웃 시작점을 변경하도록 구성될 수 있다.
이를 도 8을 참조하여 설명한다.
도 8은 본 발명의 제1 실시 예에 있어서, 최종적으로 출력되는 출력영상의 해상도보다 높은 해상도를 갖는 좌, 우측 이미지센서(12, 14)를 이용하여 주시각 제어 과정에서의 출력영상의 손실을 방지하는 원리를 설명하기 위한 도면이다.
도 8을 참조하면, 내부 또는 외부의 주시각 제어신호(대상물의 양안시차가 없도록 하는 신호, 대상물의 양안시차가 0이 되는 위치, 대상물에 따라 자동 및 수동으로 변경될 수 있음.)에 따라 좌측 이미지센서(12)와 우측 이미지센서(14)의 가로 방향의 리드아웃 시작점을 변경하여 주시각 제어를 한다. 도 8의 (a)는 대상물이 근거리에 위치한 경우이고, 도 8의 (b)는 대상물이 원거리에 위치한 경우의 주시각 제어를 나타낸다. 어느 경우에도 영상 손실이 발생하지 않는다는 것을 알 수 있다.
이러한 주시각 제어 방식에 따르면, 이미지센서의 리드아웃 시작점만 변경해주면 영상 손실이 없이 주시각 제어를 할 수 있기 때문에, 종래의 주시각 제어방식과는 달리 추가적인 외부 메모리 등을 필요로 하지 않고, 영상 왜곡, 시간 지연 등의 문제점이 발생하지 않는다는 장점이 있다.
도 9 내지 도 11은 본 발명의 제1 실시 예에 있어서의 구체적인 주시각 제어방법을 설명하기 위한 도면이다.
도 9 내지 도 11을 참조하면, 3개의 대상물에 대한 주시각 제어를 위해, 주시각 제어부(20)는 좌측 영상처리부(301)로부터 3개의 대상물에 대한 좌측 영상신호를 입력받고, 우측 영상처리부(302)로부터 3개의 대상물에 대한 우측 영상신호를 입력받는다.
이 경우, 주시각 제어부(20)는 중간 대상물인 b1, b2의 양안시차 즉 b1, b2간의 이격거리(k)를 계산하고 중간 대상물 b1, b2의 양안시차가 없도록 우측 카메라의 영상을 좌로 이동시킨다.
즉, 주시각 제어부(20)는 우측 이미지센서(14)에 좌로 이동시키고자 하는 만큼의 데이터 리드아웃 지점을 입력하여 우측이미지를 좌측으로 이동시킨다. 이와 같이 처리하면, 도 11에 도시된 바와 같이 양안시차가 0인 점 B'는 입체모니터 상에 표현되고, B'점보다 앞에 있는 A'는 입체모니터 앞에 보이며, B'점보다 뒤에 있는 C'는 입체모니터 보다 뒤에 있게 되어 자연스러운 입체감이 생성된다.
이러한 자동 주시각 제어 기능은 주시각 제어부(20)에서 대상물이 변경될 때마다 자동으로 수행되어 항상 자연스러운 입체영상이 획득될 수 있도록 하며, 좌측 및 우측 이미지센서(12, 14)의 리드아웃 포인트를 같이 조절하면 주시각 제어 범위를 극대화 할 수 있다.
영상처리부(30)는 좌측 영상처리부(301)와 우측 영상처리부(302)로 구성되며, 좌측 영상처리부(301)는 주시각 제어부(20)의 제어에 따라 좌측 이미지센서(12)로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 출력하고, 우측 영상처리부(302)는 주시각 제어부(20)의 제어에 따라 우측 이미지센서(14)로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 출력한다.
입체영상 합성부(40)는 좌측 휘도/색차신호와 우측 휘도/색차신호를 합성함으로써 입체영상을 생성하여 출력한다.
본 발명의 제1 실시 예는 입체영상 합성부(40)가 출력하는 입체영상을 출력하는 입체 모니터와 입체영상을 저장하기 위한 저장부를 더 포함하여 구성될 수도 있다.
한편, 좌측 이미지센서(12)와 우측 이미지센서(14)를 인쇄회로기판 상에 상호 이격되도록 설치하고, 이 좌측 이미지센서(12)와 우측 이미지센서(14) 사이의 인쇄회로기판 상에 주시각 제어부(20)와 영상처리부(30)와 입체영상 합성부(40)중 적어도 하나가 설치되도록 구성될 수 있다. 또는, 좌측 이미지센서(12)와 우측 이미지센서(14)를 웨이퍼 상에 상호 이격되도록 설치하고, 이 좌측 이미지센서(12)와 우측 이미지센서(14) 사이의 웨이퍼 상에 주시각 제어부(20)와 영상처리부(30)와 입체영상 합성부(40)중 적어도 하나가 설치되도록 구성될 수 있다. 이러한 구성에 따르면, 입체카메라의 사이즈를 줄일 수 있어서, 휴대단말 등과 같은 장치에 내장될 수 있는 평행축 입체카메라가 제공되는 효과가 있다.
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 좌, 우측 카메라의 기구적인 정렬오차로 인한 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어 과정에서의 영상 손실을 방지할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어를 위한 신호처리 과정이 단순화되어 입체영상 생성과정에서의 영상 왜곡 및 시간 지연을 최소화시킬 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 주시각 제어 과정에서 요구되는 외부 메모리 등의 부품의 수가 줄어들어 제조비용을 저감할 수 있는 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 방식의 입체카메라가 제공되는 효과가 있다.
또한, 입체카메라의 사이즈를 줄일 수 있어서, 휴대단말 등과 같은 장치에 내장될 수 있고, 전자식 주시각 제어기능과 전자식 카메라 정렬기능을 구비한 평행축 입체카메라가 제공되는 효과가 있다.
도 12는 본 발명의 제2 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 12를 참조하면, 본 발명의 제2 실시 예에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서(12) 및 우측 이미지센서(14)를 포함하여 구성되고 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부(10), 좌측 이미지센서(12)와 우측 이미지센서(14) 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부(20), 주시각 제어부(20)의 제어에 따라 좌측 이미지센서(12)로부터 출력되는 좌측 RGB 데이터와 우측 이미지센서(14)로부터 출력되는 우측 RGB 데이터를 합성하여 입체 RGB 데이터를 합성하는 입체 RGB 데이터 합성부(42) 및 입체 RGB 데이터를 영상처리하여 좌측 휘도/색차신호와 우측 휘도/색차신호로 이루어진 입체영상을 출력하는 영상처리부(32)를 포함하여 구성된다.
제2 실시 예에 포함된 주시각 제어부(20)의 기능은 제1 실시 예에 포함된 주시각 제어부(20)의 기능과 동일하다.
제1 실시 예와 비교하여 제2 실시 예가 갖는 특징은 다음과 같다.
즉, 입체 RGB 데이터 합성부(42)는 2개의 이미지센서(12, 14)의 출력(좌측 RGB 데이터와 우측 RGB 데이터, 각각 1280×720)을 입력받아 하나의 입체 RGB 데이터(2560×720, Full Frame Side by Side)로 합성한다. 이 입체 RGB 데이터는 하나의 영상처리부(32)에서 영상 신호 처리된다. 이에 따르면, 좌측 및 우측의 영상을 보다 자연스럽게 표현 할 수 있다.
도 13은 본 발명의 제3 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 13을 참조하면, 본 발명의 제3 실시 예에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서(12) 및 우측 이미지센서(14)를 포함하여 구성되고 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부(10), 좌측 이미지센서(12)와 우측 이미지센서(14) 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부(20), 주시각 제어부(20)의 제어에 따라 좌측 이미지센서(12)로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 생성하고 우측 이미지센서(14)로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 생성하고, 좌측 휘도/색차신호와 우측 휘도/색차신호 간의 휘도와 색상 차이가 없어지도록 보정하여 출력하는 입체 영상처리부(33) 및 입체 영상처리부(33)로부터 입력받은 좌측 휘도/색차신호와 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부(43)를 포함하여 구성된다.
제2 실시 예와 제3 실시 예 간의 하나의 차이점은 영상 신호 처리와 입체영상 합성의 순서에 있다.
제2 실시 예와 제3 실시 예 간의 다른 차이점은 입체 영상처리부(33)의 기능이다. 보다 구체적으로, 입체 영상처리부(33)는 주시각 제어부(20)의 제어에 따라 좌측 이미지센서(12)로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 생성하고, 우측 이미지센서(14)로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 생성하고, 이 좌측 휘도/색차신호와 우측 휘도/색차신호 간의 휘도와 색상 차이가 없어지도록 보정하여 입체영상 합성부(43)로 출력한다.
도 14는 본 발명의 제4 실시 예에 따른 평행축 입체카메라를 나타낸 도면이다.
도 14를 참조하면, 본 발명의 제4 실시 예에 따른 평행축 입체카메라는 출력영상보다 높은 해상도를 갖는 좌측 이미지센서(12) 및 우측 이미지센서(14)를 포함하여 구성되고 출력영상과 같은 해상도를 갖는 좌측 휘도/색차신호와 우측 휘도/색차신호를 출력하는 카메라부(10), 좌측 이미지센서(12)와 우측 이미지센서(14) 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부(20) 및 좌측 휘도/색차신호와 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부(44)를 포함하여 구성된다.
다른 실시 예와 비교하여 제4 실시 예가 갖는 특징은 영상신호처리 기능을 수행하는 블록이 좌측 및 우측 이미지센서(12, 14)에 포함되어 있다는 점이다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (9)

  1. 평행축 입체카메라에 있어서,
    출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부;
    상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃(Read out) 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는 주시각 제어부;
    상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 출력하는 좌측 영상처리부 및 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 출력하는 우측 영상처리부로 이루어진 영상처리부; 및
    상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하는, 평행축 입체카메라.
  2. 평행축 입체카메라에 있어서,
    출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부;
    상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는주시각 제어부;
    상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터와 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 합성하여 입체 RGB 데이터를 합성하는 입체 RGB 데이터 합성부; 및
    상기 입체 RGB 데이터를 영상처리하여 좌측 휘도/색차신호와 우측 휘도/색차신호로 이루어진 입체영상을 출력하는 영상처리부를 포함하는, 평행축 입체카메라.
  3. 평행축 입체카메라에 있어서,
    출력영상보다 높은 해상도를 갖는 좌측 이미지센서 및 우측 이미지센서를 포함하여 구성되고 상기 출력영상과 같은 해상도를 갖는 RGB 데이터를 출력하는 카메라부;
    상기 좌측 이미지센서와 상기 우측 이미지센서 중 적어도 하나의 가로방향의 리드아웃 시작점을 변경하여 대상물의 양안시차가 없어지도록 전자식으로 제어하는주시각 제어부;
    상기 주시각 제어부의 제어에 따라 상기 좌측 이미지센서로부터 출력되는 좌측 RGB 데이터를 영상처리하여 좌측 휘도/색차신호를 생성하고 상기 우측 이미지센서로부터 출력되는 우측 RGB 데이터를 영상처리하여 우측 휘도/색차신호를 생성하고, 상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 휘도와 색상 차이가 없어지도록 보정하여 출력하는 입체 영상처리부; 및
    상기 입체 영상처리부로부터 입력받은 좌측 휘도/색차신호와 우측 휘도/색차신호를 합성하여 입체영상을 합성하는 입체영상 합성부를 포함하는, 평행축 입체카메라.
  4. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 좌측 이미지센서와 상기 우측 이미지센서의 초기 리드아웃 시작점과 출력영상의 해상도는 상기 출력영상의 영상손실이 없도록 기 설정되어 있는 것을 특징으로 하는, 평행축 입체카메라.
  5. 제4 항 중 어느 한 항에 있어서,
    상기 좌측 이미지센서와 상기 우측 이미지센서의 초기 리드아웃 시작점과 출력영상의 해상도는 변경이 가능한 것을 특징으로 하는, 평행축 입체카메라.
  6. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 주시각 제어부는
    상기 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 양안시차를 계산하고,
    상기 계산된 좌측 휘도/색차신호와 상기 우측 휘도/색차신호 간의 양안시차가 없어지도록 상기 좌측 이미지센서 또는 상기 우측 이미지센서 중 적어도 하나의 리드아웃 시작점을 변경하는 것을 특징으로 하는, 평행축 입체카메라.
  7. 제6 항에 있어서,
    상기 주시각 제어부는
    상기 대상물 중 중간에 위치하는 중간 대상물을 기준으로 상기 양안시차를 계산하는 것을 특징으로 하는, 평행축 입체카메라.
  8. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 좌측 이미지센서와 상기 우측 이미지센서는 인쇄회로기판 상에 상호 이격되어 설치되어 있고 상기 좌측 이미지센서와 상기 우측 이미지센서 사이의 인쇄회로기판 상에는 상기 주시각 제어부와 상기 영상처리부와 상기 입체영상 합성부와 상기 입체 RGB 데이터 합성부와 상기 입체 영상처리부 중 적어도 하나가 설치되어 있는 것을 특징으로 하는, 평행축 입체카메라.
  9. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 좌측 이미지센서와 상기 우측 이미지센서는 웨이퍼 상에 상호 이격되어 설치되어 있고 상기 좌측 이미지센서와 상기 우측 이미지센서 사이의 웨이퍼 상에는 상기 주시각 제어부와 상기 영상처리부와 상기 입체영상 합성부와 상기 입체 RGB 데이터 합성부와 상기 입체 영상처리부 중 적어도 하나가 설치되어 있는 것을 특징으로 하는, 평행축 입체카메라.
PCT/KR2010/004916 2010-04-15 2010-07-27 평행축 입체카메라 WO2011129488A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/641,275 US20130093855A1 (en) 2010-04-15 2010-07-27 Parallel axis stereoscopic camera
CN2010800661837A CN102939563A (zh) 2010-04-15 2010-07-27 平行轴立体相机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0034679 2010-04-15
KR1020100034679A KR100971730B1 (ko) 2010-04-15 2010-04-15 평행축 입체카메라

Publications (1)

Publication Number Publication Date
WO2011129488A1 true WO2011129488A1 (ko) 2011-10-20

Family

ID=42645894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/004916 WO2011129488A1 (ko) 2010-04-15 2010-07-27 평행축 입체카메라

Country Status (4)

Country Link
US (1) US20130093855A1 (ko)
KR (1) KR100971730B1 (ko)
CN (1) CN102939563A (ko)
WO (1) WO2011129488A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240479B2 (en) 2017-08-30 2022-02-01 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003128A1 (en) * 2010-04-06 2013-01-03 Mikio Watanabe Image generation device, method, and printer
US8754929B1 (en) * 2011-05-23 2014-06-17 John Prince Real time vergence control for 3D video capture and display
US20140192163A1 (en) * 2011-10-11 2014-07-10 Kenji Shimizu Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US9743069B2 (en) * 2012-08-30 2017-08-22 Lg Innotek Co., Ltd. Camera module and apparatus for calibrating position thereof
WO2015081174A1 (en) * 2013-11-26 2015-06-04 Conmed Corporation Stereoscopic camera system using monoscopic control unit
CN107211118B (zh) * 2014-12-31 2020-02-07 诺基亚技术有限公司 立体成像
WO2018183206A1 (en) 2017-03-26 2018-10-04 Apple, Inc. Enhancing spatial resolution in a stereo camera imaging system
WO2021088540A1 (zh) * 2019-11-08 2021-05-14 彭波 一种立体眼镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020037097A (ko) * 2000-11-13 2002-05-18 오길록 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템
KR100399047B1 (ko) * 2000-12-01 2003-09-26 한국전자통신연구원 교차축 입체 카메라의 주시각 제어 장치 및 그 방법
KR20050100095A (ko) * 2004-04-13 2005-10-18 한국전자통신연구원 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
EP2026589A1 (en) * 2007-08-10 2009-02-18 Honda Research Institute Europe GmbH Online calibration of stereo camera systems including fine vergence movements

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3667620B2 (ja) * 2000-10-16 2005-07-06 株式会社アイ・オー・データ機器 ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
KR100622042B1 (ko) * 2004-07-21 2006-09-13 한국방송공사 양안식 스테레오 카메라 시스템의 카메라 구동장치 및 제어방법
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
KR100747733B1 (ko) * 2005-08-19 2007-08-08 주식회사 후후 평행축 입체 카메라 및 입체영상 생성방법
KR100818155B1 (ko) * 2005-09-13 2008-03-31 (주)브이쓰리아이 모바일 기기용 스테레오 입체카메라 시스템 및 주시각조절방법
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
CN101498889B (zh) * 2009-03-03 2011-09-21 无锡易斯科电子技术有限公司 一种多目立体摄像方法及装置
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020037097A (ko) * 2000-11-13 2002-05-18 오길록 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템
KR100399047B1 (ko) * 2000-12-01 2003-09-26 한국전자통신연구원 교차축 입체 카메라의 주시각 제어 장치 및 그 방법
KR20050100095A (ko) * 2004-04-13 2005-10-18 한국전자통신연구원 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
EP2026589A1 (en) * 2007-08-10 2009-02-18 Honda Research Institute Europe GmbH Online calibration of stereo camera systems including fine vergence movements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240479B2 (en) 2017-08-30 2022-02-01 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
US11785197B2 (en) 2017-08-30 2023-10-10 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display

Also Published As

Publication number Publication date
US20130093855A1 (en) 2013-04-18
CN102939563A (zh) 2013-02-20
KR100971730B1 (ko) 2010-07-21

Similar Documents

Publication Publication Date Title
WO2011129488A1 (ko) 평행축 입체카메라
US5510832A (en) Synthesized stereoscopic imaging system and method
JP2883265B2 (ja) 画像処理装置
WO2013081435A1 (ko) 3d 영상 표시 장치 및 방법
WO2011005056A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
CA2280694A1 (en) Method and apparatus for aligning stereo images
JP2012156680A (ja) ３ｄ画像処理装置
WO2015088057A1 (ko) 3d 카메라 모듈
WO2016021925A1 (en) Multiview image display apparatus and control method thereof
WO2012046964A2 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
JPH10221775A (ja) 立体視撮像表示プログラムを記録した媒体及び複眼画像入出力装置
JPH10142552A (ja) ヘッドマウントディスプレイ
WO2016140415A1 (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
JPH11187425A (ja) 立体映像装置及び方法
JP2581601B2 (ja) 立体カメラ及び立体映像システム
KR20180092187A (ko) 증강 현실 제공 시스템
JP2582761B2 (ja) 立体視用撮像装置
JPH08251627A (ja) 立体カメラ位置調整方法と立体映像信号発生装置
KR100189488B1 (ko) 디지탈 입체 동영상 변환방법
WO2016125972A1 (ko) 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템
WO2012144836A2 (ko) 3차원 입체 영상 표시 및 기록 장치
KR0171130B1 (ko) 입체 영상신호를 위한 마스킹 장치
CA1216357A (en) Stereoscopic television system
JPH1032842A (ja) 複眼画像処理方法及び装置
JPH0418891A (ja) 立体表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080066183.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10849892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13641275

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/02/2013)

122 Ep: pct application non-entry in european phase

Ref document number: 10849892

Country of ref document: EP

Kind code of ref document: A1