KR100400209B1 - Apparatus for generating three-dimensional moving pictures from tv signals - Google Patents

Apparatus for generating three-dimensional moving pictures from tv signals Download PDF

Info

Publication number
KR100400209B1
KR100400209B1 KR1019960051829A KR19960051829A KR100400209B1 KR 100400209 B1 KR100400209 B1 KR 100400209B1 KR 1019960051829 A KR1019960051829 A KR 1019960051829A KR 19960051829 A KR19960051829 A KR 19960051829A KR 100400209 B1 KR100400209 B1 KR 100400209B1
Authority
KR
South Korea
Prior art keywords
motion
dimensional
viewpoint
model
change
Prior art date
Application number
KR1019960051829A
Other languages
Korean (ko)
Other versions
KR19980031957A (en
Inventor
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1019960051829A priority Critical patent/KR100400209B1/en
Publication of KR19980031957A publication Critical patent/KR19980031957A/en
Application granted granted Critical
Publication of KR100400209B1 publication Critical patent/KR100400209B1/en

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PURPOSE: An apparatus for generating three-dimensional moving pictures from TV signals is provided to realize cubic effect even if a current frame has no motion, and realize a three-dimensional image according to a viewpoint of a viewer. CONSTITUTION: A frame storing unit(10) stores successive frames for a predetermined period to extract motion from TV signals. A motion estimator(11) extracts motion of a current frame by using the stored frames, and obtains depth map from the extracted motion. An object modeler(12) models an object in an image in three-dimension by using the depth map for obtaining a three-dimension model. A three-dimension model storing unit(13) stores the obtained three-dimension model. A head motion estimator(16) estimates motion of a head of a viewer inputted from a CCD(Charge Coupled Device) camera. A viewpoint generator(14) generates an appropriate viewpoint of right and left eyes according to the motion of the head. A model projector(15) projects and renders the object modeler or the three-dimension model for generating a right-eye image and a left-eye image. A field generator(17) arranges the right-eye image and the left-eye image in even and odd fields of the TV signals in order. A TV(18) synchronizes the arranged TV signals with an LCD shutter glass of the viewer for reproducing the TV signals.

Description

텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치Device for generating three-dimensional video from a television signal

본 발명은 텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것으로서, 더욱 상세하게는 임의의 2차원 TV 신호로부터 삼차원 정보를 획득하여 보는 이의 위치에 따라 알맞은 삼차원 영상을 구축하고, 이 삼차원 영상으로부터 각각 보는 이의 좌안(left eye)과 우안(right eye)에 투사될 영상을 생성하고, 이를 TV 신호의 짝수/홀수 필드(even/odd field)에 배치하여 LCD(Liquid Crystal Display) 셔터 글래스(shutter glass)를 착용하고 있는 사람으로 하여금 실제와 같은 삼차원 입체감을 느끼게 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것이다.The present invention relates to an apparatus for generating three-dimensional video from a television (TV) signal, and more particularly, to obtain a three-dimensional image from an arbitrary two-dimensional TV signal, to construct an appropriate three-dimensional image according to a viewer's position, and to generate the three-dimensional video. Create an image to be projected to the left eye and the right eye of the viewer, and place it in the even / odd field of the TV signal, respectively, from the liquid crystal display (LCD) shutter glass. The present invention relates to a device for generating three-dimensional video from a TV signal that makes a person wearing glass feel a three-dimensional three-dimensional effect.

종래의 TV 신호로부터 삼차원 동영상을 발생시키는 장치는 TV 신호로부터 과거의 임의의 숫자의 프레임을 그 순서별로 저장하고 있다가 현재 프레임에서 움직임(motion)의 양을 측정하여 그 양이 상대적으로 크면 저장하고 있던 가장 과거의 프레임을 하나 선택하고, 그 양이 상대적으로 감소할수록 더 현재 프레임에 가까운 영상을 선택하여 이를 좌안을 위한 영상으로 이용하고 현재 프레임을 우안을 위한 영상으로 선택하여 각각을 짝수/홀수 필드에 배치하는 방식으로 입체감을 구현하였다.A conventional apparatus for generating three-dimensional video from a TV signal stores an arbitrary number of frames of the past from the TV signal in order, and measures the amount of motion in the current frame and stores it if the amount is relatively large. Select one of the most recent frames, and as the amount decreases, select an image closer to the current frame, use it as the image for the left eye, and select the current frame as the image for the right eye, and select each even / odd field. Three-dimensional effect was implemented by placing it in the.

즉, 움직임 차이를 이용하여 양안 시차를 발생시켜 사람으로 하여금 입체감을 느끼도록 하는 것이다. 따라서 만약 현재 프레임에서 움직임이 없는 경우에는 양안 시차를 발생시킬 수 없으므로 입체감을 구현할 수 없다. 또한, 원래의 TV 신호로부터의 영상을 아무처리없이 그대로 이용하므로 보는 이의 시점이 임의의 위치로 이동하여도 그에 알맞은 삼차원 영상을 나타낼 수가 없는 단점이 있다.That is, the binocular parallax is generated by using the motion difference so that a person feels a three-dimensional feeling. Therefore, if there is no motion in the current frame, binocular parallax cannot be generated, so a three-dimensional effect cannot be realized. In addition, since the image from the original TV signal is used as it is without any processing, even if the viewer's viewpoint moves to an arbitrary position, there is a disadvantage in that a three-dimensional image suitable for the image cannot be displayed.

본 발명은 상기의 문제점을 해결하기 위하여 창출된 것으로서, 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 삼차원 영상을 구현하는 삼차원 동영상 발생장치를 제공하는 것을 그 목적으로 한다.An object of the present invention is to provide a three-dimensional video generating device that implements a three-dimensional image according to the viewer's point of view, and implements a three-dimensional effect even if there is no movement in the current frame.

본 발명의 다른 목적은 TV 신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간으로 구현될 수 있도록 하는 삼차원 동영상 발생장치를 제공하는 것에 있다.It is another object of the present invention to provide a three-dimensional video generating apparatus for realizing the image processing necessary for generating a three-dimensional video from a TV signal in real time.

상기의 목적들을 달성하기 위한 본 발명에 따른 TV 신호로부터 삼차원 동영상을 발생시키는 장치는, TV 신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부; 상기 프레임 저장부에 저장된 연속된 프레임을 이용하여 현재 프레임의 움직임을 추출하고, 추출된 움직임으로부터 깊이 맵을 획득하는 움직임 추정기; 상기 움직임 추정기에서 획득된 깊이 맵을 이용하여 영상내의 물체를 삼차원으로 모델링하여 삼차원 모델을 획득하는 물체 모델러; 상기 물체 모델러에서 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부; CCD 카메라로부터 입력되는 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기; 상기 머리 움직임 추정기에서 입력된 머리의 움직임에 따라 알맞은 좌안과 우안의 시점을 발생시키는 시점 발생기; 상기 시점 발생기에서 발생된 시점에 따라 상기 물체 모델러 또는 상기 삼차원 모델 저장부로부터 제공되는 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기; 상기 모델 투영기로부터 제공되는 좌안 영상과 우안 영상을 TV 신호의 짝수 및 홀수 필드에 순차적으로 배열하는 필드 생성기; 및 상기 필드 생성기에서 필드 배열된 TV 신호를 상기 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for generating a 3D video from a TV signal, the apparatus comprising: a frame storage unit for storing a continuous frame for a period of time for extracting motion from a TV signal; A motion estimator for extracting a motion of a current frame using a continuous frame stored in the frame storage unit and obtaining a depth map from the extracted motion; An object modeler which obtains a three-dimensional model by three-dimensionally modeling an object in the image using the depth map obtained by the motion estimator; A three-dimensional model storage unit for storing the three-dimensional model obtained by the object modeler; A head motion estimator for estimating the motion of a viewer's head input from the CCD camera; A viewpoint generator for generating a viewpoint of a right eye and a right eye according to the movement of the head input from the head motion estimator; A model projector for projecting and rendering a three-dimensional model provided from the object modeler or the three-dimensional model storage unit according to a viewpoint generated by the viewpoint generator to generate a left eye image and a right eye image; A field generator sequentially arranging left and right eye images provided from the model projector in even and odd fields of a TV signal; And a TV for reproducing the field-arranged TV signal in the field generator in synchronization with the viewer's LCD shutter glasses.

도 1은 본 발명에 따른 TV 신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다.1 is a block diagram showing the configuration of an apparatus for generating three-dimensional video from a TV signal according to the present invention.

도 2는 도 1에 표시된 움직임 추정기의 상세한 구성을 보이는 블록도이다.FIG. 2 is a block diagram illustrating a detailed configuration of the motion estimator shown in FIG. 1.

도 3은 도 1에 표시된 모델 투영기의 상세한 구성을 보이는 블록도이다.3 is a block diagram showing a detailed configuration of the model projector shown in FIG.

도 4는 도 1에 표시된 필드 생성기의 상세한 구성을 보이는 블록도이다.4 is a block diagram showing a detailed configuration of the field generator shown in FIG.

이하, 첨부된 도면을 참조하여 본 발명의 구성 및 작용에 대하여 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the configuration and operation of the present invention.

도 1은 본 발명에 따른 TV 신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다. 도 1에 있어서, 삼차원 동영상 발생장치는 프레임 저장부(10), 움직임 추정기(11), 물체 모델러(12), 삼차원 모델 저장부(13), 시점 발생기(14), 모델 투영기(15), 머리 움직임 추정기(16), 필드 생성기(17), 입체 TV(18)로 구성된다.1 is a block diagram showing the configuration of an apparatus for generating three-dimensional video from a TV signal according to the present invention. In FIG. 1, the 3D video generating apparatus includes a frame storage unit 10, a motion estimator 11, an object modeler 12, a 3D model storage unit 13, a viewpoint generator 14, a model projector 15, and a head. The motion estimator 16, the field generator 17, and the stereoscopic TV 18 are comprised.

도 1에 있어서, 프레임 저장부(10)는 일반 TV 신호로부터 연속된 프레임을 저장한다.In FIG. 1, the frame storage unit 10 stores frames consecutive from a general TV signal.

움직임 추정부(11)는 프레임 저장부(10)로부터 연속된 프레임을 획득하여 영상의 움직임을 추정하고, 이로부터 깊이를 추출하여 깊이 맵을 생성한다.The motion estimation unit 11 obtains a continuous frame from the frame storage unit 10, estimates the motion of the image, and extracts the depth from the image to generate a depth map.

물체 모델러(12)는 움직임 추정기(11)로부터 발생된 깊이 맵을 이용하여 영상내의 물체를 모델링하여 삼차원 모델을 구한다. 이는 패치 모델(patch model)이나 삼각형 모델(triangular model)을 이용하여 구해질 수 있다.The object modeler 12 models the object in the image using the depth map generated from the motion estimator 11 to obtain a three-dimensional model. This can be obtained using a patch model or a triangular model.

삼차원 모델 저장부(13)는 물체 모델러(12)에서 구해진 이전 프레임의 삼차원 물체 모델을 저장하고 있다. 만약 움직임 추정기(11)가 현재 프레임에서 움직임이 없음을 나타내면 삼차원 모델 저장부(13)에 저장되었던 이전 프레임의 삼차원 모델이 모델 투영기(15)에 입력된다.The three-dimensional model storage unit 13 stores the three-dimensional object model of the previous frame obtained by the object modeler 12. If the motion estimator 11 indicates no motion in the current frame, the three-dimensional model of the previous frame stored in the three-dimensional model storage unit 13 is input to the model projector 15.

시점 발생기(14)는 머리 움직임 추정부(16)에서 입력된 머리의 위치에 따라 알맞은 좌안과 우안의 시점을 발생시킨다.The viewpoint generator 14 generates a viewpoint of the left eye and the right eye in accordance with the position of the head input from the head motion estimation unit 16.

모델 투영기(15)는 시점 발생기(14)에서 입력된 시점에 따라 물체 모델러(12) 혹은 삼차원 모델 저장부(13)로부터 제공되는 삼차원 모델을 투영하고 랜더링하여 좌안 영상과 우안 영상을 발생시킨다.The model projector 15 projects the three-dimensional model provided from the object modeler 12 or the three-dimensional model storage unit 13 according to the viewpoint input from the viewpoint generator 14 to generate a left eye image and a right eye image.

머리 움직임 추정기(16)는 CCD(Charge-Coupled Device) 카메라로부터 입력된 머리의 움직임, 즉 시점의 움직임을 추정하고 그 위치를 시점 발생기(14)에 제공한다.The head motion estimator 16 estimates the motion of the head input from the charge-coupled device (CCD) camera, that is, the motion of the viewpoint, and provides the position generator 14 with its position.

필드 생성기(17)는 모델 투영기(15)에서 입력된 좌안/우안 영상을 TV 신호의 필드에 순차적으로 배열한다.The field generator 17 sequentially arranges the left / right eye images input from the model projector 15 into the fields of the TV signal.

입체 TV(18)는 일반 TV와 같은 TV신호를 입력으로 한다. 단, 보는 이가 착용하고 있는 LCD 셔터 글래스와 동기를 이루기 위해 동기신호를 발생시킨다.The stereoscopic TV 18 receives a TV signal as a normal TV. However, a synchronization signal is generated to synchronize with the LCD shutter glasses worn by the viewer.

도 2는 도 1에 표시된 움직임 추정부(11)의 상세한 구성을 보이는 블록도이다. 도 2에 있어서, 움직임 추정부(11)는 움직임 검출기(20), 이차원 움직임 추정기(22), 움직임 분할기(24), 삼차원 움직임 추정기(26), 깊이 맵 생성기(28)로 구성된다.FIG. 2 is a block diagram showing a detailed configuration of the motion estimation unit 11 shown in FIG. In FIG. 2, the motion estimator 11 includes a motion detector 20, a two-dimensional motion estimator 22, a motion divider 24, a three-dimensional motion estimator 26, and a depth map generator 28.

도 2에 있어서, 움직임 검출기(20)는 프레임 저장부(10)으로부터 입력된 연속된 프레임으로부터 움직임을 검출한다. 움직임을 검출하는 식은 다음 수학식 1과 같다.In FIG. 2, the motion detector 20 detects motion from consecutive frames inputted from the frame storage unit 10. The equation for detecting the motion is shown in Equation 1 below.

[수학식 1][Equation 1]

상기 수학식 1에서, I는 영상의 밝기, n1, n2는 각각 영상의 가로, 세로 크기, t는 시간을 나타낸다.In Equation 1, I denotes the brightness of the image, n1 and n2 denote the horizontal and vertical sizes of the image, and t denotes time.

만약 수학식 1의 결과값이 임의의 문턱값보다 크다면 연속된 프레임을 이차원 움직임 추정기(22)로 제공하고, 문턱값보다 작다면 움직임 추정기(11)의 모든 과정을 거치지 않고 삼차원 모델 저장부(13)로 직접 이동한다. 그러므로 연속된 프레임에서 움직임이 발생하지 않는 경우에는 과거에 이미 획득한 삼차원 모델을 사용하므로서 삼차원 모델을 얻기 위한 처리시간을 단축하고 여전히 삼차원 모델을 가지고 있을 수 있다.If the result value of Equation 1 is greater than an arbitrary threshold value, a continuous frame is provided to the 2D motion estimator 22, and if the resultant value is smaller than the threshold value, the 3D model storage unit does not go through all the processes of the motion estimator 11 ( Go directly to 13). Therefore, if the motion does not occur in successive frames, the processing time for acquiring the three-dimensional model may be shortened by using the three-dimensional model already acquired in the past and may still have the three-dimensional model.

이차원 움직임 추정기(22)는 움직임 검출기(20)에서 움직임이 있다고 판정된 연속된 프레임으로부터 이차원 움직임을 추정한다. 이는 광학적 흐름(optical flow)을 획득하는 것을 의미한다. 즉, 프레임 영상들간의 2차원 움직임을 속도 벡터나 이동 필드로 구한다.The two-dimensional motion estimator 22 estimates the two-dimensional motion from the successive frames in which the motion detector 20 determines that there is motion. This means acquiring optical flow. In other words, two-dimensional motion between frame images is obtained as a velocity vector or a moving field.

움직임 분할기(24)는 추정된 이차원 움직임으로부터 3차원 움직임 모델(3D motion model)에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정한다. 여기서, 움직임 분할기(24)는 삼차원 움직임 추정기(26)와 하나로 구현될 수도 있다.The motion divider 24 finds each independent motion based on the 3D motion model from the estimated two-dimensional motion and determines each of them. Here, the motion divider 24 may be implemented as one with the three-dimensional motion estimator 26.

삼차원 움직임 추정기(26)는 움직임 분할기(24)에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정한다.The three-dimensional motion estimator 26 estimates respective three-dimensional motions for each motion determined in the motion divider 24.

깊이 맵 생성기(28)는 삼차원 움직임 추정기(26)에서 추정한 삼차원 움직임으로부터 각 픽셀들에 대한 상대적 깊이를 구한다.The depth map generator 28 obtains a relative depth for each pixel from the three-dimensional motion estimated by the three-dimensional motion estimator 26.

도 3은 도 1에 표시된 모델 투영기(15)의 상세한 구성을 보이는 블록도이다. 도 3에 있어서, 모델 투영기(15)는 시점 변화 검출기(30), 투영 제어기(32), 물체 모델 변화 검출기(34), 원근 투영기(perspective projector;36), 직각 투영기(orthographic projector;38), 랜더링부(39)로 구성된다.3 is a block diagram showing a detailed configuration of the model projector 15 shown in FIG. In FIG. 3, the model projector 15 includes a viewpoint change detector 30, a projection controller 32, an object model change detector 34, a perspective projector 36, an orthographic projector 38, It consists of a rendering unit 39.

도 3에 있어서, 시점 변화 검출기(30)는 시점 발생기(14)에서 제공된 좌안/우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별한다. 시점의 변화는 다음 수학식 2에 의해 획득한다.In FIG. 3, the viewpoint change detector 30 determines whether the viewpoint of the left eye / right eye provided by the viewpoint generator 14 has changed compared with the previous viewpoint. The change in viewpoint is obtained by the following equation.

[수학식 2][Equation 2]

상기 수학식 2에서, VP 는 시점, vpleft는 좌안 시점의 좌표, vpright는 우안 시점의 좌표를 각각 나타낸다.In Equation 2, VP represents a viewpoint, vp left represents a coordinate of the left eye, and vp right represents a coordinate of the right eye.

상기 수학식 2의 결과값이 임의로 정한 문턱값보다 크게되면 시점의 변화가 있었다고 판별하고 투영 제어기(32)를 구동한다. 그렇지 않다면 다음의 조건 검사를 위해 물체 모델 변화 검출기(34)를 구동한다.When the result value of Equation 2 is larger than a predetermined threshold, it is determined that there is a change in viewpoint and the projection controller 32 is driven. If not, the object model change detector 34 is driven for the next condition check.

투영 제어기(32)는 시점 변화 검출기(30)나 물체 모델 변화 검출기(34)에서 구동 신호를 받으면 물체 모델러(12)나 삼차원 모델 저장부(13)에서 제공되는 삼차원 모델을 어떤 방법으로 투영할 것인가를 결정한다. 만약 물체 내에서의 상대적인 깊이의 변화가 카메라에서 물체까지의 거리에 비해 매우 작을 경우(1/100 이하) 투영 제어기(32)는 삼차원 모델 데이터를 직각 투영기(38)로 제공한다. 그렇지 않다면 원근 투영기(36)에 제공한다.When the projection controller 32 receives the driving signal from the viewpoint change detector 30 or the object model change detector 34, how to project the three-dimensional model provided by the object modeler 12 or the three-dimensional model storage 13. Determine. If the change in relative depth in the object is very small relative to the distance from the camera to the object (1/100 or less), the projection controller 32 provides three-dimensional model data to the orthogonal projector 38. Otherwise provide to perspective projector 36.

물체 모델 변화 검출기(34)는 현재의 프레임의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별한다. 만약 삼차원 모델이 삼차원 모델 저장부(13)에서 제공된다면 이는 삼차원 모델의 변화가 없음을 의미한다. 그러므로 만약 시점 변화 검출기(30)에서 시점의 변화가 없고 물체 모델 변화 검출기(34)에서 모델의변화가 없다면 투영 제어기(32) 및 원근 투영기(36), 직각 투영기(38)를 통과하지 않고 필드 생성기(17)로 'N' 신호와 함께 진행한다. 이것은 TV 신호가 움직임을 많이 포함하지 않은 경우에 처리 시간을 줄일 수 있다.The object model change detector 34 determines whether the three-dimensional model of the current frame is the same as the three-dimensional model previously input. If a three-dimensional model is provided in the three-dimensional model storage unit 13, this means that there is no change in the three-dimensional model. Therefore, if there is no change of view in the viewpoint change detector 30 and there is no change in the model in the object model change detector 34, the field generator does not pass through the projection controller 32, the perspective projector 36, the rectangular projector 38, and so on. Proceed to '17' with '17'. This can reduce processing time when the TV signal does not contain much motion.

원근 투영기(36)는 투영 제어기(32)를 통하여 제공한 삼차원 모델 데이터를 시점 변화 검출기(30)에서 제공한 시점의 변화를 가지고 각각 좌안/ 우안 시점에 상응하는 좌안/우안 원근 투영 영상을 제공한다.The perspective projector 36 provides the left eye / right eye perspective projection images corresponding to the left eye / right eye viewpoints, respectively, with the change of the viewpoint provided by the viewpoint change detector 30 from the three-dimensional model data provided through the projection controller 32. .

시점의 변화는 보는 이의 화면에 대한 회전각으로 표시될 수 있으며 이 회전각에 따른 삼차원 모델의 좌표 변환은 다음 수학식 3과 같다.The change of viewpoint may be displayed as a rotation angle with respect to the viewer's screen, and the coordinate transformation of the three-dimensional model according to the rotation angle is expressed by the following equation.

[수학식 3][Equation 3]

X' = RXX '= RX

상기 수학식 3에서, X' 는 변환된 삼차원 모델의 좌표, R 은 회전 행렬, X 는 원래의 삼차원 모델의 좌표를 각각 나타낸다.In Equation 3, X 'represents coordinates of the converted three-dimensional model, R represents a rotation matrix, and X represents coordinates of the original three-dimensional model.

상기 수학식 3을 이용하여 삼차원 좌표를 시점의 변화에 따라 변환한 후, 투영 영상을 생성한다. 원근 투영을 위한 식은 다음 수학식 4와 같다.After converting the 3D coordinates according to the change of viewpoint using Equation 3, a projection image is generated. The equation for perspective projection is as shown in Equation 4 below.

[수학식 4][Equation 4]

상기 수학식 4에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y,Z 는 각각 삼차원 모델의 x,y,z 좌표, f 는 초점 거리를 각각 나타낸다.In Equation 4, x, y are the x, y coordinates of the projection image, X, Y, Z are the x, y, z coordinates of the three-dimensional model, respectively, f is the focal length, respectively.

직각 투영기(38)는 원근 투영기(36)와 투영을 위한 식을 제외하고는 동일한기능을 수행한다. 직각 투영을 위한 식은 다음 수학식 5와 같다.The orthogonal projector 38 performs the same function except for the perspective projector 36 and the equation for the projection. The equation for orthogonal projection is as shown in Equation 5 below.

[수학식 5][Equation 5]

x=X, y=Yx = X, y = Y

상기 수학식 5에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y 는 각각 삼차원 모델의 x,y 좌표를 각각 나타낸다.In Equation 5, x and y are the x and y coordinates of the projection image, and X and Y are the x and y coordinates of the three-dimensional model, respectively.

랜더링부(39)는 투영된 영상의 표면에 음영처리(texture mapping)를 행한다.The rendering unit 39 performs texture mapping on the surface of the projected image.

도 4는 도 1에 표시된 필드 생성기(17)의 상세한 구성을 보이는 블록도이다. 도 4에 있어서, 필드 생성기(17)는 입력 판별기(40), 필드 배열기(42), 필드 저장부(44)로 구성된다.4 is a block diagram showing a detailed configuration of the field generator 17 shown in FIG. In FIG. 4, the field generator 17 is composed of an input discriminator 40, a field arranger 42, and a field storage unit 44.

도 4에 있어서, 입력 판별기(40)은 모델 투영기(15)에서 제공되는 입력이 새로운 좌안/우안 투영영상인지 아니면 'N' 신호인지 판별한다. 만약 입력이 새로운 좌안/우안 투영영상이라면 이를 필드 배열기(42)로 제공하고 그렇지 않으면 필드 저장부(44)에 신호를 제공한다.In FIG. 4, the input discriminator 40 determines whether the input provided from the model projector 15 is a new left eye / right eye projection image or an 'N' signal. If the input is a new left eye / right eye projection image, it is provided to the field arranger 42, otherwise the signal is provided to the field storage 44.

필드 배열기(42)는 입력된 좌안/ 우안 투영영상을 각각 짝수/홀수 필드에 배열한다.The field arranger 42 arranges the input left eye / right eye projection images in even / odd fields, respectively.

필드 저장부(44)는 필드 배열기(42)의 이전 출력 필드를 저장하고 있다가 입력 판별기(40)로부터 신호를 받으면 저장하고 있던 필드 배열을 출력한다.The field storing unit 44 stores the previous output field of the field arranging unit 42 and outputs the stored field arrangement when receiving a signal from the input discriminator 40.

상술한 바와 같이 본 발명에 따른 TV 신호로부터 삼차원 동영상을 발생시키는 장치는 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 심차원 영상을 구현하는 삼차원 동영상을 발생시키며, TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간으로 구현될 수 있다는 효과를 갖는다.As described above, an apparatus for generating three-dimensional video from a TV signal according to the present invention generates three-dimensional video without a motion in a current frame and generates a three-dimensional video that implements a suitable deep-dimensional image according to a viewer's point of view. Image generation required for generating a video has the effect that can be implemented in real time.

Claims (6)

TV 신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부;A frame storage unit for storing a continuous frame for a predetermined period of time to extract motion from the TV signal; 상기 프레임 저장부에 저장된 연속된 프레임을 이용하여 현재 프레임의 움직임을 추출하고, 추출된 움직임으로부터 깊이 맵을 획득하는 움직임 추정기;A motion estimator for extracting a motion of a current frame using a continuous frame stored in the frame storage unit and obtaining a depth map from the extracted motion; 상기 움직임 추정기에서 획득된 깊이 맵을 이용하여 영상내의 물체를 삼차원으로 모델링하여 삼차원 모델을 획득하는 물체 모델러;An object modeler which obtains a three-dimensional model by three-dimensionally modeling an object in the image using the depth map obtained by the motion estimator; 상기 움직임 추정기에서 움직임이 추출되지 않는 경우, 상기 물체 모델러에서 이전에 처리한 삼차원 모델을 사용하기 위해 상기 물체 모델러에서 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부;A three-dimensional model storage unit for storing the three-dimensional model obtained by the object modeler to use the three-dimensional model previously processed by the object modeler when the motion is not extracted from the motion estimator; CCD 카메라로부터 입력되는 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기;A head motion estimator for estimating the motion of a viewer's head input from the CCD camera; 상기 머리 움직임 추정기에서 추정된 머리의 움직임에 따른 좌안과 우안의 시점을 발생시키는 시점 발생기;A viewpoint generator for generating viewpoints of the left eye and the right eye according to the head movement estimated by the head motion estimator; 상기 시점 발생기에서 발생된 시점에 따라 상기 물체 모델러 또는 상기 삼차원 모델 저장부로부터 제공되는 삼차원 모델을 투영하고 랜더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기;A model projector for generating a left eye image and a right eye image by projecting and rendering a three-dimensional model provided from the object modeler or the three-dimensional model storage unit according to the viewpoint generated by the viewpoint generator; 상기 모델 투영기로부터 제공되는 좌안 영상과 우안 영상을 TV 신호의 짝수 및 홀수 필드에 순차적으로 배열하는 필드 생성기; 및A field generator sequentially arranging left and right eye images provided from the model projector in even and odd fields of a TV signal; And 상기 필드 생성기에서 필드 배열된 TV 신호를 상기 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.And a TV that reproduces the field-arranged TV signal in the field generator in synchronization with the viewer's LCD shutter glass. 제1 항에 있어서, 상기 시점 발생기는 입체감을 주는 삼차원 영상을 생성하기 위해 보는 이의 시점 변화를 검출하고, 검출된 시점 변화에 따라서 좌안과 우안의 시점을 발생시키는 것을 특징으로 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.The 3D video from the TV signal according to claim 1, wherein the viewpoint generator detects a viewer's viewpoint change in order to generate a three-dimensional image giving a three-dimensional effect, and generates a viewpoint of left and right eyes according to the detected viewpoint change. Device for generating the 제1 항에 있어서, 상기 움직임 추정기는,The method of claim 1, wherein the motion estimator, 상기 프레임 저장부에서 제공되는 프레임 영상들을 입력하고, 프레임 영상들간의 이차원 움직임을 검출하는 움직임 검출부;A motion detector for inputting frame images provided from the frame storage unit and detecting two-dimensional movements between the frame images; 상기 움직임 검출기에서 검출된 상기 프레임 영상들간의 이차원 움직임을 속도 벡터나 이동 필드로 추정하는 이차원 움직임 추정기;A two-dimensional motion estimator for estimating two-dimensional motion between the frame images detected by the motion detector by a velocity vector or a moving field; 상기 이차원 움직임 추정기에서 추정된 2차원 움직임으로부터 3차원 움직임 모델에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정하는 움직임 분할기;A motion divider for finding each independent motion from the two-dimensional motion estimated by the two-dimensional motion estimator and determining each of them independently; 상기 움직임 분할기에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정하는 삼차원 움직임 추정기; 및A three-dimensional motion estimator for estimating respective three-dimensional motions for each motion determined in the motion splitter; And 상기 삼차원 움직임 추정기에서 추정한 삼차원 움직임으로부터 각 픽셀들에대한 상대적 깊이를 구하는 깊이 맵 생성부를 구비함을 특징으로 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.And a depth map generator for obtaining a relative depth for each pixel from the three-dimensional motion estimated by the three-dimensional motion estimator. 제1 항에 있어서, 상기 모델 투영기는,The method of claim 1, wherein the model projector is 상기 시점 발생기에서 제공된 좌안 및 우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별하는 시점 변화 검출기;A viewpoint change detector for judging whether the viewpoints of the left and right eyes provided by the viewpoint generator have changed compared to the previous viewpoint; 상기 시점 변화 검출기의 판별결과 시점의 변화가 없는 경우, 현재 프레임의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별하는 물체 모델 변화 검출기;An object model change detector for determining whether the three-dimensional model of the current frame is the same as the three-dimensional model previously input when there is no change in the viewpoint as a result of the determination of the viewpoint change detector; 상기 시점 변화 검출기의 판별결과 시점의 변화가 있거나, 상기 물체 모델 변화 검출기의 판별결과 물체 모델 변화가 있는 경우, 상기 물체 모델러 및 상기 삼차원 모델 저장부 중 어느 하나에서 제공되는 삼차원 모델의 투영방법을 결정하는 투영 제어기;If there is a change in the viewpoint of the determination result of the viewpoint change detector or an object model change as the result of the determination of the object model change detector, the projection method of the three-dimensional model provided by any one of the object modeler and the three-dimensional model storage unit is determined A projection controller; 상기 투영 제어기를 통하여 제공되는 삼차원 모델 데이터를 상기 시점 변화 검출기에서 제공한 시점의 변화를 이용하여 각각 좌안/우안 시점에 상응하는 좌안/우안 원근 투영영상을 제공하는 원근 투영기;A perspective projector for providing left- and right-eye perspective projection images corresponding to left-eye and right-eye views, respectively, using three-dimensional model data provided through the projection controller using the change of viewpoint provided by the viewpoint change detector; 상기 투영 제어기를 통하여 제공되는 삼차원 모델 데이터를 상기 시점 변화 검출기에서 제공한 시점의 변화를 가지고 각각 죄안/우안 시점에 상응하는 좌안/우안 각각 투영영상을 제공하는 직각 투영기; 및A right-angle projector that provides three-dimensional model data provided through the projection controller and provides projection images of left and right eyes respectively corresponding to sin / right eye views with a change of viewpoint provided by the viewpoint change detector; And 상기 원근 투영기 또는 상기 직각 투영기로부터 제공되는 투영 영상의 표면에 음영처리를 행하는 랜더링부를 구비하는 것을 특징으로 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.And a rendering unit configured to shade the surface of the projection image provided from the perspective projector or the quadrature projector. 제4 항에 있어서, 상기 시점 변화 검출기의 판별결과 시점의 변화가 없고, 상기 물체 모델 변화 검출기의 판별결과 물체 모델 변화가 없는 경우, 실시간 처리를 위해 이전의 좌안 및 우안 투영영상을 그대로 이용할 수 있도록 하는 것을 특징으로 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.The method according to claim 4, wherein when there is no change in viewpoint as a result of the determination of the viewpoint change detector and there is no change in the object model as the determination result of the object model change detector, the previous left eye and right eye projection images can be used as they are for real time processing. Apparatus for generating a three-dimensional video from a TV signal, characterized in that. 제1 항에 있어서, 상기 필드 생성기는,The method of claim 1, wherein the field generator, 상기 모델 투영기로부터 새로운 좌안/우안 투영영상이 입력되는지를 판별하는 입력 판별기;An input discriminator for discriminating whether a new left eye / right eye projection image is input from the model projector; 상기 입력 판별기의 판별결과, 새로운 좌안/우안 투영 영상이 입력되는 경우, 상기 새로운 좌안/우안 투영 영상을 각각 짝수/홀수 필드에 배열하는 필드 배열기; 및A field arranger for arranging the new left eye / right eye projection images in even / odd fields, respectively, when a new left eye / right eye projection image is input as a result of the discrimination of the input discriminator; And 상기 필드 배열기에서 이전에 출력된 필드 배열을 저장하고 있으며, 상기 입력 판별기의 판별결과, 새로운 좌안/우안 투영영상이 입력되지 않는 경우 저장하고 있던 필드 배열을 출력하는 필드 저장부를 구비함을 특징으로 하는 TV 신호로부터 삼차원 동영상을 발생시키는 장치.And a field storage unit for storing a field array previously output from the field arranging unit, and outputting the stored field arrangement when a new left eye / right eye projection image is not input as a result of the determination of the input discriminator. A device for generating a three-dimensional video from a TV signal.
KR1019960051829A 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals KR100400209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Publications (2)

Publication Number Publication Date
KR19980031957A KR19980031957A (en) 1998-07-25
KR100400209B1 true KR100400209B1 (en) 2003-12-31

Family

ID=37422325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Country Status (1)

Country Link
KR (1) KR100400209B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101103511B1 (en) * 2010-03-02 2012-01-19 (주) 스튜디오라온 Method for Converting Two Dimensional Images into Three Dimensional Images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950035466A (en) * 1994-02-01 1995-12-30 다까노 야스아끼 Method for converting 2D image into 3D image and 3D image display system
KR950035464A (en) * 1994-05-13 1995-12-30 마츠모도 세이야 Stereoscopic display method and device
KR960005554A (en) * 1994-07-22 1996-02-23 가네꼬 히사시 Video signal processing device
KR960013097A (en) * 1994-09-22 1996-04-20 다까노 야스아끼 How to convert 2D image to 3D image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950035466A (en) * 1994-02-01 1995-12-30 다까노 야스아끼 Method for converting 2D image into 3D image and 3D image display system
KR950035464A (en) * 1994-05-13 1995-12-30 마츠모도 세이야 Stereoscopic display method and device
KR960005554A (en) * 1994-07-22 1996-02-23 가네꼬 히사시 Video signal processing device
KR960013097A (en) * 1994-09-22 1996-04-20 다까노 야스아끼 How to convert 2D image to 3D image

Also Published As

Publication number Publication date
KR19980031957A (en) 1998-07-25

Similar Documents

Publication Publication Date Title
US6417880B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US7825948B2 (en) 3D video conferencing
JP5036132B2 (en) Critical alignment of parallax images for autostereoscopic display
US8063930B2 (en) Automatic conversion from monoscopic video to stereoscopic video
US9460555B2 (en) System and method for three-dimensional visualization of geographical data
US20040066555A1 (en) Method and apparatus for generating stereoscopic images
JP3524147B2 (en) 3D image display device
CN211128024U (en) 3D display device
Ware Dynamic stereo displays
CN113382224B (en) Interactive handle display method and device based on holographic sand table
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
KR100400209B1 (en) Apparatus for generating three-dimensional moving pictures from tv signals
Kang Wei et al. Three-dimensional scene navigation through anaglyphic panorama visualization
KR101779423B1 (en) Method and apparatus for processing image
KR101046580B1 (en) Image processing apparatus and control method
KR100272132B1 (en) Method and apparatus for reconstruction of stereo scene using vrml
TW201636683A (en) Augmented reality imaging method and system
JP2007043603A (en) Spetroscopic image display device and system thereof
CN113382225B (en) Binocular holographic display method and device based on holographic sand table
Ince Correspondence Estimation and Intermediate View Reconstruction
Barham et al. Some variations on VISIDEP using computer graphics
Higashi et al. The three-dimensional display for user interface in free viewpoint television system
KR20170123741A (en) 3d display system based on user interaction
IL166305A (en) Method for converting a sequence of monoscopic images to a sequence of stereoscopic images
JPH0421187A (en) Stereoscopic image display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 13