KR19980031957A - Device for generating three-dimensional video from a television signal - Google Patents

Device for generating three-dimensional video from a television signal Download PDF

Info

Publication number
KR19980031957A
KR19980031957A KR1019960051829A KR19960051829A KR19980031957A KR 19980031957 A KR19980031957 A KR 19980031957A KR 1019960051829 A KR1019960051829 A KR 1019960051829A KR 19960051829 A KR19960051829 A KR 19960051829A KR 19980031957 A KR19980031957 A KR 19980031957A
Authority
KR
South Korea
Prior art keywords
dimensional
motion
signal
model
viewpoint
Prior art date
Application number
KR1019960051829A
Other languages
Korean (ko)
Other versions
KR100400209B1 (en
Inventor
김도균
Original Assignee
김광호
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자 주식회사 filed Critical 김광호
Priority to KR1019960051829A priority Critical patent/KR100400209B1/en
Publication of KR19980031957A publication Critical patent/KR19980031957A/en
Application granted granted Critical
Publication of KR100400209B1 publication Critical patent/KR100400209B1/en

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

TV 신호로부터 삼차원 동영상을 발생시키는 장치가 개시된다. TV신호로부터 삼차원 동영상을 발생시키는 장치는 TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부, 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵(depth map)을 획득하는 움직임 추정기, 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러; 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부, 좌안/우안의 시점을 발생시키는 시점 발생기, 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기, 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기, 좌안 영상과 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기, 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함함을 특징으로 한다. 따라서, 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 적절한 삼차원 영상을 구현하는 삼차원 동영상을 발생시키며, TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있다는 효과를 갖는다.An apparatus for generating three-dimensional video from a TV signal is disclosed. An apparatus for generating a 3D video from a TV signal includes a frame storage unit storing a continuous frame for a predetermined period of time to extract motion from the TV signal, and extracting a motion from the continuous frame and obtaining a depth map therefrom. A motion estimator, an object modeler for three-dimensionally modeling an object in an image from a depth map; A three-dimensional model storage unit for storing the acquired three-dimensional model, a viewpoint generator for generating a left eye / right eye, a model projector for generating a left eye image and a right eye image by projecting and rendering a three-dimensional model according to the viewpoint, and movement of the viewer's head. And a head generator for estimating the left eye image and the right eye image in the even / odd fields of the TV signal, respectively, and a TV which reproduces the generated TV signal in synchronization with the viewer's LCD shutter glasses. Therefore, even if there is no motion in the current frame, it generates a three-dimensional video that realizes a three-dimensional image according to the viewer's point of view, and the image processing necessary for generating the three-dimensional video from the TV signal can be implemented in real time. Has

Description

텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치Device for generating three-dimensional video from a television signal

본 발명은 텔레비젼(TV) 신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것으로서, 더욱 상세하게는 임의의 2차원 TV신호로부터 삼차원 정보를 획득하여 보는 이의 위치에 따라 알맞은 삼차원 영상을 구축하여 이 삼차원 영상으로부터 각각 보는 이의 좌안(left eye)과 우안(right eye)에 투사될 영상을 생성하고, 이를 TV 신호의 짝수/홀수 필드(even/odd field)에 배치하여 LCD(Liquid Crystal Display) 셔터 글래스(shutter glass)를 착용하고 있는 사람으로 하여금 실제와 같은 삼차원 입체감을 느끼게 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치에 관한 것이다.The present invention relates to an apparatus for generating three-dimensional video from a television signal, and more particularly, to obtain a three-dimensional information from an arbitrary two-dimensional TV signal, and to construct an appropriate three-dimensional image according to a viewer's position. Create an image to be projected on the left eye and right eye of the viewer, and place it in an even / odd field of the TV signal, so that the liquid crystal display (LCD) shutter glass The present invention relates to a device for generating a three-dimensional video from a TV signal that makes a person who wears) feel a realistic three-dimensional three-dimensional effect.

종래의 TV신호로부터 삼차원 동영상을 발생시키는 장치는 TV신호로부터 과거의 임의의 숫자의 프레임을 그 순서별로 저장하고 있다가 현재 프레임에서 움직임(motion)의 양을 측정하여 그 양이 상대적으로 크면 저장하고 있던 가장 과거의 프레임을 하나 선택하고, 그 양이 상대적으로 감소할수록 더 현재 프레임에 가까운 영상을 선택하여 이를 좌안을 위한 영상으로 이용하고 현재 프레임을 우안을 위한 영상으로 선택하여 각각을 짝수/홀수 필드에 배치하는 방식으로 입체감을 구현하였다.A conventional apparatus for generating three-dimensional video from a TV signal stores an arbitrary number of frames in the past from the TV signal in order, and measures the amount of motion in the current frame and stores it if the amount is relatively large. Select one of the most recent frames, and as the amount decreases, select an image closer to the current frame, use it as the image for the left eye, and select the current frame as the image for the right eye, and select each even / odd field. Three-dimensional effect was implemented by placing it in the.

즉, 움직임 차이를 이용하여 양안 시차를 발생시켜 사람으로 하여금 입체감을 느끼도록 하는 것이다. 따라서 만약 현재 프레임에서 움직임이 없는 경우에는 양안 시차를 발생시킬 수 없으므로 입체감을 구현할 수 없다. 또한, 원래의 TV신호로부터의 영상을 아무처리없이 그대로 이용하므로 보는 이의 시점이 임의의 위치로 이동하여도 그에 알맞은 삼차원 영상을 나타낼 수가 없는 단점이 있다.That is, the binocular parallax is generated by using the motion difference so that a person feels a three-dimensional feeling. Therefore, if there is no motion in the current frame, binocular parallax cannot be generated, so a three-dimensional effect cannot be realized. In addition, since the image from the original TV signal is used as it is without any processing, even if the viewer's viewpoint moves to an arbitrary position, there is a disadvantage in that a three-dimensional image suitable for the image cannot be displayed.

본 발명은 상기의 문제점을 해결하기 위하여 창출된 것으로서, 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 삼차원 영상을 구현하는 삼차원 동영상 발생장치를 제공하는 것을 그 목적으로 한다.An object of the present invention is to provide a three-dimensional video generating device that implements a three-dimensional image according to the viewer's point of view, and implements a three-dimensional effect even if there is no movement in the current frame.

본 발명의 다른 목적은 TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있도록 하는 삼차원 동영상 발생장치를 제공하는 것에 있다.Another object of the present invention is to provide a three-dimensional video generating apparatus that can be implemented in real time the image processing necessary for generating a three-dimensional video from a TV signal.

상기의 목적을 달성하는 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치는, TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부; 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵을 획득하는 움직임 추정기; 상기 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러; 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부; 좌안/우안의 시점을 발생시키는 시점 발생기; 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기; 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기; 좌안 영상과 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기; 및 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함함을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for generating a 3D video from a TV signal, the apparatus comprising: a frame storage unit storing a continuous frame for a period of time to extract motion from a TV signal; A motion estimator that extracts motion from successive frames and obtains a depth map therefrom; An object modeler for three-dimensionally modeling an object in an image from the depth map; A three-dimensional model storage unit for storing the obtained three-dimensional model; A viewpoint generator for generating a left eye / right eye viewpoint; A model projector for projecting and rendering a three-dimensional model according to a viewpoint to generate a left eye image and a right eye image; A head motion estimator for estimating the movement of the head of the viewer; A field generator for arranging a left eye image and a right eye image in an even / odd field of a TV signal, respectively; And a TV which reproduces the generated TV signal by synchronizing with the LCD shutter glasses of the viewer.

도 1은 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다.1 is a block diagram showing the configuration of an apparatus for generating three-dimensional video from a TV signal according to the present invention.

도 2는 도 1에 표시된 움직임 추정기의 상세한 구성을 보이는 블록도이다.FIG. 2 is a block diagram illustrating a detailed configuration of the motion estimator shown in FIG. 1.

도 3은 도 1에 표시된 모델 투영기의 상세한 구성을 보이는 블록도이다.3 is a block diagram showing a detailed configuration of the model projector shown in FIG.

도 4는 도 1에 표시된 필드 생성기의 상세한 구성을 보이는 블록도이다.4 is a block diagram showing a detailed configuration of the field generator shown in FIG.

이하, 첨부된 도면을 참조하여 본 발명의 특징 및 효과를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the features and effects of the present invention.

도 1은 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치의 구성을 보이는 블록도이다. 도 1에 있어서, 삼차원 동영상 발생장치는 프레임 저장부(10), 움직임 추정기(11), 물체 모델러(12), 삼차원 모델 저장부(13), 시점 발생기(14), 모델 투영기(15), 머리 움직임 추정기(16), 필드 생성기(17), 입체 TV(18)로 구성된다.1 is a block diagram showing the configuration of an apparatus for generating three-dimensional video from a TV signal according to the present invention. In FIG. 1, the 3D video generating apparatus includes a frame storage unit 10, a motion estimator 11, an object modeler 12, a 3D model storage unit 13, a viewpoint generator 14, a model projector 15, and a head. The motion estimator 16, the field generator 17, and the stereoscopic TV 18 are comprised.

도 1에 있어서, 프레임 저장부(10)는 일반 TV신호로부터 연속된 프레임을 저장한다.In FIG. 1, the frame storage unit 10 stores frames consecutive from a general TV signal.

움직임 추정부(11)는 프레임 저장부(10)로부터 연속된 프레임을 획득하여 영상의 움직임을 추정하고 이로부터 깊이를 추출하여 깊이 맵을 생성한다.The motion estimation unit 11 obtains a continuous frame from the frame storage unit 10, estimates the motion of the image, and extracts the depth therefrom to generate a depth map.

물체 모델러(12)는 움직임 추정부(11)로부터 발생된 깊이 맵을 이용하여 삼차원 모델을 구한다. 이는 패치 모델(patch model)이나 삼각형 모델(triangular model)을 이용하여 구해질 수 있다.The object modeler 12 obtains a three-dimensional model using the depth map generated from the motion estimation unit 11. This can be obtained using a patch model or a triangular model.

삼차원 모델 저장부(13)는 이전 프레임의 물체 모델을 저장하고 있다. 만약 움직임 추정부(11)가 현재 프레임에서 움직임이 없음을 나타내면 삼차원 모델 저장부(13)에 저장되었던 삼차원 모델이 모델 투영기(15)에 입력된다.The three-dimensional model storage unit 13 stores the object model of the previous frame. If the motion estimation unit 11 indicates no motion in the current frame, the three-dimensional model stored in the three-dimensional model storage unit 13 is input to the model projector 15.

시점 발생기(14)는 머리 움직임 추정부(16)에서 입력된 머리의 위치에 따라 알맞은 좌안과 우안의 시점을 발생시킨다.The viewpoint generator 14 generates a viewpoint of the left eye and the right eye in accordance with the position of the head input from the head motion estimation unit 16.

모델 투영기(15)는 시점 발생기(14)에서 입력된 시점에 따라 물체 모델러(12) 혹은 삼차원 모델 저장부(13)에서 입력된 삼차원 모델을 투영하고 랜더링한다.The model projector 15 projects and renders the three-dimensional model input from the object modeler 12 or the three-dimensional model storage unit 13 according to the viewpoint input from the viewpoint generator 14.

머리 움직임 추정기(16)는 CCD(Charge-Coupled Device) 카메라로부터 입력된 머리의 움직임, 즉 시점의 움직임을 추정하고 그 위치를 시점 발생기(14)에 제공한다.The head motion estimator 16 estimates the motion of the head input from the charge-coupled device (CCD) camera, that is, the motion of the viewpoint, and provides the position generator 14 with its position.

필드 생성기(17)는 모델 투영기(15)에서 입력된 좌안/우안 영상을 TV신호의 필드에 순차적으로 배열한다.The field generator 17 sequentially arranges the left / right eye images input from the model projector 15 into the fields of the TV signal.

입체 TV(18)는 일반 TV와 같은 TV신호를 입력으로 한다. 단, 보는 이가 착용하고 있는 LCD 셔터 글래스와 동기를 이루기 위해 동기신호를 발생시킨다.The stereoscopic TV 18 receives a TV signal as a normal TV. However, a synchronization signal is generated to synchronize with the LCD shutter glasses worn by the viewer.

도 2는 도 1에 표시된 움직임 추정부(11)의 상세한 구성을 보이는 블록도이다. 도 2에 있어서, 움직임 추정부(11)는 움직임 검출기(20), 이차원 움직임 추정기(22), 움직임 분할부(24), 삼차원 움직임 추정기(26), 깊이 맵 생성기(28)로 구성된다.FIG. 2 is a block diagram showing a detailed configuration of the motion estimation unit 11 shown in FIG. In FIG. 2, the motion estimator 11 includes a motion detector 20, a two-dimensional motion estimator 22, a motion divider 24, a three-dimensional motion estimator 26, and a depth map generator 28.

도 2에 있어서, 움직임 검출기(20)는 프레임 저장부(10)으로부터 입력된 연속된 프레임으로부터 움직임을 검출한다. 움직임을 검출하는 식은 다음 수학식 1과 같다.In FIG. 2, the motion detector 20 detects motion from consecutive frames inputted from the frame storage unit 10. The equation for detecting the motion is shown in Equation 1 below.

상기 수학식 1에서, I는 영상의 밝기, n1, n2는 각각 영상의 가로, 세로 크기, t는 시간을 나타낸다.In Equation 1, I denotes the brightness of the image, n1 and n2 denote the horizontal and vertical sizes of the image, and t denotes time.

만약 수학식 1의 결과값이 임의의 문턱값보다 크다면 연속된 프레임을 이차원 움직임 추정기(22)로 제공하고, 문턱값보다 작다면 움직임 추정기(11)의 모든 과정을 거치지 않고 삼차원 모델 저장부(13)로 직접 이동한다. 그러므로 연속된 프레임에서 움직임이 발생하지 않는 경우에는 과거에 이미 획득한 삼차원 모델을 사용하므로서 삼차원 모델을 얻기 위한 처리 시간을 단축하고 여전히 삼차원 모델을 가지고 있을 수 있다.If the result value of Equation 1 is greater than an arbitrary threshold value, a continuous frame is provided to the 2D motion estimator 22, and if the resultant value is smaller than the threshold value, the 3D model storage unit does not go through all the processes of the motion estimator 11 ( Go directly to 13). Therefore, if the motion does not occur in successive frames, the processing time for obtaining the three-dimensional model may be shortened and still have the three-dimensional model by using the three-dimensional model acquired in the past.

이차원 움직임 추정기(22)는 움직임 검출기(20)에서 움직임이 있다고 판정된 연속된 프레임으로부터 이차원 움직임을 추정한다. 이는 광학적 흐름(optical flow)을 획득하는 것을 의미한다. 즉, 프레임 영상들간의 2차원 움직임을 속도 벡터나 이동 필드로 구한다.The two-dimensional motion estimator 22 estimates the two-dimensional motion from the successive frames in which the motion detector 20 determines that there is motion. This means acquiring optical flow. In other words, two-dimensional motion between frame images is obtained as a velocity vector or a moving field.

움직임 분할기(24)는 추정된 이차원 움직임으로부터 3차원 움직임 모델(3D motion model)에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정한다. 여기서, 움직임 분할기(24)는 삼차원 움직임 추정기(26)와 하나로 구현될 수도 있다.The motion divider 24 finds each independent motion based on the 3D motion model from the estimated two-dimensional motion and determines each of them. Here, the motion divider 24 may be implemented as one with the three-dimensional motion estimator 26.

삼차원 움직임 추정기(26)는 움직임 분할기(24)에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정한다.The three-dimensional motion estimator 26 estimates respective three-dimensional motions for each motion determined in the motion divider 24.

깊이 맵 생성기(28)는 삼차원 움직임 추정기(26)에서 추정한 삼차원 움직임으로부터 각 픽셀들에 대한 상대적 깊이를 구한다.The depth map generator 28 obtains a relative depth for each pixel from the three-dimensional motion estimated by the three-dimensional motion estimator 26.

도 3은 도 1에 표시된 모델 투영기(15)의 상세한 구성을 보이는 블록도이다. 도 3에 있어서, 모델 투영기(15)는 시점 변화 검출기(30), 투영 제어기(32), 물체 모델 변화 검출기(34), 원근 투영기(perspective projector;36), 직각 투영기(orthographic projector;38), 랜더링부(39)로 구성된다.3 is a block diagram showing a detailed configuration of the model projector 15 shown in FIG. In FIG. 3, the model projector 15 includes a viewpoint change detector 30, a projection controller 32, an object model change detector 34, a perspective projector 36, an orthographic projector 38, It consists of a rendering unit 39.

도 3에 있어서, 시점 변화 검출기(30)는 시점 발생기(14)에서 제공된 좌안/우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별한다. 시점의 변화는 다음 수학식 2에 의해 획득한다.In FIG. 3, the viewpoint change detector 30 determines whether the viewpoint of the left eye / right eye provided by the viewpoint generator 14 has changed compared with the previous viewpoint. The change in viewpoint is obtained by the following equation.

상기 수학식 2에서, VP 는 시점, vpleft는 좌안 시점의 좌표, vpright는 우안 시점의 좌표를 각각 나타낸다.In Equation 2, VP represents a viewpoint, vp left represents a coordinate of the left eye, and vp right represents a coordinate of the right eye.

상기 수학식 2의 결과값이 임의로 정한 문턱값보다 크게되면 시점의 변화가 있었다고 판별하고 투영 제어기(32)를 구동한다. 그렇지 않다면 다음의 조건 검사를 위해 물체 모델 변화 검출기(34)를 구동한다.When the result value of Equation 2 is larger than a predetermined threshold, it is determined that there is a change in viewpoint and the projection controller 32 is driven. If not, the object model change detector 34 is driven for the next condition check.

투영 제어기(32)는 시점 변화 검출기(30)이나 물체 모델 변화 검출기(34)에서 구동 신호를 받으면 물체 모델러(12)나 삼차원 모델 저장부(13)에서 제공되는 삼차원 모델을 어떤 방법으로 투영할 것인가를 결정한다. 만약 물체 내에서의 상대적인 깊이의 변화가 카메라에서 물체까지의 거리에 비해 매우 작을 경우 (1/100 이하) 모델 투영기(32)는 삼차원 모델 데이터를 직각 투영기(38)에 제공한다. 그렇지 않다면 원근 투영기(36)에 제공한다.When the projection controller 32 receives the driving signal from the viewpoint change detector 30 or the object model change detector 34, how to project the three-dimensional model provided by the object modeler 12 or the three-dimensional model storage 13. Determine. If the change in relative depth in the object is very small (less than 1/100) relative to the distance from the camera to the object, the model projector 32 provides three-dimensional model data to the orthogonal projector 38. Otherwise provide to perspective projector 36.

물체 모델 변화 검출기(34)는 현재의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별한다. 만약 삼차원 모델이 삼차원 모델 저장부(13)에서 제공된다면 이는 삼차원 모델의 변화가 없음을 의미한다. 그러므로 만약 시점 변화 검출기(30)에서 시점의 변화가 없고 물체 모델 변화 검출기(34)에서 모델의 변화가 없다면 투영 제어기(32) 및 원근 투영기(36), 직각 투영기(38)를 통과하지 않고 필드 생성기(17)로 'N' 신호와 함께 진행한다. 이것은 TV신호가 움직임을 많이 포함하지 않은 경우에 처리 시간을 줄일 수 있다.The object model change detector 34 determines whether the current three-dimensional model is the same as the three-dimensional model previously input. If a three-dimensional model is provided in the three-dimensional model storage unit 13, this means that there is no change in the three-dimensional model. Therefore, if there is no change of view in the viewpoint change detector 30 and there is no change in the model in the object model change detector 34, the field generator does not pass through the projection controller 32, the perspective projector 36, the orthogonal projector 38. Proceed to '17' with '17'. This can reduce the processing time when the TV signal does not contain much motion.

원근 투영기(36)는 투영 제어기(32)에서 제공한 삼차원 모델 데이터와 시점 변화 검출기(30)에서 제공한 시점의 변화를 가지고 각각 좌안/ 우안 시점에 상응하는 좌안/우안 원근 투영 영상을 제공한다.The perspective projector 36 provides a left eye / right eye perspective image corresponding to the left eye / right eye viewpoint with the three-dimensional model data provided by the projection controller 32 and the viewpoint change provided by the viewpoint change detector 30, respectively.

시점의 변화는 보는 이의 화면에 대한 회전각으로 표시될 수 있으며 이 회전각에 따른 삼차원 모델의 좌표 변환은 다음 수학식 3과 같다.The change of viewpoint may be displayed as a rotation angle with respect to the viewer's screen, and the coordinate transformation of the three-dimensional model according to the rotation angle is expressed by Equation 3 below.

X' = RXX '= RX

상기 수학식 3에서, X' 는 변환된 삼차원 모델의 좌표, R 은 회전 행렬, X 는 원래의 삼차원 모델의 좌표를 각각 나타낸다.In Equation 3, X 'represents coordinates of the converted three-dimensional model, R represents a rotation matrix, and X represents coordinates of the original three-dimensional model.

상기 수학식 3을 이용하여 삼차원 좌표를 시점의 변화에 따라 변환한 후, 투영 영상을 생성한다. 원근 투영을 위한 식은 다음 수학식 4와 같다.After converting the 3D coordinates according to the change of viewpoint using Equation 3, a projection image is generated. The equation for perspective projection is as shown in Equation 4 below.

상기 수학식 4에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y,Z 는 각각 삼차원 모델의 x,y,z 좌표, f 는 초점 거리를 각각 나타낸다.In Equation 4, x, y are the x, y coordinates of the projection image, X, Y, Z are the x, y, z coordinates of the three-dimensional model, respectively, f is the focal length, respectively.

직각 투영기(38)는 원근 투영기(36)와 투영을 위한 식을 제외하고는 동일한 기능을 수행한다. 직각 투영을 위한 식은 다음 수학식 5와 같다.The orthogonal projector 38 performs the same function except the equation for the projection with the perspective projector 36. The equation for orthogonal projection is as shown in Equation 5 below.

x=X, y=Yx = X, y = Y

상기 수학식 5에서, x,y 는 각각 투영 영상의 x,y 좌표, X,Y 는 각각 삼차원 모델의 x,y 좌표를 각각 나타낸다.In Equation 5, x and y are the x and y coordinates of the projection image, and X and Y are the x and y coordinates of the three-dimensional model, respectively.

랜더링부(39)는 투영된 영상의 표면에 음영처리(texture mapping)를 행한다.The rendering unit 39 performs texture mapping on the surface of the projected image.

도 4는 도 1에 표시된 필드 생성기(17)의 상세한 구성을 보이는 블록도이다. 도 4에 있어서, 필드 생성기(17)는 입력 판별기(40), 필드 배열기(42), 필드 저장부(44)로 구성된다.4 is a block diagram showing a detailed configuration of the field generator 17 shown in FIG. In FIG. 4, the field generator 17 is composed of an input discriminator 40, a field arranger 42, and a field storage unit 44.

도 4에 있어서, 입력 판별기(40)은 모델 투영기(15)에서 제공되는 입력이 새로운 좌안/우안 투영 영상인지 아니면 'N' 신호인지 판별한다. 만약 입력이 새로운 투영영상이라면 이를 필드 배열기(42)로 제공하고 그렇지 않으면 필드 저장부(44)에 신호를 제공한다.In FIG. 4, the input discriminator 40 determines whether the input provided from the model projector 15 is a new left eye / right eye projection image or an 'N' signal. If the input is a new projection image it is provided to the field arranger 42, otherwise it provides a signal to the field storage 44.

필드 배열기(42)는 입력된 좌안/ 우안 투영 영상을 각각 짝수/홀수 필드에 배열한다.The field arranger 42 arranges the input left eye / right eye projection images in even / odd fields, respectively.

필드 저장부(44)는 이전의 필드 배열기(42)의 출력 필드를 저장하고 있다가 입력 판별기(40)로부터 신호를 받으면 저장하고 있던 필드 배열을 출력한다.The field storing unit 44 stores the output field of the previous field arranging unit 42 and outputs the stored field arrangement when receiving a signal from the input discriminator 40.

상술한 바와 같이 본 발명에 따른 TV신호로부터 삼차원 동영상을 발생시키는 장치는 현재 프레임에 움직임이 없어도 입체감을 구현하며 보는 이의 시점에 따라 알맞은 심차원 영상을 구현하는 삼차원 동영상을 발생시키며, TV신호로부터 삼차원 동영상을 발생시킴에 있어 필요한 영상처리가 실시간에 구현될 수 있다는 효과를 갖는다.As described above, an apparatus for generating three-dimensional video from a TV signal according to the present invention generates three-dimensional video even if there is no motion in the current frame, and generates a three-dimensional video for implementing a suitable deep-dimensional image according to the viewer's point of view. The image processing necessary for generating the video can be implemented in real time.

Claims (7)

TV신호로부터 움직임을 추출하기 위해 연속된 프레임을 일정기간동안 저장하는 프레임 저장부;A frame storage unit for storing a continuous frame for a predetermined period of time to extract motion from the TV signal; 상기 연속된 프레임으로부터 움직임을 추출하고 이로부터 깊이 맵을 획득하는 움직임 추정기;A motion estimator that extracts motion from the successive frames and obtains a depth map therefrom; 상기 깊이 맵으로부터 영상내의 물체를 삼차원으로 모델링하는 물체 모델러;An object modeler for three-dimensionally modeling an object in an image from the depth map; 상기 획득한 삼차원 모델을 저장하는 삼차원 모델 저장부;A three-dimensional model storage unit for storing the obtained three-dimensional model; 좌안/우안의 시점을 발생시키는 시점 발생기;A viewpoint generator for generating a left eye / right eye viewpoint; 상기 시점에 따라 삼차원 모델을 투영하고 렌더링하여 좌안 영상과 우안 영상을 발생시키는 모델 투영기;A model projector for projecting and rendering a 3D model according to the viewpoint to generate a left eye image and a right eye image; 보는 이의 머리의 움직임을 추정하는 머리 움직임 추정기;A head motion estimator for estimating the movement of the head of the viewer; 상기 좌안 영상과 상기 우안 영상을 각각 TV신호의 짝수/홀수 필드에 배치하는 필드 생성기; 및A field generator for arranging the left eye image and the right eye image in even / odd fields of a TV signal, respectively; And 상기 생성된 TV신호를 보는 이의 LCD 셔터 글래스와 동기화하여 재생하는 TV를 포함하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.Apparatus for generating a three-dimensional video from a TV signal comprising a TV that reproduces in synchronization with the LCD shutter glass of the viewer watching the generated TV signal. 제1항에 있어서, 상기 시점 발생기는 입체감을 주는 삼차원 영상을 생성하기 위해 보는 이의 시점 변화를 검출하여, 검출된 시점 변화에 따른 좌안/우안의 시점을 발생시키는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.The 3D video from the TV signal according to claim 1, wherein the view generator detects a view change of the viewer to generate a 3D image giving a three-dimensional effect, and generates a view of left / right eyes according to the detected view change. Device for generating the 제1항에 있어서, 상기 움직임 추정기는,The method of claim 1, wherein the motion estimator, 상기 프레임 저장부에서 제공되는 2차원 동영상을 입력하고, 프레임 영상들간의 움직임을 검출하는 움직임 검출부;A motion detector configured to input a 2D video provided by the frame storage and detect motion between frame images; 상기 프레임 영상들간의 2차원 움직임을 속도 벡터나 이동 필드로 구하는 2차원 움직임 추정부;A two-dimensional motion estimator for obtaining two-dimensional motion between the frame images as a velocity vector or a moving field; 상기 2차원 움직임 추정부에서 추정된 이차원 움직임으로부터 3차원 움직임 모델에 근거하여 각각의 독립된 움직임들을 찾아내고 이들을 각각 확정하는 움직임 분할부;A motion dividing unit for finding respective independent motions based on a three-dimensional motion model from the two-dimensional motions estimated by the two-dimensional motion estimating unit, and determining each of the independent motions; 상기 움직임 분할기에서 확정된 각각의 움직임에 대하여 각각의 삼차원 움직임들을 추정하는 삼차원 움직임 추정부;A three-dimensional motion estimator for estimating respective three-dimensional motions for each motion determined by the motion splitter; 상기 삼차원 움직임 추정기에서 추정한 삼차원 움직임으로부터 각 픽셀들에 대한 상대적 깊이를 구하는 깊이 맵 생성부;A depth map generator for obtaining a relative depth of each pixel from the three-dimensional motion estimated by the three-dimensional motion estimator; 실시간 처리를 위해 상기 움직임 검출부에서 움직임이 검출되지 않으면 이전에 처리한 삼차원 모델을 사용하기 위해 이를 저장하는 상기 삼차원 모델 저장부를 구비함을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.And a three-dimensional model storage unit for storing a three-dimensional model previously processed if the motion is not detected by the motion detector for real time processing. 제1항에 있어서, 상기 모델 투영기는,The method of claim 1, wherein the model projector is 상기 시점 발생기에서 제공된 좌안/우안의 시점이 이전의 시점에 비교하여 변화가 있었는가를 판별하는 시점 변화 검출기;A viewpoint change detector for judging whether a viewpoint of left eye / right eye provided by the viewpoint generator has changed compared to a previous viewpoint; 상기 시점 변화 검출기나 상기 물체 모델 변화 검출기에서 구동 신호를 받으면 상기 물체 모델러나 상기 삼차원 모델 저장부에서 제공되는 삼차원 모델을 어던 방법으로 투영할 것인가를 결정하는 투영 제어부;A projection control unit determining whether to project the three-dimensional model provided by the object modeler or the three-dimensional model storage unit when the driving signal is received by the viewpoint change detector or the object model change detector; 현재의 삼차원 모델이 이전에 입력된 삼차원 모델과 같은지를 판별하는 물체 모델 변화 검출부;An object model change detection unit for determining whether the current three-dimensional model is the same as a previously input three-dimensional model; 상기 투영 제어기에서 제공한 삼차원 모델 데이터와 상기 시점 변화 검출기에서 제공한 시점의 변화를 가지고 각각 좌안/우안 시점에 상응하는 좌안/우안 원근 투영 영상을 제공하는 원근 투영부;A perspective projection unit which provides left and right eye perspective projection images corresponding to left and right eye views, respectively, with the three-dimensional model data provided by the projection controller and the viewpoint change provided by the viewpoint change detector; 상기 원근 투영부와 투영을 위한 식을 제외하고는 동일한 기능을 수행하는 직각 투영부; 및Orthogonal projection that performs the same function except for the perspective projection and the formula for projection; And 투영된 영상의 표면에 음영처리를 행하는 랜더링부를 구비하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.And a rendering unit that shades the surface of the projected image. 제4항에 있어서, 상기 시점 변화 검출기와 상기 물체 모델 변화 검출기에서는 실시간 처리를 위해 시점과 물체 모델에 동시에 변화가 없으면 이전의 좌안/우안 투영 영상을 그대로 이용할 수 있도록 하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.The TV signal of claim 4, wherein the viewpoint change detector and the object model change detector are configured to use the previous left eye / right eye projection image as it is if there is no change in the viewpoint and the object model for real time processing. Device for generating three-dimensional video. 제1항에 있어서, 상기 필드 생성부는,The method of claim 1, wherein the field generating unit, 상기 모델 투영기에서 제공되는 입력이 새로운 좌안/우안 투영 영상인지 아니면 'N'신호인지 판별하는 입력 판별부;An input discrimination unit determining whether an input provided from the model projector is a new left-eye / right-eye projection image or an 'N' signal; 입력된 좌안/우안 투영 영상을 각각 짝수/홀수 필드에 배열하는 필드 배열부; 및A field arranging unit for arranging input left eye / right eye projection images in even / odd fields respectively; And 이전의 상기 필드 배열기의 출력 필드를 저장하고 있다가 상기 입력 판별기로부터 신호를 받으면 저장하고 있던 필드 배열을 출력하는 필드 저장부를 구비함을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.And a field storage unit for storing an output field of the field arranging device and outputting the stored field arrangement upon receiving a signal from the input discriminator. 제6항에 있어서, 상기 필드 저장부는 실시간 처리를 위해 이전의 상기 필드 배열기의 출력 필드를 저장하고 있다가 상기 입력 판별기로부터 신호를 받으면 저장하고 있던 필드 배열을 출력하는 것을 특징으로 하는 TV신호로부터 삼차원 동영상을 발생시키는 장치.7. The TV signal according to claim 6, wherein the field storage unit stores a previous output field of the field arranger for real time processing and outputs the stored field arrangement upon receiving a signal from the input discriminator. Device for generating a three-dimensional video from the.
KR1019960051829A 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals KR100400209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Publications (2)

Publication Number Publication Date
KR19980031957A true KR19980031957A (en) 1998-07-25
KR100400209B1 KR100400209B1 (en) 2003-12-31

Family

ID=37422325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960051829A KR100400209B1 (en) 1996-10-31 1996-10-31 Apparatus for generating three-dimensional moving pictures from tv signals

Country Status (1)

Country Link
KR (1) KR100400209B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101103511B1 (en) * 2010-03-02 2012-01-19 (주) 스튜디오라온 Method for Converting Two Dimensional Images into Three Dimensional Images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100358021B1 (en) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 Method of converting 2D image into 3D image and stereoscopic image display system
KR0180026B1 (en) * 1994-05-13 1999-05-01 마츠모도 세이야 Stereoscopio display using movement direction detection
JP2699876B2 (en) * 1994-07-22 1998-01-19 日本電気株式会社 Video signal processing device
DE69528946T2 (en) * 1994-09-22 2003-10-02 Sanyo Electric Co Process for converting two-dimensional images into three-dimensional images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101103511B1 (en) * 2010-03-02 2012-01-19 (주) 스튜디오라온 Method for Converting Two Dimensional Images into Three Dimensional Images

Also Published As

Publication number Publication date
KR100400209B1 (en) 2003-12-31

Similar Documents

Publication Publication Date Title
US6353457B2 (en) Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US7825948B2 (en) 3D video conferencing
US9215452B2 (en) Stereoscopic video display apparatus and stereoscopic video display method
JPH09121370A (en) Stereoscopic television device
JP3524147B2 (en) 3D image display device
US20150187132A1 (en) System and method for three-dimensional visualization of geographical data
CN102170578A (en) Method and apparatus for processing stereoscopic video images
JP2011176800A (en) Image processing apparatus, 3d display apparatus, and image processing method
CN112929639A (en) Human eye tracking device and method, 3D display equipment and method and terminal
CN113382224B (en) Interactive handle display method and device based on holographic sand table
CN103051909B (en) For the masking-out conversion tracing of human eye method of bore hole 3D display
JPH10322724A (en) Stereoscopic vision inspection device and computer readable recording medium recording stereoscopic vision inspection program
KR100400209B1 (en) Apparatus for generating three-dimensional moving pictures from tv signals
KR101779423B1 (en) Method and apparatus for processing image
JP2011176822A (en) Image processing apparatus, 3d display apparatus, and image processing method
KR101046580B1 (en) Image processing apparatus and control method
Nguyen Hoang et al. A real-time rendering technique for view-dependent stereoscopy based on face tracking
KR100272132B1 (en) Method and apparatus for reconstruction of stereo scene using vrml
CN113382225B (en) Binocular holographic display method and device based on holographic sand table
CN214756700U (en) 3D display device
JP2006042280A (en) Image processing apparatus
Higashi et al. The three-dimensional display for user interface in free viewpoint television system
KR20170123741A (en) 3d display system based on user interaction
IL166305A (en) Method for converting a sequence of monoscopic images to a sequence of stereoscopic images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 13