KR100263935B1 - Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity - Google Patents

Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity Download PDF

Info

Publication number
KR100263935B1
KR100263935B1 KR1019970077734A KR19970077734A KR100263935B1 KR 100263935 B1 KR100263935 B1 KR 100263935B1 KR 1019970077734 A KR1019970077734 A KR 1019970077734A KR 19970077734 A KR19970077734 A KR 19970077734A KR 100263935 B1 KR100263935 B1 KR 100263935B1
Authority
KR
South Korea
Prior art keywords
image
block
horizontal parallax
motion
unit
Prior art date
Application number
KR1019970077734A
Other languages
Korean (ko)
Other versions
KR19990057668A (en
Inventor
김만배
송문섭
김도균
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970077734A priority Critical patent/KR100263935B1/en
Priority to JP37430398A priority patent/JP4056154B2/en
Priority to US09/222,713 priority patent/US6314211B1/en
Priority to NL1010920A priority patent/NL1010920C2/en
Publication of KR19990057668A publication Critical patent/KR19990057668A/en
Application granted granted Critical
Publication of KR100263935B1 publication Critical patent/KR100263935B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

PURPOSE: A three dimensional image converting apparatus and method of a two dimensional continuous image is provided to produce a three dimensional image having a depth by an area of an image by converting a motion of a two dimensional image into a horizontal time difference to produce a new image. CONSTITUTION: A block motion measuring section(330) measures a motion vector with respect to each block of a current image which is divided into a block unit having a predetermined size. A horizontal time difference generator(340) obtains a horizontal time difference from a motion vector of each block according to a motion property of the current image. An image generator(350) moves each block in a horizontal direction according to each horizontal time difference to generate a combined image corresponding to the current image. An output section displays a three dimensional image having the current image and the combined image.

Description

운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법3D image conversion device and method of 2D continuous image using transformation of motion parallax into horizontal parallax

본 발명은 3차원 영상을 생성하는 장치 및 방법에 관한 것으로서, 특히 연속되는 2차원 영상의 움직임을 이용하는, 2차원 연속 영상의 3차원 영상 변환장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a 3D image, and more particularly, to an apparatus and method for converting a 2D continuous image to a 3D image using a motion of a continuous 2D image.

도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flowchart illustrating a conventional 3D image generating method using a correction time difference.

종래의 3차원 영상 생성방법중 한 방법으로서, 일본 산요(SANYO) 전기주식회사에서 개발한 수정 시간차(MTD:Modified Time Difference)를 이용한 방법이 있다. 도 1을 참조하여 간략히 설명하면, 먼저, 연속되는 2차원 영상에서 움직이는 영역이 추출된다(제100단계). 추출된 영역의 움직임 속도 및 방향이 추출된다(제110단계). 현재 영상의 움직임 속도 및 방향에 근거하여, 이전의 한 영상 프레임으로부터 지연 방향(delay direction) 및 지연 시간(delay time)이 결정된다(제120단계). 결정된 지연 방향 및 지연 시간에 따라 지연된 영상과 현재 영상이 사람의 좌/우측 눈에서 어느 측 눈에 각각 디스플레이될 것인지가 결정된다(제130단계).As one of the conventional three-dimensional image generation methods, there is a method using a modified time difference (MTD) developed by Sanyo Electric Co., Ltd., Japan. Referring briefly to FIG. 1, first, a moving region is extracted from a continuous two-dimensional image (step 100). The movement speed and direction of the extracted region are extracted (step 110). Based on the movement speed and the direction of the current image, a delay direction and a delay time are determined from a previous image frame (step 120). According to the determined delay direction and the delay time, it is determined in which eye the delayed image and the current image are to be respectively displayed in the left and right eyes of the person (step 130).

도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다. 도 2를 정확하게 설명하면, 연속되는 2차원 영상을 촬영하는 카메라가 고정되어 있고 영상내의 물체(■)가 움직이고 있을 때 좌/우측 영상을 결정하는 과정을 나타낸다. 수정 시간차를 이용한 종래의 방법에 의하면, 도 2에 도시고, 좌측 눈에 시간 지연된 영상을 보여줌으로써 사람에게 양안 시차를 제공한다. 반면, 물체(■)가 좌측으로 움직이고 있을 때, 좌측 눈에 원영상을 보여주고, 우측 눈에 시간 지연된 영상을 보여줌으로써 전술한 바와 반대의 양안 시차를 제공한다.FIG. 2 is a conceptual diagram illustrating a process of determining a left / right image in the method illustrated in FIG. 1. Referring to FIG. 2, it is a process of determining a left / right image when a camera for photographing a continuous two-dimensional image is fixed and an object (■) in the image is moving. According to the conventional method using the corrected time difference, as shown in FIG. 2, a binocular disparity is provided to a person by showing a time delayed image in the left eye. On the other hand, when the object is moving to the left, the original image is shown to the left eye and the time-delayed image is displayed to the right eye, thereby providing a binocular disparity opposite to the above.

전술한 수정 시간차를 이용한 종래의 3차원 영상 생성방법은 다음과 같은 문제점이 있다.The conventional three-dimensional image generation method using the above-described correction time difference has the following problems.

첫째, 원영상의 움직임 정보에만 근거하여 이전 프레임들중에서 한 영상을 지연된 영상으로서 선택하므로, 원영상의 영역별로 가지고 있는 다른 깊이는 무시되는 문제점이 있다. 이와 같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 된다. 예컨대, 움직이는 물체에 대해서는 입체감을 느낄 수 있지만, 화면의 배경과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.First, since one of the previous frames is selected as the delayed image based only on the motion information of the original image, another depth possessed by each area of the original image is ignored. By ignoring the different depths possessed by the regions as described above, there is no depth when viewing stereoscopic images. For example, a three-dimensional effect may be sensed for a moving object, but a three-dimensional feeling may not be felt for an object having a small movement such as a background of a screen.

두번째, 원영상과 지연된 영상간에 물체의 운동이 수직 성분을 가질 때, 수정 시간차를 이용한 종래의 방법으로 3차원 영상을 생성한다면, 수평 시차에서 깊이감을 얻는 인간의 시각 구조와의 불일치 때문에 눈의 피로감이 생기는 문제점이 있다.Second, when the motion of an object has a vertical component between the original image and the delayed image, if a three-dimensional image is generated by a conventional method using a correction time difference, eye fatigue due to inconsistency with the human visual structure that obtains a sense of depth in horizontal parallax There is a problem that occurs.

세번째, 원영상내의 물체의 움직임량이 매우 클때에 다수개의 이전 프레임들에서 어느 프레임이 지연된 영상으로서 선택되더라도, 이때의 원영상과 지연된 영상으로 생성되는 입체 영상은 시차가 크기 때문에 인간의 시차 인식의 한계를 벗어나는 문제점이 있다.Third, even when a frame is selected as a delayed image from a plurality of previous frames when the amount of motion of the object in the original image is very large, the limitation of human parallax recognition is large because the stereoscopic image generated from the original image and the delayed image is large. There is a problem outside.

본 발명이 이루고자하는 기술적 과제는, 2차원 영상의 움직임을 측정한 후에 움직임 특성에 따라 수평 시차로 변환하여 새로운 영상을 생성함으로써, 영상의 영역별로 깊이감을 가지고, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 입체감을 가지며, 또한 원영상내의 물체의 운동량이 매우 크더라도 인간의 시차로 인식가능한 3차원 영상을 생성하는, 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치를 제공하는데 있다.The technical problem to be achieved by the present invention is to measure the motion of the two-dimensional image, and then convert to horizontal parallax according to the movement characteristics to generate a new image, having a sense of depth for each area of the image, the movement of the object in the original image is a vertical component 3D image of 2D continuous image using transformation of horizontal parallax of motion parallax which produces natural 3D image and generates 3D image that can be recognized as human parallax even if the motion of object in the original image is very large To provide an inverter.

본 발명이 이루고자하는 다른 기술적 과제는, 상기 3차원 영상 변환장치가 수행하는 3차원 영상 변환방법을 제공하는데 있다.Another object of the present invention is to provide a 3D image conversion method performed by the 3D image conversion apparatus.

도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flowchart illustrating a conventional 3D image generating method using a correction time difference.

도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다.FIG. 2 is a conceptual diagram illustrating a process of determining a left / right image in the method illustrated in FIG. 1.

도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도이다.3 is a block diagram of a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention.

도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다.4 is a flowchart illustrating a 3D image conversion method of a 2D continuous image according to the present invention.

도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면이다.5 (a) and (b) are diagrams conceptually showing the principle of binocular parallax.

도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭의 수평 이동 과정을 설명하기 위한 개념도이다.6 (a) and (b) are conceptual diagrams for explaining a horizontal movement process of a block in the method shown in FIG.

상기 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부 및 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부로 구성되는 것이 바람직하다.In order to achieve the above object, a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention for converting a continuous two-dimensional image into a three-dimensional image, for each block of the current image divided by a block unit of a predetermined size Block motion measurement unit for measuring motion vectors using image frames, Horizontal parallax generator for obtaining horizontal parallaxes from the motion vectors of each block according to the motion characteristics of the current image, Moving each block in the horizontal direction according to each horizontal parallax It is preferable that the image generating unit for generating a composite image corresponding to the current image and an output unit for displaying a three-dimensional image consisting of the current image and the composite image.

상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법은, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계, (c) 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 단계, (d) 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 단계 및 (e) 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.In order to achieve the above object, the method for converting a two-dimensional continuous image according to the present invention for converting a continuous two-dimensional image into a three-dimensional image, (a) dividing the input current image into blocks of a predetermined size (B) measuring a motion vector for each block of the current image using a previous image frame, (c) obtaining horizontal parallax from the motion vector of each block according to the motion characteristics of the current image, (d (B) generating a composite image corresponding to the current image by moving each block in a horizontal direction according to each horizontal parallax, and (e) displaying a three-dimensional image composed of the current image and the composite image. .

이하, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.Hereinafter, with reference to the accompanying drawings the configuration and operation of the three-dimensional image conversion apparatus for a two-dimensional continuous image according to the present invention will be described as follows.

도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(300), 영상 블럭부(310), 이전 프레임 저장부(320), 블럭 움직임 측정부(330), 수평 시차 생성부(340), 합성 영상 생성부(350), 출력부인 좌/우측 영상 결정부(360), 제1 및 제2 디지탈-아날로그 변환기(DAC)(372 및 374)로 구성된다.3 is a block diagram of a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention, which includes an analog-to-digital converter (ADC) 300, an image block unit 310, a previous frame storage unit 320, and block motions. The measuring unit 330, the horizontal parallax generating unit 340, the composite image generating unit 350, the left and right image determining unit 360 as output units, and the first and second digital-to-analog converters (DACs) 372 and 374. It is composed of

여기서, 상기 수평 시차 생성부(340)는 수평 시차 변환부(342), 수평 시차 조정부(344) 및 움직임 특성 결정부(346)로 구성되며, 상기 합성 영상 생성부(350)는 블럭 수평 이동부(352), 블럭 합성부(354) 및 보간부(356)로 구성된다.The horizontal parallax generating unit 340 includes a horizontal parallax converting unit 342, a horizontal parallax adjusting unit 344, and a motion characteristic determiner 346, and the composite image generating unit 350 includes a block horizontal moving unit. 352, a block synthesis section 354, and an interpolation section 356.

본 발명은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, TV, VCR, CD, HDTV, DVD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하는 단안 비디오 카메라로 촬영한 2차원 연속 영상을 이용하여 3차원 영상을 생성하는 기술이다. 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는 단안 비디오 카메라로 촬영된 2차원 연속 영상에서 연속되는 두 영상간의 움직임 벡터를 측정한 후에 이로부터 수평 시차를 생성하고, 원영상으로부터 수평 시차에 따라 수평 방향으로 이동된 새로운 영상을 생성함으로써, 원영상과 새로운 영상으로 이루어진 3차원 영상을 생성한다.The present invention utilizes a two-dimensional continuous image taken with a monocular video camera that allows viewing of a stereoscopic image through a video reproducing apparatus such as a TV, a VCR, a CD, an HDTV, and a DVD without using two cameras, a stereoscopic camera. 3D image generation technology. The three-dimensional image conversion apparatus for a two-dimensional continuous image according to the present invention measures a motion vector between two consecutive images in a two-dimensional continuous image photographed by a monocular video camera, and then generates horizontal parallax therefrom, and horizontal parallax from the original image. By generating a new image moved in the horizontal direction according to the three-dimensional image consisting of the original image and the new image.

도 3을 참조하면, 아날로그-디지탈 변환기(310)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(320)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 운동이 있는 주 물체와 운동이 거의 없는 배경을 구분하여 운동을 추정하기 위함이다. 이전 프레임 저장부(320)는 영상 블럭부(310)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.Referring to FIG. 3, the analog-to-digital converter 310 inputs a continuous two-dimensional image captured by a monocular video camera through an input terminal IN, and converts an analog two-dimensional image signal into a digital signal. The image block unit 320 divides the current image converted into a digital signal into blocks of a predetermined size. Here, the predetermined size is n × n pixel size, where n is preferably 4 or 8. As such, the reason for blocking the image is to estimate the motion by distinguishing the main object having motion in the image and the background with little motion. The previous frame storage 320 stores a previous image frame of the current image blocked by the image block 310.

블럭 움직임 측정부(330)는 영상 블럭부(310)로부터 블럭화된 현재 영상을 입력하고, 이전 프레임 저장부(320)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(330)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 각 상응하는 블럭을 이용하여 움직임의 양 및 방향 즉, 움직임 벡터를 측정한다.The block motion measuring unit 330 inputs the current image blocked from the image block unit 310, and inputs a previous image frame from the previous frame storage unit 320. The block motion estimator 330 measures the amount and direction of the motion, that is, the motion vector, for each block of the current image divided into blocks of a predetermined size, using each corresponding block of the previous image frame.

수평 시차 생성부(340)는 블럭 움직임 측정부(330)에서 각 블럭의 움직임 벡터가 측정된 현재 영상을 입력하여, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는다.The horizontal parallax generating unit 340 inputs the current image in which the motion vectors of each block are measured by the block motion measuring unit 330, and obtains horizontal parallax from the motion vectors of each block according to the motion characteristics of the current image.

구체적으로, 수평 시차 변환부(342)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터를 시차값으로 변환한다. 본 발명은 움직임 벡터의 크기를 계산하고, 계산된 값을 시차값으로 간주하는 간단한 변환 방법을 사용한다. 여기서, 시차값은 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 수평 시차에 해당한다.In detail, the horizontal parallax converter 342 converts the motion vector of each block measured by the block motion measurer 330 into a parallax value. The present invention uses a simple transformation method that calculates the magnitude of the motion vector and regards the calculated value as a parallax value. Here, the parallax value corresponds to a horizontal parallax caused by two images when the synthesized image to be generated later and the current image are displayed as a 3D image in pairs.

수평 시차 조정부(344)는 소정의 제어신호에 응답하여 수평 시차 변환부(342)에서 변환된 각 블럭의 수평 시차를 조정한다. 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 수평 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다.The horizontal parallax adjustment unit 344 adjusts the horizontal parallax of each block converted by the horizontal parallax conversion unit 342 in response to a predetermined control signal. The reason for adjusting the horizontal parallax as described above is to generate a three-dimensional image recognizable as human parallax by adjusting the horizontal parallax according to the movement of the camera photographing the current image and the movement of the main object in the current image.

구체적으로, 수평 시차 조정부(344)는 소정의 제어신호에 응답하여 상기 수평 시차를 최대 수평 시차값에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 출력하거나, 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력한다. 여기서, 최대 수평 시차값은 블럭 움직임 측정부(330)에서 결정되는 값이다. 또한, 수평 시차 조정부(344)는 수평 시차를 조정하기 전에, 각 블럭의 수평 시차를 소정의 최대 시차값을 초과하지 않도록 스케일링한다.In detail, the horizontal parallax adjusting unit 344 subtracts the horizontal parallax from the maximum horizontal parallax value in response to a predetermined control signal, and outputs the subtracted result as the horizontal parallax of each block, or in the horizontal parallax converting unit 342. Outputs the horizontal parallax output as it is. Here, the maximum horizontal parallax value is a value determined by the block motion measurement unit 330. In addition, the horizontal parallax adjustment unit 344 scales the horizontal parallax of each block so as not to exceed a predetermined maximum parallax value before adjusting the horizontal parallax.

움직임 특성 결정부(346)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터로부터 현재 영상의 움직임 특성을 결정하고, 결정된 결과에 따라 상기 제어신호를 발생한다. 구체적으로, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 움직임의 크기를 소정의 기준치와 비교하고, 전체 움직임이 기준치보다 클 경우에 상기 제어신호를 발생한다.The motion characteristic determiner 346 determines the motion characteristic of the current image from the motion vectors of each block measured by the block motion measurer 330, and generates the control signal according to the determined result. Specifically, the motion vector of each block is analyzed to compare the magnitude of motion of the current image with a predetermined reference value, and the control signal is generated when the total motion is larger than the reference value.

여기서, 소정의 기준치는 현재 영상을 촬영한 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다. 카메라가 움직임이 있다는 것은 영상내에 배경이 움직인다고 볼 수 있으므로, 영상내에 배경 및 주 대상 물체가 움직일 때에 전체 움직임은 거의 없게 된다. 따라서, 이때에 수평 시차 조정부(344)는 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력하고, 그 밖에 경우에 대해서는 최대 수평 시차값에서 감산된 값을 출력한다.Here, the predetermined reference value represents the magnitude of the total motion when the camera that captured the current image moves and the main object in the current image moves. The movement of the camera can be seen that the background moves in the image, so that when the background and the main object move in the image, there is almost no overall movement. Therefore, at this time, the horizontal parallax adjusting unit 344 outputs the horizontal parallax output from the horizontal parallax converting unit 342 as it is, and otherwise outputs a value subtracted from the maximum horizontal parallax value.

영상 생성부(350)는 수평 시차 생성부(340)에서 각 블럭의 수평 시차를 갖는 현재 영상을 입력하고, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성한다.The image generator 350 inputs the current image having the horizontal parallax of each block in the horizontal parallax generator 340, and moves each block in the horizontal direction according to the horizontal parallax to produce a composite image corresponding to the current image. Create

구체적으로, 블럭 수평 이동부(352)는 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시킨다. 블럭 합성부(354)는 블럭 수평 이동부(352)에서 이동된 각 블럭을 합성하여 합성 영상을 생성한다. 합성 영상 보간부(356)는 블럭 합성부(354)에서 생성된 합성 영상에서 현재 영상의 각 블럭에 의해 채워지지 않은 영역을 보간한다.Specifically, the block horizontal moving unit 352 moves the positions of all blocks in the current image in the right horizontal direction by the horizontal parallax of each block. The block synthesizing unit 354 synthesizes each block moved by the block horizontal moving unit 352 to generate a synthesized image. The synthesized image interpolator 356 interpolates an area not filled by each block of the current image in the synthesized image generated by the block synthesizer 354.

출력부에 해당하는 좌/우측 영상 결정부(360)는 영상 생성부(350)로부터 합성 영상을 입력하고, 아날로그-디지탈 변환기(300)로부터 현재 영상을 입력하여, 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이한다. 이때, 좌/우측 영상 결정부(360)는 현재 영상과 합성 영상중에서 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에 디스플레이되고, 우측 영상신호는 사람의 우측 눈에 디스플레이된다.The left / right image determination unit 360 corresponding to the output unit inputs a composite image from the image generating unit 350, inputs a current image from the analog-to-digital converter 300, and includes a current image and a composite image. Display the 3D image. At this time, the left / right image determination unit 360 outputs one of the current image and the composite image as the left image signal, and outputs the other as the right image signal. These signals are converted into analog video signals via first and second digital-to-analog converters 372 and 374, respectively, and displayed through output terminals OUT1 and OUT2, where the left video signal is displayed in the left eye of a person and the right video. The signal is displayed in the human right eye.

기본적으로, 좌/우측 영상 결정부(360)는 양안 시차중에서도 양의 시차에 근거하여 현재 영상을 좌측 눈에, 합성 영상을 우측 눈에 디스플레이한다. 이러한 디스플레이 방식은 제한되지 않으며, 합성 영상을 생성할 시에 수평 이동 방법과, 깊이감을 주고자 하는 방향이 음인가 양인가에 따라 달라질 수 있다.Basically, the left / right image determiner 360 displays the current image in the left eye and the synthesized image in the right eye based on the positive parallax even during binocular disparity. Such a display method is not limited and may vary depending on a horizontal movement method and a direction to give a sense of depth when generating a composite image.

예컨대, 블럭 수평 이동부(352)에서 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 좌측 수평 방향으로 이동시키면, 음의 시차에 근거하여 현재 영상과 합성 영상이 디스플레이된다. 그러나, 입체감을 크게 하기 위해 음의 시차를 많이 주게 되면, 사람이 눈의 피로를 느끼게 되므로 음의 시차의 영상을 장시간동안 디스플레이하기는 힘들다. 따라서, 본 발명에서는 양의 시차로 디스플레이하는 것을 기본으로 한다.For example, when the block horizontal moving unit 352 moves the positions of all the blocks in the current image to the left horizontal direction by the horizontal parallax of each block, the current image and the synthesized image are displayed based on the negative parallax. However, when a large amount of negative parallax is given to increase the three-dimensional effect, it is difficult to display an image of the negative parallax for a long time because a person feels tired eyes. Therefore, the present invention is based on displaying with a positive parallax.

전술한 바에 의하면, 본 발명은 양안 시차를 이용한 스테레오 기술에 속한다. 여기서, 본 발명의 이해를 돕기 위해 양안 시차의 원리를 간략하게 설명한다.As described above, the present invention belongs to a stereo technology using binocular parallax. Here, the principle of binocular parallax will be briefly described to help the understanding of the present invention.

도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면으로서, 도 5 (a)는 양의 시차를, 도 5 (b)는 음의 시차를 각각 나타낸다. 도 5 (a) 및 (b)에서, 화면상에 두 영상 즉, 원영상과 새로운 영상을 디스플레이하면 각각의 영상은 사람의 우측 눈과 좌측 눈에 비춰지게 된다. 화면상에 두 영상의 대응점인 a와 a'는 두 눈의 위치인 b와 b'에 대응하지만, 사람은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 된다. 즉, 이때 사람이 화면상에 물체가 있다고 실제로 인식하는 위치는 도 5 (a) 및 (b)에서 P의 위치이다. 점 P의 위치는 삼각형 △Paa'와 △Pbb'가 닮은꼴이므로, 비례식에 의해 쉽게 구할 수 있다.5 (a) and 5 (b) conceptually illustrate the principle of binocular parallax, and FIG. 5 (a) shows a positive parallax, and FIG. 5 (b) shows a negative parallax, respectively. In FIGS. 5A and 5B, when displaying two images on the screen, that is, an original image and a new image, each image is displayed on the right and left eyes of a person. The correspondence points a and a 'of the two images on the screen correspond to the positions b and b' of the two eyes, but the person perceives that the correspondence points of the two images are at the point P. That is, at this time, the position where a person actually recognizes that there is an object on the screen is the position of P in FIGS. 5 (a) and 5 (b). The position of the point P is similar in shape to the triangles ΔPaa 'and ΔPbb', and can be easily obtained by a proportional expression.

따라서, 시차가 있는 두 영상 즉, 원영상과 새로운 영상으로 이루어진 3차원 영상을 화면상에 디스플레이하면, 사람은 깊이감을 인식할 수 있다. 도 2 (a)와 같은 양의 시차의 경우에, 사람은 점 P의 위치가 화면 뒤에 있는 것으로 인식하며, 도 2 (b)와 같은 음의 시차의 경우에, 사람은 점 P의 위치가 화면 앞에 있는 것으로 인식하게 된다.Therefore, when a three-dimensional image composed of two parallax images, that is, an original image and a new image, is displayed on the screen, a person can recognize a sense of depth. In the case of positive parallax as shown in FIG. 2 (a), the person perceives that the position of the point P is behind the screen, and in the case of negative parallax as shown in FIG. It is perceived as being ahead.

본 발명에서 생성된 새로운 영상은 원영상으로부터 수평 시차만큼 수평 방향으로 이동된 영상이다. 따라서, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상이 생성된다.The new image generated in the present invention is an image moved in the horizontal direction by the horizontal parallax from the original image. Therefore, even if the motion of the object in the original image has a vertical component, a natural stereo image is generated.

도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다. 도 4를 참조하여 도 3에 도시된 장치가 수행하는 본 발명에 의한 3차원 영상 변환방법을 설명한다.4 is a flowchart illustrating a 3D image conversion method of a 2D continuous image according to the present invention. A method of converting a 3D image according to the present invention performed by the apparatus shown in FIG. 3 will be described with reference to FIG. 4.

먼저, 연속되는 아날로그 형태의 2차원 영상신호는 아날로그-디지탈 변환기(300)를 통해 디지탈 신호로 변환된다(제400단계). 다음에, 디지탈 신호로 변환된 현재 영상은 영상 블럭부(310)를 통해 소정 크기의 블럭 단위로 분할된다(제410단계). 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다.First, the continuous two-dimensional image signal of the analog form is converted into a digital signal through the analog-to-digital converter 300 (step 400). Next, the current image converted into the digital signal is divided into block units having a predetermined size through the image block unit 310 (operation 410). Here, the predetermined size is n × n pixel size, where n is preferably 4 or 8.

제410단계 후에, 이전 영상 프레임 저장부(320)에 저장된 이전 영상 프레임을 이용하여, 현재 영상의 각 블럭에 대해 움직임의 양과 방향 즉, 움직임 벡터가 블럭 움직임 측정부(330)를 통해 측정된다(제420단계). 연속되는 두 영상간의 움직임 벡터를 측정하기 위한 방법으로서 공지의 광류(optical flow) 측정법 또는 엠펙(MPEG:Motion Picture Coding Experts Group)I,II에서 사용되는 블럭 매칭 방법등을 사용한다. 또한 빠른 처리속도를 위해서, 블럭 매칭 방법중에서도 계산량이 작은 PHODS(Parallel heirarchical one-dimensional search)방법을 사용할 수도 있다.After operation 410, using the previous image frame stored in the previous image frame storage 320, the amount and direction of the motion, ie, the motion vector, for each block of the current image is measured by the block motion measuring unit 330 ( Step 420). As a method for measuring a motion vector between two consecutive images, a known optical flow measurement method or a block matching method used in MPEG (Motion Picture Coding Experts Group) I, II is used. Also, for fast processing speed, a parallel heirarchical one-dimensional search (PHODS) method may be used even in a block matching method.

제420단계에서 현재 영상의 각 블럭에 대한 움직임 벡터가 측정되면, 수평 시차 생성부(340)를 통해 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차가 얻어진다(제430단계).When the motion vector of each block of the current image is measured in operation 420, the horizontal parallax is obtained from the motion vector of each block according to the motion characteristics of the current image through the horizontal parallax generating unit 340 (operation 430).

제430단계는 구체적으로 다음 단계들로 구성된다. 먼저, 제420단계에서 측정된 각 블럭의 움직임 벡터가 수평 시차 변환부(342)를 통해 수평 시차로 변환된다(제432단계). 수평 시차를 구하는 방법으로서 움직임 벡터의 크기를 계산하고, 계산된 값을 수평 시차로 간주하는 간단한 방법을 사용한다. 여기서, 수평 시차는 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 시차에 해당한다. 다음 수학식 1은 각 블럭의 수평 시차(px)를 구하는 계산식을 나타낸다.Specifically, step 430 includes the following steps. First, the motion vector of each block measured in step 420 is converted into horizontal parallax through the horizontal parallax converter 342 (step 432). As a method of calculating the horizontal parallax, a simple method of calculating the magnitude of the motion vector and considering the calculated value as the horizontal parallax is used. Here, the horizontal parallax corresponds to a parallax caused by two images when the synthesized image to be generated later and the current image are displayed as a 3D image in pairs. Equation 1 shows a calculation equation for obtaining the horizontal parallax (px) of each block.

Figure kpo00000
Figure kpo00000

수학식 1에서와 같이, 수평 시차(px)는 움직임 벡터 (Vx,Vy)의 크기이다.As in Equation 1, the horizontal parallax (px) is the magnitude of the motion vector (V x , V y ).

다음에, 움직임 특성 결정부(346)를 통해 현재 영상의 움직임 특성이 결정된다(제434단계). 움직임 특성으로 결정하는 한 방법으로서, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 비교한 결과를 현재 영상의 움직임 특성으로서 간주한다. 여기서, 소정의 기준치는 현재 영상을 촬영하는 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다.Next, the motion characteristic of the current image is determined by the motion characteristic determiner 346 (step 434). As a method of determining the motion characteristic, the motion vector of each block is analyzed to compare the magnitude of the entire motion of the current image with a predetermined reference value, and the result of the comparison is regarded as the motion characteristic of the current image. Here, the predetermined reference value indicates the magnitude of the entire movement when the camera capturing the current image moves and the main object in the current image moves.

다음에, 제432단계에서 얻어진 수평 시차가 수평 시차 조정부(344)를 통해 현재 영상의 움직임 특성에 따라 조정된다(제436단계). 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다. 수평 시차를 조정하는 한 방법으로서, 현재 영상의 전체 움직임이 소정의 기준치이하이면, 제432단계에서 얻어진 원래의 수평 시차를 그대로 유지하고, 소정의 기준치보다 크면, 제432단계에서 얻어진 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 대치한다.Next, the horizontal parallax obtained in step 432 is adjusted according to the motion characteristic of the current image through the horizontal parallax adjustment unit 344 (step 436). The reason for adjusting the horizontal parallax as described above is to generate a three-dimensional image recognizable as human parallax by adjusting the parallax according to the movement of the camera photographing the current image and the movement of the main object in the current image. As a method of adjusting the horizontal parallax, if the entire motion of the current image is less than or equal to a predetermined reference value, the original horizontal parallax obtained in step 432 is maintained as it is, and if it is larger than the predetermined reference value, the horizontal parallax obtained in step 432 is maximized. Subtract from the horizontal parallax and replace the subtracted result as the horizontal parallax of each block.

여기서, 최대 수평 시차는 제420단계에서 결정되는 값이다. 또한, 제436단계에서 수평 시차를 조정하기 전에, 각 블럭의 수평 시차는 소정의 최대 시차값을 초과하지 않도록 스케일링된다. 다음 수학식 2는 후자의 경우에 수평 시차(px)를 구하는 계산식을 나타낸다.Here, the maximum horizontal parallax is a value determined in step 420. Further, before adjusting the horizontal parallax in step 436, the horizontal parallax of each block is scaled so as not to exceed a predetermined maximum parallax value. Equation 2 shows a calculation formula for calculating the horizontal parallax (px) in the latter case.

Figure kpo00001
Figure kpo00001

수학식 2에서, pxmax는 블럭 움직임 측정부(330)에서 결정되는 값이다.In Equation 2, px max is a value determined by the block motion measurement unit 330.

다시 도 4를 참조하여 제430단계 후에, 현재 영상의 각 블럭은 영상 생성부(350)를 통해 각각의 수평 시차에 따라 수평 방향으로 이동됨으로써 현재 영상에 대응한 합성 영상이 생성된다(제440단계).Referring back to FIG. 4, after operation 430, each block of the current image is moved in the horizontal direction according to each horizontal parallax through the image generator 350 to generate a composite image corresponding to the current image (operation 440). ).

제440단계는 구체적으로 다음 단계들로 구성된다. 먼저, 현재 영상내에서의 모든 블럭의 위치는 블럭 수평 이동부(352)를 통해 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동된다(제442단계). 제442단계에서 수평 이동된 모든 블럭의 화소 데이타가 블럭 합성부(354)를 통해 합성되어 합성 영상이 생성된다(제444단계).Step 440 is specifically composed of the following steps. First, the positions of all blocks in the current image are moved to the right horizontal direction by the horizontal parallax of each block through the block horizontal moving unit 352 (step 442). The pixel data of all the blocks horizontally shifted in step 442 is synthesized through the block synthesizing unit 354 to generate a synthesized image (step 444).

도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭 수평 이동 과정을 설명하기 위한 개념도로서, 도 6 (a)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 클 경우에 블럭 수평 이동을, 도 6 (b)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 작을 경우에 블럭 수평 이동을 각각 나타낸다. 도면에서, ●는 블럭내 픽셀의 위치를 표시하며, (Bi,pxi)는 i번째 블럭의 수평 시차(pxi)를 표시한다. 또한, 설명을 간단히 하기 위해, 각 블럭이 예컨대 8×8 픽셀 크기로 구성될 경우에, 하나의 스캔 라인만을 예로 하였다.6 (a) and 6 (b) are conceptual diagrams for explaining a block horizontal movement process in the method shown in FIG. 4, and FIG. 6 (a) shows that the horizontal parallax (px 1 ) of the first block B 1 is moved. and then the horizontal parallax of the block (B 2) which is moved (px 2) block the horizontal parallax (px 1) of the blocks (B 1) which is moved first to block the horizontal movement in the case is large, Fig. 6 (b) than that following movement It represents (B 2) to block the horizontal movement is less than the horizontal parallax (px 2), respectively. In the figure,? Denotes the position of the pixel in the block, and (B i , px i ) denote the horizontal parallax pxi of the i-th block. In addition, for the sake of simplicity, only one scan line is taken as an example when each block is composed of, e.g., 8 x 8 pixels.

도 6 (a)에서 수평 시차(px1)가 수평 시차(px2)보다 클 경우에, 예컨대 수평 시차(px1)가 3이고 수평 시차(px2)가 1이라고 하면, 블럭(B1)의 모든 픽셀들은 먼저 3만큼 수평 이동된다. 반면, 블럭(B2)의 경우에는 세번째 픽셀부터 1만큼 수평 이동된다. 즉, 블럭(B2)의 경우에 처음 두개의 픽셀들은 이동되지 않는다. 도 6 (b)에서 수평 시차(px1)가 수평 시차(px2)보다 작을 경우에, 예컨대 수평 시차(px1)가 1이고 수평 시차(px2)가 3이라고 하면, 블럭(B1)과 블럭(B2)의 모든 픽셀들은 각각 1과 3만큼 수평 이동된다. 그러나, 도 6(b)에 도시된 바와 같이, 블럭(B1)과 블럭(B2)은 수평 시차가 다르므로, 블럭(B1)이 채워진 다음에 3개의 픽셀들이 채워지지 않은 채로, 블럭(B2)이 채워지게 되고, 비어 있는 픽셀들이 발생한다.In FIG. 6 (a), when the horizontal parallax (px 1 ) is greater than the horizontal parallax (px 2 ), for example, when the horizontal parallax (px 1 ) is 3 and the horizontal parallax (px 2 ) is 1, the block B 1 All pixels of are first horizontally shifted by three. On the other hand, in the case of block B 2 , it is horizontally moved by one from the third pixel. That is, in the case of block B 2 , the first two pixels are not moved. In FIG. 6 (b), when the horizontal parallax (px 1 ) is smaller than the horizontal parallax (px 2 ), for example, when the horizontal parallax (px 1 ) is 1 and the horizontal parallax (px 2 ) is 3, the block B 1 All pixels of and blocks B 2 are horizontally shifted by 1 and 3, respectively. However, as shown in FIG. 6 (b), since the block B 1 and the block B 2 have different horizontal parallaxes, the block B 1 is filled and then the three pixels are not filled after the block B 1 is filled. (B 2 ) is filled and empty pixels are generated.

제444단계 후에, 전술한 바와 같이 블럭 수평 이동 과정을 거쳐 합성된 합성 영상에서 각 블럭에 의해 채워지지 않은 영역이 보간부(356)를 통해 보간된다(제446단계). 즉, 합성 영상은 현재 영상의 각 블럭이 다른 수평 시차에 따라 수평 이동되었기 때문에, 도 6 (b)와 같이 비어 있는 픽셀들이 발생할 수 있다. 빈 픽셀들에 적당한 픽셀값을 부여하는 보간 방법으로는 여러가지 방법이 사용될 수 있는데, 선형(linear) 보간법, 쌍선형(bilinear) 보간법, 가중(weighted) 보간법등이 있다. 또한, 가장 간단한 방법으로서, 빈 픽셀들을 가장 가까이 있는 왼쪽 또는 오른쪽에 채워진 픽셀들의 값으로 동일하게 채우는 것이다. 도 6 (b)를 참조하면, 픽셀(a1) 또는 픽셀(a2)의 값을 이용한다. 본 발명에서는 계산량이 가장 적은 이 방법을 사용하였다.After operation 444, an area not filled by each block in the synthesized image synthesized through the block horizontal movement process as described above is interpolated through the interpolator 356 (operation 446). That is, since each block of the current image is horizontally shifted according to different horizontal parallaxes, empty pixels may occur as shown in FIG. 6B. Various methods may be used as interpolation methods for assigning an appropriate pixel value to empty pixels, such as linear interpolation, bilinear interpolation, and weighted interpolation. In addition, the simplest method is to fill the empty pixels equally with the value of the pixels filled to the nearest left or right. Referring to FIG. 6B, the value of the pixel a 1 or the pixel a 2 is used. In this invention, this method with the smallest calculation amount was used.

다시 도 4를 참조하여 제440단계 후에, 현재 영상과 합성 영상을 한 쌍으로 하는 3차원 영상을 디스플레이하기 위해서, 좌/우측 영상 결정부(360)를 통해 좌/우측 영상이 결정된다(제450단계). 현재 영상과 합성 영상중에서 하나는 좌측 눈에 디스플레이되고, 다른 하나는 우측 눈에 디스플레이됨으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다. 마지막으로, 이들 영상은 디지탈 신호이므로, 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 각각 아날로그 신호로 변환되어 디스플레이된다(제460단계). 참고로, 전술한 과정을 거쳐 모니터등의 디스플레이 수단에 디스플레이된 3차원 영상을 감상하기 위해서는 3차원 영상과 동기시켜주는 입체 안경이 또한 필요하다.Referring back to FIG. 4, after step 440, a left / right image is determined by the left / right image determiner 360 to display a 3D image which is a pair of the current image and the synthesized image (450). step). One of the current image and the synthesized image is displayed in the left eye, and the other is displayed in the right eye, so that a person feels a three-dimensional effect by the principle of binocular disparity. Finally, since these images are digital signals, they are converted into an analog signal and displayed through the first and second digital-to-analog converters 372 and 374, respectively (step 460). For reference, in order to view the three-dimensional image displayed on the display means such as a monitor through the above-described process, the stereoscopic glasses synchronized with the three-dimensional image is also required.

영상의 깊이는 움직임의 양과 관계가 있다. 카메라가 움직이고 촬상 화면의 움직이 없을 때, 움직임의 양은 영상의 깊이와 반비례한다. 또한, 가까운 물체는 움직임이 크고 먼 물체는 상대적으로 움직임이 작으며, 카메라가 고정되어 있고 영상내에 움직이는 물체가 있을 때, 가까운 물체는 빨리 움직이고 먼 물체는 천천히 움직인다. 본 발명에서는 이 원리를 적용하여 제450단계에서 좌/우측 영상을 결정할 경우에, 양의 시차 및 음의 시차에 따라 다르게 수행된다.The depth of the image is related to the amount of movement. When the camera is moving and the image is not moving, the amount of movement is inversely proportional to the depth of the image. Also, near objects move large and far objects move relatively small. When the camera is fixed and there is a moving object in the image, the near object moves fast and the far object moves slowly. In the present invention, when the left and right images are determined in operation 450 by applying the principle, the present invention is performed differently according to the positive parallax and the negative parallax.

이상에서 설명한 바와 같이, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은, 영상의 영역별로 깊이감을 가지고, 종래의 기술로는 해결하지 못하는 카메라의 움직임 및 영상내 물체의 수직 운동 및 빠른 운동이 발생하더라도 자연스러운 입체감을 가지며, 인간의 시차로 인식가능한 3차원 영상을 생성하는 이점이 있다.As described above, the three-dimensional image conversion apparatus and method of the two-dimensional continuous image according to the present invention has a sense of depth for each region of the image, the movement of the camera and the vertical movement of the object in the image that cannot be solved by the conventional technology And even if a rapid movement occurs has a natural three-dimensional sense, there is an advantage to generate a three-dimensional image that can be recognized by human parallax.

또한, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, 단안 비디오 카메라로 촬영한 2차원 영상을 이용하여 3차원 영상을 생성하므로, TV,VCR,DVD,HDTV,CD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하고, 내시경, 초음파를 이용한 의료 분야에도 적용하여 입체로 영상을 판독하게 함으로써 진단 효율을 향상시키고, 이러한 응용분야이외에도, 입체로 애니메이션을 만드는 엔터테인먼트 분야를 포함하여 많은 영역에서 적용되기 용이한 이점이 있다.In addition, the apparatus and method for converting a two-dimensional continuous image according to the present invention generates a three-dimensional image by using a two-dimensional image captured by a monocular video camera without using two cameras, that is, a three-dimensional camera. It is possible to watch stereoscopic images through image reproducing devices such as TV, VCR, DVD, HDTV, CD, etc., and it can be applied to medical field using endoscope and ultrasound to read stereoscopic images to improve diagnostic efficiency. In addition, there is an advantage that can be easily applied in many areas, including the entertainment field for creating three-dimensional animation.

Claims (17)

연속되는 2차원 영상을 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환장치에 있어서,In the three-dimensional image conversion apparatus of a two-dimensional continuous image for converting a continuous two-dimensional image into a three-dimensional image, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부;A block motion measuring unit for measuring a motion vector for each block of the current image divided into blocks of a predetermined size using a previous image frame; 상기 현재 영상의 움직임 특성에 따라 상기 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부;A horizontal parallax generating unit obtaining horizontal parallaxes from the motion vectors of the respective blocks according to the motion characteristics of the current image; 상기 각 블럭을 각각의 상기 수평 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부; 및An image generating unit for generating a composite image corresponding to the current image by moving the blocks in a horizontal direction according to each horizontal parallax; And 상기 현재 영상과 상기 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And an output unit configured to display a three-dimensional image including the current image and the composite image. 제1항에 있어서, 상기 수평 시차 생성부는,The method of claim 1, wherein the horizontal parallax generating unit, 상기 블럭 움직임 측정부에서 측정된 상기 각 블럭의 움직임 벡터를 수평 시차로 변환하는 수평 시차 변환부;A horizontal parallax converter which converts the motion vector of each block measured by the block motion measuring unit into horizontal parallax; 상기 수평 시차 변환부에서 변환된 상기 수평 시차를 소정의 제어신호에 응답하여 조정하는 수평 시차 조정부; 및A horizontal parallax adjustment unit that adjusts the horizontal parallax converted by the horizontal parallax conversion unit in response to a predetermined control signal; And 상기 각 블럭의 움직임 벡터로부터 상기 현재 영상의 움직임 특성을 결정하고, 결정된 결과에 따라 상기 제어신호를 발생하는 움직임 특성 결정부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a motion characteristic determiner configured to determine a motion characteristic of the current image from the motion vectors of the respective blocks, and to generate the control signal according to the determined result. 제2항에 있어서, 상기 수평 시차 변환부는,The method of claim 2, wherein the horizontal parallax converter, 상기 움직임 벡터의 크기를 계산하고, 계산된 값을 상기 수평 시차로서 간주하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And calculating the magnitude of the motion vector and considering the calculated value as the horizontal parallax. 제2항에 있어서, 상기 수평 시차 조정부는,The method of claim 2, wherein the horizontal parallax adjustment unit, 상기 수평 시차 변환부에서 변환된 상기 수평 시차를 그대로 출력하거나, 상기 제어신호에 응답하여 상기 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 상기 각 블럭의 수평 시차로서 출력하며,Outputting the horizontal parallax converted by the horizontal parallax converting unit as it is, or subtracting the horizontal parallax from the maximum horizontal parallax in response to the control signal, and outputting the subtracted result as the horizontal parallax of each block, 상기 최대 수평 시차는 상기 블럭 움직임 측정부에서 결정되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And the maximum horizontal parallax is determined by the block motion measurement unit. 제2항에 있어서, 상기 움직임 특성 결정부는,The method of claim 2, wherein the movement characteristic determiner, 상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 상기 전체 움직임이 상기 기준치보다 클 경우에 상기 제어 신호를 발생하며,Analyzing the motion vector of each block to compare the magnitude of the entire motion of the current image with a predetermined reference value, and generate the control signal when the total motion is greater than the reference value, 상기 소정의 기준치는 상기 현재 영상을 촬영하는 카메라가 움직이고 상기 현재 영상내 주 대상 물체가 움직일 때에 상기 전체 움직임의 크기를 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And the predetermined reference value represents the magnitude of the total motion when the camera capturing the current image moves and the main object in the current image moves. 제1항에 있어서, 상기 영상 생성부는,The method of claim 1, wherein the image generating unit, 상기 현재 영상내에서의 상기 모든 블럭의 위치를 상기 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시키는 블럭 수평 이동부; 및A block horizontal moving unit which moves the positions of all the blocks in the current image in the right horizontal direction by the horizontal parallax of the respective blocks; And 상기 블럭 수평 이동부에서 이동된 모든 블럭을 합성하여 상기 합성 영상을 생성하는 블럭 합성부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a block synthesizing unit for synthesizing all the blocks moved by the block horizontal moving unit to generate the synthesized image. 제6항에 있어서, 상기 영상 생성부는,The method of claim 6, wherein the image generating unit, 상기 블럭 합성부에서 생성된 상기 합성 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 블럭 보간부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a block interpolation unit which interpolates regions not filled by all the blocks in the synthesized image generated by the block synthesizing unit. 제1항에 있어서, 상기 출력부는,The method of claim 1, wherein the output unit, 상기 현재 영상과 상기 합성 영상중에 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력하는 좌/우측 영상 결정부를 구비하고,A left / right image determination unit configured to output one of the current image and the composite image as a left image signal and output the other as a right image signal; 상기 좌측 영상신호는 좌측 눈에 디스플레이되고, 상기 우측 영상신호는 우측 눈에 디스플레이되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And the left image signal is displayed in the left eye, and the right image signal is displayed in the right eye. 제1항에 있어서, 상기 3차원 영상 변환장치는,The apparatus of claim 1, wherein the 3D image converter is 상기 현재 영상을 상기 소정 크기의 블럭 단위로 분할하여 상기 블럭 움직임 측정부로 출력하는 영상 블럭부; 및An image block unit dividing the current image into block units having a predetermined size and outputting the divided image to the block motion measurement unit; And 상기 이전 영상 프레임을 저장하고, 상기 블럭 움직임 측정부로 출력하는 이전 프레임 저장부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a previous frame storage unit for storing the previous image frame and outputting the previous image frame to the block motion measurement unit. 연속되는 2차원 영상을 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환방법에 있어서,In the three-dimensional image conversion method of a two-dimensional continuous image for converting a continuous two-dimensional image to a three-dimensional image, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계;(a) dividing the input current image into block units having a predetermined size; (b) 상기 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계;(b) measuring a motion vector for each block of the current image by using a previous image frame; (c) 상기 현재 영상의 움직임 특성에 따라 상기 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 단계;(c) obtaining horizontal parallax from a motion vector of each block according to a motion characteristic of the current image; (d) 상기 각 블럭을 각각의 상기 수평 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 합성 영상을 생성하는 단계; 및(d) generating a composite image corresponding to the current image by moving each block in a horizontal direction according to each horizontal parallax; And (e) 상기 현재 영상과 상기 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.and (e) displaying a three-dimensional image composed of the current image and the composite image. 제10항에 있어서, 상기 (c) 단계는,The method of claim 10, wherein step (c) comprises: (c1) 상기 각 블럭의 움직임 벡터를 수평 시차로 변환하는 단계;(c1) converting the motion vector of each block into horizontal parallax; (c2) 상기현재 영상의 움직임 특성을 결정하는 단계; 및(c2) determining a motion characteristic of the current image; And (c3) 상기 움직임 특성에 따라 상기 수평 시차를 조정하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.and (c3) adjusting the horizontal parallax according to the movement characteristic. 제11항에 있어서, 상기 (c1) 단계는,The method of claim 11, wherein step (c1), 상기 움직임 벡터의 크기를 계산하고, 계산된 값을 상기 수평 시차로서 얻는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.Calculating a magnitude of the motion vector and obtaining the calculated value as the horizontal parallax. 제11항에 있어서, 상기 (c2) 단계는,The method of claim 11, wherein step (c2), 상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 비교한 결과를 상기 움직임 특성으로서 간주하며,Analyzes the motion vector of each block, compares the magnitude of the entire motion of the current image with a predetermined reference value, and considers the result of the comparison as the motion characteristic, 상기 소정의 기준치는 상기 현재 영상을 촬영하는 카메라가 움직이고 상기 현재 영상내 주 대상 물체가 움직일 때에 상기 전체 움직임의 크기를 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.And wherein the predetermined reference value represents the magnitude of the total motion when the camera capturing the current image moves and the main object in the current image moves. 제13항에 있어서, 상기 (c3) 단계는,The method of claim 13, wherein step (c3), 상기 현재 영상의 전체 움직임이 소정의 기준치이하이면, 상기 (c1) 단계에서 얻은 상기 수평 시차를 그대로 출력하는 단계; 및Outputting the horizontal parallax obtained in the step (c1) as it is if the total motion of the current image is less than or equal to a predetermined reference value; And 상기 소정의 기준치보다 크면, 상기 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 상기 각 블럭의 수평 시차로서 출력하는 단계를 구비하며,Subtracting the horizontal parallax from the maximum horizontal parallax if the value is larger than the predetermined reference value, and outputting the subtracted result as the horizontal parallax of each block, 상기 최대 수평 시차는 상기 (b) 단계에서 결정되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.The maximum horizontal parallax is determined in the step (b) 3D image conversion method of a two-dimensional continuous image. 제10항에 있어서, 상기 (d) 단계는,The method of claim 10, wherein step (d) (d1) 상기 현재 영상내에서의 상기 모든 블럭의 위치를 상기 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시키는 단계; 및(d1) moving the positions of all the blocks in the current image in the right horizontal direction by the horizontal parallax of each of the blocks; And (d2) 이동된 모든 블럭을 합성하여 상기 합성 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.and (d2) synthesizing all moved blocks to generate the synthesized image. 제15항에 있어서, 상기 (d) 단계는,The method of claim 15, wherein step (d) 상기 합성 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.And interpolating an area not filled by all the blocks in the composite image. 제12항에 있어서, 상기 (e) 단계는,The method of claim 12, wherein step (e) 상기 현재 영상과 상기 합성 영상중에서 하나를 좌측 눈에 디스플레이하고, 다른 하나를 우측 눈에 디스플레이하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.And displaying one of the current image and the synthesized image in the left eye and displaying the other in the right eye.
KR1019970077734A 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity KR100263935B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019970077734A KR100263935B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity
JP37430398A JP4056154B2 (en) 1997-12-30 1998-12-28 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method
US09/222,713 US6314211B1 (en) 1997-12-30 1998-12-29 Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
NL1010920A NL1010920C2 (en) 1997-12-30 1998-12-30 Apparatus and method for converting a two-dimensional image sequence into a three-dimensional image using conversion of motion disparity into horizontal disparity and a post-processing method during the generation of a three-dimensional image.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077734A KR100263935B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity

Publications (2)

Publication Number Publication Date
KR19990057668A KR19990057668A (en) 1999-07-15
KR100263935B1 true KR100263935B1 (en) 2000-08-16

Family

ID=19529637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077734A KR100263935B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity

Country Status (1)

Country Link
KR (1) KR100263935B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101079207B1 (en) 2009-09-02 2011-11-07 (주)리얼디스퀘어 A System And A Method For Converting Into Three Dimentional Movie
CN103945212A (en) * 2009-04-03 2014-07-23 索尼公司 Information processing device, information processing method, and program
KR20150062412A (en) * 2013-11-29 2015-06-08 엘지디스플레이 주식회사 Image data processing method and multi-view autostereoscopic image display using the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100297831B1 (en) * 1998-05-04 2001-08-07 윤종용 An apparatus for converting two dimensional image to stereoscopic image
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
KR100888081B1 (en) * 2007-07-19 2009-03-11 주식회사 이시티 Apparatus and method for converting 2D image signals into 3D image signals
KR101065863B1 (en) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 A 3d movie generating method by compensating vertical component of motion vector wherebetween two pictures and a storage medium
KR101207862B1 (en) * 2010-12-24 2012-12-04 유기령 Method for converting 2 dimensional video image into stereoscopic video
CN110874851A (en) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 Method, device, system and readable storage medium for reconstructing three-dimensional model of human body

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945212A (en) * 2009-04-03 2014-07-23 索尼公司 Information processing device, information processing method, and program
CN103945212B (en) * 2009-04-03 2016-06-15 索尼公司 Messaging device, information processing method and program
KR101079207B1 (en) 2009-09-02 2011-11-07 (주)리얼디스퀘어 A System And A Method For Converting Into Three Dimentional Movie
KR20150062412A (en) * 2013-11-29 2015-06-08 엘지디스플레이 주식회사 Image data processing method and multi-view autostereoscopic image display using the same
KR102135914B1 (en) * 2013-11-29 2020-07-20 엘지디스플레이 주식회사 Image data processing method and multi-view autostereoscopic image display using the same

Also Published As

Publication number Publication date
KR19990057668A (en) 1999-07-15

Similar Documents

Publication Publication Date Title
JP4056154B2 (en) 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method
KR101185870B1 (en) Apparatus and method for processing 3 dimensional picture
KR100334722B1 (en) Method and the apparatus for generating stereoscopic image using MPEG data
US7321374B2 (en) Method and device for the generation of 3-D images
US6496598B1 (en) Image processing method and apparatus
KR101385514B1 (en) Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information
KR100517517B1 (en) Method for reconstructing intermediate video and 3D display using thereof
US20070269136A1 (en) Method and device for generating 3d images
Ohm et al. A realtime hardware system for stereoscopic videoconferencing with viewpoint adaptation
JP4939639B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2000078611A (en) Stereoscopic video image receiver and stereoscopic video image system
KR100263936B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video
KR100263935B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity
KR100540732B1 (en) Apparatus for converting 2D image signal into 3D image signal
JP2006186795A (en) Depth signal generating apparatus, depth signal generating program, pseudo stereoscopic image generating apparatus, and pseudo stereoscopic image generating program
JP5627498B2 (en) Stereo image generating apparatus and method
KR100297831B1 (en) An apparatus for converting two dimensional image to stereoscopic image
KR100230447B1 (en) 3-dimension image conversion apparatus and method of 2-dimension continuous image
KR100322727B1 (en) Method and system for converting two-dimensional/stereo images
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
KR20120073466A (en) Method for converting 2 dimensional video image into stereoscopic video
KR100304662B1 (en) System and method for generating stereo image using two-dimensional image sequence
KR20050018034A (en) Apparatus for converting 2D image signal into 3D image signal
JP4419139B2 (en) Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program
Li A Method for Stereoscopic Images Generation in Virtual Reality Systems

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 18