KR100263935B1 - Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity - Google Patents
Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity Download PDFInfo
- Publication number
- KR100263935B1 KR100263935B1 KR1019970077734A KR19970077734A KR100263935B1 KR 100263935 B1 KR100263935 B1 KR 100263935B1 KR 1019970077734 A KR1019970077734 A KR 1019970077734A KR 19970077734 A KR19970077734 A KR 19970077734A KR 100263935 B1 KR100263935 B1 KR 100263935B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- block
- horizontal parallax
- motion
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Abstract
Description
본 발명은 3차원 영상을 생성하는 장치 및 방법에 관한 것으로서, 특히 연속되는 2차원 영상의 움직임을 이용하는, 2차원 연속 영상의 3차원 영상 변환장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a 3D image, and more particularly, to an apparatus and method for converting a 2D continuous image to a 3D image using a motion of a continuous 2D image.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flowchart illustrating a conventional 3D image generating method using a correction time difference.
종래의 3차원 영상 생성방법중 한 방법으로서, 일본 산요(SANYO) 전기주식회사에서 개발한 수정 시간차(MTD:Modified Time Difference)를 이용한 방법이 있다. 도 1을 참조하여 간략히 설명하면, 먼저, 연속되는 2차원 영상에서 움직이는 영역이 추출된다(제100단계). 추출된 영역의 움직임 속도 및 방향이 추출된다(제110단계). 현재 영상의 움직임 속도 및 방향에 근거하여, 이전의 한 영상 프레임으로부터 지연 방향(delay direction) 및 지연 시간(delay time)이 결정된다(제120단계). 결정된 지연 방향 및 지연 시간에 따라 지연된 영상과 현재 영상이 사람의 좌/우측 눈에서 어느 측 눈에 각각 디스플레이될 것인지가 결정된다(제130단계).As one of the conventional three-dimensional image generation methods, there is a method using a modified time difference (MTD) developed by Sanyo Electric Co., Ltd., Japan. Referring briefly to FIG. 1, first, a moving region is extracted from a continuous two-dimensional image (step 100). The movement speed and direction of the extracted region are extracted (step 110). Based on the movement speed and the direction of the current image, a delay direction and a delay time are determined from a previous image frame (step 120). According to the determined delay direction and the delay time, it is determined in which eye the delayed image and the current image are to be respectively displayed in the left and right eyes of the person (step 130).
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다. 도 2를 정확하게 설명하면, 연속되는 2차원 영상을 촬영하는 카메라가 고정되어 있고 영상내의 물체(■)가 움직이고 있을 때 좌/우측 영상을 결정하는 과정을 나타낸다. 수정 시간차를 이용한 종래의 방법에 의하면, 도 2에 도시고, 좌측 눈에 시간 지연된 영상을 보여줌으로써 사람에게 양안 시차를 제공한다. 반면, 물체(■)가 좌측으로 움직이고 있을 때, 좌측 눈에 원영상을 보여주고, 우측 눈에 시간 지연된 영상을 보여줌으로써 전술한 바와 반대의 양안 시차를 제공한다.FIG. 2 is a conceptual diagram illustrating a process of determining a left / right image in the method illustrated in FIG. 1. Referring to FIG. 2, it is a process of determining a left / right image when a camera for photographing a continuous two-dimensional image is fixed and an object (■) in the image is moving. According to the conventional method using the corrected time difference, as shown in FIG. 2, a binocular disparity is provided to a person by showing a time delayed image in the left eye. On the other hand, when the object is moving to the left, the original image is shown to the left eye and the time-delayed image is displayed to the right eye, thereby providing a binocular disparity opposite to the above.
전술한 수정 시간차를 이용한 종래의 3차원 영상 생성방법은 다음과 같은 문제점이 있다.The conventional three-dimensional image generation method using the above-described correction time difference has the following problems.
첫째, 원영상의 움직임 정보에만 근거하여 이전 프레임들중에서 한 영상을 지연된 영상으로서 선택하므로, 원영상의 영역별로 가지고 있는 다른 깊이는 무시되는 문제점이 있다. 이와 같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 된다. 예컨대, 움직이는 물체에 대해서는 입체감을 느낄 수 있지만, 화면의 배경과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.First, since one of the previous frames is selected as the delayed image based only on the motion information of the original image, another depth possessed by each area of the original image is ignored. By ignoring the different depths possessed by the regions as described above, there is no depth when viewing stereoscopic images. For example, a three-dimensional effect may be sensed for a moving object, but a three-dimensional feeling may not be felt for an object having a small movement such as a background of a screen.
두번째, 원영상과 지연된 영상간에 물체의 운동이 수직 성분을 가질 때, 수정 시간차를 이용한 종래의 방법으로 3차원 영상을 생성한다면, 수평 시차에서 깊이감을 얻는 인간의 시각 구조와의 불일치 때문에 눈의 피로감이 생기는 문제점이 있다.Second, when the motion of an object has a vertical component between the original image and the delayed image, if a three-dimensional image is generated by a conventional method using a correction time difference, eye fatigue due to inconsistency with the human visual structure that obtains a sense of depth in horizontal parallax There is a problem that occurs.
세번째, 원영상내의 물체의 움직임량이 매우 클때에 다수개의 이전 프레임들에서 어느 프레임이 지연된 영상으로서 선택되더라도, 이때의 원영상과 지연된 영상으로 생성되는 입체 영상은 시차가 크기 때문에 인간의 시차 인식의 한계를 벗어나는 문제점이 있다.Third, even when a frame is selected as a delayed image from a plurality of previous frames when the amount of motion of the object in the original image is very large, the limitation of human parallax recognition is large because the stereoscopic image generated from the original image and the delayed image is large. There is a problem outside.
본 발명이 이루고자하는 기술적 과제는, 2차원 영상의 움직임을 측정한 후에 움직임 특성에 따라 수평 시차로 변환하여 새로운 영상을 생성함으로써, 영상의 영역별로 깊이감을 가지고, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 입체감을 가지며, 또한 원영상내의 물체의 운동량이 매우 크더라도 인간의 시차로 인식가능한 3차원 영상을 생성하는, 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치를 제공하는데 있다.The technical problem to be achieved by the present invention is to measure the motion of the two-dimensional image, and then convert to horizontal parallax according to the movement characteristics to generate a new image, having a sense of depth for each area of the image, the movement of the object in the original image is a vertical component 3D image of 2D continuous image using transformation of horizontal parallax of motion parallax which produces natural 3D image and generates 3D image that can be recognized as human parallax even if the motion of object in the original image is very large To provide an inverter.
본 발명이 이루고자하는 다른 기술적 과제는, 상기 3차원 영상 변환장치가 수행하는 3차원 영상 변환방법을 제공하는데 있다.Another object of the present invention is to provide a 3D image conversion method performed by the 3D image conversion apparatus.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flowchart illustrating a conventional 3D image generating method using a correction time difference.
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다.FIG. 2 is a conceptual diagram illustrating a process of determining a left / right image in the method illustrated in FIG. 1.
도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도이다.3 is a block diagram of a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention.
도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다.4 is a flowchart illustrating a 3D image conversion method of a 2D continuous image according to the present invention.
도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면이다.5 (a) and (b) are diagrams conceptually showing the principle of binocular parallax.
도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭의 수평 이동 과정을 설명하기 위한 개념도이다.6 (a) and (b) are conceptual diagrams for explaining a horizontal movement process of a block in the method shown in FIG.
상기 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부 및 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부로 구성되는 것이 바람직하다.In order to achieve the above object, a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention for converting a continuous two-dimensional image into a three-dimensional image, for each block of the current image divided by a block unit of a predetermined size Block motion measurement unit for measuring motion vectors using image frames, Horizontal parallax generator for obtaining horizontal parallaxes from the motion vectors of each block according to the motion characteristics of the current image, Moving each block in the horizontal direction according to each horizontal parallax It is preferable that the image generating unit for generating a composite image corresponding to the current image and an output unit for displaying a three-dimensional image consisting of the current image and the composite image.
상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법은, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계, (c) 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 단계, (d) 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 단계 및 (e) 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.In order to achieve the above object, the method for converting a two-dimensional continuous image according to the present invention for converting a continuous two-dimensional image into a three-dimensional image, (a) dividing the input current image into blocks of a predetermined size (B) measuring a motion vector for each block of the current image using a previous image frame, (c) obtaining horizontal parallax from the motion vector of each block according to the motion characteristics of the current image, (d (B) generating a composite image corresponding to the current image by moving each block in a horizontal direction according to each horizontal parallax, and (e) displaying a three-dimensional image composed of the current image and the composite image. .
이하, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.Hereinafter, with reference to the accompanying drawings the configuration and operation of the three-dimensional image conversion apparatus for a two-dimensional continuous image according to the present invention will be described as follows.
도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(300), 영상 블럭부(310), 이전 프레임 저장부(320), 블럭 움직임 측정부(330), 수평 시차 생성부(340), 합성 영상 생성부(350), 출력부인 좌/우측 영상 결정부(360), 제1 및 제2 디지탈-아날로그 변환기(DAC)(372 및 374)로 구성된다.3 is a block diagram of a three-dimensional image conversion apparatus of a two-dimensional continuous image according to the present invention, which includes an analog-to-digital converter (ADC) 300, an
여기서, 상기 수평 시차 생성부(340)는 수평 시차 변환부(342), 수평 시차 조정부(344) 및 움직임 특성 결정부(346)로 구성되며, 상기 합성 영상 생성부(350)는 블럭 수평 이동부(352), 블럭 합성부(354) 및 보간부(356)로 구성된다.The horizontal
본 발명은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, TV, VCR, CD, HDTV, DVD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하는 단안 비디오 카메라로 촬영한 2차원 연속 영상을 이용하여 3차원 영상을 생성하는 기술이다. 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는 단안 비디오 카메라로 촬영된 2차원 연속 영상에서 연속되는 두 영상간의 움직임 벡터를 측정한 후에 이로부터 수평 시차를 생성하고, 원영상으로부터 수평 시차에 따라 수평 방향으로 이동된 새로운 영상을 생성함으로써, 원영상과 새로운 영상으로 이루어진 3차원 영상을 생성한다.The present invention utilizes a two-dimensional continuous image taken with a monocular video camera that allows viewing of a stereoscopic image through a video reproducing apparatus such as a TV, a VCR, a CD, an HDTV, and a DVD without using two cameras, a stereoscopic camera. 3D image generation technology. The three-dimensional image conversion apparatus for a two-dimensional continuous image according to the present invention measures a motion vector between two consecutive images in a two-dimensional continuous image photographed by a monocular video camera, and then generates horizontal parallax therefrom, and horizontal parallax from the original image. By generating a new image moved in the horizontal direction according to the three-dimensional image consisting of the original image and the new image.
도 3을 참조하면, 아날로그-디지탈 변환기(310)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(320)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 운동이 있는 주 물체와 운동이 거의 없는 배경을 구분하여 운동을 추정하기 위함이다. 이전 프레임 저장부(320)는 영상 블럭부(310)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.Referring to FIG. 3, the analog-to-
블럭 움직임 측정부(330)는 영상 블럭부(310)로부터 블럭화된 현재 영상을 입력하고, 이전 프레임 저장부(320)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(330)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 각 상응하는 블럭을 이용하여 움직임의 양 및 방향 즉, 움직임 벡터를 측정한다.The block
수평 시차 생성부(340)는 블럭 움직임 측정부(330)에서 각 블럭의 움직임 벡터가 측정된 현재 영상을 입력하여, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는다.The horizontal
구체적으로, 수평 시차 변환부(342)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터를 시차값으로 변환한다. 본 발명은 움직임 벡터의 크기를 계산하고, 계산된 값을 시차값으로 간주하는 간단한 변환 방법을 사용한다. 여기서, 시차값은 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 수평 시차에 해당한다.In detail, the
수평 시차 조정부(344)는 소정의 제어신호에 응답하여 수평 시차 변환부(342)에서 변환된 각 블럭의 수평 시차를 조정한다. 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 수평 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다.The horizontal
구체적으로, 수평 시차 조정부(344)는 소정의 제어신호에 응답하여 상기 수평 시차를 최대 수평 시차값에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 출력하거나, 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력한다. 여기서, 최대 수평 시차값은 블럭 움직임 측정부(330)에서 결정되는 값이다. 또한, 수평 시차 조정부(344)는 수평 시차를 조정하기 전에, 각 블럭의 수평 시차를 소정의 최대 시차값을 초과하지 않도록 스케일링한다.In detail, the horizontal
움직임 특성 결정부(346)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터로부터 현재 영상의 움직임 특성을 결정하고, 결정된 결과에 따라 상기 제어신호를 발생한다. 구체적으로, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 움직임의 크기를 소정의 기준치와 비교하고, 전체 움직임이 기준치보다 클 경우에 상기 제어신호를 발생한다.The motion characteristic determiner 346 determines the motion characteristic of the current image from the motion vectors of each block measured by the
여기서, 소정의 기준치는 현재 영상을 촬영한 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다. 카메라가 움직임이 있다는 것은 영상내에 배경이 움직인다고 볼 수 있으므로, 영상내에 배경 및 주 대상 물체가 움직일 때에 전체 움직임은 거의 없게 된다. 따라서, 이때에 수평 시차 조정부(344)는 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력하고, 그 밖에 경우에 대해서는 최대 수평 시차값에서 감산된 값을 출력한다.Here, the predetermined reference value represents the magnitude of the total motion when the camera that captured the current image moves and the main object in the current image moves. The movement of the camera can be seen that the background moves in the image, so that when the background and the main object move in the image, there is almost no overall movement. Therefore, at this time, the horizontal
영상 생성부(350)는 수평 시차 생성부(340)에서 각 블럭의 수평 시차를 갖는 현재 영상을 입력하고, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성한다.The
구체적으로, 블럭 수평 이동부(352)는 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시킨다. 블럭 합성부(354)는 블럭 수평 이동부(352)에서 이동된 각 블럭을 합성하여 합성 영상을 생성한다. 합성 영상 보간부(356)는 블럭 합성부(354)에서 생성된 합성 영상에서 현재 영상의 각 블럭에 의해 채워지지 않은 영역을 보간한다.Specifically, the block
출력부에 해당하는 좌/우측 영상 결정부(360)는 영상 생성부(350)로부터 합성 영상을 입력하고, 아날로그-디지탈 변환기(300)로부터 현재 영상을 입력하여, 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이한다. 이때, 좌/우측 영상 결정부(360)는 현재 영상과 합성 영상중에서 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에 디스플레이되고, 우측 영상신호는 사람의 우측 눈에 디스플레이된다.The left / right image determination unit 360 corresponding to the output unit inputs a composite image from the
기본적으로, 좌/우측 영상 결정부(360)는 양안 시차중에서도 양의 시차에 근거하여 현재 영상을 좌측 눈에, 합성 영상을 우측 눈에 디스플레이한다. 이러한 디스플레이 방식은 제한되지 않으며, 합성 영상을 생성할 시에 수평 이동 방법과, 깊이감을 주고자 하는 방향이 음인가 양인가에 따라 달라질 수 있다.Basically, the left / right image determiner 360 displays the current image in the left eye and the synthesized image in the right eye based on the positive parallax even during binocular disparity. Such a display method is not limited and may vary depending on a horizontal movement method and a direction to give a sense of depth when generating a composite image.
예컨대, 블럭 수평 이동부(352)에서 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 좌측 수평 방향으로 이동시키면, 음의 시차에 근거하여 현재 영상과 합성 영상이 디스플레이된다. 그러나, 입체감을 크게 하기 위해 음의 시차를 많이 주게 되면, 사람이 눈의 피로를 느끼게 되므로 음의 시차의 영상을 장시간동안 디스플레이하기는 힘들다. 따라서, 본 발명에서는 양의 시차로 디스플레이하는 것을 기본으로 한다.For example, when the block horizontal moving
전술한 바에 의하면, 본 발명은 양안 시차를 이용한 스테레오 기술에 속한다. 여기서, 본 발명의 이해를 돕기 위해 양안 시차의 원리를 간략하게 설명한다.As described above, the present invention belongs to a stereo technology using binocular parallax. Here, the principle of binocular parallax will be briefly described to help the understanding of the present invention.
도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면으로서, 도 5 (a)는 양의 시차를, 도 5 (b)는 음의 시차를 각각 나타낸다. 도 5 (a) 및 (b)에서, 화면상에 두 영상 즉, 원영상과 새로운 영상을 디스플레이하면 각각의 영상은 사람의 우측 눈과 좌측 눈에 비춰지게 된다. 화면상에 두 영상의 대응점인 a와 a'는 두 눈의 위치인 b와 b'에 대응하지만, 사람은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 된다. 즉, 이때 사람이 화면상에 물체가 있다고 실제로 인식하는 위치는 도 5 (a) 및 (b)에서 P의 위치이다. 점 P의 위치는 삼각형 △Paa'와 △Pbb'가 닮은꼴이므로, 비례식에 의해 쉽게 구할 수 있다.5 (a) and 5 (b) conceptually illustrate the principle of binocular parallax, and FIG. 5 (a) shows a positive parallax, and FIG. 5 (b) shows a negative parallax, respectively. In FIGS. 5A and 5B, when displaying two images on the screen, that is, an original image and a new image, each image is displayed on the right and left eyes of a person. The correspondence points a and a 'of the two images on the screen correspond to the positions b and b' of the two eyes, but the person perceives that the correspondence points of the two images are at the point P. That is, at this time, the position where a person actually recognizes that there is an object on the screen is the position of P in FIGS. 5 (a) and 5 (b). The position of the point P is similar in shape to the triangles ΔPaa 'and ΔPbb', and can be easily obtained by a proportional expression.
따라서, 시차가 있는 두 영상 즉, 원영상과 새로운 영상으로 이루어진 3차원 영상을 화면상에 디스플레이하면, 사람은 깊이감을 인식할 수 있다. 도 2 (a)와 같은 양의 시차의 경우에, 사람은 점 P의 위치가 화면 뒤에 있는 것으로 인식하며, 도 2 (b)와 같은 음의 시차의 경우에, 사람은 점 P의 위치가 화면 앞에 있는 것으로 인식하게 된다.Therefore, when a three-dimensional image composed of two parallax images, that is, an original image and a new image, is displayed on the screen, a person can recognize a sense of depth. In the case of positive parallax as shown in FIG. 2 (a), the person perceives that the position of the point P is behind the screen, and in the case of negative parallax as shown in FIG. It is perceived as being ahead.
본 발명에서 생성된 새로운 영상은 원영상으로부터 수평 시차만큼 수평 방향으로 이동된 영상이다. 따라서, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상이 생성된다.The new image generated in the present invention is an image moved in the horizontal direction by the horizontal parallax from the original image. Therefore, even if the motion of the object in the original image has a vertical component, a natural stereo image is generated.
도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다. 도 4를 참조하여 도 3에 도시된 장치가 수행하는 본 발명에 의한 3차원 영상 변환방법을 설명한다.4 is a flowchart illustrating a 3D image conversion method of a 2D continuous image according to the present invention. A method of converting a 3D image according to the present invention performed by the apparatus shown in FIG. 3 will be described with reference to FIG. 4.
먼저, 연속되는 아날로그 형태의 2차원 영상신호는 아날로그-디지탈 변환기(300)를 통해 디지탈 신호로 변환된다(제400단계). 다음에, 디지탈 신호로 변환된 현재 영상은 영상 블럭부(310)를 통해 소정 크기의 블럭 단위로 분할된다(제410단계). 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다.First, the continuous two-dimensional image signal of the analog form is converted into a digital signal through the analog-to-digital converter 300 (step 400). Next, the current image converted into the digital signal is divided into block units having a predetermined size through the image block unit 310 (operation 410). Here, the predetermined size is n × n pixel size, where n is preferably 4 or 8.
제410단계 후에, 이전 영상 프레임 저장부(320)에 저장된 이전 영상 프레임을 이용하여, 현재 영상의 각 블럭에 대해 움직임의 양과 방향 즉, 움직임 벡터가 블럭 움직임 측정부(330)를 통해 측정된다(제420단계). 연속되는 두 영상간의 움직임 벡터를 측정하기 위한 방법으로서 공지의 광류(optical flow) 측정법 또는 엠펙(MPEG:Motion Picture Coding Experts Group)I,II에서 사용되는 블럭 매칭 방법등을 사용한다. 또한 빠른 처리속도를 위해서, 블럭 매칭 방법중에서도 계산량이 작은 PHODS(Parallel heirarchical one-dimensional search)방법을 사용할 수도 있다.After
제420단계에서 현재 영상의 각 블럭에 대한 움직임 벡터가 측정되면, 수평 시차 생성부(340)를 통해 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차가 얻어진다(제430단계).When the motion vector of each block of the current image is measured in
제430단계는 구체적으로 다음 단계들로 구성된다. 먼저, 제420단계에서 측정된 각 블럭의 움직임 벡터가 수평 시차 변환부(342)를 통해 수평 시차로 변환된다(제432단계). 수평 시차를 구하는 방법으로서 움직임 벡터의 크기를 계산하고, 계산된 값을 수평 시차로 간주하는 간단한 방법을 사용한다. 여기서, 수평 시차는 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 시차에 해당한다. 다음 수학식 1은 각 블럭의 수평 시차(px)를 구하는 계산식을 나타낸다.Specifically,
수학식 1에서와 같이, 수평 시차(px)는 움직임 벡터 (Vx,Vy)의 크기이다.As in
다음에, 움직임 특성 결정부(346)를 통해 현재 영상의 움직임 특성이 결정된다(제434단계). 움직임 특성으로 결정하는 한 방법으로서, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 비교한 결과를 현재 영상의 움직임 특성으로서 간주한다. 여기서, 소정의 기준치는 현재 영상을 촬영하는 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다.Next, the motion characteristic of the current image is determined by the motion characteristic determiner 346 (step 434). As a method of determining the motion characteristic, the motion vector of each block is analyzed to compare the magnitude of the entire motion of the current image with a predetermined reference value, and the result of the comparison is regarded as the motion characteristic of the current image. Here, the predetermined reference value indicates the magnitude of the entire movement when the camera capturing the current image moves and the main object in the current image moves.
다음에, 제432단계에서 얻어진 수평 시차가 수평 시차 조정부(344)를 통해 현재 영상의 움직임 특성에 따라 조정된다(제436단계). 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다. 수평 시차를 조정하는 한 방법으로서, 현재 영상의 전체 움직임이 소정의 기준치이하이면, 제432단계에서 얻어진 원래의 수평 시차를 그대로 유지하고, 소정의 기준치보다 크면, 제432단계에서 얻어진 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 대치한다.Next, the horizontal parallax obtained in
여기서, 최대 수평 시차는 제420단계에서 결정되는 값이다. 또한, 제436단계에서 수평 시차를 조정하기 전에, 각 블럭의 수평 시차는 소정의 최대 시차값을 초과하지 않도록 스케일링된다. 다음 수학식 2는 후자의 경우에 수평 시차(px)를 구하는 계산식을 나타낸다.Here, the maximum horizontal parallax is a value determined in
수학식 2에서, pxmax는 블럭 움직임 측정부(330)에서 결정되는 값이다.In
다시 도 4를 참조하여 제430단계 후에, 현재 영상의 각 블럭은 영상 생성부(350)를 통해 각각의 수평 시차에 따라 수평 방향으로 이동됨으로써 현재 영상에 대응한 합성 영상이 생성된다(제440단계).Referring back to FIG. 4, after
제440단계는 구체적으로 다음 단계들로 구성된다. 먼저, 현재 영상내에서의 모든 블럭의 위치는 블럭 수평 이동부(352)를 통해 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동된다(제442단계). 제442단계에서 수평 이동된 모든 블럭의 화소 데이타가 블럭 합성부(354)를 통해 합성되어 합성 영상이 생성된다(제444단계).Step 440 is specifically composed of the following steps. First, the positions of all blocks in the current image are moved to the right horizontal direction by the horizontal parallax of each block through the block horizontal moving unit 352 (step 442). The pixel data of all the blocks horizontally shifted in
도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭 수평 이동 과정을 설명하기 위한 개념도로서, 도 6 (a)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 클 경우에 블럭 수평 이동을, 도 6 (b)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 작을 경우에 블럭 수평 이동을 각각 나타낸다. 도면에서, ●는 블럭내 픽셀의 위치를 표시하며, (Bi,pxi)는 i번째 블럭의 수평 시차(pxi)를 표시한다. 또한, 설명을 간단히 하기 위해, 각 블럭이 예컨대 8×8 픽셀 크기로 구성될 경우에, 하나의 스캔 라인만을 예로 하였다.6 (a) and 6 (b) are conceptual diagrams for explaining a block horizontal movement process in the method shown in FIG. 4, and FIG. 6 (a) shows that the horizontal parallax (px 1 ) of the first block B 1 is moved. and then the horizontal parallax of the block (B 2) which is moved (px 2) block the horizontal parallax (px 1) of the blocks (B 1) which is moved first to block the horizontal movement in the case is large, Fig. 6 (b) than that following movement It represents (B 2) to block the horizontal movement is less than the horizontal parallax (px 2), respectively. In the figure,? Denotes the position of the pixel in the block, and (B i , px i ) denote the horizontal parallax pxi of the i-th block. In addition, for the sake of simplicity, only one scan line is taken as an example when each block is composed of, e.g., 8 x 8 pixels.
도 6 (a)에서 수평 시차(px1)가 수평 시차(px2)보다 클 경우에, 예컨대 수평 시차(px1)가 3이고 수평 시차(px2)가 1이라고 하면, 블럭(B1)의 모든 픽셀들은 먼저 3만큼 수평 이동된다. 반면, 블럭(B2)의 경우에는 세번째 픽셀부터 1만큼 수평 이동된다. 즉, 블럭(B2)의 경우에 처음 두개의 픽셀들은 이동되지 않는다. 도 6 (b)에서 수평 시차(px1)가 수평 시차(px2)보다 작을 경우에, 예컨대 수평 시차(px1)가 1이고 수평 시차(px2)가 3이라고 하면, 블럭(B1)과 블럭(B2)의 모든 픽셀들은 각각 1과 3만큼 수평 이동된다. 그러나, 도 6(b)에 도시된 바와 같이, 블럭(B1)과 블럭(B2)은 수평 시차가 다르므로, 블럭(B1)이 채워진 다음에 3개의 픽셀들이 채워지지 않은 채로, 블럭(B2)이 채워지게 되고, 비어 있는 픽셀들이 발생한다.In FIG. 6 (a), when the horizontal parallax (px 1 ) is greater than the horizontal parallax (px 2 ), for example, when the horizontal parallax (px 1 ) is 3 and the horizontal parallax (px 2 ) is 1, the block B 1 All pixels of are first horizontally shifted by three. On the other hand, in the case of block B 2 , it is horizontally moved by one from the third pixel. That is, in the case of block B 2 , the first two pixels are not moved. In FIG. 6 (b), when the horizontal parallax (px 1 ) is smaller than the horizontal parallax (px 2 ), for example, when the horizontal parallax (px 1 ) is 1 and the horizontal parallax (px 2 ) is 3, the block B 1 All pixels of and blocks B 2 are horizontally shifted by 1 and 3, respectively. However, as shown in FIG. 6 (b), since the block B 1 and the block B 2 have different horizontal parallaxes, the block B 1 is filled and then the three pixels are not filled after the block B 1 is filled. (B 2 ) is filled and empty pixels are generated.
제444단계 후에, 전술한 바와 같이 블럭 수평 이동 과정을 거쳐 합성된 합성 영상에서 각 블럭에 의해 채워지지 않은 영역이 보간부(356)를 통해 보간된다(제446단계). 즉, 합성 영상은 현재 영상의 각 블럭이 다른 수평 시차에 따라 수평 이동되었기 때문에, 도 6 (b)와 같이 비어 있는 픽셀들이 발생할 수 있다. 빈 픽셀들에 적당한 픽셀값을 부여하는 보간 방법으로는 여러가지 방법이 사용될 수 있는데, 선형(linear) 보간법, 쌍선형(bilinear) 보간법, 가중(weighted) 보간법등이 있다. 또한, 가장 간단한 방법으로서, 빈 픽셀들을 가장 가까이 있는 왼쪽 또는 오른쪽에 채워진 픽셀들의 값으로 동일하게 채우는 것이다. 도 6 (b)를 참조하면, 픽셀(a1) 또는 픽셀(a2)의 값을 이용한다. 본 발명에서는 계산량이 가장 적은 이 방법을 사용하였다.After operation 444, an area not filled by each block in the synthesized image synthesized through the block horizontal movement process as described above is interpolated through the interpolator 356 (operation 446). That is, since each block of the current image is horizontally shifted according to different horizontal parallaxes, empty pixels may occur as shown in FIG. 6B. Various methods may be used as interpolation methods for assigning an appropriate pixel value to empty pixels, such as linear interpolation, bilinear interpolation, and weighted interpolation. In addition, the simplest method is to fill the empty pixels equally with the value of the pixels filled to the nearest left or right. Referring to FIG. 6B, the value of the pixel a 1 or the pixel a 2 is used. In this invention, this method with the smallest calculation amount was used.
다시 도 4를 참조하여 제440단계 후에, 현재 영상과 합성 영상을 한 쌍으로 하는 3차원 영상을 디스플레이하기 위해서, 좌/우측 영상 결정부(360)를 통해 좌/우측 영상이 결정된다(제450단계). 현재 영상과 합성 영상중에서 하나는 좌측 눈에 디스플레이되고, 다른 하나는 우측 눈에 디스플레이됨으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다. 마지막으로, 이들 영상은 디지탈 신호이므로, 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 각각 아날로그 신호로 변환되어 디스플레이된다(제460단계). 참고로, 전술한 과정을 거쳐 모니터등의 디스플레이 수단에 디스플레이된 3차원 영상을 감상하기 위해서는 3차원 영상과 동기시켜주는 입체 안경이 또한 필요하다.Referring back to FIG. 4, after
영상의 깊이는 움직임의 양과 관계가 있다. 카메라가 움직이고 촬상 화면의 움직이 없을 때, 움직임의 양은 영상의 깊이와 반비례한다. 또한, 가까운 물체는 움직임이 크고 먼 물체는 상대적으로 움직임이 작으며, 카메라가 고정되어 있고 영상내에 움직이는 물체가 있을 때, 가까운 물체는 빨리 움직이고 먼 물체는 천천히 움직인다. 본 발명에서는 이 원리를 적용하여 제450단계에서 좌/우측 영상을 결정할 경우에, 양의 시차 및 음의 시차에 따라 다르게 수행된다.The depth of the image is related to the amount of movement. When the camera is moving and the image is not moving, the amount of movement is inversely proportional to the depth of the image. Also, near objects move large and far objects move relatively small. When the camera is fixed and there is a moving object in the image, the near object moves fast and the far object moves slowly. In the present invention, when the left and right images are determined in
이상에서 설명한 바와 같이, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은, 영상의 영역별로 깊이감을 가지고, 종래의 기술로는 해결하지 못하는 카메라의 움직임 및 영상내 물체의 수직 운동 및 빠른 운동이 발생하더라도 자연스러운 입체감을 가지며, 인간의 시차로 인식가능한 3차원 영상을 생성하는 이점이 있다.As described above, the three-dimensional image conversion apparatus and method of the two-dimensional continuous image according to the present invention has a sense of depth for each region of the image, the movement of the camera and the vertical movement of the object in the image that cannot be solved by the conventional technology And even if a rapid movement occurs has a natural three-dimensional sense, there is an advantage to generate a three-dimensional image that can be recognized by human parallax.
또한, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, 단안 비디오 카메라로 촬영한 2차원 영상을 이용하여 3차원 영상을 생성하므로, TV,VCR,DVD,HDTV,CD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하고, 내시경, 초음파를 이용한 의료 분야에도 적용하여 입체로 영상을 판독하게 함으로써 진단 효율을 향상시키고, 이러한 응용분야이외에도, 입체로 애니메이션을 만드는 엔터테인먼트 분야를 포함하여 많은 영역에서 적용되기 용이한 이점이 있다.In addition, the apparatus and method for converting a two-dimensional continuous image according to the present invention generates a three-dimensional image by using a two-dimensional image captured by a monocular video camera without using two cameras, that is, a three-dimensional camera. It is possible to watch stereoscopic images through image reproducing devices such as TV, VCR, DVD, HDTV, CD, etc., and it can be applied to medical field using endoscope and ultrasound to read stereoscopic images to improve diagnostic efficiency. In addition, there is an advantage that can be easily applied in many areas, including the entertainment field for creating three-dimensional animation.
Claims (17)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970077734A KR100263935B1 (en) | 1997-12-30 | 1997-12-30 | Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity |
JP37430398A JP4056154B2 (en) | 1997-12-30 | 1998-12-28 | 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method |
US09/222,713 US6314211B1 (en) | 1997-12-30 | 1998-12-29 | Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image |
NL1010920A NL1010920C2 (en) | 1997-12-30 | 1998-12-30 | Apparatus and method for converting a two-dimensional image sequence into a three-dimensional image using conversion of motion disparity into horizontal disparity and a post-processing method during the generation of a three-dimensional image. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970077734A KR100263935B1 (en) | 1997-12-30 | 1997-12-30 | Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990057668A KR19990057668A (en) | 1999-07-15 |
KR100263935B1 true KR100263935B1 (en) | 2000-08-16 |
Family
ID=19529637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019970077734A KR100263935B1 (en) | 1997-12-30 | 1997-12-30 | Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100263935B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101079207B1 (en) | 2009-09-02 | 2011-11-07 | (주)리얼디스퀘어 | A System And A Method For Converting Into Three Dimentional Movie |
CN103945212A (en) * | 2009-04-03 | 2014-07-23 | 索尼公司 | Information processing device, information processing method, and program |
KR20150062412A (en) * | 2013-11-29 | 2015-06-08 | 엘지디스플레이 주식회사 | Image data processing method and multi-view autostereoscopic image display using the same |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100297831B1 (en) * | 1998-05-04 | 2001-08-07 | 윤종용 | An apparatus for converting two dimensional image to stereoscopic image |
WO2008001967A1 (en) * | 2006-06-30 | 2008-01-03 | Industry-Academic Cooperation Foundation, Yonsei University | Device and method for transforming 2-d image into 3-d image |
KR100888081B1 (en) * | 2007-07-19 | 2009-03-11 | 주식회사 이시티 | Apparatus and method for converting 2D image signals into 3D image signals |
KR101065863B1 (en) * | 2010-06-08 | 2011-09-19 | (주)님버스테크놀로지스 | A 3d movie generating method by compensating vertical component of motion vector wherebetween two pictures and a storage medium |
KR101207862B1 (en) * | 2010-12-24 | 2012-12-04 | 유기령 | Method for converting 2 dimensional video image into stereoscopic video |
CN110874851A (en) * | 2019-10-25 | 2020-03-10 | 深圳奥比中光科技有限公司 | Method, device, system and readable storage medium for reconstructing three-dimensional model of human body |
-
1997
- 1997-12-30 KR KR1019970077734A patent/KR100263935B1/en active IP Right Grant
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103945212A (en) * | 2009-04-03 | 2014-07-23 | 索尼公司 | Information processing device, information processing method, and program |
CN103945212B (en) * | 2009-04-03 | 2016-06-15 | 索尼公司 | Messaging device, information processing method and program |
KR101079207B1 (en) | 2009-09-02 | 2011-11-07 | (주)리얼디스퀘어 | A System And A Method For Converting Into Three Dimentional Movie |
KR20150062412A (en) * | 2013-11-29 | 2015-06-08 | 엘지디스플레이 주식회사 | Image data processing method and multi-view autostereoscopic image display using the same |
KR102135914B1 (en) * | 2013-11-29 | 2020-07-20 | 엘지디스플레이 주식회사 | Image data processing method and multi-view autostereoscopic image display using the same |
Also Published As
Publication number | Publication date |
---|---|
KR19990057668A (en) | 1999-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4056154B2 (en) | 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method | |
KR101185870B1 (en) | Apparatus and method for processing 3 dimensional picture | |
KR100334722B1 (en) | Method and the apparatus for generating stereoscopic image using MPEG data | |
US7321374B2 (en) | Method and device for the generation of 3-D images | |
US6496598B1 (en) | Image processing method and apparatus | |
KR101385514B1 (en) | Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information | |
KR100517517B1 (en) | Method for reconstructing intermediate video and 3D display using thereof | |
US20070269136A1 (en) | Method and device for generating 3d images | |
Ohm et al. | A realtime hardware system for stereoscopic videoconferencing with viewpoint adaptation | |
JP4939639B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2000078611A (en) | Stereoscopic video image receiver and stereoscopic video image system | |
KR100263936B1 (en) | Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video | |
KR100263935B1 (en) | Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity | |
KR100540732B1 (en) | Apparatus for converting 2D image signal into 3D image signal | |
JP2006186795A (en) | Depth signal generating apparatus, depth signal generating program, pseudo stereoscopic image generating apparatus, and pseudo stereoscopic image generating program | |
JP5627498B2 (en) | Stereo image generating apparatus and method | |
KR100297831B1 (en) | An apparatus for converting two dimensional image to stereoscopic image | |
KR100230447B1 (en) | 3-dimension image conversion apparatus and method of 2-dimension continuous image | |
KR100322727B1 (en) | Method and system for converting two-dimensional/stereo images | |
Kim et al. | Object-based stereoscopic conversion of MPEG-4 encoded data | |
KR20120073466A (en) | Method for converting 2 dimensional video image into stereoscopic video | |
KR100304662B1 (en) | System and method for generating stereo image using two-dimensional image sequence | |
KR20050018034A (en) | Apparatus for converting 2D image signal into 3D image signal | |
JP4419139B2 (en) | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program | |
Li | A Method for Stereoscopic Images Generation in Virtual Reality Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130422 Year of fee payment: 14 |
|
FPAY | Annual fee payment |
Payment date: 20140424 Year of fee payment: 15 |
|
FPAY | Annual fee payment |
Payment date: 20150422 Year of fee payment: 16 |
|
FPAY | Annual fee payment |
Payment date: 20160422 Year of fee payment: 17 |
|
FPAY | Annual fee payment |
Payment date: 20170420 Year of fee payment: 18 |