KR100230447B1 - 3-dimension image conversion apparatus and method of 2-dimension continuous image - Google Patents

3-dimension image conversion apparatus and method of 2-dimension continuous image Download PDF

Info

Publication number
KR100230447B1
KR100230447B1 KR1019970017948A KR19970017948A KR100230447B1 KR 100230447 B1 KR100230447 B1 KR 100230447B1 KR 1019970017948 A KR1019970017948 A KR 1019970017948A KR 19970017948 A KR19970017948 A KR 19970017948A KR 100230447 B1 KR100230447 B1 KR 100230447B1
Authority
KR
South Korea
Prior art keywords
image
block
signal
frame
dimensional
Prior art date
Application number
KR1019970017948A
Other languages
Korean (ko)
Other versions
KR19980082849A (en
Inventor
김만배
김도균
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970017948A priority Critical patent/KR100230447B1/en
Publication of KR19980082849A publication Critical patent/KR19980082849A/en
Application granted granted Critical
Publication of KR100230447B1 publication Critical patent/KR100230447B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 2차원 연속영상을 3차원영상으로 변환하는 장치 및 방법에 관한 것으로, 디지털로 변환된 영상신호를 소정의 블록크기로 나누는 영상블록부, 각 블록의 평균 움직임의 양 및 방향을 측정하는 블록움직임 측정부, 원영상 이전의 소정의 갯수의 프레임을 저장하는 이전 프레임저장부, 각 블록의 움직임의 양에 따라 이전 프레임중에서 한 프레임을 선택하는 블록별 프레임결정부, 블록에 상응하는 선택된 프레임의 블록 데이터를 저장하고, 각 블록의 저장된 데이터를 합성하여 지연영상을 생성하는 블록 데이터 저장 및 합성부, 각 블록의 움직임 벡터를 합성해서 현재 프레임 전체의 움직임벡터를 결정하는 전체움직임 결정부, 영상을 좌우로 이등분할 때, 움직임 방향이 좌/우측이면 원영상을 좌/우측 영상신호로서 출력하고 지연영상을 우/좌측 영상신호로서 결정하는 좌/우측영상결정부 및 좌/우측 영상신호를 아날로그 신호로 변환하는 좌/우측 디지털/아날로그변환기로 이루어진다.The present invention relates to an apparatus and method for converting a two-dimensional continuous image into a three-dimensional image, comprising: an image block unit for dividing a digitally converted image signal into a predetermined block size, and measuring the amount and direction of average motion of each block. Block movement measurement unit, previous frame storage unit for storing a predetermined number of frames before the original image, block determination unit for selecting one frame from the previous frame according to the amount of motion of each block, selected frame corresponding to the block A block data storage and synthesis unit for generating a delay image by synthesizing the stored data of each block, and a total motion determination unit for determining a motion vector of the entire current frame by synthesizing the motion vectors of each block. When dividing the image into left and right, if the direction of movement is left / right, the original image is output as the left / right image signal, and the delayed image is right / left Image made left / right image determining unit and a left / right image signal for determining a signal to the left / right side digital / analog converter for converting to an analog signal.

본 발명에 의하면, 현재 영상 이전의 어느 한 프레임에 의해 지연영상을 생성하지않고 여러 프레임으로부터 영역별 지연영상을 얻고 이들을 합성하여 지연영상을 생성하므로써, 움직임이 적은 영역에 대해서도 입체감을 느낄 수 있는 입체영상을 얻을 수 있다.According to the present invention, by generating a delayed image for each region from a plurality of frames without generating a delayed image by any one frame before the current image, and generating a delayed image by synthesizing the delayed image, a three-dimensional effect can be sensed even in a region with little movement. You can get a video.

Description

2차원 연속영상의 3차원영상 변환장치 및 방법3D image conversion device and method of 2D continuous image

본 발명은 2차원 영상에서 입체영상을 추출하는 장치 및 방법에 관한 것으로서, 연속적인 2차원 영상에서 움직임(motion)을 추출하여, 원영상이외에 또 한장의 지연영상을 만들어 두 장의 영상으로 구성된 입체영상을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for extracting a stereoscopic image from a two-dimensional image, extracting motion from a continuous two-dimensional image, to create another delayed image in addition to the original image, consisting of two images An apparatus and method for generating the same.

본 발명은 두개의 카메라 즉 입체 카메라(stereoscopic camera)를 사용하지 않고, TV, VCR, CD, HDTV, DVD 등에 있어서 한개의 카메라로 찍은 2D(2-dimension) 영상을 직접 3D(3-dimension) 영상으로 볼 수 있게 하는 기술이다. 더우기, 본 발명의 상업적 이용 범위는 상술한 가전 분야 뿐만 아니고, 초음파, 내시경 등의 비디오 화면을 입체로 볼 수 있게 하는 분야를 포함하여 많은 영역에 사용될 수 있다.The present invention does not use two cameras (stereoscopic camera), and directly directs 3D (3-dimension) images of 2D (2-dimension) images taken by one camera in TV, VCR, CD, HDTV, DVD, etc. It is a technology that can be viewed with. Moreover, the commercial use scope of the present invention can be used in many areas including not only the home appliance field described above but also a field for allowing stereoscopic viewing of video screens such as ultrasound and endoscope.

본 발명과 비교되는 종래기술은 일본 산요(SANYO)전기에서 개발한 수정 시간차(Modified Time Differnce:이하에서 MTD라 한다) 방법이다. 도 1은 산요전기가 개발한 MTD 방법의 흐름도를 보여준다. 도 1에 도시된 과정을 자세히 설명하면 다음과 같다.The prior art compared with the present invention is a modified time difference (hereinafter referred to as MTD) method developed by Sanyo Electric Co., Ltd., Japan. Figure 1 shows a flowchart of the MTD method developed by Sanyo Electric. The process illustrated in FIG. 1 is described in detail as follows.

100단계, 움직이는 영역이 추출된다.Step 100, the moving area is extracted.

110단계, 움직임의 속도 및 방향이 결정된다.Step 110, the speed and direction of movement is determined.

120단계, 상술한 움직임의 속도 및 방향에 의해, 이전의 한 프레임으로부터 지연방향(delay direction) 및 지연시간(delay time)이 결정된다.In step 120, a delay direction and a delay time are determined from a previous frame by the speed and direction of the above-described motion.

130단계, 결정된 지연방향(delay direction) 및 지연시간(delay time)에 따라 지연된 영상(delay image)이 어떤 쪽의 눈에 보여지는지가 결정된다.In step 130, according to the determined delay direction and the delay time, it is determined which eye the delayed image is shown in.

도 2는 카메라의 움직임없이 물체(■)가 왼쪽에서 오른쪽으로 움직이고 있을 때 왼쪽/오른쪽 영상을 결정하는 방법을 설명하는 도면이다. 즉, MTD 방법에 의하면, 물체(■)가 오른쪽으로 날아가는 도 2에서 보는 바와 같이 왼쪽 눈에 원영상을 보여주고, 오른쪽 눈에 시간 지연된(time-delayed) 영상을 보여줌으로써 양눈 시차를 제공한다. 만일 물체(■)가 왼쪽으로 날아갈 때는 상술한 바와는 반대의 양눈 시차를 제공한다.2 is a view for explaining a method of determining a left / right image when the object (■) is moving from left to right without the camera movement. That is, according to the MTD method, as shown in FIG. 2 in which the object flies to the right, the original image is shown in the left eye, and the time-delayed image is shown in the right eye, thereby providing binocular disparity. If the object flies to the left, it provides the opposite binocular parallax as described above.

그런데, MTD 방법은 움직임 정보에 의해 이전의 K개 프레임(frame) 중에서 1장을 지연된 영상(delayed image)으로 선택하므로, 영상 영역별로 가지고 있는 다른 깊이는 무시된다는 문제점이 있다. 이와같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 되기 때문에, 예를 들면, 움직이는 물체에 대해서는 입체감이 있으나, 장면의 배경(background)과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.However, since the MTD method selects one of the previous K frames as a delayed image based on the motion information, another depth possessed by each image region is ignored. By ignoring the different depths in each area, the result is no depth when viewing stereoscopic images. For example, if the moving object has a three-dimensional effect, but the object is less moving, such as the background of the scene. You can not feel the three-dimensional feeling.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 현재 영상을 소정의 크기를 갖는 블록으로 나누고, 각 블록에 상응하는 수 개의 이전 프레임의 블록 데이터를 합성하여 지연 영상을 생성하므로써, 영상에서 움직임이 적은 부분에서도 입체감을 느끼도록하는 2차원 연속영상의 3차원영상 변환장치 및 방법을 제공함에 그 목적이 있다.The present invention was devised to solve the above problems, by dividing the current image into blocks having a predetermined size, and synthesizing the block data of several previous frames corresponding to each block to generate a delayed image, thereby moving in the image. It is an object of the present invention to provide an apparatus and method for converting a two-dimensional continuous image to a three-dimensional image so that a small amount of three-dimensional feeling is felt.

도 1은 종래의 기술에 의한 수정 시간차 방법의 흐름도이다.1 is a flowchart of a correction time difference method according to the related art.

도 2는 카메라의 움직임없이 객체가 왼쪽에서 오른쪽으로 움직이고 있을 때 왼쪽/오른쪽 영상을 결정하는 방법을 설명하는 도면이다.2 is a diagram illustrating a method of determining a left / right image when an object is moving from left to right without moving a camera.

도 3은 본 발명에 따른 2차원 연속영상의 3차원 변환장치의 블록도이다.3 is a block diagram of a three-dimensional conversion device of a two-dimensional continuous image according to the present invention.

도 4는 본 발명에 따른 2차원 연속영상의 3차원 변환 방법의 흐름도이다.4 is a flowchart of a three-dimensional transformation method of a two-dimensional continuous image according to the present invention.

도 5는 저장된 이전 프레임으로부터 지연영상의 생성방법을 설명하는 도면이다.5 is a view for explaining a method of generating a delay image from a stored previous frame.

도 6은 영상 전체의 움직임 방향에 대한 분리도이다.6 is a diagram illustrating separation of movement directions of an entire image.

상술한 목적을 달성하기 위한 본 발명에 따른 2차원 연속영상의 3차원영상 변환장치는 아날로그 영상신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 디지털로 변환된 영상신호를 소정의 블록크기로 나누는 영상블록부; 나누어진 각 블록의 평균 움직임의 양 및 방향을 측정하는 블록움직임 측정부; 아날로그/디지털 변환기의 출력인 원영상 이전의 소정의 갯수의 프레임을 아날로그/디지털 변환기로부터 받아서 저장하는 이전 프레임저장부; 블록움직임 측정부에서 측정된 각 블록의 움직임의 양에 따라 저장된 이전 프레임중에서 한 프레임을 선택하는 블록별 프레임결정부; 블록에 상응하는 선택된 프레임의 블록 데이터를 저장하고, 각 블록의 저장된 데이터를 합성하여 지연영상을 생성하는 블록 데이터 저장 및 합성부; 블록움직임 측정부에서 측정된 각 블록의 움직임 벡터를 합성해서 현재 프레임 전체의 움직임벡터를 결정하는 전체움직임 결정부; 영상을 좌우로 이등분할 때, 전체움직임 결정부에서 결정된 전체 움직임 벡터에 의해 결정된 움직임 방향이 좌측이면, 아날로그/디지털 변환기의 출력신호인 원영상을 좌측 영상신호로서 출력하고 블록 데이터 저장 및 합성부의 출력인 지연영상을 우측 영상신호로서 출력하며, 전체 움직임 방향이 우측이면, 원영상을 우측 영상신호로서 출력하고 지연영상을 좌측 영상신호로 출력하도록 결정하는 좌/우측영상결정부; 및 좌/우측영상 결정부에서 출력되는 좌/우측 영상신호를 아날로그 신호로 변환하는 좌/우측 디지털/아날로그변환기를 포함함이 바람직하다.In accordance with an aspect of the present invention, a three-dimensional image conversion apparatus for a two-dimensional continuous image includes: an analog / digital converter for converting an analog image signal into a digital signal; An image block unit dividing the digitally converted image signal into a predetermined block size; Block motion measuring unit for measuring the amount and direction of the average motion of each divided block; A previous frame storage unit which receives and stores a predetermined number of frames from the analog / digital converter before the original image which is an output of the analog / digital converter; A block-specific frame determination unit for selecting one frame from previous frames stored according to the amount of movement of each block measured by the block motion measurement unit; A block data storage and synthesis unit for storing block data of a selected frame corresponding to the block and synthesizing the stored data of each block to generate a delay image; A total motion determining unit configured to synthesize motion vectors of each block measured by the block motion measuring unit to determine a motion vector of the entire current frame; When dividing the image into left and right, if the movement direction determined by the total motion vector determined by the total motion determination unit is left, the original image, which is an output signal of the analog / digital converter, is output as the left image signal, and the block data storage and the output of the synthesis unit are performed. A left / right image determination unit for outputting a delayed image as a right image signal, and outputting the original image as a right image signal and outputting the delayed image as a left image signal when the entire motion direction is right; And a left / right digital / analog converter for converting a left / right image signal output from the left / right image determination unit into an analog signal.

상술한 다른 목적을 달성하기 위한 본 발명에 따른 2차원 연속영상의 3차원영상 변환방법은 연속되는 2차원 아날로그 영상신호를 디지털 신호로 변환하는 단계; 디지털 신호로 변환된 원영상을 소정의 크기의 블록으로 나누고, 나뉘어진 블록에 대한 평균 움직임 벡터를 결정하는 단계; 소정의 이전 영상 프레임을 저장하여 두고, K를 저장된 이전 프레임 갯수, MVj를 현재 영상 프레임에서 각 블록의 움직임 벡터의 크기, MVmax는 현재 영상 프레임의 최대 움직임 벡터의 크기일 때, 수학식 k=K*(MVj/MVmax) 와 같이 결정되는 k번째 이전 영상 프레임을 저장된 이전 영상 프레임으로부터 선택한 다음, j번째 블록에 상응하는 선택된 프레임의 블록 데이터를 저장하는 단계; 저장된 블록 데이터를 합성하여 지연영상을 생성하는 단계; 현재 영상 프레임의 각 블록의 움직임 벡터를 합하여 전체 움직임벡터로 두고, 영상을 좌우로 이등분할 때, 전체 움직임벡터의 방향이 우측방향이면 원영상은 좌측 영상신호로 지연영상은 우측 영상신호로 출력하고, 전체 움직임벡터의 방향이 좌측방향이면 원영상은 우측 영상신호로 지연영상은 좌측 영상신호로 출력하도록 결정된 후, 각각 아날로그 신호로 변환되는 단계를 포함함이 바람직하다.According to another aspect of the present invention, there is provided a method for converting a two-dimensional continuous image into a three-dimensional image, comprising: converting a continuous two-dimensional analog image signal into a digital signal; Dividing the original image converted into a digital signal into blocks having a predetermined size, and determining an average motion vector for the divided blocks; When a predetermined previous image frame is stored, K is the number of previous frames stored, MV j is the size of the motion vector of each block in the current image frame, and MV max is the size of the maximum motion vector of the current image frame. Selecting a k-th previous image frame determined as = K * (MV j / MV max ) from a stored previous image frame, and then storing block data of the selected frame corresponding to the j-th block; Synthesizing the stored block data to generate a delay image; When the motion vectors of each block of the current video frame are summed to be a full motion vector, and when the video is bisected left and right, if the direction of the full motion vector is in the right direction, the original video is output as the left video signal and the delay video is output as the right video signal When the direction of the entire motion vector is in the left direction, it is preferable to include the step of converting the original image into the right image signal and the delayed image into the left image signal, and then converting the analog image into an analog signal.

이하에서 첨부된 도면을 참조하여 보다 상세하게 설명하기로 한다. 도 3은 본 발명에 따른 2차원 연속영상으로부터 3차원영상 생성장치이다. 도 3에 도시된 장치는 아날로그/디지털 변환부(300), 영상블럭부(310), 블록움직임 측정부(320), 이전 프레임 저장부(330), 블록별 프레임 결정부(340), 블록 데이터 저장 및 합성부(350), 전체움직임 결정부(360), 좌/우측영상 결정부(370) 및 좌/우측 디지털/아날로그 변환부(380, 390)로 이루어진다.Hereinafter, with reference to the accompanying drawings will be described in more detail. 3 is a 3D image generating apparatus from a 2D continuous image according to the present invention. The apparatus illustrated in FIG. 3 includes an analog / digital converter 300, an image block unit 310, a block motion measurement unit 320, a previous frame storage unit 330, a block determination unit 340 for each block, and block data. It consists of a storage and synthesis unit 350, a total motion determiner 360, a left / right image determiner 370, and a left / right digital / analog converter 380, 390.

아날로그/디지털 변환부(ADC,300)는 2차원 아날로그 영상을 디지털로 변환한다. 영상블럭부(310)는 영상을 NxN 픽셀 크기를 갖는 블록으로 나누는데, 바람직한 N의 값은 3이다. 블록움직임 측정부(320)에서는 각 픽셀의 움직임의 양과 방향을 결정한다. NxN 블록이면 N2개의 픽셀이 있으므로 N2개 픽셀의 움직임을 결정한다. 이전 프레임 저장부(330)에서는 현재 영상 이전 K개의 프레임을 저장한다. 블록별 프레임 결정부(340)는 블록움직임 측정부(320)에서 측정된 각 블록별 움직임에 따라, 각 블록에 대해 이전 프레임 저장부(330)에 저장되어 있는 K개의 프레임중 하나를 결정한다. 블록 데이터 저장 및 합성부(350)는 블록별 프레임 결정부(340)에서 결정된 이전 프레임의 해당 블록 데이터들을 추출, 저장 및 합성하여 지연영상을 만든다. 전체 움직임결정부(360)에서는 각 블록의 움직임을 합하여 전체 영상의 움직임벡터를 구한다. 좌/우측 영상 결정부(370)는 전체 움직임결정부(360)에서 구해진 움직임 벡터에 의해 결정되는 움직임 방향에 따라 ADC(300)의 출력인 원 영상과 블록합성부(350)의 출력인 지연영상중에서 어느 영상을 어느 쪽 눈에 보일 것인지를 결정한다. 좌/우측 디지털/아날로그 변환기(DAC, 380, 390)는 좌/우측 영상결정부(370)에서 출력되는 좌/우측 영상을 아날로그 영상신호로 변환한다.The analog / digital converter (ADC) 300 converts a two-dimensional analog image to digital. The image block unit 310 divides the image into blocks having an N × N pixel size, and a preferable value of N is three. The block motion measuring unit 320 determines the amount and direction of movement of each pixel. Since the NxN block is N 2 pixels and determines the behavior of the N 2 pixels. The previous frame storage unit 330 stores K frames before the current image. The block determination unit 340 for each block determines one of K frames stored in the previous frame storage unit 330 for each block according to the movement of each block measured by the block motion measurement unit 320. The block data storage and synthesis unit 350 extracts, stores, and synthesizes the corresponding block data of the previous frame determined by the block determination unit 340 for each block to create a delay image. The total motion determiner 360 obtains a motion vector of the entire image by summing the motions of each block. The left / right image determiner 370 is an original image output from the ADC 300 and a delay image output from the block synthesizer 350 according to the motion direction determined by the motion vectors obtained from the entire motion determiner 360. It decides which image to see. The left / right digital / analog converters DAC 380 and 390 convert the left / right images output from the left / right image determination unit 370 into analog image signals.

한편, 도 1에 도시된 장치의 동작을 도4에 도시된 흐름도를 참조하여 설명한다. 먼저, 2D 영상신호는 ADC(300)를 거쳐서 디지털 신호로 변환되고(400단계), 영상블럭부(310)를 통해 NxN크기를 갖는 블록으로 나누어진다(410단계). 나누어진 각 블록은 블록움직임 측정부(320)를 통해 공지의 광류(optical flow) 측정법 또는 MPEG(Motion Picture coding Experts Group)1,2에서 사용되는 블록매칭 방법등을 사용하여 각 블록의 픽셀에 대한 움직임의 양과 방향이 결정된다(420단계). 본 발명에서는 각 블록의 N2개의 픽셀에 대한 움직임의 평균을 그 블록의 움직임값으로 사용한다. i번째 블록의 움직임의 평균은 다음과 같다.Meanwhile, the operation of the apparatus shown in FIG. 1 will be described with reference to the flowchart shown in FIG. 4. First, the 2D image signal is converted into a digital signal through the ADC 300 (step 400), and divided into blocks having an N × N size through the image block unit 310 (step 410). Each divided block is assigned to the pixel of each block using a known optical flow measurement method or a block matching method used in Motion Picture coding Experts Group (MPEG) 1, 2 through the block motion measurement unit 320. The amount and direction of the movement is determined (step 420). In the present invention, the average of motions for N 2 pixels of each block is used as the motion value of the block. The average of the motions of the i-th block is as follows.

[수학식1][Equation 1]

Figure kpo00001
Figure kpo00001

영상크기가 WxH라면 블록번호 i는 i=1,…,(W/N)x(H/N)이다.If the image size is WxH, block number i is i = 1,... , (W / N) x (H / N).

영상의 깊이는 움직임의 양과 관계가 있다. 카메라가 움직이고, 촬상화면(scene)의 움직임이 없을 때, 움직임의 양은 영상의 깊이와 반비례한다. 가까운 물체는 움직임이 크고 먼 물체는 상대적으로 움직임이 작다. 또한 카메라가 정지되어 있고, 영상에서 움직이는 물체가 있을 때, 가까운 물체는 빨리 움직이고, 먼 물체는 천천이 움직인다.The depth of the image is related to the amount of movement. When the camera is moving and there is no movement of the scene, the amount of movement is inversely proportional to the depth of the image. Near objects move a lot and far objects move relatively little. Also, when the camera is stationary and there is a moving object in the image, nearby objects move fast and distant objects move slowly.

상기와 같이 각 블록의 움직임의 양 및 방향이 결정되면 블록별 프레임 결정부(340)를 통해 현재 프레임의 각 블록에 대해 이전 프레임 저장부(330)에 저장되어있는 K개의 이전 프레임중에서 한 프레임이 선택된다. 선택방법은 다음과 같다. (W/N)x(H/N)개의 블록들에서 얻어진 움직임의 크기중 최대값을 MVmax라고 하고 최소값은 0으로 정한다. K는 이전 프레임의 갯수를 나타낸다. 현재 프레임 Ic의 바로 전 프레임을 Ic-1이라 하면, k번째의 이전 프레임은 Ic-k가 되고, 그 때의 k는 다음식과 같이 결정된다.When the amount and direction of the movement of each block is determined as described above, one frame among the K previous frames stored in the previous frame storage unit 330 for each block of the current frame is determined by the frame determination unit 340 for each block. Is selected. The selection method is as follows. The maximum value of the motions obtained from (W / N) x (H / N) blocks is called MV max and the minimum value is 0. K represents the number of previous frames. If the frame immediately before the current frame I c is I c -1 , the k-th previous frame becomes I ck , and k at that time is determined as follows.

[수학식2][Equation 2]

k=K*(MVi/MVmax)k = K * (MV i / MV max )

여기서 i는 블록의 번호이며, k는 소수점이 반올림된 값이다.Where i is the number of blocks and k is the value rounded to the decimal point.

블록 데이터 저장 및 합성부(350)를 통해서 현재 프레임의 각 블록에 대해, 수학식 2에 의해 결정되는 이전 프레임 Ic-k의 해당 블록 데이터가 저장된다. 영상크기가 WxH라 하면 (W/N)x(H/N)개의 블록 데이터가 저장된 다음(430단계), 합성되어 입체영상에 필요한 지연영상으로 만들어진다. 도 5는 지연영상의 예를 도시한 것으로서, K=6인 경우에 6개의 이전 프레임으로부터 각 블록 데이터가 합성되어 지연영상이 만들어진다(440단계).The block data storage and synthesis unit 350 stores corresponding block data of the previous frame I ck determined by Equation 2 for each block of the current frame. If the image size is WxH, (W / N) x (H / N) block data is stored (step 430), and then synthesized to produce a delay image required for a stereoscopic image. FIG. 5 illustrates an example of a delayed image. When K = 6, each block data is synthesized from six previous frames to generate a delayed image (step 440).

한편, 블록움직임 측정부(320)를 통해 얻어진 각 블록의 움직임의 양과 방향은 전체 움직임결정부(360)를 통해 모두 합산되어 영상 전체에 대한 움직임의 양 및 방향이 구해진다.On the other hand, the amount and direction of the motion of each block obtained through the block motion measuring unit 320 is summed up through the entire motion determining unit 360 to obtain the amount and direction of the motion of the entire image.

영상을 도 6과 같이 4등분할 때, 좌/우측 영상 결정부(370)를 통해서 전체 움직임방향이 I, IV 영역에 있으면 ADC(300)의 출력인 원영상 Ic를 왼쪽 눈에 보이고, 블록 합성부(350)의 출력인 지연영상 Ic'을 오른쪽 눈에 보이도록 결정된다. 전체 움직임방향이 II, III 영역에 있으면 원영상 Ic를 오른쪽 눈에 보이고, 지연영상 Ic'을 왼쪽 눈에 보이도록 결정된다(450단계).When the image is divided into four as shown in FIG. 6, the original image I c , which is the output of the ADC 300, is visible to the left eye when the overall movement direction is in the I and IV regions through the left / right image determination unit 370. The delay image I c ′, which is the output of the synthesis unit 350, is determined to be visible to the right eye. If the overall movement direction is in the II and III regions, it is determined that the original image I c is visible to the right eye and the delay image I c 'is visible to the left eye (step 450).

상술한 바와 같이 좌/우측 영상이 결정되면, 각각의 영상신호는 좌/우측 디지털/아날로그 변환기(380,390)를 거쳐서 좌/우측 아날로그 영상신호로 변환되어 출력된다(460단계).As described above, when the left / right image is determined, each video signal is converted into a left / right analog video signal and output through the left / right digital / analog converters 380 and 390 (step 460).

상술한 과정을 거쳐 모니터에 디스플레이된 입체영상을 감상하기 위해서는 입체영상과 동기시켜주는 입체안경이 필요하다.In order to view the stereoscopic image displayed on the monitor through the above-described process, stereoscopic glasses are synchronized with the stereoscopic image.

본 발명에 의하면, 현재 영상 이전의 어느 한 프레임에 의해 지연영상을 생성하지않고 여러 프레임으로부터 영역별 지연영상을 얻고 이들을 합성하여 지연영상을 생성하므로써, 움직임이 적은 영역에 대해서도 입체감을 느낄 수 있는 입체영상을 얻을 수 있다. 이를 TV, VCR, DVD, CD등에 이용하여 입체시청가능하도록 할 수 있고, 내시경, 초음파를 이용하는 의료분야에도 적용하여 입체로 영상을 판독하므로써 진단효율을 높일 수 있다.According to the present invention, by generating a delayed image for each region from a plurality of frames without generating a delayed image by any one frame before the current image, and generating a delayed image by synthesizing the delayed image, a three-dimensional effect can be sensed even in a region with little movement. You can get a video. This can be used for TV, VCR, DVD, CD, etc. to enable stereoscopic viewing, and can also be applied to the medical field using endoscope and ultrasound to increase the diagnostic efficiency by reading images in stereoscopically.

Claims (3)

연속되는 2차원 영상을 3차원의 입체적인 영상으로 변환하는 2차원 연속영상의 3차원 영상 변환장치에 있어서,In the three-dimensional image conversion apparatus of a two-dimensional continuous image for converting a continuous two-dimensional image into a three-dimensional three-dimensional image, 아날로그 영상신호를 디지털 신호로 변환하는 아날로그/디지털 변환기;An analog / digital converter for converting an analog video signal into a digital signal; 상기 디지털로 변환된 영상신호를 소정의 블록크기로 나누는 영상블록부;An image block unit dividing the digitally converted image signal into a predetermined block size; 상기 나누어진 각 블록의 평균 움직임의 양 및 방향을 측정하는 블록움직임 측정부;Block movement measuring unit for measuring the amount and direction of the average motion of each divided block; 상기 아날로그/디지털 변환기의 출력인 원영상 이전의 소정의 갯수의 프레임을 상기 아날로그/디지털 변환기로부터 받아서 저장하는 이전 프레임저장부;A previous frame storage unit for receiving and storing a predetermined number of frames before the original image which is the output of the analog / digital converter from the analog / digital converter; 상기 블록움직임 측정부에서 측정된 각 블록의 움직임의 양에 따라 상기 저장된 이전 프레임중에서 한 프레임을 선택하는 블록별 프레임결정부;A block determination frame for selecting one frame among the stored previous frames according to the amount of movement of each block measured by the block movement measurement unit; 상기 블록에 상응하는 상기 선택된 프레임의 블록 데이터를 저장하고, 각 블록의 저장된 데이터를 합성하여 지연영상을 생성하는 블록 데이터 저장 및 합성부;A block data storage and synthesis unit for storing block data of the selected frame corresponding to the block and synthesizing the stored data of each block to generate a delay image; 상기 블록움직임 측정부에서 측정된 각 블록의 움직임 벡터를 합성해서 현재 프레임 전체의 움직임벡터를 결정하는 전체움직임 결정부;A total motion determiner configured to determine motion vectors of the entire current frame by synthesizing the motion vectors of each block measured by the block motion measurer; 영상을 좌우로 이등분할 때, 상기 전체움직임 결정부에서 결정된 전체 움직임 벡터에 의해 결정된 움직임 방향이 좌측이면, 상기 아날로그/디지털 변환기의 출력신호인 원영상을 좌측 영상신호로서 출력하고 상기 블록 데이터 저장 및 합성부의 출력인 지연영상을 우측 영상신호로서 출력하며, 전체 움직임 방향이 우측이면, 원영상을 우측 영상신호로서 출력하고 지연영상을 좌측 영상신호로 출력하도록 결정하는 좌/우측영상결정부; 및When dividing the image into left and right, if the movement direction determined by the total motion vector determined by the global motion determining unit is left, the original image, which is an output signal of the analog / digital converter, is output as the left image signal, and the block data is stored and A left / right image determination unit for outputting a delayed image, which is an output of the combining unit, as a right image signal, and outputting the original image as a right image signal and outputting the delayed image as a left image signal if the entire motion direction is right; And 상기 좌/우측영상 결정부에서 출력되는 좌/우측 영상신호를 아날로그 신호로 변환하는 좌/우측 디지털/아날로그변환기를 포함함을 특징으로하는 2차원 연속영상의 3차원 영상 변환장치.And a left / right digital / analog converter for converting the left / right image signal output from the left / right image determination unit into an analog signal. 연속되는 2차원 영상을 3차원의 입체적인 영상으로 변환하는 2차원 연속영상의 3차원 영상 변환방법에 있어서,In the three-dimensional image conversion method of a two-dimensional continuous image for converting a continuous two-dimensional image into a three-dimensional three-dimensional image, 연속되는 2차원 아날로그 영상신호를 디지털 신호로 변환하는 단계;Converting a continuous two-dimensional analog video signal into a digital signal; 상기 디지털 신호로 변환된 원영상을 소정의 크기의 블록으로 나누고, 상기 나뉘어진 블록에 대한 평균 움직임 벡터를 결정하는 단계;Dividing the original image converted into the digital signal into blocks having a predetermined size, and determining an average motion vector for the divided blocks; 소정의 이전 영상 프레임을 저장하여 두고, K를 상기 저장된 이전 프레임 갯수, MVj를 현재 영상 프레임에서 각 블록의 움직임 벡터의 크기, MVmax는 현재 영상 프레임의 최대 움직임 벡터의 크기일 때, 수학식When a predetermined previous image frame is stored, K is the number of stored previous frames, MV j is the size of the motion vector of each block in the current image frame, and MV max is the size of the maximum motion vector of the current image frame. k=K*(MVj/MVmax) 와 같이 결정되는 k번째 이전 영상 프레임을 저장된 이전 영상 프레임으로부터 선택한 다음, j번째 블록에 상응하는 상기 선택된 프레임의 블록 데이터를 저장하는 단계;selecting a k-th previous image frame determined as k = K * (MV j / MV max ) from a stored previous image frame and storing block data of the selected frame corresponding to the j-th block; 상기 저장된 블록 데이터를 합성하여 지연영상을 생성하는 단계;Synthesizing the stored block data to generate a delay image; 상기 현재 영상 프레임의 각 블록의 움직임 벡터를 합하여 전체 움직임벡터로 두고, 영상을 좌우로 이등분할 때, 상기 전체 움직임벡터의 방향이 우측방향이면 상기 원영상은 좌측 영상신호로 지연영상은 우측 영상신호로 출력하고, 전체 움직임벡터의 방향이 좌측방향이면 원영상은 우측 영상신호로 지연영상은 좌측 영상신호로 출력하도록 결정된 후, 각각 아날로그 신호로 변환되는 단계를 포함함을 특징으로 하는 2차원 연속영상의 3차원영상 변환방법.When the motion vector of each block of the current video frame is summed to be a full motion vector, and when the video is bisected left and right, if the direction of the full motion vector is in the right direction, the original video is the left video signal and the delay video is the right video signal. And if the direction of the entire motion vector is in the left direction, the original video is determined to be output as the right video signal and the delayed video as the left video signal, and then converted into analog signals, respectively. 3D image conversion method. 제2항에 있어서, 상기 움직임벡터결정단계는The method of claim 2, wherein the motion vector determination step 상기 원영상을 NxN 크기의 블록으로 구분하는 블록구분단계; 및A block classification step of dividing the original image into blocks of size NxN; And 상기 구분된 블록마다, i번째 블록의 평균 움직임 벡터를
Figure kpo00002
라 하고, i번째 블록에 속한 각 픽셀 k의 움직임 벡터를
Figure kpo00003
라 할 때, 수학식For each of the divided blocks, the average motion vector of the i th block
Figure kpo00002
The motion vector of each pixel k belonging to the i th block
Figure kpo00003
When we say
Figure kpo00004
Figure kpo00004
 에 의해 상기 각 구분된 블록의 평균 움직임 벡터
Figure kpo00005
를 구하는 움직임벡터측정단계로 이루어짐을 특징으로 하는 2차원 연속영상의 3차원영상 변환방법.Average motion vector of each separated block by
Figure kpo00005
3D image conversion method of a two-dimensional continuous image, characterized in that the motion vector measurement step to obtain a.
KR1019970017948A 1997-05-09 1997-05-09 3-dimension image conversion apparatus and method of 2-dimension continuous image KR100230447B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970017948A KR100230447B1 (en) 1997-05-09 1997-05-09 3-dimension image conversion apparatus and method of 2-dimension continuous image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970017948A KR100230447B1 (en) 1997-05-09 1997-05-09 3-dimension image conversion apparatus and method of 2-dimension continuous image

Publications (2)

Publication Number Publication Date
KR19980082849A KR19980082849A (en) 1998-12-05
KR100230447B1 true KR100230447B1 (en) 1999-11-15

Family

ID=19505351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970017948A KR100230447B1 (en) 1997-05-09 1997-05-09 3-dimension image conversion apparatus and method of 2-dimension continuous image

Country Status (1)

Country Link
KR (1) KR100230447B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114998A1 (en) * 2004-05-21 2005-12-01 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data
KR100610892B1 (en) 2005-01-18 2006-08-09 엘지전자 주식회사 Image Processing Device and Method for Plasma Display Panel

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100321897B1 (en) * 1998-12-22 2002-05-13 박남은 Stereoscopic image conversion method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114998A1 (en) * 2004-05-21 2005-12-01 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data
KR100610892B1 (en) 2005-01-18 2006-08-09 엘지전자 주식회사 Image Processing Device and Method for Plasma Display Panel

Also Published As

Publication number Publication date
KR19980082849A (en) 1998-12-05

Similar Documents

Publication Publication Date Title
KR100334722B1 (en) Method and the apparatus for generating stereoscopic image using MPEG data
AU783045B2 (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
US6111979A (en) System for encoding/decoding three-dimensional images with efficient compression of image data
US6496598B1 (en) Image processing method and apparatus
CN1745589B (en) Video filtering for stereo images
US7254265B2 (en) Methods and systems for 2D/3D image conversion and optimization
Redert et al. Advanced three-dimensional television system technologies
US6314211B1 (en) Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
KR101385514B1 (en) Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information
JP2000078611A (en) Stereoscopic video image receiver and stereoscopic video image system
WO1996021321A1 (en) Virtual reality television system
KR100263936B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video
KR100263935B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity
KR100230447B1 (en) 3-dimension image conversion apparatus and method of 2-dimension continuous image
KR100757259B1 (en) 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby
JP4173684B2 (en) Stereoscopic image creation device
KR100297831B1 (en) An apparatus for converting two dimensional image to stereoscopic image
JPH09200803A (en) Image processing unit and image processing method
KR100322727B1 (en) Method and system for converting two-dimensional/stereo images
JP2887272B2 (en) 3D image device
JP2001016609A (en) Stereoscopic video image generator and its method using mpeg data
KR20050018034A (en) Apparatus for converting 2D image signal into 3D image signal
KR101192313B1 (en) Method for Temporal Consistency Enhancement of Depth Map
JP2846843B2 (en) How to convert 2D video to 3D video
KR100304662B1 (en) System and method for generating stereo image using two-dimensional image sequence

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070703

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee