KR19990057668A - 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법 - Google Patents

운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법 Download PDF

Info

Publication number
KR19990057668A
KR19990057668A KR1019970077734A KR19970077734A KR19990057668A KR 19990057668 A KR19990057668 A KR 19990057668A KR 1019970077734 A KR1019970077734 A KR 1019970077734A KR 19970077734 A KR19970077734 A KR 19970077734A KR 19990057668 A KR19990057668 A KR 19990057668A
Authority
KR
South Korea
Prior art keywords
image
block
horizontal parallax
motion
horizontal
Prior art date
Application number
KR1019970077734A
Other languages
English (en)
Other versions
KR100263935B1 (ko
Inventor
김만배
송문섭
김도균
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970077734A priority Critical patent/KR100263935B1/ko
Priority to JP37430398A priority patent/JP4056154B2/ja
Priority to US09/222,713 priority patent/US6314211B1/en
Priority to NL1010920A priority patent/NL1010920C2/nl
Publication of KR19990057668A publication Critical patent/KR19990057668A/ko
Application granted granted Critical
Publication of KR100263935B1 publication Critical patent/KR100263935B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법을 개시한다. 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부 및 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 한다.

Description

운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
본 발명은 3차원 영상을 생성하는 장치 및 방법에 관한 것으로서, 특히 연속되는 2차원 영상의 움직임을 이용하는, 2차원 연속 영상의 3차원 영상 변환장치 및 방법에 관한 것이다.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.
종래의 3차원 영상 생성방법중 한 방법으로서, 일본 산요(SANYO) 전기 주식회사에서 개발한 수정 시간차(MTD:Modified Time Difference)를 이용한 방법이 있다. 도 1을 참조하여 간략히 설명하면, 먼저, 연속되는 2차원 영상에서 움직이는 영역이 추출된다(제100단계). 추출된 영역의 움직임 속도 및 방향이 추출된다(제110단계). 현재 영상의 움직임 속도 및 방향에 근거하여, 이전의 한 영상 프레임으로부터 지연 방향(delay direction) 및 지연 시간(delay time)이 결정된다(제120단계). 결정된 지연 방향 및 지연 시간에 따라 지연된 영상과 현재 영상이 사람의 좌/우측 눈에서 어느 측 눈에 각각 디스플레이될 것인지가 결정된다(제130단계).
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다. 도 2를 정확하게 설명하면, 연속되는 2차원 영상을 촬영하는 카메라가 고정되어 있고 영상내의 물체(■)가 움직이고 있을 때 좌/우측 영상을 결정하는 과정을 나타낸다. 수정 시간차를 이용한 종래의 방법에 의하면, 도 2에 도시고, 좌측 눈에 시간 지연된 영상을 보여줌으로써 사람에게 양안 시차를 제공한다. 반면, 물체(■)가 좌측으로 움직이고 있을 때, 좌측 눈에 원영상을 보여주고, 우측 눈에 시간 지연된 영상을 보여줌으로써 전술한 바와 반대의 양안 시차를 제공한다.
전술한 수정 시간차를 이용한 종래의 3차원 영상 생성방법은 다음과 같은 문제점이 있다.
첫째, 원영상의 움직임 정보에만 근거하여 이전 프레임들중에서 한 영상을 지연된 영상으로서 선택하므로, 원영상의 영역별로 가지고 있는 다른 깊이는 무시되는 문제점이 있다. 이와 같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 된다. 예컨대, 움직이는 물체에 대해서는 입체감을 느낄 수 있지만, 화면의 배경과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.
두번째, 원영상과 지연된 영상간에 물체의 운동이 수직 성분을 가질 때, 수정 시간차를 이용한 종래의 방법으로 3차원 영상을 생성한다면, 수평 시차에서 깊이감을 얻는 인간의 시각 구조와의 불일치 때문에 눈의 피로감이 생기는 문제점이 있다.
세번째, 원영상내의 물체의 움직임량이 매우 클때에 다수개의 이전 프레임들에서 어느 프레임이 지연된 영상으로서 선택되더라도, 이때의 원영상과 지연된 영상으로 생성되는 입체 영상은 시차가 크기 때문에 인간의 시차 인식의 한계를 벗어나는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는, 2차원 영상의 움직임을 측정한 후에 움직임 특성에 따라 수평 시차로 변환하여 새로운 영상을 생성함으로써, 영상의 영역별로 깊이감을 가지고, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 입체감을 가지며, 또한 원영상내의 물체의 운동량이 매우 크더라도 인간의 시차로 인식가능한 3차원 영상을 생성하는, 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는, 상기 3차원 영상 변환장치가 수행하는 3차원 영상 변환방법을 제공하는데 있다.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다.
도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도이다.
도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다.
도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면이다.
도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭의 수평 이동 과정을 설명하기 위한 개념도이다.
상기 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부 및 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부로 구성되는 것이 바람직하다.
상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법은, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계, (c) 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 단계, (d) 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성하는 단계 및 (e) 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.
이하, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.
도 3은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(300), 영상 블럭부(310), 이전 프레임 저장부(320), 블럭 움직임 측정부(330), 수평 시차 생성부(340), 합성 영상 생성부(350), 출력부인 좌/우측 영상 결정부(360), 제1 및 제2 디지탈-아날로그 변환기(DAC)(372 및 374)로 구성된다.
여기서, 상기 수평 시차 생성부(340)는 수평 시차 변환부(342), 수평 시차 조정부(344) 및 움직임 특성 결정부(346)로 구성되며, 상기 합성 영상 생성부(350)는 블럭 수평 이동부(352), 블럭 합성부(354) 및 보간부(356)로 구성된다.
본 발명은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, TV, VCR, CD, HDTV, DVD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하는 단안 비디오 카메라로 촬영한 2차원 연속 영상을 이용하여 3차원 영상을 생성하는 기술이다. 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는 단안 비디오 카메라로 촬영된 2차원 연속 영상에서 연속되는 두 영상간의 움직임 벡터를 측정한 후에 이로부터 수평 시차를 생성하고, 원영상으로부터 수평 시차에 따라 수평 방향으로 이동된 새로운 영상을 생성함으로써, 원영상과 새로운 영상으로 이루어진 3차원 영상을 생성한다.
도 3을 참조하면, 아날로그-디지탈 변환기(310)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(320)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 운동이 있는 주 물체와 운동이 거의 없는 배경을 구분하여 운동을 추정하기 위함이다. 이전 프레임 저장부(320)는 영상 블럭부(310)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.
블럭 움직임 측정부(330)는 영상 블럭부(310)로부터 블럭화된 현재 영상을 입력하고, 이전 프레임 저장부(320)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(330)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 각 상응하는 블럭을 이용하여 움직임의 양 및 방향 즉, 움직임 벡터를 측정한다.
수평 시차 생성부(340)는 블럭 움직임 측정부(330)에서 각 블럭의 움직임 벡터가 측정된 현재 영상을 입력하여, 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차를 얻는다.
구체적으로, 수평 시차 변환부(342)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터를 시차값으로 변환한다. 본 발명은 움직임 벡터의 크기를 계산하고, 계산된 값을 시차값으로 간주하는 간단한 변환 방법을 사용한다. 여기서, 시차값은 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 수평 시차에 해당한다.
수평 시차 조정부(344)는 소정의 제어신호에 응답하여 수평 시차 변환부(342)에서 변환된 각 블럭의 수평 시차를 조정한다. 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 수평 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다.
구체적으로, 수평 시차 조정부(344)는 소정의 제어신호에 응답하여 상기 수평 시차를 최대 수평 시차값에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 출력하거나, 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력한다. 여기서, 최대 수평 시차값은 블럭 움직임 측정부(330)에서 결정되는 값이다. 또한, 수평 시차 조정부(344)는 수평 시차를 조정하기 전에, 각 블럭의 수평 시차를 소정의 최대 시차값을 초과하지 않도록 스케일링한다.
움직임 특성 결정부(346)는 블럭 움직임 측정부(330)에서 측정된 각 블럭의 움직임 벡터로부터 현재 영상의 움직임 특성을 결정하고, 결정된 결과에 따라 상기 제어신호를 발생한다. 구체적으로, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 움직임의 크기를 소정의 기준치와 비교하고, 전체 움직임이 기준치보다 클 경우에 상기 제어신호를 발생한다.
여기서, 소정의 기준치는 현재 영상을 촬영한 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다. 카메라가 움직임이 있다는 것은 영상내에 배경이 움직인다고 볼 수 있으므로, 영상내에 배경 및 주 대상 물체가 움직일 때에 전체 움직임은 거의 없게 된다. 따라서, 이때에 수평 시차 조정부(344)는 수평 시차 변환부(342)에서 출력된 수평 시차를 그대로 출력하고, 그 밖에 경우에 대해서는 최대 수평 시차값에서 감산된 값을 출력한다.
영상 생성부(350)는 수평 시차 생성부(340)에서 각 블럭의 수평 시차를 갖는 현재 영상을 입력하고, 각 블럭을 각각의 수평 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 합성 영상을 생성한다.
구체적으로, 블럭 수평 이동부(352)는 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시킨다. 블럭 합성부(354)는 블럭 수평 이동부(352)에서 이동된 각 블럭을 합성하여 합성 영상을 생성한다. 합성 영상 보간부(356)는 블럭 합성부(354)에서 생성된 합성 영상에서 현재 영상의 각 블럭에 의해 채워지지 않은 영역을 보간한다.
출력부에 해당하는 좌/우측 영상 결정부(360)는 영상 생성부(350)로부터 합성 영상을 입력하고, 아날로그-디지탈 변환기(300)로부터 현재 영상을 입력하여, 현재 영상과 합성 영상으로 이루어진 3차원 영상을 디스플레이한다. 이때, 좌/우측 영상 결정부(360)는 현재 영상과 합성 영상중에서 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에 디스플레이되고, 우측 영상신호는 사람의 우측 눈에 디스플레이된다.
기본적으로, 좌/우측 영상 결정부(360)는 양안 시차중에서도 양의 시차에 근거하여 현재 영상을 좌측 눈에, 합성 영상을 우측 눈에 디스플레이한다. 이러한 디스플레이 방식은 제한되지 않으며, 합성 영상을 생성할 시에 수평 이동 방법과, 깊이감을 주고자 하는 방향이 음인가 양인가에 따라 달라질 수 있다.
예컨대, 블럭 수평 이동부(352)에서 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 수평 시차만큼 좌측 수평 방향으로 이동시키면, 음의 시차에 근거하여 현재 영상과 합성 영상이 디스플레이된다. 그러나, 입체감을 크게 하기 위해 음의 시차를 많이 주게 되면, 사람이 눈의 피로를 느끼게 되므로 음의 시차의 영상을 장시간동안 디스플레이하기는 힘들다. 따라서, 본 발명에서는 양의 시차로 디스플레이하는 것을 기본으로 한다.
전술한 바에 의하면, 본 발명은 양안 시차를 이용한 스테레오 기술에 속한다. 여기서, 본 발명의 이해를 돕기 위해 양안 시차의 원리를 간략하게 설명한다.
도 5 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면으로서, 도 5 (a)는 양의 시차를, 도 5 (b)는 음의 시차를 각각 나타낸다. 도 5 (a) 및 (b)에서, 화면상에 두 영상 즉, 원영상과 새로운 영상을 디스플레이하면 각각의 영상은 사람의 우측 눈과 좌측 눈에 비춰지게 된다. 화면상에 두 영상의 대응점인 a와 a'는 두 눈의 위치인 b와 b'에 대응하지만, 사람은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 된다. 즉, 이때 사람이 화면상에 물체가 있다고 실제로 인식하는 위치는 도 5 (a) 및 (b)에서 P의 위치이다. 점 P의 위치는 삼각형 △Paa'와 △Pbb'가 닮은꼴이므로, 비례식에 의해 쉽게 구할 수 있다.
따라서, 시차가 있는 두 영상 즉, 원영상과 새로운 영상으로 이루어진 3차원 영상을 화면상에 디스플레이하면, 사람은 깊이감을 인식할 수 있다. 도 2 (a)와 같은 양의 시차의 경우에, 사람은 점 P의 위치가 화면 뒤에 있는 것으로 인식하며, 도 2 (b)와 같은 음의 시차의 경우에, 사람은 점 P의 위치가 화면 앞에 있는 것으로 인식하게 된다.
본 발명에서 생성된 새로운 영상은 원영상으로부터 수평 시차만큼 수평 방향으로 이동된 영상이다. 따라서, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상이 생성된다.
도 4는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다. 도 4를 참조하여 도 3에 도시된 장치가 수행하는 본 발명에 의한 3차원 영상 변환방법을 설명한다.
먼저, 연속되는 아날로그 형태의 2차원 영상신호는 아날로그-디지탈 변환기(300)를 통해 디지탈 신호로 변환된다(제400단계). 다음에, 디지탈 신호로 변환된 현재 영상은 영상 블럭부(310)를 통해 소정 크기의 블럭 단위로 분할된다(제410단계). 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다.
제410단계 후에, 이전 영상 프레임 저장부(320)에 저장된 이전 영상 프레임을 이용하여, 현재 영상의 각 블럭에 대해 움직임의 양과 방향 즉, 움직임 벡터가 블럭 움직임 측정부(330)를 통해 측정된다(제420단계). 연속되는 두 영상간의 움직임 벡터를 측정하기 위한 방법으로서 공지의 광류(optical flow) 측정법 또는 엠펙(MPEG:Motion Picture Coding Experts Group)I,II에서 사용되는 블럭 매칭 방법등을 사용한다. 또한 빠른 처리속도를 위해서, 블럭 매칭 방법중에서도 계산량이 작은 PHODS(Parallel heirarchical one-dimensional search)방법을 사용할 수도 있다.
제420단계에서 현재 영상의 각 블럭에 대한 움직임 벡터가 측정되면, 수평 시차 생성부(340)를 통해 현재 영상의 움직임 특성에 따라 각 블럭의 움직임 벡터로부터 수평 시차가 얻어진다(제430단계).
제430단계는 구체적으로 다음 단계들로 구성된다. 먼저, 제420단계에서 측정된 각 블럭의 움직임 벡터가 수평 시차 변환부(342)를 통해 수평 시차로 변환된다(제432단계). 수평 시차를 구하는 방법으로서 움직임 벡터의 크기를 계산하고, 계산된 값을 수평 시차로 간주하는 간단한 방법을 사용한다. 여기서, 수평 시차는 이후에 생성될 합성 영상과 현재 영상이 한 쌍을 이루어 3차원 영상으로서 디스플레이될 경우에 두 영상으로 인해 생기는 시차에 해당한다. 다음 수학식 1은 각 블럭의 수평 시차(px)를 구하는 계산식을 나타낸다.
수학식 1에서와 같이, 수평 시차(px)는 움직임 벡터 (Vx,Vy)의 크기이다.
다음에, 움직임 특성 결정부(346)를 통해 현재 영상의 움직임 특성이 결정된다(제434단계). 움직임 특성으로 결정하는 한 방법으로서, 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 비교한 결과를 현재 영상의 움직임 특성으로서 간주한다. 여기서, 소정의 기준치는 현재 영상을 촬영하는 카메라가 움직이고 현재 영상내 주 대상 물체가 움직일 때에 전체 움직임의 크기를 나타낸다.
다음에, 제432단계에서 얻어진 수평 시차가 수평 시차 조정부(344)를 통해 현재 영상의 움직임 특성에 따라 조정된다(제436단계). 이와 같이 수평 시차를 조정하는 이유는 현재 영상을 촬영한 카메라의 움직임 여부와 현재 영상내 주 대상 물체의 움직임 여부에 따라 시차를 조정함으로써 인간의 시차로 인식가능한 3차원 영상을 생성하기 위함이다. 수평 시차를 조정하는 한 방법으로서, 현재 영상의 전체 움직임이 소정의 기준치이하이면, 제432단계에서 얻어진 원래의 수평 시차를 그대로 유지하고, 소정의 기준치보다 크면, 제432단계에서 얻어진 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 각 블럭의 수평 시차로서 대치한다.
여기서, 최대 수평 시차는 제420단계에서 결정되는 값이다. 또한, 제436단계에서 수평 시차를 조정하기 전에, 각 블럭의 수평 시차는 소정의 최대 시차값을 초과하지 않도록 스케일링된다. 다음 수학식 2는 후자의 경우에 수평 시차(px)를 구하는 계산식을 나타낸다.
수학식 2에서, pxmax는 블럭 움직임 측정부(330)에서 결정되는 값이다.
다시 도 4를 참조하여 제430단계 후에, 현재 영상의 각 블럭은 영상 생성부(350)를 통해 각각의 수평 시차에 따라 수평 방향으로 이동됨으로써 현재 영상에 대응한 합성 영상이 생성된다(제440단계).
제440단계는 구체적으로 다음 단계들로 구성된다. 먼저, 현재 영상내에서의 모든 블럭의 위치는 블럭 수평 이동부(352)를 통해 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동된다(제442단계). 제442단계에서 수평 이동된 모든 블럭의 화소 데이타가 블럭 합성부(354)를 통해 합성되어 합성 영상이 생성된다(제444단계).
도 6 (a) 및 (b)는 도 4에 도시된 방법에서 블럭 수평 이동 과정을 설명하기 위한 개념도로서, 도 6 (a)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 클 경우에 블럭 수평 이동을, 도 6 (b)는 먼저 이동되는 블럭(B1)의 수평 시차(px1)가 다음 이동되는 블럭(B2)의 수평 시차(px2)보다 작을 경우에 블럭 수평 이동을 각각 나타낸다. 도면에서, ●는 블럭내 픽셀의 위치를 표시하며, (Bi,pxi)는 i번째 블럭의 수평 시차(pxi)를 표시한다. 또한, 설명을 간단히 하기 위해, 각 블럭이 예컨대 8×8 픽셀 크기로 구성될 경우에, 하나의 스캔 라인만을 예로 하였다.
도 6 (a)에서 수평 시차(px1)가 수평 시차(px2)보다 클 경우에, 예컨대 수평 시차(px1)가 3이고 수평 시차(px2)가 1이라고 하면, 블럭(B1)의 모든 픽셀들은 먼저 3만큼 수평 이동된다. 반면, 블럭(B2)의 경우에는 세번째 픽셀부터 1만큼 수평 이동된다. 즉, 블럭(B2)의 경우에 처음 두개의 픽셀들은 이동되지 않는다. 도 6 (b)에서 수평 시차(px1)가 수평 시차(px2)보다 작을 경우에, 예컨대 수평 시차(px1)가 1이고 수평 시차(px2)가 3이라고 하면, 블럭(B1)과 블럭(B2)의 모든 픽셀들은 각각 1과 3만큼 수평 이동된다. 그러나, 도 6(b)에 도시된 바와 같이, 블럭(B1)과 블럭(B2)은 수평 시차가 다르므로, 블럭(B1)이 채워진 다음에 3개의 픽셀들이 채워지지 않은 채로, 블럭(B2)이 채워지게 되고, 비어 있는 픽셀들이 발생한다.
제444단계 후에, 전술한 바와 같이 블럭 수평 이동 과정을 거쳐 합성된 합성 영상에서 각 블럭에 의해 채워지지 않은 영역이 보간부(356)를 통해 보간된다(제446단계). 즉, 합성 영상은 현재 영상의 각 블럭이 다른 수평 시차에 따라 수평 이동되었기 때문에, 도 6 (b)와 같이 비어 있는 픽셀들이 발생할 수 있다. 빈 픽셀들에 적당한 픽셀값을 부여하는 보간 방법으로는 여러가지 방법이 사용될 수 있는데, 선형(linear) 보간법, 쌍선형(bilinear) 보간법, 가중(weighted) 보간법등이 있다. 또한, 가장 간단한 방법으로서, 빈 픽셀들을 가장 가까이 있는 왼쪽 또는 오른쪽에 채워진 픽셀들의 값으로 동일하게 채우는 것이다. 도 6 (b)를 참조하면, 픽셀(a1) 또는 픽셀(a2)의 값을 이용한다. 본 발명에서는 계산량이 가장 적은 이 방법을 사용하였다.
다시 도 4를 참조하여 제440단계 후에, 현재 영상과 합성 영상을 한 쌍으로 하는 3차원 영상을 디스플레이하기 위해서, 좌/우측 영상 결정부(360)를 통해 좌/우측 영상이 결정된다(제450단계). 현재 영상과 합성 영상중에서 하나는 좌측 눈에 디스플레이되고, 다른 하나는 우측 눈에 디스플레이됨으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다. 마지막으로, 이들 영상은 디지탈 신호이므로, 제1 및 제2 디지탈-아날로그 변환기(372 및 374)를 통해 각각 아날로그 신호로 변환되어 디스플레이된다(제460단계). 참고로, 전술한 과정을 거쳐 모니터등의 디스플레이 수단에 디스플레이된 3차원 영상을 감상하기 위해서는 3차원 영상과 동기시켜주는 입체 안경이 또한 필요하다.
영상의 깊이는 움직임의 양과 관계가 있다. 카메라가 움직이고 촬상 화면의 움직이 없을 때, 움직임의 양은 영상의 깊이와 반비례한다. 또한, 가까운 물체는 움직임이 크고 먼 물체는 상대적으로 움직임이 작으며, 카메라가 고정되어 있고 영상내에 움직이는 물체가 있을 때, 가까운 물체는 빨리 움직이고 먼 물체는 천천히 움직인다. 본 발명에서는 이 원리를 적용하여 제450단계에서 좌/우측 영상을 결정할 경우에, 양의 시차 및 음의 시차에 따라 다르게 수행된다.
이상에서 설명한 바와 같이, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은, 영상의 영역별로 깊이감을 가지고, 종래의 기술로는 해결하지 못하는 카메라의 움직임 및 영상내 물체의 수직 운동 및 빠른 운동이 발생하더라도 자연스러운 입체감을 가지며, 인간의 시차로 인식가능한 3차원 영상을 생성하는 이점이 있다.
또한, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은 두개의 카메라 즉, 입체 카메라를 사용하지 않고, 단안 비디오 카메라로 촬영한 2차원 영상을 이용하여 3차원 영상을 생성하므로, TV,VCR,DVD,HDTV,CD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하고, 내시경, 초음파를 이용한 의료 분야에도 적용하여 입체로 영상을 판독하게 함으로써 진단 효율을 향상시키고, 이러한 응용분야이외에도, 입체로 애니메이션을 만드는 엔터테인먼트 분야를 포함하여 많은 영역에서 적용되기 용이한 이점이 있다.

Claims (17)

  1. 연속되는 2차원 영상을 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환장치에 있어서,
    소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부;
    상기 현재 영상의 움직임 특성에 따라 상기 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 수평 시차 생성부;
    상기 각 블럭을 각각의 상기 수평 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 합성 영상을 생성하는 영상 생성부; 및
    상기 현재 영상과 상기 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  2. 제1항에 있어서, 상기 수평 시차 생성부는,
    상기 블럭 움직임 측정부에서 측정된 상기 각 블럭의 움직임 벡터를 수평 시차로 변환하는 수평 시차 변환부;
    상기 수평 시차 변환부에서 변환된 상기 수평 시차를 소정의 제어신호에 응답하여 조정하는 수평 시차 조정부; 및
    상기 각 블럭의 움직임 벡터로부터 상기 현재 영상의 움직임 특성을 결정하고, 결정된 결과에 따라 상기 제어신호를 발생하는 움직임 특성 결정부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  3. 제2항에 있어서, 상기 수평 시차 변환부는,
    상기 움직임 벡터의 크기를 계산하고, 계산된 값을 상기 수평 시차로서 간주하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  4. 제2항에 있어서, 상기 수평 시차 조정부는,
    상기 수평 시차 변환부에서 변환된 상기 수평 시차를 그대로 출력하거나, 상기 제어신호에 응답하여 상기 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 상기 각 블럭의 수평 시차로서 출력하며,
    상기 최대 수평 시차는 상기 블럭 움직임 측정부에서 결정되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  5. 제2항에 있어서, 상기 움직임 특성 결정부는,
    상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 상기 전체 움직임이 상기 기준치보다 클 경우에 상기 제어 신호를 발생하며,
    상기 소정의 기준치는 상기 현재 영상을 촬영하는 카메라가 움직이고 상기 현재 영상내 주 대상 물체가 움직일 때에 상기 전체 움직임의 크기를 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  6. 제1항에 있어서, 상기 영상 생성부는,
    상기 현재 영상내에서의 상기 모든 블럭의 위치를 상기 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시키는 블럭 수평 이동부; 및
    상기 블럭 수평 이동부에서 이동된 모든 블럭을 합성하여 상기 합성 영상을 생성하는 블럭 합성부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  7. 제6항에 있어서, 상기 영상 생성부는,
    상기 블럭 합성부에서 생성된 상기 합성 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 블럭 보간부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  8. 제1항에 있어서, 상기 출력부는,
    상기 현재 영상과 상기 합성 영상중에 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력하는 좌/우측 영상 결정부를 구비하고,
    상기 좌측 영상신호는 좌측 눈에 디스플레이되고, 상기 우측 영상신호는 우측 눈에 디스플레이되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  9. 제1항에 있어서, 상기 3차원 영상 변환장치는,
    상기 현재 영상을 상기 소정 크기의 블럭 단위로 분할하여 상기 블럭 움직임 측정부로 출력하는 영상 블럭부; 및
    상기 이전 영상 프레임을 저장하고, 상기 블럭 움직임 측정부로 출력하는 이전 프레임 저장부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  10. 연속되는 2차원 영상을 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환방법에 있어서,
    (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계;
    (b) 상기 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계;
    (c) 상기 현재 영상의 움직임 특성에 따라 상기 각 블럭의 움직임 벡터로부터 수평 시차를 얻는 단계;
    (d) 상기 각 블럭을 각각의 상기 수평 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 합성 영상을 생성하는 단계; 및
    (e) 상기 현재 영상과 상기 합성 영상으로 이루어진 3차원 영상을 디스플레이하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  11. 제10항에 있어서, 상기 (c) 단계는,
    (c1) 상기 각 블럭의 움직임 벡터를 수평 시차로 변환하는 단계;
    (c2) 상기 현재 영상의 움직임 특성을 결정하는 단계; 및
    (c3) 상기 움직임 특성에 따라 상기 수평 시차를 조정하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  12. 제11항에 있어서, 상기 (c1) 단계는,
    상기 움직임 벡터의 크기를 계산하고, 계산된 값을 상기 수평 시차로서 얻는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  13. 제11항에 있어서, 상기 (c2) 단계는,
    상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임의 크기를 소정의 기준치와 비교하고, 비교한 결과를 상기 움직임 특성으로서 간주하며,
    상기 소정의 기준치는 상기 현재 영상을 촬영하는 카메라가 움직이고 상기 현재 영상내 주 대상 물체가 움직일 때에 상기 전체 움직임의 크기를 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  14. 제13항에 있어서, 상기 (c3) 단계는,
    상기 현재 영상의 전체 움직임이 소정의 기준치이하이면, 상기 (c1) 단계에서 얻은 상기 수평 시차를 그대로 출력하는 단계; 및
    상기 소정의 기준치보다 크면, 상기 수평 시차를 최대 수평 시차에서 감산하고, 감산된 결과를 상기 각 블럭의 수평 시차로서 출력하는 단계를 구비하며,
    상기 최대 수평 시차는 상기 (b) 단계에서 결정되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  15. 제10항에 있어서, 상기 (d) 단계는,
    (d1) 상기 현재 영상내에서의 상기 모든 블럭의 위치를 상기 각 블럭의 수평 시차만큼 우측 수평 방향으로 이동시키는 단계; 및
    (d2) 이동된 모든 블럭을 합성하여 상기 합성 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  16. 제15항에 있어서, 상기 (d) 단계는,
    상기 합성 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  17. 제12항에 있어서, 상기 (e) 단계는,
    상기 현재 영상과 상기 합성 영상중에서 하나를 좌측 눈에 디스플레이하고, 다른 하나를 우측 눈에 디스플레이하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
KR1019970077734A 1997-12-30 1997-12-30 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법 KR100263935B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019970077734A KR100263935B1 (ko) 1997-12-30 1997-12-30 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
JP37430398A JP4056154B2 (ja) 1997-12-30 1998-12-28 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US09/222,713 US6314211B1 (en) 1997-12-30 1998-12-29 Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
NL1010920A NL1010920C2 (nl) 1997-12-30 1998-12-30 Inrichting en werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld waarbij gebruik wordt gemaakt van omzetting van beweging-dispariteit in horizontale dispariteit en een nabewerkingsmethode tijdens het genereren van een driedimensionaal beeld.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077734A KR100263935B1 (ko) 1997-12-30 1997-12-30 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법

Publications (2)

Publication Number Publication Date
KR19990057668A true KR19990057668A (ko) 1999-07-15
KR100263935B1 KR100263935B1 (ko) 2000-08-16

Family

ID=19529637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077734A KR100263935B1 (ko) 1997-12-30 1997-12-30 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법

Country Status (1)

Country Link
KR (1) KR100263935B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100297831B1 (ko) * 1998-05-04 2001-08-07 윤종용 2차원 연속영상의 3차원 영상변환장치
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
KR100888081B1 (ko) * 2007-07-19 2009-03-11 주식회사 이시티 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR101065863B1 (ko) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 두 영상 간의 수직성분 보정에 의한 3ｄ 영상 형성방법 및 저장매체
WO2012086912A1 (ko) * 2010-12-24 2012-06-28 Yoo Ki-Ryung 2차원 영상을 스테레오 영상으로 변환하는 방법
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915457B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR101079207B1 (ko) 2009-09-02 2011-11-07 (주)리얼디스퀘어 3차원 동영상 전환시스템 및 방법
KR102135914B1 (ko) * 2013-11-29 2020-07-20 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100297831B1 (ko) * 1998-05-04 2001-08-07 윤종용 2차원 연속영상의 3차원 영상변환장치
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
KR100888081B1 (ko) * 2007-07-19 2009-03-11 주식회사 이시티 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR101065863B1 (ko) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 두 영상 간의 수직성분 보정에 의한 3ｄ 영상 형성방법 및 저장매체
WO2012086912A1 (ko) * 2010-12-24 2012-06-28 Yoo Ki-Ryung 2차원 영상을 스테레오 영상으로 변환하는 방법
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质

Also Published As

Publication number Publication date
KR100263935B1 (ko) 2000-08-16

Similar Documents

Publication Publication Date Title
JP4056154B2 (ja) ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
KR100334722B1 (ko) Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
AU783045B2 (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
US6496598B1 (en) Image processing method and apparatus
US7321374B2 (en) Method and device for the generation of 3-D images
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US6466205B2 (en) System and method for creating 3D models from 2D sequential image data
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
US20100165129A1 (en) Image processing apparatus, image processing method and program
JP2000078611A (ja) 立体映像受信装置及び立体映像システム
WO2012042998A1 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR100263936B1 (ko) 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR100263935B1 (ko) 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
KR20050078737A (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR100297831B1 (ko) 2차원 연속영상의 3차원 영상변환장치
JPH09200803A (ja) 画像処理装置及び画像処理方法
KR100230447B1 (ko) 2차원 연속영상의 3차원 영상 변환 장치 및 방법
KR100322727B1 (ko) 2차원/스테레오영상변환방법및장치
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
KR20120073466A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20050018034A (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR100304662B1 (ko) 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 18