KR100263936B1 - 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 - Google Patents

가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR100263936B1
KR100263936B1 KR1019970077735A KR19970077735A KR100263936B1 KR 100263936 B1 KR100263936 B1 KR 100263936B1 KR 1019970077735 A KR1019970077735 A KR 1019970077735A KR 19970077735 A KR19970077735 A KR 19970077735A KR 100263936 B1 KR100263936 B1 KR 100263936B1
Authority
KR
South Korea
Prior art keywords
image
block
parallax
motion vector
motion
Prior art date
Application number
KR1019970077735A
Other languages
English (en)
Other versions
KR19990057669A (ko
Inventor
김만배
송문섭
김도균
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970077735A priority Critical patent/KR100263936B1/ko
Publication of KR19990057669A publication Critical patent/KR19990057669A/ko
Application granted granted Critical
Publication of KR100263936B1 publication Critical patent/KR100263936B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법을 개시한다. 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성하는 블럭 시차 생성부, 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부 및 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 한다.

Description

가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
본 발명은 3차원 영상을 생성하는 장치 및 방법에 관한 것으로서, 특히 연속되는 2차원 영상의 움직임을 이용하는, 2차원 연속 영상의 3차원 영상 변환장치 및 방법에 관한 것이다.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.
종래의 3차원 영상 생성방법중 한 방법으로서, 일본 산요(SANYO) 전기주식회사에서 개발한 수정 시간차(MTD:Modified Time Difference)를 이용한 방법이 있다. 도 1을 참조하여 간략히 설명하면, 먼저, 연속되는 2차원 영상에서 움직이는 영역이 추출된다(제100단계). 추출된 영역의 움직임 속도 및 방향이 추출된다(제110단계). 현재 영상의 움직임 속도 및 방향에 근거하여, 이전의 한 영상 프레임으로부터 지연 방향(delay direction) 및 지연 시간(delay time)이 결정된다(제120단계). 결정된 지연 방향 및 지연 시간에 따라 지연된 영상과 현재 영상이 사람의 좌/우측 눈에서 어느 측 눈에 각각 디스플레이될 것인지가 결정된다(제130단계).
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다. 도 2를 정확하게 설명하면, 연속되는 2차원 영상을 촬영하는 카메라가 고정되어 있고 영상내의 물체(■)가 움직이고 있을 때 좌/우측 영상을 결정하는 과정을 나타낸다. 수정 시간차를 이용한 종래의 방법에 의하면, 도 2에 도시된 바와 같이 물체(■)가 우측으로 움직이고 있을 때, 우측 눈에 원영상을 보여주고, 좌측 눈에 시간 지연된 영상을 보여줌으로써 사람에게 양안 시차를 제공한다. 반면, 물체(■)가 좌측으로 움직이고 있을 때, 좌측 눈에 원영상을 보여주고, 우측 눈에 시간 지연된 영상을 보여줌으로써 전술한 바와 반대의 양안 시차를 제공한다.
전술한 수정 시간차를 이용한 종래의 3차원 영상 생성방법은 다음과 같은 문제점이 있다.
첫째, 원영상의 움직임 정보에만 근거하여 이전 프레임들중에서 한 영상을 지연된 영상으로서 선택하므로, 원영상의 영역별로 가지고 있는 다른 깊이는 무시되는 문제점이 있다. 이와 같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 된다. 예컨대, 움직이는 물체에 대해서는 입체감을 느낄 수 있지만, 화면의 배경과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.
두번째, 원영상과 지연된 영상간에 물체의 운동이 수직 성분을 가질 때, 수정 시간차를 이용한 종래의 방법으로 3차원 영상을 생성한다면, 수평 시차에서 깊이감을 얻는 인간의 시각 구조와의 불일치 때문에 눈의 피로감이 생기는 문제점이 있다.
세번째, 원영상내의 물체의 움직임량이 매우 클때에 다수개의 이전 프레임들에서 어느 프레임이 지연된 영상으로서 선택되더라도, 이때의 원영상과 지연된 영상으로 생성되는 입체 영상은 시차가 크기 때문에 인간의 시차 인식의 한계를 벗어나는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는, 2차원 영상의 움직임을 측정한 후에 얻어진 깊이와 스테레오 파라미터로부터 시차를 측정하여 가상 영상을 생성함으로써, 입체 카메라로 얻은 입체 영상을 보는 듯한 효과를 가지며, 영상의 영역별로 깊이감을 가지고, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 입체감을 가지며, 또한 원영상내의 물체의 운동량이 매우 크더라도 인간의 시차로 인식가능한 3차원 영상을 생성하는, 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는, 상기 3차원 영상 변환장치가 수행하는 3차원 영상 변환방법을 제공하는데 있다.
도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.
도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다.
도 3은 스테레오 이미징의 구조를 설명하기 위한 개념도이다.
도 4는 스테레오 이미징에 근거하여 가상 입체 영상을 생성하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도이다.
도 6은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다.
상기 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성하는 블럭 시차 생성부, 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부 및 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부로 구성되는 것이 바람직하다.
상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법는, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계, (c) 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 얻는 단계, (d) 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 단계 및 (e) 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.
먼저, 본 발명의 이해를 돕기 위해 스테레오 이미징의 원리를 간략히 설명하면 다음과 같다.
도 3은 스테레오 이미징의 구조를 설명하기 위한 개념도이다. 도 3을 참조하면, 3차원 공간상에 한 점 P(X,Y,Z)가 있을 때, 이 점은 두 개의 2차원 영상(IR,IL)에 원근 투시(perspective projection)되어 2차원 평면상의 두 점인 (x1,y1) 및 (x2,y2)에 매핑된다. 좌측의 영상(IL)과 우측의 영상(IR)을 각각 촬영하는 두 개의 카메라가 동일한 수평 위치에 있다고 가정할 때, 두 개의 카메라간의 거리를 베이스라인 길이(baseline length) b라 하고, 카메라의 초점 길이를 F라 한다. 이때, 두 개의 2차원 영상의 대응점인 (x1,y1) 및 (x2,y2)에서 x1와 x2의 관계식은 다음 수학식 1과 같이 나타낼 수 있다.
Figure kpo00000
수학식 1에서, Z는 도 3에서 P점의 Z축 좌표값에 해당하며, dx는 x1와 x2,의 차에 해당한다.
실제로 두 개의 영상(IR,IL)이 화면상에 디스플레이되면, 좌측의 영상(IL)이 인간의 좌측 눈에, 우측의 영상(IR)이 우측 눈에 비춰지게 된다. 이때, 화면상에 두 영상의 대응점인 (x1,y1) 및 (x2,y2)는 두 눈의 위치에 대응하지만, 인간은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 됨으로써 깊이감을 갖는다. 즉, Z는 영상의 깊이를 나타내고, dx는 양안 시차를 나타낸다.
도 3에 도시된 스테레오 이미징은 인간의 시각 구조에 맞게 설계되면 완벽한 입체감이 얻어질 수 있다. 본 발명은 두 개의 카메라 즉, 입체 카메라를 사용하여 얻을 수 있는 이러한 스테레오 이미징을 단안 비디오 카메라로 촬영된 2차원 연속 영상을 이용하여 생성하는 기술이다. 즉, 본 발명은 연속되는 2차원 영상의 3차원 영상 변환장치 및 방법에 관한 것으로서, 입력 영상은 입체 영상이 아닌 한장의 단안 영상이다. 단안 영상은 한 개의 카메라만으로 만들어진 촬상 영상이기 때문에 스테레오 이미징과는 다르다. 본 발명은 한 장의 영상이 주어졌을 때 스테레오 이미징 개념에 기반하여 2차원 연속 영상을 3차원 영상으로 변환한다.
도 4는 스테레오 이미징에 근거하여 가상 입체 영상을 생성하는 과정을 설명하기 위한 개념도이다. 도 4를 참조하면, 본 발명은 시간 t에 따라 연속적으로 입력되는 2차원 연속 영상(...I(k-2),I(k-1),I(k)...)을 이용하여, 원영상 I(k)에 대응하는 가상 영상 IV(k)(도 3에서 영상(IR)를 생성한다. 원영상 I(k)과 가상 영상 IV(k)은 한 쌍을 이루어 스테레오 영상을 구성한다. 이들 영상은 각각 인간의 좌측 및 우측 눈에 디스플레이됨으로써 인간에게 3차원 입체감을 느끼게 한다.
이하, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.
도 5는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(500), 영상 블럭부(510), 이전 영상 저장부(520), 블럭 움직임 측정부(530), 블럭 시차 생성부(540), 가상 영상 생성부(550), 출력부인 좌/우측 영상 결정부(560), 제1 및 제2 디지탈-아날로그 변환기(DAC)(572 및 574)로 구성된다.
여기서, 상기 블럭 시차 생성부(540)는 블럭 깊이 측정부(542), 가상 스테레오 영상 결정부(544) 및 블럭 시차 측정부(546)로 구성되며, 상기 가상 영상 생성부(550)는 시차 결정부(552), 우측 수평 이동부(554), 좌측 수평 이동부(556) 및 블럭 합성부(558)로 구성된다.
본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는 단안 비디오 카메라로 촬영된 2차원 연속 영상에서 연속되는 두 영상간의 움직임 벡터를 측정한 후에, 이로부터 얻어진 깊이 및 미리 저장된 스테레오 파라미터로부터 블럭 시차를 생성하고, 원영상으로부터 블럭 시차에 따라 수평 방향으로 이동된 가상 영상을 생성함으로써, 원영상과 가상 영상으로 이루어진 입체 영상을 생성한다.
구체적으로 도 5를 참조하면, 아날로그-디지탈 변환기(510)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(520)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 운동이 있는 주 물체와 운동이 거의 없는 배경을 구분하여 운동을 추정하기 위함이다. 이전 영상 저장부(520)는 영상 블럭부(510)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.
블럭 움직임 측정부(530)는 영상 블럭부(510)로부터 블럭화된 현재 영상을 입력하고, 이전 프레임 저장부(520)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(530)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 각 상응하는 블럭을 이용하여 움직임의 양 및 방향 즉, 움직임 벡터를 측정한다.
블럭 시차 생성부(540)는 블럭 움직임 측정부(530)에서 각 블럭의 움직임 벡터가 측정된 현재 영상을 입력하고, 각 블럭의 움직임 벡터와 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성한다.
구체적으로, 블럭 깊이 측정부(542)는 각 블럭의 움직임 벡터를 분석하여 각 블럭의 깊이(Z)를 측정한다. 예컨대, 움직임 벡터가 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에는, 움직임 벡터를 그대로 유지하여 각 블럭의 깊이를 측정한다. 반면, 움직임 벡터가 카메라의 움직임이 없는 상태에서 얻어진 경우에는, 움직임 벡터를 소정의 최대 움직임 벡터에서 감산하고, 감산된 값으로부터 각 블럭의 깊이를 측정한다. 이때, 블럭 깊이 측정부(542)는 카메라의 움직임 여부를 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임을 추정함으로써 판단한다.
가상 스테레오 영상 결정부(544)는 이후에 현재 영상에 대응하는 가상 영상을 생성할 때에 필요한 데이타를 스테레오 파라미터로서 저장한다. 여기서, 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 현재 영상과 가상 영상을 촬영한다고 가정할 때, 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 카메라의 초점 길이(F)이다(도 3을 참조). 이들 데이타는 최상의 스테레오 이미징을 위해 요구되는 가상 영상을 만드는데 필요한 스테레오 파라미터로서 실험을 거쳐 결정된다.
블럭 시차 측정부(546)는 블럭 깊이 측정부(542)에서 측정된 깊이(Z)와, 가상 스테레오 영상 결정부(544)에 저장된 데이타인 베이스라인 길이(b)와 초점 길이(F)를 이용하여 각 블럭의 시차(dX)를 측정한다.
가상 영상 생성부(550)는 블럭 시차 생성부(540)에서 각 블럭의 시차를 갖는 현재 영상을 입력하고, 각 블럭을 각각의 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성한다.
구체적으로, 시차 결정부(552)는 각 블럭의 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정한다. 시차의 결정은 일반적으로 제품의 생산시에 미리 설정되며, PC등 사용자에 의한 조작이 비교적 가능한 특정 제품에 대해서는 사용자에 의해 설정될 수도 있다.
우측 수평 이동부(554)는 시차 결정부(552)에서 양의 시차가 결정되면, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 좌측 수평 방향으로 이동시킨다. 또한, 좌측 수평 이동부(556)는 시차 결정부(552)에서 음의 시차가 결정되면, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 우측 수평 방향으로 이동시킨다.
블럭 합성부(558)는 우측 또는 좌측 수평 이동부(552 또는 554)에서 이동된 모든 블럭을 합성하여 가상 영상(도 4에서 IV(k))을 생성한다. 부가적으로, 가상 영상 생성부(550)는 보간부(미도시)를 더 포함하며, 보간부는 블럭 합성부(558)에서 생성된 가상 영상에서 현재 영상의 모든 블럭에 의해 채워지지 않은 영역을 보간한다.
출력부에 해당하는 좌/우측 영상 결정부(560)는 가상 영상 생성부(550)로부터 가상 영상을, 아날로그-디지탈 변환기(500)로부터 현재 영상을 각각 입력하여, 현재 영상과 가상 영상중에서 하나를 좌측 영상신호로서, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(572 및 574)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에, 우측 영상신호는 사람의 우측 눈에 디스플레이된다. 기본적으로 좌/우측 영상 결정부(560)는 현재 영상을 좌측 눈에, 합성 영상을 우측 눈에 디스플레이한다.
전술한 시차 결정부(552)에서 양의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상은 디스플레이 화면 뒤쪽에 나타난다(도 3은 양의 시차의 경우를 나타냄). 반면, 시차 결정부(552)에서 음의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상은 디스플레이 화면 앞쪽에 나타난다. 즉, 시차 결정부(552)는 3차원 영상의 디스플레이 위치를 결정한다.
도 6은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다. 도 6을 참조하여 도 5에 도시된 장치가 수행하는 본 발명에 의한 3차원 영상 변환방법을 설명한다.
먼저, 연속되는 아날로그 형태의 2차원 영상신호는 아날로그-디지탈 변환기(500)를 통해 디지탈 신호로 변환된다(제600단계). 다음에, 디지탈 신호로 변환된 현재 영상은 영상 블럭부(510)를 통해 소정 크기의 블럭 단위로 분할된다(제610단계). 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다.
제610단계 후에, 이전 영상 저장부(520)에 저장된 이전 영상 프레임을 이용하여, 현재 영상의 각 블럭에 대해 움직임의 양과 방향 즉, 움직임 벡터가 블럭 움직임 측정부(530)를 통해 측정된다(제620단계). 연속되는 두 영상간의 움직임 벡터를 측정하기 위한 방법으로서 공지의 광류(optical flow) 측정법 또는 엠펙(MPEG:Motion Picture Coding Experts Group)I,II에서 사용되는 블럭 매칭 방법등을 사용한다. 또한 빠른 처리속도를 위해서, 블럭 매칭 방법중에서도 계산량이 작은 PHODS(Parallel heirarchical one-dimensional search)방법을 사용할 수도 있다.
제620단계에서 현재 영상의 각 블럭에 대한 움직임 벡터가 측정되면, 블럭 시차 생성부(540)를 통해 각 블럭의 움직임 벡터와 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차가 얻어진다(제630단계).
제630단계는 구체적으로 다음 단계들로 구성된다. 먼저, 블럭 깊이 측정부(342)를 통해 각 블럭의 움직임 벡터를 분석하여 각 블럭의 깊이가 측정된다(제632단계). 3차원 영상에서 깊이는 움직임과 관계가 있다. 카메라가 움직이고 물체도 움직이고 있을 경우에, 움직임의 양이 크면 깊이가 크고 움직임의 양이 작으면 깊이가 작다. 반면, 카메라가 정지되어 있고 물체만 움직일 경우에, 움직임의 양이 크면 깊이가 작고 움직임의 양이 작으면 깊이가 크다.
이러한 관계에 근거하여, 움직임 벡터가 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에는, 다음 수학식 2를 이용하여 각 블럭의 깊이가 측정된다.
Figure kpo00001
반면, 움직임 벡터가 카메라의 움직임이 없는 상태에서 얻어진 경우에는, 다음 수학식 3을 이용하여 각 블럭의 깊이가 측정된다.
Figure kpo00002
수학식 2,3에서, Z는 깊이를, C는 상수값을, V는 움직임 벡터의 크기를, Vmax는 움직임 벡터의 최대값을 각각 나타낸다. 이때, 카메라의 움직임 여부는 제632단계에서 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임을 추정함으로써 판단된다.
다음에, 제632단계에서 얻어진 각 블럭의 깊이(Z)와, 가상 스테레오 영상 결정부(544)에 저장된 가상 영상을 생성하는데 필요한 데이타를 이용하여 각 블럭의 시차가 블럭 시차 측정부(546)를 통해 측정된다(제634단계). 여기서, 필요한 데이타는 스테레오 파라미터로서 가상 스테레오 영상 결정부(544)에서 미리 결정되며, 동일한 수평 위치에 있는 두 개의 카메라가 현재 영상과 가상 영상을 촬영한다고 가정할 때, 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 카메라의 초점 길이(F)이다. 제634단계에서는 베이스라인 길이(b), 초점 길이(F) 및 깊이(Z)의 값이 주어졌을 때, 다음 수학식 4를 이용하여 각 블럭의 시차(dx)가 측정된다.
Figure 1019970077735_B1_M0001
수학식 4는 수학식 1로부터 얻어진 것이다.
다시 도 6을 참조하여 제630단계 후에, 현재 영상의 각 블럭은 가상 영상 생성부(350)를 통해 각각의 블럭 시차에 따라 수평 방향으로 이동됨으로써 현재 영상에 대응한 가상 영상이 생성된다(제640단계).
제640단계는 구체적으로 다음 단계들로 구성된다. 먼저, 시차 결정부(552)를 통해 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인지가 결정된다(제642단계). 제642단계에서 양의 시차가 결정되면, 우측 수평 이동부(554)를 통해 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 우측 수평 방향으로 이동시킨다(제644단계). 반면, 제642단계에서 음의 시차가 결정되면, 좌측 수평 이동부(556)를 통해 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 좌측 수평 방향으로 이동시킨다(제646단계).
다음에, 제644단계 또는 제646단계에서 이동된 모든 블럭을 합성하여 가장 영상을 생성한다(제648단계). 부가적으로, 제648단계에서 생성된 가상 영상에서 현재 영상의 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계(미도시)를 더 포함한다.
다시 도 6을 참조하여 제640단계 후에, 현재 영상과 가상 영상을 한 쌍으로 하는 3차원 영상을 디스플레이하기 위해서, 좌/우측 영상 결정부(560)를 통해 좌/우측 영상이 결정된다(제650단계). 현재 영상과 합성 영상중에서 하나는 좌측 눈에 디스플레이되고, 다른 하나는 우측 눈에 디스플레이됨으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다(도 3을 참조). 마지막으로, 이들 영상은 디지탈 신호이므로, 제1 및 제2 디지탈-아날로그 변환기(572 및 574)를 통해 각각 아날로그 신호로 변환되어 디스플레이된다(제660단계). 참고로, 전술한 과정을 거쳐 모니터등의 디스플레이 수단에 디스플레이된 3차원 영상을 감상하기 위해서는 3차원 영상과 동기시켜주는 입체 안경이 또한 필요하다.
전술한 제642단계에서 양의 시차가 결정된 경우에는 현재 영상과 가상 영상으로 이루어진 3차원 영상이 디스플레이 화면 뒷쪽에 디스플레이되므로 안정감있는 입체 영상이 나타난다(도 3은 양의 시차의 경우를 나타냄). 반면, 제642단계에서 음의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상이 디스플레이 화면 앞쪽 즉, 모니터와 인간의 두 눈 사이에 디스플레이된다.
이상에서 설명한 바와 같이, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은, 스테레오 이미징 개념을 도입하여 원영상에 대응한 가상 영상을 생성함으로써 입체 카메라로 입체 영상을 얻는 듯한 효과를 제공한다.
또한, 영상의 영역별로 깊이감을 가지고, 종래의 기술로는 해결하지 못하는 카메라의 움직임 및 영상내 물체의 수직 운동 및 빠른 운동이 발생하더라도 자연스러운 입체감을 가지며, 인간의 시차로 인식가능한 3차원 영상을 생성하는 이점이 있다.
또한, 단안 비디오 카메라로 촬영한 2차원 영상을 이용하여 3차원 영상을 생성하므로, TV,VCR,DVD,HDTV,CD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하고, 내시경, 초음파를 이용한 의료 분야에도 적용하여 입체로 영상을 판독하게 함으로써 진단 효율을 향상시키고, 이러한 응용분야이외에도, 입체로 애니메이션을 만드는 엔터테인먼트 분야를 포함하여 많은 영역에서 적용되기 용이한 이점이 있다.

Claims (16)

  1. 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환장치에 있어서,
    소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부;
    상기 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 상기 각 블럭의 시차를 생성하는 블럭 시차 생성부; 및
    상기 각 블럭을 각각의 상기 블럭 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부; 및
    상기 현재 영상과 상기 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  2. 제1항에 있어서, 상기 블럭 시차 생성부는,
    상기 블럭 움직임 측정부에서 측정된 상기 각 블럭의 움직임 벡터를 분석하여 상기 움직임 벡터로부터 상기 각 블럭의 깊이를 측정하는 블럭 깊이 측정부;
    상기 가상 영상을 생성하는데 필요한 데이타를 상기 스테레오 파라미터로서 저장하는 가상 영상 결정부; 및
    상기 각 블럭의 깊이와 상기 데이타를 이용하여 상기 각 블럭의 시차를 측정하는 블럭 시차 측정부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  3. 제2항에 있어서, 상기 블럭 깊이 측정부는,
    상기 움직임 벡터가 상기 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에, 상기 움직임 벡터를 그대로 유지하여 상기 각 블럭의 깊이를 측정하고, 상기 카메라의 움직임이 없는 상태에서 얻어진 경우에, 상기 움직임 벡터를 소정의 최대 움직임 벡터에서 감산하고, 감산된 값으로부터 상기 각 블럭의 깊이를 측정하며,
    상기 카메라의 움직임 여부는 상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임을 추정함으로써 판단되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  4. 제2항에 있어서, 상기 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 상기 현재 영상과 상기 가상 영상을 촬영한다고 가정할 때, 상기 두 개의 카메라간의 거리인 베이스라인 길이와, 상기 카메라의 초점 길이인 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  5. 제1항에 있어서, 상기 가상 영상 생성부는,
    상기 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정하는 시차 결정부;
    상기 시차 결정부에서 상기 양의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 우측 수평 방향으로 이동시키는 우측 수평 이동부;
    상기 시차 결정부에서 상기 음의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 좌측 수평 방향으로 이동시키는 좌측 수평 이동부; 및
    상기 우측 또는 상기 좌측 수평 이동부에서 이동된 모든 블럭을 합성하여 상기 가상 영상을 생성하는 블럭 합성부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  6. 제6항에 있어서, 상기 가상 영상 생성부는,
    상기 블럭 합성부에서 생성된 상기 가상 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 블럭 보간부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  7. 제1항에 있어서, 상기 출력부는,
    상기 현재 영상과 상기 새로운 영상중에 하나를 좌측 영상 신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력하는 좌/우측 영상 결정부를 구비하고,
    상기 좌측 영상신호는 좌측 눈에 디스플레이되고, 상기 우측 영상신호는 우측 눈에 디스플레이되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  8. 제1항에 있어서, 상기 2차원 영상의 3차원 영상 변환장치는,
    상기 현재 영상을 상기 소정 크기의 블럭 단위로 분할하여 상기 블럭 움직임 측정부로 출력하는 영상 블럭부; 및
    상기 이전 영상 프레임을 저장하고, 상기 블럭 움직임 측정부로 출력하는 이전 프레임 저장부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  9. 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환방법에 있어서,
    (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계;
    (b) 상기 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계;
    (c) 상기 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 상기 각 블럭의 시차를 얻는 단계;
    (d) 상기 각 블럭을 각각의 상기 블럭 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 가상 영상을 생성하는 단계; 및
    (e) 상기 현재 영상과 상기 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.
  10. 제9항에 있어서, 상기 (c) 단계는,
    (c1) 상기 각 블럭의 움직임 벡터를 분석하여 상기 각 블럭의 깊이를 측정하는 단계; 및
    (c2) 상기 각 블럭의 깊이와, 상기 가상 영상 생성하는 필요한 데이타를 이용하여 상기 각 블럭의 시차를 측정하는 단계를 구비하며,
    상기 데이타는 사용자에 의해 미리 설정되어 있는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  11. 제10항에 있어서, 상기 (c1) 단계는,
    상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임을 추정함으로써 상기 현재 영상을 촬영한 카메라의 움직임 여부를 판단하고,
    상기 움직임 벡터가 상기 카메라의 움직임이 있는 상태에서 얻어진 경우에, 다음 수학식 2를 이용하여 상기 각 블럭의 깊이를 측정하고,
    [수학식 2]
    Figure kpo00003
    상기 카메라의 움직임이 없는 상태에서 얻어진 경우에, 다음 수학식 2를 이용하여 상기 각 블럭의 깊이를 측정하고,
    [수학식3]
    Figure kpo00004
    수학식 2,3에서, Z는 깊이를, C는 상수값을, V는 움직임 벡터의 크기를, Vmax는 움직임 벡터의 최대값을 각각 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  12. 제10항에 있어서, 상기 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 상기 현재 영상과 상기 가상 영상을 촬영한다고 가정할 때, 상기 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 상기 카메라의 초점 길이(F)인 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  13. 제10항에 있어서, 상기 (c2) 단계는,
    다음 수학식 4를 이용하여 상기 각 블럭의 시차를 측정하고,
    [수학식 4]
    Figure kpo00005
    수학식 3에서, dx는 시차를, Z는 깊이를 각각 나타내며, b와 F는 상기 가상 영상을 생성하는데 필요한 데이타로서 베이스라인 길이와 초점 길이를 각각 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  14. 제9항에 있어서, 상기 (d) 단계는,
    (d1) 상기 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정하는 단계;
    (d2) 상기 양의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 우측 수평 방향으로 이동시키는 단계;
    (d3) 상기 음의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 좌측 수평 방향으로 이동시키는 단계; 및
    (d4) 상기 (d2) 단계 또는 상기 (d3) 단계에서 이동된 모든 블럭을 합성하여 상기 가상 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  15. 제14항에 있어서, 상기 (d) 단계는,
    상기 (d3) 단계에서 생성된 상기 가상 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
  16. 제9항에 있어서, 상기 (e) 단계는,
    상기 현재 영상과 상기 가상 영상중에서 하나를 좌측 눈에 디스플레이하고, 다른 하나를 우측 눈에 디스플레이하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.
KR1019970077735A 1997-12-30 1997-12-30 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 KR100263936B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970077735A KR100263936B1 (ko) 1997-12-30 1997-12-30 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077735A KR100263936B1 (ko) 1997-12-30 1997-12-30 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR19990057669A KR19990057669A (ko) 1999-07-15
KR100263936B1 true KR100263936B1 (ko) 2000-08-16

Family

ID=19529638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077735A KR100263936B1 (ko) 1997-12-30 1997-12-30 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100263936B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101079207B1 (ko) 2009-09-02 2011-11-07 (주)리얼디스퀘어 3차원 동영상 전환시스템 및 방법
US20120154388A1 (en) * 2010-12-20 2012-06-21 Kenji Suzuki Stereo image processing method, stereo image processing device and display device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584536B1 (ko) * 1999-09-29 2006-05-30 삼성전자주식회사 화상 통신을 위한 화상처리장치
KR100448882B1 (ko) * 2002-11-14 2004-09-18 한국전자통신연구원 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
KR100780467B1 (ko) * 2006-09-28 2007-11-29 이관영 소리를 이용한 3차원 입체물 제작 장치 및 방법
KR100927734B1 (ko) * 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법
KR100888081B1 (ko) * 2007-07-19 2009-03-11 주식회사 이시티 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR100890224B1 (ko) * 2007-07-20 2009-03-25 연세대학교 산학협력단 3차원 영상 복원 방법 및 이를 수행하기 위한 장치
CA2745392C (en) 2008-12-18 2016-07-12 Lg Electronics Inc. Method for 3d image signal processing and image display for implementing the same
EP2438570B1 (en) 2009-05-28 2017-03-15 Kjaya, LLC Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
KR101065863B1 (ko) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 두 영상 간의 수직성분 보정에 의한 3ｄ 영상 형성방법 및 저장매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101079207B1 (ko) 2009-09-02 2011-11-07 (주)리얼디스퀘어 3차원 동영상 전환시스템 및 방법
US20120154388A1 (en) * 2010-12-20 2012-06-21 Kenji Suzuki Stereo image processing method, stereo image processing device and display device
US9380285B2 (en) * 2010-12-20 2016-06-28 Samsung Display Co., Ltd. Stereo image processing method, stereo image processing device and display device

Also Published As

Publication number Publication date
KR19990057669A (ko) 1999-07-15

Similar Documents

Publication Publication Date Title
JP4056154B2 (ja) ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6496598B1 (en) Image processing method and apparatus
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
AU783045B2 (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP4903240B2 (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
JP4939639B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100263936B1 (ko) 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
JP2010206362A (ja) 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
JP2017011520A (ja) 立体像奥行き変換装置およびそのプログラム
KR100263935B1 (ko) 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
KR100335617B1 (ko) 3차원 입체영상 합성방법
KR100540732B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
US9177380B2 (en) 3D video camera using plural lenses and sensors having different resolutions and/or qualities
KR100297831B1 (ko) 2차원 연속영상의 3차원 영상변환장치
KR100230447B1 (ko) 2차원 연속영상의 3차원 영상 변환 장치 및 방법
JPH09200803A (ja) 画像処理装置及び画像処理方法
JP2008153805A (ja) 立体映像表示装置及び２次元画像の立体映像化方法
Redert et al. 3-D scene reconstruction with viewpoint adaptation on stereo displays
KR100322727B1 (ko) 2차원/스테레오영상변환방법및장치
KR20050018034A (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
CN115190286B (zh) 一种2d图像转换方法及装置
JP2003339703A (ja) 超音波画像信号処理装置及び超音波画像信号処理システム
KR100304662B1 (ko) 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee