KR100505334B1 - 운동 시차를 이용한 입체 영상 변환 장치 - Google Patents

운동 시차를 이용한 입체 영상 변환 장치 Download PDF

Info

Publication number
KR100505334B1
KR100505334B1 KR10-2003-0019566A KR20030019566A KR100505334B1 KR 100505334 B1 KR100505334 B1 KR 100505334B1 KR 20030019566 A KR20030019566 A KR 20030019566A KR 100505334 B1 KR100505334 B1 KR 100505334B1
Authority
KR
South Korea
Prior art keywords
image
motion
pixel
pixel group
pixels
Prior art date
Application number
KR10-2003-0019566A
Other languages
English (en)
Other versions
KR20040084455A (ko
Inventor
최철호
권병헌
서범석
Original Assignee
(주)플렛디스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)플렛디스 filed Critical (주)플렛디스
Priority to KR10-2003-0019566A priority Critical patent/KR100505334B1/ko
Priority to US10/807,927 priority patent/US20040189796A1/en
Publication of KR20040084455A publication Critical patent/KR20040084455A/ko
Application granted granted Critical
Publication of KR100505334B1 publication Critical patent/KR100505334B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

본 발명은 일반적인 2차원 영상에서 운동 시차를 이용하여 서로 다른 원근 오행(奧行, depth)을 갖는 입체 영상을 생성하는 입체 영상 변환 장치에 관한 것이다. 본 발명의 입체 영상 변환 장치는 현재 입력 영상과 이전 입력 영상에 대하여 각기 샘플 영상을 취득하는 샘플 영상 취득부와, 각각의 상기 현재 및 이전 샘플 영상 내에서 움직임 픽셀과 정지 픽셀을 검출하는 움직임 검출부와, 상기 현재 샘플 영상을 복수개의 탐색 영역으로 분할하고 상기 움직임 픽셀에 대한 정보를 이용하여 각 탐색 영역에서 움직임 픽셀의 대표값을 생성하는 영역 분할부와, 각각의 상기 영역의 대표값을 이용하여 각기 대응하는 상기 영역 내에서 움직이는 물체를 구성하는 운동 픽셀군을 결정하고 상기 운동 픽셀군에 대하여 작은 가중치를 설정하여 원영상의 해상도를 갖는 영상을 생성하는 오행지도 생성부 및 상기 원영상의 해상도를 갖는 영상을 양시차 처리하여 상기 디스플레이 상에 상기 운동 픽셀군을 화면 앞쪽에 배치하고 나머지 픽셀군은 화면 뒷쪽에 배치하도록 화면 처리하는 양시차 처리부를 포함하는 것을 특징으로 한다.

Description

운동 시차를 이용한 입체 영상 변환 장치{REAL-TIME STEREOSCOPIC IMAGE CONVERSION APPARATUS USING MOTION PARALLAXR}
본 발명은 3차원 입체 영상을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 일반적인 2차원 영상에서 운동 시차를 이용하여 서로 다른 원근 오행(奧行, depth)을 갖는 입체 영상을 생성하고, 2차원 영상에서 운동 물체의 운동 방향과 속도에 상관없이 3차원 효과를 제공할 수 있는 입체 영상 변환 장치 및 방법에 관한 것이다.
인간은 동일 물체를 볼 때 우안과 좌안을 통하여 서로 다른 영상을 받아들인다. 이것을 양안 시차(binocular disparity)라 지칭하는데, 이렇게 서로 다른 영상은 인간의 뇌에서 도 1과 같이 하나의 입체 영상으로 만들어진다. 그러나, 2차원 영상의 경우에는 양안이 동일한 영상을 보게 되므로 입체적인 사물을 볼 때와 달리 불편하지만 사람들은 지금까지 반복된 경험에 의해 자연스럽게 평면으로 받아들인다. 따라서 현실과 비슷한 입체감을 얻기 위해서는 처음부터 입체 카메라를 사용하여 3차원 영상을 만들거나 또는 수작업을 통하여 3차원 입체 영상으로 변환하여 주거나, 컴퓨터 그래픽인 경우에는 양안을 위하여 두 번씩 다르게 랜더링 하여야 한다. 하지만, 이러한 작업은 많은 비용과 시간이 소요되며, 기존의 2차원 기반으로 제작된 방대한 양의 영상 자료를 3차원으로 변환할 수 없는 단점이 있다.
한편 입체 영상 변환은 1대의 모노 카메라로 촬영한 정지 또는 동영상을 변환 기술을 이용하여 입체 영상을 제작하는 것이다. 즉, 입체 영상 변환은 입체 영상의 획득 과정을 거치지 않고, 기존의 정지 영상, 텔레비전, VCR, CD, DVD 등의 실시간 전송 및 저장되어 있는 2차원 영상을 입체 영상으로 변환하는 신기술이다. 입체 영상 변환은 상대적으로 복잡한 영상 처리 및 해석 기술을 필요로 한다.
입체 영상 변환은 지난 90년대 초부터 관심을 가져왔던 기술로서, 영상 처리 하드웨어 및 소프트웨어의 발달로 점진적으로 발전되어온 분야이다. 그러나, 타 분야처럼 상업용 응용 제품을 보기 힘든 것은 소비자의 요구를 만족할 수 있는 기술 개발을 위해서 극복해야 할 소프트웨어 기술과 하드웨어로 구현했을 때의 복잡도 때문이다. 실제, 입체 영상 변환은 TV, 케이블 TV, VCR 등의 아날로그 기기, CD, DVD, 디지털 TV 등의 디지털 기기, 인터넷 스트리밍 비디오 및 AVI, Divx 등의 다양한 영상 포맷 등에 적용될 수 있는 기술로 응용 범위는 매우 넓다고 할 수 있다.
입체 영상 변환 기술은 1993년 일본 산요 전기에서 최초로 2D/3D 변환 TV를 상업용 목적으로 개발한 이후로, 종종 기술 소개 및 제품이 등장하고 있다. T. Okino 그룹은 세계 최초로 MTD(Modified Time Difference) 방식을 이용하여 상업용 2D/3D 동영상 변환 TV를 개발하였다. 일예로, T. Okino, 등이 1995년 SPIE Photonic West, vol. 2653, pp. 96-103에 "New Television with 2D/3D Image Conversion Technologies"이라는 명칭으로 제안한 논문과 H. Murata 등이 1995년 SID'95 DIGEST, pp. 859-862에 "Conversion of Two-Dimensional Image to Three Dimensions" 이라는 명칭으로 제안한 논문을 참고할 것.
MTD 방식은 도 2에 예시된 바와 같이 영상에서 물체, 예컨대, 비행체가 우측으로 운동하고 있고, 카메라는 정지하고 있는 상태일 때, 현재 (N)번째 영상을 좌영상으로 하고, 지연 영상 중에서 (N-2)번째 영상을 우영상으로 구성된 입체 영상을 만든 후 양안에 디스플레이하면 물체는 모니터 앞쪽으로 튀어나오듯이 보여지고, 배경은 모니터에 디스플레이되어 3차원 입체감을 느끼게 해준다. 이 방식은 도 2에 예시된 바와 같이 움직이는 물체가 비교적 저속의 정수평 운동일 때만 입체 효과가 좋지만, 만일 좌/우 영상이 바뀌게 되면 물체는 배경 뒤에 있는 듯이 인식된다. 따라서 인간의 3차원 인식과 상반되는 현상이 발생하므로 눈의 피로감이 발생하게 된다. 그리고, 움직이는 물체의 방향이 수평이 아닌 비수평 운동일 경우 움직이는 물체는 하나의 상으로 융합하지 못하고 이중상으로 보여, 입체 효과를 얻을 수 없다. 또한, 움직이는 물체의 속도에 따라서 지연 영상 중 어떤 영상을 좌영상이나 우영상으로 선택하는지의 문제가 발생한다. 즉, 물체가 고속으로 운동하는 영상인 경우에는 현재 영상을 기준으로 바로 이전 영상을 선택해야 하며, 저속인 영상인 경우에는 현재 영상을 기준으로 2∼5번째 지연 영상을 선택해야 한다. 하지만, 고속인 영상에서도 입체 효과를 제공할 수 있는 충분한 양안 시차를 갖는 지연 영상을 선택하는데 한계가 있으며, 저속인 영상에서도 하드웨어 복잡도를 감안한다면 3번째 이상의 지연 영상을 저장하는데도 한계가 있다.
한편, 영상의 오행 정보를 이용하여 스테레오 영상을 구현한 입체 영상 변환 기술이 제안되었다. 이러한 입체 영상 변환 기술은 Y. Matsumoto 등이 1997년 SPIE Photonic West, vol. 3012, pp. 108-115에 "Conversion System of Monocular Image Sequence to Stereo using Motion Parallax" 이라는 명칭으로 제안되어 있다.
Matsumoto 등에 의해 제안된 영상의 오행 정보를 이용하여 스테레오 영상을 구현하는 기술은 산요 전기의 상업용 2차 제품에 접목되었는데, 저속 운동 영상인 경우에는 영상 운동을 추출한 후 운동 기반 오행 결정 알고리즘을 이용하여 현재 영상 블록의 오행 값을 추출한 후, 컴퓨터 그래픽스에 사용하는 원근 투영을 거쳐 좌/우 영상을 제작하였다. 이 기술의 단점은 원근 투영 때문에 영상 왜곡이 발생하여 화질이 다소 저하되는 단점이 있다. 따라서, 고속 운동이 존재하는 경우보다는 카메라 및 물체의 운동이 크지 않을 때에 적용하면 입체효과가 좋다.
TransVision의 입체 영상 변환 기술은 카메라와 물체의 영상간에 픽셀의 상대적 운동을 이용한다. TransVision의 변환 기술은 Garcia가 제안한 인간 시각 특성인 공간 시간 보간(spatial-temporal interpolation)에 근거한다(B. J. Garcia, "Approaches to Stereoscopic Video Based on Spatio-Temporal Interpolation," SPIE Photonic West, vol. 2635, pp. 85-95, San Jose, 1990). TransVision 입체 영상 변환 기술은 영상 간의 픽셀의 운동 변화를 이용하여 오행 정보를 구하고 이를 이용하여 양안에 디스플레이할 영상과 오프셋으로 최대 시차 값을 결정한 후 지연 영상을 선택한다. 이렇게 생성된 동영상을 VCR에 저장하면 TV 등에 연결하여 입체 영상을 보여줄 수 있다. 하드웨어는 DSP 보드를 이용하여 의료분야 및 TV에 직접 연결되어 2차원 동영상의 입체 영상의 시청이 가능하다. 이 방식은 저속 영상일 경우에는 입체감이 좋으나, 고속 영상인 경우에는 고스트 현상이 나타나는 단점이 있다.
그러므로, 전술한 종래의 입체 영상 변환 방법들은 영상 내 물체의 운동 방향 및 운동 속도의 해석 즉, 고/저속의 수평 운동, 비수평 운동, 고속 운동, 장면 전환, 줌 영상 등과 같이 정확한 영상 분석이 요구되며, 각각의 경우에 맞는 적절한 처리 기술이 필요하다.
그러므로, 본 발명은 전술한 문제점을 해결하고자 창안된 것으로, 2차원 동영상에서 운동 시차를 추출하여 서로 다른 원근 오행을 갖는 입체 영상을 생성하고, 종래 기술과는 달리 2차원 영상에서 운동 물체의 운동 방향과 속도에 상관없이 3차원 효과를 제공할 수 있는 입체 영상 변환 장치 및 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 목적은 2차원 영상에서 운동 시차를 이용하여 영상 내 운동 물체의 운동 방향 및 속도와는 상관없이 서로 다른 원근 오행을 갖는 입체 영상을 실시간으로 제공하는 입체 영상 변환 장치 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 바람직한 일실시예에 따르면, 2차원 영상을 3차원 영상으로 변환하여 디스플레이 상에 표시하는 입체 영상 변환 장치는, 영상원으로부터 제공되는 현재 입력 영상과 이전 입력 영상에 대하여 각기 샘플 영상을 취득하는 현재 샘플 영상 취득부 및 이전 샘플 영상 취득부; 상기 현재 및 상기 이전 샘플 영상 취득부에 의해 취득된 각각의 현재 및 이전 샘플 영상의 비교를 통하여 움직임 픽셀과 정지 픽셀을 검출하는 움직임 검출부; 상기 현재 샘플 영상을 복수개의 탐색 영역으로 분할하고 상기 움직임 검출부에 의해 검출된 상기 움직임 픽셀에 대한 정보를 이용하여 각 탐색 영역에서 움직임 픽셀의 대표값을 생성하는 영역 분할부; 각각의 상기 영역의 대표값을 이용하여 각기 대응하는 상기 영역 내에서 움직이는 물체를 구성하는 운동 픽셀군을 결정하고 상기 운동 픽셀군에 대하여 작은 가중치를 설정하여 원영상의 해상도를 갖는 영상을 생성하는 오행지도 생성부; 및 상기 원영상의 해상도를 갖는 영상을 양시차 처리하여 상기 디스플레이 상에 상기 운동 픽셀군을 화면 앞쪽에 배치하고 나머지 픽셀군은 화면 뒷쪽에 배치하도록 화면 처리하는 양시차 처리부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 상기 움직임 검출부는 상기 현재 샘플 영상 및 상기 이전 샘플 영상 내에서 대응하는각 픽셀들간의 차이의 절대값을 구하고, 상기 절대값을 기설정된 임계값과 비교하여 상기 움직임 픽셀을 검출하는 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기 오행 지도 생성부는 상기 대표값을 중심으로 기설정된 범위의 오차를 갖는 픽셀값을 상기 움직이는 물체를 구성하는 운동 픽셀군으로 결정하는 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기 기설정된 범위는 상기 대표값에 대하여 상위 25 % 및 하위 25 %인 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기 오행 지도 생성부는 상기 운동 픽셀군을 제외한 나머지 픽셀군에 대하여 상대적으로 큰 가중치를 설정하는 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기 가중치는 오행값인 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기 입체 영상 변환 장치는 상기 오행 지도 생성부에 의해 생성된 오행지도 영상에서 임펄스 노이즈를 제거하여 상기 양시차 처리부로 제공하는 마스킹 처리부를 더 포함하는 것을 특징으로 한다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백하게 드러나게 될 것이다.
이하, 도 3 내지 도 14를 참조하여 본 발명의 바람직한 실시예에 대하여 설명하기로 한다.
먼저, 본 발명의 설명에 앞서 본 발명에 대한 이해를 돕기 위하여 오행지각(depth perception)에 관련된 여러 가지 요인에 대하여 설명한다.
우리들이 주위의 공간을 오행을 가지고 입체적으로 파악할 때, 여러 가지 실마리가 사용된다. 오행지각에는 양안을 이용하는 것에 따른 것과 단안만에 의해서도 생길 수 있는 것이 있으며, 아래의 표 1에 제시한 바와 같이 분류할 수 있다.
오행을 초래하는 시각의 요인
양안에 의한 결과 단안에 의한 결과
수렴양안시차 초점 조절운동시차시야의 크기공기투시선원근법텍스쳐 그레디언트도자중첩
먼저, 도 3을 참조하여 양안에 의한 시각의 요인에 대하여 설명한다. 인간의 눈이 가로 방향으로 약 6.5 cm 떨어져서 2개 존재한다는 것에 따른 양안으로의 실마리는 오행판단에 특히 중요하며, 이것에는 수렴과 양안시차로 불리는 것이 있다.
도 3에 예시된 바와 같이, 어떤 대상(A)를 바라볼 때, 양안은 안쪽으로 회전하여, 그 대상(A) 위에서 만난다. 이와 같은 양안의 작용을 수렴이라 부른다. 이 때 대상(A)와 시선이 이루는 각(도 3의 'α')을 수렴각이라 부른다. 수렴에 의한 오행의 감도는 근거리에서 큰 효과를 나타내는데 20 cm 정도까지 유효하다고 한다. 그러나 거리가 멀어지면 수렴각이 작아지므로 이 효과는 급격히 작아진다. 또, 양안이 일정 간격 떨어져있기 때문에, 어떤 물체를 바라보았을 때 양안의 망막상은 같아지지 않고, 주시점으로부터 떨어진 위치에서는 대체로 간격이 생긴다. 양안에서의 이와 같은 간격량의 차이가 양안 시차이며, 도 3에서 대상(A)를 응시하고 있을 때 이것과 다른 방향에서 다른 오행을 갖는 대상(B)와의 사이에서 생기는 차, 즉 각도로 표현하면( γL - γR ) 또는 (β- α)로 주어진다. 양안상에 간격이 있을 때, 일반적으로는 2 중상으로 보이게 되지만, 양안 시차가 어느 정도 이하일 때는 상이 하나로 융합하여 간격량의 크기 및 방향에 따라 주시하고 있는 점 앞에 또는 뒤로 명확한 오행이 느껴진다. 일반적인 입체 디스플레이에서는 이 효과를 가장 많이 활용하고 있다.
단안에 의한 요인은 표 1에 예시된 바와 같이, 운동시차(motion parallax), 초점조절, 시야의 크기, 공기투시(aerial perspective), 선원근법(linear perspective), 텍스쳐 그레디언트(texture gradient), 그림자, 중첩 등이 있다. 단안에 따른 오행의 결과에는 눈의 렌즈의 두께를 바꾸어 핀트조절을 하는데 따른 효과가 있다. 이것은 관찰거리가 2∼3 m이내의 근거리일 때만 유효하다. 예컨대, 움직이고 있는 전차의 창문을 통해 밖의 경치를 바라보면, 먼 곳에 있는 산이나 구름 등은 거의 움직이지 않지만, 가까이 있는 집이나 가로수 등은 가까울수록 빨리 뒤로 흘러간다. 또 어떤 대상을 주시하면서 자발적으로 머리를 움직이면, 주시점으로부터 먼 곳에 있는 것은 관찰자가 움직이는 방향과 같은 방향으로, 주시점에서부터 앞에 있는 것은 관찰자가 움직이는 방향과는 반대방향으로 각각 거리와 함께 크게 움직여 보인다. 이와 같이 관찰하는 사람의 위치와의 상대적인 변화에 따라 생기는 대상물의 움직임 차이를 운동시차라 부른다. 이같이 움직임의 차이에서 초래되는 오행판단의 효과는 조건에 따라 양안시차와 같을 정도로 유효하며, 현재의 TV나 영화 등 2차원의 화면속에서의 오행감을 부여하는데 유효한 실마리로 되어 있다.
또한, 화상을 동시에 관찰할 수 있는 범위에 제한이 있으면 평상시의 체험과는 다른 제약된 인상을 받는다. 이 범위가 넓어질수록 실제의 공간 속에 있는 것과 같은 임장감이 강해진다. 이와 같은 시야의 크기로 오행감을 높이는데 유효하며, 화면이 큰 영화나 하이비전 등에는 이 효과가 살려져 있다. 잘 알려진 물체의 경우 작게 보일수록 먼 곳에 있는 것처럼 느껴진다. 즉, 망막상의 크기에 따라 오행의 실마리를 얻을 수 있다.
이 밖에 먼 곳에 있는 물체일수록 흐리거나 희미해져서 콘트라스트가 약하게 보인다는 공기투시의 효과나 선과 선의 간격이 좁아지는 것 같은 도형을 볼 때에 오행감이 생기는 선원근법, 멀어질수록 망막에 투영되는 상의 텍스쳐가 치밀하며, 또 많은 상이 조밀하게 투영되게 되는 텍스쳐 그레디언트의 효과도 있다. 또한, 물체에 생기는 명암의 효과도 중요한 실마리가 되며, 뒤쪽의 것은 앞쪽의 것에 의해 그 일부가 덮인다는 중복의 효과도 모두 단안에 의한 요인이라 할 수 있다.
도 4를 참조하면, 각 요인의 오행감도 거리특성을 예시하는 그래프가 도시된다.
대상까지의 거리를 D, 이 대상이 뒤쪽 방향으로 다소 움직였을 때 오행의 변화를 지각할 수 있는 최소의 거리변화를 ΔD로 하였을 때, 오행감도(Depth Sensitivity)는 아래의 수학식 1과 같이 정의된다.
즉, 어떤 시거리 D에서, 오행이 변환한 것을 느끼게 하는 거리변화 ΔD가 작으면 작을수록 오행감도가 크다는 것을 의미한다. 앞에서 설명한 각각의 실마리 중에서 수렴, 양안시차, 운동시차, 망막상의 크기, 공기투시, 텍스쳐 및 밝기에 대한 그 유효범위를 위에서 설명한 오행감도를 사용하여 도 4에 도시하였다.
도 4의 결과로서 우리는 양안시차는 10 m 이내의 거리에서 매우 중요하다는 것과 운동시차는 운동속도가 최적이면 유효하고, 특히 원거리에서는 양안시차보다도 유효하다는 것을 알 수 있으며, 매우 먼 거리에 있는 대상일 경우에는 거리감을 주는데 있어 망막상의 크기나 공기투시가 중요하다는 것을 알 수 있다.
이제, 도 5를 참조하면, 본 발명의 바람직한 실시예에 따른 입체 영상 변환 장치의 블록 구성도가 도시된다. 도 5에 도시된 바와 같은 입체 영상 변환 장치는 영상원(미도시)으로부터 제공된 2차원 컬러(RGB) 영상을 휘도 영상으로 변환하는 RGB-YUV 변환부(502)와, 현재 프레임 메모리(504), 이전 프레임 메모리(506), 현재샘플 영상 취득부(508), 이전 샘플 영상 취득부(510), 움직임 검출부(512), 영역 분할부(514), 오행 지도 생성부(516), 필터링부(518), 양시차 처리부(520), 보간 처리부(522) 및 휘도 영상을 다시 컬러 영상으로 변환하는 YUV-RGB 변환부(524)를 포함한다.
현재 프레임 메모리(504) 및 이전 프레임 메모리(506)는 RGB-YUV 변환부(502)에 의해 변환된 현재 휘도 영상과 이전 휘도 영상을 각기 저장하는 기능을 수행한다.
현재 샘플 영상 취득부(508) 및 이전 샘플 영상 취득부(510)는 운동 시차의 효율적인 계산과 실시간 처리를 위하여 RGB-YUV 변환부(502)에 의해 변환된 현재 및 이전 휘도 영상보다 낮은 해상도를 작은 PD1 ×PD2 크기의 샘플 영상을 취득한다. 도 6에는 각각의 현재 및 이전 샘플 영상 취득부(508 및 510)에 의해 샘플 영상이 취득되는 과정이 도시된다. 도 6에 도시된 바와 같이, 각각의 현재 및 이전 샘플 영상 취득부(508 및 510)는 각기 현재 프레임 메모리(504) 및 이전 프레임 메모리(506)에 저장된 현재 휘도 영상과 이전 휘도 영상을 등간격으로 샘플링함으로써 가로 방향으로 PD1, 세로 방향으로 PD2의 크기를 갖는 샘플 영상을 취득한다. 여기서 ROW 및 PD1은 각기 입력 영상(602) 및 샘플 영상(604)의 가로 방향 픽셀 개수를 나타내고, COL 및 PD2는 각기 입력 영상(602) 및 샘플 영상(604)의 세로 방향 픽셀 개수를 나타낸다. 이때, 각각의 현재 및 이전 샘플 영상 취득부(508 및 510)에 의해 등간격으로 취득된 샘플 영상(604)은 원 입력 영상(602)과 동일한 형상 정보 및 휘도 분포 특성을 나타낸다. 즉, 샘플 영상(604)에 대한 히스토그램의 평균 및 표준편차는 원 입력 영상(602)에 대한 대한 히스토그램의 평균 및 표준편차와 동일하기 때문에 운동 시차를 실시간으로 계산하기 위해서 샘플 영상(604)을 이용하는데 큰 무리가 없다.
움직임 검출부(512)는 각각의 현재 및 이전 샘플 영상 취득부(508 및 510)에 의해 취득된 현재 및 이전 샘플 영상(604)의 휘도 신호에서 움직임이 있는 픽셀을 검출한다. 움직임 검출부(512)에 의한 현재 및 이전 샘플 영상(604) 내 픽셀의 움직임 검출은 아래의 수학식 2 및 수학식 3에 의해 수행된다.
보다 상세히 설명하면, 현재 샘플 영상 취득부(508)에 의해 취득된 현재 샘플 영상(P(N)th)과 이전 샘플 영상 취득부(510)에 의해 취득된 이전 샘플 영상(P(N-1)th)의 픽셀들간 차의 절대값(Dpixel)을 구하고, 이것을 임계값(Dth)과의 비교를 통하여 정지 픽셀과 움직임 픽셀로 구분한다. 본 발명에서는 현재 및 이전 샘플 영상 내 픽셀들을 정지 픽셀과 움직임 픽셀의 두 가지 상태로만 검출을 하는데, 일반적으로 정지 픽셀은 배경을 이루는 픽셀로 상대적으로 먼 거리에 위치해 있는 것으로 가정하고, 반대로 움직임 픽셀은 상대적으로 가까운 위치에 있는 것으로 가정한 것이다. 움직임 검출부(512)에 의해 검출된 정지 픽셀과 움직임 픽셀에 대한 정보는 현재 샘플 영상 취득부(508)에 의해 취득된 현재 샘플 영상(604)과 함께 다음 단의 영역 분할부(514)로 제공된다.
영역 분할부(514)는 움직임 검출부(512)에 의해 배경 또는 움직임이 있는 물체의 영역을 구성하는 픽셀 값을 이용하여 픽셀을 구성하는 탐색 영역으로 확장시키는 기능을 수행한다. 이러한 영역 분할부(514)는 도 7에 예시된 바와 같이 샘플 영상(604)을 수직 방향으로 8등분하여, 각기 분할된 탐색 영역 내에서 정지 또는 움직이는 픽셀 값들에 대한 대표값(Pth), 예컨대, 픽셀들의 평균 또는 중간값을 계산한다. 본 발명에서, 샘플 영상을 수직 방향으로 8등분하는 이유는 움직이는 픽셀 값이 영상 전역에 걸쳐 동일한 계조 값이 아닌 서로 다른 계조값으로 이루어져 있을 경우 검출 에러를 줄이기 위한 목적으로 사용된다. 예를 들면, 운동장에서 사람이 달려가는 영상이 있다고 가정한다면, 여기서 배경은 운동장이 되고 움직이는 물체는 사람이 되는데, 사람의 머리, 얼굴, 상의, 하의가 대부분 모두 다른 계조를 이루므로, 사람이라는 영역 모두를 검출하려면 탐색 영역의 분할이 필요한 것이다.
오행 지도 생성부(516)는 영역 분할부(514)에 의해 각각의 분할된 8개의 탐색 영상에서 각기 계산된 8개의 움직임 픽셀의 대표값(Pth)을 이용하여 아래의 수학식 4와 같이 원 입력 영상의 해상도 크기를 갖는 오행 지도를 작성한다.
보다 상세히 말해서, 오행 지도 생성부(516)는 움직임 픽셀의 대표값(P(N)th)을 중심으로 실험 결과에 의하여 상위 25 % 및 하위 25 %의 오차를 갖는 픽셀값을 움직이는 물체를 구성하는 운동 픽셀군으로 정한다. 그 다음, 이러한 운동 픽셀군은 배경에 비하여 상대적으로 가까운 위치에 있는 영역이므로 가중치, 예컨대, 오행값을 작게 설정해주며, 그 외의 배경을 구성하는 배경 픽셀군은 오행값을 크게 설정한다.
필터링부(518)는 오행지도 생성부(516)에 의해 생성된 오행 지도에서 야기되는 임펄스 노이즈를 제거하여 좀 더 자연스런 입체 영상이 생성되도록 마스킹 처리를 한다. 필터링부(518)에 의해 수행되는 노이즈 제거 과정은 도 8을 참조하여 설명된다. 도 8에 예시된 바와 같이, 어느 하나의 노이즈 제거 대상 픽셀(802)과 그 주위에 인접한 8개의 픽셀의 오행 정보가 다를 경우 그 대상 픽셀(802)의 오행 정보는 노이즈로 가정하고 주위 인접한 픽셀의 오행과 동일하게 설정한다. 필터링부(518)에 의해 필터링된 원 영상의 오행지도는 다음단의 양시차 처리부(520)로 제공된다.
양시차 처리부(520)는 필터링부(518)에 의해 마스킹 처리된 원 영상의 오행지도 내 배경 및 움직이는 물체에 대하여 모두 양시차(positive parallax) 처리를 행하여 좌안 영상과 우안 영상을 생성한다. 만일, 움직이는 물체를 화면보다 앞쪽에 있는 듯하게 보이기 위하여 음시차(negative parallax) 처리를 한다면, 전술한 단안에 의한 중첩의 원리에 위배되어 자연스런 입체감을 제공하지 못한다. 이러한 현상을 화면 문선(screen surround) 문제라 한다. 예컨대, 도 9에서와 같이 우리가 TV 수상기 또는 모니터를 통하여 입체 영상을 시청할 때, 우리가 잘 알고 있는 물체(예컨대, 비행체)(902)가 화면 가장자리에 위치하여 물체의 전체 형상을 볼 수 없을 경우가 종종 있다. 따라서, 본 발명에서는 음시차 처리를 행하여 발생하는 전술한 문제를 해결하기 위하여 양시차 처리를 수행한다.
여기서, 양시차라는 것은 도 10a에 예시된 바와 같이 실제로 우리가 아주 먼 거리에 있는 물체를 볼 때와 같은 경우로서 우리의 양안과 화면의 주시점(102)과의 투영이 서로 평행일 경우를 말한다. 따라서 좌안에 화면의 왼쪽 주시점(104)을, 우안에 오른쪽 주시점(106)을 번갈아 제시하면, 그 두 개의 주사점(104, 106)은 하나로 융합하여 마치 화면 뒤쪽에 위치해 있는 것으로 보인다. 반면, 음시차(negative parallax)는 전술한 양시차와 정반대의 경우로서, 도 10b에 예시된 바와 같이, 우리의 양안과 화면의 주시점(108)과의 투영이 서로 교차하는 경우를 말한다. 따라서 좌안에 화면의 오른쪽 주시점(110)을, 우안에 왼쪽 주시점(112)을 번갈아 제시하면, 그 두 개의 주시점(110, 112)은 하나로 융합하여 마치 화면 앞쪽에 위치해 있는 것으로 보인다.
따라서, 본 발명의 양시차 처리부(520)는 원 영상의 오행지도 내 배경 및 움직이는 물체의 모든 픽셀을 2 픽셀씩 왼쪽으로 시프트함으로써 좌안 영상을 생성하고, 원 영상의 오행지도 내 배경 및 움직이는 물체의 모든 픽셀을 2 픽셀씩 오른쪽으로 시프트함으로써 우안 형상을 생성한다. 이러한 양시차 처리에 의해 좌안 및 우안 영상에 의한 합성 영상은 TV 수상기 또는 모니터와 같은 디스플레이 장치에 표시될 때 화면 안쪽에 위치한 것처럼 보이게 된다. 그 다음, 양시차 처리부는 원근 오행 지도에 근거하여 움직임 물체는 배경보다 오행 차이(depth)가 작기 때문에 좌안 영상 내 움직임 물체에 해당하는 픽셀을 3 픽셀씩 좌측으로 시프트하고, 우안 영상 내 움직임 물체에 해당하는 픽셀을 3 픽셀씩 우측으로 시프트한다. 그 결과, 디스플레이 장치에서 디스플레이되는 움직이는 물체는 화면의 안쪽에 위치되고 배경은 움직이는 물체보다 더 뒤쪽으로 위치된 것처럼 보이게 된다.
또한, 인간의 눈은 물체를 볼 때 두 가지 메카니즘이 동시에 일어나는데, 적응(Accommodation)과 수렴(Convergence)이 바로 그것이다. 적응이란 물체를 보기 위해 눈의 렌즈 두께를 변화하여 초점을 맞추는 작용이며, 수렴이란 위에서 언급했듯이 대상을 바라볼 때, 양안이 안쪽으로 회전하는 현상을 말한다. 그런데, 양시차 처리부(520)에서 입체 영상을 오행감을 주기 위하여 양시차 처리에 의해 좌안 영상과 우안 영상을 생성할 때 움직임 물체와 배경의 경계에서는 3 픽셀의 공간이 생기게 되며, 이렇게 시차가 클수록 적응과 수렴 작용이 분리되어 시청자로 하여금 불쾌감을 주게된다. 따라서, 본 발명의 보간 처리부(522)에서는 양안의 적응과 수렴의 분리 문제를 해결하기 위하여 배경과 운동 물체의 오행 차이를 3 픽셀로 한정했으며, 오행 차이에 의한 교합(Occlusion) 문제는 FOI(First Order Interpolation) 또는 ZOI(Zero Order Interpolation)와 같은 보간 알고리즘을 사용하여 해결된다. 보간 알고리즘은, 예컨대, 인접한 픽셀(A, B)가 있을 때, 이들 두 픽셀(A, B) 사이에 새로운 픽셀을 보간하는 방법으로, FOI 방식은 도 11에 예시된 바와 같이 두 픽셀(A, B)의 평균값으로 보간하는 방식으로, 그 결과는 (A-(0.5 ×(A+B))-B)가 되며, ZOI 방식은 픽셀(A) 또는 픽셀(B)를 그대로 복사하는 방식으로 그 결과는 (A-A-B) 또는 (A-B-B)가 된다.
YUV-RGB 변환부(524)는 보간 처리부(522)에 의해 보간 처리된 휘도 영상을 컬러 RGB 영상으로 변환하여 디스플레이(미도시)에 제공함으로써 3차원 입체 영상을 디스플레이한다.
아래의 설명은 전술한 구성을 갖는 본 발명의 입체 영상 변환 장치에 의해 수행되는 입체 영상 변환 방법의 성능 평가를 위하여 실험한 결과이다. 성능 평가를 위하여 '정원' 영상(도 12a 및 도 12b 참조)과 '탁구' 영상(도 13a 및 도 13b 참조)을 이용하였으며, 컴퓨터 시뮬레이션을 통하여 기존의 대표적인 입체 영상 변환 방법인 MTD 방식과 본 발명의 방법과의 성능 비교를 수행하였다. 본 발명에서는 성능 평가를 효율적으로 하기 위하여 각 입체 영상 변환 방법에 의해서 생성된 좌/우 영상을 이용하여, 두 영상의 픽셀 차의 절대값(이하, 오행 차이 영상)을 구하여 배경 및 운동 물체의 오행을 적절히 적용했는가의 여부를 판단하였다. 즉, 아래의 수학식 5를 이용하여 오행 차이 영상 내 운동 물체의 윤곽 여부를 조사하여 각 방식의 배경 및 운동 물체의 오행 처리 효과를 비교하였다.
수학식 5에서, PLEFT는 좌영상의 픽셀을 나타내고, PRIGHT는 우영상의 픽셀을 나타내며, PSIM은 좌/우 영상의 픽셀 차의 절대값을 나타낸다.
도 12a 및 도 12b에 예시된 '정원' 영상은 배경을 중심으로 나무와 정원이 간단하게 왼쪽에서 오른쪽으로 수평 이동하는 영상으로 도 14a 및 도 14b와 같이 두 방식 모두 오행 차이가 유사함을 알 수 있다.
'정원' 영상과는 반대로, 도 13a 및 도 13b에 예시된 '탁구' 영상은 간단한 수직으로 이동하는 물체(즉, 탁구공)가 있는 영상이다. 도 15a 및 도 15b와 같이, 각 방식의 오행 차이를 보면 서로 다르다는 것을 알 수 있다. 각 영상에 원으로 표시한 부분을 자세히 살펴보면, MTD 방식에 의한 영상은 탁구공이 하나가 아닌 2개로 보임을 알 수 있으며, 본 발명의 입체 영상 변환 방법에 의해 생성된 영상에서는 탁구공이 하나로 보인다. 또한, 탁구 선수의 오른쪽 팔 부분도 MTD 방식에 의한 영상에서는 뚜렷하지 않지만, 제안한 방식에 의한 영상에서는 뚜렷한 모습을 볼 수 있다. 그러므로, MTD 방식으로 변환된 입체 영상을 시청할 경우, 탁구공은 하나의 공으로 융합하지 못하고 이중상으로 보이며, 단지 탁수 선수의 손목과 탁구채만이 입체로 보일 것이다. 즉, MTD 방식은 이러한 움직임이 있는 경우에 불쾌감을 주며, 눈의 피로를 가중시킨다. 반면에 제안한 방법은 탁구 선수의 손목과 탁구채는 물론 탁구선수의 오른쪽 팔로 선명하게 보이며, 탁구공도 정확히 하나로 보이기 때문에 자연스런 입체 효과가 제공됨을 알 수 있다.
전술한 바와 같이 MTD 방식을 이용하여 입체 영상 변환할 경우에는 영상 내 운동 물체의 운동 방향뿐만 아니라 속도까지도 신중하게 고려해야 한다. 즉, MTD 방식에 의해서 생성된 오행의 양은 움직이는 물체의 속도의 양에 의해서 민감하게 좌우되기 때문에, 자연스런 입체 효과를 제공하기 위해서는 3개 이상의 많은 프레임 메모리와 복잡한 제어 기술이 요구된다. 그러나 본 발명에 따른 입체 영상 변환 방법은 움직임 검출 및 영역 분할과 2개의 프레임 메모리를 이용하여 영상 내 움직이는 물체의 운동 속도 및 운동 방향과는 상관없이 자연스런 입체 효과를 제공할 수 있다.
그러므로, 본 발명은 일반적인 2차원 영상에서 움직임 검출과 영역 분리 방법을 이용하여 영상 내 운동 물체의 운동 방향 및 속도에 상관없이 배경과 운동 물체를 분리하여 자연스런 입체 영상을 제공할 수 있다.
또한, 본 발명은 고해상도 영상에서 실시간으로 입체 영상 변환을 하는데 적합하며, TV, 케이블 TV, VCR, CD, DVD, AVI, DIVX 등 다양한 영상 포맷에 실시간으로 적용 가능하다.
또한 본 발명은 오행 차이 영상을 이용하여 기존의 방식과 성능 비교를 통하여 알 수 있는 바와 같이 영상 내 운동 물체의 운동 방향 및 속도에 무관하게 자연스런 입체 효과를 제공할 수 있다.
전술한 설명을 통하여 당업자라면 본 발명의 기술적 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
도 1은 입체시(stereoscopic vision)의 원리를 설명하는 도면,
도 2는 종래 기술에 따른 수정 시간차(Modified Time Difference: MTD) 방식의 원리를 설명하는 도면,
도 3은 수렴과 양안 시차의 원리를 설명하는 도면,
도 4는 오행을 초래하는 시각의 요인의 오행감도 거리 특성을 설명하는 그래프도,
도 5는 본 발명에 따른 입체 영상 변환 장치의 블록 구성도,
도 6은 도 5에 도시된 샘플 영상 취득부에 의해 수행되는 동작을 설명하는 도면,
도 7은 도 5에 도시된 영역 분할부에 의해 수행되는 동작을 설명하는 도면,
도 8a 및 도 8b는 도 5에 도시된 양시차 처리부에 의해 수행되는 양시차 처리와 음시차 처리를 각기 설명하는 도면,
도 9는 도 5에 도시된 필터링부에 의해 수행되는 동작을 설명하는 도면,
도 10은 도 5에 도시된 양시차 처리부에서 발생하는 화면 문선 문제를 설명하는 도면,
도 11은 도 5에 도시된 보간 처리부에 의해 수행되는 동작을 설명하는 도면,
도 12a 및 도 12b는 각기 본 발명에 따른 입체 영상 변환 장치의 성능 평가를 위한 실험용 정원 영상의 (N-1) 및 (N) 번째 영상을 예시하는 도면,
도 13a 및 도 13b는 각기 본 발명에 따른 입체 영상 변환 장치의 성능 평가를 위한 실험용 탁구 영상의 (N-1) 및 (N) 번째 영상을 예시하는 도면,
도 14a 및 도 14b는 각기 도 12a 및 도 12b에 도시된 실험용 정원 영상에 대하여 종래 기술의 MTD 방법과 본 발명의 방법을 적용하여 평가된 오행 차이를 설명하는 도면,
도 15a 및 도 15b는 각기 도 13a 및 도 13b에 도시된 실험용 정원 영상에 대하여 종래 기술의 MTD 방법과 본 발명의 방법을 적용하여 평가된 오행 차이를 설명하는 도면이다.
< 도면의 주요 부분에 대한 부호의 간단한 설명 >
504, 506 : 프레임 메모리 508, 510 : 샘플 영상 취득부
512 : 움직임 검출부 514 : 영역 분할부
516 : 오행 지도 생성부 518 : 필터링부
520 : 양시차 처리부 522 : 보간 처리부

Claims (9)

  1. 2차원 영상을 3차원 영상으로 변환하여 디스플레이 상에 표시하는 입체 영상 변환 장치에 있어서,
    영상원으로부터 제공되는 현재 입력 영상과 이전 입력 영상을 각기 샘플링한 샘플 영상을 취득하는 현재 샘플 영상 취득부 및 이전 샘플 영상 취득부;
    각각의 상기 현재 및 이전 샘플 영상 내 대응하는 픽셀들간의 비교를 통하여 움직임 픽셀과 정지 픽셀을 검출하는 움직임 검출부;
    상기 현재 샘플 영상을 복수개의 탐색 영역으로 분할하고 상기 움직임 검출부에 의해 검출된 상기 움직임 픽셀에 대한 정보를 이용하여 각 탐색 영역에서 움직임 픽셀의 대표값을 생성하는 영역 분할부;
    각각의 상기 탐색 영역의 대표값을 이용하여 각기 대응하는 상기 탐색 영역 내에서 움직이는 물체를 구성하는 운동 픽셀군을 결정하고 상기 운동 픽셀군에 대하여 작은 가중치를 설정하여 원 입력 영상의 해상도의 크기를 갖는 오행 지도 영상을 생성하는 오행지도 생성부; 및
    상기 오행 지도 영상을 상기 디스플레이 상에 상기 운동 픽셀군이 화면 앞쪽에 배치되고 나머지 픽셀군은 화면 뒷쪽에 배치되도록 좌안 영상과 우안 영상을 생성하는 양시차 처리부
    를 포함하는 것을 특징으로 하는 입체 영상 변환 장치.
  2. 제 1 항에 있어서,
    상기 움직임 검출부는 상기 현재 샘플 영상 및 상기 이전 샘플 영상 내에서 대응하는각 픽셀들간의 차이의 절대값을 구하고, 상기 절대값을 기설정된 임계값과 비교하여 상기 움직임 픽셀을 검출하는 것을 특징으로 하는 입체 영상 변환 장치.
  3. 제 1 항에 있어서,
    상기 영역 분할부에 의해 생성된 움직임 픽셀의 대표값은 각각의 상기 탐색 영역 내 움직임 픽셀들의 평균값 또는 중간값인 것을 특징으로 하는 입체 영상 변환 장치.
  4. 제 3 항에 있어서,
    상기 오행 지도 생성부는 상기 대표값을 중심으로 기설정된 범위의 오차를 갖는 픽셀값을 상기 움직이는 물체를 구성하는 운동 픽셀군으로 결정하는 것을 특징으로 하는 입체 영상 변환 장치.
  5. 제 4 항에 있어서,
    상기 기설정된 범위는 상기 대표값에 대하여 상위 25 % 및 하위 25 %인 것을 특징으로 하는 입체 영상 변환 장치.
  6. 제 1 항에 있어서,
    상기 오행 지도 생성부는 상기 운동 픽셀군을 제외한 나머지 픽셀군에 대하여 상대적으로 큰 가중치를 설정하는 것을 특징으로 하는 입체 영상 변환 장치.
  7. 제 1 항에 있어서,
    상기 양시차 처리부는 상기 오행 지도 영상 내 모든 픽셀군을 제 1의 기설정 픽셀씩 왼쪽으로 시프트하고, 상기 운동 픽셀군을 제2의 기설정 픽셀씩 좌측으로 시프트하여 상기 좌안 영상을 생성하고, 상기 원 영상의 오행지도 내 모든 픽셀군을 상기 제 1의 기설정 픽셀씩 오른쪽으로 시프트하고, 상기 운동 픽셀군을 상기 제2 기설정 픽셀씩 우측으로 시프트하여 상기 우안 영상을 생성하는 것을 특징으로 하는 입체 영상 변환 장치.
  8. 제 1 항에 있어서,
    상기 입체 영상 변환 장치는,
    상기 양시차 처리부에 의해 생성된 좌안/우안 영상 내 배경과 운동 물체의 오행 차이를 보간하는 보간 처리부를 더 포함하는 것을 특징으로 하는 입체 영상 변환 장치.
  9. 제 8 항에 있어서,
    상기 보간 처리부는 ZIO(zero order interpolation) 및 FOI(first order interpolation)을 이용하는 것을 특징으로 하는 입체 영상 변환 장치.
KR10-2003-0019566A 2003-03-28 2003-03-28 운동 시차를 이용한 입체 영상 변환 장치 KR100505334B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2003-0019566A KR100505334B1 (ko) 2003-03-28 2003-03-28 운동 시차를 이용한 입체 영상 변환 장치
US10/807,927 US20040189796A1 (en) 2003-03-28 2004-03-24 Apparatus and method for converting two-dimensional image to three-dimensional stereoscopic image in real time using motion parallax

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0019566A KR100505334B1 (ko) 2003-03-28 2003-03-28 운동 시차를 이용한 입체 영상 변환 장치

Publications (2)

Publication Number Publication Date
KR20040084455A KR20040084455A (ko) 2004-10-06
KR100505334B1 true KR100505334B1 (ko) 2005-08-04

Family

ID=32985890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0019566A KR100505334B1 (ko) 2003-03-28 2003-03-28 운동 시차를 이용한 입체 영상 변환 장치

Country Status (2)

Country Link
US (1) US20040189796A1 (ko)
KR (1) KR100505334B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064444B2 (en) 2012-05-31 2015-06-23 Samsung Display Co., Ltd. Three-dimensional display device

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312798A (ja) * 2001-04-12 2002-10-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
JP2006076510A (ja) * 2004-09-13 2006-03-23 Shimano Inc 自転車用ヘッド部品
WO2006043016A1 (en) * 2004-10-21 2006-04-27 David Brian Woods Stereoscopic display device and method of creating pseudostereoscopic moving images
GB0613352D0 (en) * 2006-07-05 2006-08-16 Ashbey James A Improvements in stereoscopic imaging systems
US8207962B2 (en) * 2007-06-18 2012-06-26 Mediatek Inc. Stereo graphics system based on depth-based image rendering and processing method thereof
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
US8106910B2 (en) * 2008-03-28 2012-01-31 Vldimir Pugach Method for correct reproduction of moving spatial images on a flat screen
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
WO2010049850A1 (en) * 2008-10-28 2010-05-06 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties
KR101506926B1 (ko) 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR101310213B1 (ko) * 2009-01-28 2013-09-24 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치
US8237777B2 (en) * 2009-06-25 2012-08-07 Eastman Kodak Company Stereoscopic image intensity balancing in light projector
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
JP2011114863A (ja) * 2009-11-23 2011-06-09 Samsung Electronics Co Ltd ３Ｄ映像の提供方法、３Ｄ映像の変換方法、ＧＵＩ提供方法及びこれを適用した３Ｄディスプレイ装置、そして３Ｄ映像の提供システム｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ、ｍｅｔｈｏｄｆｏｒｃｏｎｖｅｒｔｉｎｇ３Ｄｉｍａｇｅ、ＧＵＩｐｒｏｖｉｄｉｎｇｍｅｔｈｏｄｒｅｌａｔｅｄｔｏ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓａｎｄｓｙｓｔｅｍｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ｝
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011203811A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
CN101917636B (zh) * 2010-04-13 2012-02-22 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
KR101198320B1 (ko) * 2010-06-21 2012-11-06 (주)아이아이에스티 2차원에서 3차원으로의 영상 변환 방법 및 장치
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
JP5238767B2 (ja) * 2010-07-26 2013-07-17 株式会社東芝 視差画像生成方法及び装置
EP2429199B1 (en) * 2010-09-13 2018-02-21 LG Electronics Inc. Image display apparatus and method for operating the same
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
CN102469323B (zh) * 2010-11-18 2014-02-19 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
WO2012087791A1 (en) * 2010-12-23 2012-06-28 Marvell World Trade Ltd. Systems and methods for converting a 2d image to a 3d image
US8861836B2 (en) 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
CN102647602B (zh) * 2011-02-17 2014-08-20 北京大学深圳研究生院 一种基于gpu加速的2d视频转3d视频系统及方法
TWI493505B (zh) * 2011-06-20 2015-07-21 Mstar Semiconductor Inc 影像處理方法以及影像處理裝置
JP2013026826A (ja) * 2011-07-21 2013-02-04 Sony Corp 画像処理方法、画像処理装置及び表示装置
US9894341B2 (en) * 2011-08-10 2018-02-13 Electronics And Telecommunications Research Institute Apparatus and method for providing image, and apparatus and method for playing image
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
EP2590417A1 (en) * 2011-11-01 2013-05-08 Acer Incorporated Stereoscopic image display apparatus
CN103108201A (zh) * 2011-11-14 2013-05-15 宏碁股份有限公司 立体图像显示装置及动态深度图像产生方法
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
CN104539930B (zh) * 2012-07-26 2017-06-16 青岛海信电器股份有限公司 一种视频图像处理方法和系统
CN102780909B (zh) * 2012-07-26 2014-12-24 青岛海信电器股份有限公司 一种视频图像处理方法和系统
KR101917224B1 (ko) 2012-09-18 2018-11-13 엘지이노텍 주식회사 영상데이터 전송장치
CN103096112B (zh) * 2012-10-30 2014-10-22 青岛海信电器股份有限公司 2d/3d偏光显示方法、偏光显示装置及电视
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
CN103006332B (zh) * 2012-12-27 2015-05-27 广东圣洋信息科技实业有限公司 手术刀跟踪方法与装置及数字立体显微镜系统
US9275437B2 (en) * 2013-03-14 2016-03-01 Algotec Systems Ltd. Method for efficient digital subtraction angiography
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
EP3195076B1 (en) * 2015-06-26 2021-01-20 SZ DJI Technology Co., Ltd. System and method for selecting an operation mode of a mobile platform
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN105979244A (zh) * 2016-05-31 2016-09-28 十二维度（北京）科技有限公司 一种基于深度学习的2d图像转3d图像的方法及系统
CN106060529A (zh) * 2016-06-01 2016-10-26 十二维度（北京）科技有限公司 视频2d转3d的深度图跟踪生成方法及装置
US10712561B2 (en) * 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
CN106780590B (zh) * 2017-01-03 2019-12-24 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
US20180322689A1 (en) * 2017-05-05 2018-11-08 University Of Maryland, College Park Visualization and rendering of images to enhance depth perception
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
CN110288625B (zh) * 2019-07-04 2021-09-03 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN112785489B (zh) * 2020-12-29 2023-02-17 温州大学 一种单目立体视觉图像生成方法及装置
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562463A (en) * 1981-05-15 1985-12-31 Stereographics Corp. Stereoscopic television system with field storage for sequential display of right and left images
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064444B2 (en) 2012-05-31 2015-06-23 Samsung Display Co., Ltd. Three-dimensional display device

Also Published As

Publication number Publication date
KR20040084455A (ko) 2004-10-06
US20040189796A1 (en) 2004-09-30

Similar Documents

Publication Publication Date Title
KR100505334B1 (ko) 운동 시차를 이용한 입체 영상 변환 장치
US6496598B1 (en) Image processing method and apparatus
EP1807806B1 (en) Disparity map
US20190215507A1 (en) 3d system including a marker mode
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
EP1839267B1 (en) Depth perception
JP5011316B2 (ja) 出力画像のレンダリング
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
CN108141578B (zh) 呈现相机
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
CN102170578A (zh) 用于处理视频图像的方法和设备
KR20110113924A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US20210321073A1 (en) 3d system
US9177380B2 (en) 3D video camera using plural lenses and sensors having different resolutions and/or qualities
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR20020037097A (ko) 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템
US10121280B2 (en) 3D system including rendering with three dimensional transformation
Ramachandran et al. Multiview synthesis from stereo views
WO2017083509A1 (en) Three dimensional system
US10284837B2 (en) 3D system including lens modeling
Kwon et al. P‐49: A Real‐Time 2‐D to 3‐D Image Conversion Method Using Motion Parallax
Cheng et al. Merging static and dynamic depth cues with optical-flow recovery for creating stereo videos
Cheng et al. Research Article Merging Static and Dynamic Depth Cues with Optical-Flow Recovery for Creating Stereo Videos

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120724

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150723

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160725

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 14