KR20070089554A - 입체 영상 처리 장치 - Google Patents

Abstract

본 발명은 3차원 입체 영상 처리 장치에 관한 것으로서, 본 발명에서는 좌안용 벡터 이미지 데이터 및 우안용 벡터 이미지 데이터가 저장되는 하드디스크 또는 보조 저장 장치를 구비하고, 상기 벡터 이미지 데이터를 좌안용 모노 이미지 데이터 및 우안용 모노 이미지 데이터로 변환한 후 입체감을 주는 영상을 생성하는 입체 영상 처리 장치로서, 각 구성부의 제어를 담당하는 호스트 CPU와, 상기 호스트 CPU가 처리하는 일련의 제어 로직과 운영에 필요한 정보가 저장되는 메인 메모리와, 좌안 메모리를 구비하고, 상기 좌안 메모리에 저장되는 좌안용 벡터 이미지 데이터를 좌안용 모노 데이터로 변환하는 좌안 3D 가속기와, 우안 메모리를 구비하고, 상기 우안 메모리에 저장되는 우안용 벡터 이미지 데이터로 변환하는 우안 3D 가속기와, 상기 하드디스크 또는 보조 저장 장치에 저장된 벡터 이미지 데이터를 상기 좌안 메모리 및 우안 메모리에 각각 독립적으로 전송할 것인지 또는 동시에 전송할 것인지를 선택하는 선택기를 포함하는 것을 특징으로 하는 입체 영상 처리 장치가 제공된다.

입체 영상, 스테레오 이미지

Description

입체 영상 처리 장치{STEREOSCOPIC IMAGE PROCESSING APPRATUS}

도 1은 종래 패러랙스 배리어 방식에 대한 절단면도.

도 2는 편광방식에 적합한 본 발명에 따른 일 실시예의 입체 이미지 장치의 블록도.

도 3은 페이지 플립핑 방식에 적합한 본 발명에 따른 일 실시예의 입체 이미지 장치의 블록도.

도 4는 도 3의 일 실시예의 믹서부의 블록 구성도.

도 5는 도 4의 일 실시예의 출력 영상용 어드레스 생성부의 블록 구성도.

도 6은 도 3의 3D 입체 이미지 장치에 좌우 영상을 촬영하기 위한 좌안 카메라 및 우안 카메라가 구비된 3D 입체 이미지 장치.

도 7은 렌티큘러 방식 및 패러랙스 배리어 방식에 적합한 화면의 일 실시예도.

입체 영상 처리 장치에 관한 것으로서, 보다 구체적으로는 모노 이미지 데이 터를 입체 이미지 데이터로 변환하는 3차원 입체 영상 처리 장치에 관한 것이다.

사람이 입체감을 느끼는 요인은 생리적인 요인과 경험적인 요인이 있는데, 3차원 영상표시 기술에서는 일반적으로 근거리에서 입체감을 인식하는 가장 큰 요인인 양안 시차(binocular parallax)를 이용하여 물체의 입체감을 느끼게 된다.

입체영상을 보는 방식으로서는 크게 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.

안경을 착용하는 방식은 양안에 각각 청색과 적색의 색안경을 쓰는 애너그리프(anaglyph) 방식과, 각각 편광 방향이 다른 편광안경을 쓰는 편광방식, 그리고 시간 분할된 화면을 주기적으로 반복시키고 이 주기에 동기시킨 전자셔터가 설치된 안경을 쓰는 시분할방식이 있다. 그러나, 안경을 착용하는 방식은 안경을 써야 하는 불편함이 있으며, 안경을 쓴 상태로 화상 이외의 다른 사물을 바라보는데 지장을 받는 등의 문제점이 있다. 따라서, 근래에는 안경을 착용하지 않는 방식에 대한 연구가 활발히 진행되고 있다.

안경을 착용하지 않는 무안경 방식으로서 알려진 대표적인 것으로는 원통형의 렌즈 어레이를 수직으로 배열한 렌티큘러(lenticular) 렌즈판을 영상패널 전방에 설치하는 렌티큘러 방식과, 영상 패널 상부에 주기적인 슬릿을 갖는 배리어 층을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다.

패러랙스 배리어 방식에 대해 도 1을 참조하여 보다 상세하게 설명하기로 한다. 패러랙스 배리어 방식은 도 1에 도시된 바와 같이, 격자패턴(11-1)과 투명슬 릿(11-2)이 반복 배열되어 형성된 배리어 패널(11)이 영상패널(13)의 일측 전면에 배치된다. 영상패널(13)은 우안에 의해 보여지는 우안 대응 픽셀(13-1)과 좌안에 의해 보여지는 좌안 대응 픽셀(13-2)로 구성된다.

관찰자(10)는 배리어 패널(11)의 투명슬릿(11-2)를 통해 영상패널(13)로 디스플레이되는 화상을 보게 되는데, 관찰자(10)의 좌안과 우안은 동일한 투명슬릿(11-2)를 통하더라도 각각 영상패널(13)의 다른 영역을 보게 된다. 패러랙스 배리어 방식은 이러한 원리를 이용한 것으로, 좌안과 우안이 투명슬릿(11-2)을 통해서 각각 인접 영역의 픽셀에 디스플레이되는 영상을 보게 되어 입체감을 느끼도록 하는 것이다.

현재 소니사의 플레이스테이션, 마이크로 소프트사의 Xbox, 니텐도에서 많은 콘솔게임이 다수의 폴리곤 연산을 수행하는 그래픽 엑설레이터를 이용하여 3D 이미지 게임을 제공하고 있다. 최근에는 게이머들의 수준이 향상되어 3D 이미지에 만족하지 않고 이를 입체로 즐길 수 있는 3D 입체 이미지 게임을 요구하고 있는 실정이다.

현실적으로 대부분의 3D 게임은 특정 3D 가속기의 처리 능력을 최대한 이용하고 있는데 좌우 영상을 각각 생성하기 위해서는 2배의 부하가 3D 가속기에 인가되므로 3D 처리가 많은 장면에서는 화면의 이동이 현저하게 느려지거나 게임 프로그램이 이상 동작할 가능성이 있다. 더욱이 3D 가속기의 능력이 좌우 영상을 각각 실시간으로 생성할 수 있다 해도 편광 안경 방식에서는 좌우 영상이 동시에 출력되어야 하는데 이 경우 비디오 출력 주파수가 2배가 되지 않으면 영상의 초당 프레임 수가 떨어지게 되고, 이로 인하여 화면이 끊어지는 현상이 나타나게 된다. 또한 이미 상용화되고 있는 3D 가속기 칩의 비디오 출력 주파수를 2배로 상향 보정하는 것이 불가능하다. 페이지 플립핑 방식에서도 비디오 출력 주파수를 2배로 하지 않는 한 전체 프레임 속도를 좌우 영상이 나누어 할당할 경우 영상이 초당 프레임 수가 떨어지게 되어 화면이 부자연스러워지는 문제를 가져오게 된다.

특히, 렌티큘러 방식, 패러릭스 방식의 경우는 좌우 영상의 픽셀을 순차적으로 택일하여 화면을 재구성해야 하는데 3D 가속기 내의 CPU를 프로그램으로 제어하여 화면을 재구성하면 속도가 너무 늦어 정상 동작이 불가능하고, CPU의 부하가 폭주하여 오동작을 일으키게 되는 문제점이 있다.

본 발명은 상기와 같은 요구에 부응하고자 하는 것으로서 실시간으로 3D 입체 이미지 데이터 처리가 원활한 3차원 입체 영상 처리 장치를 제공하는 것을 목적으로 한다.

본 발명의 상기 목적은 좌안용 벡터 이미지 데이터 및 우안용 벡터 이미지 데이터가 저장되는 하드디스크 또는 보조 저장 장치를 구비하고, 상기 벡터 이미지 데이터를 좌안용 모노 이미지 데이터 및 우안용 모노 이미지 데이터로 변환한 후 입체감을 주는 영상을 생성하는 입체 영상 처리 장치로서, 각 구성부의 제어를 담당하는 호스트 CPU와, 상기 호스트 CPU가 처리하는 일련의 제어 로직과 운영에 필 요한 정보가 저장되는 메인 메모리와, 좌안 메모리를 구비하고, 상기 좌안 메모리에 저장되는 좌안용 벡터 이미지 데이터를 좌안용 모노 데이터로 변환하는 좌안 3D 가속기와, 우안 메모리를 구비하고, 상기 우안 메모리에 저장되는 우안용 벡터 이미지 데이터로 변환하는 우안 3D 가속기와, 상기 하드디스크 또는 보조 저장 장치에 저장된 벡터 이미지 데이터를 상기 좌안 메모리 및 우안 메모리에 각각 독립적으로 전송할 것인지 또는 동시에 전송할 것인지를 선택하는 선택기를 포함하는 것을 특징으로 하는 입체 영상 처리 장치에 의해서 달성 가능하다.

이하에서는, 첨부한 도면을 참조하여 본 발명의 장점, 특징 및 바람직한 실시례에 대해 상세히 설명하도록 한다.

도 2는 편광방식에 적합한 본 발명에 따른 일 실시예의 입체 이미지 장치의 블록도이다. 입체 이미지 장치는 호스트 CPU, 메인 메모리, 칩선택기, 좌안 3D 가속기, 우안 3D 가속기, 및 비디오 인코더로 구성된다.

호스트 CPU는 장치의 중앙 연산 처리 장치로서, 각 구성부의 제어를 담당한다. 메인 메모리는 호스트 CPU가 처리하는 일련의 제어 로직과 운영에 필요한 정보가 저장되는 저장부이다. 칩 선택기는 하드 디스크(미도시) 또는 씨디롬(미도시)등의 보조 저장 장치에 저장된 좌안 벡터 이미지 데이터 및 우안 벡터 이미지 데이터를 좌안 3D 가속기의 좌안 메모리 및 우안 3D 가속기의 우안 메모리에 각각 독립적으로 입력되도록 하거나 또는 좌안 메모리 및 우안 메모리에 동시에 입력되도록 선택하는 선택기이다.

3D 가속기는 호스트 CPU의 지시에 따라 벡터 이미지 데이터를 엘씨디, CRT 등의 장치가 인식하는 2차원으로 매핑되는 모노 이미지 데이터로 연산 출력하는 가속기로서, 좌안 3D 가속기는 좌안 메모리에 저장된 좌안 벡터 이미지 데이터를 좌안에 적합한 좌안 모노 이미지 데이터로 변환하는 프로세서이며, 우안 3D 가속기는 우안 메모리에 저장된 우안 벡터 이미지 데이터를 우안에 적합한 우안 모노 이미지 데이터로 변환하는 프로세서이다. 여기서 모노 이미지 데이터라 함은 벡터 이미지 데이터를 2차원으로 매핑하여 표시되는 이미지 데이터를 의미한다. 좌/우 비디오 인코더는 3D 가속기로부터 출력되는 3D 이미지 데이터를 이용하여 영상 신호를 생성한다.

이하, 도 2의 입체 이미지 장치의 동작에 대해서 살펴본다. 우선 CPU의 지시에 의해 씨디롬 또는 하드 디스크에 저장된 좌안 벡터 이미지 데이터 및 우안 벡터 이미지 데이터가 램 메모리를 거쳐 칩 선택기의 선택에 따라 좌안 3D 가속기의 좌안 메모리 또는 우안 3D 가속기의 우안 메모리에 독립적 또는 동시에 입력된다. 좌안 메모리에 입력된 좌안 벡터 이미지 데이터는 호스트 CPU의 지시에 따라 편광 방식에 적합한 좌안 모노 이미지 데이터로 변환되고, 이는 좌 비디오 인코드로 출력된다. 이와 동시에 우안 메모리에 입력된 우안 벡터 이미지 데이터는 호스트 CPU의 지시에 따라 편광 방식에 적합한 우안 모노 이미지 데이터로 변환되고, 이는 우 비디오 인코드로 출력된다. 좌/우 비디오 인코드는 입력되는 좌/우 모노 이미 지 데이터를 각각 좌/우 영상 신호로 출력한다.

도 2의 실시예 장치는 좌우 영상을 각각 분리된 3D 가속기를 통하여 가속시키므로 특정 가속기에 최적화된 3D 게임을 3D 입체 게임으로 변환이 용이하다. 편광안경 방식의 경우, 좌우 영상을 동시에 분리 생성하고, 각각 분리 출력하므로 원래의 초당 프레임 레이트를 유지하게 되어 입체 영상 표시가 가능해지게 된다.

도 3은 페이지 플립핑 방식에 적합한 본 발명에 따른 일 실시예의 입체 이미지 장치의 블록도이다. 입체 이미지 장치는 호스트 CPU, 메인 메모리, 어드레스 디코더, 좌안 3D 가속기, 우안 3D 가속기, 믹서부, 믹서메모리, 및 비디오 인코더로 구성된다.

호스트 CPU는 장치의 중앙 연산 처리 장치로서, 각 구성부의 제어를 담당한다. 메인 메모리에는 호스트 CPU가 처리하는 일련의 제어 로직과 운영에 필요한 정보가 저장되는 저장부이다. 칩 선택기는 하드 디스크(미도시) 또는 씨디롬(미도시)등의 보조 저장 장치에 저장된 좌안 벡터 이미지 데이터 및 우안 벡터 이미지 데이터를 좌안 3D 가속기의 좌안 메모리 및 우안 3D 가속기의 우안 메모리에 독립적으로 입력되도록 하거나 또는 좌안 메모리 및 우안 메모리에 동시에 입력되도록 선택하는 선택기이다.

3D 가속기는 호스트 CPU의 지시에 따라 페이지 플립핑 입체 방식에 적합한 입체 영상 데이터를 연산 출력하는 가속기로서, 좌안 3D 가속기는 좌안 메모리에 저장된 좌안 벡터 이미지 데이터를 좌안에 적합한 좌안 모노 이미지 데이터로 변환 하는 프로세서이며, 우안 3D 가속기는 우안 메모리에 저장된 우안 벡터 이미지 데이터를 우안에 적합한 우안 모노 이미지 데이터로 변환하는 프로세서이다.

믹서부는 좌안 3D 가속기 및 우안 3D 가속기로부터 출력되는 모노 이미지 데이터를 합성하는 구성부이다. 믹서 메모리는 믹서부의 지시에 따라 좌/우안 모노 이미지 데이터를 저장한다. 비디오 인코더는 믹서부로부터 출력되는 모노 이미지 데이터를 이용하여 영상 신호를 생성한다.

페이지 플립핑 방식의 경우 좌우 영상을 분리하여 생성하고, 그 데이터를 FPGA 또는 ASIC으로 구성되는 믹서부로 보내어 믹서부의 내부 또는 외부에 연결된 믹서 메모리에 각각 저장하고, 두 영상 데이터를 프레임 단위로 번갈아 가며 양자 택일하여 출력하면 부드러운 영상을 볼 수가 있다. 이때 믹서 메모리를 사용하는 이유는 두 개의 가속기의 출력 동기가 서로 다를 수 있기 때문에 각각의 동기로 저장하고, 저장된 데이터를 동시에 출력하기 위함이다. 이때 비디오 출력방식은 비월주사 방식(인터레이스)과 순차주사 방식(프로그레시브)으로 하여 모든 종류의 디스플레이 장치에 사용이 가능하다. 믹서부의 출력 속도는 처음 설계 시부터 고속동작을 고려한다.

렌티큘러 방식, 패러릭스 방식의 경우 믹서부가 각각 별도로 생성된 좌우 영상 데이터를 분리하여 입력받고, 입력된 데이터를 각각 믹서 메모리에 저장하여 동기가 다른 문제를 해결하고, 출력 시 좌우 영상을 픽셀단위로 번갈아 가며 양자택일하여 출력하면 각각 렌티큘러 방식 및 패러릭스 방식에 적합하게 디스플레이될 수 있다.

이하, 도 3의 3D 입체 이미지 장치의 동작에 대해서 살펴본다. 우선 CPU의 지시에 의해 씨디롬 또는 하드 디스크에 저장된 좌안 벡터 이미지 데이터 및 우안 벡터 이미지 데이터가 램 메모리를 거쳐 칩 선택기의 선택에 따라 좌안 3D 가속기의 좌안 메모리 또는 우안 3D 가속기의 우안 메모리에 독립적 또는 동시에 입력된다. 좌안 메모리에 입력된 좌안 벡터 이미지 데이터는 좌안 모노 이미지 데이터로 변환된다. 이와 동시에 우안 메모리에 입력된 우안 벡터 이미지 데이터는 우안 모노 이미지 데이터로 변환된다. 좌안 및 우안 모노 이미지 데이터는 믹서부에 의해 각각 믹서 메모리의 해당 어드레스 영역에 저장된 후, 동기에 맞추어 비디오 인코더로 출력된다. 비디오 인코더는 출력되는 모노 이미지 데이터를 변환하여 영상을 출력한다.

도 4는 도 3의 일 실시예의 믹서부의 블록 구성도이다. SEL 1은 선택기로서 제어부의 신호에 따라 좌안 3D 가속기로부터 입력되는 좌안 모노 이미지 데이터를 저장할 좌 영상저장용 어드레스 생성기, 우안 3D 가속기로부터 입력되는 우안 모노 이미지 데이터를 저장할 우 영상저장용 어드레스 생성기, 출력에 적합한 출력 영상용 어드레스 생성기 중에서 어느 하나를 선택한다. SEL 2 선택기는 제어부의 신호에 따라 믹서부 메모리에 입력되는 3D 이미지 데이터의 소스를 선택하거나 또는 출력 방향을 선택하는 선택기이다.

좌안 3D 가속기로부터 좌안 모노 이미지 데이터가 입력되면 SEL 1은 좌 영상저장용 어드레스 생성기와 연결되고, SEL 2는 좌 영상 데이터 입력 버퍼와 연결되 어 믹서부의 메모리의 해당 어드레스에 저장된다. 우안 3D 가속기로부터 우안 모노 이미지 데이터가 입력되면 SEL 1은 우 영상저장용 어드레스 생성기와 연결되고, SEL 2는 우 영상 데이터 입력 버퍼와 연결되어 믹서부의 메모리의 해당 어드레스에 저장된다. 또한 출력 시에는 SEL 1은 출력 영상용 어드레스 생성기와 연결되고, SEL 2는 출력 영상용 출력 버퍼에 연결되어, 믹서부 메모리에 저장된 모노 이미지 데이터가 출력되도록 한다.

도 5는 도 4의 일 실시예의 출력 영상용 어드레스 생성부의 블록 구성도이다. 출력 영상용 어드레스 생성부는 믹서부에서 영상 출력시, 좌측 영상이 저장된 어드레스와 우측 영상이 저장된 어드레스를 번갈아 가며 선택하여 픽셀단위로 좌측 픽셀, 우측 픽셀을 출력하게 된다.

도 6은 도 3의 3D 입체 이미지 장치에 좌우 영상을 촬영하기 위한 좌안 카메라 및 우안 카메라가 구비된 3D 입체 이미지 장치를 도시한 것이다. 도 6에서는 좌안 카메라와 우안 카메라가 장치의 윗 부분과 아랫 부분에 각각 이격되어 설치되는 것으로 도시하였으나 실질적으로는 입체 영상이 촬영될 수 있는 거리 및 각도로 설치된다. 즉 동일한 피사체를 촬영할 때, 좌안 카메라에는 피사체를 좌안에서 좌안 모노 이미지 데이터가 출력되고, 우안 카메라에는 피사체를 우안에서 본 우안 모노 이미지 데이터가 출력된다. 카메라로 입력되는 영상을 저장하지 않고 모니터(도면에는 미도시)로만 볼 경우(통상 프리뷰 기능이라 함)에는 좌/우 카메라로부 터 출력되는 좌/우 모노 이미지 데이터는 3D 가속기에서 별다른 처리없이 통과된 후,믹서부 및 비디오 인코더를 거쳐 모니터로 출력된다. 카메라로 입력되는 영상을 저장할 경우에는 상기의 프리뷰 기능을 함과 동시에 좌안 및 우안 카메라의 출력 영상 신호는 호스트 CPU의 지시에 따라 메인 메모리를 거쳐 하드 디스크나 기타의 보조 저장 장치(CD ROM 포함)에 저장된다. 저장 시 좌안 모노 이미지 데이터와 우안 모노 이미지 데이터가 하나의 파일로 저장되도록 한다.

3D 영상 게임의 경우는 벡터 데이터를 사용한다는 점을 제외하면 전술한 바와 동일한 방법으로 처리된다. 즉 좌우 3D 가속기에는 동일한 물체에 대한 그래픽 벡터가 동시에 전달되지만 이를 래스터 데이터로 변환 시 카메라 촬영 시처럼 왼쪽 눈에서 보는 각도에서 변환하고, 오른쪽 눈에서 보는 각도에서 각각 분리하여 변환하면 좌우 카메라에서 각각 촬영한 것과 동일한 효과를 얻는다.

도 7은 렌티큘러 방식 및 패러랙스 배리어 방식에 적합한 화면의 일 실시예도이다. 도 7에 도시한 바와 같이 라인을 번갈아 가면서 좌측 화면용 영상과 우측 화면용 영상이 디스플레이 되게 된다.

본 발명의 3D 입체 이미지 장치에 의해서 실시간으로 3D 이미지 데이터를 실시간으로 3D 입체 이미지 데이터로 변환할 수 있게 되었다.

본 발명의 바람직한 실시례가 특정 용어들을 사용하여 기술되어 왔지만, 그 러한 기술은 오로지 설명을 하기 위한 것이며, 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것으로 이해되어져야 한다.

Claims (6)

1. 좌안용 벡터 이미지 데이터 및 우안용 벡터 이미지 데이터가 저장되는 하드디스크 또는 보조 저장 장치를 구비하고, 상기 벡터 이미지 데이터를 좌안용 모노 이미지 데이터 및 우안용 모노 이미지 데이터로 변환한 후 입체감을 주는 영상을 생성하는 입체 영상 처리 장치로서,

   각 구성부의 제어를 담당하는 호스트 CPU;

   상기 호스트 CPU가 처리하는 일련의 제어 로직과 운영에 필요한 정보가 저장되는 메인 메모리;

   좌안 메모리를 구비하고, 상기 좌안 메모리에 저장되는 좌안용 벡터 이미지 데이터를 좌안용 모노 데이터로 변환하는 좌안 3D 가속기;

   우안 메모리를 구비하고, 상기 우안 메모리에 저장되는 우안용 벡터 이미지 데이터로 변환하는 우안 3D 가속기;

   상기 하드디스크 또는 보조 저장 장치에 저장된 벡터 이미지 데이터를 상기 좌안 메모리 및 우안 메모리에 각각 독립적으로 전송할 것인지 또는 동시에 전송할 것인지를 선택하는 선택기를 포함하는 것을 특징으로 하는 입체 영상 처리 장치.
2. 제 1항에 있어서, 상기 입체 영상 처리 장치는

   상기 좌안 3D 가속기로부터 출력되는 좌안 모노 이미지 데이터를 이용하여 영상 신호를 생성하는 좌 비디오 인코더; 및

   상기 우안 3D 가속기로부터 출력되는 우안 모노 이미지 데이터를 이용하여 영상 신호를 생성하는 우 비디오 인코더를 더 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 장치.
3. 제 1항에 있어서, 상기 3차원 입체 영상 처리 장치는

   상기 좌안 3D 가속기로부터 출력되는 좌안 모노 이미지 데이터 및 상기 우안 3D 가속기로부터 출력되는 우안 모노 이미지 데이터를 합성하는 믹서부를 더 구비하는 것을 특징으로 하는 3차원 입체 영상 처리 장치.
4. 제 3항에 있어서,

   상기 믹서부에는 좌안 모노 이미지 데이터 및 우안 모노 이미지 데이터를 저장하는 믹서 메모리를 더 구비하는 것을 특징으로 하는 입체 영상 처리 장치.
5. 제 1항 내지 3항 중 어느 한 항에 있어서, 상기 입체 영상 처리 장치에는 적어도 두 대의 카메라가 더 구비되며, 상기 카메라는 서로 다른 방향에서 바라보는 영상을 촬영하는 것을 특징으로 하는 입체 영상 처리 장치.
6. 제 3항에 있어서,

   상기 믹서 메모리에는 좌안 모노 이미지 데이터 및 우안 모노 이미지 데이터가 서로 다른 어드레스에 저장되는 것을 특징으로 하는 입체 영상 처리 장치.

Images