KR101582131B1 - 3차원 실사 영상 구현 시스템 - Google Patents

Abstract

본 발명은, 시청자 위치 검출 센서와, 정보 송수신부와, 3D 영상 표시부로 구성된 3D 표시장치와; 촬영하여 좌안용 영상과 우안용 영상 정보를 분리하여 저장할 수 있는 3D 카메라와, 상기 3D 카메라와 그 일끝단이 결속되며, 다수의 관절을 가지며 상기 3D 카메라를 통해 전송되는 위치 정보를 반영하여 상기 3D 카메라를 전후좌우 및 상하로 움직이도록 하는 원격조절 관절부와, 상기 원격조절 관절부의 타끝단을 고정 지지하는 지지대로 구성된 위치 변화 기능을 갖춘 3D 촬영 수단과; 상기 3D 촬영수단 및 상기 3D 표시장치와 실시간 통신이 가능하며, 상기 3D 촬영수단에 의해 촬영된 3D 영상을 상기 3D 표시장치에 전송하는 역할을 하는 정보 처리수단을 포함하며, 상기 3D 표시장치는 상기 3D 촬영 수단을 통해 촬영된 3D 영상을 실시간으로 표시하는 것을 특징으로 하는 3D 실사 영상 구현 시스템을 제공한다.

3D, 실사, 유저트렉킹, 시스템, 현실감

Description

3차원 실사 영상 구현 시스템{3D real image displayable system}

본 발명은 3D 영상 구현 시스템에 관한 것으로, 특히 시청자 위치 검출 센서와 위치 변화 기능을 갖는 3D 촬영수단을 구비하여 시청자의 시청 위치를 실시간 반영한 3D 영상 구현이 가능한 3D 실사 영상 구현 시스템에 관한 것이다.

최근에는 입체성을 가져 더욱 실감있는 영상을 표현하기 위한 즉, 3D 구현이 가능한 표시장치에 대한 사용자들의 요구가 증대됨으로써 이에 부응하여 입체 표현이 가능한 표시장치가 개발되고 있다.

일반적으로 3D를 표현하는 입체화상은 두 눈을 통한 스테레오 시각의 원리에 의하여 이루어지게 되는데, 두 눈의 시차 즉, 두 눈이 약 65㎜정도 떨어져서 존재하기 때문에 나타나게 되는 양안시차(binocular disparity)를 이용하여 입체감 있는 영상을 보여줄 수 있는 표시장치가 제안되었다.

조금 더 상세히 3D 구현에 대해 설명하면, 표시장치를 바라보는 좌우의 눈은 각각 서로 다른 2D 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌 는 이를 정확히 서로 융합하여 본래 3D 영상의 깊이감과 실제감을 재생하게 되는 것이며, 이 같은 현상을 통상 스테레오그라피(stereography)라 한다.

일반적인 2D의 화면 표시를 갖는 장치에서 3D 입체화상을 표시하기 위해 제시된 기술로는 특수안경에 의한 입체화상 디스플레이, 무안경식 입체화상 디스플레이 및 홀로그래픽(holographic) 디스플레이 방식이 있다.

이중 특수안경에 의한 입체화상 디스플레이 방식은 편광의 진동방향 또는 회전방향을 이용한 편광안경방식과, 좌우화상을 서로 전환시켜가면서 교대로 제시하는 시분할 안경방식 및 좌/우안에 서로 다른 밝기의 빛을 전달하는 방식인 농도차 방식으로 나눌 수 있다.

또한, 무안경식 입체화상 디스플레이 방식은 좌/우안에 해당하는 각각의 화상 앞에 세로격자 모양의 개구(aperture)를 통하여 화상을 분리하여 관찰할 수 있게 하는 패러랙스 배리어(parallax barrier) 방식과, 반원통형 렌즈(cylindrical lens)를 스트라이프 배치한 렌티큘러 판(lenticular plate)을 이용하는 렌티큘러(lenticular) 방식 및 파리 눈 모양의 렌즈판을 이용하는 인테그럴 포토그라피(integral photography) 방식으로 나눌 수 있다.

전술한 바와 같이, 많은 타입의 3D 입체영상을 표시할 수 있는 다양한 표시장치는 많이 개발되고 있다.

또한, 이러한 추세에 맞추어 상기 3D 입체영상을 표시하는 동시에 사용자의 위치에 따라 그 화상의 위치가 변하는 유저 트렉킹(user tracking) 기술이 개발되어 이를 반영한 3D 입체 영상을 시청할 수 있는 시스템이 제안되고 있다.

이러한 유저 크렉킹 기술은 일례로 3D 영상 표시장치에 위치 검출 센서가 구비되고, 상기 3D 영상 표시장치를 바라보는 사용자의 3D 시청을 위한 특수안경에 인식을 하기 위한 상대 센서가 구비되어 있어서, 상기 위치 검출 센서가 상기 상대 센서의 현재 위치를 파악하여 사용자가 현재 위치에서 상기 표시장치를 바라보는 영상을 실시간으로 렌더링하여 출력하는 기술이다.

도 1a 및 1b는 종래의 유저 트렉킹(user tracking) 기술이 사용된 3D 표시장치를 사용자가 왼쪽과 오른쪽에서 각각 바라보았을 때 표시되는 화상을 도시한 도면이다.

도시한 바와같이, 사용자가 왼쪽에서 화상을 바라봤을 경우와 오른쪽에서 화상을 바라 봤을 때 영상의 차이가 있음을 알 수 있다.

도 2는 종래의 유저 트렉킹(user tracking) 기술이 적용된 3D 표시장치의 사용자 위치별 차이를 갖는 3D 영상이 출력되기까지의 순서도이다.

우선, 첫 번째 단계(S1)는 3D 표시장치의 위치 검출 센서가 동작하여 현재 시청자의 위치를 파악하는 단계이다.

두 번째 단계(S2)는 사용자 위치에 맞는 3D 그래픽 영상 출력을 위해 배경 화면 등을 실시간 렌더링을 통해 구현시키는 단계이다.

세 번째 단계(S3)는 실시간 렌더링을 통해 구현된 3D 입체 영상을 표시장치에 내부적으로 좌안과 우안 영상으로 신호를 분리하여 출력시키는 단계이다.

이러한 과정을 통해 사용자는 현재 자기가 바라보는 방향에 따른 3D 영상을 시청할 수 있다.

하지만, 전술한 바와같은 유저 트렉킹(user tracking) 기술이 적용된 3D 영상 표시장치를 이용한 3D 영상의 경우, 시청자 감지를 위한 위치 검출 센서에 의한 시청자의 위치를 파악하고 이를 반영하여 마치 애니매이션을 구현하듯 3D 렌더링을 통해 출력하는 형식으로 진행되기 때문에 현실감이 떨어지는 문제가 발생하고 있다.

즉, 사용자 위치에 맞는 3D 영상을 GPU(Graphic Process Unit)에 의해 만들어진 3D 그래픽 영상 밖에 실시간으로 출력할 수 밖에 없으며, 이로 인해 인위적으로 계산된 그래픽 이미지가 아닌 실사 영상은 구현될 수 없으므로 현실감이 매우 떨어지고 있는 실정이다.

시청자의 현재 위치에 맞는 실사 영상을 출력하기 위해서는 시청자가 있을 수 있는 모든 위치에 대한 영상 자료를 미리 표시장치가 확보하고 있어야만 한다. 하지만 현실적으로 모든 위치에 대한 영상을 미리 촬영할 수 없고, 혹여 촬영을 하더라도 데이터 량이 엄청나게 방대해지기 때문에 그 데이터를 모두 저장하는 것도 힘들다.

일례로 일반적인 3D 구현물의 경우 사물을 정면에서 찍은 데이터 뿐인데, 이 데이터 량을 n이라 했을 때, 유저 트렉킹(user tracking)을 가로 1024, 세로 768 해상도의 정밀도로 하여 그에 맞는 영상을 출력하기 위해서는 무려 1024*768*n 의 데이터 량을 사전에 저장하고 있어야만 하는 것이다.

따라서, 전술한 문제 등에 의해 유저 트렉킹(user tracking) 3D 입체 영상 기술은 실사 영상이 아닌, 실시간으로 영상 생성이 가능한 3D 그래픽 이미지로만 구현되고 있는 실정이며, 이 경우 현실감이 떨어지는 문제가 발생하고 있는 실정이다.

이에 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 유저 트렉킹(user tracking) 기술이 적용되어 시청자의 위치별 서로 다른 3D 화상을 구현하면서도 그래픽 렌더링 처리된 화상이 아닌 실사 화상을 출력하여 현실감을 향상시킬 수 있는 3D 실사 입체 영상 구현 시스템을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3D 실사 영상 구현 시스템은, 시청자 위치 검출 센서와, 정보 송수신부와, 3D 영상 표시부로 구성된 3D 표시장치와; 촬영하여 좌안용 영상과 우안용 영상 정보를 분리하여 저장할 수 있는 3D 카메라와, 상기 3D 카메라와 그 일끝단이 결속되며, 다수의 관절을 가지며 상기 3D 카메라를 통해 전송되는 시청자의 위치 정보를 반영하여 상기 3D 카메라를 전후좌우 및 상하로 움직이도록 하는 원격조절 관절부와, 상기 원격조절 관절부의 타끝단을 고정 지지하는 지지대로 구성된 위치 변화 기능을 갖춘 3D 촬영 수단과; 상기 3D 촬영수단 및 상기 3D 표시장치와 실시간 통신이 가능하며, 상기 3D 촬영수단에 의해 촬영된 3D 영상을 상기 3D 표시장치에 전송하는 역할을 하는 정보 처리수단을 포함하며, 상기 3D 표시장치는 상기 3D 촬영 수단을 통해 촬영된 3D 영상을 실시간으로 표시하는 것을 특징으로 한다.

이때, 상기 정보 처리수단은 상기 3D 촬영수단을 통해 촬영된 좌안용 및 우안용 영상 정보를 각각 압축 툴을 이용하여 인코팅하며, 상기 인코딩된 3D 화상정보를 상기 3D 표시장치에 전송하는 것이 특징이며, 상기 압축 툴은 MPEG 4 인 것이 바람직하며, 상기 3D 표시장치는 상기 정보 처리수단으로부터 전송받은 상기 3D 화상 정보를 디코딩하는 디코더를 포함하며, 상기 디코더에 의해 디코딩된 3D 화상을 표시하는 것이 특징이다.

상기 실시간 통신은 3D 표시장치에서 상기 정보 처리수단으로 시청자의 위치정보를 전송하는 것과, 상기 정보 처리수단으로부터 상기 3D 표시장치에 3D 화상 정보를 전송하는 것이며, 이러한 실시간 통신은 TCP/IP를 통해 이루어지는 것이 특징이며, 상기 실시간 통신은 하나의 TCP/IP 채널을 통해 이루어지거나, 또는 상기 실시간 통신은 2개의 독립적인 TCP/IP 채널을 통해 이루어지며 상기 3D 표시장치에서 상기 정보 처리수단으로 시청자의 위치정보 전송은 제 1 TCP/IP 채널을 통해서 이루어지며 상기 정보 처리수단으로부터 상기 3D 표시장치에 3D 화상 정보 전송은 제 2 TCP/IP 채널을 통해서 이루어지는 것이 특징이다.

또한, 상기 시청자 위치 검출 센서는 적외선 감지 센서 또는 시청자의 얼굴을 자동적으로 인식하는 카메라인 것이 특징이다.

상기 3D 표시 표시부는, 좌안용 3D 화상을 표시하는 좌안용 화소영역과 우 안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 패럴렉스 배리어로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 패널렉스 배리어 방식으로 이루어지거나, 좌안용 3D 화상을 표시하는 좌안용 화소영역과 우안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 렌티큘라 렌즈로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 렌티큘라 방식으로 이루어지거나, 좌안용 화상정보와 우안용 화상정보를 교대하여 표시하는 표시소자와, 제 1 편광필름와 액정셀과 제 2 편광필름을 구비한 좌안용 및 우안용 렌즈를 갖는 LC셔터 방식의 안경을 세트로 구비하여, 상기 LC셔터 방식의 안경의 우안 및 좌안 렌즈를 상기 표시소자와 공조하도록 하여 좌안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 좌안 렌즈만 투과하고, 우안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 우안 렌즈만 투과하도록 하여 3D 입체 영상을 표시하는 3D 화상 표시부인 것이 특징이다.

본 발명에 따른 3D 실사 입체 영상 구현 시스템은 3D 촬영 수단과 3D 표시장치간 실시간 통신을 통해 현재 시청자가 3D 표시장치를 바라보는 위치를 파악하고 이를 실시간으로 반영하여 3D 촬영 수단이 시청자가 영상을 바라보는 위치에서의 촬영을 실시하고 이를 실시간으로 시청자가 시청할 수 있도록 함으로써 시청자의 시청 위치를 반영하면서도 3D 그래픽 처리된 화상이 아니라 실사 촬영된 3D 입체 화상을 시청자가 시청할 수 있으므로 현실감을 향상시키는 효과가 있다.

현재 시청자의 위치를 파악하여 이에 맞는 화상만을 촬영하여 전송함으로써 전송되는 화상 데이터 량은 일방적인 유저 트렉킹(user tracking) 기술이 적용되지 않은 3D 표시장치에서의 화상 데이터 량과 동일하므로 유저 트렉킹(user tracking) 기술이 적용되었다 하더라도 데이터 량이 증가되지 않는 장점이 있다.

도 3은 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템을 간략시 도시한 도면이다.

도시한 바와 같이, 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템(100)은 크게 3부분으로 구성되고 있다. 3D 표시장치(105)와, 실시간 실사 3D 촬영을 위한 3D 영상 촬영수단(140)과, 상기 3D 영상 촬영수단(140)을 통해 실시간 촬영된 3D 영상을 인코딩하고 인코딩된 3D 영상을 상기 3D 표시장치(105)로 송신하며 상기 3D 표시장치(105)로부터 시청자의 위치 정보를 수신하는 정보 처리 수단(150)으로 구성되고 있다. 이때 상기 3D 표시장치(105)와 상기 정보 처리 수단(150)은 인터넷 망과 연결되고 있는 것이 특징이다.

조금 더 구체적으로 본 발명에 따른 3D 실사 입체 영상 구현 시스템(100)을 구성하는 각 수단의 구조에 대해 설명한다.

우선, 3D 표시장치는 3D 영상을 표시하기 위한 3D 화상 표시부(115)와 시청자의 위치를 감지하는 센서부(110)와, 내부적으로 상기 센서부(110)에서 감지한 시청자의 위치 정보 예를들면 시청자의 x,y,z축 좌표를 송출하고, 상기 정보 처리 수 단(150)으로부터 촬영된 3D 영상 정보를 수신 받을 수 있는 데이터 송수신 장치(미도시), 및 압축 인코팅된 3D 영상 정보를 디코딩하는 디코더(미도시)로 구성되고 있다. 이때 상기 센서부(110)는 일례로 적외선 감지장치 또는 사람의 얼굴을 자동적으로 인식할 수 있는 카메라로 구성될 수 있다. 적외선 감지장치의 경우 주로 안경방식으로 3D 영상을 시청할 경우 상기 안경에 적외선 조사 장치가 구비됨으로써 상기 안경으로부터 나오는 적외선을 감지하여 상기 안경을 착용한 시청자의 위치 정보를 얻게 된다. 또한 상기 카메라의 경우 카메라가 시청자의 얼굴을 자동적으로 감지함으로써 시청자의 위치정보를 얻게 된다.

한편, 이러한 구성을 갖는 3D 표시장치(105)에 있어 상기 3D 화상 표시부(115)는 여러 형태로 구현될 수 있다. 일례로, 좌안용 3D 화상을 표시하는 좌안용 화소영역과 우안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 패럴렉스 배리어로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 패널렉스 배리어 방식으로 이루어질 수도 있고, 좌안용 3D 화상을 표시하는 좌안용 화소영역과 우안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 렌티큘라 렌즈로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 렌티큘라 방식으로 이루어질 수도 있다. 나아가, 좌안용 화상정보와 우안용 화상정보를 교대하여 표시하는 표시소자와, 제 1 편광필름과 액정셀과 제 2 편광필름을 구비한 좌안용 및 우안용 렌즈를 갖는 LC셔터 방식의 안경을 세트로 구비하여 상기 LC셔터 방식의 안경에 있어 우안 및 좌안 렌즈를 상기 표시소자와 공조하도록 하여 좌안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 좌안 렌즈만 투과하고, 우안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 우안 렌즈만 투과하도록 하여 3D 입체 영상을 표시하는 3D 화상 표시부가 될 수도 있을 것이다.

한편, 상기 3D 영상 촬영수단(140)은 상기 3D 영상 촬영을 위한 듀얼 렌즈를 구비한 3D 영상 촬영용 카메라 또는 3D 영상 촬영용 비디오 카메라(이후 설명의 편의를 위한 3D 카메라(125)라 칭함)와, 그 일끝단에 상기 3D 카메라(125)가 결속되며, 상기 결속된 3D 카메라(125)가 원격조정에 의해 전/후/좌/우 및 상/하로 자유롭게 움직이도록 하기 위한 다수의 관절을 가진 원격조정 관절부(130)와, 상기 원격조절 관절부(130)의 타끝단이 움직이지 않고 고정되는 지지부(135)로 이루어지고 있다.

또한, 상기 정보 처리수단(150)은 그 내부적으로 정보 송신부(미도시) 및 정보 수신부(미도시)와 인코터(미도시)로 구성되고 있다. 이때 상기 정보 처리수단(150)은 상기 3D 카메라(125)와는 유선 또는 무선(도면에서는 무선 연결됨을 보임)으로 연결되고 있으며, 상기 3D 표시장치(105)와는 인터넷 망을 통해 연결되고 있다.

따라서, 상기 정보 처리수단(150)은 상기 3D 카메라(125)로 촬영한 실사 3D 영상 정보를 상기 정보 수신부(미도시)를 통해 수신하며, 이렇게 수신된 실사 3D 영상 정보를 상기 인코더를 통해 인코팅 한 후, 상기 3D 표시장치(105)로 인코딩된 실사 3D 영상 정보를 상기 정보 송신부(미도시)를 통해 송출하는 역할을 한다. 동시에 상기 정보 처리수단(150)은 상기 3D 표시장치(105)로부터 송출된 시청자 위치 정보를 수신하여 상기 3D 카메라(125)로 상기 시청자의 위치 정보를 송출하는 역할을 한다.

한편, 상기 정보 처리수단(150)으로부터 송출된 시청자의 위치 정보는 상기 3D 카메라(125)로 전달되며, 상기 3D 카메라(125)와 결속된 원격조절 관절부(130)는 상기 3D 카메라(125)로 전송된 시청자의 위치 정보를 반영하여 적절히 전/후/좌/우 및 상/하로 움직여 현재 시청자가 바라보는 각도에서 촬영할 수 있도록 상기 3D 카메라(125)를 위치시키는 역할을 한다.

한편, 이러한 구성을 갖는 3D 실사 영상 구현 시스템(100)은 주로 원격지의 실사 3D 영상을 3D 표시장치(105)를 통해 시청하는 것에 포커스를 맞춘 것으로 시청자의 위치 정보 데이터와 실사 촬영된 3D 영상을 실시간으로 전송시키는 것이 주요한 관점이 된다.

따라서, 이후에는 본 발명에 따른 3D 실사 입체 영상 구현 시스템의 통신 방법 및 내부적인 정보 처리를 포함하는 구동에 대해 설명한다.

도 4는 본 발명의 제 1 실시예에 따른 3D 실사 입체 영상 구현 시스템의 통신 및 정보 처리 구동 동작을 나타낸 블럭도이다.

도시한 바와 같이, 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템은 현재 시청자가 위치한 곳에 있는 3D 표시장치와, 원격지에 있는 원격조절 관절부에 의해 그 위치 변경이 가능한 3D 카메라와 정보 처리수단으로 나뉘어지므로 본 발명의 제 1 실시예에 따른 3D 실사 입체 영상 구현 시스템의 통신 및 정보 처리가 이루어지는 곳도 크게 2 블록으로 구성되고 있음을 알 수 있다.

제 1 블록(BL1)은 주로 3D 표시장치에서 발생하는 내부 동작을 나타내며, 제 2 블록(BL2)은 원격지에 있는 3D 카메라와 원격조절 관절부 및 정보 처리수단에서 발생하는 내부 동작을 나타내고 있다.

일단, 제 1 단계(S11)로서, 시청자의 위치 검출 기능을 갖는 3D 표시장치에 있어, 센서부가 동작함으로써 사용자의 위치를 검출한다.

다음, 제 2 단계(S12)로서 상기 3D 표시장치의 센서부가 검출한 시청자의 위치 정보를 상기 3D 표시장치의 내부에 구비된 송수신 장치와 이와 연결되고 있는 인터넷 망을 통해 TCP/IP(Transmission Control Protocol/Internet Protocol)를 이용하여 원격지에 있는 정보 처리수단으로 전송한다.

다음, 제 3 단계(S13)로서 원격지에 위치하는 상기 정보 처리수단은 상기 3D 표시장치로부터 전송된 사용자 위치 정보를 수신한다.

제 4 단계(S14)로서, 상기 정보 처리수단은 상기 사용자 위치 정보를 유선 또는 무선으로 상기 3D 카메라로 전송하며, 전송된 상기 사용자 위치 정보를 반영하여 상기 원격조절 관절부가 동작함으로써 상기 시청자가 3D 표시장치를 바라보는 위치에 맞는 촬영 위치에 상기 3D 카메라를 위치시킨다.

다음, 제 5 단계(S15)로서 상기 시청자의 위치 정보를 반영하는 위치에 위치하게 된 상기 3D 카메라를 통해서 촬영을 실시함으로서 3D 입체 영상을 획득하고, 이렇게 촬영된 화상정보를 상기 정보처리 수단으로 송출시킨다. 이때 상기 3D 카메라를 통해 촬영된 영상 정보는 자동적으로 좌안용 화상과 우안용 화상으로 나뉘어 저장되며, 이렇게 상기 3D 카메라에 저장된 좌완용과 우안용 화상은 각각 상기 정 보처리 수단으로 송출되게 된다.

다음, 제 6 단계(S16)로서 상기 3D 카메라를 통해 촬영된 화상 정보를 송신받은 상기 정보 처리수단은 상기 좌완용과 우안용 3D 입체 영상 자료를 각각 좌안용 영상 자료 및 우안용 영상 좌료로 분리하여 인코딩을 실시한다. 이때 상기 인코딩은 3D 영상 정보는 그 정보량이 사용자 위치 정보 보다는 훨씬 방대하므로 무압축 상태로 TCP/IP를 통해 전송하기에는 무리가 따른다. 따라서 이를 해결하기 위해 전송하는 데이터 량을 줄이기 위해 MPEG4 등의 데이터 압축 툴을 이용하여 상기 3D 영상 정보를 좌안용과 우안용으로 인코딩을 실시하는 것이 바람직하다.

다음, 제 7 단계(S17)로서 상기 정보처리 수단은 상기 각각 좌안용과 우안용으로 압축 인코딩된 영상 자료를 TCP/IP를 통해 상기 3D 표시장치로 전송한다.

다음, 제 8 단계(S18)로서 상기 3D 표시장치는 그 내부에 구성된 송수신 장치를 통해 상기 정보처리 수단으로부터 전송된 좌안용과 우안용으로 압축 인코딩된 영상 자료를 수신 받는다.

다음, 제 9 단계(S19)로서 상기 정보처리 수단으로부터 전송된 좌안용과 우안용으로 압축 인코딩된 영상 자료는 상기 3D 표시장치 내부에 구비된 디코더에 의해 각각 좌안용 및 우안용의 영상 자료로 디코딩 된다.

다음, 제 10 단계(S20)로서 상기 디코딩된 좌아용 및 우안용 영상을 3D 표시장치의 표시부를 통해 출력한다.

한편, 도면에서 상기 TCP/IP 채널 라인은 2개가 형성된 것처럼 보여지고 있지만, 실질적으로는 하나의 TCP/IP 채널 라인만이 형성되며, 이러한 하나의TCP/IP 채널을 통해 상기 3D 표시장치와 상기 정보 처리수단간 쌍방 통신을 실시하게 된다.

본 발명의 제 1 실시예에 따른 3D 실사 영상 구현 시스템은 전술한 제 1 단계(S11) 내지 제 10 단계(S20)가 반복적으로 진행됨으로써 시청자의 3D 표시장치를 바라보는 위치 변화를 실시간으로 반영하여 원격지에서 실사된 3D 영상을 시청하는 것이 가능하도록 것이 특징이다. 이 경우 유저 트렉킹(user tracking) 기술이 실현되면서도 실제 촬영된 3D 영상을 시청자는 보게 되므로 종래의 그래픽 렌더링 처리된 3D 영상을 보는 것보다 훨씬 현실감이 향상된다.

한편, 도 5는 본 발명의 제 2 실시예에 따른 3D 실사 입체 영상 구현 시스템의 통신 및 정보 처리 구동 동작을 나타낸 블록도이다. 본 발명의 제 2 실시예의 특징은 위치 검출 정보의 통신과, 이를 반영하여 촬영한 3D 화상의 통신은 별도의 독립적인 채널을 가지고, 진행되는 것이 특징이다. 이렇게 서로 독립적인 2개의 통신 채널을 통해 사용자의 위치 정보와 3D 화상 정보를 각각 처리함으로서 사용자는 연속적으로 딜레이 없는 위치별 실사의 3D 입체 화상을 볼 수 있게 된다.

도시한 바와같이, 제 1 채널(Ch1) 통신망과 연결된 구간에 있어서는, 총 4개의 단계만이 진행된다.

즉, 제 1 단계(S21)로서 3D 표시장치에 구비된 센서부가 동작함으로써 시청자의 위치를 검출하고, 다음, 제 2 단계(S22)로서 상기 3D 표시장치의 센서부가 검출한 시청자의 위치 정보를 상기 3D 표시장치의 내부에 구비된 송수신 장치와 이와 연결되고 있는 인터넷 망을 통해 TCP/IP(Transmission Control Protocol/Internet Protocol)를 이용하여 원격지에 있는 정보 처리수단으로 전송한다.

다음 제 3 단계(S23)로서 원격지에 위치하는 상기 정보 처리수단은 상기 3D 표시장치로부터 전송된 사용자 위치 정보를 수신한 후, 제 4 단계(S24)로서 상기 정보 처리수단은 상기 사용자 위치 정보를 유선 또는 무선으로 상기 3D 카메라로 전송하며, 전송된 상기 사용자 위치 정보를 반영하여 상기 원격조절 관절부가 동작함으로써 상기 시청자가 3D 표시장치를 바라보는 위치에 맞는 촬영 위치에 상기 3D 카메라를 위치시킨다.

상기 제 1 채널(Ch1) 통신망에 구현된 구간에서는 전술한 제 1 내지 제 4 단계에 언급된 일련의 단계만을 반복적으로 진행하는 것이 특징이다.

한편, 제 2 채널(Ch2) 통신망이 구현된 구간에서는, 제 1 단계(S31)로서 상기 시청자의 위치 정보를 반영하는 위치에 위치하게 된 상기 3D 카메라를 통해서 촬영을 실시함으로서 좌안용 및 우안용의 3D 입체 영상을 획득하고, 이를 정보처리 수단으로 송출시킨다.

다음, 제 2 단계(S32)로서 상기 정보 처리수단은 상기 좌완용과 우안용 3D 입체 영상 자료를 각각 MPEG 압축 툴을 인용하여 인코딩을 실시 한 후, 제 3 단계(S33)로서 상기 각각 좌안용과 우안용으로 압축 인코딩된 영상 자료를 TCP/IP를 통해 상기 3D 표시장치로 전송한다.

다음, 제 4 단계(S34)로서 상기 3D 표시장치는 그 내부에 구성된 송수신 장치를 통해 상기 정보처리 수단으로부터 전송된 좌안용과 우안용으로 압축 인코딩된 영상 자료를 수신 받고, 제 5 단계(S35)로서 상기 전송받은 좌안용과 우안용으로 압축 인코딩된 영상 자료를 상기 3D 표시장치 내부에 구비된 디코더를 통해 각각 좌안용 및 우안용의 영상 자료로 디코딩한다. 이후, 제 6 단계(S36)로서 상기 디코딩된 좌안용 및 우안용 영상을 3D 표시장치의 표시부를 통해 출력한다.

제 2 채널(Ch2) 통신망이 구현된 구간에서는 채널 1(Ch1)과는 별도로 전술한 제 1 단계 내지 제 6 단계를 반복하는 것이 특징이다.

따라서, 본 발명의 제 2 실시예에 있어서는 2개 채널(Ch1, Ch2)의 통신망을 통해 각각 독립적으로 2개의 프로세스가 진행되게 된다. 즉, 제 1 채널(Ch1) 통신망을 통해서는 사용자의 위치 정보의 전송만이 지속적으로 일방향으로 이루어지게 되면, 이를 반영하여 3D 카메라의 촬영 위치가 변하게 되며, 제 2 채널(Ch2)의 통신망을 통해서는 3D 카메라로 촬영된 좌우안용 화상 정보의 전송만이 지속적으로 일방향 이루어지게 됨을 알 수 있다.

이러한 2개의 채널을 이용하여 정보의 전송이 독립적으로 이루어지게 되는 경우, 정보의 혼선이 방지되며, 일방향만으로 정보가 지속적으로 이동하게 되므로 트래픽 증가에 의한 딜레이 등의 문제를 방지할 수 있는 특징이다.

제 2 실시예의 경우, 하나의 채널을 이용하여 사용자의 위치 정보와 3D 화상 정보를 전송하는 제 1 실시예보다 정보 전달의 안정성 및 딜레이 현상 방지 등의 측면에서 보다 발전된 것이라 할 수 있다.

한편, 도 6a 내지 도 6c는 본 발명에 따른 3D 실사 입체 영상 구현 시스템에 의해 구현된 화상을 나타낸 도면으로 도 6a는 시청자가 표시화면을 좌측에서 바라보았을 경우의 화상이며, 6b와 6c는 각각 정면과 우측에서 시청자가 표시화면을 바 라보았을 경우 화상이다.

도시한 바와같이, 실물로 청소기가 보여지고 있다. 이때, 도 6a에 있어서는 청소기의 좌측면이, 도 6b에서는 청소기의 정면이, 도 6c에서는 청소기의 우측면이 각각 표시되고 있음을 알 수 있다. 이 경우 상기 청소기는 실제 촬영된 화상이며, 그래픽 렌더링 처리 되지 않았으므로 현실감이 우수함을 알 수 있다. 이때 시청자는 실물을 3D 표시장치를 통해 그 위치를 바꿔가며 봄으로써 상기 청소기의 좌측, 정면, 우측의 형태를 정확히 알 수 있다.

한편, 도면에서는 시청자가 수직적으로 움직이지 않고, 수평적으로만 움직임으로서 이를 반영한 3D 촬영 카메라가 수직적으로는 움직이지 않고 수평방향으로만 이동하며 촬영됨으로써 수평방향으로만 변화된 화상을 도시하고 있지만, 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템은 좌우 방향뿐 아니라 상하 방향으로 실시간 변화된 3D 화상을 구현할 수 있다.

이러한 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템은 일례로 통신 판매업 또는 관광 상품의 홍보 등에 유용하게 사용될 수 있을 것이다.

도 1a 및 1b는 종래의 유저 트렉킹(user tracking) 기술이 사용된 3D 표시장치를 사용자가 왼쪽과 오른쪽에서 각각 바라보았을 때 표시되는 화상을 도시한 도면.

도 2는 종래의 유저 트렉킹(user tracking) 기술이 적용된 3D 표시장치의 사용자 위치별 차이를 갖는 3D 영상이 출력되기까지의 순서도.

도 3은 본 발명의 실시예에 따른 3D 실사 입체 영상 구현 시스템을 간략시 도시한 도면.

도 4는 본 발명의 제 1 실시예에 따른 3D 실사 입체 영상 구현 시스템의 통신 및 정보 처리 구동 동작을 나타낸 블록도.

도 5는 본 발명의 제 2 실시예에 따른 3D 실사 입체 영상 구현 시스템의 통신 및 정보 처리 구동 동작을 나타낸 블록도.

도 6a 내지 도 6c는 본 발명에 따른 3D 실사 입체 영상 구현 시스템에 의해 구현된 화상을 나타낸 도면.

<도면의 주요부분에 대한 부호의 설명>

100 : 3D 실사 영상 구현 시스템 105 : 3D 표시장치

110 : 센서부 115 : 3D 화상 표시부

125 : 3D 카메라 130 : 원격조절 관절부

135 : 지지대 140 : 3D 촬영수단

150 : 정보 처리수단

Claims (9)

1. 시청자 위치 검출 센서와, 3D 영상 표시부를 포함하는 3D 표시장치와;

   영상을 촬영하여 좌안용 및 우안용 영상 정보로 각각 분리하여 저장하는 3D 카메라와, 상기 3D 카메라와 그 일끝단이 결속되며 다수의 관절을 가지며 상기 3D 카메라를 통해 전송되는 시청자의 위치 정보를 반영하여 상기 3D 카메라를 전후좌우 및 상하로 움직이도록 하는 원격조절 관절부와, 상기 원격조절 관절부의 타끝단을 고정 지지하는 지지대를 포함하는 3D 촬영 수단과;

   상기 시청자 위치 검출 센서를 통해 검출된 상기 시청자의 위치 정보를 상기 3D카메라로 전송하고, 상기 3D카메라에 의해 저장된 상기 좌안용 및 우안용 영상 정보를 각각 압축 툴을 이용하여 인코딩하여 상기 3D 표시장치로 전송하는 정보 처리수단을 포함하고,

   상기 3D 표시장치와 상기 정보 처리수단은 실시간 통신이 이루어지며, 상기 3D 표시장치는 인코딩된 상기 좌안용 및 우안용 영상 정보를 각각 디코딩하여 3D 영상을 실시간으로 표시하는 3D 실사 영상 구현 시스템.
2. 삭제
3. 제 1 항에 있어서,

   상기 압축 툴은 MPEG 4 인 3D 실사 영상 구현 시스템.
4. 삭제
5. 제 1 항에 있어서,

   상기 실시간 통신은 상기 3D 표시장치에서 상기 정보 처리수단으로의 상기 시청자의 위치 정보 전송과, 상기 정보 처리수단에서 상기 3D 표시장치로의 인코딩된 상기 좌안용 및 우안용 영상 정보 전송인 3D 실사 영상 구현 시스템.
6. 제 5 항에 있어서,

   상기 실시간 통신은 하나의 TCP/IP 채널을 통해 이루어지는 3D 실사 영상 구현 시스템.
7. 제 5 항에 있어서,

   상기 실시간 통신은 2개의 독립적인 TCP/IP 채널을 통해 이루어지며,

   상기 3D 표시장치에서 상기 정보 처리수단으로의 상기 시청자의 위치정보 전송은 제 1 TCP/IP 채널을 통해서 이루어지며,

   상기 정보 처리수단에서 상기 3D 표시장치로의 인코딩된 상기 좌안용 및 우안용 영상 정보 전송은 제 2 TCP/IP 채널을 통해서 이루어지는 3D 실사 영상 구현 시스템.
8. 제 1 항에 있어서,

   상기 시청자 위치 검출 센서는 적외선 감지 센서 또는 시청자의 얼굴을 자동적으로 인식하는 카메라인 것이 특징인 3D 실사 영상 구현 시스템.
9. 제 1 항에 있어서,

   상기 3D 영상 표시부는,

   좌안용 3D 화상을 표시하는 좌안용 화소영역과 우안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 패럴렉스 배리어로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 패널렉스 배리어 방식으로 이루어지거나,

   좌안용 3D 화상을 표시하는 좌안용 화소영역과 우안용 3D 화상을 표시하는 우안용 화소영역을 구비한 액정표시장치와 렌티큘라 렌즈로 구성됨으로써 좌안용 3D 화상은 좌안에만, 우안용 3D 화상은 우안으로만 입사되도록 하는 렌티큘라 방식으로 이루어지거나,

   좌안용 화상정보와 우안용 화상정보를 교대하여 표시하는 표시소자와, 제 1 편광필름과 액정셀과 제 2 편광필름을 구비한 좌안용 및 우안용 렌즈를 갖는 LC셔터 방식의 안경을 세트로 구비하여, 상기 LC셔터 방식의 안경의 우안 및 좌안 렌즈를 상기 표시소자와 공조하도록 하여 좌안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 좌안 렌즈만 투과하고, 우안용 3D 화상정보가 상기 표시소자에 표시될 경우 상기 우안 렌즈만 투과하도록 하여 3D 입체 영상을 표시하는 3D 화상 표시부인 것이 특징인 3D 실사 영상 구현 시스템.

Images