KR20040083652A - 3차원 입체 영상의 신호 처리 장치 및 방법 - Google Patents

Abstract

이 발명은 3차원 입체 영상의 신호 처리 장치 및 방법에 관한 것으로, 다수의 카메라로 피사체의 영상을 캡쳐하여 다양한 깊이감을 갖도록 다시점 이미지를 생성하여 저장하고, 다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링한다. 그리고 나서, 상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하여 디스플레이한다. 이렇게 함으로써, 피사체의 변화에 맞게 적절한 깊이감으로 만들어진 입체 영상이 표현되기 때문에 영상의 일부가 선명하지 못해서 발생하는 피로감이 해결될 수 있다.

Description

3차원 입체 영상의 신호 처리 장치 및 방법{Signal process method and apparatus for 3 dimension image}

본 발명은 영상 신호 처리 장치 및 방법에 관한 것으로, 특히, 3차원 영상의 신호를 처리하기 위한 장치 및 방법에 관한 것이다.

일반적으로 다 시점을 갖는 입체 영상을 만들기 위해서는 시점(view)의 수에 따라 이미지를 만들고 만들어진 이미지들을 특정한 규칙에 의해서 합성하여야 한다.

합성된 이미지가 입체 영상 장치에 표시되면 다 시점의 입체 영상을 볼 수 있게 된다.

이러한 다 시점의 이미지를 만드는 방법은 입체 카메라로 촬영하는 방법과, 3D 모델링 프로그램으로 만드는 방법 등이 있다.

두 방법 모두 이웃한 각 시점의 이미지 사이에 깊이감(depth 또는 disparity)이 존재하게 되는데, 일반적으로 피사체에 대해 배치된 카메라(3D 모델링 프로그램에 의한 경우는 가상 카메라) 사이의 각도에 의해 깊이감이 표현되며, 둘은 서로 비례 관계를 가진다.

시점 사이의 깊이감의 크기는 입체 영상 표시 장치의 특성에 의존하게 되는데 그 크기가 너무 커지면 영상이 선명하지 않게 되어 피로감이 커질 수 있으며, 반대로 너무 작으면 입체감이 떨어질 수 있는 문제가 있다.

현재까지 고안된 영상 처리 방법은 미리 정해놓은 깊이감의 크기에 맞추기 위해 카메라 사이의 각도(3D 모델링의 경우는 가상 카메라의 각도)를 고정하여 촬영된 이미지들을 합성하여 표시한다.

그러나 피사체의 크기 또는 각도를 변화시킨 후 다시 원래의 깊이감에 따라 이미지들을 합성한 후 입체 영상을 표시하게 되면 피사체의 일부가 먼저 정해놓은 깊이감의 한계를 벗어나기 때문에 부분적으로 선명하지 않은 영상이 만들어져서 피로감이 커지는 문제가 발생한다.

이하 첨부된 도면을 참조로 종래의 기술에 관하여 설명함녀 다음과 같다.

도1은 종래의 다 시점 영상 처리 방법을 나타낸 도면이다.

도1을 참조하면, 현재까지 고안된 영상 처리 방법은 미리 정해놓은 깊이감에 따라 카메라 사이의 각도(3D 모델링의 경우는 가상 카메라의 각도)를 고정하여 촬영된 이미지들을 합성하여 표시한다.

그러나 피사체의 크기 또는 각도를 변화시킨 후 다시 원래의 깊이감에 따라 이미지들을 합성한 후 입체 영상을 표시하게 되면, 피사체의 일부가 먼저 정해놓은 깊이감 즉, 영상 표시 장치에 맞게 최적화된 깊이감의 한계를 벗어나기 때문에 부분적으로 선명하지 않은 영상이 만들어져서 피로감이 커지는 문제가 발생한다.

본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 미리 다양한 깊이감 즉, 카메라 사이의 각도의 다 시점의 이미지들을 만든 후 피사체의 각도나 크기의 변화에 따라 자동으로 적절한 깊이감을 선택하여 이미지들을 합성하는 장치 및 방법을 제공하는 것이다.

또한, 피사체의 변화에 맞게 적절한 깊이감으로 만들어진 입체 영상이 표현되기 때문에 영상의 일부가 선명하지 못해서 발생하는 피로감이 해결되도록 하는 것이다.

도1은 종래의 다 시점 영상 처리 방법을 나타낸 도면이다.

도2는 이 발명의 실시예에 따른 3차원 입체 영상의 신호 처리 장치의 구성도이다.

도3은 다시점 영상 데이터 처리부의 상세도이다.

도4는 다시점 영상 데이터 처리부의 동작 흐름도이다.

이러한 과제를 이루기 위한 본 발 발명의 하나의 특징에 따른 3차원 입체 영상의 신호 처리 장치는,

다수의 카메라를 구비하며, 피사체의 영상을 캡쳐하여 출력하는 카메라부;

상기 카메라부의 출력 영상으로부터 카메라 사이의 각도를 나타내는 깊이감이 다양하게 되도록 이미지를 생성하는 다시점 이미지 생성부;

상기 다시점 이미지 생성부에서 생성된 이미지들을 저장하는 저장부;

상기 다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링하는 3차원 렌더링부;

상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하는 다시점 이미지 처리부를 포함한다.

이러한 과제를 이루기 위한 본 발 발명의 하나의 특징에 따른 3차원 입체 영상의 신호 처리 방법은,

다수의 카메라로 피사체의 영상을 캡쳐하여 다양한 깊이감을 갖도록 다시점 이미지를 생성하여 저장하는 제1 단계;

다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링하는 제2 단계;

상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하는 제3 단계를 포함한다.

이러한 본 발명을 이 분야의 통상의 지식을 지닌자가 용이하게 실시할 수 있도록 실시예에 관하여 첨부된 도면을 참조하여 설명하면 다음과 같다.

도2는 이 발명의 실시예에 따른 3차원 입체 영상의 신호 처리 장치의 구성도이다.

도2를 참조하면, 이 발명의 실시예에 따른 3차원 입체 영상의 신호 처리 장치는, 카메라부(200), 다시점 이미지 생성부(300), 저장부(500), 3차원 렌더링부(400), 다시점 이미지 처리부(600)를 포함한다. 카메라부(200)는 다수의 카메라를 구비하며, 피사체(100)의 영상을 캡쳐하여 출력한다. 다시점 이미지 생성부(300)는 상기 카메라부의 출력 영상으로부터 카메라 사이의 각도를 나타내는 깊이감이 다양하게 되도록 이미지를 생성한다. 저장부(500)는 상기 다시점 이미지 생성부에서 생성된 이미지들을 저장한다. 3차원 렌더링부(400)는 상기 다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링한다. 다시점 이미지 처리부(600)는 상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성한다.

도3은 다시점 영상 데이터 처리부(600)의 상세도이다.

도3을 참조하면, 다시점 영상 데이터 처리부(600)는, 입체로 표시할 피사체의 형상을 선택하는 형상 선택부(610), 상기 피사체의 형상 정보를 분석하는 정보 분석부(620), 분석된 정보에 따라 카메라 각도를 선택하는 깊이감 선택부(630), 선택된 카메라 각도를 갖는 다시점 이미지를 추출하는 이미지 추출부(640), 추출된 이미지를 합성하는 이미지 합성부(650)를 포함한다.

이러한 구성을 가진 이 발명의 실시예에 따른 3차원 입체 영상의 신호 처리 장치의 동작은 다음과 같다.

먼저, 카메라부(200)의 다수의 카메라는 피사체(100)를 캡쳐하여 영상신호로 출력한다.

그러면, 다시점 이미지 생성부(300)는 상기 카메라부(100)의 다수의 카메라에서 출력되는 영상신호로부터 카메라 사이의 각도를 나타내는 깊이감이 다양하게 되도록 이미지를 생성한다. 이때, 다양한 이미지 깊이감을 갖도록 피사체를 카메라 또는 그 밖의 영상 획득 장치를 이용하여 촬영하며, 생성된 이미지 데이터들을 저장부(500)에 저장한다.

그리고 나서, 3차원 렌더링부(400)가 다시점 이미지 생성부(300)에서 생성되고, 저장부(500)에 저장된 이미지 데이터들을 이용하여 피사체를 3차원으로 렌더링하고, 다시점 이미지 처리부(600)가 상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하여 출력한다.

그러면, 합성된 이미지를 입체영상표시장치를 통해 볼 수 있다.

여기서, 다시점 이미지 처리부(600)는 3차원으로 렌더링된 피사체를 실제 입체 영상 표시 장치(800)로 보기 위해 일정한 깊이감을 갖는 다 시점의 영상을 추출하고, 피사체의 시점에 따른 이미지들을 합성하는 과정을 거친다. 그런데, 이미 3차원으로 렌더링된 피사체의 크기, 위치, 회전 각도 등의 형상을 변경한 후, 다시 렌더링해서 입체 영상 장치로 표시하면, 피사체의 형상이 변함에 따라 이미지들의 깊이감도 같이 변하게 되므로 이러한 문제를 해결하기 위해 피사체의 형상이 변하더라도 표시되는 입체 영상을 피로감 없이 볼 수 있도록 하기 위해 다시점 이미지 처리부(600)는 3차원으로 렌더링된 피사체의 형상을 변화시킨 후 다시 렌더링되어 형상이 바뀐 피사체의 이미지 정보를 분석하여 피로감을 유발하지 않는 가장 적절한 깊이감을 선택한다.

다음으로 선택된 깊이감을 갖는 다 시점 이미지 데이터를 추출한 후 이 데이터들을 정해진 방법으로 합성하여 입체 영상 표시 장치(800)로 표시한다.

피사체의 형상에 따른 적절한 깊이감의 선택 알고리듬은, 다양한 피사체를 이용하여 그 형태와 이미지 깊이감을 변화시켜가며 표시되는 입체 영상을 관찰하는 실험을 통해 만들어지고, 이를 다시 전체 이미지 처리 과정에 적용시키면 된다.

이를 도4를 참조로 하여 상세히 설명하면 다음과 같다.

형상 선택부(610)가 입체로 표시할 피사체의 형상을 선택하고(S410), 정보 분석부(620)가 상기 피사체(100)의 형상 정보를 분석한다(S420).

깊이감 선택부(630)는 분석된 정보에 따라 카메라 각도를 선택한다. 즉, 피로감을 유발하지 않는 가장 적절한 깊이감을 선택한다(S430). 그러면, 이미지 추출부(640)는 선택된 깊이감 즉, 카메라 각도를 갖는 다시점 이미지를 저장부(500)에서 추출한다(S440). 그리고 나서, 이미지 합성부(650)는 추출된 이미지를 합성하여 입체 영상 표시 장치(800)로 출력하여 표시하도록 한다(S450).

상기 다시점 이미지 처리부(600) 내의 형상 선택부(610), 정보 분석부(620), 깊이감 선택부(630), 이미지 추출부(640), 이미지 합성부(650)는 소프트웨어적 또는 하드웨어적으로 구현이 가능하며, 본원 실시예에서는 소프트웨어적으로 구현하였으며, 본원 발명의 실시예는 입체 의료 영상 처리 프로그램을 비롯한 다양한 입체 영상 처리 프로그램에 적용할 수 있고, CT, MR, 초음파 영상 등 의료 영상의 다 시점 영상 처리 방법에 적용될 수 있다.

본 발명은, 상기 실시예에 한정되지 않고, 청구범위에서 정의된 발명의 사상 및 범위 내에서 당업자에 의하여 변형 및 개량될 수 있다.

이상에서와 같이, 이 발명의 실시예에서, 미리 다양한 깊이감 즉, 카메라 사이의 각도의 다 시점의 이미지들을 만든 후 피사체의 각도나 크기의 변화에 따라 자동으로 적절한 깊이감을 선택하여 이미지들을 합성함으로써, 피사체의 변화에 맞게 적절한 깊이감으로 만들어진 입체 영상이 표현되기 때문에 영상의 일부가 선명하지 못해서 발생하는 피로감이 해결될 수 있는 3차원 입체 영상의 신호 처리 장치 및 방법을 제공할 수 있다.

Claims (6)

1. 다수의 카메라를 구비하며, 피사체의 영상을 캡쳐하여 출력하는 카메라부;

   상기 카메라부의 출력 영상으로부터 카메라 사이의 각도를 나타내는 깊이감이 다양하게 되도록 이미지를 생성하는 다시점 이미지 생성부;

   상기 다시점 이미지 생성부에서 생성된 이미지들을 저장하는 저장부;

   상기 다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링하는 3차원 렌더링부;

   상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하는 다시점 이미지 처리부를 포함하는 3차원 입체 영상의 신호 처리 장치.
2. 제1항에 있어서,

   합성된 다시점 이미지를 디스플레이하기 우히?? 입체 영상 표시 장치를 더 포함하는
3. 제1항 또는 제2항에 있어서,

   상기 다시점 영상 데이터 처리부는,

   입체로 표시할 피사체의 형상을 선택하는 형상 선택부,

   상기 피사체의 형상 정보를 분석하는 정보 분석부,

   분석된 정보에 따라 카메라 각도를 선택하는 깊이감 선택부,

   선택된 카메라 각도를 갖는 다시점 이미지를 추출하는 이미지 추출부,

   추출된 이미지를 합성하는 이미지 합성부를 포함하는 3차원 입체 영상의 신호 처리 장치.
4. 제3항에 있어서,

   상기 깊이감 선택부는 분석된 정보에 따라 피로감을 유발하지 않는 최적의 깊이감을 선택하는 것을 특징으로 하는 3차원 입체 영상의 신호 처리 장치.
5. 다수의 카메라로 피사체의 영상을 캡쳐하여 다양한 깊이감을 갖도록 다시점 이미지를 생성하여 저장하는 제1 단계;

   다시점 이미지 생성부에서 생성된 이미지로부터 상기 피사체를 3차원으로 렌더링하는 제2 단계;

   상기 렌더링된 피사체의 형상을 변화시킨후 영상이 다시 렌더링되면, 상기 피사체의 이미지 정보를 분석하고 이에 따라 깊이감을 선택하고, 선택된 깊이감에 대응되는 이미지를 상기 저장부에서 추출하여 다시점 이미지를 합성하는 제3 단계를 포함하는 3차원 입체 영상의 신호 처리 방법.
6. 제5항에 있어서,

   상기 제3 단계는,

   입체로 표시할 피사체의 형상을 선택하는 단계;

   상기 피사체의 형상 정보를 분석하는 단계;

   분석된 정보에 따라 카메라 각도를 선택하는 단계;

   선택된 카메라 각도를 갖는 다시점 이미지를 추출하는 단계;

   추출된 이미지를 합성하는 단계를 포함하는 3차원 입체 영상의 신호 처리 방법.