KR101547281B1 - 다시점 3차원 영상신호 생성 방법 및 장치 - Google Patents

다시점 3차원 영상신호 생성 방법 및 장치 Download PDF

Info

Publication number
KR101547281B1
KR101547281B1 KR1020130038634A KR20130038634A KR101547281B1 KR 101547281 B1 KR101547281 B1 KR 101547281B1 KR 1020130038634 A KR1020130038634 A KR 1020130038634A KR 20130038634 A KR20130038634 A KR 20130038634A KR 101547281 B1 KR101547281 B1 KR 101547281B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
pixels
generating
image signal
Prior art date
Application number
KR1020130038634A
Other languages
English (en)
Other versions
KR20140122056A (ko
Inventor
김재식
권동현
Original Assignee
(주)쉬프트플러스
권동현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)쉬프트플러스, 권동현 filed Critical (주)쉬프트플러스
Priority to KR1020130038634A priority Critical patent/KR101547281B1/ko
Publication of KR20140122056A publication Critical patent/KR20140122056A/ko
Application granted granted Critical
Publication of KR101547281B1 publication Critical patent/KR101547281B1/ko

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다시점 3차원 영상신호 생성 방법 및 장치에 관한 것이다. 개시된 다시점 3차원 영상신호 생성 방법은 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 단계와, 결정된 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계와, 결정된 윤곽선 및 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 단계와, 깊이지도를 기초로 하여 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성하는 단계와, 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 단계와, 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N개의 시점을 가지는 3차원 영상신호를 렌더링하는 단계를 포함한다. 따라서, 움직임 벡터의 추출을 통해 깊이지도를 생성하는 등과 같은 종래 기술과 비교할 때에 상대적으로 더 낮은 연산과정과 더 빠른 생성시간이 제공되며, 고품질의 다시점 3차원 영상신호를 생성함에 있어서 실시간성이 향상되는 이점이 있다.

Description

다시점 3차원 영상신호 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING MULTIVIEW 3D IMAGE SIGNAL}
본 발명은 다시점 3차원 영상신호 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 2차원 양안 영상신호를 변환하여 다시점의 3차원 영상신호를 생성하는 방법 및 장치에 관한 것이다.
주지하는 바와 같이, 인간이 깊이감과 입체감을 느끼는 요인으로 가장 중요하게는 두 눈 사이 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 3차원 영상 구현기술 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원 표현방식(holographic type), 입체감 표현방식(stereoscopic type)으로 구분된다.
먼저, 부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이 방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 빨려 들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.
이러한 부피표현방식의 시스템은 연속적으로 배열된 다수의 표시부를 포함할 수 있는데, 각 표시부는 하나의 영상을 각각 깊이별로 분할한 다수의 부분영상을 표시한다. 이러한 부분영상은 사용자에 의하여 다시 하나의 영상으로 합성되고, 사용자는 각각의 부분영상에 담겨 있는 영상정보에다가 사용자로부터 각 표시부까지의 거리에 대한 정보를 부가하여 입체적인 하나의 3차원 영상으로 인식하게 되는 것이다.
둘째, 3차원 표현방식은 레이저의 간섭 효과를 이용하여 물체에서 반사되는 빛을 그대로 저장하고 재생하는 방식으로서, 레이저광 재생 홀로그래피 내지 백색광 재생 홀로그래피로 대표될 수 있다. 하지만, 이 기술은 아직 기술적 성숙도가 충분치 않아 상용화 시점을 예측하기 힘들다. 이는 잔상 효과를 이용하여 공간에 부피를 표현하는 부피표현방식도 마찬가지이다.
셋째, 입체감 표현방식은 양안(兩眼)의 생리적 요인을 이용하는 입체감을 느끼는 방식으로, 구체적으로 약 65㎜ 정도 떨어져 존재하는 인간의 좌우안에 시차 정보가 포함된 평면의 연관영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 스테레오그라피(stereography)를 이용한 것이다. 이러한 입체감 표현방식은 다안상 표시방식이라 불리며, 실질적인 입체감 생성위치에 따라 관찰자 측의 특수 안경을 이용하는 안경방식 또는 표시면 측의 패럴랙스 베리어(parallax barrier)나 렌티큘러(lenticular) 또는 인테그럴(integral) 등의 렌즈어레이(lens array)를 이용하는 무안경 방식으로 구분될 수 있다.
이러한 입체감 표현방식은 3차원 디스플레이 기술 중 가장 오래되었고 기술적인 완성도가 높은 방식이라 할 수 있다.
한편, 다시점 3차원 영상은 단시점 3차원 영상과 달리 사용자 시점의 변화에 따라 현실세계와 같이 다양한 양안시차를 갖는 입체 영상을 제공하는 기술이다.
그런데, 3차원 영상은 2차원 영상과 달리 많은 정보를 포함하고 있어 제작 단계에서 많은 비용이 들어간다. 따라서, 다시점 3차원 영상을 다수의 카메라를 이용하여 모두 획득하기에는 경제적인 측면에서 효율적이지 못하다.
따라서, 단시점 3차원 영상을 다시점 3차원 영상으로 변환하는 기술이 필요하다.
그러나, 종래 기술에 따른 다시점 3차원 영상 변환 기술들은 실시간으로 영상을 변환하여 표시할 수 있는 능력이나 다시점으로 변환된 3차원 영상의 품질 등의 측면에서 공장, 병원, 가정 등과 같은 산업현장 및 일상생활에 적용하기에는 미흡하다.
특히, 2차원의 영상신호를 3차원의 영상신호로 변환하기 위해서는 깊이지도를 생성하여야 하며, 종래 기술에 따르면 깊이지도를 생성할 때에 2차원의 영상신호로부터 움직임 벡터(motion vector)를 추출하여 깊이지도를 생성하였다.
그런데, 이러한 움직임 벡터의 추출을 통해 깊이지도를 생성하는 종래 기술은 움직임 벡터의 추출에 있어 고도의 연산과정 및 추출시간이 소요되었다. 따라서, 실시간 3차원 영상 생성 및 재생 분야에는 실시간성의 제약으로 인하여 적용이 어려운 문제점이 있었다. 특히, 병원 등과 같은 의료현장에서 내시경 카메라에 의해 촬영된 2차원 영상을 3차원 영상으로 재생하는 경우나 입체 초음파 장비에서 3차원 영상을 재생하는 경우 등과 같이 실시간성이 매우 중요한 전제조건인 기술분야에는 적용이 불가능하였다.
대한민국 등록특허공보 10-0581533, 등록일자 2006년 05월 12일.
본 발명은 전술한 바와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 2차원 양안 영상신호에 포함된 피사체에 대해 윤곽선의 3차원 영상을 위한 위치값을 먼저 결정한 이후에 그 내부 픽셀들의 3차원 영상을 위한 위치값을 결정함으로써, 고품질의 다시점 3차원 영상신호를 생성함에 있어서 실시간성을 향상시킨 다시점 3차원 영상신호 생성 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점으로서 다시점 3차원 영상신호 생성 방법은, 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 단계와, 결정된 상기 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계와, 결정된 상기 윤곽선 및 상기 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 단계와, 상기 깊이지도를 기초로 하여 상기 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성하는 단계와, 상기 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 단계와, 상기 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N(단, 8 ≤ N ≤ 128)개의 시점을 가지는 3차원 영상신호를 렌더링하는 단계를 포함할 수 있다.
여기서, 상기 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 단계는, 2차원의 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출하는 단계와, 검출된 상기 윤곽선 상의 특징 픽셀들에 대해 상기 좌안 영상신호에서의 위치와 상기 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하는 단계와, 결정된 상기 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 상기 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계를 포함할 수 있다.
상기 깊이지도를 생성하는 단계는, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들에 대해 상기 좌안 영상신호에서의 좌표값과 상기 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하는 단계와, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들의 상기 위치값과 상기 깊이값에 의거하여 상기 깊이지도를 생성하는 단계를 포함할 수 있다.
여기서, 상기 중간 영상을 생성하는 단계는, 상기 좌측 영상과 상기 중간 영상 간의 이격거리, 상기 중간 영상과 상기 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, 상기 N개의 시점은 r = a/N-1을 만족하는 위치값을 가질 수 있다.
상기 중간 영상을 생성하는 단계는, 상기 중간 영상을 N-2개 이내로 생성할 수 있다.
본 발명의 제 2 관점으로서 다시점 3차원 영상신호 생성 장치는, 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 윤곽선 위치 결정부와, 결정된 상기 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 내부 위치 결정부와, 결정된 상기 윤곽선 및 상기 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 깊이지도 생성부와, 상기 깊이지도를 기초로 하여 상기 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 좌우영상 생성부와, 상기 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 중간 영상 생성부와, 상기 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N(단, 8 ≤ N ≤ 128)개의 시점을 가지는 3차원 영상신호를 렌더링하는 입체 영상 렌더링부를 포함할 수 있다.
여기서, 상기 윤곽선 위치 결정부는, 2차원의 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출하며, 검출된 상기 윤곽선 상의 특징 픽셀들에 대해 상기 좌안 영상신호에서의 위치와 상기 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하고, 결정된 상기 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 상기 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정할 수 있다.
상기 깊이지도 생성부는, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들에 대해 상기 좌안 영상신호에서의 좌표값과 상기 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하며, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들의 상기 위치값과 상기 깊이값에 의거하여 상기 깊이지도를 생성할 수 있다.
여기서, 상기 중간 영상 생성부는, 상기 좌측 영상과 상기 중간 영상 간의 이격거리, 상기 중간 영상과 상기 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, 상기 N개의 시점은 r = a/N-1을 만족하는 위치값을 가질 수 있다.
상기 중간 영상 생성부는, 상기 중간 영상을 N-2개 이내로 생성할 수 있다.
본 발명의 실시예에 의하면, 2차원 양안 영상신호에 포함된 피사체에 대해 윤곽선의 3차원 영상을 위한 위치값을 먼저 결정한 이후에 그 내부 픽셀들의 3차원 영상을 위한 위치값을 결정한다. 따라서, 움직임 벡터의 추출을 통해 깊이지도를 생성하는 등과 같은 종래 기술과 비교할 때에 상대적으로 더 낮은 연산과정과 더 빠른 생성시간이 제공된다. 그러므로, 고품질의 다시점 3차원 영상신호를 생성함에 있어서 실시간성이 향상된다.
특히, 병원 등과 같은 의료현장에서 내시경 카메라에 의해 촬영된 2차원 영상을 3차원 영상으로 재생하는 경우나 입체 초음파 장비에서 3차원 영상을 재생하는 경우 등과 같이 실시간성이 매우 중요한 전제조건인 기술분야에는 적용이 가능하다.
도 1은 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 방법을 설명하기 위한 흐름도이다.
도 3은 양안 카메라를 이용한 2차원의 양안 영상신호를 촬영하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따라 3차원 영상을 위한 위치값을 결정하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따라 깊이지도를 생성하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 장치를 병원 등과 같은 의료현장에 적용하였을 때의 영상 처리 과정을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 장치의 블록 구성도이다.
이에 나타낸 바와 같이 다시점 3차원 영상신호 생성 장치(100)는, 윤곽선 위치 결정부(110), 내부 위치 결정부(120), 깊이지도 생성부(130), 좌우 영상 생성부(140), 중간 영상 생성부(150), 입체 영상 렌더링부(160) 등을 포함한다.
윤곽선 위치 결정부(110)는 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정한다. 이를 위해, 윤곽선 위치 결정부(110)는 2차원의 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출하며, 검출된 윤곽선 상의 특징 픽셀들에 대해 좌안 영상신호에서의 위치와 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하고, 결정된 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정한다.
내부 위치 결정부(120)는 윤곽선 위치 결정부(110)에 의해 결정된 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정한다.
깊이지도 생성부(130)는 결정된 윤곽선 및 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성한다. 이를 위해, 깊이지도 생성부(130)는 윤곽선의 특징 픽셀들과 다른 픽셀들 및 내부 픽셀들에 대해 좌안 영상신호에서의 좌표값과 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하며, 특징 픽셀들과 다른 픽셀들 및 내부 픽셀들의 위치값과 깊이값에 의거하여 깊이지도를 생성한다.
좌우 영상 생성부(140)는 깊이지도 생성부(130)에 의해 생성된 깊이지도를 기초로 하여 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성한다.
중간 영상 생성부(150)는 좌우 영상 생성부(140)에 의해 생성된 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성한다. 이러한 중간 영상 생성부(150)는 좌측 영상과 중간 영상 간의 이격거리, 중간 영상과 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, N(단, 8 ≤ N ≤ 128)개의 시점은 r = a/N-1을 만족하는 위치값을 가지도록 한다. 또, 중간 영상 생성부(130)는 중간 영상을 N-2개 이내로 생성한다.
입체 영상 렌더링부(160)는 좌우 영상 생성부(140)에 의해 생성된 좌측 영상과 우측 영상 및 중간 영상 생성부(150)에 의해 생성된 중간 영상을 이용하여 N개의 시점을 가지는 3차원 영상신호를 렌더링한다.
도 2는 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 방법을 설명하기 위한 흐름도이다.
이에 나타낸 바와 같이 실시예에 따른 다시점 3차원 영상신호 생성 방법은, 2차원의 좌안 영상신호와 우안 영상신호로 이루어진 양안 영상신호를 입력 받는 단계(S201)와, 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출한 후에 검출된 윤곽선 상의 특징 픽셀들에 대해 좌안 영상신호에서의 위치와 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하고, 결정된 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계(S203)와, 결정된 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계(S205)와, 결정된 윤곽선 및 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 단계(S207)와, 2차원의 양안 영상신호로부터 움직임 벡터를 추출하여 깊이지도를 생성하는 단계(S207)와, 깊이지도를 기초로 하여 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성하는 단계(S209)와, 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 단계(S211)와, 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N(단, 8 ≤ N ≤ 128)개의 시점을 가지는 3차원 영상신호를 렌더링 및 출력하는 단계(S213 및 S215)를 포함한다.
이하, 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 장치가 2차원의 양안 영상신호를 다시점의 3차원 영상신호로 변환하는 과정에 대해 더 자세히 살펴보기로 한다.
먼저, 양안 카메라에 의해 양안 영상신호가 촬영되며, 촬영된 양안 영상신호가 다시점 3차원 영상신호 생성 장치(100)의 윤곽선 위치 결정부(110)로 입력된다(S201). 여기서, 양안 카메라는 2개의 카메라 렌즈를 사람의 동공간 표준 거리인 6.5 센치미터(cm)의 양안 시차 비율로 축소하여 촬영하는 방식이다. 도 3에 나타낸 바와 같이 좌안(L) 카메라와 우안(R) 카메라를 소실점을 향하도록 배치하며, 좌안 카메라를 통해 좌안 영상을 획득하고, 우안 카메라를 통해 우안 영상을 획득한다. 여기서, La와 Lb 및 Lc의 특징 픽셀을 가지는 피사체와 Ra와 Rb 및 Rc의 특징 픽셀을 가지는 피사체는 동일한 피사체이다. 예컨대, 이후 생성될 깊이지도에서는 카메라에서 가장 먼 곳을 그레이 스케일 256 레벨로 표현하고, 카메라의 시작점을 그레이 스케일 0 레벨로 표현할 수 있다.
이어서, 윤곽선 위치 결정부(110)는 검출된 윤곽선 상의 특징 픽셀들(La, Lb, Lc, Ra, Rb, Rc)에 대해 좌안 영상신호에서의 위치와 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하고, 결정된 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정한다(S203). 그러면, 내부 위치 결정부(120)는 윤곽선 위치 결정부(110)에 의해 결정된 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정한다(S205).
도 4는 본 발명의 실시예에 따라 3차원 영상을 위한 위치값을 결정하는 과정을 설명하기 위한 개념도이다. 도 4에 예시한 바와 같이 좌안 영상신호에서 La가 L6에 위치하고, 우안 영상신호에서 Ra가 R10에 위치하면, 3차원 영상에서 Za의 위치값은 Z8로 결정할 수 있다. 이러한 위치 결정 과정을 수학식으로 표현하면 아래의 수학식 1과 같이 나타낼 수 있다.
Figure 112013030794001-pat00001
즉, 좌안 영상신호에서의 위치와 우안 영상 신호의 위치를 합산한 후에 2로 나누어서 평균치를 구하며, 평균치를 좌안 영상신호의 위치에 합산하여 3차원 영상에서의 위치값으로 결정한다.
다음으로, 깊이지도 생성부(130)는 윤곽선의 특징 픽셀들과 다른 픽셀들 및 내부 픽셀들에 대해 좌안 영상신호에서의 좌표값과 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하며, 윤곽선의 특징 픽셀들과 다른 픽셀들 및 내부 픽셀들의 위치값과 깊이값에 의거하여 깊이지도를 생성한다(S207).
도 5는 본 발명의 실시예에 따라 깊이지도를 생성하는 과정을 설명하기 위한 예시도이다. 예컨대, 도 5의 (a)에 나타낸 바와 같이 깊이지도 생성부(130)는 윤곽선의 특징 픽셀들을 비교하여 깊이값을 산출할 수 있다. 즉, La와 Ra를 비교하여 Za를 산출하며, Lb와 Rb를 비교하여 Zb를 산출하고, Lc와 Rc를 비교하여 Zc를 산출한다. 여기서, Za와 Zb 및 Zc는 그 값이 클 수록 카메라에서 먼 곳에 위치하는 것을 의미하며, 그 값이 작을 수록 카메라에서 가까운 곳에 위치하는 것을 의미한다. 도 5의 (b)는 카메라에서 가까울 수록 밝게 나타내고 카메라에서 멀수록 어둡게 나타낸 깊이지도를 예시한 것이다.
여기서, 깊이지도란 영상 내에 존재하는 사물들 사이에 대한 3차원 거리 차이를 나타내는 지도로 영상을 나타내는 각각의 픽셀은 0 내지 255 범위의 값을 가질 수 있다. 일반적으로 밝은 색은 큰 값을 가지면서 가까운 쪽에 있는 것을 의미한다. 깊이지도는 움직임 벡터로부터 만들어질 수 있다. 움직임 벡터는 움직임 추측 과정에서 키(key) 요소가 되는 것으로 H.264/MPEG-4 AVC 표준에 따르면 디코딩이 된 화면의 좌표로부터 기준 화면의 좌표에 이르는 오프셋(offset)을 제공하도록 상호 예측을 위하여 사용되는 2차원 벡터로 정의된다. 움직임 벡터 또는 움직임 정보를 추출하기 위하여 다양한 알고리즘이 사용될 수 있다. 예를 들어 각각의 블록 단위로 움직임 정보를 추출하여 영상 전체의 움직임을 파악하기 쉬운 광류(Optical Flow)를 이용하는 알고리즘과 KTL(Lucas-Kanade-Tomasi Tracker) 알고리즘과 같은 것이 있다. 광류를 이용하는 방법은 알고리즘이 간단하고 MPEG 비디오 파일의 경우 비디오 데이터 안에 광류를 이용한 움직임 정보가 내재되어 있어 적용이 쉽다는 이점을 가지는 반면 노이즈에 민감하여 정확한 움직임 정보가 추출되기 어렵다는 단점을 가진다. 이에 비하여 KLT 추적 알고리즘은 노이즈에 대하여 강건하고 정교한 움직임의 추출이 가능하지만 알고리즘이 복잡하다는 단점을 가진다.
이어서, 다시점 3차원 영상신호 생성 장치(100)의 좌우 영상 생성부(140)는 깊이지도 생성부(130)에 의해 생성된 깊이지도를 기초로 하여 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성한다(S209). 여기서, 좌우 영상 생성부(140)는 시차를 가진 영상을 생성하기 위하여 변위 지도(displacement map)를 적용할 수 있다. 변위 지도는 변위 맵 방식(displacement mapping)에 의하여 만들어질 수 있다. 구체적으로 변위 맵 방식이란 가공 표면(textured surface) 위에서 가공 함수(texture function)가 표면 위의 각각의 점에서 평가한 값에 의하여 국지적 표면 수직 벡터를 따라 점들의 실제 기하학적 위치가 이동되는 효과를 발생시키기 위한 컴퓨터 그래픽 기술을 의미한다. 변위 맵 방식은 일반적으로 변위 강도를 조절하기 위하여 사용되는 가공 맵 방식을 포함하고 변위 방향은 일반적으로 국지적 표면에 수직되는 방향이 된다. 변위 맵을 위하여 미세다각형에 기초하는 레이즈 알고리즘(Reyes algorithm) 또는 이와 유사한 접근 방식이 사용될 수 있다. 변위 맵 방식에 의한 시차 영상의 생성을 위하여 깊이지도가 기초가 된다. 일반적으로 깊이지도는 수평 움직임과 수직 움직임을 포함하고 있고 수직 움직임이 시차로 변환되면 시각에 어지러움과 같은 현상이 발생될 수 있다. 그러므로 수직 움직임은 수평 시차로 변환되어야 한다. 그러므로 실질적으로 수평 시차만이 시차 영상의 생성을 위하여 사용될 수 있다. 다른 한편으로 최대 시차 값이 결정되고 깊이지도에서 정해진 임계값을 벗어나는 수평 또는 수직 움직임은 최대 시차 값으로 변환이 되어야 한다. 이와 같은 방식으로 깊이지도에 기초하여 변위 지도를 적용하여 시차 정보가 만들어지면 시차 영상이 생성될 수 있다.
다음으로, 다시점 3차원 영상신호 생성 장치(100)의 중간 영상 생성부(150)는 좌우 영상 생성부(120)에 의해 생성된 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성한다(S211). 이러한 중간 영상 생성부(150)는 좌측 영상과 중간 영상 간의 이격거리, 중간 영상과 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, N(단, 8 ≤ N ≤ 128)개의 시점은 r = a/N-1을 만족하는 위치값을 가지도록 하며, 중간 영상을 N-2개 이내로 생성할 수 있다. 예컨대, 8개의 시점을 위한 중간 영상을 생성할 때에는 좌측 영상을 맨 왼쪽에 배치하고, 우측 영상을 맨 오른쪽에 배치하며, 서로 간의 거리가 6.5/8-1 센치미터(cm)가 되도록 6개의 중간 영상을 생성할 수 있다. 이때, 6개의 중간 영상은 각각의 위치에서 깊이지도를 기초로 하여 좌측 영상과 우측 영상을 픽셀별로 비교해 얻어진 중간값의 집합체라 할 수 있다.
끝으로, 다시점 3차원 영상신호 생성 장치(100)의 입체 영상 렌더링부(160)는 좌우 영상 생성부(140)에 의해 생성된 좌측 영상과 우측 영상 및 중간 영상 생성부(150)에 의해 생성된 중간 영상을 이용하여 N개의 시점을 가지는 3차원 영상신호를 렌더링하며(S213), 최종적으로 렌더링된 3차원 영상신호를 출력한다(S215).
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면 2차원 양안 영상신호에 포함된 피사체에 대해 윤곽선의 3차원 영상을 위한 위치값을 먼저 결정한 이후에 그 내부 픽셀들의 3차원 영상을 위한 위치값을 결정한다. 따라서, 움직임 벡터의 추출을 통해 깊이지도를 생성하는 등과 같은 종래 기술과 비교할 때에 상대적으로 더 낮은 연산과정과 더 빠른 생성시간이 제공된다. 그러므로, 고품질의 다시점 3차원 영상신호를 생성함에 있어서 실시간성이 향상된다.
특히, 병원 등과 같은 의료현장에서 내시경 카메라에 의해 촬영된 2차원 영상을 3차원 영상으로 재생하는 경우나 입체 초음파 장비에서 3차원 영상을 재생하는 경우 등과 같이 실시간성이 매우 중요한 전제조건인 기술분야에는 적용이 가능하다.
도 6은 본 발명의 실시예에 따른 다시점 3차원 영상신호 생성 장치를 병원 등과 같은 의료현장에 적용하였을 때의 영상 처리 과정을 설명하기 위한 예시도이다. (a)는 좌안 영상신호와 우안 영상신호이며, (b)는 양안시차를 나타낸 것이고, (c)는 깊이지도를 나타낸 것이다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 다시점 3차원 영상신호 생성 장치
110 : 윤곽선 위치 결정부
120 : 내부 위치 결정부
130 : 깊이지도 생성부
140 : 좌우 영상 생성부
150 : 중간 영상 생성부
160 : 입체 영상 렌더링부

Claims (10)

  1. 삭제
  2. 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 단계와,
    결정된 상기 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계와,
    결정된 상기 윤곽선 및 상기 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 단계와,
    상기 깊이지도를 기초로 하여 상기 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 생성하는 단계와,
    상기 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 단계와,
    상기 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N(단, 8 ≤ N ≤ 128)개의 시점을 가지는 3차원 영상신호를 렌더링하는 단계를 포함하며,
    상기 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 단계는, 2차원의 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출하는 단계와,
    검출된 상기 윤곽선 상의 특징 픽셀들에 대해 상기 좌안 영상신호에서의 위치와 상기 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하는 단계와,
    결정된 상기 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 상기 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정하는 단계를 포함하는 다시점 3차원 영상신호 생성 방법.
  3. 제 2 항에 있어서,
    상기 깊이지도를 생성하는 단계는, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들에 대해 상기 좌안 영상신호에서의 좌표값과 상기 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하는 단계와,
    상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들의 상기 위치값과 상기 깊이값에 의거하여 상기 깊이지도를 생성하는 단계를 포함하는 다시점 3차원 영상신호 생성 방법.
  4. 제 2 항에 있어서,
    상기 중간 영상을 생성하는 단계는, 상기 좌측 영상과 상기 중간 영상 간의 이격거리, 상기 중간 영상과 상기 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, 상기 N개의 시점은 r = a/N-1을 만족하는 위치값을 가지는 다시점 3차원 영상신호 생성 방법.
  5. 제 4 항에 있어서,
    상기 중간 영상을 생성하는 단계는, 상기 중간 영상을 N-2개 이내로 생성하는 다시점 3차원 영상신호 생성 방법.
  6. 삭제
  7. 2차원의 양안 영상신호에 존재하는 동일 피사체의 윤곽선에 대해 3차원 영상을 위한 위치값을 결정하는 윤곽선 위치 결정부와,
    결정된 상기 윤곽선의 3차원 영상을 위한 위치값을 기준으로 하여 내부 픽셀들의 3차원 영상을 위한 위치값을 결정하는 내부 위치 결정부와,
    결정된 상기 윤곽선 및 상기 내부 픽셀들의 위치값을 이용하여 깊이지도를 생성하는 깊이지도 생성부와,
    상기 깊이지도를 기초로 하여 상기 양안 영상신호로부터 서로 다른 시차 정보를 가지는 3차원의 좌측 영상과 우측 영상을 좌우영상 생성부와,
    상기 좌측 영상과 우측 영상을 이용하여 중간 위치의 시점에 해당하는 3차원의 중간 영상을 생성하는 중간 영상 생성부와,
    상기 좌측 영상과 우측 영상 및 중간 영상을 이용하여 N(단, 8 ≤ N ≤ 128)개의 시점을 가지는 3차원 영상신호를 렌더링하는 입체 영상 렌더링부를 포함하며,
    상기 윤곽선 위치 결정부는, 2차원의 좌안 영상신호와 우안 영상신호에 포함된 동일 피사체의 윤곽선을 각각 검출하며, 검출된 상기 윤곽선 상의 특징 픽셀들에 대해 상기 좌안 영상신호에서의 위치와 상기 우안 영상신호에서의 위치를 비교하여 3차원 영상을 위한 위치값을 결정하고, 결정된 상기 특징 픽셀들의 3차원 영상을 위한 위치값을 기준으로 하여 상기 윤곽선 상의 다른 픽셀들의 3차원 영상을 위한 위치값을 결정하는 다시점 3차원 영상신호 생성 장치.
  8. 제 7 항에 있어서,
    상기 깊이지도 생성부는, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들에 대해 상기 좌안 영상신호에서의 좌표값과 상기 우안 영상신호에서의 좌표값을 비교하여 깊이값을 산출하며, 상기 특징 픽셀들과 상기 다른 픽셀들 및 상기 내부 픽셀들의 상기 위치값과 상기 깊이값에 의거하여 상기 깊이지도를 생성하는 다시점 3차원 영상신호 생성 장치.
  9. 제 7 항에 있어서,
    상기 중간 영상 생성부는, 상기 좌측 영상과 상기 중간 영상 간의 이격거리, 상기 중간 영상과 상기 우측 영상 간의 이격거리를 "r"이라 하고, 사람의 동공간 표준 거리를 "a"라고 할 때에, 상기 N개의 시점은 r = a/N-1을 만족하는 위치값을 가지는 다시점 3차원 영상신호 생성 장치.
  10. 제 9 항에 있어서,
    상기 중간 영상 생성부는, 상기 중간 영상을 N-2개 이내로 생성하는 다시점 3차원 영상신호 생성 장치.
KR1020130038634A 2013-04-09 2013-04-09 다시점 3차원 영상신호 생성 방법 및 장치 KR101547281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130038634A KR101547281B1 (ko) 2013-04-09 2013-04-09 다시점 3차원 영상신호 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130038634A KR101547281B1 (ko) 2013-04-09 2013-04-09 다시점 3차원 영상신호 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140122056A KR20140122056A (ko) 2014-10-17
KR101547281B1 true KR101547281B1 (ko) 2015-08-26

Family

ID=51993312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130038634A KR101547281B1 (ko) 2013-04-09 2013-04-09 다시점 3차원 영상신호 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101547281B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921268B1 (ko) * 2016-12-21 2018-11-22 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템

Also Published As

Publication number Publication date
KR20140122056A (ko) 2014-10-17

Similar Documents

Publication Publication Date Title
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
US8817073B2 (en) System and method of processing 3D stereoscopic image
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
TWI496452B (zh) 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
KR20150121127A (ko) 양안 응시 이미징 방법 및 장치
EP2904581B1 (en) Method and apparatus for determining a depth of a target object
CN103679739A (zh) 基于遮挡区域检测的虚拟视图生成方法
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
Han et al. View synthesis using foreground object extraction for disparity control and image inpainting
KR101547281B1 (ko) 다시점 3차원 영상신호 생성 방법 및 장치
Wang et al. Block-based depth maps interpolation for efficient multiview content generation
JP2004007707A (ja) 視差推定方法、画像伝送装置および画像伝送方法
Kao Stereoscopic image generation with depth image based rendering
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
Galabov A real time 2D to 3D image conversion techniques
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
Priya et al. 3d Image Generation from Single 2d Image using Monocular Depth Cues
Tan et al. A system for capturing, rendering and multiplexing images on multi-view autostereoscopic display
Jin et al. Intermediate view synthesis for multi-view 3D displays using belief propagation-based stereo matching
Fatima et al. Quality assessment of 3D synthesized images based on structural and textural distortion
Ince Correspondence Estimation and Intermediate View Reconstruction
KR100400209B1 (ko) 텔레비젼(tv)신호로부터삼차원동영상을발생시키는장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 4