KR20110138733A - 2차원에서 3차원으로의 영상 변환 방법 및 장치 - Google Patents

2차원에서 3차원으로의 영상 변환 방법 및 장치 Download PDF

Info

Publication number
KR20110138733A
KR20110138733A KR1020100058791A KR20100058791A KR20110138733A KR 20110138733 A KR20110138733 A KR 20110138733A KR 1020100058791 A KR1020100058791 A KR 1020100058791A KR 20100058791 A KR20100058791 A KR 20100058791A KR 20110138733 A KR20110138733 A KR 20110138733A
Authority
KR
South Korea
Prior art keywords
pixel
image
depth information
luminance
pixels
Prior art date
Application number
KR1020100058791A
Other languages
English (en)
Other versions
KR101198320B1 (ko
Inventor
서범석
Original Assignee
(주)아이아이에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이아이에스티 filed Critical (주)아이아이에스티
Priority to KR1020100058791A priority Critical patent/KR101198320B1/ko
Priority to US13/134,649 priority patent/US20120087570A1/en
Priority to EP11392005.2A priority patent/EP2398247A3/en
Priority to CN2011101668401A priority patent/CN102333229A/zh
Priority to TW100121625A priority patent/TW201208349A/zh
Priority to JP2011137233A priority patent/JP2012019513A/ja
Publication of KR20110138733A publication Critical patent/KR20110138733A/ko
Application granted granted Critical
Publication of KR101198320B1 publication Critical patent/KR101198320B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 2차원 영상을 3차원 영상으로 변환하는 방법 및 장치에 관한 것이다. 상기 영상 변환 방법은 입력 영상을 휘도 변환하여 휘도 영상으로 변환시키는 단계, 상기 휘도 영상으로부터 깊이 정보들을 가지는 깊이 지도를 생성하는 단계 및 상기 생성된 깊이 지도를 이용하여 상기 입력 영상을 제 1차 시차 처리함에 의해 좌안 영상, 우안 영상 및 재생 영상 중 적어도 하나를 생성하는 단계를 포함한다. 여기서, 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 다만, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미한다.

Description

2차원에서 3차원으로의 영상 변환 방법 및 장치{METHOD AND APPARATUS FOR CONVERTING 2D IMAGE INTO 3D IMAGE}
본 발명은 2차원 영상을 3차원 영상으로 변환하는 방법 및 장치에 관한 것이다.
최근, 아바타 등과 같은 3차원 입체 영화가 흥행하면서 입체 영상에 대한 관심이 높아졌다. 따라서, 대기업들은 3차원 입체 TV를 제조하여 판매하기 시작하였고, 더불어서 3차원 입체 영상 컨텐츠를 제작하기 시작하였다.
그러나, 3차원 입체 영상 컨텐츠는 제작 기간이 길고 비용이 많이 소요되기 때문에, 현재 3차원 입체 영상 컨텐츠의 수는 아주 적다. 따라서, 기간 및 비용 등을 고려하여 2차원 영상을 3차원 영상으로 변환시키는 방법이 필요하게 되었다.
본 발명의 목적은 2차원 영상을 3차원 영상으로 효율적으로 변환할 수 있는 방법 및 장치를 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법은 입력 영상을 휘도 변환하여 휘도 영상으로 변환시키는 단계; 상기 휘도 영상으로부터 깊이 정보들을 가지는 깊이 지도를 생성하는 단계; 및 상기 생성된 깊이 지도를 이용하여 상기 입력 영상을 제 1차 시차 처리함에 의해 좌안 영상, 우안 영상 및 재생 영상 중 적어도 하나를 생성하는 단계를 포함한다. 여기서, 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 다만, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미한다.
상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시킨다.
상기 영상 변환 방법은 상기 깊이 지도를 통하여 상기 입력 영상을 제 2차 시차 처리하여 좌안 영상 또는 우안 영상을 생성하는 단계를 더 포함한다. 여기서, 상기 2차 시차 처리시 현재 처리될 픽셀을 포함한 N개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 다만, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 2차 시차 처리시 대체될 지연 픽셀이 결정되며, 상기 2차 시차 처리시 상기 대체될 지연 픽셀의 지연 정도는 동일한 깊이 정보들의 배열에 대하여 상기 제 1차 시차 처리시 상기 대체될 지역 픽셀의 지연 정도보다 더 크다.
상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다르다.
상기 깊이 정보들은 0 또는 1로 이루어지며, 4개의 깊이 정보들의 배열(4비트)을 기준으로 상기 입력 영상을 시차 처리한다.
상기 휘도 영상으로 변환시키는 단계는 상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체하는 단계를 포함한다. 상기 깊이 지도를 생성하는 단계는 상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 단계; 상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하는 단계; 상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 단계; 및 상기 전체 평균 휘도(μT OT AL) 및 상기 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 단계를 포함한다. 여기서, μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며, μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μT OT AL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보는 1이다.
상기 깊이 지도를 생성하는 단계는 상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리하는 단계를 더 포함한다.
상기 깊이 정보들을 생성하는 단계는 0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하는 단계; 상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하는 단계; 및 상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고, 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성한다.
상기 영상 변환 방법은 상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우에만 해당 픽셀의 깊이 정보를 1로 처리한다.
본 발명의 다른 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법은 휘도 특성을 이용하여 2차원 입력 영상을 0 또는 1의 깊이 정보들을 가지는 깊이 지도를 생성하는 단계; 및 상기 생성된 깊이 지도를 통하여 상기 입력 영상을 시차 처리하여 좌안 영상 또는 우안 영상을 생성하는 단계를 포함한다. 여기서, 상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시킨다.
상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 여기서, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미한다.
상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다르다. 여기서, N개의 깊이 정보들의 배열(N비트)을 기준으로 상기 입력 영상을 시차 처리한다.
상기 깊이 지도를 생성하는 단계는 상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체하는 단계; 상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 단계; 상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하는 단계; 상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 단계; 및 상기 전체 평균 휘도(μTOTAL) 및 상기 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 단계를 포함한다. 여기서, μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며, μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μT OT AL이면 상기 픽셀의 깊이 정보는 1이다.
상기 깊이 지도를 생성하는 단계는 상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리하는 단계를 더 포함한다. 상기 깊이 정보들을 생성하는 단계는 0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하는 단계; 상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하는 단계; 및 상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고, 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성하는 단계를 포함한다.
상기 영상 변환 방법은 상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우 해당 깊이 정보를 1로 처리한다.
본 발명의 일 실시예에 따른 2차원에서 3차원으로의 영상 변환 장치는 2차원 입력 영상을 휘도 변환하여 휘도 영상으로 변환시키는 휘도 변환부; 상기 휘도 영상으로부터 깊이 정보들을 가지는 깊이 지도를 생성하는 깊이 지도부; 및 상기 생성된 깊이 지도를 통하여 상기 입력 영상을 시차 처리하여 좌안 영상, 우안 영상 및 재생 영상 중 적어도 하나를 생성하는 재생 영상부를 포함한다. 여기서, 상기 재생 영상부는 상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시킨다.
상기 재생 영상부는 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 여기서, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미한다.
상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다르다. 여기서, N개의 깊이 정보들의 배열(N비트)을 기준으로 상기 입력 영상을 시차 처리한다.
상기 휘도 변환부는 상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체한다. 상기 깊이 지도부는 상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 샘플링부; 상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하고, 상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 휘도 계산부; 및 상기 전체 평균 휘도(μTOTAL) 및 상기 상위 부분의 평균 휘도(μP A RT)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 깊이 지도 생성부를 포함한다. 여기서, μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μT OT AL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며, μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보는 1이다.
상기 깊이 지도 생성부는 상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리한다.
상기 깊이 정보 생성부는 0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하고, 상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하며, 상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성한다.
상기 깊이 정보 생성부는 상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우에만 해당 깊이 정보를 1로 처리한다.
본 발명에 따른 영상 변환 방법은 2차원 입력 영상을 시차 처리 규칙에 따라 시차 처리하여 3차원 영상으로 변환시킬 수 있다. 특히, 상기 영상 변환 방법은 상기 입력 영상에 대하여 복수의 시차 처리 과정들을 수행하여 입체감을 더 두드러지게 표현할 수 있다.
도 1은 본 발명의 제 1 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 샘플 영상 획득 과정을 도시한 사시도이다.
도 3은 본 발명의 일 실시예에 따른 객체 분리 과정을 도시한 도면이다.
도 4는 본 발명의 제 2 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 경계 분리 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 합성 및 노이즈 처리에 사용되는 마스크를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체 합성 및 노이즈 처리 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 변환 장치를 도시한 블록도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예들을 자세히 설명하도록 한다.
본 실시예의 영상 변환 방법은 2차원 입력 영상, 예를 들어 RGB 영상을 3차원 영상으로 변환하는 방법에 관한 것으로서, 2차원 입력 영상을 이용하여 재생 영상을 생성시킨다.
이하, 본 발명의 영상 변환 과정들에 대한 실시예들을 첨부된 도면들을 참조하여 상술하겠다.
도 1은 본 발명의 제 1 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법을 도시한 순서도이고, 도 2는 본 발명의 일 실시예에 따른 샘플 영상 획득 과정을 도시한 사시도이다.
도 1을 참조하면, 본 실시예의 영상 변환 방법은 입력 영상의 픽셀들의 화소값들을 휘도값들로 변환시킨다(S100).
일반적으로, 컬러 좌표계로는 CMY 컬러 좌표계, RGB 컬러 좌표계, HSI 컬러 좌표계, YUV 컬러 좌표계 등 다양한 좌표계들이 사용된다. 본 발명은 상기 좌표계들을 임의로 선택하여 사용할 수 있으나, 설명의 편의를 위하여 RGB 컬러 좌표계 또는 YUV 컬러 좌표계를 사용하겠다.
상기 좌표계를 이용하면 상기 입력 영상의 픽셀들의 화소값들은 아래의 수학식 1을 통하여 휘도값들로 변환된다.
Figure pat00001
여기서, SY(i,j)는 변환된 휘도값이고, SR(i,j), SG(i,j) 및 SB(i,j)는 각기 입력 영상에 포함된 픽셀의 R, G 및 B 휘도값을 의미하며, δ(i,j)는 단위 표본 임펄스 신호이다.
수학식 1에 보여지는 바와 같이, 상기 입력 영상의 픽셀들의 화소값들은 휘도값들로 변환되며, 즉 상기 입력 영상이 휘도값들로 표현된 휘도 영상(200)으로 변환된다.
이어서, 상기 영상 변환 방법은 운동 시차의 효율적인 계산과 실시간 처리를 위한 하드웨어의 복잡도를 고려하여 도 2에 도시된 바와 같이 휘도 영상(200)의 픽셀들을 샘플링(Sampling)하여 샘플 영상(202)을 획득한다(S102). 결과적으로, 샘플 영상(202)도 휘도값으로 된 픽셀들로 이루어진다.
본 발명의 일 실시예에 따르면, 상기 영상 변환 방법은 샘플 영상(202)이 휘도 영상(200)을 대표할 수 있도록 휘도 영상(200)의 픽셀들을 도 2에 도시된 바와 같이 등간격으로 샘플링할 수 있다. 이 경우, 샘플 영상(202)의 휘도 분포 특성은 휘도 영상(200)의 휘도 분포 특성과 동일하다. 즉, 샘플 영상(202)에 대한 히스토그램의 평균 및 표준 편차는 휘도 영상(200)에 대한 히스토그램의 평균 및 표준 편차와 동일하다. 한편, 샘플링되는 픽셀들의 수에는 특별한 제한이 없다.
계속하여, 상기 영상 변환 방법은 샘플 영상(202)을 이용하여 상기 입력 영상에 대한 깊이 지도(Depth Map)를 생성한다(S104).
이어서, 상기 영상 변환 방법은 상기 생성된 깊이 지도를 이용하여 상기 입력 영상을 시차 처리하여 재생 영상을 생성한다(S106).
이하, 상기 깊이 지도를 생성하는 과정(S104) 및 상기 시차 처리하는 과정(S106)을 첨부된 도면들을 참조하여 상술하겠다.
우선, 상기 깊이 지도를 생성하는 과정(S104)을 설명하겠다.
도 3은 본 발명의 일 실시예에 따른 객체 분리 과정을 도시한 도면이다. 다만, 입력 영상(200)에서 객체의 수직 위치가 높은 경우 상대적으로 원거리에 있는 객체로 가정하고, 객체의 수직 위치가 낮은 경우 상대적으로 근거리에 있는 객체로 가정한다.
본 실시예의 상기 영상 변환 방법은 객체를 분리시키기 위하여 도 3에 도시된 바와 같이 샘플 영상(202)을 상하로 분할하고, 그런 후 샘플 영상(202)의 전체 평균 휘도(μTOTAL) 및 상위 부분(300)의 평균 휘도(μPART)를 계산한다.
한편, 입력 영상(200)의 픽셀들의 휘도값(SY)이 전체 평균 휘도(μTOTAL) 및 상위 부분(300)의 평균 휘도(μPART) 사이의 경계를 왔다갔다 하는 경우, 상기 깊이 지도의 깊이 정보들이 빠르게 변화하여 화면의 깜박거림이 발생할 수 있다. 따라서, 상기 깜박거림을 방지하기 위하여 아래의 수학식 2 및 수학식 3과 같이 휘도값을 재설정한다. 다만, 휘도 레벨은 256 레벨로 가정한다.
Figure pat00002
Figure pat00003
이어서, 상기 영상 변환 방법은 전체 평균 휘도(μTOTAL) 및 상위 부분(300)의 평균 휘도(μPART)를 이용하여 깊이 정보들을 가지는 상기 깊이 지도를 생성한다.
본 발명의 일 실시예에 따르면, 상기 영상 변환 방법은 상기 입력 영상의 픽셀이 객체에 해당하면 픽셀의 깊이 정보를 0으로 설정하고, 픽셀이 배경에 해당하면 픽셀의 깊이 정보를 1로 설정한다.
구체적으로는, 상기 영상 변환 방법은 μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보를 0으로 설정하고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보를 1로 설정한다. 또한, 상기 영상 변환 방법은 μTOTAL<μP A RT일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보를 0으로 설정하고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보를 1로 설정한다.
위와 같은 방법을 상기 입력 영상의 모든 픽셀들에 적용하여 상기 깊이 지도를 생성한다. 결과적으로, 상기 깊이 지도는 0 또는 1을 가지는 깊이 정보들로 이루어진다. 물론, 상기 깊이 지도의 깊이 정보들은 후술하는 바와 같이 0, 1 외에도 2, 3 등을 추가적으로 가질 수도 있다.
다음으로, 상기 시차 처리하는 과정(S106)을 자세히 설명하겠다.
본 실시예의 영상 변환 방법은 상기 생성된 깊이 지도를 이용하여 상기 입력 영상을 시차 처리하여 좌안 영상 및 우안 영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 상기 영상 변환 방법은 상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시킬 수 있다.
본 발명의 다른 실시예에 따르면, 상기 영상 변환 방법은 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체한다. 여기서, 상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미한다.
본 발명의 또 다른 실시예에 따르면, 상기 영상 변환 방법은 N개의 픽셀들에 대한 깊이 정보들이 '1'로 종결되는 경우 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 깊이 정보들이 '0'으로 종결되는 경우에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시킬 수 있다.
이하, 상기 시차 처리 방법을 예를 들어 설명하겠다. 다만, N은 4로 가정한다.
좌안 영상 시차 처리 규칙
깊이 지도 지연 픽셀
1110 지연 2
1100 지연 3
0010 지연 4
default 지연 1
우안 영상 시차 처리 규칙
깊이 지도 지연 픽셀
0001 지연 2
0011 지연 3
1111 지연 4
default 지연 1
시차 처리 결과
입력 영상
 D1 D2 D3 D4 D5 D6 D7
1 1 1 1 0 0 0
좌안 영상 - - - D4
지연1		 D4
지연2		 D4
지연3		 D7
지연1
우안 영상 - - - D1
지연4		 D5
지연1		 D6
지연1		 D7
지연1
재생 영상 - - - D4 D5 D4 D7
표 1 및 표 3을 참조하면, '1111'이 입력되면 좌안 영상 시차 처리 규칙에 따르면 default인 지연 1이 D4의 값으로 대체된다. 여기서, 지연 1은 현재 처리되는 픽셀, 즉 D4에 해당하는 픽셀이다. 즉, '1111'이 입력되면 D4의 픽셀의 화소값이 그대로 유지된다.
이어서, D5 픽셀을 살펴보면, 연속적인 4개의 픽셀을 고려하면 '1110'이 된다. 이 경우, 상기 좌안 영상 시차 처리 규칙에 따르면 지연 2가 D5의 값으로 대체된다. 여기서, 지연 2는 현재 처리되는 픽셀(D5)을 기준으로 좌측 첫번째 값이므로, D5의 픽셀의 화소값은 D4의 화소값으로 대체된다.
계속하여, D6 픽셀을 살펴보면, 연속적인 4개의 픽셀을 고려하면 '1100'이 된다. 이 경우, 상기 좌안 영상 시차 처리 규칙에 따르면 지연 3이 D6의 값으로 대체된다. 여기서, 지연 3는 현재 처리되는 픽셀(D6)을 기준으로 좌측 두번째 값이므로, D6의 픽셀의 화소값은 D4의 화소값으로 대체된다.
위와 같은 방법을 통하여 좌안 영상이 생성된다. 물론, 위와 유사한 방법으로 우안 영상은 표 2에 도시된 우산 영상 시차 처리 규칙에 따라 생성된다.
본 발명의 일 실시예에 따르면, 재생 영상은 표 3에 도시된 바와 같이 한 픽셀이 좌안 영상의 값을 가지면 다음 픽셀은 우안 영상의 값을 가지도록 구성된다. 따라서, 상기 재생 영상을 출력시키면 상기 좌안 영상과 상기 우안 영상이 교대로 출력되는 것과 동일한 효과가 발생하며, 즉 3차원 영상이 출력된다.
본 발명의 다른 실시예에 따르면, 상기 재생 영상을 별도로 생성하지 않고 상기 좌안 영상과 상기 우안 영상을 교대로 출력하여 3차원 영상을 출력할 수도 있다.
요컨대, 본 실시예의 영상 처리 방법은 예를 들어 0 또는 1로 구성된 깊이 정보들을 가지는 깊이 지도를 생성하고, 상기 깊이 지도의 깊이 정보들의 배열 및 좌우 영상의 시차 처리 규칙들에 따라 상기 입력 영상을 이용하여 상기 좌안 영상 및 상기 우안 영상을 생성시킨다. 여기서, 상기 시차 처리 규칙들을 살펴보면, 상기 깊이 정보들의 배열에 따라 해당 픽셀의 지연값이 달라진다.
위에서는, N을 4로 가정하였지만 다른 값으로 설정될 수도 있다.
위에서 설명하지는 않았지만, 본 발명의 영상 변환 방법은 복수의 시차 처리 과정을 수행할 수도 있다.
예를 들어, 상기 영상 변환 방법은 위에 설명한 바와 같이 1차로 시차 처리를 한 후 2차 시차 처리를 더 수행할 수도 있다.
물론, 상기 2차 시차 처리 방식은 상기 1차 시차 처리 방식과 유사하다. 다만, 상기 2차 시차 처리 방식에 사용되는 시차 처리 규칙은 상기 1차 시차 처리 방식에 사용되는 시차 처리 규칙과 다를 수 있다. 예를 들어, 상기 2차 시차 처리시에 적용되는 시차 처리 규칙의 지연값은 상기 1차 시차 처리시에 적용되는 시차 처리 규칙의 지연값보다 크게 설정된다. 예를 들어, '1110'에 대하여 상기 1차 시차 처리시에는 지연 2가 적용되었지만 상기 2차 시차 처리시에는 지연 3이 적용될 수 있다.
위와 같이 상기 2차 시차 처리를 수행하면, 상기 3차원 영상의 입체 영상이 입체감이 더 잘 표현될 수 있다.
물론, 3차 시차 처리, 4차 시차 처리 등이 더 수행될 수 있다. 이 경우에도 3차원 영상의 입체감을 더 잘 표현하기 위하여 위에 설명한 바와 같이 더 큰 지연값을 가지도록 설정된다.
위에서는 설명하지 않았지만, 상기 영상 변환 방법은 자막의 경우 부가적인 처리 과정을 더 포함할 수 있다. 일반적으로 자막은 적은 양의 픽셀들로 구성되기 때문에 위의 시차 처리만을 수행하면 화면의 자막이 깨질 수 있다. 따라서, 상기 화면의 자막이 깨지는 문제를 해결하기 위하여 깊이 지도에서 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수(예를 들어 6) 이상으로 나오는 경우에만 해당 깊이 정보들을 1로 처리하고, 나머지 경우에는 해당 깊이 정보들을 0으로 처리할 수 있다.
도 4는 본 발명의 제 2 실시예에 따른 2차원에서 3차원으로의 영상 변환 방법을 도시한 순서도이고, 도 5는 본 발명의 일 실시예에 따른 경계 분리 과정을 도시한 도면이다. 도 6은 본 발명의 일 실시예에 따른 객체 합성 및 노이즈 처리에 사용되는 마스크를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 객체 합성 및 노이즈 처리 결과를 도시한 도면이다.
도 4를 참조하면, 본 실시예의 영상 변환 방법은 입력 영상의 픽셀들의 화소값들을 휘도값들로 변환시켜 휘도 영상을 생성시킨다(S400).
이어서, 상기 영상 변환 방법은 상기 휘도 영상의 픽셀들을 샘플링하여 샘플 영상을 획득한다(S402).
계속하여, 상기 영상 변환 방법은 상기 샘플 영상에 대하여 움직임을 검출하고 영역을 분할한다(S404).
이어서, 상기 영상 변환 방법은 경계를 고려하여 제 1 깊이 지도를 생성한다(S406).
계속하여, 상기 영상 변환 방법은 상기 제 1 깊이 지도에 대하여 객체 합성 및 노이즈 처리하여 제 2 깊이 지도를 생성한다(S408). 여기서, 상기 제 2 깊이 지도는 제 1 실시예에서의 깊이 지도에 해당한다.
이어서, 상기 영상 변환 방법은 상기 생성된 제 2 깊이 지도를 이용하여 상기 입력 영상을 시차 처리하여 3차원 영상을 생성한다(S410).
정리하면, 본 실시예의 영상 변환 방법 중 S406 및 S408을 제외한 나머지 과정들은 제 1 실시예에서와 동일하므로, 이하 동일한 과정들에 대한 설명은 생략하겠다.
우선, 상기 제 1 깊이 지도를 생성하는 과정(S406)을 살펴보겠다.
본 발명의 영상 변환 방법은 위에서 상술한 바와 같이 상기 입력 영상을 휘도를 기준으로 하여 영역 분할한다. 그러나, 이러한 영역 분할 방법을 사용하면 상기 입력 영상 내의 경계 부분이 명확하지 않아서 객체들이 정확하게 분리되지 않는 경우가 발생할 수 있다. 따라서, 본 실시예의 영상 변환 방법은 상기 경계 부분을 명확하게 하기 위한 아래와 같은 별도의 처리 과정을 더 수행할 수 있다.
도 5를 참조하면, 특정 픽셀(500)과 이웃하는 픽셀(502)의 휘도 차이가 기설정된 레벨을 초과하는 경우, 픽셀(500) 이후의 K(양수임)개의 픽셀들(504 또는 506)을 0 또는 1로 처리할 수 있다.
예를 들어, Y2>Y0+16인 경우 픽셀들(504)은 1로 처리되고, Y2+16<Y0인 경우 픽셀들(506)은 0으로 처리될 수 있다.
즉, 급격하게 휘도가 변화되는 부분은 경계 부분으로 판단할 수 있으므로, 상기 영상 변환 방법은 급격하게 휘도가 변화되는 부분에 대하여 위와 같은 처리 과정을 수행하여 상기 경계 부분을 명확하게 표현한다.
다음으로, 상기 제 1 깊이 지도에 대하여 객체 합성 및 노이즈 처리하여 상기 제 2 깊이 지도를 생성하는 과정(S408)을 살펴보겠다.
상기 영상 변환 방법은 0 또는 1로 이루어진 깊이 정보들을 가지는 제 1 깊이 지도에 대하여 상기 깊이 정보들을 0, 1, 2 및 3으로 분리시킬 수 있다. 물론, 0, 1, 2, 3으로 한정되는 것은 아니며 다양하게 변형될 수 있다.
예를 들어, SY<μTOTAL인 경우 SY가 (μTOTAL/2)보다 작으면 해당 픽셀의 깊이 정보를 0으로 설정하고 크면 1로 설정한다.
또한, SY≥μTOTAL인 경우 SY가 ((255+μTOTAL)/2)보다 작으면 해당 픽셀의 깊이 정보를 2로 설정하고 크면 3으로 설정한다.
이어서, 상기 영상 변환 방법은 도 6에 도시된 바와 같은 마스크(600)를 이용하여 상기 깊이 지도를 평활화한다. 예를 들어, 상기 영상 변환 방법은 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고, 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체할 수 있다. 결과적으로, 상기 제 2 깊이 지도도 상기 제 1 깊이 지도와 마찬가지로 0 및 1로 이루어진 깊이 정보들을 가지게 된다.
도 7을 참조하여 실험 결과를 살펴보면, 상기 제 1 깊이 지도에 대하여 객체 합성 및 노이즈 처리하면 이러한 과정을 수행하지 않았을 때보다 원본 영상인 입력 영상을 더 잘 반영하고 경계 부분 등이 명확하게 처리됨을 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 변환 장치를 도시한 블록도이다.
도 8을 참조하면, 본 실시예의 영상 변환 장치(800)는 제어부(810), 저장부(812), 휘도 변환부(814), 깊이 지도부(816) 및 재생 영상부(818)를 포함한다.
저장부(812)는 원본 영상인 입력 영상을 저장하며, 상기 입력 영상을 시차 처리함에 의해 생성된 좌안 영상, 우안 영상 또는 재생 영상을 저장할 수도 있다.
휘도 변환부(814)는 상기 입력 영상의 픽셀들의 화소값들을 휘도값들로 변환하여 휘도 영상을 생성한다.
깊이 지도부(816)는 상기 입력 영상을 시차 처리하는 역할을 수행하며, 샘플링부(820), 휘도 계산부(822) 및 깊이 지도 생성부(824)를 포함한다.
샘플링부(820)는 상기 휘도 영상의 픽셀들을 샘플링하여 샘플 영상을 생성시킨다.
휘도 계산부(822)는 상기 샘플 영상의 전체 평균 휘도(μTOTAL) 및 상위 부분의 평균 휘도(μPART)를 계산한다.
깊이 지도 생성부(824)는 상기 샘플 영상의 전체 평균 휘도(μTOTAL) 및 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상에 대한 깊이 지도를 생성한다.
본 발명의 다른 실시예에 따르면, 깊이 지도 생성부(824)는 상기 입력 영상에 대하여 경계 처리를 더 수행한 후 상기 깊이 지도를 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 깊이 지도 생성부(824)는 0 또는 1로 이루어진 깊이 지도의 깊이 정보들을 0, 1, 2, 3 등으로 분리한 후 마스크를 이용하여 평활화하여 새로운 깊이 지도를 생성할 수도 있다.
본 발명의 또 다른 실시예에 따르면, 깊이 지도 생성부(824)는 자막 부분에 대하여 별도의 처리를 수행할 수도 있다.
재생 영상부(818)는 상기 깊이 지도를 이용하여 상기 입력 영상에 대하여 시차 처리하여 좌안 영상, 우안 영상 또는 재생 영상을 생성시킨다.
제어부(810)는 영상 변환 장치(800)의 구성 요소들의 동작을 전반적으로 제어한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
200 : 입력 영상 202 : 샘플 영상
300 : 상위 부분 600 : 마스크
800 : 영상 변환 장치 810 : 제어부
812 : 저장부 814 : 휘도 변환부
816 : 깊이 지도부 818 : 재생 영상부
820 : 샘플링부 822 : 휘도 계산부
824 : 깊이 지도 생성부

Claims (22)

  1. 입력 영상을 휘도 변환하여 휘도 영상으로 변환시키는 단계;
    상기 휘도 영상으로부터 깊이 정보들을 가지는 깊이 지도를 생성하는 단계; 및
    상기 생성된 깊이 지도를 이용하여 상기 입력 영상을 제 1차 시차 처리함에 의해 좌안 영상, 우안 영상 및 재생 영상 중 적어도 하나를 생성하는 단계를 포함하고,
    상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체하되,
    상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  2. 제1항에 있어서, 상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시키는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  3. 제1항에 있어서, 상기 영상 변환 방법은,
    상기 깊이 지도를 통하여 상기 입력 영상을 제 2차 시차 처리하여 좌안 영상 또는 우안 영상을 생성하는 단계를 더 포함하고,
    상기 2차 시차 처리시 현재 처리될 픽셀을 포함한 N개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체하되,
    상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 2차 시차 처리시 대체될 지연 픽셀이 결정되며, 상기 2차 시차 처리시 상기 대체될 지연 픽셀의 지연 정도는 동일한 깊이 정보들의 배열에 대하여 상기 제 1차 시차 처리시 상기 대체될 지역 픽셀의 지연 정도보다 더 큰 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  4. 제1항에 있어서, 상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다른 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  5. 제4항에 있어서, 상기 깊이 정보들은 0 또는 1로 이루어지며, 4개의 깊이 정보들의 배열(4비트)을 기준으로 상기 입력 영상을 시차 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  6. 제1항에 있어서, 상기 휘도 영상으로 변환시키는 단계는,
    상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체하는 단계를 포함하고,
    상기 깊이 지도를 생성하는 단계는,
    상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 단계;
    상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하는 단계;
    상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 단계; 및
    상기 전체 평균 휘도(μTOTAL) 및 상기 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 단계를 포함하되,
    μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며,
    μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보는 1인 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  7. 제6항에 있어서, 상기 깊이 지도를 생성하는 단계는,
    상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리하는 단계를 더 포함하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  8. 제6항에 있어서, 상기 깊이 정보들을 생성하는 단계는,
    0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하는 단계;
    상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하는 단계; 및
    상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고, 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  9. 제1항에 있어서, 상기 영상 변환 방법은,
    상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우에만 해당 픽셀의 깊이 정보를 1로 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  10. 휘도 특성을 이용하여 2차원 입력 영상을 0 또는 1의 깊이 정보들을 가지는 깊이 지도를 생성하는 단계; 및
    상기 생성된 깊이 지도를 통하여 상기 입력 영상을 시차 처리하여 좌안 영상 또는 우안 영상을 생성하는 단계를 포함하되,
    상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시키는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  11. 제10항에서, 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체하되,
    상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  12. 제11항에 있어서, 상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다르되,
    N개의 깊이 정보들의 배열(N비트)을 기준으로 상기 입력 영상을 시차 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  13. 제11항에 있어서, 상기 깊이 지도를 생성하는 단계는,
    상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체하는 단계;
    상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 단계;
    상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하는 단계;
    상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 단계; 및
    상기 전체 평균 휘도(μTOTAL) 및 상기 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 단계를 포함하되,
    μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며,
    μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보는 1인 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  14. 제13항에 있어서, 상기 깊이 지도를 생성하는 단계는,
    상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리하는 단계를 더 포함하고,
    상기 깊이 정보들을 생성하는 단계는,
    0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하는 단계;
    상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하는 단계; 및
    상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고, 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  15. 제11항에 있어서, 상기 영상 변환 방법은,
    상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우 해당 깊이 정보를 1로 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 방법.
  16. 2차원 입력 영상을 휘도 변환하여 휘도 영상으로 변환시키는 휘도 변환부;
    상기 휘도 영상으로부터 깊이 정보들을 가지는 깊이 지도를 생성하는 깊이 지도부; 및
    상기 생성된 깊이 지도를 통하여 상기 입력 영상을 시차 처리하여 좌안 영상, 우안 영상 및 재생 영상 중 적어도 하나를 생성하는 재생 영상부를 포함하되,
    상기 재생 영상부는 상기 우안 영상으로 시차 처리시에는 양시차를 적용하여 해당 픽셀을 우측으로 지연시키고, 상기 좌안 영상으로 시차 처리시에는 음시차를 적용하여 해당 픽셀을 좌측으로 지연시키는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  17. 제16항에서, 상기 재생 영상부는 상기 시차 처리시 현재 처리될 픽셀을 포함한 N(2이상의 정수임)개의 픽셀들의 깊이 정보들을 고려하여 상기 현재 처리될 픽셀의 화소값을 지연 픽셀의 화소값으로 대체하되,
    상기 N개의 픽셀들의 깊이 정보들의 배열에 따라 상기 대체될 지연 픽셀이 결정되며, 상기 지연 픽셀은 상기 현재 처리될 픽셀을 기준으로 M(0이상의 정수임)개 이전의 픽셀을 의미하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  18. 제17항에 있어서, 상기 좌안 영상으로의 시차 처리시 상기 지연 픽셀을 선택하는 시차 처리 규칙은 동일한 깊이 정보들의 배열에 대하여 상기 우안 영상으로의 시차 처리시 상기 지역 픽셀을 선택하는 시차 처리 규칙과 다르되,
    N개의 깊이 정보들의 배열(N비트)을 기준으로 상기 입력 영상을 시차 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  19. 제17항에 있어서, 상기 휘도 변환부는 상기 입력 영상의 픽셀들의 화소값을 휘도값으로 대체하며,
    상기 깊이 지도부는,
    상기 휘도 영상의 픽셀들을 균등 간격으로 샘플링하여 샘플 영상을 획득하는 샘플링부;
    상기 샘플 영상의 전체 평균 휘도(μTOTAL)를 계산하고, 상기 샘플 영상을 상하로 분리한 후 상위 부분의 평균 휘도(μPART)를 계산하는 휘도 계산부; 및
    상기 전체 평균 휘도(μTOTAL) 및 상기 상위 부분의 평균 휘도(μPART)를 이용하여 상기 입력 영상의 픽셀들에 대한 깊이 정보들을 생성하는 깊이 지도 생성부를 포함하되,
    μTOTAL≥μPART일 때 해당 픽셀의 휘도(SY(i,j))≥μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)<μTOTAL이면 상기 픽셀의 깊이 정보는 1이며,
    μTOTAL<μPART일 때 해당 픽셀의 휘도(SY(i,j))<μTOTAL이면 상기 픽셀의 깊이 정보는 0이고 SY(i,j)≥μTOTAL이면 상기 픽셀의 깊이 정보는 1인 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  20. 제19항에 있어서, 상기 깊이 지도 생성부는 상기 입력 영상에서 경계라 판단되는 경우 특정 픽셀과 상기 픽셀과 이웃하는 다른 픽셀과의 휘도 차이가 기설정된 레벨을 초과하는 경우 상기 특정 픽셀 이후의 D(양수임)개의 픽셀들을 0 또는 1로 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  21. 제19항에 있어서, 상기 깊이 정보 생성부는 0 또는 1을 가지는 깊이 정보를 0, 1, 2 및 3으로 분리하고, 상기 분리된 깊이 정보들을 가지는 깊이 지도를 마스크를 이용하여 평활화하며, 상기 평활화된 영상 중 상기 깊이 정보가 0과 1.5 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 0으로 대체하고 상기 평활화된 영상 중 상기 깊이 정보과 1.5와 3 사이의 픽셀인 경우 상기 픽셀의 깊이 정보를 1로 대체하여 새로운 깊이 지도를 생성하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
  22. 제11항에 있어서, 상기 깊이 정보 생성부는 상기 입력 영상 중 자막 부분의 경우에는 1을 가지는 깊이 정보들이 연속적으로 기설정된 개수 이상으로 나오는 경우에만 해당 깊이 정보를 1로 처리하는 것을 특징으로 하는 2차원에서 3차원으로의 영상 변환 장치.
KR1020100058791A 2010-06-21 2010-06-21 2차원에서 3차원으로의 영상 변환 방법 및 장치 KR101198320B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100058791A KR101198320B1 (ko) 2010-06-21 2010-06-21 2차원에서 3차원으로의 영상 변환 방법 및 장치
US13/134,649 US20120087570A1 (en) 2010-06-21 2011-06-13 Method and apparatus for converting 2D image into 3D image
EP11392005.2A EP2398247A3 (en) 2010-06-21 2011-06-20 Method and apparatus for converting 2D image into 3D image
CN2011101668401A CN102333229A (zh) 2010-06-21 2011-06-21 将二维影像转换为三维影像的方法及其装置
TW100121625A TW201208349A (en) 2010-06-21 2011-06-21 Method and apparatus for converting 2D image into 3D image
JP2011137233A JP2012019513A (ja) 2010-06-21 2011-06-21 ２ｄ画像を３ｄ画像に変換するための方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100058791A KR101198320B1 (ko) 2010-06-21 2010-06-21 2차원에서 3차원으로의 영상 변환 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110138733A true KR20110138733A (ko) 2011-12-28
KR101198320B1 KR101198320B1 (ko) 2012-11-06

Family

ID=44908153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100058791A KR101198320B1 (ko) 2010-06-21 2010-06-21 2차원에서 3차원으로의 영상 변환 방법 및 장치

Country Status (6)

Country Link
US (1) US20120087570A1 (ko)
EP (1) EP2398247A3 (ko)
JP (1) JP2012019513A (ko)
KR (1) KR101198320B1 (ko)
CN (1) CN102333229A (ko)
TW (1) TW201208349A (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
JP2012253666A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像理装置および方法、並びにプログラム
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN109685885B (zh) * 2017-10-18 2023-05-23 上海质尊电子科技有限公司 一种利用深度图转换3d图像的快速方法
CN112069864B (zh) * 2019-06-11 2024-09-24 杭州萤石软件有限公司 3d静脉图像确定方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100659206B1 (ko) * 2002-08-20 2006-12-19 가즈나리 에라 입체 화상을 작성하는 방법 및 장치
KR100505334B1 (ko) * 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
CN101271578B (zh) * 2008-04-10 2010-06-02 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
JP4591548B2 (ja) * 2008-06-04 2010-12-01 ソニー株式会社 画像符号化装置及び画像符号化方法
CN102150433B (zh) * 2008-09-18 2014-04-09 松下电器产业株式会社 立体视觉影像再现装置及立体视觉影像显示装置
JP5024632B2 (ja) * 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN101702781A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 基于光流法的2d转3d方法
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム

Also Published As

Publication number Publication date
EP2398247A2 (en) 2011-12-21
TW201208349A (en) 2012-02-16
JP2012019513A (ja) 2012-01-26
KR101198320B1 (ko) 2012-11-06
EP2398247A3 (en) 2013-05-29
CN102333229A (zh) 2012-01-25
US20120087570A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
KR101198320B1 (ko) 2차원에서 3차원으로의 영상 변환 방법 및 장치
CN111630571B (zh) 处理点云
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
US8488868B2 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
EP3266208B1 (en) Content-adaptive perceptual quantization for high dynamic range images
US9525858B2 (en) Depth or disparity map upscaling
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
JP2013527646A5 (ko)
TWI712990B (zh) 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體
JP4949463B2 (ja) アップスケーリング
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20100053237A (ko) 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
CN114208200A (zh) 处理点云
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
RU2767775C1 (ru) Обработка облака точек
US20220295020A1 (en) Electro-optical transfer function conversion and signal legalization
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
WO2022073816A1 (en) A method and an apparatus for reconstructing an occupancy map of a point cloud frame
JP5254297B2 (ja) 画像処理装置
EP3713241A1 (en) Processing a point cloud
CN113614786A (zh) 处理点云
KR20090063101A (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
WO2013045468A1 (en) Adaptive colorspace conversion for 3d steroscopic disparity estimation
TW201208344A (en) System and method of enhancing depth of a 3D image

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100621

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20100907

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20111128

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120926

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121031

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121101

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151023

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161025

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20181025

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191029

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201125

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211025

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221031

Start annual number: 11

End annual number: 11

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240811