KR101694522B1 - 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치 - Google Patents

2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치 Download PDF

Info

Publication number
KR101694522B1
KR101694522B1 KR1020140015521A KR20140015521A KR101694522B1 KR 101694522 B1 KR101694522 B1 KR 101694522B1 KR 1020140015521 A KR1020140015521 A KR 1020140015521A KR 20140015521 A KR20140015521 A KR 20140015521A KR 101694522 B1 KR101694522 B1 KR 101694522B1
Authority
KR
South Korea
Prior art keywords
image
frame
depth map
generating
region
Prior art date
Application number
KR1020140015521A
Other languages
English (en)
Other versions
KR20150094345A (ko
Inventor
김혜선
남승우
반윤지
장경호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140015521A priority Critical patent/KR101694522B1/ko
Priority to US14/609,876 priority patent/US20150229903A1/en
Publication of KR20150094345A publication Critical patent/KR20150094345A/ko
Application granted granted Critical
Publication of KR101694522B1 publication Critical patent/KR101694522B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

2차원 동영상을 3차원 동영상으로 변환하는 장치는 매 프레임마다 움직임 정보를 이용하여 이전 프레임의 복수의 영역 영상을 갱신하고, 상기 이전 프레임의 각 영역 영상의 깊이 정보를 다음 프레임의 해당 영역 영상에 부여하여 상기 매 프레임의 깊이맵 영상을 생성한 후 상기 매 프레임의 깊이맵 영상을 이용하여 상기 매 프레임의 입체 영상을 생성한다.

Description

2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치{METHOD AND APPARATUS FOR CONVERTING 2D VIDEO IMAGE INTO 3D VIDEO IMAGE}
본 발명은 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치에 관한 것으로, 자세하게 말하면 입력되는 연속된 2차원 동영상을 사용자의 개입 없이 3차원 입체 동영상으로 변환하는 방법 및 장치에 관한 것이다.
사람이 물체를 바라볼 때 깊이감을 인지할 수 있는 것은 좌안과 우안이 각기 다른 위치에서 다른 영상을 뇌로 전달하기 때문이다. 사람의 뇌는 좌안과 우안을 통해서 들어온 2개 영상의 위상차이로 물체의 깊이를 인지한다. 따라서 입체 콘텐츠를 생성할 때는 항상 좌우 영상을 한 쌍으로 생성해내야 한다.
카메라로 입체 영상을 생성하는 방법으로는 좌우 두 개의 카메라를 이용하여 동시에 촬영하거나, 하나의 카메라로 촬영된 영상으로 좌우 영상을 생성하는 방법이 있다. 두 가지 방법 모두 높은 품질의 콘텐츠를 만들 수는 있지만 시간과 노력이 많이 소요된다.
이와 반대로 사람의 개입 없이 단안 동영상을 입체로 변환할 수 있는 시스템이 개발되기도 한다. 이는 빠른 시간 내에 다수의 콘텐츠가 필요한 TV 또는 모바일 등의 콘텐츠에 적합한 기술이다.
동영상 입체 변환을 위한 방법으로 움직임 시차(motion parallax)를 이용하는 방법이 있다. 움직임 시차를 이용하는 방법은 동영상의 순차적인 프레임 구조에서 수평방향의 움직임이 있을 경우 가능한 방법으로, 현재 프레임과 적당한 수평 움직임이 포착되는 이후 프레임을 각각 좌우 영상으로 사용한다. 이 방법은 간단한 로직(logic)과 실시간성 때문에 3DTV에 내부 기능으로 포함되어 상용화되고 있다.
움직임의 양을 깊이 정보로 인식하여 깊이맵을 생성한 후 좌우 영상을 생성해내는 방법 또한 많이 연구되고 있다.
그러나 움직임 정보를 이용할 경우, 움직임이 미약한 동영상의 경우 입체감을 거의 생성할 수 없을 뿐만 아니라, 움직임 정보와 입체감 사이의 비 연계성 때문에 전혀 엉뚱한 입체 영상이 생성될 수 있다. 또한 움직임 정보가 없는 동영상은 움직임 정보를 새로 생성해야 하기 때문에 입체 영상으로 변환하기 위한 처리 시간이 많이 필요하다.
움직임 정보 없이 단순 색상 정보만으로도 입체감 생성이 가능하다. 영상의 색상 값을 이용하여 여러 개의 분할(segmentation) 영역으로 분리한 후, 일정한 깊이감 배치 규칙에 따라 분할 영역별로 깊이감을 부여하여 입체감을 생성할 수 있다. 하지만 단순 색상 정보를 이용하는 입체 변환 기술은 연속된 동영상의 프레임간의 연계성이 없기 때문에 부드러운 3차원 입체 동영상으로 변환하는 데에 어려움이 있다. 또한 연속된 프레임간의 깊이 값이 서로 관련 없이 지정되기 때문에 플리커링(flickering) 현상이 나타날 수 있다.
2차원 동영상을 3차원 입체 동영상으로 변환하기 위해서는 영상의 풍부한 입체감뿐만 아니라 앞 뒤 프레임이 부드럽게 연결되도록 입체감의 연속성을 유지시켜주는 것이 매우 중요하다. 이를 위해서는 동영상 내 객체를 추출해서 지속적으로 추적하고 일관적인 깊이 정보를 부여해주는 기술이 필요하다.
영상의 움직임 정보와 색상 정보를 함께 사용하여 2차원 영상에서 깊이 정보를 추출하고 좌우 양안 영상을 생성하는 기술도 다양한 방면에서 연구되고 있지만, 대부분 영상 내 객체 추출을 중심으로 연구가 진행되고 있다.
본 발명이 해결하려는 과제는 영상의 움직임 정보와 색상 정보를 이용하여 풍부한 입체감을 생성하면서도 연속된 동영상에서 입체감의 연속성을 유지시킬 수 있는 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 2차원 동영상을 3차원 동영상으로 변환하는 장치에서의 변환 방법이 제공된다. 변환 방법은 상기 2차원 동영상의 연속된 복수의 프레임 영상 중에서 첫 번째 프레임 영상을 색상 정보를 이용하여 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계, 상기 복수의 프레임 영상 중에서 두 번째 프레임 영상부터 마지막 프레임 영상까지, 각 프레임 영상에서 현재 프레임 영상과 이전 프레임 영상간의 움직임 정보를 이용하여 상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계, 그리고 상기 복수의 프레임 영상 각각에서 생성된 깊이맵 영상을 이용하여 입체 영상을 생성하는 단계를 포함한다.
상기 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 상기 첫 번째 프레임 영상의 색상 정보를 이용하여 복수의 영역 영상으로 분할하는 단계, 그리고 상기 복수의 영역 영상에 각각 깊이 정보를 부여하여 상기 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계를 포함할 수 있다.
상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 각 프레임 영상에서 현재 프레임 영상과 이전 프레임 영상간의 움직임 정보를 이용하여 상기 이전 프레임 영상의 복수의 영역 영상을 갱신하여 상기 각 프레임 영상의 복수의 영역 영상을 생성하는 단계, 그리고 상기 각 프레임 영상에서 상기 갱신된 복수의 영역에 각각 깊이 정보를 부여하여 상기 각 프레임 영상에 대한 깊이맵 영상을 생성하는 단계를 포함할 수 있다.
상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 상기 현재 프레임 영상과 상기 이전 프레임 영상간의 움직임 정보를 추출하는 단계를 더 포함할 수 있다.
상기 각 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 상기 이전 프레임 영상으로부터 갱신된 상기 각 프레임 영상의 복수의 영역 영상에 각각 상기 이전 프레임 영상의 복수의 영역 영상에 부여된 깊이 정보를 그대로 부여하는 단계를 포함할 수 있다.
상기 변환 방법은 상기 각 프레임 영상의 복수의 영역 영상을 보정하는 단계를 더 포함할 수 있다.
상기 보정하는 단계는 설정된 크기 이하의 영역 영상을 색상 정보를 이용하여 주변의 영역 영상과 합치는 단계를 포함할 수 있다.
상기 보정하는 단계는 움직임 정보가 없는 픽셀을 주변의 영역 영상과 합치거나 새로운 영역 영상으로 생성하는 단계를 포함할 수 있다.
상기 입체 영상을 생성하는 단계는 상기 복수의 프레임 영상 각각에서 생성된 깊이맵 영상의 픽셀들을 좌측 또는 우측으로 시프트하여 좌우 양안 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 2차원 동영상을 3차원 동영상으로 변환하는 장치가 제공된다. 변환 장치는 영상 분할부, 깊이맵 생성부 그리고 3차원 변환부를 포함한다. 상기 영상 분할부는 2차원 동영상의 매 프레임마다 움직임 정보를 이용하여 이전 프레임의 복수의 영역 영상을 갱신한다. 상기 깊이맵 생성부는 상기 이전 프레임의 각 영역 영상의 깊이 정보를 다음 프레임의 해당 영역 영상에 부여하여 상기 매 프레임의 깊이맵 영상을 생성한다. 그리고 상기 3차원 변환부는 상기 매 프레임의 깊이맵 영상을 이용하여 상기 매 프레임의 입체 영상을 생성한다.
상기 영상 분할부는 움직임 정보가 없는 상기 2차원 동영상의 첫 번째 프레임으로부터 색상 정보를 이용하여 상기 첫 번째 프레임의 복수의 영역 영상을 생성할 수 있다.
상기 깊이맵 생성부는 상기 첫 번째 프레임의 복수의 영역 영상에 설정된 규칙에 따라서 깊이 정보를 부여할 수 있다.
상기 변환장치는 상기 매 프레임마다 현재 프레임과 이전 프레임의 영상 차이를 이용하여 상기 움직임 정보를 추출하는 움직임 추출부를 더 포함할 수 있다.
상기 영상 분할부는 상기 갱신된 매 프레임의 복수의 영역 영상을 보정할 수 있다.
본 발명의 실시 예에 의하면, 색상 정보와 움직임 정보를 함께 이용하여 단안의 2차원 동영상을 3차원 입체 동영상으로 변환함으로써, 입체감이 풍부하고 프레임간 연속성을 보장할 수 있다.
특히 이전 프레임의 분할 영역의 영상으로부터 각 프레임의 분할 영역의 영상을 생성하고, 이를 이용해 깊이맵을 생성함으로써 풍부한 입체감을 표현할 수 있으며, 움직임 정보를 이용하여 분할 영역의 영상을 프레임간 연속성 있게 갱신하므로 입체 영상의 연속성 및 안정성을 보장할 수 있다. 또한 분할 블록의 영상을 보정함으로써 움직임 정보의 노이즈를 보정할 수 있다.
도 1은 본 발명의 실시 예에 따른 2차원 동영상을 3차원 동영상으로 변환하는 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 변환 장치의 변환 방법을 나타낸 흐름도이다.
도 3은 영상의 색상 정보를 이용하여 분할된 분할 영역에 깊이값을 부여하여 깊이맵 영상을 생성하는 과정의 예시를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 움직임 정보를 이용하여 분할 영역을 갱신하는 방법을 설명한 도면이다.
도 5는 움직임 정보를 이용하여 이전 프레임으로부터 생성된 깊이맵 영상의 예시를 나타낸 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 변환 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시 예에 따른 변환 방법에 의해 생성된 연속된 프레임의 분할 영역의 영상과 깊이맵 영상을 나타낸 도면이다.
도 8 본 발명의 다른 실시 예에 따른 변환 장치의 개략적인 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 2차원 동영상을 3차원 동영상으로 변환하는 장치를 개략적으로 나타낸 도면이다.
도 1을 참고하면, 2차원 동영상을 3차원 동영상으로 변환하는 장치(이하, "변환 장치"라 함)는 움직임 추출부(110), 영상 분할부(120), 깊이맵 생성부(130) 및 3차원 변환부(140)를 포함한다.
움직임 추출부(110)는 2차원 동영상에서 이전 프레임과 현재 프레임간의 움직임 정보를 추출하고, 움직임 정보를 영상 분할부(120)로 전달한다.
영상 분할부(120)는 2차원 동영상의 연속된 복수의 프레임 중에서 첫 번째 프레임의 영상을 영상의 색상 정보를 이용하여 복수의 분할 영역으로 분할한다. 각 분할 영역은 비슷한 색상 값을 가진 픽셀들을 포함한다. 색상 정보는 동질의 영역에 대한 정보를 포함하고 있기 때문에 영역 분할을 위한 척도로 자주 사용된다.
영상 분할부(120)는 두 번째 프레임의 영상부터는 움직임 정보를 이용하여 이전 프레임에서의 분할 영역들을 갱신하여 각 프레임에서의 복수의 분할 영역의 영상을 생성한다.
영상 분할부(120)는 생성된 각 프레임의 분할 영역들의 영상을 보정할 수 있다. 예를 들어, 영상 분할부(120)는 일정 크기 이하의 분할 영역을 주변의 분할 영역들과 색상 정보를 비교해서 합칠 수 있다. 또한 영상 분할부(120)는 움직임 정보가 없는 픽셀들을 주변의 분할 영역들과 색상 정보를 비교해서 합치거나 새로운 분할 영역으로 생성할 수 있다.
깊이맵 생성부(130)는 프레임 각각의 분할 영역들에 깊이 값을 부여하여 깊이맵 영상을 생성한다. 깊이 값을 부여하는 규칙은 일반적으로 영상의 아래쪽이 앞쪽 깊이, 영상의 위쪽이 뒤쪽 깊이 값을 가지도록 설정될 수 있다. 깊이맵 생성부(130)는 이전 프레임의 분할 영역과 연계된 이후 프레임의 분할 영역들에 대해서 이전 프레임의 분할 영역에 부여된 깊이 값을 그대로 사용할 수 있다.
3차원 변환부(140)는 프레임 각각으로부터 생성된 깊이맵을 이용하여 각 프레임의 좌우 양안 영상 즉, 3차원 영상을 생성한다. 3차원 변환부(140)는 깊이맵 영상을 기반으로 좌 또는 우측으로 픽셀들을 시프트함으로써 좌우 양안 영상을 생성할 수 있다.
도 2는 본 발명의 실시 예에 따른 변환 장치의 변환 방법을 나타낸 흐름도이다.
도 2를 참고하면, 동영상의 연속된 프레임의 영상이 움직임 추출부(110) 및 영상 분할부(120)로 입력된다.
N번째 프레임의 영상이 입력되면(S202), 영상 분할부(120) 및 움직임 추출부(110)는 입력된 프레임이 첫 번째 프레임인지 확인한다. 즉 영상 분할부(120) 및 움직임 추출부(110)는 N=1인지 확인한다(S204).
N=1인 경우 이전 프레임이 존재하지 않으므로, 움직임 정보가 존재하지 않는다. 영상 분할부(120)는 N=1인 경우, 움직임 정보가 존재하지 않으므로, 영상의 색상 정보만을 이용하여 첫 번째 프레임의 영상을 복수의 분할 영역으로 분할한다(S206).
깊이맵 생성부(130)는 첫 번째 프레임의 분할 영역들에 각각 깊이 값을 부여하여 첫 번째 프레임의 깊이맵 영상을 생성한다(S208).
도 3은 영상의 색상 정보를 이용하여 분할된 분할 영역에 깊이값을 부여하여 깊이맵 영상을 생성하는 과정의 예시를 나타낸 도면이다.
예를 들어, 첫 번째 프레임의 영상이 도 3의 (a)와 같다고 가정한다. 영상 분할부(120)는 영상의 색상 정보만을 이용하여 복수의 분할 영역으로 분할한 후에 깊이맵 생성부(130)에서 각 분할 영역에 적절한 깊이 값을 부여함으로써, 도 3의 (c)와 같이 깊이맵 영상을 생성할 수 있다.
다시, 도 2를 보면, 3차원 변환부(140)는 첫 번째 프레임의 깊이맵 영상을 이용하여 좌우 양안 영상을 생성한다(S210).
한편, N=1이 아닌 경우(S202), 이전 프레임이 존재한다. 움직임 추출부(110)는 N이 1이 아닌 경우(즉, N=2), 두 번째 프레임의 영상과 이전 프레임의 영상간의 움직임 정보를 추출하고(S212), 움직임 정보를 영상 분할부(120)로 전달한다. 움직임 추출부(110)는 예를 들어 블럭매칭(Block Matching) 알고리즘을 사용하여 이전 프레임과 현재 프레임간의 매칭점(matching point)를 찾아서 이전 프레임에서 현재 프레임으로의 해당 픽셀의 움직임 정보를 추출할 수 있다. 추출된 움직임 정보는 이전 프레임의 분할 영역들의 영상을 갱신하는 데 사용된다.
영상 분할부(120)는 움직임 정보를 이용하여 이전 프레임의 분할 영역들을 확인하고, 이전 프레임의 분할 영역들을 갱신하여 두 번째 프레임에서의 분할 영역들의 영상을 생성한다(S214). 움직임 정보를 이용하면 현재 프레임의 임의의 픽셀이 이전 프레임에서 어느 분할 영역에 포함되는지 확인할 수 있으므로, 해당 분할 영역의 정보를 유지해나가면서 갱신하는 것이 가능하다. 분할 영역의 정보는 분할 영역의 분포 및 깊이 값을 포함할 수 있다.
깊이맵 생성부(130)는 움직임 정보를 이용하여 이전 프레임의 분할 영역들에 부여된 깊이 값을 확인하고, 이전 프레임의 복수의 분할 영역에 부여된 깊이 값을 이용하여 두 번째 프레임의 분할 영역들에 깊이 값을 부여하여 두 번째 프레임의 깊이맵 영상을 생성한다(S216). 깊이맵 생성부(130)는 두 번째 프레임의 복수의 분할 영역에 각각 해당하는 이전 프레임의 복수의 분할 영역에 부여된 깊이 값을 그대로 부여하여 두 번째 프레임의 깊이맵 영상을 생성할 수 있다. 이렇게 하면, 첫 번째 프레임의 각 분할 영역의 깊이 값이 두 번째 프레임의 분할 영역에 연계되므로, 앞 뒤 프레임간의 입체 연속성을 유지할 수 있다.
도 4는 본 발명의 실시 예에 따른 움직임 정보를 이용하여 분할 영역을 갱신하는 방법을 설명한 도면이다.
예를 들어, 첫 번째 프레임의 영상이 도 4의 (a)와 같다고 가정한다. 움직임 추출부(110)는 두 번째 프레임의 영상과 첫 번째 프레임의 영상간의 움직임 정보를 추출한다. 다음, 영상 분할부(120)는 이전 프레임의 분할 영역(A)의 정보를 확인하고, 추출된 움직임 정보를 이용하여 도 4의 (b)와 같이 첫 번째 프레임의 분할 영역(A)을 갱신하여 두 번째 프레임의 분할 영역(A')을 생성할 수 있다. 그리고 깊이맵 생성부(130)는 분할 영역(A)에 부여된 깊이 값을 그대로 두 번째 프레임의 분할 영역(A')에 부여하여 두 번째 프레임의 깊이맵 영상을 생성할 수 있다.
다시, 도 2를 보면, 3차원 변환부(140)는 두 번째 프레임의 깊이맵 영상을 이용하여 좌우 양안 영상을 생성한다(S210).
동영상의 연속된 복수의 프레임의 세 번째 프레임부터 마지막 프레임의 영상에 대해서도 두 번째 프레임의 깊이맵 영상을 생성하는 방법과 동일한 방법으로 움직임 정보를 이용하여 깊이맵 영상이 생성되고, 생성된 각 프레임의 깊이맵 영상을 이용하여 좌우 양안 영상이 생성될 수 있다.
이와 같이, 본 발명의 실시 예에 따른 변환 방법에 따르면, 동영상의 매 프레임마다 움직임 정보를 이용하여 이전 프레임의 분할 영역의 영상이 갱신되고, 이전 프레임의 각 분할 영역의 깊이 값이 다음 프레임의 분할 영역에 연계되어 깊이맵 영상이 생성된다. 이렇게 함으로써, 영상의 풍부한 입체감뿐만 아니라, 앞 뒤 프레임이 부드럽게 연결되도록 입체감의 연속성을 유지시킬 수 있다.
한편, 움직임 추출부(110)에서 움직임 정보를 추출할 때 현재 프레임의 모든 픽셀에 대해 이전 프레임의 매칭점을 찾지 못할 수 있다. 이동성 정보를 찾지 못한 픽셀 부분은 검은색으로 표현될 수 있으며, 이러한 움직임 정보의 노이즈는 영상의 움직임 양이 많고 영상의 색상 정보가 다양하지 못할 때 많이 발생한다.
도 5는 움직임 정보를 이용하여 이전 프레임으로부터 생성된 깊이맵 영상의 예시를 나타낸 도면이다.
도 5에 도시한 바와 같이, 이동성 정보를 찾지 못한 픽셀 부분이 검은색으로 표현되며, 이러한 이동성 정보의 노이즈로 인해 각 분할 영역들의 경계 부분이 잘게 나뉘어진 것을 확인할 수 있다. 이러한 에러는 동영상의 연속 프레임 간의 연산이 계속 진행될수록 누적되어 더 큰 에러를 만들어낸다.
따라서 움직임 정보를 이용하여 이전 프레임으로부터 깊이맵을 바로 생성할 수도 있지만 움직임 정보의 노이즈로 인한 문제점을 해결할 수 없다. 이러한 문제점을 해결하기 위한 변환 방법에 대해서 도 6을 참고로 하여 자세하게 설명한다.
도 6은 본 발명의 다른 실시 예에 따른 변환 방법을 나타낸 흐름도이다.
도 6을 참고하면, 동영상의 연속된 프레임의 영상이 움직임 추출부(110) 및 영상 분할부(120)로 입력된다.
N번째 프레임의 영상이 입력되면(S602), 영상 분할부(120) 및 움직임 추출부(110)는 N=1인지 확인한다(S604).
영상 분할부(120)는 N=1인 경우, 도 2에 설명한 방법(S204~S208)과 동일한 방법으로 영상의 색상 정보만을 이용하여 첫 번째 프레임의 깊이맵 영상이 생성되고(S604~S608), 첫 번째 프레임의 깊이맵 영상을 이용하여 좌우 양안 영상이 생성된다(S610).
한편, N=1이 아닌 경우(S602), 도 2에 설명한 방법(S212~S214)과 동일한 방법으로 각 프레임의 분할 영역의 영상은 움직임 정보를 이용하여 이전 프레임으로부터 갱신하는 방식으로 생성된다(S612, S614). 이때 분할 영역의 영상에도 도 5와 같은 문제점이 생길 수 있는데, 분할 영역의 영상은 깊이맵 영상보다 많은 정보를 가지고 있으므로 영상 보정이 가능하다.
따라서 영상 분할부(120)는 이전 프레임의 분할 영역의 영상으로부터 현재 프레임의 분할 영역의 영상을 생성한 후에, 움직임 정보를 이용하여 현재 프레임의 분할 영역의 영상을 보정한다(S615). 영상 분할부(120)는 현재 프레임에서 움직임 정보가 없는 픽셀들을 주변의 분할 영역들과 색상 정보를 비교해서 하나의 분할 영역으로 합치거나 새로운 분할 영역으로 생성할 수 있다. 영상 분할부(120)는 일정 크기 이하의 분할 영역을 주변의 분할 영역들과 색상 정보를 비교해서 하나의 ㅜㄴ할 영역으로 합칠 수 있다. 이러한 영상 보정 과정을 거치면 움직임 정보의 노이즈로 인한 에러를 보정할 수 있다.
다음, 이전 프레임의 복수의 분할 영역에 부여된 깊이 값을 이용하여 보정된 각 프레임의 분할 영역의 영상에 깊이 값이 부여되어 깊이맵 영상이 생성될 수 있다(S616).
도 7은 본 발명의 실시 예에 따른 변환 방법에 의해 생성된 연속된 프레임의 분할 영역의 영상과 깊이맵 영상을 나타낸 도면이다.
도 7에 도시한 바와 같이, 본 발명의 실시 예에 따른 변환 방법을 이용하면, 동영상의 매 프레임마다 프레임의 연속성을 유지하면서 분할 영역의 영상 및 깊이맵 영상이 갱신되는 것을 확인할 수 있다.
한편, 움직임 정보를 이용하여 이전 프레임으로부터 깊이맵을 바로 생성할 수도 있지만 이럴 경우 움직임 정보의 노이즈(noise)로 인한 문제점을 해결할 수 없게 된다. 즉 움직임 정보를 추출하기 위해 사용되는 알고리즘이 항상 이전 프레임의 매칭점을 잘 찾아내지 못할 수 있다. 영상의 움직임 양이 많고 영상의 색상 정보가 다양하지 못할 때 움직임 정보의 노이즈가 많이 발생한다.
이상에서 설명한 본 발명의 실시 예에 따른 변환 방법 및 장치 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 변환 장치 및 방법이 컴퓨터 시스템에 결합된 실시 예에 대해서 도 8을 참고로 하여 상세하게 설명한다.
도 8은 본 발명의 다른 실시 예에 따른 변환 장치의 개략적인 도면으로, 도 1 내지 도 7을 참고하여 설명한 움직임 추출부(110), 영상 분할부(120), 깊이맵 생성부(130) 및 3차원 변환부(140)의 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 시스템을 나타낸다.
도 8을 참고하면, 변환 장치(800)는 프로세서(810), 메모리(820), 적어도 하나의 저장 장치(830), 입출력(input/output, I/O) 인터페이스(840) 및 네트워크 인터페이스(850)를 포함한다.
프로세서(810)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있으며, 메모리(820)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다. 저장 장치(830)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다. 또한 I/O 인터페이스(840)는 프로세서(810) 및/또는 메모리(820)가 저장 장치(830)에 접근할 수 있도록 하며, 네트워크 인터페이스(850)는 프로세서(810) 및/또는 메모리(820)가 네트워크에 접근할 수 있도록 한다.
이 경우, 프로세서(810)는 움직임 추출부(110), 영상 분할부(120), 깊이맵 생성부(130) 및 3차원 변환부(140)의 기능의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(820)에 로드하여, 도 1 내지 도 7을 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 프로그램 명령은 저장 장치(830)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
도 8에 도시한 프로세서(810), 메모리(820), 저장 장치(830), I/O 인터페이스(840) 및 네트워크 인터페이스(850)는 하나의 컴퓨터에 구현될 수도 있으며 또는 복수의 컴퓨터에 분산되어 구현될 수도 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (17)

  1. 2차원 동영상을 3차원 동영상으로 변환하는 장치에서의 변환 방법으로서,
    상기 2차원 동영상의 연속된 복수의 프레임 영상 중에서 첫 번째 프레임 영상을 색상 정보를 이용하여 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계,
    상기 복수의 프레임 영상 중에서 두 번째 프레임 영상부터 마지막 프레임 영상까지, 각 프레임 영상에서 현재 프레임 영상과 이전 프레임 영상간의 움직임 정보를 이용하여 상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계, 그리고
    상기 복수의 프레임 영상 각각에서 생성된 깊이맵 영상을 이용하여 입체 영상을 생성하는 단계를 포함하며,
    상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는
    각 프레임 영상에서, 현재 프레임 영상과 이전 프레임 영상간의 움직임 정보를 이용하여 상기 이전 프레임 영상의 복수의 영역 영상을 갱신하여 상기 각 프레임 영상의 복수의 영역 영상을 생성하는 단계,
    상기 각 프레임 영상의 상기 복수의 영역 영상을 보정하는 단계, 그리고
    상기 각 프레임 영상에서 보정된 상기 복수의 영역 영상에 각각 깊이 정보를 부여하여 상기 각 프레임 영상에 대한 깊이맵 영상을 생성하는 단계를 포함하는 변환 방법.
  2. 제1항에서,
    상기 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는
    상기 첫 번째 프레임 영상의 색상 정보를 이용하여 상기 첫 번째 프레임 영상을 복수의 영역 영상으로 분할하는 단계, 그리고
    상기 첫 번째 프레임 영상의 상기 복수의 영역 영상에 각각 깊이 정보를 부여하여 상기 첫 번째 프레임 영상에 대한 깊이맵 영상을 생성하는 단계를 포함하는 변환 방법.
  3. 삭제
  4. 제1항에서,
    상기 두 번째 프레임 영상부터 상기 마지막 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 상기 현재 프레임 영상과 상기 이전 프레임 영상간의 움직임 정보를 추출하는 단계를 더 포함하는 변환 방법.
  5. 제1항에서,
    상기 각 프레임 영상에 대한 깊이맵 영상을 생성하는 단계는 상기 이전 프레임 영상의 각 영역 영상에 부여된 깊이 정보를 상기 이전 프레임 영상으로부터 갱신된 상기 각 프레임 영상의 대응하는 영역 영상에 부여하는 단계를 포함하는 변환 방법.
  6. 삭제
  7. 제1항에서,
    상기 보정하는 단계는 설정된 크기 이하의 영역 영상을 색상 정보를 이용하여 주변의 영역 영상과 합치는 단계를 포함하는 변환 방법.
  8. 제1항에서,
    상기 보정하는 단계는 움직임 정보가 없는 픽셀을 주변의 영역 영상과 합치거나 새로운 영역 영상으로 생성하는 단계를 포함하는 변환 방법.
  9. 제1항에서,
    상기 입체 영상을 생성하는 단계는 상기 복수의 프레임 영상 각각에서 생성된 깊이맵 영상의 픽셀들을 좌측 또는 우측으로 시프트하여 좌우 양안 영상을 생성하는 단계를 포함하는 변환 방법.
  10. 2차원 동영상을 3차원 동영상으로 변환하는 장치로서,
    2차원 동영상의 매 프레임마다 움직임 정보를 이용하여 이전 프레임의 복수의 영역 영상을 갱신하며, 갱신된 매 프레임의 복수의 영역 영상을 보정하는 영상 분할부,
    상기 이전 프레임의 각 영역 영상의 깊이 정보를 다음 프레임의 해당 영역 영상에 부여하여 상기 매 프레임의 깊이맵 영상을 생성하는 깊이맵 생성부, 그리고
    상기 매 프레임의 깊이맵 영상을 이용하여 상기 매 프레임의 입체 영상을 생성하는 3차원 변환부
    를 포함하는 변환 장치.
  11. 제10항에서,
    상기 영상 분할부는 움직임 정보가 없는 상기 2차원 동영상의 첫 번째 프레임으로부터 색상 정보를 이용하여 상기 첫 번째 프레임의 복수의 영역 영상을 생성하는 변환 장치.
  12. 제11항에서,
    상기 깊이맵 생성부는 상기 첫 번째 프레임의 복수의 영역 영상에 설정된 규칙에 따라서 깊이 정보를 부여하는 변환 장치.
  13. 제10항에서,
    상기 매 프레임마다 현재 프레임과 이전 프레임의 영상 차이를 이용하여 상기 움직임 정보를 추출하는 움직임 추출부
    를 더 포함하는 변환 장치.
  14. 삭제
  15. 제10항에서,
    상기 영상 분할부는 설정된 크기 이하의 영역 영상을 색상 정보를 이용하여 주변의 영역 영상과 합치는 변환 장치.
  16. 제10항에서,
    상기 영상 분할부는 움직임 정보가 없는 픽셀을 주변의 영역 영상과 합치거나 새로운 영역 영상으로 생성하는 변환 장치.
  17. 제10항에서,
    상기 3차원 변환부는 상기 매 프레임마다 깊이맵 영상을 좌 또는 우로 시프트하여 좌우 양안 영상을 생성하는 변환 장치.
KR1020140015521A 2014-02-11 2014-02-11 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치 KR101694522B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140015521A KR101694522B1 (ko) 2014-02-11 2014-02-11 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치
US14/609,876 US20150229903A1 (en) 2014-02-11 2015-01-30 Method and apparatus for converting 2d video image into 3d video image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140015521A KR101694522B1 (ko) 2014-02-11 2014-02-11 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150094345A KR20150094345A (ko) 2015-08-19
KR101694522B1 true KR101694522B1 (ko) 2017-01-10

Family

ID=53776097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140015521A KR101694522B1 (ko) 2014-02-11 2014-02-11 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20150229903A1 (ko)
KR (1) KR101694522B1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2033164B1 (en) * 2006-06-23 2015-10-07 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
KR20130114420A (ko) * 2012-04-09 2013-10-18 한국전자통신연구원 2차원 동영상의 3차원 동영상으로의 변환 방법 및 장치

Also Published As

Publication number Publication date
US20150229903A1 (en) 2015-08-13
KR20150094345A (ko) 2015-08-19

Similar Documents

Publication Publication Date Title
US9159154B2 (en) Image processing method and apparatus for generating disparity value
KR101863767B1 (ko) 의사-3d 인위적 원근법 및 장치
KR102224716B1 (ko) 스테레오 소스 영상 보정 방법 및 장치
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
CN101933335A (zh) 将二维图像数据转换为立体图像数据的方法和系统
KR100957129B1 (ko) 영상 변환 방법 및 장치
WO2011138472A1 (es) Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
CN102918861A (zh) 立体视觉强度调整装置、立体视觉强度调整方法、程序、集成电路、记录介质
US8917954B2 (en) Method and apparatus for converting 2D video image into 3D video image
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
KR20100088774A (ko) 중간 시점 영상 생성 장치 및 방법
CN104639933A (zh) 一种立体视图的深度图实时获取方法及系统
US20170188008A1 (en) Method and device for generating depth map
KR101966920B1 (ko) 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
JP5307953B1 (ja) 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR101694522B1 (ko) 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101373603B1 (ko) 홀 발생 억제를 위한 3ｄ­워핑 방법 및 이를 적용한 영상 처리 장치
US9288473B2 (en) Creating apparatus and creating method
KR102469228B1 (ko) 가상 시점 영상 생성 장치 및 방법
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
TWI502545B (zh) 儲存３ｄ影像內容的方法
KR101233398B1 (ko) 깊이 지도 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4