KR101382595B1 - 입체 영상의 스타일화 방법 및 장치 - Google Patents
입체 영상의 스타일화 방법 및 장치 Download PDFInfo
- Publication number
- KR101382595B1 KR101382595B1 KR1020120115909A KR20120115909A KR101382595B1 KR 101382595 B1 KR101382595 B1 KR 101382595B1 KR 1020120115909 A KR1020120115909 A KR 1020120115909A KR 20120115909 A KR20120115909 A KR 20120115909A KR 101382595 B1 KR101382595 B1 KR 101382595B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- binocular
- styling
- occlusion area
- stereoscopic
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Abstract
본 발명은 입체 영상의 스타일화 방법에 관한 것으로, 본 발명에 따른 입체 영상의 스타일화 방법은 양안 영상 중 적어도 하나의 영상을 미리 결정된 필터를 통하여 스타일화 하는 단계; 상기 양안 영상의 양안 경쟁을 보상 또는 방지하기 위하여 상기 스타일화된 영상을 다른 영상을 기준으로 와핑하는 단계; 및 와핑된 상기 양안 영상의 양안 시차에 의한 폐색영역을 처리하는 단계를 포함한다. 본 발명에 따르면 입체 영상을 양안 경쟁이 발생하지 않고, 시청자가 보다 나은 입체감을 느낄 수 있는 스타일화 할 수 있다. 또한 물체의 위치에 따라 라인의 굵기 및 농도가 다르게 적용되었기 때문에 기존의 결과에 비해 더 나은 입체감을 느낄 수 있다.
Description
본 발명은 입체 영상의 스타일화 방법에 관한 것으로, 보다 상세하게는 양안 영상의 스타일화를 통한 입체 영상의 스타일화 방법에 관한 것이다.
기존의 2D 이미지 스타일화 기법을 3D 영상을 구성하는 각각의 이미지에 적용 할 경우 각 이미지의 대응점(Correspondence)에서 서로 다른 결과가 나타난다. 이 이미지를 스테레오 모니터를 통해 보게 되면 서로 다른 부분이 번갈아 가면서 나타나는 양안 경쟁(Binocular Rivalry)이 일어난다. 양안 경쟁은 입체 영상의 입체감을 저하시키며, 시각적 피로를 유발한다.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 3D 입체 영상에서 시각적 피로 없이 최대한의 입체감을 얻을 수 있는 스타일화 방법을 제안하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 입체 영상의 스타일화 방법은 양안 영상 중 적어도 하나의 영상을 미리 결정된 필터를 통하여 스타일화 하는 단계; 상기 양안 영상의 양안 경쟁을 보상 또는 방지하기 위하여 상기 스타일화된 영상을 다른 영상을 기준으로 와핑하는 단계; 및 와핑된 상기 양안 영상의 양안 시차에 의한 폐색영역을 처리하는 단계를 포함한다.
상기 입체 영상의 스타일화 방법은 상기 양안 영상의 시차지도를 생성하는 단계를 더 포함하고, 상기 와핑하는 단계는 상기 시차지도를 이용하여 상기 양안 양상의 각 픽셀들의 상기 입체 영상에서의 대응점을 인식하여 와핑하는 것이 바람직하다.
상기 와핑하는 단계는 상기 어느 한 영상의 각 점으로부터 벡터화된 라인을 추출하여 상기 다른 영상을 기준으로 라인 와핑하는 것이 바람직하다.
상기 입체 영상의 스타일화 방법은 폐색영역이 처리된 상기 양안영상에 상기 시차지도를 이용하여 계산되는 상기 양안 영상에서 상기 오브젝트의 깊이 정보를 반영하는 단계를 더 포함한다.
상기 폐색영역을 처리하는 단계는 상기 폐색영역에 대한 상기 입체 영상에서의 대응점이 존재하지 않는 영상에 상기 폐색영역을 합성한 가상영상의 스타일화 결과를 상기 폐색영역을 포함하는 영상에 적용하는 것이 바람직하다.
상기 오브젝트의 깊이 정보를 반영하는 단계는 상기 영상의 오브젝트를 상기 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경하는 것이 바람직하다.
양안 영상 중 적어도 하나의 영상을 미리 결정된 필터를 통하여 스타일화 하는 영상 스타일화부;
상기 기술적 과제를 해결하기 위한 입체 영상의 스타일화 장치는 상기 양안 영상의 양안 경쟁을 보상 또는 방지하기 위하여 상기 스타일화된 영상을 다른 영상을 기준으로 와핑하는 영상 와핑부; 및 와핑된 상기 양안 영상의 양안 시차에 의한 폐색영역을 처리하는 폐색영역 처리부를 포함한다.
상기 입체 영상의 스타일화 장치는 상기 양안 영상의 시차지도를 생성하는 시차지도 생성부를 더 포함하고, 상기 영상 와핑부는 상기 시차지도를 이용하여 상기 양안 양상의 각 픽셀들의 상기 입체 영상에서의 대응점을 인식하여 와핑하는 것이 바람직하다.
상기 영상 와핑부는 상기 어느 한 영상의 각 점으로부터 벡터화된 라인을 추출하여 상기 다른 영상을 기준으로 라인 와핑하는 것이 바람직하다.
상기 입체 영상의 스타일화 장치는 폐색영역이 처리된 상기 양안영상에 상기 시차지도를 이용하여 계산되는 상기 양안 영상에서 상기 오브젝트의 깊이 정보를 반영하는 깊이 정보 반영부를 더 포함한다.
상기 폐색영역 처리부는 상기 폐색영역에 대한 상기 입체 영상에서의 대응점이 존재하지 않는 영상에 상기 폐색영역을 합성한 가상영상의 스타일화 결과를 상기 폐색영역을 포함하는 영상에 적용하는 것이 바람직하다.
상기 깊이 정보 반영부는 상기 영상의 오브젝트를 상기 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경하는 것이 바람직하다.
본 발명에 따르면 입체 영상을 양안 경쟁이 발생하지 않고, 시청자가 보다 나은 입체감을 느낄 수 있는 스타일화 할 수 있다. 또한 물체의 위치에 따라 라인의 굵기 및 농도가 다르게 적용되었기 때문에 기존의 결과에 비해 더 나은 입체감을 느낄 수 있다.
도 1은 본 발명의 일실시예에 따른 입체 영상의 스타일화 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일실시예에 따른 입체 영상의 스타일화 방법을 나타내는 세부 흐름도이다.
도 3은 종래 기술에 따른 양안 영상의 스타일화 결과를 나타내는 도이다.
도 4는 본 발명의 일실시예에 따라 생성되는 시차맵을 나타내는 도이다.
도 5는 본 발명의 일실시예에 따른 영상의 와핑을 예시하는 도이다.
도 6은 본 발명의 일실시예에 따른 폐색 영역을 예시하는 도이다.
도 7은 본 발명의 일실시예에 따라 폐색 영역을 처리하기 위한 가상 영상을 예시하는 도이다.
도 8은 본 발명의 일실시예에 따라 스타일화된 영상에 깊이 정보를 반영하는 예를 나타내는 도이다.
도 9는 본 발명의 일실시예에 따라 스타일화된 영상을 나타내는 도이다.
도 10은 본 발명의 일실시예에 따라 생성되는 입체 영상을 나타내는 도이다.
도 11은 본 발명의 일실시예에 따른 입체 영상의 스타일화 장치를 나타내는 도이다.
도 2는 본 발명의 일실시예에 따른 입체 영상의 스타일화 방법을 나타내는 세부 흐름도이다.
도 3은 종래 기술에 따른 양안 영상의 스타일화 결과를 나타내는 도이다.
도 4는 본 발명의 일실시예에 따라 생성되는 시차맵을 나타내는 도이다.
도 5는 본 발명의 일실시예에 따른 영상의 와핑을 예시하는 도이다.
도 6은 본 발명의 일실시예에 따른 폐색 영역을 예시하는 도이다.
도 7은 본 발명의 일실시예에 따라 폐색 영역을 처리하기 위한 가상 영상을 예시하는 도이다.
도 8은 본 발명의 일실시예에 따라 스타일화된 영상에 깊이 정보를 반영하는 예를 나타내는 도이다.
도 9는 본 발명의 일실시예에 따라 스타일화된 영상을 나타내는 도이다.
도 10은 본 발명의 일실시예에 따라 생성되는 입체 영상을 나타내는 도이다.
도 11은 본 발명의 일실시예에 따른 입체 영상의 스타일화 장치를 나타내는 도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1을 참조하면 본 실시예에 따른 입체 영상의 스타일화 방법은 영상 스타일화 단계(S100), 영상 와핑 단계(S200), 폐색 영역 처리 단계(S300)를 포함한다.
입체 영상의 스타일화와 관련하여 최근 3D 영화의 상업적 성공으로 인해 이와 관련된 시장이 급격히 성장하면서, 3D 콘텐츠를 만들거나 편집하는 기술에 대해 많은 연구가 이루어지고 있다. 그 일환으로 기존의 2D 영상 프로세싱 기법을 3D 영상에 확장해서 적용하려는 시도 또한 늘고 있다. 본 발명은 그 중에서 특히 영상 스타일화(Image Stylization) 방법을 3D 영상에 적용하는 문제에 관한 것이다. 영상 스타일화는 비사실적 렌더링의 대표적인 기법 중 하나로, 주어진 영상으로부터 영상의 주요 특징을 잘 표현하여 예술적인 효과를 얻을 수 있을 뿐 아니라 효과적인 정보 전달을 위해서도 사용 될 수 있다.
본 실시예에서 영상 스타일화 단계(S100)는 양안 영상 중 어느 한 영상을 미리 결정된 필터를 통하여 스타일화한다. 양안 영상이란 입체 영상을 구성하기 위한 두 영상으로서 보통 사람의 두 눈은 6.4cm 간격을 두고 떨어져 있어 하나의 객체를 보더라도 양 눈에 의해 보여지는 영상은 차이가 나게 된다. 뇌는 이러한 두 영상을 하나의 영상으로 인식하여 객체의 거리와 입체감을 인지하게 된다.
다만 TV나 모니터, 스마트폰 등의 디스플레이 장치에서 보여지는 것은 평면적인 영상이므로 영상 속의 객체에 입체 감을 부여하기 위해서는 의도적으로 좌안과 우안의 시차를 고려한 좌안 영상과 우안 영상을 보여주는 것을 통해 입체감을 부여할 수 있다. 따라서 본 실시예에서 양안 영상이란 영상 내 객체의 입체감을 부여하기 위한 좌안 및 우안 영상을 의미한다.
또한 본 실시예에서 필터를 통한 영상의 스타일화는 비사실적 렌더링으로서 “사실감을 얻고자 하지 않는 영상을 생성하는 수단”으로, 일반적으로 입력 영상의 Visual Cue를 단순화하고, 이를 통해 원하는 정보를 손쉽고 효과적으로 전달하기 위한 렌더링 방식이다. 본 실시예에서 스타일화는 H. Kang 등이 제안한 Coherent Line Drawing(KANG, H., LEE, S., AND CHUI, C. K. 2007. Coherent line drawing. In ACM Symposium on Non - Photorealistic Animation and Rendering (NPAR), 43.50.)을 사용하였다.
이 방법은 영상의 각 에지로부터 에지 탄젠트 플로우(Edge Tangent Flow)라는 일종의 벡터 필드를 생성하고, 이 벡터 필드를 이용해서 플로우 기반의 가우시안 차(Flow-based Difference of Gaussian) 필터를 통해 에지를 검출한다. 두 영상에서 생성된 벡터 필드가 서로 다르기 때문에, 위 방법을 각 영상에 적용하게 되면 도 3과 같이 서로 다른 결과가 나오게 된다.
따라서 본 실시예에 따른 영상의 스타일화 방법은 두 영상 중 한쪽의 결과를 먼저 생성하고, 이를 반대쪽 영상에 맞게 와핑하여 두영상의 스타일화 결과가 동일하도록 만들어 준다. 이하 본 실시예에서는 왼쪽 영상의 스타일화 결과를 사용하는 것을 예시한다.
영상 와핑 단계(S200)는 양안 영상의 양안 경쟁 발생을 보상 또는 방지하기 위하여 어느 한 영상을 다른 영상을 기준으로 와핑(Warping)한다. 도 2를 참조하면 본 실시예에 따른 입체 영상의 스타일화 방법은 양안 영상의 시차지도를 생성하는 시차 지도 생성 단계(S50)를 더 포함하고, 와핑하는 단계(S200)는 시차지도를 이용하여 양안 양상의 각 픽셀들의 입체 영상에서의 대응점을 인식(S210)하여 와핑 한다(S220).
시차지도 생성 단계(S50)는 입체 영상을 구성하는 양안 영상을 입력 받고(S20), 두 영상을 사용해서 시차 지도를 생성한다. 시차 지도를 계산하기 위한 방법에는 여러 가지가 있지만, 본 발명에서는 Rhenmann, C.의 방법(RHEMANN, C., HOSNI, A., BLEYER, M., ROTHER,C., AND GELAUTZ, M. Fast cost-volume filtering for visual correspondence and beyond. IEEE Computer Vision and Pattern Recognition ( CVPR ). 2011.)을 사용해서 시차 지도를 생성하였다.
도 4를 참조하면 본 실시예에서 시차지도 생성 단계(S50)는 입체 영상으로부터 대응점의 위치를 나타내는 정보를 생성하는 것으로서 생성된 시차 지도는 스타일화를 적용한 두 영상이 대응점(41, 42, 43)에서 동일한 결과를 나타내기 위해 사용된다. 본 실시예에서 좌안 영상(a)에 대한 시차지도는 (a)'로 생성되며, 우안 영상(b)에 대한 시차지도는 (b)'과 같이 생성된다.
또한 시차 지도가 주어졌을 때 간단한 삼각 함수를 이용해서 깊이지도(Depth Map)을 계산할 수 있기 때문에, 스타일화 과정에서 깊이에 따라 추가적인 방법을 적용할 수 있다. 이에 대한 설명은 깊이 정보 반영 단계(S400)에서 후술한다.
이하 영상 와핑 단계(S200)에 대해 보다 상세히 설명하면, 와핑하는 단계(S200)는 좌안 영상의 각 점으로부터 벡터화된 라인을 추출하고 시차지도를 이용하여 인식(S210)되는 오른쪽 영상의 대응점을 기준으로 라인 와핑(S220)한다.
왼쪽 영상의 스타일화 결과를 오른쪽 영상으로 왜곡 없이 옮기기 위해, 먼저 왼쪽 결과 영상의 각 점으로부터 도 5와 같은 크기와 방향을 가지는 벡터화(Vectorized)된 라인을 추출한다.
도 5를 참조하면 좌안 영상(a)의 벡터화된 라인(52,54,56)은 우안영상(b)에서 52', 54', 56'으로 와핑된다. 생성된 결과는 대응점에서 동일한 스타일화 결과를 가지므로 양안 경쟁이 발생하지 않는다.
시차지도 생성 단계(S50)에서 구한 시차 지도를 사용할 경우 3D 영상에서 각 픽셀의 대응점을 알 수 있으므로, 영상을 와핑할 경우 생기는 왜곡(Distortion) 없이 오른쪽 영상에도 동일한 라인을 적용할 수 있다.
본 실시예에서 폐색 영역 처리 단계(S300)는 와핑된 양안 영상 중 어느 한 영상에 입체 영상에 대응되는 대응점이 존재하는 폐색영역을 처리한다.
페색영역이란 도 6와 같이 시차에 의해 우안 영상(b)에는 존재하나 좌안 영상(a)에는 존재하지 않는 영역으로서, 라인 와핑을 수행하면 3D 영상의 각 대응점에서는 동일한 스타일화 결과를 가지게 된다. 하지만 대응점이 존재하지 않는 경우, 즉 오른쪽 영상에만 존재하는 폐색영역에서는 아무 결과도 생기지 않는다는 문제가 발생한다.
즉 폐색 영역 처리 단계(S300)는 이러한 문제를 해결하기 위한 것으로서, 폐색영역에 대한 입체 영상에서의 대응점이 존재하지 않는 영상(도 6 (a))에 폐색 영역에 대한 영상을 합성한 가상영상(도 7)의 스타일화 결과를 폐색영역을 포함하는 영상(도 6 (b))에 적용한다.
폐색 영역을 부드럽게 처리하기 위해 도 7과 같은 가상 영상을 생성하고, 가상 영상의 스타일화 결과를 우안 영상(도 6의 (b))의 폐색 영역에 적용한다. 가상 영상을 스타일화 해 주면 차폐 영역의 경계에서도 자연스럽게 이어지는 스타일화 결과를 얻을 수 있다.
나아가 본 실시예에 따른 영상의 스타일화 방법은 깊이 정보 반영 단계(S400)를 더 포함할 수 있다. 오브젝트의 깊이 정보를 반영하는 단계는 영상의 오브젝트를 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경한다.
즉 깊이 정보 반영 단계(S400)는 에지 전달 과정에서 벡터화된 라인을 추출했기 때문에, 깊이에 따라 라인의 속성을 변화시킬 수 있다. 기존의 일러스트 및 만화 창작물들로부터 관찰할 수 있듯이(Todd Goodwin, Ian Vollick, and Aaron Hertzmann. 2007. Isophote distance: a shading approach to artistic stroke thickness. In Proceedings of the 5 th international symposium on Non -photorealistic animation and rendering ( NPAR '07). ACM, New York, NY, USA, 53-62.), 물체의 위치에 따라 스타일화된 라인의 굵기와 농도를 조절하면 더 나은 입체감을 얻을 수 있다.
즉 도 8을 참조하면 카메라에 가까운 물체의 경우 굵고 진한 검은 색 선으로, 카메라에서 멀어질수록 가늘고 옅은 선으로 표현 할 수 있다. 본 실시예에서는 앞에서 구한 시차 지도의 값을 정규화(Normalize) 한 뒤, 이 값을 이용해서 영상의 깊이 값을 추정하여 라인의 굵기 및 농도를 조절하였다.
이하 도 9를 참조하여 본 실시예에 따른 양안 영상의 스타일화 결과를 설명하면 도 9는 본 실시예에 따른 스타일화 방법을 이용해 생성한 좌안 영상(a) 및 우안 영상(b)이다. 기존의 스타일화 방식을 통한 영상(도 3 (a), (b))과 비교해 볼 때 각 영상의 대응점에서 동일한 결과가 나타난다.
또한 양안 영상을 통해 구현된 입체 영상은 도 10과 같다. 기존의 스타일화 방식을 통해 구현된 입체영상(a)과 비교해볼 때 본 실시예에 따라 구현된 입체 영상(b)은 3D 입체 모니터에서 해당 영상을 보았을 때 양안 경쟁이 나타나지 않는다. 또한 물체의 위치에 따라 라인의 굵기 및 농도가 다르게 적용되었기 때문에 기존의 결과에 비해 더 나은 입체감을 느낄 수 있다.
이하 본 실시예에 따른 입체 영상의 스타일화 방법을 수행하는 장치에 대해 설명한다. 도 11를 참조하면 본 실시예에 따른 입체 영상의 스타일화 장치(10)는 시차지도 생성부(100), 영상 스타일화부(200), 영상 와핑부(300), 페색 영역 처리부(400), 깊이 정보 반영부(500), 입체 영상 생성부(600)를 포함한다.
시차 지도 생성부(100)는 시차지도 생성 단계는 입체 영상을 구성하는 양안 영상을 입력 받고, 두 영상을 사용해서 시차 지도를 생성한다.
영상 스타일화부(200)는 양안 영상 중 어느 한 영상을 미리 결정된 필터를 통하여 스타일화한다.
영상 와핑부(30)는 양안 영상의 양안 경쟁 발생을 보상 또는 방지하기 위하여 어느 한 영상을 다른 영상을 기준으로 와핑한다. 영상 와핑부는 시차지도를 이용하여 양안 양상의 각 픽셀들의 입체 영상에서의 대응점을 인식하고, 좌안 영상의 각 점으로부터 벡터화된 라인을 추출하여 오른쪽 영상의 대응점을 기준으로 라인 와핑한다.
폐색 영역 처리부(400)는 와핑된 양안 영상 중 어느 한 영상에 입체 영상에 대응되는 대응점이 존재하는 폐색영역을 처리한다. 즉 입체 영상에서의 대응점이 존재하지 않는 영상에 폐색영역을 합성한 가상 영상을 생성하고, 가상 영상의 스타일화 결과를 우안 영상의 폐색 영역에 적용한다
깊이 정보 반영부(500)는 영상의 오브젝트를 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경한다.
입체 영상 생성부(600)는 깊이 정보까지 반영된 스타일화된 양안 영상을 이용하여 사용자에게 제공하는 입체 영상으로 생성한다.
이상 본 실시예에 따른 각 구성은 상술한 입체 영상의 스타일화 방법의 대응되는 각 단계를 수행하는 것으로서 이에 대한 상세한 설명은 중복되는 바 생략한다.
한편 본 발명의 주사 입체 영상의 스타일화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (17)
- 양안 영상 중 어느 한 영상을 미리 결정된 필터를 통하여 스타일화 하는 단계;
상기 양안 영상의 양안 경쟁을 보상 또는 방지하기 위하여 상기 스타일화된 영상을 상기 양안 영상 중 다른 영상을 기준으로 와핑하는 단계; 및
상기 와핑된 영상의 양안 시차에 의한 폐색영역을 처리하는 단계를 포함하는 것을 특징으로 하는 입체 영상의 스타일화 방법 - 제 1 항에 있어서,
상기 입체 영상의 스타일화 방법은 상기 양안 영상의 시차지도를 생성하는 단계를 더 포함하고,
상기 와핑하는 단계는 상기 시차지도를 이용하여 상기 양안 양상의 각 픽셀들의 상기 입체 영상에서의 대응점을 인식하여 와핑하는 것을 특징으로 하는 입체 영상의 스타일화 방법 - 제 2 항에 있어서,
상기 와핑하는 단계는 상기 스타일화된 영상의 각 점으로부터 벡터화된 라인을 추출하여 상기 다른 영상을 기준으로 라인 와핑하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 2 항에 있어서,
상기 입체 영상의 스타일화 방법은 폐색영역이 처리된 상기 양안영상에 상기 시차지도를 이용하여 계산되는 상기 양안 영상에서 오브젝트의 깊이 정보를 반영하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 1 항에 있어서,
상기 폐색영역을 처리하는 단계는 상기 폐색영역에 대한 상기 입체 영상에서의 대응점이 존재하지 않는 영상에 상기 폐색영역을 합성한 가상영상의 스타일화 결과를 상기 폐색영역을 포함하는 영상에 적용하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 4 항에 있어서,
상기 오브젝트의 깊이 정보를 반영하는 단계는 상기 오브젝트를 상기 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 양안 영상의 시차지도를 생성하는 단계;
상기 양안 영상 중 어느 한 영상을 미리 결정된 필터를 통하여 스타일화 하는 단계;
상기 시차지도를 이용하여 상기 양안 양상의 각 픽셀들의 입체 영상에서의 대응점을 인식하고 상기 스타일화된 영상을 상기 양안 영상 중 다른 영상을 기준으로 와핑하는 단계; 및
상기 와핑된 영상의 양안 시차에 의한 폐색영역을 처리하는 단계를 포함하는 것을 특징으로 하는 입체 영상의 스타일화 방법 - 제 7 항에 있어서,
상기 와핑하는 단계는 상기 스타일화된 영상의 각 점으로부터 벡터화된 라인을 추출하여 상기 다른 영상을 기준으로 라인 와핑하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 7 항에 있어서,
상기 입체 영상의 스타일화 방법은 폐색영역이 처리된 상기 양안영상에 상기 시차지도를 이용하여 계산되는 상기 양안 영상에서 오브젝트의 깊이 정보를 반영하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 7 항에 있어서,
상기 폐색영역을 처리하는 단계는 상기 폐색영역에 대한 상기 입체 영상에서의 대응점이 존재하지 않는 영상에 상기 폐색영역을 합성한 가상영상의 스타일화 결과를 상기 폐색영역을 포함하는 영상에 적용하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 제 9 항에 있어서,
상기 오브젝트의 깊이 정보를 반영하는 단계는 상기 오브젝트를 상기 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경하는 것을 특징으로 하는 입체 영상의 스타일화 방법. - 양안 영상 중 어느 한 영상을 미리 결정된 필터를 통하여 스타일화 하는 영상 스타일화부;
상기 양안 영상의 양안 경쟁을 보상 또는 방지하기 위하여 상기 스타일화된 영상을 상기 양안 영상 중 다른 영상을 기준으로 와핑하는 영상 와핑부; 및
상기 와핑된 영상의 양안 시차에 의한 폐색영역을 처리하는 폐색영역 처리부를 포함하는 것을 특징으로 하는 입체 영상의 스타일화 장치 - 제 12 항에 있어서,
상기 입체 영상의 스타일화 장치는 상기 양안 영상의 시차지도를 생성하는 시차지도 생성부를 더 포함하고,
상기 영상 와핑부는 상기 시차지도를 이용하여 상기 양안 양상의 각 픽셀들의 상기 입체 영상에서의 대응점을 인식하여 와핑하는 것을 특징으로 하는 입체 영상의 스타일화 장치 - 제 13 항에 있어서,
상기 영상 와핑부는 상기 스타일화된 영상의 각 점으로부터 벡터화된 라인을 추출하여 상기 다른 영상을 기준으로 라인 와핑하는 것을 특징으로 하는 입체 영상의 스타일화 장치. - 제 13 항에 있어서,
상기 입체 영상의 스타일화 장치는 폐색영역이 처리된 상기 양안영상에 상기 시차지도를 이용하여 계산되는 상기 양안 영상에서 오브젝트의 깊이 정보를 반영하는 깊이 정보 반영부를 더 포함하는 것을 특징으로 하는 입체 영상의 스타일화 장치. - 제 12 항에 있어서,
상기 폐색영역 처리부는 상기 폐색영역에 대한 상기 입체 영상에서의 대응점이 존재하지 않는 영상에 상기 폐색영역을 합성한 가상영상의 스타일화 결과를 상기 폐색영역을 포함하는 영상에 적용하는 것을 특징으로 하는 입체 영상의 스타일화 장치. - 제 15 항에 있어서,
상기 깊이 정보 반영부는 상기 오브젝트를 상기 깊이 정보에 따라 선명하거나 굵게 표현되도록 변경하는 것을 특징으로 하는 입체 영상의 스타일화 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120115909A KR101382595B1 (ko) | 2012-10-18 | 2012-10-18 | 입체 영상의 스타일화 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120115909A KR101382595B1 (ko) | 2012-10-18 | 2012-10-18 | 입체 영상의 스타일화 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101382595B1 true KR101382595B1 (ko) | 2014-04-10 |
Family
ID=50656936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120115909A KR101382595B1 (ko) | 2012-10-18 | 2012-10-18 | 입체 영상의 스타일화 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101382595B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110049303A (zh) * | 2018-01-15 | 2019-07-23 | 微软技术许可有限责任公司 | 立体图像的视觉风格化 |
| US11593615B2 (en) | 2016-12-16 | 2023-02-28 | Microsoft Technology Licensing, Llc | Image stylization based on learning network |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100896762B1 (ko) | 2007-12-18 | 2009-05-11 | 중앙대학교 산학협력단 | 회화적 애니메이션 장치 및 방법 |
| KR20100124077A (ko) * | 2009-05-18 | 2010-11-26 | 연세대학교 산학협력단 | 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
-
2012
- 2012-10-18 KR KR1020120115909A patent/KR101382595B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100896762B1 (ko) | 2007-12-18 | 2009-05-11 | 중앙대학교 산학협력단 | 회화적 애니메이션 장치 및 방법 |
| KR20100124077A (ko) * | 2009-05-18 | 2010-11-26 | 연세대학교 산학협력단 | 비사실적 렌더링을 이용하여 비실사 영상을 생성하는 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11593615B2 (en) | 2016-12-16 | 2023-02-28 | Microsoft Technology Licensing, Llc | Image stylization based on learning network |
| CN110049303A (zh) * | 2018-01-15 | 2019-07-23 | 微软技术许可有限责任公司 | 立体图像的视觉风格化 |
| US11308576B2 (en) | 2018-01-15 | 2022-04-19 | Microsoft Technology Licensing, Llc | Visual stylization on stereoscopic images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahn et al. | A novel depth-based virtual view synthesis method for free viewpoint video | |
| US9445075B2 (en) | Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image | |
| US7486817B2 (en) | Apparatus for and method of generating image, and computer program product | |
| US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
| TW201432622A (zh) | 產生一關於一影像之深度圖 | |
| US20130069942A1 (en) | Method and device for converting three-dimensional image using depth map information | |
| Du et al. | Edge snapping-based depth enhancement for dynamic occlusion handling in augmented reality | |
| JP2013172190A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| KR20100132717A (ko) | Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 | |
| JP5673032B2 (ja) | 画像処理装置、表示装置、画像処理方法及びプログラム | |
| KR20090082782A (ko) | 시점 변화에 따른 영상 복원 방법 및 장치 | |
| KR101736660B1 (ko) | 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법 | |
| Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
| KR101382595B1 (ko) | 입체 영상의 스타일화 방법 및 장치 | |
| Northam et al. | Stereoscopic 3D image stylization | |
| KR20140001358A (ko) | 차폐 영역 필터링 기반 영상 처리 방법 | |
| JP6017144B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP2018191191A (ja) | 立体映像生成装置 | |
| De Sorbier et al. | Augmented reality for 3D TV using depth camera input | |
| Wang et al. | A novel approach for depth image based rendering, based on non-linear transformation of depth values | |
| KR101671739B1 (ko) | 가상 프레임을 이용한 2차원 영상의 입체 효과 생성 장치 및 그 방법 | |
| KR20140119999A (ko) | 깊이값 조정을 통한 입체영상 제공 시스템 및 방법 | |
| KR101629414B1 (ko) | 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 | |
| Jin et al. | Joint multilateral filtering for stereo image generation using depth camera | |
| KR101701519B1 (ko) | 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180402 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190128 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200116 Year of fee payment: 7 |