KR101330523B1 - 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 - Google Patents

2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 Download PDF

Info

Publication number
KR101330523B1
KR101330523B1 KR1020110125868A KR20110125868A KR101330523B1 KR 101330523 B1 KR101330523 B1 KR 101330523B1 KR 1020110125868 A KR1020110125868 A KR 1020110125868A KR 20110125868 A KR20110125868 A KR 20110125868A KR 101330523 B1 KR101330523 B1 KR 101330523B1
Authority
KR
South Korea
Prior art keywords
control point
image
information
depth
mode
Prior art date
Application number
KR1020110125868A
Other languages
English (en)
Other versions
KR20130059736A (ko
Inventor
김하윤
김아란
전병기
정원석
박영환
최연봉
윤민주
안동현
김대현
Original Assignee
(주)리얼디스퀘어
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼디스퀘어, 에스케이플래닛 주식회사 filed Critical (주)리얼디스퀘어
Priority to KR1020110125868A priority Critical patent/KR101330523B1/ko
Priority to PCT/KR2012/009002 priority patent/WO2013081304A1/ko
Publication of KR20130059736A publication Critical patent/KR20130059736A/ko
Application granted granted Critical
Publication of KR101330523B1 publication Critical patent/KR101330523B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체에 관한 것으로서, 본 발명의 영상 변환 장치는, 제1모드 시 2차원 영상에서 선택된 객체에 제1 Z컨트롤 포인트를 설정하여 상기 객체의 깊이정보를 입력하고, 제2모드 시 상기 객체에 제2 컨트롤 포인트를 설정하여 상기 객체의 볼륨정보를 입력하는 사용자 입력부; 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하고 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하여 깊이 맵을 생성하는 깊이 맵 생성부; 상기 2차원 영상과 상기 선택된 객체를 디스플레이하는 디스플레이부; 및 상기 제1모드에서 상기 제1 Z컨트롤 포인트가 입력된 경우 상기 제1 Z컨트롤 포인트를 포함하는 가상의 평면에 상기 객체를 투영하여 표시하고, 상기 제2모드에서 상기 제2 Z컨트롤 포인트가 입력되는 경우 상기 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면을 설정하여 표시하는 영상 제어부를 포함한다. 이에 의해, 사용자가 객체의 깊이정보와 볼륨정보를 직관적으로 인식하여 용이하게 입력할 수 있도록 하는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있다.

Description

2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체{CONVERSION DEVICE FOR TWO DIMENSIONAL IMAGE TO THREE DIMENSIONAL IMAGE, METHOD THEREOF AND RECORDABLE MEDIUM STORING THE METHOD}
본 발명은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체에 관한 것으로서, 보다 상세하게는 2차원 영상을 3차원 영상으로 변환하기 위해 깊이 맵을 생성하는 경우 사용자가 2차원 영상에서 객체를 선택하고 선택된 객체를 제1 Z컨트롤 포인트를 이용하여 깊이정보를 입력한 후 제2 Z컨트롤 포인트를 이용하여 선택된 객체에 대해 볼륨정보를 입력할 수 있도록 함으로써, 사용자가 객체의 깊이정보와 볼륨정보를 직관적으로 인식하여 용이하게 입력할 수 있도록 하는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치와 방법 및 그에 대한 기록매체에 관한 것이다.
3차원 입체 영상(stereoscopic image)에 대한 관심이 높아지면서 입체영상을 생성하기 위한 다양한 방법들이 개발되고 있다. 입체 영상을 생성하는 방법 중에는 2차원 비디오 영상을 3차원 입체 영상으로 변환하는 방법이 있다. 2차원 비디오 영상을 3차원 입체 영상으로 변환하는 경우, 이미 만들어진 비디오 콘텐츠를 활용할 수 있으며 별도의 촬영장비를 이용하지 않고도 3차원 입체 영상을 얻을 수 있다는 장점이 있다.
2차원 평면 영상을 3차원 입체 영상으로 변환시키기 위해서는, 2차원 평면 영상으로부터 서로 다른 시차 정보를 가지는 좌측 영상과 우측 영상을 생성해야 한다. 이에, 2차원 평면 영상에 표시된 객체들에 깊이(depth)정보를 부여하여 깊이 맵(Depth Map)을 생성하고 깊이 맵에 기초하여 좌측 영상과 우측 영상을 생성함으로써 2차원 평면 영상을 3차원 입체 영상으로 변환하고 있다. 이에, 3차원 입체 영상의 품질은 깊이 맵의 정확성에 따라 크게 좌우된다.
한편, 깊이 맵을 생성하는 방법으로는 자동으로 생성하는 방법과, 사용자가 직접 2차원 객체의 깊이정보를 입력하는 수동 생성 방법이 있다.
자동 생성 방법의 경우 2차원 영상의 픽셀 값들을 산출하거나 움직임 벡터를 측정하여 깊이 맵을 자동으로 생성한다. 이에, 단시간에 깊이 맵을 생성할 수 있다는 장점이 있으나, 고품질의 3차원 입체 영상을 생성하는 데에는 기술적 한계가 있다.
반면, 수동 생성 방법의 경우 사용자가 직접 객체를 선택하고 해당 객체에 대해 수치적인 깊이정보를 일일이 입력해야 한다. 이에, 상대적으로 고품질의 3차원 입체 영상을 생성할 수 있다는 장점이 있으나, 자동 생성 방법에 비해 많은 시간이 소요되고 작업자의 숙련도에 따라 작업 시간이나 결과물의 품질이 크게 달라질 수 있다는 문제점이 있다.
또한, 객체에 대해 단일의 깊이정보를 적용하여 3차원 영상으로 변환하는 경우 완전 평면 상태인 객체가 배경으로부터 돌출되어 있는 것 같이 표현되어 3차원 영상의 품질이 저하되는 문제점이 있다. 이를 해결하기 위해서는 객체를 세분화하여 더 많은 객체에 대해 깊이정보를 설정해야 하지만, 이러한 경우 관리해야 할 객체의 수와 작업량이 증가하여 수작업으로 진행하는 데에는 한계가 있다.
한국공개특허 2011-0099526 평면 영상을 입체 영상으로 변환하는 방법
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 2차원 영상을 3차원 영상으로 변환하기 위해 깊이 맵을 생성하는 경우 사용자가 2차원 영상에서 객체를 선택하고 선택된 객체를 제1 Z컨트롤 포인트를 이용하여 깊이정보를 입력한 후 제2 Z컨트롤 포인트를 이용하여 선택된 객체에 대해 볼륨정보를 입력할 수 있도록 함으로써, 사용자가 객체의 깊이정보와 볼륨정보를 직관적으로 인식하여 용이하게 입력할 수 있도록 하는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치와 방법 및 그에 대한 기록매체를 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 제1모드 시 2차원 영상에서 선택된 객체에 제1 Z컨트롤 포인트를 설정하여 상기 객체의 깊이정보를 입력하고, 제2모드 시 상기 객체에 제2 컨트롤 포인트를 설정하여 상기 객체의 볼륨정보를 입력하는 사용자 입력부; 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하고 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하여 깊이 맵을 생성하는 깊이 맵 생성부; 상기 2차원 영상과 상기 선택된 객체를 디스플레이하는 디스플레이부; 및 상기 제1모드에서 상기 제1 Z컨트롤 포인트가 입력된 경우 상기 제1 Z컨트롤 포인트를 포함하는 가상의 평면에 상기 객체를 투영하여 표시하고, 상기 제2모드에서 상기 제2 Z컨트롤 포인트가 입력되는 경우 상기 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면을 설정하여 표시하는 영상 제어부를 포함하는 영상 변환 장치가 제공된다.
여기서, 상기 깊이 맵 생성부는, 상기 사용자 입력부에서 선택된 객체정보를 추출하는 객체정보 추출모듈; 상기 제1 Z컨트롤 포인트의 Z값을 상기 객체의 깊이정보로 인식하는 깊이정보 설정모듈; 상기 제2 Z컨트롤 포인트의 Z값을 상기 객체의 볼륨정보로 인식하여, 상기 윤곽선 내의 객체 영역의 깊이 정보가 상기 제1 Z컨트롤 포인트에서부터 상기 제2 Z컨트롤 포인트까지 순차적으로 변화하는 것으로 인식하는 볼륨정보 설정모듈; 및 상기 객체의 깊이정보와 볼륨정보에 기초하여 깊이 맵을 생성하는 깊이 맵 생성모듈을 포함할 수 있다.
그리고, 상기 영상 제어부는, 사용자의 선택에 따라 상기 제1모드와 제2모드 중 어느 하나의 모드로 진입할 수 있다.
또한, 상기 영상 제어부는, 상기 사용자의 선택에 따라 각기 다른 깊이정보가 입력된 적어도 둘 이상의 객체를 깊이에 따라 세로축으로 정렬시켜 표시할 수 있다.
한편, 상기 깊이 맵에 기초하여 상기 2차원 영상에 대해 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성하는 3차원 영상 렌더링부를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 3차원 변환을 위해 입력된 2차원 영상을 3차원 공간에 표시하는 단계; 상기 2차원 영상에서 객체를 정의한 객체정보를 입력 받는 단계; 제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계; 제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계; 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계; 및 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계를 포함하는 영상 변환 방법이 제공된다.
여기서, 상기 제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계는, 상기 객체의 영역에 포함되는 제1 Z컨트롤 포인트를 입력 받는 단계; 및 상기 제1 Z컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 제1 Z컨트롤 포인트를 포함하는 평면에 상기 객체를 투영하여 표시하는 단계를 포함할 수 있다.
그리고, 상기 제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계는, 상기 객체의 영역에 포함되는 제2 Z컨트롤 포인트를 입력 받는 단계; 및 상기 제2 Z컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면을 설정하여 표시하는 단계를 포함할 수 있다.
또한, 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계는, 상기 제1 Z컨트롤 포인트의 Z 값에 따라 상기 객체의 깊이정보를 인식하는 단계를 포함할 수 있다.
그리고, 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계는, 상기 제2 Z컨트롤 포인트의 Z값을 상기 객체의 볼륨정보로 인식하여, 상기 윤곽선 내의 객체 영역의 깊이 정보가 상기 제1 Z컨트롤 포인트에서부터 상기 제2 Z컨트롤 포인트까지 순차적으로 변화하는 것으로 인식하는 단계를 포함할 수 있다.
한편, 사용자의 선택에 따라 상기 제1모드와 제2모드 중 어느 하나의 모드로 진입하는 단계를 더 포함할 수 있다.
그리고, 상기 각 객체에 입력된 깊이정보와 볼륨정보에 기초하여 깊이 맵을 생성하는 단계; 및 상기 깊이 맵에 따라 3차원 영상을 렌더링하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 2차원 영상을 3차원 영상으로 변환함에 있어서, 3차원 변환을 위해 입력된 2차원 영상을 3차원 공간에 표시하는 단계; 상기 2차원 영상에서 객체를 정의한 객체정보를 입력 받는 단계; 제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계; 제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계; 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계; 및 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.
상술한 바와 같이 본 발명은 2차원 영상을 3차원 영상으로 변환하기 위해 깊이 맵을 생성하는 경우 사용자가 2차원 영상에서 객체를 선택하고 선택된 객체를 제1 Z컨트롤 포인트를 이용하여 깊이정보를 입력한 후 제2 Z컨트롤 포인트를 이용하여 선택된 객체에 대해 볼륨정보를 입력할 수 있도록 함으로써, 사용자가 객체의 깊이정보와 볼륨정보를 직관적으로 인식하여 용이하게 입력할 수 있다.
또한, 본 발명은 소정 깊이 값이 설정된 객체의 내부 영역에도 세밀한 깊이 값을 더 설정할 수 있도록 함으로써 변환된 3차원 영상의 품질을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치의 제어블럭도,
도 2는 본 발명의 실시예에 따른 깊이 맵 생성부의 제어블럭도,
도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법의 흐름도,
도 4는 본 발명의 실시예에 따른 영상 변환 장치의 작업 화면의 표시 상태도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치(100)의 제어블럭도이다. 본 발명의 실시예에 따른 영상 변환 장치(100)는 입력된 2차원 영상에 대해 사용자가 직접 깊이정보를 설정할 수 있도록 그래픽 인터페이스를 제공하고, 사용자의 입력에 따라 깊이 맵(depth map)을 생성하여 3차원 영상을 모델링한다.
도 1에 도시된 바와 같이, 본 발명의 영상 변환 장치(100)는 2차원 영상 입력부(110), 사용자 입력부(120), 디스플레이부(130), 영상 제어부(140), 깊이 맵 생성부(200) 및 3차원 영상 렌더링부(160)를 포함한다.
2차원 영상 입력부(110)는 3차원 영상으로 변환하고자 하는 2차원 영상을 입력 받는다.
사용자 입력부(120)는 영상 변환 장치(100)의 기능 선택 및 제어를 위한 사용자 인터페이스를 제공한다. 사용자는 사용자 입력부(120)를 통해 2차원 영상에 표시된 객체를 폐곡선으로 선택하고 해당 객체에 깊이정보를 입력할 수 있다. 영상에서 선택되는 객체는 에지 인식 등의 영상 인식 기술을 이용하여 자동으로 선택되도록 하거나, 혹은 사용자 입력부(120)를 통해 베지어 곡선(Bezier curve)을 설정하여 객체를 선택하도록 할 수 있다. 베지어 곡선은 몇 개의 제어점을 선택하여 점과 점 사이가 연결되도록 함으로써 생성되는 불규칙한 곡선을 뜻한다. 또한, 자동으로 인식된 객체를 사용자가 편집하여 객체를 선택하는 것도 가능하다.
사용자는 사용자 입력부(120)를 통해 객체를 선택하여 깊이정보와 볼륨정보를 입력할 수 있다. 사용자는 객체의 소정 영역을 클릭하여 제1 Z컨트롤 포인트를 선택하고 제1 Z컨트롤 포인트 Z축 방향으로 드래그함으로써 깊이정보를 입력할 수 있다. 또한, 깊이정보가 입력된 객체에 대해 제2 Z컨트롤 포인트를 선택하고 Z축 방향으로 드래그함으로써 볼륨정보를 입력할 수 있다.
디스플레이부(130)는 입력된 2차원 영상과 영상변환을 위해 깊이정보를 입력하는 일련의 작업 과정과 입력 결과, 처리 결과 등을 사용자에게 표시한다. 깊이정보 입력을 위한 디스플레이부(130) 화면에는 3차원 공간의 x, y평면에 2차원 영상이 위치한다. 사용자의 선택에 따라 제1 Z컨트롤 포인트가 이동하면 객체는 Z컨트롤 포인트를 포함하는 가상의 평면에 투영된다. 투영된 객체에서 선택된 제2 Z컨트롤 포인트가 이동하면 객체의 윤곽선과 제2 컨트롤 포인트를 포함하는 곡면이 표시된다.
영상 제어부(140)는 2차원 영상 입력부(110)로 입력된 2차원 영상을 디스플레이부(130)에 표시하고 사용자 입력부(120)로 입력되는 사용자의 객체 선택 신호에 따라 2차원 영상에서 선택된 객체를 표시한다.
영상 제어부(140)는 사용자 입력부(120)를 통해 제1 Z컨트롤 포인트를 입력받아, 제1 Z컨트롤 포인트를 포함하는 가상의 평면에 객체를 투영하여 디스플레이부(130)에 표시한다. 영상 제어부(140)는 사용자 입력부(120)를 통해 제2 Z컨트롤 포인트를 입력받아, 제1 Z컨트롤 포인트에서 투영된 객체의 윤곽선과 제2 컨트롤 포인트를 포함하는 곡면을 생성하여 디스플레이부(130)에 표시한다.
영상 제어부(140)는 사용자의 메뉴 선택에 따라 제1모드 혹은 제2모드로 동작하여 해당 모드에 따라 제1 Z컨트롤 포인트를 입력 받거나 제2 Z컨트롤 포인트를 입력받아 처리할 수 있다.
영상 제어부(140)는 객체 선택 신호와 제1 Z컨트롤 포인트 정보 및 제2 Z컨트롤 포인트 정보를 깊이 맵 생성부(200)에 전달하여 사용자가 입력한 Z컨트롤 포인트에 따라 깊이 맵이 생성되도록 깊이 맵 생성부(200)를 제어한다.
영상 제어부(140)는 깊이 맵(depth map)에 따라 2차원 영상이 3차원 영상으로 변환되도록 디스플레이부(130)에 표시되도록 3차원 영상 렌더링부(160)를 제어한다.
깊이 맵 생성부(200)는 사용자가 입력한 객체정보를 추출한다. 깊이 맵 생성부(200)는 해당 객체에 부여된 제1 Z컨트롤 포인트를 깊이정보로 인식하고, 제2 Z컨트롤 포인트를 볼륨정보로 인식한다. 깊이 맵 생성부(200)는 인식된 깊이정보 및 볼륨정보에 따라 깊이 맵(depth map)을 생성한다.
3차원 영상 렌더링부(160)는 깊이 맵 생성부(200)에서 생성된 깊이 맵(depth map)을 이용하여 입력된 2차원 영상을 3차원 영상으로 변환한다. 3차원 영상 렌더링부(160)는 깊이 맵(depth map)을 이용하여 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성한다.
이러한 구성에 따라, 본 발명에 따른 영상 변환 장치(100)는 입력된 2차원 영상에서 객체를 선택하고, 객체에 제1 Z컨트롤 포인트를 부여하여 드래그함으로써 객체의 Z 값을 시각적으로 확인하는 동시에 깊이정보를 입력할 수 있다. 또한, 객체에 제2 Z컨트롤 포인트를 부여하여 드래그함으로써 객체의 내부 영역의 깊이정보가 순차적으로 변화하도록 하여 볼륨정보를 입력할 수 있다.
도 2는 본 발명의 실시예에 따른 깊이 맵 생성부(200)의 제어블럭도이다.
도 2에 도시된 바와 같이 깊이 맵 생성부(200)는 객체정보 추출모듈(210), 깊이정보 설정모듈(220), 볼륨정보 설정모듈(230) 및 깊이 맵 생성모듈(240)을 포함한다.
객체정보 추출모듈(210)은 2차원 영상에서 깊이정보 설정을 위해 선택된 객체의 정보를 추출한다. 객체 정보는 2차원 영상에서 선택된 객체의 식별정보, x, y좌표, 벡터 값 등을 포함할 수 있다.
깊이정보 설정모듈(220)은 객체에 설정된 제1 Z컨트롤 포인트에 따라 해당 객체의 깊이정보를 설정할 수 있다. 2차원 영상에서 선택된 객체는 제1 Z컨트롤 포인트의 이동에 따라 3차원 공간의 소정 Z지점에 위치하게 된다. 깊이정보 설정모듈(220)은 이러한 객체의 제1 Z값을 이용하여 해당 객체의 깊이정보를 인식할 수 있다.
볼륨정보 설정모듈(230)은 객체에 설정된 제2 Z컨트롤 포인트에 따라 해당 객체의 볼륨정보를 설정할 수 있다. 제2 Z컨트롤 포인트가 입력되면 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면이 생성된다. 볼륨정보 설정모듈(230)은 제2 Z컨트롤 포인트에 의해 생성된 곡면을 객체의 윤곽선 내에서 깊이정보가 순차적으로 증감하는 것으로 인식할 수 있다. 즉, 윤곽선 내의 객체 영역의 깊이 정보가 제1 Z컨트롤 포인트에서부터 제2 Z컨트롤 포인트까지 순차적으로 변화하는 것으로 인식할 수 있다.
깊이 맵 생성모듈(240)은 깊이정보 설정모듈(220)에서 인식된 각 객체의 깊이정보와 볼륨정보 설정모듈(230)에서 인식된 객체 내의 볼륨정보에 기초하여 입력된 2차원 영상의 깊이 맵(depth map)을 생성한다.
이러한 구성에 따라, 깊이 맵 생성부(200)는 사용자가 입력한 제1 Z컨트롤 포인트를 이용하여 객체의 깊이를 인식하고 제2 Z컨트롤 포인트를 이용하여 객체의 볼륨을 인식하여 정밀한 깊이 맵을 출력할 수 있다.
도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법의 흐름도이다.
영상 변환 장치(100)에 2차원 영상이 입력되면(S110), 영상 제어부(140)는 2차원 영상을 3차원 공간의 XY 평면에 디스플레이한다.
사용자는 디스플레이부(130)에서 2차원 영상을 확인하고 사용자 입력부(120)를 통해 객체를 선택 입력할 수 있다. 이에, 객체정보 추출모듈(210)은 해당 객체의 정보를 추출한다(S120).
사용자는 디스플레이부(130)에 표시된 객체에 제1 Z컨트롤 포인트를 설정하고 이를 Z축 방향으로 드래그하여 제1 Z컨트롤 포인트를 3차원 공간상의 소정 위치로 이동시킬 수 있다(S130).
영상 제어부(140)는 사용자가 설정한 제1 Z컨트롤 포인트를 포함하는 가상의 평면에 해당 객체를 투영하여 디스플레이한다(S140).
사용자는 투영된 객체에 제2 Z컨트롤 포인트를 설정하고 이를 Z축 방향으로 드래그하여 제2 Z컨트롤 포인트를 3차원 공간상의 소정 위치로 이동시킬 수 있다(S150). 여기서, 사용자는 제1 Z컨트롤 포인트 입력 모드와 제2 Z컨트롤 포인트 입력 모드를 선택적으로 적용할 수 있다.
영상 제어부(140)는 사용자가 설정한 제 Z컨트롤 포인트와 객체의 윤곽선을 포함하는 곡면을 설정하여 디스플레이한다(S160).
깊이정보 설정모듈(220)은 제1 Z컨트롤 포인트로부터 객체의 깊이정보를 추출하고, 볼륨정보 설정모듈(230)은 제2 Z컨트롤 포인트로부터 객체의 볼륨정보를 추출한다(S170).
깊이 맵 생성모듈은 추출된 깊이정보와 볼륨정보를 이용하여 깊이 맵을 생성한다(S180).
이상 설명한 바와 같이, 본 발명은 2차원 평면에서 객체를 선택하고 해당 객체에 제1 Z컨트롤 포인트를 설정하여 드래그하는 방법으로 깊이정보를 설정한다. 또한, 객체에 제2 Z컨트롤 포인트를 설정하여 드래그하는 방법으로 볼륨정보를 설정한다. 이에, 사용자는 객체에 부여되는 깊이정보와 볼륨정보를 시각적으로 인식하고 직관적인 방법으로 입력할 수 있다. 또한, 볼륨정보를 이용하여 객체의 내부 영역에도 세밀한 깊이 값을 설정함으로써 고품질의 3차원 영상을 얻을 수 있다.
본 발명의 실시예에 따른 영상 변환 장치(100)의 작업 과정을 도 4를 참조하여 설명한다.
영상 변환 장치(100)의 디스플레이부(130)에는 2차원 영상이 표시되고 사용자는 표시된 영상에서 깊이정보를 부여하고자 하는 객체(A)를 추출할 수 있다.
선택된 객체(A)는 배경으로부터 분리되어 제1 Z컨트롤 포인트를 포함하는 평면상에 투영된다. 이에, 사용자는 제1 Z컨트롤 포인트를 Z축 방향으로 드래그하여 조절함으로써 Z값, 즉, 깊이정보를 직관적으로 입력할 수 있다.
여기에 제2 Z컨트롤 포인트를 입력하면, 선택된 객체(A)의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면(a)이 표시된다. 곡면(a)의 형상 또한 제2 Z컨트롤 포인트를 조절함으로써 볼륨정보를 직관적으로 입력할 수 있다. 제2 Z컨트롤 포인트에 의해 생성된 곡면(a)은 객체의 내부 영역에서 점진적으로 증감하는 깊이정보로 처리된다.
이상 설명한 바와 같이, 사용자는 제1 Z컨트롤 포인트를 이용하여 객체의 깊이정보를 입력함으로써 객체와 배경 간의 입체감을 표현할 수 있으며, 제2 Z컨트롤 포인트를 이용하여 객체의 볼륨정보를 입력함으로써 객체 자체의 볼륨감도 표현할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 2차원 영상을 3차원 영상으로 변환하기 위해 깊이 맵을 생성하는 경우 사용자가 2차원 영상에서 객체를 선택하고 선택된 객체를 제1 Z컨트롤 포인트를 이용하여 깊이정보를 입력한 후 제2 Z컨트롤 포인트를 이용하여 선택된 객체에 대해 볼륨정보를 입력할 수 있도록 함으로써, 사용자가 객체의 깊이정보와 볼륨정보를 직관적으로 인식하여 용이하게 입력할 수 있도록 하는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 변환 장치와 방법 및 그에 대한 기록매체를 제공하는 데에 이용할 수 있다.
100 : 영상 변환 장치 110 : 2차원 영상 입력부
120 : 사용자 입력부 130 : 디스플레이부
140 : 영상 제어부 160 : 3차원 영상 렌더링부
200 : 깊이 맵 생성부 210 : 객체정보 추출모듈
220 : 깊이정보 설정모듈 230 : 볼륨정보 설정모듈
240 : 깊이 맵 생성모듈

Claims (13)

  1. 제1모드 시 2차원 영상에서 선택된 객체에 제1 Z컨트롤 포인트를 설정하여 상기 객체의 깊이정보를 입력하고, 제2모드 시 상기 객체에 제2 Z컨트롤 포인트를 설정하여 상기 객체의 볼륨정보를 입력하는 사용자 입력부;
    상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하고 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하여 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 2차원 영상과 상기 선택된 객체를 디스플레이하는 디스플레이부; 및
    상기 제1모드에서 상기 제1 Z컨트롤 포인트가 입력된 경우 상기 제1 Z컨트롤 포인트를 포함하는 가상의 평면에 상기 객체를 투영하여 표시하고, 상기 제2모드에서 상기 제2 Z컨트롤 포인트가 입력되는 경우 상기 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면을 설정하여 표시하는 영상 제어부를 포함하는 영상 변환 장치.
  2. 제1항에 있어서,
    상기 깊이 맵 생성부는,
    상기 사용자 입력부에서 선택된 객체정보를 추출하는 객체정보 추출모듈;
    상기 제1 Z컨트롤 포인트의 Z값을 상기 객체의 깊이정보로 인식하는 깊이정보 설정모듈;
    상기 제2 Z컨트롤 포인트의 Z값을 상기 객체의 볼륨정보로 인식하여, 상기 윤곽선 내의 객체 영역의 깊이 정보가 상기 제1 Z컨트롤 포인트에서부터 상기 제2 Z컨트롤 포인트까지 순차적으로 변화하는 것으로 인식하는 볼륨정보 설정모듈; 및
    상기 객체의 깊이정보와 볼륨정보에 기초하여 깊이 맵을 생성하는 깊이 맵 생성모듈을 포함하는 것을 특징으로 하는 영상 변환 장치.
  3. 제1항에 있어서,
    상기 영상 제어부는,
    사용자의 선택에 따라 상기 제1모드와 제2모드 중 어느 하나의 모드로 진입하는 것을 특징으로 하는 영상 변환 장치.
  4. 제1항에 있어서,
    상기 영상 제어부는,
    상기 사용자의 선택에 따라 각기 다른 깊이정보가 입력된 적어도 둘 이상의 객체를 깊이에 따라 세로축으로 정렬시켜 표시하는 것을 특징으로 하는 영상 변환 장치.
  5. 제1항에 있어서,
    상기 깊이 맵에 기초하여 상기 2차원 영상에 대해 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성하는 3차원 영상 렌더링부를 더 포함하는 것을 특징으로 하는 영상 변환 장치.
  6. 3차원 변환을 위해 입력된 2차원 영상을 3차원 공간에 표시하는 단계;
    상기 2차원 영상에서 객체를 정의한 객체정보를 입력 받는 단계;
    제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계;
    제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계;
    상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계; 및
    상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계를 포함하는 영상 변환 방법.
  7. 제6항에 있어서,
    상기 제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계는,
    상기 객체의 영역에 포함되는 제1 Z컨트롤 포인트를 입력 받는 단계; 및
    상기 제1 Z컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 제1 Z컨트롤 포인트를 포함하는 평면에 상기 객체를 투영하여 표시하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  8. 제6항에 있어서,
    상기 제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계는,
    상기 객체의 영역에 포함되는 제2 Z컨트롤 포인트를 입력 받는 단계; 및
    상기 제2 Z컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 객체의 윤곽선과 제2 Z컨트롤 포인트를 포함하는 곡면을 설정하여 표시하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  9. 제6항에 있어서,
    상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계는,
    상기 제1 Z컨트롤 포인트의 Z 값에 따라 상기 객체의 깊이정보를 인식하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  10. 제6항에 있어서,
    상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계는,
    상기 제2 Z컨트롤 포인트의 Z값을 상기 객체의 볼륨정보로 인식하여, 윤곽선 내의 객체 영역의 깊이 정보가 상기 제1 Z컨트롤 포인트에서부터 상기 제2 Z컨트롤 포인트까지 순차적으로 변화하는 것으로 인식하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  11. 제6항에 있어서,
    사용자의 선택에 따라 상기 제1모드와 제2모드 중 어느 하나의 모드로 진입하는 단계를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
  12. 제6항에 있어서,
    상기 객체에 입력된 깊이정보와 볼륨정보에 기초하여 깊이 맵을 생성하는 단계; 및
    상기 깊이 맵에 따라 3차원 영상을 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
  13. 2차원 영상을 3차원 영상으로 변환함에 있어서,
    3차원 변환을 위해 입력된 2차원 영상을 3차원 공간에 표시하는 단계; 상기 2차원 영상에서 객체를 정의한 객체정보를 입력 받는 단계; 제1모드에서 제1 Z컨트롤 포인트를 입력받아 상기 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계; 제2모드에서 제2 Z컨트롤 포인트를 입력받아 상기 객체의 볼륨정보를 곡면으로 설정하여 표시하는 단계; 상기 제1 Z컨트롤 포인트의 이동에 따라 상기 객체의 깊이정보를 인식하는 단계; 및 상기 제2 Z컨트롤 포인트의 이동에 따라 상기 객체의 볼륨정보를 인식하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.
KR1020110125868A 2011-11-28 2011-11-29 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 KR101330523B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110125868A KR101330523B1 (ko) 2011-11-29 2011-11-29 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
PCT/KR2012/009002 WO2013081304A1 (ko) 2011-11-28 2012-10-30 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125868A KR101330523B1 (ko) 2011-11-29 2011-11-29 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체

Publications (2)

Publication Number Publication Date
KR20130059736A KR20130059736A (ko) 2013-06-07
KR101330523B1 true KR101330523B1 (ko) 2013-11-18

Family

ID=48858506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125868A KR101330523B1 (ko) 2011-11-28 2011-11-29 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체

Country Status (1)

Country Link
KR (1) KR101330523B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192986B1 (ko) 2014-05-23 2020-12-18 삼성전자주식회사 영상 디스플레이 장치 및 영상 디스플레이 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001526477A (ja) 1997-12-05 2001-12-18 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
KR20090041329A (ko) * 2007-10-23 2009-04-28 파나소닉 주식회사 리튬 2차 전지
JP2009290905A (ja) 2009-09-10 2009-12-10 Panasonic Corp 表示装置および表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001526477A (ja) 1997-12-05 2001-12-18 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
KR20090041329A (ko) * 2007-10-23 2009-04-28 파나소닉 주식회사 리튬 2차 전지
JP2009290905A (ja) 2009-09-10 2009-12-10 Panasonic Corp 表示装置および表示方法

Also Published As

Publication number Publication date
KR20130059736A (ko) 2013-06-07

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
EP3176678B1 (en) Gesture-based object measurement method and apparatus
CN101287143B (zh) 基于实时人机对话的平面视频转立体视频的方法
JP6439214B2 (ja) 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体
Ward et al. Depth director: A system for adding depth to movies
KR102359230B1 (ko) 가상 공간 제공 방법 및 장치
WO2015093315A1 (ja) 画像処理装置および方法、並びにプログラム
US8599199B2 (en) Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same
US10606241B2 (en) Process planning apparatus based on augmented reality
JP2015082288A (ja) 情報処理装置およびその制御方法
KR101602472B1 (ko) 2차원 이미지 변환을 통한 3차원 프린팅 파일 생성 장치 및 방법
US11357462B2 (en) 3D perspective indicator and generation method therefor and application thereof
US20120032950A1 (en) Apparatus and method for synthesizing additional information while rendering object in 3d graphic-based terminal
TW201710646A (zh) 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
CN104349157A (zh) 3d显示装置及其方法
KR101330523B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR101388668B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR20130059733A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
CN105791798B (zh) 一种基于gpu的4k超多视点3d视频实时转化方法及装置
KR20160107588A (ko) 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
KR20130058871A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR101390961B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 시스템과 방법 및 그에 대한 기록매체
CN207253048U (zh) 美甲装置
KR101285111B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법
KR20130085143A (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161031

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 6