KR20110060180A - 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치 - Google Patents

관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치 Download PDF

Info

Publication number
KR20110060180A
KR20110060180A KR1020090116690A KR20090116690A KR20110060180A KR 20110060180 A KR20110060180 A KR 20110060180A KR 1020090116690 A KR1020090116690 A KR 1020090116690A KR 20090116690 A KR20090116690 A KR 20090116690A KR 20110060180 A KR20110060180 A KR 20110060180A
Authority
KR
South Korea
Prior art keywords
image
model
roi
information
generating
Prior art date
Application number
KR1020090116690A
Other languages
English (en)
Inventor
김태원
장은영
허남호
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090116690A priority Critical patent/KR20110060180A/ko
Publication of KR20110060180A publication Critical patent/KR20110060180A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 객체에 대한 영상을 디스플레이 하는 디스플레이부, 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 입력부, 및 상기 관심 영역에 대한 다시점 영상을 획득하고, 상기 다시점 영상에 기초하여 3차원 모델을 생성하는 영상 처리부를 포함하는 3차원 모델 생성 장치를 제안한다.
Figure P1020090116690
3차원 입체 방송, 3D TV, 사용자 인터랙션

Description

관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치{METHOD AND APPARATUS FOR PRODUCING 3D MODELS BY INTERACTIVELY SELECTING INTERESTED OBJECTS}
본 발명은 3차원 입체 방송의 응용 서비스에 관한 것으로서, 더욱 상세하게는 시청자가 시청하면서 선택한 관심 있는 객체(영역)에 대한 3차원 모델을 생성할 수 있는 3차원 모델 생성 방법 및 장치에 관한 것이다.
디지털 정보화 시대를 맞이하여, 컴퓨터 그래픽스, 몰입형(immersive) 디스플레이, 디지털 전송 기술이 발전함에 따라, 우리는 시뮬레이션을 이용하여 현실 세계를 재창조하고 이를 경험할 수 있게 되었다.
오늘날 현재 정보 가전 기술의 발전 추세는 하이-엔드(high-end) 워크스테이션 이상의 프로세싱 능력을 갖는 컴퓨터를 탑재하고 있다. 따라서, 전문가들은 3차원 렌더링 하드웨어와 3차원 디스플레이 기술의 발전에 힘입어 완전한 3차원 TV가 빠른 시일 내에 등장할 것으로 예상하고 있다.
현재 디지털 케이블이나 광대역 통합망과 같은 초고속 정보통신망을 통하여 3차원 입체 방송(3DTV) 영상을 서비스하기 위한 시도가 이루어지고 있다.
본 발명의 일실시예는 시청자가 3차원 입체 방송을 시청하면서 관심 있는 객체를 선택하면, 선택된 객체에 대한 3차원 모델을 생성 할 수 있는 3차원 모델 생성 장치를 제공하는 것을 목적으로 한다.
본 발명의 일실시예는 시청자가 3차원 입체 방송을 시청하면서 선택한 객체에 대해 추후의 검색 및 돌려보기 등의 다양한 서비스를 제공할 수 있는 3차원 모델 생성 장치를 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 3차원 모델 생성 장치는 객체에 대한 영상을 디스플레이 하는 디스플레이부, 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 입력부, 및 상기 관심 영역에 대한 다시점 영상을 획득하고, 상기 다시점 영상에 기초하여 3차원 모델을 생성하는 영상 처리부를 포함한다.
본 발명의 다른 실시예에 따른 3차원 모델 생성 장치는 객체에 대한 영상을 디스플레이 하는 디스플레이부, 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 입력부, 및 상기 관심 영역에 대한 깊이 정보를 추출하고, 상기 깊이 정보로부터 3차원 상의 위치 정보를 추출하며, 상기 위치 정보 및 상기 관심 영역에 대한 영상을 조합하여 상기 관심 영역에 대한 3차원 모델을 생성하는 영상 처리부를 포함한다.
본 발명의 일실시예에 따른 3차원 모델 생성 방법은 객체에 대한 영상을 디 스플레이 하는 단계, 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 단계, 및 상기 관심 영역에 대한 다시점 영상을 획득하고, 상기 다시점 영상에 기초하여 3차원 모델을 생성하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 3차원 모델 생성 방법은 객체에 대한 영상을 디스플레이 하는 단계, 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 단계, 상기 관심 영역에 대한 깊이 정보를 추출하고, 상기 깊이 정보로부터 3차원 상의 위치 정보를 추출하는 단계, 및 상기 위치 정보 및 상기 관심 영역에 대한 영상을 조합하여 상기 관심 영역에 대한 3차원 모델을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 특정한 관심 객체에 대해서 3차원 복원을 통한 3D 모델을 생성할 수 있다.
또한 본 발명의 일 실시예에 따르면, 임의의 시간 및 임의의 시점 (viewpoint)에 언제든지 원하는 3D 모델을 불러내어 돌려보기 등의 다양한 서비스를 체험할 수 있다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델 생성 장치(100)를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 3차원 모델 생성 장치(100)는 영상 정보에 기반한 3차원 모델 생성 장치로서, 디스플레이부(110), 입력부(130), 및 영상처리부(150)를 포함한다.
디스플레이부(110)는 객체에 대한 영상을 디스플레이 한다. 디스플레이부(100)를 통해 디스플레이 되는 영상은 다시점 영상 또는 일반 영상과 깊이 영상에 의해 구성된 영상으로 구분할 수 있다.
여기서 다시점 영상(multi-view video)이란 서로 다른 시점을 갖는 영상을 말하며, 이는 카메라와 객체가 이루는 시점(viewpoint)이 카메라의 위치에 따라 서로 다르기 때문에 발생한다.
다시점 영상은 여러 위치에서의 다시점 영상을 획득하기 위하여 다수 대의 다시점 카메라 또는 스테레오 카메라에 의해 촬영된 객체 또는 장면 영상으로부터 얻을 수 있다.
다시점 영상을 획득하기 위한 다수 대의 카메라는 각각 객체 또는 장면과 서로 다른 각도를 이루도록 배치되며, 서로 다른 시점의 영상들을 각각 획득한다. 이때 다수 대의 카메라들의 배치에 특별한 제한이 있는 것은 아니지만, 중심 카메라를 기준으로 영상의 극상선과 서로 일치되도록 배치되는 것이 바람직하다.
다시점 카메라 또는 스테레오 카메라를 통해 얻은 영상은 그 영상을 이루는 2차원 상의 픽셀 별 색상 정보 또는 그레이 레벨 정보를 포함하지만, 3차원 상의 깊이 정보는 포함하지 않는다.
따라서, 다시점 영상의 경우, 3차원 모델의 생성 시에 3차원 상의 위치 정보(또는 깊이 정보)를 획득하기 위한 카메라 정보를 필요로 한다.
본 발명의 다른 실시예에 따르면 디스플레이부(110)는 일반 영상과 깊이 영상에 의해 구성된 영상을 디스플레이 할 수도 있다. 이 경우 깊이 영상은 예를 들어, 깊이 카메라 등에 의해 얻을 수 있다.
입력부(130)는 사용자 단말로부터 디스플레이부(110)를 통해 표시된 영상 중 관심 영역을 입력 받는다. 이와 같은 사용자와의 인터랙션을 통해 본 발명의 일실시예에 따른 3차원 모델 생성 장치는 사용자가 원하는 객체의 다양한 3차원 모델 등을 수집하여 저장할 수 있다.
영상 처리부(150)는 입력부(130)를 통해 입력 받은 관심 영역에 대한 다시점 영상을 획득하고, 다시점 영상에 기초하여 3차원 모델을 생성한다.
또한, 영상 처리부(150)는, 관심 영역의 3차원 상의 위치 정보를 생성하고, 위치 정보 및 다시점 영상을 조합하여 3차원 모델을 생성할 수 있다.
앞서 살펴본 바와 같이 다시점 영상의 경우, 3차원 상의 위치 정보를 포함하고 있지 않기 때문에 다시점 영상만으로는 바로 3차원 모델을 생성할 수 없다. 따라서 다시점 영상으로부터 위치 정보를 생성한 후, 위치 정보를 다시점 영상의 영상 정보와 조합하여야 3차원 모델을 생성할 수 있다.
다시점 영상을 이용한 3차원 입체 방송 시스템은 도 2에 나타나 있다.
도 2는 다시점 영상에 기반하여 3차원 입체 방송을 제공하는 것을 나타낸 도면이다.
3차원 입체 방송이란 2 시점 또는 3시점 이상의 다시점 영상을 전송하여 시청자가 이를 3차원 입체 디스플레이를 통해서 3차원 입체 방식으로 시청하는 것을 의미한다.
도 2를 참조하면, 3차원 입체 방송을 위해 방송 제공자는 2시점 영상 또는 다시점 영상을 영상 부호화 장치(210)에서 부호화하고, 이를 인터넷/RF 등의 전송매체를 통해 전송한다.
그러면 수신자 측의 영상 복호화 장치(230)는 부호화 된 신호를 수신하여 복호화하고, 스테레오스코픽 디스플레이 또는 다시점 디스플레이 장치(250)를 통해 시청자에게 제공한다.
그런데, 2시점 영상 또는 다시점 영상의 경우, 3차원 모델을 생성하는데 필요한 깊이 영상(또는 위치 정보)이 포함되어 있지 않다. 따라서 객체의 3차원 상의 위치 정보를 계산하는 과정이 필요하다.
이를 위해 영상 처리부(150)는, 다시점 영상 간의 대응점을 이용하여 다시점 영상 간의 변위값을 추출하고, 변위값과 다시점 영상을 촬영한 복수의 카메라들에 대한 측정 정보를 조합하여 위치 정보를 생성할 수 있다.
이때 변위값은 대응점을 이용하여 공간 상의 동일한 점에 대한 다시점 영상의 변위값을 추출함으로써 구할 수 있으며, 이를 스테레오 매칭 방법이라 한다.
일반적으로 피사체 영상으로부터 3차원 상의 위치 정보를 획득하는 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다.
이 중 다시점 영상을 이용하여 3차원 상의 위치 정보를 획득하는 경우에는 수동적 방법이 이용될 수 있다.
수동적 방법 중 특히 스테레오 매칭 방법은 동일 피사체에 대하여 동일선상 의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상으로부터 3차원 영상을 얻기 위해 이용할 수 있다.
일반적으로 2차원 영상으로부터 3차원 영상을 생성하기 위해서는 2차원 영상의 수직, 수평의 위치 정보인 x, y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. 이 z 좌표를 구하기 위해서는 스테레오 영상의 변위 정보를 필요로 하는데, 스테레오 매칭은 이러한 변위를 얻기 위해 사용한다.
여기서 스테레오 영상은 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 영상을 의미한다.
수동적 방법은 능동적 방법에 비하여 저가의 비용으로 3차원 정보를 얻을 수 있고, 해상도가 높다는 장점을 가진다.
스테레오 매칭 방법을 다시점 영상에 적용할 경우, 다시점 카메라로부터 획득한 좌/우 영상의 상응점(correspondence point)을 찾고, 모든 픽셀 마다 변위(disparity)를 찾을 수 있다. 스테레오 매칭을 통해 찾은 변위는 실제 3차원 깊이 정보로 변환하는 변환 함수의 입력으로서 깊이 정보를 얻는데 사용될 수 있다.
또한 스테레오 매칭은 색상 분할법에 기반하여 다시점 카메라를 통해 획득한 2차원 영상을 색 정보에 따라 분할하고, 분할된 영역 단위로 초기 변위를 구할 수 있다. 여기에서 초기 변위는 평탄화 제한법(smoothness constraint)과 같은 후처리 기법을 통해 정확도가 향상될 수 있다.
이 밖에도 다시점 영상과 측정 정보를 이용하여 깊이 정보(위치 정보)를 생 성하는 수동적 방법으로는 예를 들어, 실루엣 기반 방법(shape from Silhouette), 부피 기반 모델링 방법인 복셀 컬러링(Voxel Coloring), 카메라 이동에 의해 촬영된 다시점 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추적 방법(Shape from Motion) 등을 들 수 있다.
또한 영상 처리부(150)는 다시점 영상의 텍스쳐(texture) 정보를 이용하여 사용자가 선택한 관심 영역에 대한 3차원 모델의 텍스쳐를 형성하여 관심 영역(객체)가 실제 하는 것과 같은 느낌, 질감 등을 표현할 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 모델 생성 장치(350)를 이용하여 3차원 입체 방송에서 선택된 객체의 3차원 모델을 생성하는 것을 나타낸 도면이다.
더욱 상세하게는 도 3는 2 시점 또는 다시점 영상으로부터 사용자와의 인터랙션에 의해서 선택된 객체에 대한 3차원 모델을 생성하는 것을 나타낸다.
영상 및 카메라 정보 부호화 장치(310)로 입력되는 정보는 2시점 또는 다시점 영상과 이들 영상 각각을 촬영한 카메라에 대한 카메라 정보이다.
여기서 카메라 정보란 다시점 영상을 촬영한 카메라 각각의 위치 좌표를 포함하는 측정(calibration) 정보로서, 3차원 모델 생성 장치(350)에서 3차원 모델을 생성하는데 이용된다.
방송 제공자에 의해 부호화된 2시점 또는 다시점 영상 및 카메라 정보는 RF/인터넷 등의 전송매체를 통해 사용자, 즉, 3차원 입체 방송 시청자에게 제공되고, 사용자 측에서는 부호화된 영상 및 카메라 정보를 다시 복호화하여 3차원 모델 생성 장치(350)로 제공한다.
이때 복호화된 영상 및 카메라 정보는 3차원 모델 생성 장치(350)의 디스플레이부를 통해 사용자에게 디스플레이 된다.
사용자는 입력부를 통해 디스플레이 된 영상 중 관심 영역을 선택하고, 영상처리부는 관심 영역에 대한 영상과 이에 대한 카메라 정보를 이용하여 3차원 모델을 생성한다.
본 발명의 다른 실시예에 따르면, 영상처리부는 도 4와 같이 일반 영상과 깊이 영상이 주어진 경우에, 이를 이용하여 3차원 모델을 생성할 수 있다.
도 4는 영상 및 깊이 영상에 기반하여 3차원 입체 방송을 제공하는 것을 나타낸 도면이다.
3차원 입체 방송은 도 4에 도시된 것과 같이 1시점의 일반 영상과 그에 해당하는 깊이 영상을 영상/깊이 부호화 장치(410)에 의해 전송하여 이를 시청자가 3차원 입체 디스플레이를 통해서 시청함으로써 이루어질 수도 있다.
깊이 영상은 도 2 내지 도 3에서의 수동적 방법과 달리 능동적 방법을 이용하여 획득할 수 있으며, 예를 들어, 3차원 스캐너 또는 깊이 카메라 등을 이용할 수 있다.
깊이 카메라는 레이저를 객체나 대상 영역에 비추고, 되돌아 오는 광선을 취득하여 깊이 영상을 실시간으로 얻을 수 있는 장치로서, 객체 또는 장면으로부터 색상에 대한 영상을 획득하는 색상 카메라와, 적외선을 통해 깊이 정보를 센싱 하는 깊이 센서를 포함할 수 있다.
깊이 카메라를 이용하여 객체 또는 장면으로부터 실시간으로 깊이 영상을 직 접적으로 얻을 수 있다.
이러한 능동적 방법을 통해 얻어진 깊이 영상은 일반 영상과 함께 영상/깊이 부호화 장치(410)를 통해 사용자측으로 제공되고, 이후의 3차원 모델 생성 과정에서도 이용될 수 있다.
부호화된 일반 영상 및 깊이 영상을 인터넷 등의 전송 매체를 통해 수신한 수신자 측에서는 영상/깊이 복호화 장치(430)를 통해 깊이 정보가 포함된 깊이 영상과 일반 영상으로 각각 복호화 한다. 복호화 된 깊이 영상 및 일반 영상은 DIBR 다시점 생성 장치(450)에 의해 다시점 영상으로 생성되고, 다시점 디스플레이 장치(470)를 통해 사용자에게 제공된다.
DIBR 다시점 생성 장치(450)는 깊이 영상 기반 렌더링(Depth Image Based Rendering, 이하 DIBR) 기법에 기반한 다시점 영상을 생성한다.
영상 기반 렌더링(DIBR) 기법은 텍스쳐(texture) 영상과 텍스쳐 영상의 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth image)을 사용하여 임의의 시점에서의 영상을 렌더링 한다.
시청자는 입체 디스플레이를 통해서 기존 2차원 영상에 기반한 방송 서비스보다 현장감 있고 입체감 있는 3차원 방송을 체험할 수 있으나, 이러한 입체감의 체험은 방송 중이라는 특정 시점에 한정된다.
하지만 본 발명의 일실시예에 따르면 특정한 관심 객체에 대해서 3차원 복원을 통한 3D 모델을 추출하여 저장할 수 있으며, 저장된 객체에 대해서 언제든지 원하는 시간에 저장된 3D 모델을 불러내어 임의의 시간 및 임의의 시점(viewpoint)에 서 마음대로 돌려보기 등의 다양한 서비스를 체험할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 3차원 모델 생성장치(570)를 이용하여 3차원 입체 방송에서 선택된 객체의 3차원 모델을 생성하는 것을 나타낸 도면이다.
도 5와 같이 영상 및 깊이 정보 기반한 입체 방송의 경우, 이미 깊이 정보에 3차원 모델을 생성하기 위해 필요한 3차원 정보들이 포함되어 있으므로 카메라 정보는 따로 필요하지 않다.
도 5에서 영상/깊이 부호화(510), 영상/깊이 복호화(530), DIBR 다시점 생성장치(550)에 대한 설명은 도 4에서의 영상/깊이 부호화 장치(410), 영상/깊이 복호화 장치(430) 및 DIBR 다시점 생성 장치(450)와 동일하므로 해당 부분의 설명을 참조한다.
3차원 모델 생성장치(570)는 사용자 인터랙션에 의해 선택된 객체 정보에 해당하는 영상과 이에 대한 깊이 정보로부터 3차원 모델을 곧바로 생성할 수 있다.
3차원 모델 생성장치(570)는 3차원 모델을 생성하기 위하여 사용자로부터 선택된 관심 영역(객체)에 대한 깊이 정보를 추출하고, 깊이 정보로부터 3차원 상의 위치 정보를 추출한다. 또한 3차원 모델 생성장치(570)는 추출된 위치 정보 및 관심 영역(객체)에 대한 영상을 조합하여 관심 영역에 대한 3차원 모델을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델 생성 방법을 나타낸 흐름도이다.
도 6을 참조하면, 영상 정보를 이용한 3차원 모델 생성 방법은 영상을 디스 플레이 하는 단계(601), 관심 영역을 입력 받는 단계(603), 다시점 영상을 획득하는 단계(605), 위치 정보를 생성하는 단계(607), 및 3차원 모델을 생성하는 단계(609)를 포함한다.
단계 601은, 스테레오스코픽 디스플레이 또는 다시점 디스플레이 등을 통해 3차원 입체 방송 영상을 디스플레이 한다. 이때의 영상은 2시점 영상 또는 다시점에 기반한 복수의 영상이 되고, 각각의 영상을 촬영한 복수의 카메라들에 대한 카메라 정보가 함께 포함된다. 여기서 카메라 정보는 예를 들어, 각각의 영상들에 대한 3차원 모델 생성을 위한 복수의 카메라들의 위치 좌표와 같은 칼리브레이션(calibration) 정보가 될 수 있다.
2시점 또는 다시점 영상의 경우, 3차원 모델을 생성할 수 있는 깊이 정보가 포함되어 있지 않기 때문에, 영상으로부터 3차원 모델을 생성하기 위한 위치 정보의 추출이 요구된다.
단계 603은, 사용자 단말로부터 다시점 디스플레이 또는 스테레오스코픽 디스플레이를 통해 제공되는 영상 중 관심 영역을 입력 받는다. 여기서 입력 받는 관심 영역을 이용하여 사용자가 원하는 객체 또는 영역(예를 들어, 관심 있는 배우의 얼굴, 특정한 객체 등)에 대한 3차원 모델을 추출, 생성한다. 또한, 차후에 저장된 모델을 검색하거나, 사용자가 원하는 시기에 불러내어 다시 3차원 디스플레이에 띄워 돌려보기 등의 다양한 서비스를 지원할 수 있다.
단계 605는, 사용자 단말로부터 선택된 관심 영역에 대한 다시점 영상을 획득한다.
이때 다시점 영상의 획득은 복수의 카메라들을 이용하여 촬영된 복수 개의 영상으로 구성되며, 다시점 영상뿐만 아니라 2시점 영상을 획득할 수도 있다. 또한 단계 605에서 다시점 영상의 획득 시에는 영상 정보뿐만 아니라 각각의 영상을 촬영한 카메라 정보 또한 획득할 수 있다.
단계 607은, 관심 영역의 3차원 상의 위치 정보를 생성한다.
이때 다시점 영상 간의 대응점을 이용하여 다시점 영상 간의 변위값을 추출하고, 추출된 변위값과 다시점 영상을 촬영한 복수의 카메라들에 대한 측정 정보를 조합하여 위치 정보를 생성한다.
단계 609는, 위치 정보 및 다시점 영상을 조합하여 3차원 모델을 생성한다.
도 7은 본 발명의 다른 실시예에 따른 3차원 모델 생성 방법을 나타낸 흐름도이다.
도 7를 참조하면, 깊이 정보 및 영상 정보를 이용한 3차원 모델 생성 방법은, 영상을 디스플레이 하는 단계(701), 관심 영역을 입력 받는 단계(703), 위치 정보를 추출하는 단계(705), 및 3차원 모델을 생성하는 단계(707)를 포함한다.
단계 701은, 깊이 영상 정보 및 일반 영상 정보를 이용해 생성된 다시점 영상을 디스플레이 한다.
이때 디스플레이 되는 영상은 도 3 또는 도 5와 같이 일반 영상과 깊이 영상(예를 들어, 깊이 카메라 등에 의해 촬영된 깊이 영상)으로부터 기반 렌더링(DIBR) 기법을 통해 생성된 다시점 영상이다.
깊이 영상이 있는 경우에는, 3차원 모델을 생성하기 위해 필요한 3차원 정보 들이 포함되어 있으므로 카메라 정보와 같은 별도의 정보를 필요로 하지 않는다.
여기서 카메라 정보는 예를 들어, 각각의 영상들에 대한 3차원 모델 생성을 위한 복수의 카메라들의 위치 좌표와 같은 칼리브레이션(calibration) 정보를 이른다.
단계 703은 사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는다. 앞서 도 6을 통해 살펴본 바와 같이 사용자 단말로부터 입력 받는 관심 영역을 이용하여 사용자가 원하는 객체 또는 영역(예를 들어, 관심 있는 배우의 얼굴, 특정한 객체 등)에 대한 3차원 모델을 추출, 생성한다.
단계 705는 관심 영역에 대한 깊이 정보를 추출하고, 깊이 정보로부터 3차원 상의 위치 정보를 추출한다.
여기서 관심 영역에 대한 영상에는 깊이 정보가 포함되어 있으므로 복잡한 계산을 거치지 않고도 용이하게 3차원상의 위치 정보를 추출할 수 있다.
단계 707은 위치 정보 및 관심 영역에 대한 다시점 영상을 조합하여 관심 영역에 대한 3차원 모델을 생성한다.
이렇게 생성된 3차 모델은 사용자가 원하는 객체의 다양한 3차원 모델 등을 수집하여 저장할 수 있고, 자신만의 3차원 모델을 가질 수 있어 3차원 입체 방송의 흥미를 배가시킬 수 있다.
이상, 도 6 내지 도 7에서의 3차원 모델 생성 방법에 대한 설명에 있어서, 동일한 명칭 및 구조를 가지는 구성 요소, 용어 및 기타 부분에 대하여는 도 1 내지 도 5의 설명 부분을 참조할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가지 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델 생성 장치(100)를 나타낸 블록도이다.
도 2는 다시점 영상에 기반하여 3차원 입체 방송을 제공하는 것을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 모델 생성 장치(350)를 이용하여 3차원 입체 방송에서 선택된 객체의 3차원 모델을 생성하는 것을 나타낸 도면이다.
도 4는 영상 및 깊이 영상에 기반하여 3차원 입체 방송을 제공하는 것을 나타낸 도면이다.
도 5는 본 발명의 다른 실시예에 따른 3차원 모델 생성장치(570)를 이용하여 3차원 입체 방송에서 선택된 객체의 3차원 모델을 생성하는 것을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 3차원 모델 생성 방법을 나타낸 흐름도이다.

Claims (10)

  1. 객체에 대한 영상을 디스플레이 하는 디스플레이부;
    사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 입력부; 및
    상기 관심 영역에 대한 다시점 영상을 획득하고, 상기 다시점 영상에 기초하여 3차원 모델을 생성하는 영상 처리부
    를 포함하는 3차원 모델 생성 장치.
  2. 제1항에 있어서, 상기 영상 처리부는,
    상기 관심 영역의 3차원 상의 위치 정보를 생성하고, 상기 위치 정보 및 상기 다시점 영상을 조합하여 상기 3차원 모델을 생성하는 3차원 모델 생성 장치.
  3. 제2항에 있어서, 상기 영상 처리부는,
    상기 다시점 영상 간의 대응점을 이용하여 상기 다시점 영상 간의 변위값을 추출하고, 상기 변위값과 상기 다시점 영상을 촬영한 복수의 카메라들에 대한 측정 정보를 조합하여 상기 위치 정보를 생성하는 3차원 모델 생성 장치.
  4. 제3항에 있어서, 상기 영상 처리부는,
    상기 대응점을 이용하여 공간 상의 동일한 점에 대한 상기 다시점 영상의 변위값을 추출하는 3차원 모델 생성 장치.
  5. 제1항에 있어서, 상기 영상 처리부는,
    상기 다시점 영상의 텍스쳐(texture) 정보를 이용하여 상기 3차원 모델의 텍스쳐를 형성하는 3차원 모델 생성 장치.
  6. 객체에 대한 영상을 디스플레이 하는 디스플레이부;
    사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 입력부; 및
    상기 관심 영역에 대한 깊이 정보를 추출하고, 상기 깊이 정보로부터 3차원 상의 위치 정보를 추출하며, 상기 위치 정보 및 상기 관심 영역에 대한 영상을 조합하여 상기 관심 영역에 대한 3차원 모델을 생성하는 영상 처리부
    를 포함하는 3차원 모델 생성 장치.
  7. 객체에 대한 영상을 디스플레이 하는 단계;
    사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 단계; 및
    상기 관심 영역에 대한 다시점 영상을 획득하고, 상기 다시점 영상에 기초하여 3차원 모델을 생성하는 단계
    를 포함하는 3차원 모델 생성 방법.
  8. 제7항에 있어서,
    상기 다시점 영상에 기초하여 3차원 모델을 생성하는 단계는,
    상기 관심 영역의 3차원 상의 위치 정보를 생성하는 단계; 및
    상기 위치 정보 및 상기 다시점 영상을 조합하여 상기 3차원 모델을 생성하는 단계
    를 포함하는 3차원 모델 생성 방법.
  9. 제8항에 있어서,
    상기 관심 영역의 3차원 상의 위치 정보를 생성하는 단계는,
    상기 다시점 영상 간의 대응점을 이용하여 상기 다시점 영상 간의 변위값을 추출하고, 상기 변위값과 상기 다시점 영상을 촬영한 복수의 카메라들에 대한 측정 정보를 조합하여 상기 위치 정보를 생성하는 3차원 모델 생성 방법.
  10. 객체에 대한 영상을 디스플레이 하는 단계;
    사용자 단말로부터 상기 영상 중 관심 영역을 입력 받는 단계;
    상기 관심 영역에 대한 깊이 정보를 추출하고, 상기 깊이 정보로부터 3차원 상의 위치 정보를 추출하는 단계; 및
    상기 위치 정보 및 상기 관심 영역에 대한 영상을 조합하여 상기 관심 영역에 대한 3차원 모델을 생성하는 단계
    를 포함하는 3차원 모델 생성 방법.
KR1020090116690A 2009-11-30 2009-11-30 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치 KR20110060180A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090116690A KR20110060180A (ko) 2009-11-30 2009-11-30 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090116690A KR20110060180A (ko) 2009-11-30 2009-11-30 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110060180A true KR20110060180A (ko) 2011-06-08

Family

ID=44394996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090116690A KR20110060180A (ko) 2009-11-30 2009-11-30 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20110060180A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293744B1 (ko) * 2011-11-28 2013-08-06 삼성메디슨 주식회사 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
WO2014042299A1 (en) * 2012-09-14 2014-03-20 Lg Electronics Inc. Method and apparatus of controlling a content on 3-dimensional display
KR101464192B1 (ko) * 2013-05-21 2014-11-24 홍익대학교 산학협력단 다시점 보안 카메라 시스템 및 영상 처리 방법
KR101950815B1 (ko) * 2017-08-25 2019-02-21 뉴로핏 주식회사 패치 가이드 방법 및 프로그램

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293744B1 (ko) * 2011-11-28 2013-08-06 삼성메디슨 주식회사 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치
US9582936B2 (en) 2011-11-28 2017-02-28 Samsung Medison Co., Ltd. Method and apparatus for combining plurality of 2D images with 3D model
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
WO2014042299A1 (en) * 2012-09-14 2014-03-20 Lg Electronics Inc. Method and apparatus of controlling a content on 3-dimensional display
KR101464192B1 (ko) * 2013-05-21 2014-11-24 홍익대학교 산학협력단 다시점 보안 카메라 시스템 및 영상 처리 방법
KR101950815B1 (ko) * 2017-08-25 2019-02-21 뉴로핏 주식회사 패치 가이드 방법 및 프로그램

Similar Documents

Publication Publication Date Title
Mueller et al. View synthesis for advanced 3D video systems
JP5317955B2 (ja) 複数の視野の効率的な符号化
CN102362495B (zh) 用于具有显示墙的视频会议端点的多个相机的组合视图的远程呈现装置及操作方法
US8488869B2 (en) Image processing method and apparatus
JP5243612B2 (ja) 中間画像合成およびマルチビューデータ信号抽出
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
Morvan et al. System architecture for free-viewpoint video and 3D-TV
Kim et al. Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera
Tanimoto FTV (free-viewpoint TV)
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
Yoon et al. A framework for representation and processing of multi-view video using the concept of layered depth image
KR20120118622A (ko) 디지털 홀로그램 콘텐츠 서비스 방법 및 장치
JP4173440B2 (ja) 視覚通信信号
Tanimoto et al. Global view and depth (GVD) format for FTV/3DTV
Chellappa et al. Academic Press Library in Signal Processing, Volume 6: Image and Video Processing and Analysis and Computer Vision
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
Wegner et al. Omnidirectional view synthesis and test images
Tan et al. A system for capturing, rendering and multiplexing images on multi-view autostereoscopic display
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Rocha et al. An overview of three-dimensional videos: 3D content creation, 3D representation and visualization

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid