KR101538947B1 - 실감형 자유시점 영상 제공 장치 및 방법 - Google Patents

실감형 자유시점 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR101538947B1
KR101538947B1 KR1020140024923A KR20140024923A KR101538947B1 KR 101538947 B1 KR101538947 B1 KR 101538947B1 KR 1020140024923 A KR1020140024923 A KR 1020140024923A KR 20140024923 A KR20140024923 A KR 20140024923A KR 101538947 B1 KR101538947 B1 KR 101538947B1
Authority
KR
South Korea
Prior art keywords
image
view
unit
view image
control unit
Prior art date
Application number
KR1020140024923A
Other languages
English (en)
Inventor
박구만
김미소
양지희
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020140024923A priority Critical patent/KR101538947B1/ko
Application granted granted Critical
Publication of KR101538947B1 publication Critical patent/KR101538947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Abstract

본 발명에서는 기존의 자유시점영상기술은 수백대의 카메라로 시스템을 구축하기 때문에 거대한 장비가 필요하고, 촬영대상물의 과도한 입체효과로 인해 눈 통증, 어지러움을 일으키는 문제점과, 촬영대상물에 대하여 복수개의 카메라가 단지, 수평방향 또는 반호형방향으로만 배치되어 있어서, 촬영대상물의 상단 및 후단 부위의 자유시점영상획득이 어려워, 현장에 있는 듯한 현장감과 몰입감이 떨어지는 문제점을 개선하고자, 반구형 다시점 영상획득모듈(10), 하이브리드형 자유시점영상제어모듈(20)로 구성됨으로서, 이동하는 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득할 수 있고, 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킬 수 있으며, 이로 인해 클라이언트에게 현장에 있는 듯한 몰입감과 입체감, 현실감을 주는 자유시점영상을 제공시킬 수 있고, 클라이언트가 원하는 위치에서 원하는 시점과 객체를 선택해서 볼 수 있으며, 클라이언트의 손과 몸의 제스처만으로도 자유시점영상을 이동시킬 수 있고, 회전시킬 수 있으며, 무엇보다 스포츠, 쇼핑, 공연 등 산업전반에 바로 적용시킬 수 있어, 광고효과와 수익창출을 극대화시킬 수 있는 실감형 자유시점 영상 제공 장치 및 방법을 제공하는데 그 목적이 있다.

Description

실감형 자유시점 영상 제공 장치 및 방법{THE APPARATUS AND METHOD OF HEMISPHERIC FREEVIEWPOINT IMAGE SERVICE TECHNOLOGY}
본 발명에서는 클라이언트에게 몰입감과 입체감, 현실감을 주는 자유시점 영상을 제공할 수 있고, 클라이언트가 원하는 위치에서 원하는 객체를 선택해서 볼 수 있으며, 클라이언트의 손과 몸의 제스처만으로도 자유시점영상을 이동시킬 수 있고, 회전시킬 수 있는 실감형 자유시점 영상 제공 장치 및 방법에 관한 것이다.
최근 디지털 TV방송이 본격적으로 시행됨에 따라 고품질의 HDTV송 서비스가 시청자에게 직접 제공되고 있으며,이에 필요한 다양한 프로그램이 제작되고,여러종류의 수신기가 널리 보급되고 있다.
이와 더불어,디지털 신호처리 기술과 정보압축 기술도 발전하여 차세대영상 매체로 3차원(3D)입체 TV가 거론되고 있다.
3차원 입체 영상의 처리 및 디스플레이 기술은 방송뿐만 아니라,통신,의료 등의 분야에서도 매우 광범위하게 응용될 것으로 예상된다.
입체 TV방송을 시청하기 위해서는 현실감 있고 박진감이 넘치는 3차원 영상을 획득하고,이를 압축 처리하여 전송한 뒤에,3차원으로 복원하여 사용자의 요구에 따라 임의로 재현할 수 있는 3차원 입체 방송 시스템이 필요하다.
지금까지 일반 시청자(클라이언트)들은 텔레비전을 통해 멀리떨어진 세계 곳곳의 장면을 실시간으로 볼 수 있게 되었지만,보는 위치를 변경해도 항상 동일한 화면만을 본다.
즉, 시청자(클라이언트)는 TV를 통해 3차원 세계의 한 시점의 장면만을 볼 수 있으며,이는 우리가 현실 세계를 직접 눈으로 둘러보는 것과는 많은 차이가 있다.
그런데,최근에는 시청자가 원하는 임의의 위치에서 임의의 방향으로 3차원 장면을 제공해 줄 수 있는 자유시점(free-viewpoint) 영상기술이 제시된 바 있었다.
하지만 기존의 자유시점영상기술은 수백대의 카메라로 시스템을 구축하기 때문에 거대한 장비가 필요하고, 촬영대상물의 과도한 입체효과로 인해 눈 통증, 어지러움을 일으키는 문제점이 있었다.
또한, 촬영대상물에 대하여 복수개의 카메라가 단지, 수평방향 또는 반호형방향으로만 배치되어 있어서, 촬영대상물의 상단 및 후단 부위의 자유시점영상획득이 어려워, 현장에 있는 듯한 현장감과 몰입감이 떨어지는 문제점이 있었다.
국내공개특허공보 제10-2013-0097014호
상기의 문제점을 해결하기 위해 본 발명에서는 이동하는 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득할 수 있고, 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킬 수 있으며, 이로 인해 클라이언트에게 현장에 있는 듯한 몰입감과 입체감, 현실감을 주는 자유시점영상을 제공시킬 수 있고, 클라이언트가 원하는 위치에서 원하는 시점과 객체를 선택해서 볼 수 있으며, 클라이언트의 손과 몸의 제스처만으로도 자유시점영상을 이동시킬 수 있고, 회전시킬 수 있는 실감형 자유시점 영상 제공 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 실감형 자유시점 영상 제공 장치는
특정객체 또는 특정장소로 이루어진 촬영대상물의 상단방향을 중심으로 반구형상으로 설치된 복수개의 카메라를 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 반구형 다시점 영상획득모듈(10)과,
반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 객체와 배경으로 분할시킨 후, 분할시킨 객체를 3D 모델링시키고, 분할시킨 배경을 파노라마 배경으로 모델링시켜, 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시켜 클라이언트의 디스플레이부로 송출시키는 하이브리드형 자유시점영상제어모듈(20)로 구성됨으로서 달성된다.
또한, 본 발명에 따른 실감형 자유시점 영상 제공 방법은
반구형 다시점 영상획득모듈(10)을 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 단계(S10)와,
왜곡보정부(21)를 통해 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 단계(S20)와,
3D 객체모델링제어부(22)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 단계(S30)와,
파노라마 영상모델링제어부(23)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 단계(S40)와,
명령신호수신부(24)에서 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받아, 하이브리드 자유시점영상제어부로 전달시키는 단계(S50)와,
영상특징점(Maker point) 검출부(25)에서 3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 단계(S60)와,
동적배경영역믹싱부(26)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 단계(S70)와,
정적배경영역믹싱부(27)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 단계(S80)와,
하이브리드 자유시점영상제어부(28)에서 명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 단계(S90)로 이루어짐으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는 3D모델링객체와 파노라마 배경이 하이브리드식으로 결합된 1:1 맞춤형 자유시점영상을 통해 기존보다 70% 향상된 몰입감과 입체감, 현실감을 제공할 수 있고, 클라이언트가 원하는 위치에서 원하는 시점과 객체를 선택해서 볼 수 있으며, 클라이언트의 손과 몸의 제스처만으로도 자유시점영상을 이동시킬 수 있고, 회전시킬 수 있어 몸이 불편한 노약자나 장애인에 게 제공하여 사용의 편리성을 향상시킬 수 있으며, 무엇보다 스포츠, 쇼핑, 공연 등 산업전반에 바로 적용시킬 수 있어, 광고효과와 수익창출을 극대화시킬 수 있는 좋은 효과가 있다.
도 1은 본 발명에 따른 실감형 자유시점 영상 제공 장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 반구형 다시점 영상획득모듈의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 하이브리드형 자유시점영상제어모듈의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 3D 객체모델링제어부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 파노라마 영상모델링제어부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 객체추출부의 동작과정을 도시한 일실시예도,
도 7은 본 발명에 따른 하이브리드형 자유시점영상제어모듈의 동작과정을 도시한 일실시예도,
도 8은 본 발명에 따른 실감형 자유시점 영상 제공 방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 실감형 자유시점 영상 제공 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 반구형 다시점 영상획득모듈(10), 하이브리드형 자유시점영상제어모듈(20)로 구성된다.
먼저, 본 발명에 따른 반구형 다시점 영상획득모듈(10)에 관해 설명한다.
상기 반구형 다시점 영상획득모듈(10)은 특정객체 또는 특정장소로 이루어진 촬영대상물의 상단방향을 중심으로 반구형상으로 설치된 복수개의 카메라를 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 역할을 한다.
이는 도 2에 도시한 바와 같이, 반구형 프레임(11), 카메라부(12), 다시점 영상획득제어부(13)로 구성된다.
상기 반구형 프레임(11)은 촬영객체가 포함이 되도록 촬영객체의 상단방향으로 층상구조의 반구형상으로 설치되어, 복수개의 카메라가 외압에 의해 흔들리지 않도록 지지하는 역할을 한다.
상기 카메라부(12)는 촬영객체를 중심으로 반구형 프레임에 격자점을 이루며 복수개로 설치되어, 촬영객체를 다시점 영상(Multiview)으로 촬영하는 역할을 한다.
상기 다시점 영상획득제어부(13)는 카메라를 통해 촬영대상물을 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상으로 획득한 후, 하이브리드형 자유시점영상제어모듈로 전송시키는 역할을 한다.
다음으로, 본 발명에 따른 하이브리드형 자유시점영상제어모듈(20)에 관해 설명한다.
상기 하이브리드형 자유시점영상제어모듈(20)은 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 객체와 배경으로 분할시킨 후, 분할시킨 객체를 3D 모델링시키고, 분할시킨 배경을 파노라마 배경으로 모델링시켜, 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시켜 클라이언트의 디스플레이부로 송출시키는 역할을 한다.
이는 도 3에 도시한 바와 같이, 왜곡보정부(21), 3D 객체모델링제어부(22), 파노라마 영상모델링제어부(23), 명령신호수신부(24), 영상특징점(Maker point) 검출부(25), 동적배경영역믹싱부(26), 정적배경영역믹싱부(27), 하이브리드 자유시점영상제어부(28), 제스처모션제어부(29), 캐릭터객체생성부(29a)로 구성된다.
첫째, 본 발명에 따른 왜곡보정부(21)에 관해 설명한다.
상기 왜곡보정부(21)는 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 역할을 한다.
이는 교정 패턴으로부터 카메라부의 렌즈 초점 거리와 촬영대상물의 위치 등으로 구성된 내부 파라미터, 그리고, 회전과 위치 정보로 구성된 외부 파라미터를 찾음으로써 카메라부의 왜곡 모델을 추정한다.
이어서, 추정된 카메라부의 모델로부터 역으로 코너점을 다시 추출하여 검증하고,
마지막으로, 검증된 카메라 모델을 이용하여 영상의 왜곡을 보정한다.
둘째, 본 발명에 따른 3D 객체모델링제어부(22)에 관해 설명한다.
상기 3D 객체모델링제어부(22)는 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 역할을 한다.
이는 도 4에 도시한 바와 같이, 객체추출부(22a), 크기평준화부(22b), 3D정보추출부(22c)로 구성된다.
상기 객체추출부(22a)는 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키는 역할을 한다.
이는 획득한 다시점영상으로부터 객체룰 추적하여 추출하고, 객체가 서로 겹쳐진 영상이 있다면 제거하는 과정을 거쳐 객체정보를 수집하도록 구성된다.
즉, 배경은 항상 고정되어 있고, 객체는 움직이고 있기 때문에 t프레임과 t-1프레임의 차이값이 움직인 영역이기 때문에 객체를 추출한다.
그리고, 객체추출을 위해서 카메라부의 파라미터를 알아야 하기 때문에, 카메라 캘리브레이션 과정을 수행한다.
여기서, 카메라 캘리브레이션은 촬영대상물에 따라 여러 종류에 따라 그 기준을 달리 적용시키지만, 본 발명에서는 촬영대상물을 스포츠경기장으로 하기 때문에, 카메라 캘리브레이션을 경기장의 라인들을 이용하여 설정한다.
본 발명에 따른 객체추출부는 3D 모델링을 하기 위해서 정확한 객체추출을 해야 하기 때문에, 1차로 혼합가우시안 추출부, 2차로 대비지도·움직임정보부, 3차로 계층적 영역 구조부를 이용하여 구성된다.
상기 혼합가우시안 추출부(Mixure of Gaussian, MoG)는 배경화소모델을 구하고, 배경모델링 기법으로 객체를 분리한 후, 미디언 필터와 모폴로지 연산을 통해 잡음을 제거하여 임계값을 이용하여 객체를 추출하도록 구성된다.
상기 대비지도·움직임정보부는 대비지도와 웨이블렛 변환을 이용하여 중요 특징점을 찾아내고 이를 이용하여 대략적인 집중윈도우(AW:Attention Window)를 생성하여 움직임 정보를 추정하고, 윤곽선 차이를 추출하여 객체를 추출하는 역할을 한다.
상기 계층적영역구조부는 워터쉐드 알고리즘을 이용하여 영상을 분할하고, 분할된 영역 중 유사한 속성을 가진 영역을 병합하여 계층 구조를 만들어 객체를 추출하는 역할을 한다.
상기 크기평준화부(22b)는 움직이는 객체를 추적하여 객체를 배경으로부터 분리시켜 각 뷰의 객체정보를 획득한 후, 3D모델링을 하기 위하여 각 뷰의 객체크기를 동일하게 형성시키는 역할을 한다.
이는 n개의 시점에 대한 x개의 객체들의 크기정보를 획득하고, 각 시점에서 필요한 각 객체의 크기를 정하고, 필요한 크기에 맞게 다른 시점에서 각 객체이미지들의 크기를 변환시키도록 구성된다.
일예로, 1번 카메라시점의 영상을 얻고자 한다면, 1번카메라에서 보이는 각 객체의 크기정보를 저장한 후, 1번 카메라를 제외한 n-1개의 카메라를 통해 획득한 영상에서 x개의 객체의 크기를 1번 카메라 시점에 보이는 각각의 객체들과 같게 변환한다.
크기를 같게 변환하기 위해서 왜곡된 영상을 보정해야 하는데 이때, 프로젝티브(projective) 변환을 이용한다.
상기 3D 정보 추출부(22c)는 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 역할을 한다.
이는 각 객체마다 다양한 시점의 영상 정보를 획득한 후 객체의 기하 정보를 복원하기 위하여 비쥬얼 헐(Visual Hull)을 생성시키도록 구성된다.
여기서, 비쥬얼 헐은 물체를 배경으로부터 분리시켜 임계값을 이용하여 2D 실루엣 이미지를 만든 후, 각 뷰의 실루엣 콘들의 교차점을 말하고, 쉐이프-프럼-실루엣 3D 복원을 이용하여 획득하는 것을 말한다.
본 발명에서는 자유시점 3차원 객체를 생성하기 위하여 비주얼 헐을 이용하여 3차원 메시를 생성하고, 생성된 메시에 적절한 컬러값을 부여하는 텍스쳐 맵핑(texture Mapping)과정을 수행한다.
즉, 비쥬얼 헐을 연산시키기 위하여 광선투사법을 이용하여 각 뷰의 이미지에서 3차원 광선을 투사하고, 투사된 광선의 교차점의 씨에스지(CSG)를 구한다.
이어서, 비주얼 헐 정보가 모두 연산되면, 복원된 기하정보를 이용하여 3차원 객체의 표면상에 존재하는 점 간의 연결성 정보를 이용하여 3차원 물체를 최소한의 공간으로 감싸는 외피를 찾아 3차원 메시를 생성한다.
끝으로, 생성된 메시의 각각 표면 다각형의 꼭지점 혹은 다각형 전체에 컬러값을 할당하는 텍스쳐 맵핑 과정을 수행하여 3차원 객체를 생성시킨다.
셋째, 본 발명에 따른 파노라마 영상모델링제어부(23)에 관해 설명한다.
상기 파노라마 영상모델링제어부(23)는 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 시프트알고리즘엔진부(23a), 란색알고리즘엔진부(23b), 직접선형변환부(23c), 색상보정부(23d)로 구성된다.
상기 시프트(SIFT)알고리즘엔진부(23a)는 다시점영상 중에서 크기, 회전, 조명에 관한 불변인 특징을 추출시키는 역할을 한다.
이는 추출된 특징점들 사이의 대응관계를 찾아 일치시키도록 구성된다.
상기 란색(RANSAC)알고리즘엔진부(23b)는 부정확하게 일치된 특징점들(Outlier)을 제거시키는 역할을 한다.
상기 직접선형변환부(23c)는 일치하는 특징점들 사이에서 직접선형변환식을 이용하여 최소의 오류를 갖는 호모그래피를 추정하여 영상정합시키는 역할을 한다.
상기 색상보정부(23d)는 색상보정을 통해 영상을 정합한 다음 색상 톤의 차이를 최소화시키는 역할을 한다.
이로 인해, 하나의 카메라로 영상을 촬영한 듯한 느낌을 받는 실감한 영상을 생성시킬 수가 있다.
넷째, 본 발명에 따른 명령신호수신부(24)에 관해 설명한다.
상기 명령신호수신부(24)는 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받는 역할을 한다.
이는 자유시점 선택, 객체선택, 줌인, 줌아웃의 명령신호로 구성된다.
다섯째, 본 발명에 따른 영상특징점(Maker point) 검출부(25)에 관해 설명한다.
상기 영상특징점(Maker point) 검출부(25)는 3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 역할을 한다.
여섯째, 본 발명에 따른 동적배경영역믹싱부(26)에 관해 설명한다.
상기 동적배경영역믹싱부(26)는 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 역할을 한다.
일곱째, 본 발명에 따른 정적배경영역믹싱부(27)에 관해 설명한다.
상기 정적배경영역믹싱부(27)는 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 역할을 한다.
여덟째, 본 발명에 따른 하이브리드 자유시점영상제어부(28)에 관해 설명한다.
상기 하이브리드 자유시점영상제어부(28)는 명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 역할을 한다.
아홉째, 본 발명에 따른 제스처모션제어부(29)에 관해 설명한다.
상기 제스처모션제어부(29)는 하이브리드 자유시점영상제어부 일측에 연결되어, 클라이언트의 손과 몸의 제스처를 인식하여, 3D모델링객체와 파노라마 배경이 하이브리드식으로 결합된 1:1 맞춤형 자유시점영상의 위치이동 및 회전을 제어시키는 역할을 한다.
열째, 본 발명에 따른 캐릭터객체생성부(29a)에 관해 설명한다.
상기 캐릭터객체생성부(29a)는 하이브리드 자유시점영상제어부 일측에 연결되어, 영상특징점 검출부를 통해 3D객체와 정합이 된 파노라마 영상에다가 증강현실을 이용한 3D 증강현실객체를 합성하여 캐릭터객체를 생성시키는 역할을 한다.
이하, 본 발명에 따른 실감형 자유시점 영상 제공 방법의 구체적인 동작과정에 관해 설명한다.
먼저, 도 8에 도시한 바와 같이, 반구형 다시점 영상획득모듈(10)을 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득한다(S10).
다음으로, 왜곡보정부(21)를 통해 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시킨다(S20).
다음으로, 3D 객체모델링제어부(22)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시킨다(S30).
다음으로, 파노라마 영상모델링제어부(23)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시킨다(S40).
다음으로, 명령신호수신부(24)에서 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받아, 하이브리드 자유시점영상제어부로 전달시킨다(S50).
다음으로, 영상특징점(Maker point) 검출부(25)에서 3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시킨다(S60).
다음으로, 동적배경영역믹싱부(26)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시킨다(S70).
다음으로, 정적배경영역믹싱부(27)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시킨다(S80).
끝으로, 하이브리드 자유시점영상제어부(28)에서 명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시킨다(S90).
1 : 실감형 자유시점 영상 제공 장치
10 : 반구형 다시점 영상획득모듈
20 : 하이브리드형 자유시점영상제어모듈
21 : 왜곡보정부 22 : 3D 객체모델링제어부
23 : 파노라마 영상모델링제어부 24 : 명령신호수신부
25 : 영상특징점(Maker point) 검출부 26 : 동적배경영역믹싱부
27 : 정적배경영역믹싱부 28 : 하이브리드 자유시점영상제어부
29 : 제스처모션제어부 29a : 캐릭터객체생성부

Claims (5)

  1. 특정객체 또는 특정장소로 이루어진 촬영대상물의 상단방향을 중심으로 반구형상으로 설치된 복수개의 카메라를 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 반구형 다시점 영상획득모듈(10)과,
    반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 객체와 배경으로 분할시킨 후, 분할시킨 객체를 3D 모델링시키고, 분할시킨 배경을 파노라마 배경으로 모델링시켜, 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시켜 클라이언트의 디스플레이부로 송출시키는 하이브리드형 자유시점영상제어모듈(20)로 이루어지고;,
    상기 반구형 다시점 영상획득모듈(10)은
    촬영객체가 포함이 되도록 촬영객체의 상단방향으로 층상구조의 반구형상으로 설치되어, 복수개의 카메라가 외압에 의해 흔들리지 않도록 지지하는 반구형 프레임(11)과,
    촬영객체를 중심으로 반구형 프레임에 격자점을 이루며 복수개로 설치되어, 촬영객체를 다시점 영상(Multiview)으로 촬영하는 카메라부(12)와,
    카메라를 통해 촬영대상물을 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상으로 획득한 후, 하이브리드형 자유시점영상제어모듈로 전송시키는 다시점 영상획득제어부(13)로 구성되는 실감형 자유시점 영상 제공 장치에 있어서,
    상기 하이브리드형 자유시점영상제어모듈(20)은
    반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 왜곡보정부(21)와,
    왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 3D 객체모델링제어부(22)와,
    왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 파노라마 영상모델링제어부(23)와,
    클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받는 명령신호수신부(24)와,
    3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 영상특징점(Maker point) 검출부(25)와,
    파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 동적배경영역믹싱부(26)와,
    파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 정적배경영역믹싱부(27)와,
    명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 하이브리드 자유시점영상제어부(28)와,
    하이브리드 자유시점영상제어부 일측에 연결되어, 클라이언트의 손과 몸의 제스처를 인식하여, 3D모델링객체와 파노라마 배경이 하이브리드식으로 결합된 1:1 맞춤형 자유시점영상의 위치이동 및 회전을 제어시키는 제스처모션제어부(29)와,
    하이브리드 자유시점영상제어부 일측에 연결되어, 영상특징점 검출부를 통해 3D객체와 정합이 된 파노라마 영상에다가 증강현실을 이용한 3D 증강현실객체를 합성하여 캐릭터객체를 생성시키는 캐릭터객체생성부(29a)가 포함되어 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 3D 객체모델링제어부(22)는
    왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키는 객체추출부(22a)와,
    움직이는 객체를 추적하여 객체를 배경으로부터 분리시켜 각 뷰의 객체정보를 획득한 후, 3D모델링을 하기 위하여 각 뷰의 객체크기를 동일하게 형성시키는 크기평준화부(22b)와,
    추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 3D 정보 추출부(22c)로 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공 장치.
  5. 반구형 다시점 영상획득모듈(10)을 통해 촬영대상물을 상,하,좌,우의 다시점 영상(Multiview)으로 촬영해서 촬영대상물을 중점을 둔 인워드(Inward)방식의 다시점 영상을 획득하는 단계(S10)와,
    왜곡보정부(21)를 통해 반구형 다시점 영상획득모듈로부터 촬영된 다시점 영상을 입력받아 다시점 영상의 왜곡을 보정시키는 단계(S20)와,
    3D 객체모델링제어부(22)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 단계(S30)와,
    파노라마 영상모델링제어부(23)에서 왜곡보정부를 통해 왜곡보정된 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 단계(S40)와,
    명령신호수신부(24)에서 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체에 관한 명령신호를 수신받아, 하이브리드 자유시점영상제어부로 전달시키는 단계(S50)와,
    영상특징점(Maker point) 검출부(25)에서 3D 객체모델링제어부를 통해 생성된 3D 객체와, 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상이 서로 매칭되어 정합이 되도록 영상 특징점을 검출시키는 단계(S60)와,
    동적배경영역믹싱부(26)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 동적인 배경영역(Dynamic Region)을 믹싱시키는 단계(S70)와,
    정적배경영역믹싱부(27)에서 파노라마 영상모델링제어부를 통해 생성된 파노라마 영상에다가 정적인 배경영역(Static Region)을 믹싱시키는 단계(S80)와,
    하이브리드 자유시점영상제어부(28)에서 명령신호수신부를 통해 수신받은 클라이언트가 보기 원하는 시점 및 클라이언트가 보기 원하는 객체의 명령신호에 따라 3D모델링객체와 파노라마 배경을 하이브리드식으로 결합하여 1:1 맞춤형 자유시점영상을 생성시킨 후, 클라이언트의 디스플레이부로 송출시키는 단계(S90)로 이루어지는 것을 특징으로 하는 실감형 자유시점 영상 제공 방법.
KR1020140024923A 2014-03-03 2014-03-03 실감형 자유시점 영상 제공 장치 및 방법 KR101538947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140024923A KR101538947B1 (ko) 2014-03-03 2014-03-03 실감형 자유시점 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024923A KR101538947B1 (ko) 2014-03-03 2014-03-03 실감형 자유시점 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101538947B1 true KR101538947B1 (ko) 2015-07-29

Family

ID=53876551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024923A KR101538947B1 (ko) 2014-03-03 2014-03-03 실감형 자유시점 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101538947B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763314B1 (ko) 2016-12-15 2017-08-01 프로비젼테크놀러지 주식회사 영상 처리 장치 및 영상 처리 방법
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
WO2018131744A1 (ko) * 2017-01-16 2018-07-19 (주)올림플래닛 360도 공간에서 인터렉션이 가능한 실린더형 디스플레이 장치 및 사용자 인터페이스 및 저작도구 인터페이스를 기반으로 하는 실린더형 디스플레이 장치의 디스플레이 방법
KR101915036B1 (ko) * 2017-11-17 2018-11-05 울산과학기술원 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체
KR20180134520A (ko) * 2017-06-09 2018-12-19 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
KR101950852B1 (ko) 2017-12-06 2019-02-21 서울과학기술대학교 산학협력단 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법
KR101966632B1 (ko) 2017-12-28 2019-04-09 서울과학기술대학교 산학협력단 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR20200010909A (ko) * 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
WO2020036414A1 (ko) * 2018-08-14 2020-02-20 주식회사 케이티 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
US11508123B2 (en) 2018-03-01 2022-11-22 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Aljoscha Smolic, "3D video and free viewpoint video - From capture to display", Pattern Recognition, Volume 44, Issue 9, September 2011, Pages 1958-1968 *
Aljoscha Smolic, "3D video and free viewpoint video - From capture to display", Pattern Recognition, Volume 44, Issue 9, September 2011, Pages 1958-1968*

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681272B2 (en) 2016-12-02 2020-06-09 Foundation For Research And Business, Seoul National University Of Science And Technology Device for providing realistic media image
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
WO2018101652A1 (ko) * 2016-12-02 2018-06-07 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
KR101763314B1 (ko) 2016-12-15 2017-08-01 프로비젼테크놀러지 주식회사 영상 처리 장치 및 영상 처리 방법
WO2018131744A1 (ko) * 2017-01-16 2018-07-19 (주)올림플래닛 360도 공간에서 인터렉션이 가능한 실린더형 디스플레이 장치 및 사용자 인터페이스 및 저작도구 인터페이스를 기반으로 하는 실린더형 디스플레이 장치의 디스플레이 방법
KR20180134520A (ko) * 2017-06-09 2018-12-19 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
KR101939173B1 (ko) 2017-06-09 2019-01-16 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
KR101915036B1 (ko) * 2017-11-17 2018-11-05 울산과학기술원 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체
KR101950852B1 (ko) 2017-12-06 2019-02-21 서울과학기술대학교 산학협력단 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR102009400B1 (ko) * 2017-12-20 2019-08-12 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR101966632B1 (ko) 2017-12-28 2019-04-09 서울과학기술대학교 산학협력단 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법
US11508123B2 (en) 2018-03-01 2022-11-22 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images
KR20200010909A (ko) * 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
KR102133735B1 (ko) 2018-07-23 2020-07-21 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
WO2020036414A1 (ko) * 2018-08-14 2020-02-20 주식회사 케이티 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
US11778007B2 (en) 2018-08-14 2023-10-03 Kt Corporation Server, method and user device for providing virtual reality content

Similar Documents

Publication Publication Date Title
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
US9986258B2 (en) Efficient encoding of multiple views
JP5320524B1 (ja) ステレオ撮影装置
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
WO2012029298A1 (ja) 撮影装置および画像処理方法
US10681272B2 (en) Device for providing realistic media image
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
KR20070042288A (ko) 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
WO2012029299A1 (ja) 撮影装置、再生装置、および画像処理方法
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
US11812009B2 (en) Generating virtual reality content via light fields
EP3349444A1 (en) Method for processing media content and technical equipment for the same
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
Frick et al. Generation of 3d-tv ldv-content with time-of-flight camera
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
KR100590025B1 (ko) 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
WO2013069171A1 (ja) 画像処理装置、及び画像処理方法
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR102242710B1 (ko) 반자유 시점 영상을 제공하는 장치
CN105282534B (zh) 用于嵌入立体图像的系统及方法
Lü et al. Virtual view synthesis for multi-view 3D display
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 4