KR100321904B1 - 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법 - Google Patents

가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법 Download PDF

Info

Publication number
KR100321904B1
KR100321904B1 KR1020000009523A KR20000009523A KR100321904B1 KR 100321904 B1 KR100321904 B1 KR 100321904B1 KR 1020000009523 A KR1020000009523 A KR 1020000009523A KR 20000009523 A KR20000009523 A KR 20000009523A KR 100321904 B1 KR100321904 B1 KR 100321904B1
Authority
KR
South Korea
Prior art keywords
camera
pattern
pentagonal
blue screen
image
Prior art date
Application number
KR1020000009523A
Other languages
English (en)
Other versions
KR20010084470A (ko
Inventor
한서원
이준환
Original Assignee
한서원
이준환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한서원, 이준환 filed Critical 한서원
Priority to KR1020000009523A priority Critical patent/KR100321904B1/ko
Publication of KR20010084470A publication Critical patent/KR20010084470A/ko
Application granted granted Critical
Publication of KR100321904B1 publication Critical patent/KR100321904B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 3차원 가상 현실과 스튜디오 안의 피사체 영상의 합성에 사용되는 가상 스튜디오에서의 카메라 움직임을 추출하는 장치 및 방법에 관한 것이다.
본 발명은 카메라 파라미터를 추출하는데 이용되는 다양한 형태의 오각형 패턴이 포함된 블루스크린; 가상 스튜디오 내에 설치되어 상기 블루스크린과 스크린 앞의 피사체의 영상을 촬영하는 영상 촬영 수단; 상기 영상 촬영 수단에서 입력되는 컬러영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 오각형 패턴 검출 수단; 상기 오각형 패턴 검출 수단에서 검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 대응점 인식 수단; 및 상기 대응점 인식 수단에서 찾아낸 대응점을 이용하여 카메라 파라미터를 추출하는 카메라 파라미터 추출 수단을 포함하는 가상 스튜디오에서의 카메라 움직임 추출 장치를 제공한다. 본 발명의 블루스크린에 포함되는 오각형 패턴은 다른 패턴과 달리 카메라의 투영 변환에 불변하는 특징을 가지고 있어, 독립적이며 영상 처리를 이용하여 쉽게 인식할 수 있다. 그리고, 본 발명은 오각형 패턴의 형태, 크기 및 배치 등을 영상 처리가 용이하도록 함으로써 기존의 카메라 움직임 추출 장치와 방법에서 문제가 되었던 센서의 노이즈 문제, 특수장치 설치문제, 대응점 추출의 문제를 해결함은 물론 간편하고 신속하게 카메라 파라메터를 추출할 수 있다.

Description

가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법 {An apparatus and method for extracting of camera motion in virtual studio}
본 발명은 3차원 가상 현실과 스튜디오 안의 피사체 영상의 합성에 사용되는 가상 스튜디오에서의 카메라의 움직임을 추출하는 장치 및 방법에 관한 것이다.
최근 텔레비전 방송에 고속 컴퓨터를 이용한 3차원 그래픽과 가상현실이 사용됨으로써 지금까지 카메라만으로 표현이 불가능하였던 영상을 제작할 수 있게 되었다. 그 중에서 크로마킹 기법은 뉴스, 일기예보, 선거 방송 등에 사용되는 영상 합성 기술이다. 이것은 블루스크린을 배경으로 하는 스튜디오에서 촬영된 영상의 파란색 부분을 컴퓨터 그래픽 또는 다른 배경 영상으로 교체하여 실시간으로 합성하는 기술이다.
지금까지의 크로마킹은 카메라를 고정시킨 상태에서 스튜디오 영상과 고정된 시각에서의 2차원 배경 영상을 합성하였다. 따라서, 카메라가 움직일 경우, 고정된 2차원 배경 영상과 합성된 스튜디오 영상은 부자연스럽게 된다. 그리고, 카메라의 시점 변화가 필요한 3차원 그래픽과 가상현실 등은 배경 영상으로 사용될 수 없었다. 이에 대한 개선 방안으로 가상 스튜디오의 기술이 제시되었다.
가상 스튜디오는 카메라의 시점에 추종하여 생성된 3차원 그래픽과 가상현실의 투영 영상을 스튜디오 영상과 실시간으로 합성하는 방송 기술이다. 이 기술을 이용하여 스튜디오 안의 배우와 3차원 그래픽이 자연스럽게 합성되며 텔레비전 시청자는 배우가 마치 3차원의 가상 공간에서 움직이는 듯한 입체감을 느낄 수 있다. 그리고, 스튜디오 안의 배우의 위치를 검출하여 배우가 가상 물체에 의해 전체 또는 일부분이 가려지는 효과를 생성할 수 있다.
도 1은 가상 스튜디오의 개념도로서, 가상 스튜디오 영상은 카메라로 촬영된 디지털 영상이며 배우 부분과 파란색 부분으로 나뉘어 진다. 파란색 부분은 새로운 배경 영상으로 교체된다. 그리고, 스튜디오의 카메라 시점에 연동하여 3차원 그래픽 또는 실 영상을 2차원으로 원근 투영하고 앞의 파란색 부분과 교체한다.
이와 같이 가상 스튜디오에서 자연스러운 영상의 합성을 위해서는 스튜디오 안의 카메라의 시점을 나타내는 카메라 파라미터의 추출과 배우의 위치 검출이 필수적이다. 카메라 파라미터는 카메라의 위치, 카메라 헤드의 방향과 그리고 줌의 크기를 의미한다. 카메라의 방향은 팬(pan), 틸트(tilt) 그리고 롤(role)의 각도이며 카메라의 위치는 가상 스튜디오에서 카메라의 3차원 공간 좌표다.
지금까지의 제안된 가상 스튜디오에서의 카메라의 파라미터 추출 방법은 크게 센서를 이용한 방법과 패턴 인식의 방법으로 나뉜다.
종래의 센서를 이용한 방법은 카메라의 본체와 렌즈에 회전양 또는 거리 이동양을 측정하는 기계 센서를 장착하여 파라미터를 측정하는 방법이다[참고문헌: IMAGICA Virtual Studio Set, http://www.imagica.co.jp/products/vset/index. htm.; Masaki Hayashi, Itsuji Nakamura and Kazuo Fukui, 'Virtual Camera System using Panoramic Image,' Journal of ITE, Vol. 49, No. 10, pp. 1315-1322, 1995.]
그러나, 이 방법은 기계적인 노이즈에 민감하며 센서의 초기화가 필요하다. 특히, 비선형의 광학 특징을 가지는 렌즈는 카메라 줌 크기의 측정에 영향을 준다. 즉, 렌즈로부터 초점까지의 거리와 줌의 크기 사이에는 비선형의 관계가 있으므로 이를 보상하기 위해서 정밀한 측정과 초기화가 필요하다. 이 방법은 또한 기계 장치를 카메라에 부착해야 되므로 휴대용 카메라에는 장착이 불가능하며, 카메라의 위치를 추출하기 위해서는 넓은 공간을 차지하는 기계적인 장치가 필요하기 때문에 카메라맨에게 공간적인 제약이 된다.
그리고 종래의 패턴 인식의 방법은 능동의 패턴 인식과 수동의 패턴 인식으로 나뉜다. 능동의 패턴 인식은 스튜디오 안의 블루스크린 위에 배경과 비슷한 색조를 가진 파란색의 격자 패턴을 그린 후 배우와 함께 촬영한다. 촬영된 영상의 격자 패턴은 카메라의 움직임에 연동하여 변화하며 두 개의 소실점(vanishing point)을 가진다. 이 때, 두 개의 소실점의 좌표는 카메라의 위치에 불변하며 카메라 방향과 줌의 크기에 연동하여 변한다[참고문헌: Mikael Tamir, 'The Orad Virtual Set,' International Broadcast Engineering, pp.16-24, Mar. 1996.; DigiWarpVirtual Studio System, http://www.for-a.co.jp/japa/ products/digiwarp.htm] 즉, 팬의 각도와 틸트의 각도가 클수록 소실점은 화면 중앙에 근접한다. 그러나, 이 방법은 카메라 방향 중 팬의 각도나 틸트의 각도가 0에 근접하여 두 개의 소실점 모두가 존재하지 않는 경우에는 사용이 불가능하다. 또한 이 방법은 카메라의 위치를 구하기 위해서는 블루스크린과 가상 스튜디오 영상의 대응점을 찾아야 되므로 격자의 크기를 다양하게 해야 한다. 예를 들어, 대응점을 찾기 위해서는 한 화면에 여러 격자 패턴이 포함되어야 하므로 확대된 영상에서는 적용에 어려움이 있다. 마지막으로 이 방법은 렌즈의 왜곡이 고려하지 않으며 렌즈의 왜곡이 심한 소형 카메라에는 적용하는데 어려움이 있다.
수동의 패턴인식은 카메라의 본체 위에 적외선 발광 장치를 붙이고 카메라를 움직인다. 그리고, 카메라의 움직임에 따라 적외선이 블루스크린에 다르게 비친다. 이 변화를 별도로 설치된 엑스-펙토 유니트(X-pecto Unit)를 이용하여 카메라의 위치와 방향을 추출한다. 그러나 이 방법은 엑스-펙토 유니트에 설치된 다수의 카메라가 필요하며 각각의 카메라에 이미징 유니트(Imaging Unit)가 필요하고, 줌의 크기를 측정하기 위하여 별도의 센서가 필요한 문제점이 있다.[참고문헌 : GMD 3DK Virtual Studio, http://www.viswiz.gmd.de/DML/vst/vst.html; GMD, 'Projects at DMP: An infrared based tracking system for free moving cameras in a virtual studio,' http://imk.gmd.de/ docs/ww/dmp/proj1_2.mhtml, 1998.]
상기한 종래의 문제점을 해결하기 위한 본 발명은 일반 블루스크린 위에 배경과 비슷한 색조를 가진 파란색의 오각형 패턴을 포함시켜 이를 이용하여 카메라의 움직임(즉, 파라메터)를 추출하는 장치 및 방법을 제공하는 데 그 목적이 있다.
도 1은 가상 스튜디오의 개념도
도 2는 본 발명에 따른 카메라 움직임 추출 장치의 블록 구성도
도 3은 본 발명에 따른 카메라 움직임 추출 방법을 보인 흐름도
도 4은 본 발명에 따른 오각형 패턴을 배치한 블루스크린의 일 예시도
도 5는 본 발명에 따른 오각형 패턴의 형태도
도 6은 본 발명에 따라 최종적으로 출력되는 카메라 파라미터를 설명하기 위한 도면
* 도면의 주요부분에 대한 부호의 설명 *
101 : 가상 스튜디오 102 : 카메라 파라미터
103 : 가상 스튜디오 영상 104 : 3차원 가상 현실
105 : 합성 영상 202 : 화상 카메라
203 : 영상 처리부 204 : 대응 오각형 패턴 인식부
205 : 카메라 켈리브레이션부 601 : 카메라의 위치(X0)
602 : 카메라의 위치(Y0) 603 : 카메라의 위치(Z0)
604 : 카메라의 방향(pan) 605 : 카메라의 방향(tilt)
606 : 카메라의 방향(role)
상기와 같은 목적을 달성하기 위한 본 발명의 카메라 움직임 추출 장치는, 카메라 파라미터를 추출하는데 이용되는 다양한 형태의 오각형 패턴이 포함된 블루스크린; 가상 스튜디오 내에 설치되어 상기 블루스크린과 스크린 앞의 피사체의 영상을 촬영하는 영상 촬영 수단; 상기 영상 촬영 수단에서 입력되는 컬러영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 오각형 패턴 검출 수단; 상기 오각형 패턴 검출 수단에서 검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 대응점 인식 수단; 및 상기 대응점 인식 수단에서 찾아낸 대응점을 이용하여 카메라 파라미터(카메라의 3차원 공간 좌표와, 카메라의 방향 팬(pan), 틸트(tilt) 및 롤(role)의 각도)를 추출하는 카메라 파라미터 추출 수단으로 구성되는 것을 특징으로 한다.
또한 본 발명의 카메라 움직임 추출 방법은 다양한 형태의 오각형 패턴이 포함된 블루스크린과 스크린 앞의 피사체 영상을 촬영하는 과정; 촬영된 영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 과정; 검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 과정; 및 찾아낸 대응점을 이용하여 카메라 파라미터를 추출하는 과정으로 이루어지는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세하게 설명한다.
도 2는 본 발명에 따른 카메라 움직임 추출 장치의 블록 구성도로서, 카메라 파라미터를 추출하는데 이용되는 다양한 형태의 오각형 패턴이 포함된 블루스크린(201)과, 가상 스튜디오 내에 설치되어 상기 블루스크린(201)과 스크린 앞의 피사체의 영상을 촬영하는 화상 카메라(202)와, 상기 화상 카메라(202)에서 입력되는 컬러영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 영상 처리부(203), 상기 영상 처리부(203)에서 검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 대응 오각형 패턴 인식부(204), 상기 대응 오각형 패턴 인식부(204)에서 찾아낸 대응점을 이용하여 카메라 파라미터를 추출하는 카메라 켈리브레이션부(205)로 이루어진다.
이와 같은 구성을 갖는 카메라 움직임 추출장치를 이용한 본 발명의 가상 스튜디오에서 카메라 움직을 추출하는 방법은 도 3에 나타낸 과정을 통해 이루어지는데, 이를 상세하게 설명하면 다음과 같다.
먼저, 화상 카메라(202)는 가상 스튜디오에서 설치된 카메라로 보통의 TV카메라이다. 이는 카메라 기사가 자유롭게 움직일 수 있으며 움직임을 추출하기 위한 특수 장치는 부착되어 있지 않다. 화상 카메라(202)로 촬영하여 입력되는 컬러영상은 본 발명에서 제안된 다양한 형태의 오각형 패턴이 포함된 블루스크린(201, 이에 대해서는 후술한다)과 스크린 앞의 피사체로 구성된다(S301). 여기서 피사체를 제외한 파란색 부분은 나중에 크로마킹에 의하여 새로운 가상 현실로 대치된다.
이어서, 영상 처리부(203)에서는 컬러영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출한다(S302). 추출된 오각형 패턴은 5개의 꼭지점으로 구성된다. 영상 처리부(203)에서는 시스템의 실시간 처리와 조명의 영향을 최소화하기 위하여 다음의 3단계를 거쳐 오각형 패턴을 검출한다. 먼저 첫 단계에서 수평 경계 필터를 이용하여 한다. 이때, 처리 시간의 단축을 위하여 영상의 모든 픽셀을 검색하지 않고 수직 방향으로 소정 간격(예: 16픽셀 간격)의 수평 프로파일과 수평 방향으로 소정 간격(예: 16픽셀 간격)의 수직 프로파일만을 검색한다. 두 번째 단계에서는, 방향성을 고려하여 구해진 각 경계 픽셀과 이웃의 경계 픽셀을 연결한다. 마지막으로, 픽셀의 연결을 통하여 구한 직선의 교점을 오각형의 꼭지점으로 결정한다. 따라서 영상 처리부(202)에서 구한 요소는 컬러영상에 포함되어 있는 오각형들의 꼭지점들이다.
이렇게 하여 컬러영상에서 오각형 패턴들의 꼭지점을 검출한 다음, 대응 오각형 패턴 인식부(204)에서는 컬러영상에 존재하는 오각형 패턴과 대응하는 패턴을 블루스크린에서 찾는다(S303). 이때 블루스크린의 오각형 패턴 카메라의 움직임에 의하여 변형된다. 즉, 오각형의 면적, 변의 길이, 사잇각들은 변하게 된다.
본 발명에서 여러 가지 패턴 중 오각형을 선택한 이유는, 오각형을 구성하는 5개의 변곡점은 다른 패턴과 다르게 평면의 카메라 투영에 불변하는 특징량을 가지기 때문이다. 이 불변 특징량은 블루스크린과 가상 스튜디오 영상의 대응 패턴과 대응점을 찾기는 사용된다. 그리고, 기존의 격자 패턴을 이용한 방법이 주위 패턴의 정보를 이용하여 대응점을 찾는 반면에 본 발명에서는 오각형의 정보만을 이용하므로 확대 영상에서도 대응점의 인식이 용이한 장점이 있다.
도 4에 카메라 움직임을 추출하기 위하여 본 발명의 블루스크린을 나타내었다. 도 4에서 보듯이, 본 발명에서는 여러 가지 오각형 패턴 가운데 도면 5에 나타낸 7종류의 오각형을 사용하여 블루스크린을 구성한다.
본 발명에서 블루스크린(201)에 사용된 도 5의 오각형 패턴은 다음의 특징을 가진다. 첫째, 오각형의 폭과 너비는 같다. 둘째, 모든 오각형의 크기는 같다. 이 두 가지 조건은 영상 처리부(203)에서 대략적인 오각형 패턴의 크기를 예측하기 위함이다. 셋째 각 오각형의 내각은 π/4, π/2, 3π/4 중의 하나이다. 이것은 카메라 렌즈의 왜곡에 인하여 오각형이 사각형이나 삼각형으로 오 인식되는 것을 방지하기 위함이다. 넷째, 각 오각형은 한 점을 기준으로 0, π/2, π, -π/2 회전하여 재 사용된다. 이것은 다양한 오각형을 만들기 위함이다. 다섯째 각 오각형은 1쌍 또는 2쌍의 평행한 선분을 가진다. 이와 같은 다섯 가지 조건을 만족하는 모든 오각형 가운데 본 발명에서는 도 5에 나타낸 오각형들을 사용하였다.
본 발명에서는 7종류의 오각형을 0, π/2, π, 3π/2 회전하여 재 사용하였으며, 최종적으로 28개의 서로 다른 오각형을 블루스크린(201)에 배치한다. 도 4에서 5행 7열의 오각형을 포함하는 블루스크린을 예시하였다.
본 발명에서는 도 4에서와 같이 물체나 스튜디오의 전경이 되는 배우가 패턴을 가려 오각형 인식이 불가능한 것을 고려하여 다수의 오각형을 블루스크린(201)에 배치하며, 오각형 패턴의 배치 방법은 다음과 같은 특징을 갖는다.
즉, 각 열은 한 종류 오각형을 회전하여 배치하며 가장 마지막 행의 오각형은 가장 첫 행의 오각형과 일치한다. 이것은 가장 윗줄의 오각형 패턴이 화면의 하단에 나타날 가능성이 희박하다는 가정에서 비롯된다. 또한 본 발명에서는 간격의 폭과 너비를 오각형 패턴의 폭과 너비와 일치 시켰다. 이것은 패턴 사이의 간격이 커지면 배우에 의하여 패턴이 가려지는 확률을 커지고 작게 되면 패턴 인식에 어려움이 있기 때문이다.
한편, 회전된 오각형은 같은 불변 특징량을 가지므로 불변 특징량을 이용하여서는 회전을 인식하여 분리하는 것이 불가능하다. 따라서, 본 발명에서는 단순한 논리를 이용하여 회전을 인식하였다. 예를 들어, 카메라의 롤 회전이 π/4 보다 작고 도 5의 첫번째 패턴을 0, π/2, π, 3π/2 회전한다면, 회전된 패턴의 하나의 선분의 방향은 0, π/2, π, 3π/2 가 된다. 결국, 회전된 패턴의 하나의 선분의 방향을 이용하여 패턴의 회전을 구별할 수 있다. 그런데 실제로 가상 스튜디오에서는 카메라의 롤 회전은 극히 작으며 고려하지 않는 경우도 있다
마지막으로 카메라 켈리브레이션부(205)에서는 대응 오각형 패턴인식부(204)에서 인식한 대응점을 이용하여 최종적으로 카메라 파라미터을 추출한다(S304). 종래의 대응점으로부터 카메라 파라미터를 추출하는 방법은 여러 가지가 있다[참고문헌 : Juyang Weng, Paul Cohen and Marc Herniou, 'Camera Calibration with Distortion Models and Accuracy Evaluation,' IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10, pp. 965-980, October 1992.; S. Ganapathy, 'Decomposition of transformation matrices for robot vision,' In proceeding. IEEE International Conference Automation, Atlanta, pp. 130-139, Mar. 1984. 등].
그런데 종래의 방법들은 많은 계산이 필요하며 복잡한 내부 파라미터의 고려가 필요하다. 그리고, 연속된 영상에서의 파라미터들 사이의 관계를 이용하지 않으므로 가상 스튜디오에 적용하는데 어려움이 있다. 특히, 가상 스튜디오 영상과 블루스크린이 평행할 경우에는 초점 거리(f)와 블루스크린으로부터 카메라까지의 수직 거리(Zo)는 동시에 측정될 수 없다. 따라서, 본 발명에서는 종래에 잘 알려진 방법을 이용하여 대응점으로부터 카메라 파라미터를 추출하되, 가상 스튜디오에 적합한 2단계의 카메라 켈리브레이션을 수행한다. 즉, 제1단계에서는 대응점을 이용하여 카메라의 광축(optical axis)과 카메라 헤드의 방향을 구한다. 이때 스케일 요소와 대응점 인식의 오차에 의한 광축의 오류를 제거하기 위하여 두 장 이상의 연속 영상을 사용한다. 그리고 제2단계에서는 가상 스튜디오에서f의 변화와Zo의 변화가 동시에 발생하지 않는다는 조건을 이용하여 연속된 영상에서f와Zo가운데 한 파라미터만을 선택하여 변화시키고 다른 하나는 이전 프레임의 파라미터의 값을유지함으로써 최종적으로 카메라 파라미터를 추출한다.
최종적으로 추출되는 카메라 파라미터는 도 6에 나타낸 바와 같다. 즉 카메라의 3차원 공간 좌표(601, 602, 603)와 카메라의 방향 팬(pan, 604), 틸트(tilt, 605) 및 롤(role, 606)의 각도이다.
상술한 바와 같은 본 발명은 카메라의 투영 변환에 불변하는 특징을 가지고 있는 오각형 패턴을 블루스크린에 포함시키고, 촬영된 영상을 처리하여 오각형을 인식하고, 그에 해당하는 블루스크린상의 대응점으로부터 카메라 파라미터의 추출함으로써 종래의 방법에서 문제가 되었던 센서의 노이즈 문제, 특수장치 설치문제, 대응점 추출의 문제를 해결할 수 있음은 물론, 간편하고 신속하게 카메라 파라미터를 추출할 수 있다.
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (8)

  1. 패턴 인식에 의해 가상 스튜디오에서의 카메라 움직임(파라미터)을 추출하는 장치 있어서,
    카메라 파라미터를 추출하는데 이용되는 다양한 형태의 오각형 패턴이 포함된 블루스크린;
    가상 스튜디오 내에 설치되어 상기 블루스크린과 스크린 앞의 피사체의 영상을 촬영하는 영상 촬영 수단;
    상기 영상 촬영 수단에서 입력되는 컬러영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 오각형 패턴 검출 수단;
    상기 오각형 패턴 검출 수단에서 검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 대응점 인식 수단; 및
    상기 대응점 인식 수단에서 찾아낸 대응점을 이용하여 카메라 파라미터(카메라의 3차원 공간 좌표와, 카메라의 방향 팬(pan), 틸트(tilt) 및 롤(role)의 각도)를 추출하는 카메라 파라미터 추출 수단을 포함하는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 장치.
  2. 제1항에 있어서,
    상기 블루스크린에 포함되는 오각형 패턴은,
    그 크기가 모두 같고,
    각 오각형은 폭과 너비가 같으며,
    각 오각형의 내각은 π/4, π/2, 3π/4 중의 어느 하나이고,
    각 오각형은 1쌍 또는 2쌍의 평행한 선분을 가지는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 블루스크린은,
    오각형 패턴을 다수의 행렬로 배치하되,
    각 열은 한 종류 오각형을 회전하여 배치하며,
    가장 마지막 행의 오각형들은 가장 첫 행의 오각형들과 일치하도록 구성한 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 장치.
  4. 제3항에 있어서,
    상기 블루스크린의 각 열에 배치되는 한 종류의 오각형은 0, π/2, π, 3π/2 중 어느 하나의 회전각으로 회전하여 배치되는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 장치.
  5. 제3항에 있어서,
    상기 블루스크린은,
    오각형 패턴이 이루는 행렬의 간격의 폭과 너비가 오각형 패턴의 폭과 너비와 일치하도록 구성한 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 장치.
  6. 패턴 인식에 의해 가상 스튜디오에서의 카메라 움직임(파라미터)을 추출하는 방법 있어서,
    다양한 형태의 오각형 패턴이 포함된 블루스크린과 스크린 앞의 피사체 영상을 촬영하는 과정;
    촬영된 영상에서 대응 패턴을 인식할 수 있도록 블루스크린의 오각형 패턴만을 검출하는 과정;
    검출한 오각형 패턴에 대응하는 패턴을 블루스크린에서 찾아내는 과정; 및
    찾아낸 대응점을 이용하여 카메라 파라미터(카메라의 3차원 공간 좌표와, 카메라의 방향 팬(pan), 틸트(tilt) 및 롤(role)의 각도)를 추출하는 과정을 포함하는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 방법.
  7. 제6항에 있어서,
    상기 촬영된 영상에서 오각형 패턴만을 검출하는 과정은,
    수평 경계 필터를 이용하여 수직 방향으로 소정 간격의 수평 프로파일과 수평 방향으로 소정 간격의 수직 프로파일만을 검색하는 단계;
    방향성을 고려하여 구해진 각 경계 픽셀과 이웃의 경계 픽셀을 연결하는 단계; 및
    픽셀의 연결을 통하여 구한 직선의 교점을 오각형의 꼭지점으로 결정하는 단계를 포함하는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 방법.
  8. 제6항에 있어서,
    상기 카메라 파라미터를 추출하는 과정은,
    두 장 이상의 연속 영상에서의 대응점을 이용하여 카메라의 광축(optical axis)과 카메라 헤드의 방향을 구하고;
    연속된 영상에서 가상 스튜디오에서 초점 거리(f)와 블루스크린으로부터 카메라까지의 수직 거리(Zo) 가운데 한 파라미터만을 선택하여 변화시키고 다른 하나는 이전 프레임의 파라미터의 값을 유지함으로써 최종적으로 카메라 파라미터를 추출하는 것을 특징으로 하는 가상 스튜디오에서의 카메라 움직임 추출 방법.
KR1020000009523A 2000-02-25 2000-02-25 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법 KR100321904B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000009523A KR100321904B1 (ko) 2000-02-25 2000-02-25 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000009523A KR100321904B1 (ko) 2000-02-25 2000-02-25 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20010084470A KR20010084470A (ko) 2001-09-06
KR100321904B1 true KR100321904B1 (ko) 2002-01-26

Family

ID=19650252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000009523A KR100321904B1 (ko) 2000-02-25 2000-02-25 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100321904B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136414A (ko) 2020-05-07 2021-11-17 주식회사 프라코 불연 코팅층이 구비된 파이프 및 그 파이프의 제조방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR100387901B1 (ko) * 2001-07-03 2003-06-18 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템
KR100901111B1 (ko) * 2007-10-31 2009-06-08 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN115460395A (zh) * 2022-06-24 2022-12-09 北京电影学院 一种基于led背景墙分时复用的摄影机注册跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136414A (ko) 2020-05-07 2021-11-17 주식회사 프라코 불연 코팅층이 구비된 파이프 및 그 파이프의 제조방법

Also Published As

Publication number Publication date
KR20010084470A (ko) 2001-09-06

Similar Documents

Publication Publication Date Title
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
US10630899B2 (en) Imaging system for immersive surveillance
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
US8548269B2 (en) Seamless left/right views for 360-degree stereoscopic video
CN109348119B (zh) 一种全景监控系统
WO2021093584A1 (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
Matsuyama et al. 3D video and its applications
CN108475327A (zh) 三维采集与渲染
US20130335535A1 (en) Digital 3d camera using periodic illumination
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
CN111343367B (zh) 一种十亿像素虚拟现实视频采集装置、系统与方法
CN105530431A (zh) 一种反射式全景成像系统及方法
Yuan et al. Multiscale gigapixel video: A cross resolution image matching and warping approach
SG191198A1 (en) Imaging system for immersive surveillance
CN112396562A (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
US20120154518A1 (en) System for capturing panoramic stereoscopic video
US20120154548A1 (en) Left/right image generation for 360-degree stereoscopic video
JP7479729B2 (ja) 三次元表現方法及び表現装置
WO2018066760A1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
CN106709894B (zh) 一种图像实时拼接方法及系统
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN115150561B (zh) 一种高动态成像系统和方法
US20120154519A1 (en) Chassis assembly for 360-degree stereoscopic video capture
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
KR100321904B1 (ko) 가상 스튜디오에서의 카메라 움직임 추출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050118

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee