KR20210050387A - 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210050387A
KR20210050387A KR1020190134922A KR20190134922A KR20210050387A KR 20210050387 A KR20210050387 A KR 20210050387A KR 1020190134922 A KR1020190134922 A KR 1020190134922A KR 20190134922 A KR20190134922 A KR 20190134922A KR 20210050387 A KR20210050387 A KR 20210050387A
Authority
KR
South Korea
Prior art keywords
cameras
camera
projection matrix
matrix
zone
Prior art date
Application number
KR1020190134922A
Other languages
English (en)
Other versions
KR102593103B1 (ko
Inventor
신형철
천왕성
허윤범
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190134922A priority Critical patent/KR102593103B1/ko
Publication of KR20210050387A publication Critical patent/KR20210050387A/ko
Application granted granted Critical
Publication of KR102593103B1 publication Critical patent/KR102593103B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

제 1 구역, 제 2 구역 및 상기 제 1 구역 및 상기 제 2 구역 사이에 위치하는 제 3 구역을 포함하는 촬영 장소 내에 설치된 복수의 카메라를 정렬하는 장치는 멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하는 제 1 사영 행렬 도출부, 상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 기준 법선 벡터 도출부, 상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하는 보정부, 상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하는 제 2 사영 행렬 도출부 및 상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 정렬부를 포함한다.

Description

카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR ALIGNING OF CAMERA}
본 발명은 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다.
타임 슬라이스 영상을 제공하기 위해서는 카메라 정렬이라는 사전 준비 작업을 필요로 한다. 이는, 스포츠 경기장, 공연장에 구비된 복수의 카메라 각각에 대해 카메라의 위치를 조정함으로써, 카메라를 정렬할 수 있다.
종래에 타임 슬라이스 영상을 제공하기 위해서는, 복수의 카메라의 중심이 촬영 장소 내에 위치한 기준점이 되도록 복수의 카메라를 정렬하였다. 그러나 이러한 방법은 주요 이벤트가 한 영역에서 발생되는 경우에 적합하며, 이벤트가 두 개의 서로 반대되는 영역에서 발생되는 경우 적합하지 않다는 단점을 가지고 있다.
제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹, 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹 및 제 3 구역을 촬영하는 적어도 하나의 카메라가 포함된 중간 그룹에서 촬영된 영상에 대한 정렬을 수행하는 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
복수의 카메라에 대해 각각의 카메라가 정렬되기 전의 제 1 사영 행렬 및 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하고, 제 1 사영 행렬 및 제 2 사영 행렬에 기초하여 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하는 제 1 사영 행렬 도출부, 상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 기준 법선 벡터 도출부, 상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하는 보정부, 상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하는 제 2 사영 행렬 도출부 및 상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 정렬부를 포함하는 카메라 정렬 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하는 단계, 상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 단계, 상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하는 단계, 상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하는 단계 및 상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 단계를 포함하는 카메라 정렬 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하고, 상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하고, 상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하고, 상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하고, 상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 종래에는 복수의 카메라를 단일 기준점 중심으로 경기장에 배치시켰으나, 카메라의 배치 및 정렬을 타임 슬라이스 그룹과 중간 그룹으로 구분하여 정렬시켜 단일 기준점 중심의 카메라 배치를 통해 발생되는 문제점을 해결할 수 있도록 하는 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
구기 종목의 스포츠 경기와 같이 서로 반대되는 영역에서 발생되는 이벤트에 대해 제 1 타임 슬라이스 그룹, 제 2 타임 슬라이스 그룹의 카메라를 배치하고, 제 1 타임 슬라이스 그룹과 제 2 타임 슬라이스 그룹의 사이에 위치한 영역에 중간 그룹의 카메라를 배치하여 경기장에서 발생되는 이벤트 발생 영역을 모두 촬영할 수 있도록 하는 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
타임 슬라이스 그룹 및 중간 그룹에 포함된 카메라를 이용하여 하나의 연결된 카메라 배치를 통해 경기 영상을 촬영함으로써, 몰입감이 향상된 멀티뷰 또는 타임 슬라이스 영상을 생성할 수 있도록 하는 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1a 및 도 1b는 종래의 타임 슬라이스 영상의 제공을 위한 카메라 배치를 도시한 예시적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상의 제공을 위해 제 1 구역, 제 2 구역 및 제 3 구역으로 구분된 촬영 장소를 도시한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라 정렬 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 제 1 타임 슬라이스 그룹 및 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 복수의 카메라 각각의 중심점을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 기준축에 기초하여 각각의 기준점을 산출하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 복수의 카메라 각각에 대한 위치를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 타임 슬라이스 그룹 및 중간 그룹에 포함된 각각의 카메라가 정렬된 모습을 도시한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 카메라 정렬 장치에서 카메라를 정렬하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1a 및 도 1b는 종래의 타임 슬라이스 영상의 제공을 위한 카메라 배치를 도시한 예시적인 도면이다.
도 1a를 참조하면, 종래에는 타임 슬라이스 영상의 제공을 위해 촬영 장소(예를 들어, 스포츠 경기장, 공연장 등)에 복수의 카메라(110)가 반구 형상으로 배치되고, 복수의 카메라(110)가 단일 기준점(100)을 중심으로 정렬되어 영상을 촬영하였다. 이 때, 각 카메라의 주요 촬영 영역은 단일 기준점(100)을 중심으로 형성된다.
이러한 단일 기준점(100)을 이용한 카메라 정렬 방법은 예를 들어, 검도, 태권도, 레슬링, 유도 등과 같이 하나의 주요 촬영 영역에서 이벤트가 발생하는 종목에 적합하다.
도 1b를 참조하면, 구기 종목에서 타임 슬라이스 영상의 제공을 위해 촬영 장소에 복수의 카메라(110)가 반구 형상으로 배치되고, 복수의 카메라(110)가 단일 기준점(100)을 중심으로 정렬되도록 하는 경우, 복수의 카메라(110)는 주요 촬영 영역(120)을 중심으로 구기 종목의 경기를 촬영할 수 있게 된다.
그러나 축구, 배구, 농구, 배드민턴, 테니스, 핸드볼, 미식축구 등과 같이 대부분의 구기 종목은 주요 이벤트 발생 영역(121, 122)이 서로 반대되는 영역에서 발생된다. 예를 들어, 복수의 카메라(110)가 A 팀이 위치한 주요 이벤트 발생 영역(122)을 촬영한 경우, B 팀이 위치한 주요 이벤트 발생 영역(121)은 촬영할 수 없게 된다.
이와 같이, 구기 종목에서 단일 기준점(100)을 중심으로 복수의 카메라(110)를 정렬하는 경우, 경기장이 카메라의 화각에 비해 상대적으로 매우 크거나, 카메라의 화각의 확보를 위한 촬영 거리가 충분하지 않아, 복수의 카메라(110)가 주요 이벤트 발생 영역(121, 122)을 모두 포함하여 촬영하기 어렵다는 단점을 가지고 있었다.
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상의 제공을 위해 제 1 구역, 제 2 구역 및 제 3 구역으로 구분된 촬영 장소를 도시한 예시적인 도면이다. 도 2를 참조하면, 복수의 카메라(200)는 촬영 장소의 제 1 구역(211)을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹(201), 제 2 구역(212)을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹(202) 및 제 3 구역(213)을 촬영하는 적어도 하나의 카메라가 포함된 중간 그룹(203)으로 구분될 수 있다. 여기서, 촬영 장소(210, 예를 들어, 구기 종목의 스포츠 경기장)는 제 1 구역(211), 제 2 구역(212) 및 제 1 구역(211)과 제 2 구역(212) 사이에 위치하는 제 3 구역(213)으로 구분될 수 있다.
예를 들어, 제 1 타임 슬라이스 그룹(201)에 포함된 적어도 하나의 카메라는 주요 이벤트 발생 영역 중 하나인 제 1 구역(211)을 촬영할 수 있도록 하나의 기준점(220)을 바라보도록 배치되고, 제 2 타임 슬라이스 그룹(202)에 포함된 적어도 하나의 카메라는 주요 이벤트 발생 영역 중 다른 하나인 제 2 구역(212)을 촬영할 수 있도록 하나의 기준점(221)을 바라보도록 배치될 수 있다.
여기서, 중간 그룹(203)에 포함된 적어도 하나의 카메라는 제 1 타임 슬라이스 그룹(201)과 제 2 타임 슬라이스 그룹(202)의 영상이 부드럽게 이어지도록 제 1 구역(211) 및 제 2 구역(212)의 사이인 제 3 구역(213)을 촬영하도록 배치되며, 제 1 타임 슬라이스 그룹(201)의 기준점(220)과 제 2 타임 슬라이스 그룹(202)의 기준점(221)이 이어진 가상의 선분(223)으로부터 소정의 분할된 위치가 각각의 기준점이 되도록 적어도 하나의 카메라가 배치될 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 정렬 장치의 구성도이다. 도 3을 참조하면, 카메라 정렬 장치(300)는 제 1 사영 행렬 도출부(310), 기준 법선 벡터 도출부(320), 보정부(330), 제 2 사영 행렬 도출부(340) 및 정렬부(350)를 포함할 수 있다.
제 1 사영 행렬 도출부(310)는 멀티카메라 칼리브레이션을 통해 복수의 카메라에 대해 제 1 사영 행렬(projection matrix)을 도출할 수 있다. 제 1 사영 행렬은 다음의 수학식 1을 통해 도출될 수 있다.
Figure pat00001
수학식 1을 참조하면, 제 1 사영 행렬(PCi)은 회전 매트릭스(RCi), 중심점 변환 매트릭스(tCi), 및 제 1 내부 파라미터(KCi)에 기초하여 도출될 수 있다.
기준 법선 벡터 도출부(320)는 도출된 제 1 사영 행렬 및 촬영 장소를 구성하는 평면에 기초하여 복수의 카메라 중 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 복수의 카메라 중 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출할 수 있다. 기준 법선 벡터를 도출하는 과정에 대해서는 도 4를 통해 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 제 1 타임 슬라이스 그룹 및 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 과정을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 기준 법선 벡터 도출부(320)는 제 1 구역 및 제 2 구역의 평면 상에서 적어도 3개의 특징점을 도출할 수 있다. 이를 위해, 기준 법선 벡터 도출부(320)는 제 1 타임 슬라이스 그룹 및 제 2 타임 슬라이스 그룹에서 촬영 장소 내의 평면 상의 3개의 점을 3차원 좌표로 복원할 수 있다. 3차원 좌표의 복원에 필요한 2차원에 대응하는 점들은 촬영 장소 내에 표시된 선과 같이 원래 존재하는 특징점이 이용될 수 있으며, 필요에 따라 별도로 배치된 패턴을 통해 추출될 수도 있다. 기준 법선 벡터 도출부(320)는 모든 카메라의 영상에서 추출할 필요 없이 소정의 카메라의 영상으로부터 특징점을 추출할 수 있다.
기준 법선 벡터 도출부(320)는 도출된 각각의 특징점에 기초하여 제 1 구역의 평면에 수직한 제 1 법선 벡터 및 제 2 구역의 평면에 수직한 제 2 법선 벡터를 도출할 수 있다. 예를 들어, 기준 법선 벡터 도출부(320)는 제 1 구역에 대해 3개의 특징점(401, 402, 403)을 도출하고, 도출된 3개의 특징점에 기초하여 제 1 구역의 평면에 수직한 제 1 법선 벡터(410)를 도출할 수 있다. 또한, 기준 법선 벡터 도출부(320)는 제 1 구역과 반대되는 구역인 제 2 구역에 대해 3개의 특징점(421, 422, 423)을 도출하고, 도출된 3개의 특징점에 기초하여 제 2 구역의 평면에 수직한 제 2 법선 벡터(430)를 도출할 수 있다.
기준 법선 벡터 도출부(320)는 제 1 법선 벡터(410) 및 제 2 법선 벡터(430) 각각에 대한 단위 벡터(440)를 산출하고, 산출된 각각의 단위 벡터(440) 간의 평균에 기초하여 기준 법선 벡터(450)를 도출할 수 있다. 기준 법선 벡터(450)는 다음의 수학식 2를 통해 도출될 수 있다.
Figure pat00002
예를 들어, 기준 법선 벡터 도출부(320)는 제 1 타임 슬라이스 그룹의 제 1 법선 벡터(410)에 대한 제 1 단위 벡터를 도출하고, 제 2 타임 슬라이스 그룹의 제 2 법선 벡터(430)에 대한 제 2 단위 벡터를 도출하고, 도출된 제 1 단위 벡터 및 제 2 단위 벡터의 평균에 기초하여 기준 법선 벡터(450)를 도출할 수 있다.
기준 법선 벡터(450)를 도출하기 위해 제 1 단위 벡터 및 제 2 단위 벡터의 평균을 이용하는 이유는, 제 1 타임 슬라이스 그룹의 제 1 법선 벡터(410) 및 제 2 타임 슬라이스 그룹의 제 2 법선 벡터(430)가 각각의 지역적 대응점의 측정을 통해 복원되었으므로, 법선 벡터 사이에 차이가 존재할 수 있기 때문이다.
다시 도 3으로 돌아와서, 보정부(330)는 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 복수의 카메라에 대한 보정을 수행할 수 있다.
제 2 사영 행렬 도출부(340)는 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출할 수 있다.
보정부(330)는 복수의 카메라 각각에 대한 중심점을 보정할 수 있다. 복수의 카메라 각각에 대한 중심점을 보정하는 과정에 대해서는 도 5a 내지 도 5c를 통해 상세히 설명하도록 한다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 복수의 카메라 각각의 중심점을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a를 참조하면, 보정부(330)는 복수의 카메라 각각의 중심점(Coi)을 도출된 기준 법선 벡터(510, Nv)에 사영할 수 있다. 이 때, 보정부(330)는 기준 법선 벡터(510)에 사영된 각각의 중심점(Coi, 503)의 높이(hi, 530)를 파악할 수 있게 된다.
예를 들어, 보정부(330)는 제 1 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점(501, Co0)을 도출된 기준 법선 벡터(510, Nv)에 사영하고, 제 2 타임 슬라이스 그룹에 포함된 적어도 하나의 중심점(502, Co1)을 도출된 기준 법선 벡터(510, Nv)에 사영할 수 있다. 이 때, 제 1 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점(501, Co0)은 기준 법선 벡터(510) 상의 'h0'(520)의 높이에 위치하고, 제 2 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점(502, Co1)은 기준 법선 벡터(510) 상의 'h1'(521)의 높이에 위치할 수 있다.
도 5b를 참조하면, 보정부(330)는 사영된 각 카메라의 중심점에 대한 높이 분포에 기초하여 높이 기준을 정의할 수 있다. 예를 들어, 높이 기준(hnew, 542)은 각 카메라의 중심점에 대한 높이 분포에 기초하여 기준 법선 벡터(510) 상의 hmin(540)과 hmax(541) 사이에 위치하도록 정의될 수 있다.
도 5c를 참조하면, 보정부(330)는 정의된 높이 기준에 따라 각 카메라의 중심점(Coi)을 보정할 수 있다. 보정부(330)는 다음의 수학식 3을 이용하여 각 카메라의 중심점을 보정할 수 있다.
Figure pat00003
예를 들어, 보정부(330)는 높이 기준이 'hnew'(542)로 정의된 경우, 정렬되지 않은 각 카메라의 중심점(Coi, 503)을 정렬된 각 카메라의 중심점 (Cni, 550)이 되도록 보정할 수 있다.
이러한 과정을 통해, 제 1 타임 슬라이스 그룹, 제 2 타임 슬라이스 그룹 및 중간 그룹에 포함된 모든 카메라의 중심은 기준 법선 벡터(Nv, 510)를 기준으로 같은 높이에 위치하게 됨으로써, 모든 카메라의 중심이 보정될 수 있다.
다시 도 3으로 돌아와서, 보정부(330)는 제 1 타임 슬라이스 그룹, 제 2 타임 슬라이스 그룹 및 중간 그룹에 포함된 적어도 하나의 카메라에 대한 기준점을 산출할 수 있다. 각각의 그룹에 포함된 적어도 하나의 카메라에 대한 기준점을 산출하는 과정에 대해서는 도 6을 통해 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 기준축에 기초하여 각각의 기준점을 산출하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 보정부(330)는 설정된 기준축에 기초하여 제 1 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점(600)으로부터 수선으로 내려진 제 1 기준점(601)을 산출하고, 제 2 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점(610)으로부터 수선으로 내려진 제 2 기준점(611)을 산출할 수 있다.
보정부(330)는 산출된 제 1 기준점 및 제 2 기준점을 연결한 선분(620)에 기초하여 제 3 구역을 촬영하는 적어도 하나의 카메라가 포함된 중간 그룹에 포함된 적어도 하나의 카메라 각각의 중심점(630)으로부터 수선으로 내려진 적어도 하나의 제 3 기준점(631)을 산출할 수 있다. 보정부는 다음의 수학식 4를 이용하여 제 1 내지 제 3 기준점(601, 611, 631)을 산출할 수 있다.
Figure pat00004
제 2 사영 행렬 도출부(340)는 설정된 기준축 및 산출된 제 1 내지 제 3 기준점(601, 611, 631)을 이용하여 복수의 카메라 각각이 정렬될 회전 매트릭스를 도출할 수 있다.
예를 들어, 기준 법선 벡터(Nv)는 모든 카메라에 대해 보정된 새로운 y축인 yni가 되고, 카메라 중심점(Cni)과 대응되는 중간 그룹의 기준점(Dni) 및 제 1 및 제 2 타임 슬라이스 그룹의 기준점(Dtsi)을 잇는 방향의 단위 벡터로 보정된 z축이 zni가 될 수 있다. 이 때, 새로운 z축과 새로운 y축을 외적(zXy=xni)함으로써, 새로운 보정된 x축 성분을 도출할 수 있다. 이러한 x축, y축, z축 성분을 순서대로 행으로 배열하여 3x3 매트릭스올 생성하면, 수학식 5와 같이 새로운 회전 매트릭스가 도출될 수 있다.
Figure pat00005
다시 도 3으로 돌아와서, 보정부(330)는 산출된 적어도 하나의 제 3 기준점 및 중간 그룹에 포함된 각각의 카메라의 중심점에 기초하여 복수의 카메라 각각에 대한 위치를 보정할 수 있다. 복수의 카메라 각각에 대한 위치를 보정하는 과정에 대해서는 도 7a 및 도 7b를 통해 상세히 설명하도록 한다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 복수의 카메라 각각에 대한 위치를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a를 참조하면, 제 1 기준점(Dtsi -1) 및 제 2 기준점(Dtsi)이 연결된 선분에 기초하여 중간 그룹에 포함된 적어도 하나의 카메라(700) 각각의 중심점(Cn)으로부터 수선으로 내려져 적어도 하나의 제 3 기준점(Dn)이 산출된 경우, 중간 그룹에 포함된 적어도 하나의 카메라(700) 각각의 중심점(Cn)으로부터 수선으로 내려진 각각의 제 3 기준점(Dn)과의 거리가 각각 달라질 수 있다.
예를 들어, 제 3 기준점 중 하나인 'Dni -1'(712)로부터 카메라의 중심점 중 하나인 'Cni -1'(701)까지의 거리가 'Mi -1'이고, 제 3 기준점 중 다른 하나인 'Dni'(713)로부터 카메라의 중심점 중 다른 하나인 'Cni'(702)까지의 거리가 'Mi'이고, 제 3 기준점 중 또 다른 하나인 'Dni +1'(714)로부터 카메라의 중심점 중 또 다른 하나인 'Cni +1'(703)까지의 거리가 'Mi +1'인 경우와 같이, 중간 그룹에 포함된 복수의 카메라와 각각의 제 3 기준점까지의 거리가 각각 'Mi -1', 'Mi', 'Mi + 1'와 같이 달라진다.
이와 같이, 중간 그룹에 포함된 각 카메라의 중심점과 각 카메라의 중심점으로부터 수선으로 내려진 적어도 하나의 제 3 기준점이 달라지게 됨에 따라, 중간 그룹에 포함된 적어도 하나의 카메라의 초점거리 및 화각이 달라질 수 있다.
도 7b를 참조하면, 보정부(330)는 모든 카메라의 중심점이 각각의 기준점과 일정한 거리를 가지도록, 각 카메라의 위치를 이동시킬 수 있다. 예를 들어, 보정부(330)는 각 카메라와 기준점 사이의 거리 중 가장 짧은 거리를 카메라가 이동할 기준 거리(M)로 설정하고, 설정된 기준 거리에 기초하여 카메라의 위치를 이동시킬 수 있다. 다른 예를 들어, 보정부(330)는 다음의 수학식 6을 이용하여 카메라의 위치를 이동시킬 수도 있다.
Figure pat00006
수학식 6을 참조하면, 보정부(330)는 카메라 중심점(Cni)과 제 3 기준점(Dni)을 이용하여, 카메라가 이동할 위치로 새로운 카메라의 중심점(Cdni)을 도출하고, 도출된 새로운 카메라의 중심점(Cdni)에 기초하여 각 카메라의 위치를 이동시킬 수 있다.
다시 도 3으로 돌아와서, 제 2 사영 행렬 도출부(340)는 제 1 사영 행렬(PCi)을 구성하는 제 1 내부 파라미터(KPi)에 기초하여 복수의 카메라 각각에 대한 초점 거리를 보정하기 위한 제 2 내부 파라미터(KNi)를 도출할 수 있다. 제 2 사영 행렬 도출부(340)는 다음의 수학식 7을 이용하여 제 2 내부 파라미터(KNi)를 도출할 수 있다.
Figure pat00007
수학식 7을 참조하면, 제 2 사영 행렬 도출부(340)는 복수의 카메라 각각에 대한 초점 거리(fn)를 보정하기 위해, 보정을 수행하기 이전의 제 1 내부 파라미터(KCi)가 가장 큰 값에 비례한 값을 초점 거리(fn)으로 결정할 수 있다.
이를 통해, 모든 카메라로부터 대상 객체와의 거리가 같아지게 되며, 모든 카메라에 같은 초점 거리가 적용되도록 함으로써, 전체 카메라가 같은 화각을 가질 수 있도록 할 수 있다.
제 2 사영 행렬 도출부(340)는 제 2 내부 파라미터(KNi) 및 회전 매트릭스(RNi)에 기초하여 제 2 사영 행렬(PNi)을 도출할 수 있다. 제 2 사영 행렬 도출부(340)는 다음의 수학식 8을 이용하여 제 2 사영 행렬(PNi)을 도출할 수 있다.
Figure pat00008
수학식 8을 참조하면, 제 2 사영 행렬(PNi)은 제 2 내부 파라미터(KNi), 회전 매트릭스(RNi), 중심점 변환 매트릭스(tNi)에 기초하여 도출될 수 있다. 여기서, 중심점 변환 매트릭스(tNi)는 회전 매트릭스를 중심점으로 역변환시킨 것일 수 있다.
정렬부(350)는 도출된 제 1 사영 행렬(PCi) 및 제 2 사영 행렬(PNi)에 기초하여 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행할 수 있다.
정렬부(350)는 변환 매트릭스 산출부(355)를 포함할 수 있다.
변환 매트릭스 산출부(355)는 도출된 제 1 사영 행렬(PCi) 및 제 2 사영 행렬(PNi) 간의 관계에 기초하여 이동 변환 매트릭스를 산출할 수 있다. 이동 변환 매트릭스는 다음의 수학식 9를 이용하여 산출될 수 있다.
Figure pat00009
변환 매트릭스 산출부(355)는 제 1 및 2 기준점(Dtsi)과 제 3 기준점(Dni)을 제 1 사영 행렬(PCi) 및 제 2 사영 행렬(PNi)에 사영하고, 사영된 제 1 사영 행렬(PCi) 및 제 2 사영 행렬(PNi) 간의 차이를 보정하는 이동 변환 매트릭스(HT)를 산출할 수 있다. 이 때, 정렬부(350)는 산출된 이동 변환 매트릭스(HT)에 기초하여 각 카메라에 대한 이동 변환을 수행할 수 있다.
변환 매트릭스 산출부(355)는 도출된 제 1 사영 행렬(PCi) 및 제 2 사영 행렬(PNi) 간의 관계에 기초하여 회전 변환 매트릭스(HR)를 산출할 수 있다. 변환 매트릭스 산출부(355)는 회전 변환 매트릭스(HR)를 다음의 수학식 10 및 11을 이용하여 산출할 수 있다.
Figure pat00010
수학식 10을 참조하면, 어떤 점 Xw가 보정 전 카메라 사영 행렬인 PCi에 의해 보정 전 영상 좌표(u, v, 1)에 사영되고, 어떤 점 Xw가 보정 후 카메라 사영 행렬인 PNi에 의해 보정 후 영상 좌표 (u', v', 1)으로 사영되었다고 가정하자. 이동 변환 매트릭스에 의해 PCi와 PNi의 이동이 보정된 경우, 수학식 10과 같이 표현될 수 있다.
Figure pat00011
수학식 10 및 수학식 11을 참조하면, 수학식 10에서 도출된 각각의 식을 Xw에 대하여 정리하면, 회전 변환 매트릭스 HR은 수학식 11과 같이 표현될 수 있다.
정렬부(350)는 산출된 회전 변환 매트릭스(HR)에 기초하여 각 카메라에 대한 회전 변환을 수행할 수 있다.
변환 매트릭스 산출부(355)는 복수의 카메라 각각의 영상 크기가 특정 해상도로 변환되도록 사이즈 변환 매트릭스(HS)를 산출할 수 있다. 변환 매트릭스 산출부(355)는 사이즈 변환 매트릭스(HS)를 다음의 수학식 11을 이용하여 산출할 수 있다.
Figure pat00012
정렬부(350)는 산출된 사이즈 변환 매트릭스에 기초하여 각 카메라의 영상에 대해 사이즈 변환을 수행할 수 있다.
정렬부(350)는 이동 변환 매트릭스(HT), 회전 변환 매트릭스(HR) 및 사이즈 변환 매트릭스(HS)를 통합하여 생성된 통합 변환 매트릭스(HTotal=HSHRHT)를 통해 이동 변환, 회전 변환 및 사이즈 변환에 관한 정보를 관리할 수 있다. 예를 들어, 통합 변환 매트릭스는 2x2 또는 3x3의 실수 형태로 구성될 수 있다. 이러한 통합 변환 매트릭스를 통해 이동 변환, 회전 변환 및 사이즈 변환에 관한 정보를 관리함으로써, 이동 변환, 회전 변환 및 사이즈 변환 처리의 효율을 높이고, 타임 슬라이스의 영상 획득 시, 실시간으로 영상을 보정할 수 있다는 장점을 제공할 수 있다.
이러한 카메라 정렬 장치는 카메라를 정렬하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 멀티카메라 칼리브레이션을 통해 복수의 카메라에 대해 제 1 사영 행렬을 도출하고, 도출된 제 1 사영 행렬 및 촬영 장소를 구성하는 평면에 기초하여 복수의 카메라 중 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 복수의 카메라 중 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하고, 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 복수의 카메라에 대한 보정을 수행하고, 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하고, 도출된 제 1 사영 행렬 및 제 2 사영 행렬에 기초하여 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 타임 슬라이스 그룹 및 중간 그룹에 포함된 각각의 카메라가 정렬된 모습을 도시한 예시적인 도면이다.
도 8a를 참조하면, 구기 종목에 적합한 타임 슬라이스 영상을 생성하기 위해 타임 슬라이스 그룹을 경기장의 좌측 및 우측에 설정하고, 중간 그룹을 경기장의 상측 및 하측에 설정하여, 타임 슬라이스 그룹 및 중간 그룹에 포함된 적어도 하나의 카메라를 배치하여 정렬시킬 수 있다.
예를 들어, 경기장의 A 팀 영역에 제 1 타임 슬라이스 그룹(800)을 설정하고, B 팀 영역에 제 2 타임 슬라이스 그룹(801)을 설정한 후, 제 1 타임 슬라이스 그룹(800) 및 제 2 타임 슬라이스 그룹(801)에 포함된 적어도 하나의 카메라를 배치시킬 수 있다. 또한, 제 1 타임 슬라이스 그룹(800) 및 제 2 타임 슬라이스 그룹(801)을 연결하는 선분(812)에 기초하여 제 1 중간 그룹(810) 및 제 2 중간 그룹(811)에 포함된 적어도 하나의 카메라를 배치시킬 수 있다.
이후, 제 1 타임 슬라이스 그룹(800) 및 제 2 타임 슬라이스 그룹(801)과 제 1 중간 그룹(811) 및 제 2 중간 그룹(811)에 포함된 카메라에 대한 영상을 구기 종목에 적합하도록 정렬시킬 수 있다.
도 8b를 참조하면, 트랙 경기에 적합한 타임 슬라이스 영상을 생성하기 위해 타임 슬라이스 그룹을 경기장의 각 모서리에 설정하고, 중간 그룹을 그 외 나머지 상측, 하측, 좌측, 우측에 설정하여, 타임 슬라이스 그룹 및 중간 그룹에 포함된 적어도 하나의 카메라를 배치하여 정렬시킬 수 있다.
예를 들어, 트랙 경기장의 좌상측 영역에 제 1 타임 슬라이스 그룹(820)을 설정하고, 우상측 영역에 제 2 타임 슬라이스 그룹(821)을 설정하고, 우하측 영역에 제 3 타임 슬라이스 그룹(822)을 설정하고, 좌하측 영역에 제 4 타임 슬라이스 그룹(823)을 설정한 후, 제 1 타임 슬라이스 그룹(820) 내지 제 4 타임 슬라이스 그룹(823)에 포함된 적어도 하나의 카메라를 배치시킬 수 있다.
또한, 제 1 타임 슬라이스 그룹(820) 내지 제 4 타임 슬라이스 그룹(823)을 연결하는 선분(840)에 기초하여 상측 영역에 제 1 중간 그룹(830)을 설정하고, 우측 영역에 제 2 중간 그룹(831)을 설정하고, 하측 영역에 제 3 중간 그룹(832)을 설정하고, 좌측 영역에 제 4 중간 그룹(833)을 설정한 후, 제 1 중간 그룹(830) 내지 제 4 중간 그룹(833)에 포함된 적어도 하나의 카메라를 배치시킬 수 있다.
이후, 제 1 타임 슬라이스 그룹(820) 내지 제 4 타임 슬라이스 그룹(823)과 제 1 중간 그룹(831) 내지 제 4 중간 그룹(833)에 포함된 카메라에 대한 영상을 트랙 경기에 적합하도록 정렬시킬 수 있다.
이와 같이, 타임 슬라이스 그룹과 중간 그룹의 수에 제한은 없으며, 구기 종목, 트랙 경기 등과 같이 경기 특성에 따라 다양하게 응용 배치가 가능하다.
도 9는 본 발명의 일 실시예에 따른 카메라 정렬 장치에서 카메라를 정렬하는 방법의 순서도이다. 도 9에 도시된 카메라 정렬 장치(300)에서 카메라를 정렬하는 방법은 도 3 내지 도 8b에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 3 내지 도 8b에 도시된 실시예에 따른 카메라 정렬 장치(300)에서 카메라를 정렬하는 방법에도 적용된다.
단계 S910에서 카메라 정렬 장치(300)는 멀티카메라 칼리브레이션을 통해 복수의 카메라에 대해 제 1 사영 행렬을 도출할 수 있다.
단계 S920에서 카메라 정렬 장치(300)는 도출된 제 1 사영 행렬 및 촬영 장소를 구성하는 평면에 기초하여 복수의 카메라 중 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 복수의 카메라 중 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출할 수 있다.
단계 S930에서 카메라 정렬 장치(300)는 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 복수의 카메라에 대한 보정을 수행할 수 있다.
단계 S940에서 카메라 정렬 장치(300)는 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출할 수 있다.
단계 S950에서 카메라 정렬 장치(300)는 도출된 제 1 사영 행렬 및 제 2 사영 행렬에 기초하여 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행할 수 있다.
상술한 설명에서, 단계 S910 내지 S950은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 2 내지 도 9를 통해 설명된 카메라 정렬 장치에서 카메라를 정렬하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 2 내지 도 9를 통해 설명된 카메라 정렬 장치에서 카메라를 정렬하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
300: 카메라 정렬 장치
310: 제 1 사영 행렬 도출부
320: 기준 법선 벡터 도출부
330: 보정부
340: 제 2 사영 행렬 도출부
350: 정렬부
355: 변환 매트릭스 산출부

Claims (17)

  1. 제 1 구역, 제 2 구역 및 상기 제 1 구역 및 상기 제 2 구역 사이에 위치하는 제 3 구역을 포함하는 촬영 장소 내에 설치된 복수의 카메라를 정렬하는 장치에 있어서,
    멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하는 제 1 사영 행렬 도출부;
    상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 기준 법선 벡터 도출부;
    상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하는 보정부;
    상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하는 제 2 사영 행렬 도출부; 및
    상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 정렬부
    를 포함하는 것인, 카메라 정렬 장치.
  2. 제 1 항에 있어서,
    상기 기준 법선 벡터 도출부는 상기 제 1 구역 및 상기 제 2 구역의 평면 상에서 적어도 3개의 특징점을 도출하고, 상기 도출된 각각의 특징점에 기초하여 상기 제 1 구역의 평면에 수직한 제 1 법선 벡터 및 상기 제 2 구역의 평면에 수직한 제 2 법선 벡터를 도출하는 것인, 카메라 정렬 장치.
  3. 제 2 항에 있어서,
    상기 기준 법선 벡터 도출부는 상기 제 1 법선 벡터 및 상기 제 2 법선 벡터 각각에 대한 단위 벡터를 산출하고, 상기 산출된 각각의 단위 벡터 간의 평균에 기초하여 상기 기준 법선 벡터를 도출하는 것인, 카메라 정렬 장치.
  4. 제 3 항에 있어서,
    상기 보정부는 상기 복수의 카메라 각각의 중심점을 상기 도출된 기준 법선 벡터에 사영하고, 상기 사영된 각 카메라의 중심점에 대한 높이 분포에 기초하여 정의된 높이 기준에 따라 상기 각 카메라의 중심점을 보정하는 것인, 카메라 정렬 장치.
  5. 제 1 항에 있어서,
    상기 보정부는 상기 설정된 기준축에 기초하여 상기 제 1 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점으로부터 수선으로 내려진 제 1 기준점을 산출하고, 상기 제 2 타임 슬라이스 그룹에 포함된 적어도 하나의 카메라의 중심점으로부터 수선으로 내려진 제 2 기준점을 산출하는 것인, 카메라 정렬 장치.
  6. 제 5 항에 있어서,
    상기 보정부는 상기 산출된 제 1 기준점 및 상기 제 2 기준점을 연결한 선분에 기초하여 상기 제 3 구역을 촬영하는 적어도 하나의 카메라가 포함된 중간 그룹에 포함된 적어도 하나의 카메라 각각의 중심점으로부터 수선으로 내려진 적어도 하나의 제 3 기준점을 산출하는 것인, 카메라 정렬 장치.
  7. 제 6 항에 있어서,
    상기 제 2 사영 행렬 도출부는 상기 설정된 기준축 및 상기 산출된 제 1 내지 제 3 기준점을 이용하여 상기 복수의 카메라 각각이 정렬될 회전 매트릭스를 도출하는 것인, 카메라 정렬 장치.
  8. 제 6 항에 있어서,
    상기 보정부는 상기 산출된 적어도 하나의 제 3 기준점 및 상기 중간 그룹에 포함된 각각의 카메라의 중심점에 기초하여 상기 복수의 카메라 각각에 대한 위치를 보정하는 것인, 카메라 정렬 장치.
  9. 제 7 항에 있어서,
    상기 제 2 사영 행렬 도출부는 상기 제 1 사영 행렬을 구성하는 제 1 내부 파라미터에 기초하여 상기 복수의 카메라 각각에 대한 초점 거리를 보정하기 위한 제 2 내부 파라미터를 도출하는 것인, 카메라 정렬 장치.
  10. 제 9 항에 있어서,
    상기 제 2 사영 행렬 도출부는 상기 제 2 내부 파라미터 및 상기 회전 매트릭스에 기초하여 상기 제 2 사영 행렬을 도출하는 것인, 카메라 정렬 장치.
  11. 제 10 항에 있어서,
    상기 정렬부는 상기 도출된 제 1 사영 행렬 및 제 2 사영 행렬 간의 관계에 기초하여 이동 변환 매트릭스를 산출하는 변환 매트릭스 산출부를 더 포함하는 것인, 카메라 정렬 장치.
  12. 제 11 항에 있어서,
    상기 변환 매트릭스 산출부는 상기 제 1 내지 제 3 기준점을 상기 제 1 사영 행렬 및 상기 제 2 사영 행렬에 사영하고, 상기 사영된 제 1 사영 행렬 및 상기 제 2 사영 행렬 간의 차이를 보정하는 상기 이동 변환 매트릭스를 산출하고,
    상기 정렬부는 상기 산출된 이동 변환 매트릭스에 기초하여 상기 각 카메라에 대한 이동 변환을 수행하는 것인, 카메라 정렬 장치.
  13. 제 12 항에 있어서,
    상기 변환 매트릭스 산출부는 상기 도출된 제 1 사영 행렬 및 제 2 사영 행렬 간의 관계에 기초하여 회전 변환 매트릭스를 산출하고,
    상기 정렬부는 상기 산출된 회전 변환 매트릭스에 기초하여 상기 각 카메라에 대한 회전 변환을 수행하는 것인, 카메라 정렬 장치.
  14. 제 13 항에 있어서,
    상기 변환 매트릭스 산출부는 상기 복수의 카메라 각각의 영상 크기가 특정 해상도로 변환되도록 사이즈 변환 매트릭스를 산출하고,
    상기 정렬부는 상기 산출된 사이즈 변환 매트릭스에 기초하여 상기 각 카메라의 영상에 대해 사이즈 변환을 수행하는 것인, 카메라 정렬 장치.
  15. 제 14 항에 있어서,
    상기 정렬부는 상기 이동 변환 매트릭스, 상기 회전 변환 매트릭스 및 상기 사이즈 변환 매트릭스를 통합하여 생성된 통합 변환 매트릭스를 통해 상기 이동 변환, 상기 회전 변환 및 상기 사이즈 변환에 관한 정보를 관리하는 것인, 카메라 정렬 장치.
  16. 카메라 정렬 장치에서 제 1 구역, 제 2 구역 및 상기 제 1 구역 및 상기 제 2 구역 사이에 위치하는 제 3 구역을 포함하는 촬영 장소 내에 설치된 복수의 카메라를 정렬하는 방법에 있어서,
    멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하는 단계;
    상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하는 단계;
    상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하는 단계;
    상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하는 단계; 및
    상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하는 단계
    를 포함하는 것인, 카메라 정렬 방법.
  17. 카메라 정렬 장치에서 제 1 구역, 제 2 구역 및 상기 제 1 구역 및 상기 제 2 구역 사이에 위치하는 제 3 구역을 포함하는 촬영 장소 내에 설치된 복수의 카메라를 정렬하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    멀티카메라 칼리브레이션을 통해 상기 복수의 카메라에 대해 제 1 사영 행렬을 도출하고,
    상기 도출된 제 1 사영 행렬 및 상기 촬영 장소를 구성하는 평면에 기초하여 상기 복수의 카메라 중 상기 제 1 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 1 타임 슬라이스 그룹 및 상기 복수의 카메라 중 상기 제 2 구역을 촬영하는 적어도 하나의 카메라가 포함된 제 2 타임 슬라이스 그룹에 대한 각각의 기준 법선 벡터를 도출하고,
    상기 도출된 각각의 기준 법선 벡터를 기준축으로 설정하여 상기 복수의 카메라에 대한 보정을 수행하고,
    상기 보정된 복수의 카메라에 대해 각각의 카메라가 정렬될 제 2 사영 행렬을 도출하고,
    상기 도출된 제 1 사영 행렬 및 상기 제 2 사영 행렬에 기초하여 상기 복수의 카메라로부터 촬영된 영상에 대한 정렬을 수행하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.
KR1020190134922A 2019-10-28 2019-10-28 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램 KR102593103B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134922A KR102593103B1 (ko) 2019-10-28 2019-10-28 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134922A KR102593103B1 (ko) 2019-10-28 2019-10-28 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20210050387A true KR20210050387A (ko) 2021-05-07
KR102593103B1 KR102593103B1 (ko) 2023-10-24

Family

ID=75916872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134922A KR102593103B1 (ko) 2019-10-28 2019-10-28 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102593103B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070095040A (ko) * 2006-03-20 2007-09-28 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US20130044108A1 (en) * 2011-03-31 2013-02-21 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display
US20150029345A1 (en) * 2012-01-23 2015-01-29 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
US20190158813A1 (en) * 2016-06-10 2019-05-23 Lucid VR, Inc. Real Time Re-Calibration of Stereo Cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070095040A (ko) * 2006-03-20 2007-09-28 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US20130044108A1 (en) * 2011-03-31 2013-02-21 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display
US20150029345A1 (en) * 2012-01-23 2015-01-29 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
US20190158813A1 (en) * 2016-06-10 2019-05-23 Lucid VR, Inc. Real Time Re-Calibration of Stereo Cameras

Also Published As

Publication number Publication date
KR102593103B1 (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
Jiang et al. Video stitching with spatial-temporal content-preserving warping
KR102153985B1 (ko) 가상 시점 화상을 생성하는 장치, 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체
US9361660B2 (en) Image processing device and method, supplement image generation device and method, program, and recording medium
CN102726051B (zh) 3d视频中的虚拟插件
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
US11151787B2 (en) Generation device, generation method and storage medium for three-dimensional model from object images and structure images
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
CN107257494B (zh) 一种体育赛事拍摄方法及其拍摄系统
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
BRPI1001472A2 (pt) dispositivo, sistema e método de processamento de imagem, e software de computador
US20220005276A1 (en) Generation device, generation method and storage medium for three-dimensional model
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
JP4881178B2 (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
JP6055223B2 (ja) 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置
KR101879368B1 (ko) 구기 스포츠에서의 이벤트 영상 제공 시스템 및 이를 이용한 인/아웃 판단 방법
JP2019106145A (ja) ３次元モデルの生成装置、生成方法及びプログラム
US20240104793A1 (en) Adding augmented reality to a sub-view of a high resolution central video feed
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
KR20210050387A (ko) 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램
KR101888747B1 (ko) 구기 스포츠에서의 이벤트 영상 제공 시스템 및 이를 이용한 이벤트 영상 생성 방법
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
KR101375708B1 (ko) 복수 영상을 이용한 모션 캡처 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
JP6416741B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant