KR101025899B1 - 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법 - Google Patents

다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법 Download PDF

Info

Publication number
KR101025899B1
KR101025899B1 KR1020090058828A KR20090058828A KR101025899B1 KR 101025899 B1 KR101025899 B1 KR 101025899B1 KR 1020090058828 A KR1020090058828 A KR 1020090058828A KR 20090058828 A KR20090058828 A KR 20090058828A KR 101025899 B1 KR101025899 B1 KR 101025899B1
Authority
KR
South Korea
Prior art keywords
camera
image
virtual image
cameras
information
Prior art date
Application number
KR1020090058828A
Other languages
English (en)
Other versions
KR20110001333A (ko
Inventor
김정환
김병수
이영민
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020090058828A priority Critical patent/KR101025899B1/ko
Publication of KR20110001333A publication Critical patent/KR20110001333A/ko
Application granted granted Critical
Publication of KR101025899B1 publication Critical patent/KR101025899B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 카메라센서가 부착된 다수의 카메라를 이용한 가상 이미지 합성 방법에 관한 것으로 센서가 부착된 다수의 다중카메라를 동기화시키고 각 카메라의 자세정보 및 줌, 포커스 정보를 보정하여 실사 영상에 가상 이미지를 합성하는 방법에 관한 것이다. 본 발명에 따른 카메라 센서를 이용한 가상 이미지 합성 방법은, 카메라를 통해 실사 영상을 입력 받는 단계, 카메라에 부착된 카메라 센서로부터 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계, 초기 자세 정보에 카메라 센서로부터 수신되는 카메라의 회전 정보를 더하여 카메라의 현재 자세 정보를 생성하는 단계, 카메라의 위치 정보 및 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 계산된 합성 위치를 기초하여 가상 이미지를 실사 영상에 합성하는 단계, 다수의 카메라센서를 동기화시켜 제어하는 단계, 그리고 카메라의 자세정보 및 줌, 포커스 정보를 보정하는 단계를 포함한다. 본 발명에 따르면 카메라를 통해 촬영된 실사 영상에 가상 이미지를 정확한 위치에 합성함으로써, 보다 생동감이 있고 실감나는 입체 영상을 제공할 수 있다. 즉 실시간 방송 중계 화면에 사용자가 원하는 이미지나 동영상 또는 3차원 그래픽을 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 방송 중계 화면을 변화시킬 수 있다. 또한 방송 중계 화면 상에 가상 광고 등을 삽입할 수도 있어 새로운 광고 기법을 창출할 수 있으며 광고 효과를 극대화 시킬 수 있다.
카메라센서, 가상 이미지, 세계 좌표계, 영상 좌표계

Description

다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법{The sending method of broadcast images composed virtual images using camera sensors}
본 발명은 실제 방송영상에 가상의 이미지 또는 동영상을 실시간으로 합성 삽입하는 기술로 다수의 카메라 센서를 이용하여 카메라를 통해 촬영된 실사 영상에 가상의 이미지를 합성하는 방법에 관한 것이다. 본 발명은 스포츠를 비롯한 각종 방송영상에 경기정보나 가상광고를 자연스럽게 삽입하여 시청자의 재미를 충족시켜 주면서 방송의 새로운 부가가치를 창출할 수 있게 해준다. 이러한 가상 이미지 삽입 기술은 원래의 방송영상에는 없지만 마치 현장이나 영상물에 실제로 존재하는 것처럼 가상의 이미지를 자연스럽게 합성 처리하는 기술이다. 본 발명에 사용되는 기술로는 운동 경기의 경우 선수의 동작에 의해 가상 이미지가 가려질 수 있도록 처리하는 가려짐(Occlusion, 폐색) 처리기술, 카메라 추적센서를 사용하여 모든 카메라의 움직임에 대응하여 추적할 수 있는 카메라 추적(Camera Tracking) 기술, 카메라 및 렌즈의 왜곡을 보정하는 카메라 왜곡 보정(Camera Calibration) 기술, 메모리 헤드와 카메라 센서를 설계하고 제작하는 기술 및 이러한 기술을 실시 간으로 처리하는 기술이 종합적으로 결합된 획기적인 기술이다. 본 발명의 기술을 이용하면 생방송으로 중계되는 방송화면의 빈 공간에 시청자의 거부감 없이 자연스럽게 가상광고를 삽입할 수 있으며, 또한 거리, 속도 및 전광판 등 경기정보를 다양하게 제공할 수 있다. 그 외에 선거방송, 쇼 프로그램, 홈쇼핑 및 대회 시상식 방송화면 등에 버추얼 인포그래픽 및 특수효과를 삽입함으로써 방송화면을 생동감 있게 구성할 수 있어 시청자의 욕구를 충족할 수 있게 된다.
가상 이미지 합성이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계 위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 가상 이미지 합성 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.
가상 이미지 합성의 가장 간단한 형태로는 엔터테인먼트와 뉴스 분야 등에서 응용되고 있다. TV에서 일기예보를 하는 경우 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 것을 볼 수 있는데, 실제로는 기상 캐스트가 블루스크린(Blue-Screen) 앞에 서 있고 컴퓨터로 만들어진 가상의 영상이 가상 스튜디오 환경을 만들어 가상 이미지가 합성된 현실을 이루어내는 것이다. 또한 스포츠 중계에서 경기 장에 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 화면에 삽입하여 시청자들에게 송출하는 가상 광고 시스템이나, 핸드폰 카메라를 이용하여 사용자의 동작을 인식하고, 반응하도록 구성된 게임 등이 가상 이미지 합성을 응용 예라 할 수 있다.
그러나 현재 가상 이미지 합성 기술들이 그 용용 가능성이 다양함에도 불구하고, 실제적인 이용을 제한하게 되는 가장 근본적인 문제점 중의 하나가 바로 정합(Registration) 문제이다. 정합이란 가상 이미지 합성에서 사용자가 보는 현실 세계와 가상으로 생성된 물체가 서로 적절히 배치되는 일련의 과정을 말하는 것으로, 카메라의 위치와 카메라가 바라보는 방향을 정확히 추적해야만 원하는 가상의 그래픽을 영상의 정확한 장소에 위치시킬 수 있게 된다.
종래의 정합 시스템은 영상에서 위치와 자세가 알려진 패턴을 인식하여 현재 카메라의 위치와 방향을 알아내는 방법, GPS, 자이로 등 실시간으로 얻어지는 센서정보를 이용하여 현재 카메라의 위치와 자세를 구하는 방법들이 사용 되었는데, 이들은 잡음과 주위 환경, 센서 자체의 저 해상도 특성으로 인하여 정확한 정합이 어렵게 되는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 카메라센서가 부착된 두 개 이상의 원격조정 다중카메라를 실시간으로 동기화하여 각 카메라로부터 수신되는 실사 영상에 가상 이미지를 합성하고, 방송화면의 정확한 위치에 가상 이미지를 정합할 수 있는 가상 이미지 및 그 합성 장치를 이용한 가상 이미지 합성 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 센서가 부착된 원격제어 다중 카메라를 활용한 가상 이미지 합성 장치의 가상 이미지 합성 방법은, 다수의 각 카메라를 초기화하는 단계, 모든 카메라의 동기화 설정 초기화 단계, 카메라를 통해 실사 영상을 입력 받는 단계, 상기 카메라에 부착된 카메라 센서로부터 상기 카메라의 자세 정보를 수신하는 단계, 동기화 방식에 따라 마스터 카메라의 자세 정보를 수신하는 단계, 동기화 방식에 따라 제어논리를 수행하고 다른 카메라의 자세를 제어하는 명령을 생성하여 전송하는 단계, 상기 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고 상기 계산된 합성 위치를 기초하여 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 가상 이미지 합성 장치는, 카메라 센서 정보 를 수신하고, 수신된 센서 정보를 기초로 요구되는 자세에 맞는 제어 명령을 생성하고 송신하는 카메라센서 및 제어모듈, 카메라 동기화 설정 정보와 자세 정보에 따라 각 카메라 자세 제어 정보를 생성하는 카메라 모션 생성 모듈, 그리고 상기 계산된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함한다.
이와 같이 본 발명에 의하면, 여러 대의 센서가 부착된 원격제어 카메라를 활용하여 실사 영상의 원하는 위치에 가상 이미지를 정확하게 합성함으로써 시청자의 다양한 정보 욕구를 시각적으로 만족시켜 줄 수 있을 뿐만 아니라 시청자의 거부감 없이 가상광고를 삽입시켜 줌으로써 방송의 부가가치를 크게 높여줄 수 있게 된다. 즉, 여러 대의 카메라를 설치하여 동기화함으로써 다양한 카메라 모션을 수행할 수 있고 그에 따라 여러 시각에서 가상 이미지를 합성할 수 있어 보다 생동감 있고 실감나는 입체 영상을 제공할 수 있게 된다. 그리고 방송화면에서 직접 광고 할 수 없는 영역에서까지 광고를 가능하게 해 주고, 실물 제작에 들어가는 비용을 절감할 수 있어 저비용의 자원 절약형 광고를 가능하게 되어 시청자 및 방송 관련 종사자 모두를 만족시켜 줄 수 있는 발명이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속 하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 가상 이미지 합성 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 카메라 센서(110)가 부착된 카메라(100)로 야구 중계와 같은 현장을 촬영할 경우 원래의 방송 영상(10)과 카메라 센서(110)로부터 얻은 카메라 변수가 가상 이미지 합성 장치(200)에 입력된다. 가상 이미지 합성 장치(200)는 원래의 방송영상(10) 및 카메라 변수 등의 입력 정보를 바탕으로 영상을 분석하고, 원하는 위치에 가상 이미지를 삽입하여 가상 이미지가 삽입된 방송영상(20)을 출력한다. 시청자는 이와 같이 가상 이미지가 삽입된 방송영상(20)을 시청하면서, 촬영 현장 자체에 이미지가 실제 존재하는 것처럼 느끼게 된다.
도 2는 본 발명을 방송에서 구성하는 예를 나타낸 도면이다. 경기장의 여러 곳에 다양한 방향으로 카메라센서가 부착된 원격조정 카메라를 설치하고 카메라영상 선택장치에 통합 연결한다. 모든 카메라는 동기화를 위하여 초기화 과정을 거치고 카메라의 초기화 정보는 이미지 합성장치에 기록된다. 각 카메라는 독립적인 모션이 가능하며 다음의 몇 가지 동기화된 동작방식을 제공한다.
첫째는 미리 정의된 위치 또는 경기장 내의 특정 위치를 바라 보도록 모든 카메라의 자세를 조정하는 것이다.
둘째는 하나의 카메라를 마스터 카메라로 설정하고 다른 카메라는 마스터 카메라의 모션에 따라 동일한 영역을 바라보도록 마스터 카메라에 동기화하여 카메라 를 제어되도록 한다. 이때 다른 카메라의 모션에 옵션을 설정할 수 있다. 옵션에는 즉시 따르기, 지연 따르기, 대상물 동일 크기 및 줌프리 등의 옵션이 있다. 즉시 따르기는 다른 카메라가 마스터 카메라의 모션에 동기화되어 지연 없이 즉시 모션이 제어되는 방식이다. 지연 따르기는 다른 카메라가 주어진 시간만큼 시차를 두고 마스터 카메라의 모션을 따르는 방식이다. 대상물 동일 크기는 바라보는 대상물과 각 카메라 간의 거리가 다를 경우 대상물의 크기가 다르게 나타나므로 줌으로 거리를 조정하여 대상물 크기가 동일한 영상을 얻을 수 있도록 하는 방식이다. 줌 프리는 카메라 줌의 실행과는 무관하게 카메라가 동일한 위치만 바라보도록 하는 옵션이다.
셋째는 프로그램된 동기화 방식이다. 각 카메라의 자세와 줌 및 포커스를 프로그램화하여 카메라의 동작을 제어한다. 예를 들면 카메라 변수를 프로그램하여 카메라의 시선이 움직이는 경로와 줌의 변화를 지정할 수 있다. 이 때 각각의 카메라를 프로그램화하거나 또는 동기화 하는 방식들과의 조합이 가능하다.
도 3는 본 발명의 실시예에 따른 가상 이미지 합성 장치의 구성을 나타낸 도면이다.
도 3에 도시한 것과 같이 다수의 카메라를 이용한 가상 이미지 합성 장치는 카메라센서 및 제어 모듈, 카메라모션 생성 모듈, 가상이미지 생성 및 합성 모듈로 구성된다. N개의 카메라로부터 촬영된 영상이 카메라영상 선택장치로 입력된다. 카메라영상 선택장치로 입력된 영상들 중 하나의 영상이 선택되어 프레임그래버를 통하여 가상 이미지 생성 및 합성 모듈로 입력된다. N개의 각 카메라에 부착된 카메 라센서로 수신된 정보는 카메라센서 입출력장치로 입력되어 카메라센서 및 제어 모듈로 제공된다. 이 때 수신되는 카메라센서 정보는 선택된 카메라센서 뿐만 아니라 모든 카메라센서의 정보를 수신한다. 그리고 카메라 센서 및 제어 모듈은 카메라영상 선택 장치의 영상 선택정보를 수신하여 활용한다. 카메라센서 및 제어 모듈은 저장된 각 카메라의 초기화 정보를 활용하여 카메라 동기화에 필요한 제어 명령을 생성한다. 카메라모션 생성 모듈은 카메라 동기화 방식에 따라 각 카메라의 모션 정보를 생성하고, 카메라센서 및 제어 모듈은 각 카메라에 모션을 주기 위하여 저장된 각 카메라 초기화 정보를 이용하여 각각의 카메라에 대한 제어 명령을 생성한다.
도 4는 센서가 부착된 다수의 원격제어 카메라를 활용한 가상 이미지 삽입 절차를 설명한다. 카메라영상 선택 장치에서 하나의 카메라를 선택하면 선택된 카메라의 번호와 해당 카메라의 영상이 가상 이미지 삽입장치로 입력된다. 선택된 카메라의 번호에 따라 해당 카메라의 자세 정보를 카메라센서로부터 수신한다. 동기화 방식에 따라 마스터 카메라의 자세정보가 수신되고, 제어논리를 적용하여 카메라센서 및 제어 모듈은 마스터 카메라를 제외한 카메라들을 제어하는 명령을 생성하고 전송한다. 선택된 카메라의 현재 자세 정보를 이용하여 가상 이미지가 삽입될 위치가 결정되고, 카메라 영상에 가상 이미지가 합성되어 출력된다.
도 5는 카메라의 동기화 설정을 초기화하는 과정을 설명한 흐름도이다. 먼저 모든 카메라는 미리 정한 동일한 방향(방위)를 바라보고 수평을 유지한 상태에서 팬과 틸트 센서를 초기화 한다. 필요에 따라 카메라 렌즈의 줌과 포커스 센서도 초기화 한다. 모든 카메라가 바라볼 수 있는 위치를 원점으로 지정한다. 각 카메라의 영상 중심에 원점이 위치하도록 카메라의 자세를 조정한다. 렌즈의 줌을 최대로 하고 원점에 초점을 맞춘다. 이 상태에서 각 카메라의 자세와 초점 정보를 기록하고 수학식 1에서 설명하는 변환행렬을 계산하면 초기화가 완료된다.
도 6은 마스터 카메라를 따르는 동기화을 설명한 흐름도이다. 먼저 마스터 카메라의 자세 정보를 수신한다. 카메라 제어 논리를 결정하고 제어 논리에 따라 다른 카메라의 자세 정보를 생성한다. 각 카메라의 동기화 설정 정보와 필요한 자세 정보를 이용하여 카메라의 제어 명령을 생성하고 전송한다. 동기화가 진행되는 동안 매 프레임을 반복 수행한다.
도 7과 도 8은 본 발명에 따른 카메라 모션 동기화를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이 모든 카메라와 원점의 축은 평행을 이루도록 설정한다. 각 카메라와 원점은 각자의 좌표계를 가진다. 모든 카메라의 동기화 동작을 위해서는 동일한 기준점 즉 원점에 대한 동기화 설정 과정이 필요하다. 동기화 설정 초기화 과정은 도 5에 설명되어 있다. 초기화 과정에서는 수학식 1이 사용되어 각 카메라간의 변환행렬을 계산한다.
특정 카메라, 예를 들어 카메라 C1과 동일한 대상에 시선을 일치 시키기 위해서는 카메라 C1의 팬/틸트 자세 정보와 줌/포커스 정보가 필요하다. 포커스 정보는 대상 물체의 거리를 추정하는 데 사용된다.
도 8은 두 카메라가 동일한 대상에 시선을 일치 시키기 위한 방법을 설명하고 있다. 카메라 C1이 대상 P를 m1의 거리로 바라볼 때 C2의 변환에 필요한 팬/틸트 자세 정보와 줌/포커스 정보는 수학식 2에서 설명한다.
[수학식 1]
각 카메라의 좌표계는 -Z축이 평행하며 수평이 되도록 한다. 즉, 동일한 방향이 되도록 초기화를 수행한다. 모든 카메라가 바라볼 수 있는 임의의 원점 O를 결정한다. 원점 좌표계와 각 카메라 좌표계의 축은 평행을 이룬다. 원점에서 각 카메라 좌표계로의 변환행렬을 각각 MO→1, MO→2라 하자. 이 변환행렬은 카메라 n에 대하여 알고 있는 거리 kn과 카메라의 팬각도
Figure 112010087093710-pat00001
(-Z축에서 시계방향 방위각)과 틸트각도
Figure 112010087093710-pat00002
(수평에서 위쪽방향 고각)에 의해 계산된다.
Figure 112009039769906-pat00003
카메라 C1 → C2 변환행렬을 M1→2라 할 때 변환행렬 M1→2는 다음과 같다.
(수학식 1)
Figure 112009039769906-pat00004
[수학식 2]
카메라 C1이 도 8과 같이 카메라 영상의 중심에 대상 P를 두고 바라 볼 때의 좌표계 Ctarget에서 C1으로의 변환은 다음과 같다:
(수학식 2)
Figure 112009039769906-pat00005
[수학식 3]
대상 P에 대하여 카메라 C2로의 변환좌표 P2=[x2,y2,z2,1]이고, 카메라 C1에서 카메라 C2의 변환은 다음과 같다.
(수학식 3)
P2 = M1 →2 P1
결국 대상 P를 바라보기 위한 카메라 C2의 포커스 거리와 팬각도 및 틸트각도는 다음 식으로 구할 수 있다.
Figure 112009039769906-pat00006
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 가상 이미지 합성 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상 이미지 합성 장치를 스포츠 중계방송에 적용할 때의 구성를 설명하기 위한 도면이다.
도 3는 본 발명의 실시예에 따른 가상 이미지 합성 장치의 구성을 나타낸 도면이다.
도 4은 본 발명에 따른 센서가 부착된 원격제어 다중카메라를 활용한 가상 이미지 삽입 절차를 설명하기 위한 도면이다.
도 5는 카메라의 동기화 설정을 초기화하는 과정을 설명하기 위한 도면이다.
도 6은 마스터 카메라를 따르는 동기화 흐름을 설명하는 도면이다.
도 7과 8은 본 발명에 따른 카메라 모션 동기화를 설명하기 위한 도면이다.
<도면의 주요부분에 대한 부호의 설명>
10: 원래의 방송 영상 20: 가상 이미지가 삽입된 방송 영상
100: 카메라 110: 카메라 센서
200: 가상 이미지 합성 장치

Claims (11)

  1. 다수의 카메라를 이용한 촬영 방법에 있어서,
    카메라센서가 부착된 원격조정 카메라를 복수로 설치하고 각 카메라를 카메라 영상 선택장치에 통합 연결하는 단계,
    상기 복수의 카메라를 동기화하기 위하여 초기화하는 단계,
    상기 복수의 카메라가 정해진 규칙에 의해 특정 위치나 대상을 바라보도록 복수의 카메라 모션을 조정하는 단계,
    상기 카메라 모션은 즉시 따르기, 지연 따르기, 대상물 동일 크기 및 줌프리의 옵션으로 구성되는 것을 특징으로 하는 다수의 카메라를 이용한 촬영 방법.
  2. 가상 이미지가 합성된 방송영상의 송출방법에 있어서,
    카메라센서가 부착된 원격조정 카메라를 복수로 설치하고 각 카메라를 카메라영상 선택장치에 통합 연결하는 단계,
    상기 복수의 카메라를 동기화하기 위하여 초기화하고, 상기 초기화된 정보를 이미지 합성장치에 기록하는 단계,
    상기 카메라센서가 부착된 복수의 카메라로 실제 현장을 촬영한 실사 방송영상과 카메라센서로부터 얻은 카메라 변수를 가상 이미지 합성 장치에 입력하는 단계,
    가상 이미지 합성 장치는 실사 방송영상 및 카메라 변수의 입력 정보를 바탕으로 영상을 분석하는 단계,
    가상 이미지 합성 장치에서 실사 방송영상의 원하는 위치에 가상 이미지를 삽입하여 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  3. 제2항에 있어서,
    상기 복수의 카메라의 동기화는
    미리 정의된 위치 또는 촬영 현장의 특정 위치를 바라 보도록 복수의 카메라 자세를 조정하는 단계,
    복수의 카메라 중에 하나의 카메라를 마스터 카메라로 설정하고 다른 카메라는 마스터 카메라의 모션에 따라 동일한 영역을 바라보도록 마스터 카메라에 동기화하여 카메라를 제어하는 단계,
    상기 마스터 카메라에 동기화 하여 카메라를 제어할 때 즉시 따르기, 지연 따르기, 대상물 동일 크기 및 줌 프리로 구성되는 다른 카메라의 모션에 옵션을 설정하는 단계
    상기 복수의 각 카메라의 자세와 줌 및 포커스를 프로그램화하여 카메라의 동작을 제어하는 단계로 구성되는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  4. 제2항에 있어서,
    상기 복수의 카메라를 이용한 가상 이미지 합성 장치는 카메라센서 및 제어 모듈, 카메라모션 생성 모듈, 가상이미지 생성 및 합성 모듈로 구성되되,
    상기 복수의 카메라로부터 촬영된 영상이 카메라영상 선택장치로 입력되는 단계, 카메라영상 선택장치로 입력된 영상들 중 하나의 영상이 선택되어 프레임그래버를 통하여 가상 이미지 생성 및 합성 모듈로 입력되는 단계,
    복수의 각 카메라에 부착된 카메라센서로 수신된 정보는 카메라센서 입출력장치로 입력되어 카메라센서 및 제어 모듈로 제공되는 단계,
    상기 카메라센서 및 제어 모듈은 카메라영상 선택 장치의 영상 선택정보를 수신하여 활용하고 각 카메라의 초기화 정보를 활용하여 카메라 동기화에 필요한 제어 명령을 생성하는 단계,
    상기 카메라모션 생성 모듈은 카메라 동기화 방식에 따라 각 카메라의 모션 정보를 생성하는 단계를 포함하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    카메라센서가 부착된 다수의 원격제어 카메라를 활용한 가상 이미지 삽입은
    카메라영상 선택 장치에서 하나의 카메라를 선택하여 선택된 카메라 번호와 해당 카메라의 영상을 가상 이미지 삽입장치로 입력하는 단계,
    선택된 카메라의 번호에 따라 해당 카메라의 자세 정보를 카메라센서로부터 수신하는 단계,
    동기화 방식에 따라 마스터 카메라의 자세정보가 수신되고, 제어논리를 적용하여 카메라센서 및 제어 모듈이 복수의 카메라들을 제어하는 명령을 생성하여 전송하는 단계,
    선택된 카메라의 현재 자세 정보를 이용하여 가상 이미지가 삽입될 위치를 결정하고 카메라가 촬영한 실제 영상에 가상 이미지를 합성하는 단계를 포함하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  6. 제5항에 있어서,
    복수의 카메라를 동기화 설정하여 초기화하는 과정은
    상기 복수의 카메라는 미리 정한 동일한 대상을 바라보고 수평을 유지한 상태에서 팬과 틸트 센서를 초기화하는 단계,
    카메라 렌즈의 줌과 포커스 센서를 초기화 하는 단계,
    상기 복수의 모든 카메라가 동일한 대상을 바라볼 수 있는 위치에서 원점을 지정하고, 각 카메라의 영상 중심에 원점이 위치하도록 카메라의 자세를 조정하는 단계,
    카메라 렌즈의 줌을 최대로 하고 원점에 초점을 맞춘 다음 이 상태에서 각 카메라의 자세와 초점 정보를 기록하는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  7. 제5항에 있어서,
    마스터 카메라의 자세 정보의 수신은
    카메라 제어 논리를 결정하고 제어 논리에 따라 다른 카메라의 자세 정보를 생성하는 단계,
    각 카메라의 동기화 설정 정보와 필요한 자세 정보를 이용하여 카메라의 제어 명령을 생성하고 전송하는 단계,
    동기화가 진행되는 동안 매 프레임을 반복 수행하는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  8. 제6항에 있어서,
    상기 복수의 각 카메라 모션 동기화는
    모든 카메라와 원점의 축은 평행을 이루도록 설정하는 단계,
    각 카메라와 원점은 각자의 좌표계를 가지고 모든 카메라의 동기화 동작을 위해서는 동일한 기준점 즉 원점에 대한 동기화 설정하여 초기화 과정 단계를 수행하는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법.
  9. 제8항에 있어서,
    상기 동기화 설정 초기화 과정 단계는 하기 수학식 1에 의해 변환되어 각 카메라가 동기화 설정되는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법;
    (수학식 1)
    Figure 112010087093710-pat00007
    (상기 수학식에서 M1→2 는 카메라 C1 이 C2 로 변환되는 변환행렬이며, MO→1, MO→2는 원점에서 각 카메라 좌표계로의 변환행렬을 의미하고, 상기 변환행렬 MO→1, MO→2는 아래의 식으로 구한다.
    Figure 112010087093710-pat00008
    상기 식에서 kn은 카메라와 원점과의 거리,θn은 카메라의 팬각도, φn은 카메라의 틸트각도이다.)
  10. 제6항에 있어서,
    카메라(C1)가 대상 P를 바라볼 때 다른 카메라가 동일한 대상 P를 바라보기 위한 좌표를 구하는 단계에서, 좌표계 Ctarget에서 C1으로 변환될 때 카메라(C1)에서 대상 P까지의 거리가 m1이고, 카메라(C1)의 팬각도가
    Figure 112010087093710-pat00009
    이며 틸트각도가
    Figure 112010087093710-pat00010
    이면 변환좌표 P1 은 하기의 수학식 2로 변환되는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법;
    (수학식 2)
    Figure 112010087093710-pat00011
  11. 제10항에 있어서,
    카메라(C1)가 대상 P를 바라볼 때 다른 카메라가 동일한 대상 P를 바라보기 위한 좌표를 구하는 단계에서, 대상 P에 대하여 카메라 C1 좌표계에서 C2 좌표계로 변환될 때 변환좌표 P2=[x2,y2,z2,1]이고, P2는 하기의 수학식 3으로 변환되는 것을 특징으로 하는 가상 이미지가 합성된 방송영상을 송출하는 것을 특징으로 하는 방송방법;
    (수학식 3)
    P2 = M1→2 P1
    Figure 112010087093710-pat00012
KR1020090058828A 2009-06-30 2009-06-30 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법 KR101025899B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090058828A KR101025899B1 (ko) 2009-06-30 2009-06-30 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090058828A KR101025899B1 (ko) 2009-06-30 2009-06-30 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법

Publications (2)

Publication Number Publication Date
KR20110001333A KR20110001333A (ko) 2011-01-06
KR101025899B1 true KR101025899B1 (ko) 2011-03-30

Family

ID=43609912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090058828A KR101025899B1 (ko) 2009-06-30 2009-06-30 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법

Country Status (1)

Country Link
KR (1) KR101025899B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381908B1 (ko) * 2013-01-03 2014-04-04 한국에이치디방송 주식회사 3차원 영상 촬영을 위한 버추얼 리그 시스템과 그 제어방법
WO2019143095A1 (ko) * 2018-01-16 2019-07-25 삼성전자 주식회사 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
KR102121287B1 (ko) * 2013-07-17 2020-06-10 엘지이노텍 주식회사 카메라 시스템 및 카메라 시스템의 제어 방법
KR20150027532A (ko) * 2013-09-04 2015-03-12 주식회사 모브릭 여러대의 액션캠 영상 동기화 제공방법 및 제공단말기
KR101583256B1 (ko) * 2013-10-24 2016-01-08 서울시립대학교 산학협력단 웨어러블 다중 카메라 시스템 및 이를 이용한 이미지 출력 방법
KR102400790B1 (ko) * 2017-04-19 2022-05-20 주식회사 넥슨코리아 Vr 영상 제작 방법, 이를 수행하기 위한 장치 및 시스템
JP7324639B2 (ja) * 2019-07-23 2023-08-10 日本放送協会 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054304A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20030003506A (ko) * 2001-07-03 2003-01-10 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054304A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20030003506A (ko) * 2001-07-03 2003-01-10 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381908B1 (ko) * 2013-01-03 2014-04-04 한국에이치디방송 주식회사 3차원 영상 촬영을 위한 버추얼 리그 시스템과 그 제어방법
WO2019143095A1 (ko) * 2018-01-16 2019-07-25 삼성전자 주식회사 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
US11245933B2 (en) 2018-01-16 2022-02-08 Samsung Electronics Co., Ltd. Method and server for generating image data by using multiple cameras

Also Published As

Publication number Publication date
KR20110001333A (ko) 2011-01-06

Similar Documents

Publication Publication Date Title
KR101025899B1 (ko) 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법
US10582182B2 (en) Video capture and rendering system control using multiple virtual cameras
US6990681B2 (en) Enhancing broadcast of an event with synthetic scene using a depth map
US10652519B2 (en) Virtual insertions in 3D video
EP3238445B1 (en) Interactive binocular video display
US8457350B2 (en) System and method for data assisted chrom-keying
EP0669758B1 (en) Time-varying image processor and display device
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
CN107925753A (zh) 利用动态相机进行3d图像捕捉的方法和系统
JP7303754B2 (ja) ユーザー固有コンテンツを映像制作に融合させる方法及びシステム
CN103152518A (zh) 图像处理系统和方法
US7173672B2 (en) System and method for transitioning between real images and virtual images
WO2006047610A2 (en) Method and apparatus for a virtual scene previewing system
CN103179339A (zh) 图像处理系统和方法
GB2517730A (en) A method and system for producing a video production
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101249447B1 (ko) 이동물체의 객체분석 모듈을 이용한 실시간 영상합성 시스템 및 이를 이용한 방송중계방법
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
CN102118573B (zh) 一种增加虚实结合度的虚拟体育系统
JP4668500B2 (ja) リアル・タイムで画像をビデオに挿入する方法および装置
WO2001013645A2 (en) Narrow bandwidth broadcasting system
EP4054186A1 (en) Information processing apparatus, information processing method, and program
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
JP2005080015A (ja) 撮像装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140110

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee