KR101790208B1 - 실시간 3d 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법 - Google Patents

Abstract

본 발명은 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 관한 것으로서, 본 발명에 따른 방송 편집 및 송출 기기는 입력부, 제어부 및 출력부를 포함하고, 본 발명에 따른 방송 편집 및 송출 방법은 촬영 영상 수신 단계, 엣지 픽셀 검출 단계, 그라데이션 적용 단계, 합성 영상 생성 단계를 포함하며, 크로마키 및 그라데이션을 하기 위해 영상 전체를 연산하는 것이 아닌 일부만 연산하여 기존 방식보다 프로세서에 걸리는 부하 및 시간을 축소할 수 있다.

Description

실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법{DEVICE AND METHOD FOR REAL TIME 3D VIRTUAL STUDIO BROADCASTING}

본 발명은 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 관한 것으로서, 보다 상세하게는 3D 가상 스튜디오에 방송에서 사용되는 크로마키를 수행하기 위한 연산량을 최소화하여 속도를 높인 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 관한 것이다.

3D 가상 스튜디오는 방송 스튜디오의 인테리어 시공 없이 컴퓨터 그래픽으로 만들어낸 가상의 세트를 현실의 객체와 합성하여 3차원의 영상 화면을 재현하기 위한 것으로, 3D 가상 스튜디오를 사용하는 경우 적은 비용과 시간으로 원하는 인테리어와 연출을 구현할 수 있다. 그리고 일기 예보, 선거 개표 방송, 스포츠 중계 등에서 3D 가상 스튜디오를 활용한 모습을 쉽게 찾아볼 수 있다.

3D 가상 스튜디오와 현실의 객체를 합성하기 위해서 크로마키라는 영상 합성 기법이 사용된다. 크로마키 기법은 청색 또는 녹색과 같은 단색으로 이루어진 크로마키 배경 앞에 선 객체를 촬영하고, 컴퓨터 프로그램을 이용하여 촬영 영상에서 객체와 단색의 크로마키 배경을 분리한 후, 분리된 객체를 3D 가상 스튜디오에 합성하여 방송을 제작하는 기법이다.

크로마키 기법을 사용하면 방송국처럼 전문적인 스튜디오를 갖추지 않고도 크로마키 배경만 설치하면 3D 가상 스튜디오 방송 편집 및 송출 기기를 이용하여 방송을 제작할 수 있다.

본 발명이 해결하고자 하는 과제는 실시간으로 영상 및 음성을 처리하도록 고속 연산이 가능한, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 크로마키를 하기 위해 촬영 영상의 전체 픽셀에 대해 연산하는 것이 아니라, 촬영 영상의 일부 픽셀만 연산하여 크로마키를 적용할 수 있어, 종래의 방식보다 연산량을 줄여 고속 연산이 가능한 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 객체의 엣지에 그라데이션 효과를 부여하여 크로마키 처리 시에 객체와 크로마키 배경의 경계를 보다 자연스럽게 처리할 수 있는 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기는 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상을 실시간으로 수신하도록 구성된 입력부, 촬영 영상의 각 프레임 별로 객체의 엣지를 구성하는 엣지 픽셀을 검출하도록 구성된 엣지 추출부, 엣지 픽셀에 그라데이션 효과를 적용하도록 구성된 그라데이션부 및 그라데이션 효과에 기초하여 가상 스튜디오 배경에 객체를 합성하여 합성 영상을 생성하도록 구성된 영상 합성부를 포함하는 제어부 및 합성 영상을 출력하도록 구성된 출력부를 포함하고, 엣지 추출부 및 그라데이션부는 촬영 영상의 각 프레임의 일부 픽셀에 대한 연산을 수행하도록 구성된다.

본 발명의 다른 특징에 따르면, 엣지 추출부는 프레임의 외곽 픽셀 중 제1 외곽 시작 픽셀에서 상기 프레임의 반대편 외곽의 제1 외곽 종료 픽셀로 이동하며 초기 엣지 픽셀을 검출하고, 초기 엣지 픽셀이 검출되면, 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 초기 엣지 픽셀에서 제1측으로 이어진 복수의 제1 엣지 픽셀 및 초기 엣지 픽셀에서 제2측으로 이어진 복수의 제2 엣지 픽셀을 검출하고, 초기 엣지 픽셀, 복수의 제1 엣지 픽셀 및 복수의 제2 엣지 픽셀로 구성되는 제1 폐쇄 루프를 검출하고, 제1 폐쇄 루프 내부의 픽셀 색상이 크로마키 배경과 불일치하면 제1 폐쇄 루프를 객체의 엣지로 판단할 수 있다.

본 발명의 또 다른 특징에 따르면, 엣지 추출부는 프레임의 외곽 픽셀 중 제2 외곽 시작 픽셀 내지 제n 외곽 시작 픽셀에서 프레임의 반대편 외곽의 제2 외곽 종료 픽셀 내지 제n 외곽 종료 픽셀로 이동하며 추가 초기 엣지 픽셀을 검출하고, 추가 초기 엣지 픽셀이 검출되면, 추가 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 추가 초기 엣지 픽셀에서 제1측으로 이어진 복수의 제1 추가 엣지 픽셀 및 추가 초기 엣지 픽셀에서 제2측으로 이어진 복수의 제2 추가 엣지 픽셀을 검출하고, 추가 초기 엣지 픽셀, 복수의 제1 추가 엣지 픽셀 및 복수의 제2 추가 엣지 픽셀로 구성되는 추가 폐쇄 루프를 검출하고, 추가 폐쇄 루프 내부의 픽셀 색상이 크로마키 배경과 불일치하면 추가 폐쇄 루프를 객체의 엣지로 판단할 수 있다.

본 발명의 또 다른 특징에 따르면, 엣지 추출부는 추가 초기 엣지 픽셀이 제1 폐쇄 루프에 대응하는 경우, 복수의 제1 추가 엣지 픽셀, 복수의 제2 추가 엣지 픽셀 및 추가 폐쇄 루프의 검출을 생략할 수 있다.

본 발명의 또 다른 특징에 따르면, 엣지 추출부는 제1 폐쇄 루프가 검출되면, 제1 외곽 시작 픽셀에서 제1 외곽 종료 픽셀 사이의 픽셀에 대한 연산을 중지할 수 있다.

본 발명의 또 다른 특징에 따르면, 엣지 추출부는 초기 엣지 픽셀에서 제1 외곽 종료 픽셀로 이동하며 추가 초기 엣지 픽셀을 검출하고, 추가 초기 엣지 픽셀이 제1 폐쇄 루프에 대응하지 않으면, 추가 초기 엣지 픽셀을 중심으로 한 검사 영역에 기초하여 제2 폐쇄 루프를 검출하고, 제2 폐쇄 루프 내부의 픽셀 색상이 크로마키 배경 색상과 일치하면 제2 폐쇄 루프를 객체의 엣지로 판단할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션부는 엣지 픽셀을 중심으로 한 기준 영역 내의 픽셀 중 엣지 픽셀을 제외한 픽셀의 투명도 평균값을 연산하여, 엣지 픽셀의 투명도를 투명도 평균값으로 변환할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션부는 엣지 픽셀에서 엣지의 법선 방향에 대한 폭이 엣지의 접선 방향에 대한 폭보다 길도록 기준 영역을 설정할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션부는 객체에 대한 조명의 위치를 입력받아, 엣지 픽셀이 조명의 빛을 받지 못하는 그늘진 부분이면, 엣지 픽셀을 중심으로 한 기준 영역의 크기를 확장할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션부는 엣지 픽셀의 인근 픽셀의 평균 휘도값이 낮을수록 엣지 픽셀을 중심으로 한 기준 영역의 크기를 확장할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션부는 엣지 추출부가 엣지 픽셀을 중심으로 한 검사 영역을 픽셀 데이터에 기초하여 복수의 제1 엣지 픽셀 및 복수의 제2 엣지 픽셀을 검출하는 동시에, 검사 영역 내의 픽셀 중 엣지 픽셀을 제외한 픽셀의 투명도 평균값을 연산하여, 엣지 픽셀의 투명도를 투명도 평균값으로 변환할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 방법은 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상을 실시간으로 수신하는 단계, 촬영 영상의 각 프레임 별로 객체의 엣지를 구성하는 엣지 픽셀을 검출하는 단계, 엣지 픽셀에 그라데이션 효과를 적용하는 단계 및 그라데이션 효과에 기초하여 가상 스튜디오 배경에 객체를 합성하여 합성 영상을 생성하는 단계를 포함하고, 엣지 픽셀을 검출하는 단계 및 그라데이션 효과를 적용하는 단계는 촬영 영상의 각 프레임의 일부 픽셀에 대한 연산을 수행하도록 구성된다.

본 발명의 다른 특징에 따르면, 엣지 픽셀을 검출하는 단계는, 프레임의 외곽 픽셀 중 제1 외곽 시작 픽셀에서 프레임의 반대편 외곽의 제1 외곽 종료 픽셀로 이동하며 초기 엣지 픽셀을 검출하는 단계, 초기 엣지 픽셀이 검출되면, 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 초기 엣지 픽셀에서 제1측으로 이어진 복수의 제1 엣지 픽셀 및 초기 엣지 픽셀에서 제2측으로 이어진 복수의 제2 엣지 픽셀을 검출하는 단계, 초기 엣지 픽셀, 복수의 제1 엣지 픽셀 및 복수의 제2 엣지 픽셀로 구성되는 제1 폐쇄 루프를 검출하는 단계 및 제1 폐쇄 루프 내부의 픽셀 색상이 크로마키 배경과 불일치하면 제1 폐쇄 루프를 객체의 엣지로 판단하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 그라데이션 효과를 적용하는 단계는, 엣지 픽셀을 중심으로 한 기준 영역 내의 픽셀 중 엣지 픽셀을 제외환 픽셀의 투명도 평균값을 연산하여, 엣지 픽셀의 투명도를 투명도 평균값으로 변환할 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 크로마키 처리를 위한 영상 처리 시에 영상의 각각의 프레임에 대한 전체 픽셀을 연산하지 않고 일부 픽셀만 연산하여도 크로마키가 가능하도록 하여, 연산량을 줄이고 연산 속도를 향상시킬 수 있다.

본 발명은 객체의 엣지에 그라데이션 효과를 부여하여 크로마키 적용 시에 객체와 크로마키 배경을 보다 자연스럽게 분리할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 구성들을 개략적으로 도시한 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 전면부를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 후면부를 도시한 도면이다.
도 3a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 제어부 조작을 위한 GUI 메뉴가 표시된 주 화면이다.
도 3b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 제어부 조작을 위한 최종 방송 영상이 송출되는 송출 화면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 사용되는 촬영 영상의 한 장면이다.
도 6a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 엣지 추출부가 촬영 영상 중 어느 한 프레임에서 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다.
도 6b는 도 6a의 X 영역에 대한 확대도이다.
도 6c는 도 6a의 프레임에서 엣지가 검출된 결과와 프레임의 외곽에서 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다.
도 7a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부가 엣지 픽셀의 투명도 값을 변환하는 과정을 설명하기 위한 개략도이다.
도 7b 는 도 7a의 SA 영역에 대한 확대도이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부의 기준 영역을 설명하기 위한 개략도들이다.
도 9는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 크로마키에 관한 설정을 변경할 수 있는 팝업창이다.
도 10a 및 도 10b는 비교예에 따른 크로마키 처리를 설명하기 위한 이미지이다.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 따른 크로마키 처리 효과를 설명하기 위한 이미지이다.
도 12 내지 도 14는 본 발명의 다양한 실시예들에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 엣지 추출부가 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도들이다.
도 15는 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부의 기준 영역을 설명하기 위한 개략도이다.
도 16은 그라데이션부가 조명에 따라 그라데이션을 위한 기준 영역이 달라지는 것을 도시한 도면이다.

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

또한 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 구성들을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)는 입력부(110), 제어부(120), 출력부(130), 메모리(150) 및 그래픽 카드(140)를 포함한다.

입력부(110)는 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)로 입력되는 다양한 영상 및 음성을 실시간으로 수신한다. 입력부(110)는 카메라(11), 마이크(12), 웹캠(13) 등과 같은 입력 장치를 통해 촬영 영상 및 음성을 실시간으로 수신할 수 있고, 예를 들어, 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상 및 음성을 실시간으로 수신할 수 있다. 또한, 입력부(110)는 USB(14)와 같은 외부 저장 수단과 컴퓨터(15)와 같은 외부 전자 장치를 통해 또 다른 영상 및 음성을 수신할 수 있다. 또한, 도면에 도시되지는 않았으나, 입력부(110)는 키보드, 마우스, 터치스크린 등과 같은 사용자 입력 수단을 통해 사용자 입력을 수신할 수도 있다. 입력부(110)는 상술한 바와 같은 다양한 입력 장치, 외부 저장 수단, 외부 전자 장치, 사용자 입력 수단 등과 연결될 수 있는 입력 포트의 형태로 구현될 수 있지만, 이에 제한되는 것은 아니다.

제어부(120)는 입력부(110)를 통해 실시간으로 수신된 영상 및 음성을 실시간 방송을 위해 편집한다. 이때, 제어부(120)는 입력부(110)를 통해 전달된 사용자의 선택을 입력 받아 영상 및 음성을 가상 스튜디오에 합성하고, 자막, 화면전환, 배경음악 등의 각종 효과를 더하여 방송 영상으로 편집한다. 제어부(120)는 다양한 영상 및 음성 처리를 실시간으로 수행하기 위해 연산을 수행하는 프로세서의 형태로 구현될 수 있다. 또한, 제어부(120)는 고속 연산을 위해 RTIFC(Real Time Intelligence Format Convergence), 멀티 쓰레딩, 프로세스 로드 밸런싱, 부동소수점 연산 등의 연산 방법을 적용하여 영상 및 음성 처리를 하기 위한 연산을 수행할 수 있다.

여기서, 제어부(120)는 크로마키 처리를 위한 엣지 추출부(121), 그라데이션부(122), 영상 합성부(123)를 포함한다.

먼저, 제어부(120)의 엣지 추출부(121)는 객체를 크로마키 배경과 분리하기 위해 사용된다. 이때, 엣지 추출부(121)는 촬영 영상의 각 프레임 별로 객체의 엣지를 구성하는 엣지 픽셀을 검출하고, 엣지 픽셀로 구성된 엣지를 기준으로 크로마키 배경과 객체를 분리한다. 이어서, 객체의 엣지가 검출되면, 그라데이션부(122)는 엣지와 크로마키 배경 사이를 매끄럽게 분리되도록, 엣지 픽셀에 그라데이션 효과를 줄 수 있다. 마지막으로, 영상 합성부(123)는 크로마키 배경으로부터 분리된 객체와 가상 스튜디오를 합성하고, 각종 방송 효과를 더하여 방송 영상으로 편집할 수 있다.

출력부(130)는 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)로 제작된 방송 영상을 출력 장치로 출력한다. 출력부(130)는 별도의 디스플레이(31), 스피커(32)와 같은 출력 장치를 통해 방송 영상을 출력하기 위해 출력 장치 등과 연결될 수 있는 출력 포트의 형태로 구현될 수 있지만, 이에 제한되는 것은 아니다.

그래픽 카드(140)는 디지털 데이터로 표현된 영상을 아날로그의 영상 신호로 변환하여 출력부(130)로 전달할 수 있다. 제어부(120)에서 디지털 데이터의 형식으로 편집되어 완성된 방송 영상은 아날로그의 데이터를 다루는 출력 장치에서 출력이 불가능하다. 그렇기 때문에, 그래픽 카드(140)에서 디지털 데이터의 방송 영상을 아날로그의 영상 신호로 변환하고, 이러한 영상 신호를 출력부(130)로 출력할 수 있다.

메모리(150)는 입력부(110)를 통해 수신된 영상 및 음성이 저장되고, 메모리(150)에 저장된 영상 및 음성은 제어부(120)에서 실시간 방송을 위한 편집에 사용될 수 있다. 이외에도, 메모리(150)에는 방송 영상 제작에 필요한 가상 스튜디오 배경 등이 저장될 수 있고, 제어부(120)에서 편집된 영상 및 음성이 저장될 수도 있다.

또한, 도 1에 도시되지는 않았으나, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)는 사용자가 영상 및 음성을 자유롭게 편집할 수 있도록 사용자에게 다양한 화면을 제공하기 위한 표시부를 더 포함할 수 있고, 표시부는 다양한 형태의 디스플레이로 구현될 수 있다.

이하에서는, 도 2a 및 도 2b를 참조하여 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 전면부와 후면부를 설명하기로 한다.

도 2a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 전면부를 도시한 도면이다. 도 2b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 후면부를 도시한 도면이다.

먼저, 도 2a를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 전면부(160)에는 USB(14)와 같은 외부 저장 수단이 연결될 수 있는 입력부(110)인 USB 단자(163), 전원을 온/오프 하기 위한 전원 스위치(161) 및 리셋 스위치(162), 외부 저장 수단 중의 하나인 CD가 삽입될 수 있는 CD-ROM(164)이 배치된다. 다만, 이에 제한되지 않고, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 전면부(160)에는 다양한 입력부(110)와 스위치, 혹은 출력부(130) 등이 배치될 수 있다.

또한, 도 2b를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 후면부(170)에는 다양한 입력부(110) 및 출력부(130)가 배치될 수 있다. 예를 들어, 후면부(170)에는 음성 출력 단자(171), 영상 입력 단자(172), 영상 출력 단자(173), USB 단자(174) 및 확장 모듈팩 단자(175)와 같은 다양한 입력부(110) 및 출력부(130)가 배치될 수 있다.

사용자는 영상 입력 단자(172), USB 단자(174) 및 확장 모듈팩 단자(175) 등의 입력부(110)를 통해 최대 16개의 음성과 9개의 영상을 동시에 입력할 수 있고, HDMI, HD-SDI, USB-웹캠 등 다양한 입력 형식을 혼용하여 사용할 수 있다.

아울러, 사용자는 영상 출력 단자(173), 음성 출력 단자(171) 및 확장 모듈팩 단자(175) 등의 출력부(130)를 통해 최대 16개의 음성과 3개의 영상을 동시에 출력 받을 수 있다. 여기서, 확장 모듈팩 단자(175)는 8개의 음성 입출력이 가능한 음성 카드 전용 케이블 단자일 수 있다. 다만, 이에 제한되지 않고, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 출력 채널 수는 다양하게 설정될 수 있다.

상술한 바와 같이, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 전면부(160) 및/또는 후면부(170)에 배치된 다양한 입력부(110)를 통해 수신된 영상 및 음성은 제어부(120)로 전달되어 실시간 방송을 위한 편집 과정을 거칠 수 있고, 제어부(120)는 사용자의 선택을 입력 받아 영상 및 음성을 편집할 수 있다. 이하에서는, 사용자의 입력을 받기 위해 사용자에게 제공되는 화면들을 설명하기 위해 도 3a 내지 도 3b를 함께 참조한다.

도 3a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 제어부의 조작을 위한 GUI 메뉴가 표시된 주 화면이다. 도 3b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 제어부의 조작을 위한 최종 방송 영상이 송출되는 송출 화면이다.

도 3a를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 조작을 위한 GUI 메뉴가 표시된 주 화면(180)은 외부 소스 뷰어(181a) 및 내부 소스 뷰어(181b)로 구성된 소스 뷰어(181), A/V 플레이어 컨트롤(182a), A/V 믹서 볼륨 컨트롤(182b), 프리뷰(183a), 프로그램뷰(183b), 트랜지션바(184a), 트랜지션 이펙트 컨트롤(184b), A/V 프리셋 컨트롤(185), PIP 오브젝트 컨트롤(186), 로컬 뱅크 셀렉터(187a), 글로벌 뱅크 셀렉터(187b), A/V 레코더(188), CD 플레이어(189) 등과 같은 다양한 효과 및 편집을 위한 메뉴들로 구성될 수 있다.

소스 뷰어(181)는 외부 소스 뷰어(181a) 및 내부 소스 뷰어(181b)로 구성된다. 소스 뷰어(181)는 영상 입력 상태를 확인하고, 송출 화면에 적용된 화면과 비교할 수 있는 화면이다. 외부 소스 뷰어(181a)는 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 외부로부터 입력된 영상 입력 소스 화면으로, HDMI, HD-SDI, USB-웹캠 등과 같은 복수의 외부 영상 입력 소스로부터의 화면이 표시될 수 있다. 또한, 스크린 캡쳐한 화면 또한 외부 소스 뷰어(181a)에 표시될 수 있다. 내부 소스 뷰어(181b)는 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 내부로부터의 영상 입력 소스 화면으로서, 복수의 내부 소스 플레이어의 동영상 재생 화면이다.

A/V 플레이어 컨트롤(182a)은 내장 소스 플레이어 메뉴 화면으로, 각각의 소스 플레이어는 내부 소스 뷰어(181b)의 영상에 대응할 수 있다. 도 3에서는 최대 3개의 소스 플레이어가 지원되는 것으로 도시되었으나, 이에 제한되지는 않는다.

A/V 믹서 볼륨 컨트롤(182b)은 음성 믹서 제어 화면으로, 사용자는 A/V 믹서 볼륨 컨트롤(182b)을 통해 각각의 입력 소스 별로 음성 출력을 제어 할 수 있다. 예를 들어, A/V 믹서 볼륨 컨트롤(182b)을 통해 PC 출력, 마이크 출력, 소스별 출력, 카메라 출력 등에 대한 볼륨 제어가 가능하고, 이퀄라이저 설정, 음성 출력 스위칭 등의 제어를 할 수 있다.

CD 플레이어(189)는 도 2a에 도시된 바와 같은 CD-ROM에 삽입된 CD의 재생을 제어하기 위한 메뉴 화면이다.

로컬 뱅크 셀렉터(187a)는 가상 스튜디오 내에서의 3D 뷰 설정을 선택할 수 있도록 구성된 화면이다. 예를 들어, 도 3에 도시된 바와 같이, 총 8개의 로컬 뱅크에 대한 프리셋이 가능하며, 프리셋된 8개의 로컬 뱅크 중 하나의 로컬 뱅크를 선택하는 방식으로 사용자는 가상 스튜디오 내에서의 3D 뷰를 설정할 수 있다.

글로벌 뱅크 셀렉터(187b)는 가상 스튜디오 배경을 선택할 수 있도록 구성된 화면이다. 예를 들어, 도 3에 도시된 바와 같이, 총 8개의 글로벌 뱅크에 대한 프리셋이 가능하며, 프리셋된 8개의 글로벌 뱅크 중 하나의 글로벌 뱅크를 선택하는 방식으로 사용자는 가상 스튜디오 배경을 선택할 수 있다.

프리뷰(183a)는 A/V 설정과 3D 스튜디오 설정이 적용된 예비 화면이고, 프로그램뷰(183b)는 A/V 설정과 3D 스튜디오 설정이 적용된 방송 송출용 화면으로, 로컬 뱅크 셀렉터(187a)에서 선택된 로컬 뱅크와 글로벌 뱅크 셀렉터(187b)에서 선택된 가상 스튜디오 배경이 바로 적용된 화면이 나타나게 된다.

트랜지션바(184a)는 프리뷰(183a)와 프로그램뷰(183b)의 화면을 전환하기 위한 메뉴이다. 그리고, 트랜지션 이펙트 컨트롤(184b)은 트랜지션바(184a)로 프리뷰(183a)와 프로그램뷰(183b)의 화면이 전환될 때 사용될 효과를 지정하기 위한 메뉴이다.

A/V 프리셋 컨트롤(185)은 3D 가상 스튜디오의 주요 설정을 변경하기 위한 메뉴이다. 예를 들어, 사용자는 A/V 프리셋 컨트롤(185)을 사용하여 자막, 시점 변환, 조명, 성능 모니터링 등 3D 가상 스튜디오의 주요 설정을 변경할 수 있다.

PIP 오브젝트 컨트롤(186)은 화면 영상에서 영상 이미지의 확대, 축소, 위치 이동, 회전 등의 제어를 위한 메뉴이다. 마지막으로, A/V 레코더(188)는 송출 화면을 영상 파일로 저장하기 위한 메뉴이다.

다음으로, 도 3b를 참조하면, 송출 화면(190)은 편집이 완료된 최종 방송 송출용 화면이 출력되는 화면으로, 실제 방송에 영상이 어떻게 출력되는지 확인할 수 있다. 또한, 주 화면(180)에서 설정한 각종 방송 편집 효과가 적용되었는지 확인할 수 있으며, 예를 들어, PIP 오브젝트 컨트롤(186) 메뉴를 이용해 삽입된 로고(191) 이미지나, A/V 프리셋 컨트롤(185)을 사용해 삽입된 자막(192) 등이 어떻게 적용되었는지 확인할 수 있다.

이하에서는, 앞서 설명한 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)에 대한 설명에 기초하여, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서의 크로마키 처리를 함께 설명한다.

도 4는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 방법을 설명하기 위한 순서도이다.

먼저, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)는 크로마키 배경(BA) 앞에 위치한 객체(OB)에 대한 촬영 영상(VD)을 실시간으로 수신한다(S100).

도 5는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 사용되는 촬영 영상의 한 장면이다. 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 입력부(110)는 카메라(11) 등과 같은 촬영 수단으로부터 촬영된 촬영 영상(VD)을 실시간으로 수신할 수 있다. 예를 들어, 도 5를 참조하면, 입력부(110)는 크로마키 배경(BA) 앞에 위치한 객체(OB)에 대한 촬영 영상(VD)을 실시간으로 수신할 수 있다.

이때, 크로마키 배경(BA)은 녹색 또는 청색과 같은 단일한 색상으로 이루어진 배경을 의미하고, 객체(OB)는 크로마키 배경(BA) 앞에 배치된 임의의 대상물로, 사람 등과 같은 크로마키 배경(BA)과 상이한 색으로 표현되는 임의의 대상물을 의미할 수 있다. 이와 같이, 입력부(110)를 통해 수신된 촬영 영상(VD)은 제어부(120)로 전달되고, 메모리(150)에 저장될 수도 있다.

이어서, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)는 촬영 영상의 각 프레임 별로 객체(OB)의 엣지를 구성하는 엣지 픽셀을 검출한다(S200).

객체(OB)를 가상 스튜디오에 합성하기에 앞서, 촬영 영상(VD)을 처리하여 객체(OB)와 크로마키 배경(BA)을 명확하게 분리하는 것이 중요하다. 이를 위해, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)는 입력부(110)를 통해 수신된 촬영 영상(VD)의 각각의 프레임에 대해 객체(OB)의 엣지를 구성하는 엣지 픽셀을 검출하여 크로마키 배경(BA)과 객체(OB)의 경계를 명확하게 검출할 수 있다. 이하, 제어부(120)가 촬영 영상의 각 프레임 별로 객체(OB)의 엣지를 구성하는 엣지 픽셀을 검출하는 과정에 대한 보다 상세한 설명을 위해 도 6a 내지 도 6c를 함께 참조한다.

도 6a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 엣지 추출부가 촬영 영상 중 어느 한 프레임에서 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다. 도 6b는 도 6a의 X 영역에 대한 확대도이다. 도 6c는 도 6a의 프레임에서 엣지가 검출된 결과와 프레임의 외곽에서 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다. 도 6a 및 도 6c에서는 설명의 편의를 위해 객체(OB)를 사람의 형상으로 개략화하여 도시하였다.

먼저, 도 6a를 참조하면, 프레임(FR)의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출한다(S210).

제어부(120)의 엣지 추출부(121)는 프레임(FR)의 외곽을 구성하는 복수의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)을 선택할 수 있다. 제1 외곽 시작 픽셀(SP1)은 프레임(FR)의 복수의 외곽 픽셀 중 임의의 픽셀로, 제1 외곽 시작 픽셀(SP1)의 위치는 제한이 없다. 도 6a에서는 설명의 편의를 위해 제1 외곽 시작 픽셀(SP1)이 프레임(FR) 좌측에 위치하는 것으로 도시하였다.

제어부(120)의 엣지 추출부(121)는 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출한다. 예를 들어, 도 6a를 참조하면, 제1 외곽 시작 픽셀(SP1)이 프레임(FR)의 좌측 외곽에 위치하는 경우, 제1 외곽 종료 픽셀(EP1)은 프레임(FR)의 우측 외곽에 위치한 임의의 픽셀일 수 있고, 제1 외곽 시작 픽셀(SP1)이 프레임(FR)의 상측 외곽에 위치하는 경우, 제1 외곽 종료 픽셀(EP1)은 프레임(FR)의 하측 외곽에 위치한 임의의 픽셀일 수 있다. 또한, 도 6a에 도시된 바와 같이, 제1 외곽 시작 픽셀(SP1)과 제1 외곽 종료 픽셀(EP1)을 연결하는 선은 프레임(FR)의 상측 및 하측에 평행할 수도 있고, 제1 외곽 시작 픽셀(SP1)과 제1 외곽 종료 픽셀(EP1)은 프레임(FR)의 중앙 픽셀에 대칭하도록 정의될 수도 있다. 다만, 이에 제한되지 않고, 제1 외곽 시작 픽셀(SP1)과 제1 외곽 종료 픽셀(EP1)의 위치는 다양할 수 있다.

제어부(120)의 엣지 추출부(121)는 제1 외곽 시작 픽셀(SP1)에서 제1 외곽 종료 픽셀(EP1)로 이동하며 각각의 픽셀의 데이터 값에 기초하여 초기 엣지 픽셀(IP)을 검출할 수 있다. 제어부(120)의 엣지 추출부(121)는 제1 외곽 시작 픽셀(SP1)로부터 제1 외곽 종료 픽셀(EP1)로 이동하는 경로에 있는 픽셀들의 데이터 값을 검사할 수 있다. 이때, 크로마키 배경(BA)은 단색이므로, 객체(OB)의 엣지(ED)에 대응하는 엣지 픽셀이 나타나기 전까지는 픽셀의 데이터 값에 변화가 없거나, 변화가 있더라도 편차가 매우 적을 수 있다. 이후, 객체(OB)의 엣지(ED)에 대응하는 엣지 픽셀이 나타나면, 객체(OB)의 색상은 크로마키 배경(BA)의 색상과 상이하므로, 픽셀의 데이터 값이 급격하게 달라질 수 있다. 이에, 제어부(120)는 제1 외곽 시작 픽셀(SP1)에서 제1 외곽 종료 픽셀(EP1)로 이동하며, 픽셀의 데이터 값에 기초하여 초기 엣지 픽셀(IP)을 검출할 수 있다.

초기 엣지 픽셀(IP)이 검출되면, 초기 엣지 픽셀(IP)을 중심으로 한 검사 영역(TA)의 픽셀 데이터에 기초하여 초기 엣지 픽셀(IP)에서 제1 측으로 이어진 복수의 제1 엣지 픽셀(IP1) 및 초기 엣지 픽셀(IP)에서 제2 측으로 이어진 복수의 제2 엣지 픽셀(IP2)을 검출한다(S220).

도 6a 및 도 6b를 참조하면, 제1 외곽 시작 픽셀(SP1)에서 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)이 검출되면, 제어부(120)의 엣지 추출부(121)는 초기 엣지 픽셀(IP)을 중심으로 검사 영역(TA)을 설정해 복수의 제1 엣지 픽셀(IP1) 및 복수의 제2 엣지 픽셀(IP2)을 검출할 수 있다.

검사 영역(TA)은 초기 엣지 픽셀(IP)을 중심으로 하는 소정의 크기를 갖는 픽셀들의 영역으로서, 제어부(120)의 엣지 추출부(121)가 초기 엣지 픽셀(IP)로부터 인접하는 엣지 픽셀들을 검출하기 위해 연산을 수행하는 픽셀들의 영역이다. 도 6b에서는 설명의 편의를 위해 검사 영역(TA)을 초기 엣지 픽셀(IP)을 중심으로 한 5X5 픽셀 영역으로 도시하였으나, 이에 제한되지 않고, 다양한 형태의 영역으로 설정될 수도 있다. 예를 들어, 검사 영역(TA)은 초기 엣지 픽셀(IP)을 중심으로 하는 가로로 긴 직사각형 형상, 세로로 긴 직사각형 형상, 십자가 형상 또는 정사각형일 수 있다. 다만, 이에 제한되지 않고 검사 영역(TA)의 형상 및 크기는 다양하게 설정될 수 있다.

제어부(120)의 엣지 추출부(121)는 초기 엣지 픽셀(IP)을 중심으로 한 검사 영역(TA)을 설정하고, 검사 영역(TA) 내의 각 픽셀의 픽셀 데이터를 검사할 수 있다. 예를 들어, 크로마키 배경(BA)에 대응하는 픽셀의 경우 크로마키 배경(BA)의 색상, 예를 들어, 녹색이나 청색에 대응하는 픽셀 데이터를 가질 것이다. 또한, 객체(OB)에 대응하는 픽셀의 경우 크로마키 배경(BA)의 색상에 대응하는 색상에 대응하지 않는 픽셀 데이터를 가질 것이다. 따라서, 엣지 추출부(121)는 검사 영역(TA) 내의 각 픽셀의 픽셀 데이터를 검사하여, 크로마키 배경(BA)의 색상에 대응하는 픽셀 데이터를 갖는 픽셀과 객체(OB)에 대응하는 픽셀 데이터를 갖는 픽셀의 경계에 있는 픽셀을 엣지 픽셀로 검출할 수 있다. 예를 들어, 크로마키 배경(BA)의 색상이 녹색인 경우, 엣지 추출부(121)는 검사 영역(TA)의 픽셀 중 녹색을 나타내는 픽셀과 인접한 픽셀이면서 녹색에 대응하는 픽셀 값이 특정 범위 내에 있는 경우, 해당 픽셀을 엣지 픽셀로 검출할 수 있다. 이와 같이 검출된 엣지 픽셀 중 초기 엣지 픽셀(IP)에서 제1 측(A)으로 배치된 엣지 픽셀을 제1 엣지 픽셀(IP1)로 정의하고, 초기 엣지 픽셀(IP)에서 제2 측(B)으로 배치된 엣지 픽셀을 제2 엣지 픽셀(IP2)로 정의한다.

몇몇 실시예에서, 연산량을 줄이기 위해, 엣지 추출부(121)는 초기 엣지 픽셀(IP)과 바로 인접한 픽셀들에 대한 픽셀 데이터만을 검사할 수도 있다. 즉, 초기 엣지 픽셀(IP)과 바로 인접한 총 8개의 픽셀들에 대한 픽셀 데이터만 검사하여 초기 엣지 픽셀(IP)에서 제1 측(A)으로 배치된 제1 엣지 픽셀(IP1)과, 초기 엣지 픽셀(IP)에서 제2 측(B)으로 배치된 제2 엣지 픽셀(IP2)을 검출할 수 있다.

이어서, 제1 엣지 픽셀(IP1)이 검출되면, 제어부(120)의 엣지 추출부(121)는 제1 엣지 픽셀(IP1)을 중심으로 한 제1 검사 영역(TA1)을 설정하여 제1 검사 영역(TA1) 내의 각 픽셀의 픽셀 데이터를 검사할 수 있다. 이때, 엣지 추출부(121)는 상술한 바와 같은 동일한 과정을 반복하여, 제1 엣지 픽셀(IP1)에서 제1 측(A)으로 이어진 다른 제1 엣지 픽셀(IP1)을 검출할 수 있다. 또한, 엣지 추출부(121)는 상술한 과정을 반복하여, 계속하여 제1 엣지 픽셀(IP1)을 검출할 수 있다.

마찬가지로, 제2 엣지 픽셀(IP2)이 검출되면, 제어부(120)의 엣지 추출부(121)는 제2 엣지 픽셀(IP2)을 중심으로 한 제2 검사 영역(TA2)을 설정하여 제2 검사 영역(TA2) 내의 각 픽셀의 픽셀 데이터를 검사할 수 있다. 이때, 엣지 추출부(121)는 상술한 바와 같은 동일한 과정을 반복하여, 제2 엣지 픽셀(IP2)에서 제2 측(B)으로 이어진 다른 제2 엣지 픽셀(IP2)을 검출할 수 있다. 또한, 엣지 추출부(121)는 상술한 과정을 반복하여, 계속하여 제2 엣지 픽셀(IP2)을 검출할 수 있다.

앞에서, 제어부(120)의 엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 측(A)으로 이어진 복수의 제1 엣지 픽셀(IP1) 및 제2 측(B)으로 이어진 복수의 제2 엣지 픽셀(IP2)을 모두 검출하는 것으로 설명하였으나, 이에 제한되지 않고, 제어부(120)의 엣지 추출부(121)는 복수의 제1 엣지 픽셀(IP1)만을 검출할 수도 있고, 복수의 제2 엣지 픽셀(IP2)만을 검출할 수도 있다. 또한, 제어부(120)의 엣지 추출부(121)는 복수의 제1 엣지 픽셀(IP1)을 검출하는 과정 및 복수의 제2 엣지 픽셀(IP2)을 검출하는 과정을 동시에 수행할 수도 있다.

초기 엣지 픽셀(IP), 복수의 제1 엣지 픽셀(IP1) 및 복수의 제2 엣지 픽셀(IP2)로 구성되는 제1 폐쇄 루프(CL1)를 검출한다(S230).

제어부(120)의 엣지 추출부(121)가 초기 엣지 픽셀(IP)로부터 복수의 제1 엣지 픽셀(IP1) 및 복수의 제2 엣지 픽셀(IP2)을 검출하면, 제1 엣지 픽셀(IP1) 및 제2 엣지 픽셀(IP2)이 서로 만나는 지점이 검출되고, 이때 초기 엣지 픽셀(IP), 복수의 제1 엣지 픽셀(IP1) 및 복수의 제2 엣지 픽셀(IP2)로 구성된 제1 폐쇄 루프(CL1)를 검출할 수 있다.

다만, 도 6c에 도시된 바와 같이, 복수의 제1 엣지 픽셀(IP1)과 복수의 제2 엣지 픽셀(IP2)이 서로 만나지 않고, 프레임(FR)의 외곽과 만나는 경우, 제어부(120)의 엣지 추출부(121)는 프레임(FR)의 외곽 픽셀을 엣지 픽셀로 간주하고 제1 엣지 픽셀(IP1)과 제2 엣지 픽셀(IP2)을 검출할 수 있다. 예를 들어, 엣지 추출부(121)는 제2 엣지 픽셀(IP2)이면서 프레임(FR)의 외곽 픽셀인 외곽 픽셀(OP1)을 중심으로 한 검사 영역(TA)을 설정하고, 외곽 픽셀에서 제3 측(C) 및 제4 측(D) 중 크로마키 배경(BA)의 색상과 동일하지 않은 색상을 지닌 외곽 픽셀이 존재하는 방향인 제4 측(D)으로 제2 엣지 픽셀(IP2) 검출을 계속 진행할 수 있다. 이후, 엣지 추출부(121)는 외곽 픽셀(OP1)의 제4 측(D)으로 이어진 외곽 픽셀을 따라 검사를 진행할 수 있다. 그리고, 외곽 픽셀을 중심으로 한 검사 영역(TA) 중 최초로 크로마키 배경(BA)의 색상과 일치하는 픽셀 데이터를 가진 외곽 픽셀(OP2)이 검출되면, 그 지점에서부터 다시 외곽 픽셀이 아닌 엣지 픽셀을 검출할 수 있다. 제어부(120)의 엣지 추출부(121)는 이러한 과정을 거쳐 초기 엣지 픽셀(IP), 복수의 제1 엣지 픽셀(IP1) 및 복수의 제2 엣지 픽셀(IP2)로 구성된 제1 폐쇄 루프(CL1)를 검출할 수 있다.

만약, 복수의 제1 엣지 픽셀(IP1)과 복수의 제2 엣지 픽셀(IP2)이 서로 만나지 않는 경우, 즉, 복수의 제1 엣지 픽셀(IP1)과 복수의 제2 엣지 픽셀(IP2)이 폐쇄 루프를 형성하지 못하고 오픈 루프를 형성하는 경우라면, 엣지 추출부(121)는 해당 초기 엣지 픽셀(IP)에 대한 제1 폐쇄 루프(CL1)를 검출하는 연산을 중단할 수 있다.

제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)과 불일치하면 제1 폐쇄 루프(CL1)를 객체(OB)의 엣지(ED)로 판단한다(S240).

제어부(120)의 엣지 추출부(121)는 검출한 제1 폐쇄 루프(CL1)가 객체(OB)의 엣지(ED)를 나타내는지 최종적으로 판단할 수 있다. 엣지 추출부(121)는 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하는지 검사하여, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하면 제1 폐쇄 루프(CL1)를 무시하고, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면 제1 폐쇄 루프(CL1)를 객체(OB)의 엣지(ED)로 판단할 수 있다. 즉, 객체(OB)를 둘러싸는 엣지(ED)라면, 엣지(ED) 내부의 픽셀 색상이 반드시 크로마키 배경(BA)의 색상과 상이하여야 하므로, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상에 기초하여 제1 폐쇄 루프(CL1)가 객체(OB)의 엣지(ED)에 대응하는지 여부를 판단할 수 있다.

몇몇 실시예에서, 복수의 제1 엣지 픽셀(IP1)과 복수의 제2 엣지 픽셀(IP2)이 서로 만나지 않고, 프레임(FR)의 외곽과 만나는 경우, 제어부(120)의 엣지 추출부(121)는 제1 엣지 픽셀(IP1)과 제2 엣지 픽셀(IP2)이 각각 만나는 프레임(FR)의 외곽 픽셀까지만 엣지 픽셀을 검출할 수 있고, 프레임(FR)의 외곽 픽셀을 엣지 픽셀로 간주할 수 있다. 이 경우, 초기 엣지 픽셀(IP), 복수의 제1 엣지 픽셀(IP1), 복수의 제2 엣지 픽셀(IP2) 및 프레임(FR)의 외곽 픽셀이 이루는 폐쇄 루프는 2개일 수 있다. 즉, 객체(OB)를 둘러싸는 폐쇄 루프 1개와 크로마키 배경(BA)을 둘러싸는 폐쇄 루프 1개가 검출될 수 있다. 이러한 2개의 폐쇄 루프 중 엣지 추출부(121)는 폐쇄 루프 내부의 픽셀이 크로마키 배경(BA)의 색상과 일치하지 않는 폐쇄 루프, 즉, 객체(OB)를 둘러싸는 폐쇄 루프를 제1 폐쇄 루프(CL1)로 검출하고, 폐쇄 루프 내부의 픽셀이 크로마키 배경(BA)의 색상과 일치하는 폐쇄 루프는 무시할 수도 있다.

이어서, 엣지 픽셀에 그라데이션 효과를 적용한다(S300).

제어부(120)의 엣지 추출부(121)가 객체(OB)의 엣지(ED) 추출을 완료하면, 제어부(120)의 그라데이션부(122)는 객체(OB)의 엣지(ED)에 그라데이션 효과를 적용할 수 있다. 그라데이션부(122)는 객체(OB)의 엣지(ED)에 그라데이션 효과를 주어 객체(OB)와 가상 스튜디오가 보다 자연스럽게 합성되도록 할 수 있으며, 보다 상세한 설명을 위해 도 7a 내지 도 8d를 참조한다.

도 7a는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부가 엣지 픽셀의 투명도 값을 변환하는 과정을 설명하기 위한 개략도이다. 도 7b 는 도 7a의 SA 영역에 대한 확대도이다. 도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부의 기준 영역을 설명하기 위한 개략도들이다. 도 7a는 도 6b와 동일하게 도 6a의 X 영역에 대한 확대도에 기초하여 도시되었다. 또한, 도 7b에서는 픽셀들의 투명도 값을 표시하였다.

도 7a를 참조하면, 그라데이션부(122)는 엣지 픽셀을 중심으로 한 기준 영역(SA)을 먼저 설정할 수 있다. 여기서 기준 영역(SA)은 엣지 픽셀(IP)을 중심으로 하여 엣지 픽셀(IP)과 인접한 픽셀들로 구성된 영역으로 엣지 픽셀(IP)의 투명도를 연산하기 위해 사용되는 기준 픽셀들을 포함하는 영역이다. 기준 영역(SA)이 설정된 후, 제어부(120)의 그라데이션부(122)는 기준 영역(SA)에서 엣지 픽셀(IP)을 제외한 픽셀들의 투명도 평균값을 연산하여 엣지 픽셀(IP)의 투명도를 투명도 평균값으로 변환할 수 있다. 아울러, 기준 영역(SA)은 엣지 추출부(121)가 엣지 픽셀 검출을 위해 엣지 픽셀(IP)을 중심으로 설정한 검사 영역(TA)과 동일할 수 있다. 기준 영역(SA)은 도 8a에 도시된 바와 같이, 엣지 픽셀(IP)을 중심으로 한 가로로 긴 직사각형 형태의 기준 영역(SA1)일 수도 있고, 도 8b에 도시된 바와 같이, 엣지 픽셀(IP)을 중심으로 한 세로로 긴 직사각형 형태의 기준 영역(SA2)일 수도 있고, 도 8c에 도시된 바와 같이, 엣지 픽셀(IP)을 중심으로 한 십자가 형태의 기준 영역(SA3)일 수도 있고, 도 8d에 도시된 바와 같이, 엣지 픽셀(IP)을 중심으로 한 정사각형 형태의 기준 영역(SA4)일 수 있으나, 이에 제한되지 않고 기준 영역(SA)의 형태 및 크기는 다양하게 설정될 수 있다.

도 7b를 참조하면, 그라데이션부(122)가 엣지 픽셀(IP)의 그라데이션을 위해 엣지 픽셀(IP)을 중심으로 한 기준 영역(SA)을 설정하면, 기준 영역(SA) 내의 픽셀 중 엣지 픽셀(IP)을 제외한 픽셀들의 투명도 평균값을 연산하여, 엣지 픽셀(IP)의 투명도를 투명도 평균값으로 변환할 수 있다.

이때, 크로마키 배경(BA)에 대응하는 픽셀들은 투명하고, 객체(OB)를 구성하는 픽셀들은 불투명한 것으로 가정하여야 추후 가상 스튜디오 배경에 객체(OB) 합성이 가능하다. 따라서, 크로마키 배경(BA)에 대응하는 픽셀들의 투명도 값이 1로 설정되고, 객체(OB)에 대응하는 픽셀들의 투명도 값이 0으로 설정되며, 엣지 픽셀(IP)들의 투명도 값은 0과 1 사이의 값을 갖는 것으로 설정될 수 있으나, 이에 제한되는 것은 아니다.

상술한 바와 같이 엣지(ED) 검출 결과를 바탕으로, 제어부(120)는 촬영 영상의 각 프레임(FR)의 모든 픽셀들에 대한 초기 투명도값을 설정할 수 있다. 구체적으로, 제어부(120)는 각 프레임(FR)의 픽셀 중 크로마키 배경(BA)에 대응하는 픽셀들의 초기 투명도 값을 1로 설정하고, 객체(OB)에 대응하는 픽셀들의 초기 투명도 값을 0으로 설정하며, 엣지 픽셀(IP)의 초기 투명도 값을 0과 1 사이의 값으로 설정할 수 있다.

그라데이션부(122)는 투명도를 다시 변환할 엣지 픽셀(IP)을 선택하여, 엣지 픽셀(IP)을 중심으로 한 기준 영역(SA)을 설정할 수 있다. 그라데이션부(122)는 엣지 픽셀(IP)을 중심으로 한 기준 영역(SA) 내에서 엣지 픽셀(IP)을 제외한 나머지 픽셀들의 투명도 평균값을 연산할 수 있다. 기준 영역 내에서 엣지 픽셀(IP)을 제외한 나머지 픽셀들의 투명도 평균값 연산이 완료되면, 그라데이션부(122)는 엣지 픽셀(IP)의 투명도를 투명도 평균값으로 변환할 수 있다.

도 7b에 예시로 도시된 바와 같이, 엣지 픽셀(IP)을 중심으로 한 기준 영역(SA)은 5X5의 픽셀 영역이고, 엣지 픽셀(IP)을 제외한 24개의 픽셀들의 투명도 평균값은 0.513임을 알 수 있다. 이후, 엣지 픽셀(IP)의 투명도는 초기값 0.3에서 투명도 평균값인 0.513으로 변환될 수 있다.

몇몇 실시예에서, 투명도가 이미 변환된 엣지 픽셀(IP)이 다른 엣지 픽셀(IP')을 중심으로 설정된 기준 영역(SA') 내에 포함되는 경우, 다른 엣지 픽셀(IP')의 투명도 변환을 위해 사용되는 엣지 픽셀(IP)의 투명도 값은 변환된 투명도 값을 사용될 수 있다. 예를 들어, 도 7a 내지 도 7b를 참조하면, 중심의 엣지 픽셀(IP)은 투명도 초기값은 0.3이고, 변환된 투명도 값은 0.513이다. 이때, 그라데이션부(122)가 다른 엣지 픽셀(IP')에 그라데이션 효과를 주기 위해 다른 엣지 픽셀(IP')을 중심으로 한 기준 영역(SA')을 설정하면, 엣지 픽셀(IP)이 기준 영역(SA') 내에 포함될 수 있다. 그리고, 그라데이션부(122)는 다른 엣지 픽셀(IP')의 투명도 값을 변환하기 위해 기준 영역(SA') 내에서 다른 엣지 픽셀(IP')을 제외한 나머지 픽셀들의 투명도 평균값을 연산하는데, 그라데이션부(122)는 엣지 픽셀(IP)의 기존의 투명도 초기값인 0.3이 아닌 변환된 투명도 값인 0.513을 사용하여 다른 엣지 픽셀(IP')의 투명도를 연산할 수 있다. 상술한 바와 같이, 다른 엣지 픽셀(IP')의 투명도 변환을 위해 이미 투명도가 변환된 엣지 픽셀(IP)의 변환된 투명도 값을 사용하여 보다 자연스러운 그라데이션 효과가 적용될 수 있고, 영상 합성 시에 객체(OB)의 엣지(ED) 부분이 보다 자연스럽게 크로마키 처리될 수 있다.

이어서, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)는 그라데이션 효과에 기초하여 가상 스튜디오 배경에 객체(OB)를 합성하여 합성 영상을 생성한다(S400).

앞서, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 엣지 추출부(121) 및 그라데이션부(122)의 연산이 완료되면, 제어부(120)의 영상 합성부(123)는 가상 스튜디오 배경에 객체(OB)를 합성할 수 있다.

본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 영상 합성부(123)는 입력부(110)로부터 사용자의 선택을 입력받아 주 화면(180)의 GUI 메뉴를 조작하여, 크로마키 배경(BA)과 분리되고 엣지(ED)가 그라데이션 처리된 객체(OB)를 가상 스튜디오에 합성하고, 각종 효과를 더 할 수 있다. 앞서 설명했던 GUI 메뉴의 각 메뉴들을 조작하여 자막, 화면전환, 배경음악 등의 각종 효과를 더하여 방송 영상으로 편집할 수 있다. 도 3b를 참조하면, 송출 화면(190)을 통해 실제로 편집이 완료되어 방송될 영상을 확인할 수 있다. 송출 화면(190)에 나타나있듯이, 자막(192), 로고(191) 등이 실제로 적용된 것을 확인할 수 있다. 예를 들어, 주 화면(180)의 PIP 오브젝트 컨트롤(186)을 조작하여 도 3b에 도시된 로고(191)와 같은 이미지를 삽입할 수 도 있고, A/V 프리셋 컨트롤(185)을 조작하여 자막(192)을 삽입할 수도 있다.

이어서, 제어부(120)는 합성 영상을 출력부(130)를 통해 TV, 모니터, 전광판, 스피커 등의 다양한 외부 출력 장치로 출력할 수도 있고, 메모리(150)에 저장할 수도 있다.

실시간으로 3D 가상 스튜디오 방송을 편집하고 송출하기 위해서는 매우 많은 데이터 처리가 필요하다. 예를 들어, 외부 카메라로부터 촬영된 촬영 영상에 대한 영상 처리가 수행되어야 하며, 마이크로부터 녹음된 음성에 대한 음성 처리 또한 수행되어야 한다. 특히, 고화질의 영상 및 고음질의 음성에 대한 사용자의 요구가 존재하는 상황에서, 카메라로부터 촬영되는 영상의 해상도가 증가하였으므로 영상에 대한 영상 처리에는 많은 연산이 필요해졌으며, 음성에 대해서도 동일한 상황이다. 또한, 3D 가상 스튜디오 방송을 편집하고 송출하는 과정에서 널리 사용되는 크로마키 처리의 경우에는 앞서 설명한 연산과 함께 객체의 엣지를 검출하고, 이를 바탕으로 촬영 영상과 가상 스튜디오 배경을 합성하는 과정에서 매우 많은 연산이 요구된다. 예를 들어, 60FPS의 촬영 영상을 처리하는 경우, 하나의 프레임을 실시간으로 처리하는데 최대 16.67ms의 시간만을 할당할 수 있고, 해당 시간 내에 하나의 프레임에 대한 모든 영상 및 음성 처리와 함께 크로마키 처리도 수행되어야 한다. 그러나, 종래의 크로마키 처리 시에는 하나의 프레임에 포함되는 모든 픽셀에 대한 데이터 값을 검출하여 객체의 엣지를 검출하였으므로, 객체의 엣지를 검출하기 위한 연산을 수행하는데 시간이 부족한 문제가 발생하였다. 특히, 고해상도의 영상의 경우 하나의 프레임에 포함되는 픽셀의 수가 매우 많으므로, 크로마키 처리를 실시간으로 수행하기 위한 연산량이 상당히 증가하였다.

이에, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 실시간으로 촬영된 영상의 각 프레임(FR) 별로 프레임(FR)의 일부 픽셀만을 연산하기 때문에 연산량을 줄일 수 있다. 앞서 설명했듯이, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 엣지 추출부(121)를 예로 들면, 엣지 추출부(121)는 프레임(FR) 외곽을 구성하는 복수의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출하고, 초기 엣지 픽셀(IP)을 중심으로 객체(OB)의 엣지(ED)를 나타내는 제1 폐쇄 루프(CL1)를 검출할 수 있다. 즉, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 프레임(FR)의 모든 픽셀에 대한 연산을 수행하지 않고, 제1 외곽 시작 픽셀(SP1)과 제1 외곽 종료 픽셀(EP1) 사이에 위치한 픽셀에 대한 연산 및 실제 객체(OB)의 엣지(ED) 부근의 픽셀에 대한 연산만 수행하면 되므로, 프레임(FR)의 모든 픽셀에 대한 연산을 수행하여 객체(OB)의 엣지(ED)를 검출하는 경우보다 객체(OB)의 엣지(ED)를 검출하기 위한 연산량을 감소시킬 수 있다. 따라서, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 크로마키 처리를 위한 연산량을 감소시켜 보다 신속하고 효율적으로 크로마키 처리를 할 수 있다. 또한, 실제 하나의 프레임(FR)이 표시되는 시간보다 해당 프레임(FR)에 대한 영상 처리 시간이 길어져서 영상이 끊기는 등의 현상이 발생하는 것이 방지될 수 있다.

한편, 크로마키 처리 시에는 촬영 영상에서의 객체를 추출하여 가상 스튜디오 배경과 합성하여 최종 합성 영상이 제공된다. 이 때, 객체와 크로마키 배경 간의 경계가 매끄럽고 자연스럽게 처리되지 않는 경우, 객체와 가상 스튜디오 배경 간에 이질감이 발생하게 되고, 객체도 가상 스튜디오 배경도 아닌 공간이 합성 영상에 발생할 수 있다. 이와 같이 객체와 가상 스튜디오 배경이 자연스럽게 합성되지 않는 경우, 합성 영상을 시청하는 시청자는 해당 합성 영상에서 부자연스러움을 느끼게 되어 거부감을 느낄 수 있다.

이에, 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 객체(OB)의 엣지(ED) 검출이 완료된 촬영 영상의 투명도 값을 설정하기 위에 객체(OB)의 엣지(ED)에 그라데이션 효과를 적용한다. 구체적으로, 객체(OB)의 엣지(ED)에 위치하는 픽셀들의 투명도 값을 해당 픽셀의 주변의 기준 영역(SA) 내의 픽셀의 투명도 값의 평균값으로 변환하여, 객체(OB)의 엣지(ED) 부근에서 보다 자연스럽게 객체(OB)와 크로마키 배경(BA)이 분리되어 표현될 수 있으며, 시청자는 보다 자연스러운 크로마키 합성 영상을 시청할 수 있다.

도 9는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 크로마키에 관한 설정을 변경할 수 있는 팝업창이다.

도 9를 참조하면, 크로마키에 관한 설정을 변경할 수 있는 팝업창은 도 3a의 GUI 메뉴에서 접근할 수 있고, 팝업창에는 영상소스 선택, 크로마키 기본 필터, 크로마키 추가 필터, 가장자리 크로마키 보강, 가장자리 흰색 표기 등과 같은 메뉴가 제공될 수 있다.

먼저, 영상소스 선택 메뉴는 크로마키 처리를 할 영상을 선택하기 위한 메뉴이다.

다음으로, 크로마키 기본 필터 메뉴는 크로마키 처리 시에 엣지를 검출하여 투명도 값을 적용하기 위해 사용되는 크로마키 기본 필터에 대한 다양한 값들을 설정하기 위한 메뉴이다. 크로마키 기본 필터 메뉴에서는 크로마키 배경의 색상을 선택할 수 있고, 객체 및 크로마키 배경에 각각 대응하는 Close region과 Far region의 투명도 값 설정을 변경할 수 있다. 또한, 가장자리인 엣지에 적용되는 투명도 값을 선택할 수 있고, 엣지에 대한 투명도 적용 여부를 선택할 수 있다. 엣지에 대해 투명도를 적용함에 따라, 객체와 크로마키 배경의 경계 부분을 매끄럽게 보이게 할 수 있다.

다음으로, 크로마키 추가 필터 메뉴는 크로마키 처리 시에 엣지를 검출하여 투명도 값을 적용하기 위해 사용되는 추가적인 크로마키 필터에 대한 다양한 값들을 설정하기 위한 메뉴이다. 크로마키 처리를 위해서는 앞서 설명한 크로마키 기본 필터만을 사용할 수도 있으나, 사용자 선택에 따라 크로마키 기본 필터에서 선정된 크로마키 배경 색상과 동일한 색상이지만 컬러 번호만이 상이한 크로마키 추가 필터를 사용하여 크로마키 컬러의 지정 범위를 넓혀서 사용할 수 있다. 크로마키 추가 필터와 크로마키 기본 필터는 컬러 번호만이 상이할 뿐, 적용되는 알고리즘은 동일하다.

그리고, 가장자리 흰색 표기 메뉴는 디버깅을 위해 사용자에게 문제가 되는 위치들을 육안으로 확인할 수 있는 디버깅 화면 제공을 위한 메뉴이다

마지막으로, 가장자리 크로마키 보강 메뉴는 앞서 설명한 제어부(120)의 그라데이션부(122)의 그라데이션 효과를 적용하기 위한 메뉴이다. 즉, 사용자가 가장자리 크로마키 보강 메뉴를 선택하는 경우, 앞서 설명한 제어부(120)의 그라데이션부(122)의 그라데이션 효과가 크로마키 처리 시 적용될 수 있다.

도 10a 및 도 10b는 비교예에 따른 크로마키 처리를 설명하기 위한 이미지이다. 도 11a 및 도 11b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 따른 크로마키 처리 효과를 설명하기 위한 이미지이다. 도 10a 및 도 10b는 본 발명의 실시예와는 상이하게 종래의 방식으로 크로마키 처리를 한 이미지로서, 도 10a는 가상 스튜디오 배경과 합성하기 전의 이미지이고 도 10b는 가상 스튜디오 배경과 합성한 이후의 이미지이다. 또한, 도 11a 및 도 11b는 본 발명의 일 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기의 제어부를 사용하여 엣지를 추출하고 그라데이션 효과를 적용하여 크로마키 처리를 한 이미지로서, 도 11a는 가상 스튜디오 배경과 합성하기 전의 이미지이고 도 11b는 가상 스튜디오 배경과 합성한 이후의 이미지이다

먼저, 도 10a를 참조하면, 객체를 종래의 방식으로 크로마키 처리한 경우, 객체의 엣지를 따라 녹색의 크로마키 배경이 조금씩 보이는 것을 확인할 수 있다. 또한, 도 10b를 참조하면, 객체와 크로마키 배경 간의 경계가 매끄럽고 자연스럽게 처리되지 않았기 때문에 크로마키 처리한 객체를 가상 스튜디오 배경에 합성하더라도 초록색의 배경이 보이므로 자연스럽지 못할 수 있다.

반면, 도 11a를 참조하면, 객체의 엣지를 따라 녹색의 크로마키 배경이 거의 보이지 않고, 객체와 크로마키 배경 간의 경계가 매끄럽고 자연스럽게 처리된 것을 알 수 있다. 그렇기 때문에, 도 11b를 참조하면, 본 발명의 실시예에 따라 크로마키 처리한 객체를 가상 스튜디오에 합성하더라도 녹색의 크로마키 배경이 거의 보이지 않아 자연스럽게 보일 수 있다.

도 12는 본 발명의 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 엣지 추출부가 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다. 도 12에서는 하나의 객체(OB)에 대한 복수의 폐쇄 루프(CL1, CL2)를 검출하는 과정을 설명한다.

도 12를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기 (100)의 제어부(120)의 엣지 추출부(121)는 프레임(FR)의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출한다. 이후, 엣지 추출부(121)는 초기 엣지 픽셀(IP)을 중심으로 한 검사 영역을 설정해 초기 엣지 픽셀(IP)과 초기 엣지 픽셀(IP)에서 제1 측(A)으로 이어진 복수의 제1 엣지 픽셀(IP1) 및 초기 엣지 픽셀(IP)에서 제2 측(B)으로 이어진 복수의 제2 엣지 픽셀(IP2)로 구성된 제1 폐쇄 루프(CL1)를 검출할 수 있다. 제1 폐쇄 루프(CL1)를 검출하는 과정은 앞서 도 4 내지 도 6c를 참조하여 설명한 제1 폐쇄 루프(CL1)를 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

엣지 추출부(121)는 제1 폐쇄 루프(CL1) 내부의 픽셀 색상을 검사하여, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 제1 폐쇄 루프(CL1)를 객체(OB)의 엣지(ED)로 판단할 수 있다. 이 때, 엣지 추출부(121)는 제1 폐쇄 루프(CL1) 내의 모든 픽셀의 색상을 검사할 수도 있고, 제1 폐쇄 루프(CL1)에 소정의 거리 내로 인접한 픽셀들에 대한 색상만을 검사할 수도 있다. 예를 들어, 제1 폐쇄 루프(CL1)의 내측 방향으로 n개만큼 인접한 픽셀들에 대한 색상만을 검사하여 해당 픽셀의 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 제1 폐쇄 루프(CL1)를 객체(OB)의 엣지(ED)로 판단할 수도 있다.

제1 폐쇄 루프(CL1)의 검출이 완료되면, 엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 외곽 종료 픽셀(EP1)로 계속해서 이동하여, 추가 초기 엣지 픽셀(AP)을 검출할 수 있다. 여기서, 추가 초기 엣지 픽셀(AP)은 제1 외곽 시작 픽셀(SP1)에서 제1 외곽 종료 픽셀(EP1)로 이동하면서 첫 번째로 검출된 초기 엣지 픽셀(IP)을 제외하고 추가로 검출된 엣지 픽셀을 의미한다. 제어부(120)의 엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 외곽 종료 픽셀(EP1)로 이동하며 각각의 픽셀의 데이터 값에 기초하여 추가 엣지 픽셀(AP)을 검출할 수 있다. 제어부(120)의 엣지 추출부(121)는 초기 엣지 픽셀(EP)로부터 제1 외곽 종료 픽셀(EP1)로 이동하는 경로에 있는 픽셀들의 데이터 값을 검사할 수 있다. 이때, 객체(OB)의 엣지(ED)에 대응하는 엣지 픽셀이 나타나기 전까지는 픽셀의 데이터 값이 크로마키 배경(BA)의 색상을 나타내지 않는다. 이후, 객체(OB)의 엣지(ED)에 대응하는 엣지 픽셀이 나타나면, 픽셀의 데이터 값이 크로마키 배경(BA)의 색상을 나타내도록 급격하게 달라질 수 있다. 이에, 제어부(120)의 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP1)을 검출할 수 있다.

엣지 추출부(121)는 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하는지 여부를 검출할 수 있다. 엣지 추출부(121)가 검출한 추가 초기 엣지 픽셀이 이미 검출된 제1 폐쇄 루프(CL1)에 대응하는 경우라면, 추가 초기 엣지 픽셀에 대한 폐쇄 루프 또한 제1 폐쇄 루프(CL1)에 대응할 것이므로 폐쇄 루프 검출에 대한 연산이 불필요한 연산이 될 수 있다. 이에, 본 발명의 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하는지 여부를 검출하고, 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하는 경우 추가 초기 엣지 픽셀(AP1)에 대한 폐쇄 루프를 검출하기 위한 추가적인 연산을 수행하지 않는다. 이에, 엣지 추출부(121)는 도 9에 도시된 바와 같이 검출된 초기 엣지 픽셀(AP1)에 대해서는 폐쇄 루프를 검출하기 위한 추가적인 연산을 수행하지 않을 수 있다.

이어서, 엣지 추출부(121)는 앞서 설명한 바와 동일한 원리로 추가 초기 엣지 픽셀(AP2)에 대한 검출을 수행할 수 있다. 이에, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2)을 검출할 수 있으나, 추가 초기 엣지 픽셀(AP2) 또한 제1 폐쇄 루프(CL1)에 대응하므로, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2)에 대한 폐쇄 루프를 검출하기 위한 추가적인 연산을 수행하지 않을 수 있다.

이어서, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP3)을 검출할 수 있다. 이 때, 추가 초기 엣지 픽셀(AP3)은 제1 폐쇄 루프(CL1)에 대응하지 않는다. 따라서, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP3)에 대한 제2 폐쇄 루프(CL2)를 검출하기 위한 연산을 수행한다. 구체적으로, 이 때, 제2 폐쇄 루프(CL2)를 검출하기 위한 연산은 앞서 도 4 내지 도 6c를 참조하여 설명한 제1 폐쇄 루프(CL1)를 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

이어서, 엣지 추출부는 제2 폐쇄 루프(CL2) 내부의 픽셀 색상이 크로마키 배경(BA) 색상과 일치하면 제2 폐쇄 루프(CL2)를 객체(OB)의 엣지(ED)로 판단할 수 있다. 도 12를 참조하면, 객체(OB)에 대응하는 사람의 몸통과 팔이 하나의 폐쇄 루프를 형성하며, 해당 폐쇄 루프를 통해 크로마키 배경(BA)이 시인된다. 따라서, 제2 폐쇄 루프 내부(CL2)의 픽셀 색상이 크로마키 배경(BA)과 일치할 것이고, 이에, 엣지 추출부(121)는 제2 폐쇄 루프(CL2)를 객체(OB)의 엣지(ED)로 판단할 수 있다.

제2 폐쇄 루프(CL2)의 검출이 완료되면, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP3)에서 제1 외곽 종료 픽셀(EP1)로 계속해서 이동하여, 추가 초기 엣지 픽셀(AP4, AP5)을 검출할 수 있다. 다만, 추가 초기 엣지 픽셀(AP4)은 제2 폐쇄 루프(CL2)에 대응하고, 추가 초기 엣지 픽셀(AP5)은 제1 폐쇄 루프(CL1)에 대응하므로, 추가 초기 엣지 픽셀(AP4, AP5)에 대한 폐쇄 루프를 검출하기 위한 추가적인 연산은 수행되지 않는다.

도 12에 도시된 바와 같이, 객체(OB)의 팔과 몸통 사이의 빈 공간이 존재하는 경우, 해당 공간이 제1 폐쇄 루프(CL1)내에 존재하여 해당 공간에 대한 체크를 수행하지 않는다면, 팔과 몸통 사이의 빈 공간도 객체(OB)의 일 부분으로 인식될 것이다. 따라서, 크로마키 영상 합성 시에 팔과 몸통 사이의 빈 공간에 가상 스튜디오 배경이 표시되지 않고, 크로마키 배경(BA), 즉, 단색의 배경이 표시될 것이다.

이에, 본 발명의 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 하나의 초기 엣지 픽셀(IP)에 기초하여 제1 폐쇄 루프(CL1)를 검출한 후, 추가 초기 엣지 픽셀(AP1, AP2, AP3, AP4, AP5)를 계속하여 검출할 수 있으며, 추가 초기 엣지 픽셀(AP1, AP2, AP3, AP4, AP5)이 제1 폐쇄 루프(CL1)에 대응하지 않는 경우, 제2 폐쇄 루프(CL2)를 검출할 수 있다. 또한, 제2 폐쇄 루프(CL2) 내의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하는지 여부를 판단하여, 제2 폐쇄 루프(CL2)가 객체(OB)의 엣지(ED)에 대응하는지 여부가 보다 정확하게 판단될 수 있다. 따라서, 본 발명의 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 하나의 객체(OB)가 존재함에도 불구하고 복수의 폐쇄 루프가 존재하여 각각의 폐쇄 루프에 대한 크로마키 처리가 필요한 경우에도 객체(OB)의 엣지(ED)가 누락됨을 방지하고, 정확하게 객체(OB)의 엣지(ED)가 검출될 수 있다. 따라서, 가상 스튜디오 배경으로 합성되어야 하는 크로마키 배경(BA)에 대한 영역이 보다 정확하게 검출될 수 있다. 또한, 본 발명의 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 추가로 검출되는 추가 초기 엣지 픽셀(AP) 모두에 대해 연산을 수행하는 것이 아니고, 제1 폐쇄 루프(CL1)에 대응하지 않는 추가 초기 엣지 픽셀(AP)에 대해서만 제2 폐쇄 루프(CL2)를 검출하므로, 연산량이 감소될 수 있고, 실시간으로 정확하게 크로마키 처리가 수행될 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 엣지 추출부가 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다. 도 13에서는 2개의 객체(OB1, OB2)에 대한 복수의 폐쇄 루프(CL1, CL3)를 검출하는 과정을 설명한다.

도 13을 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기 (100)의 제어부(120)의 엣지 추출부(121)는 프레임(FR)의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출한다. 이후, 엣지 추출부(121)는 초기 엣지 픽셀(IP)을 중심으로 한 검사 영역을 설정해 초기 엣지 픽셀(IP)과 초기 엣지 픽셀(IP)에서 제1 측(A)으로 이어진 복수의 제1 엣지 픽셀(IP1) 및 초기 엣지 픽셀(IP)에서 제2 측(B)으로 이어진 복수의 제2 엣지 픽셀(IP2)로 구성된 제1 폐쇄 루프(CL1)를 검출할 수 있다. 그리고, 엣지 추출부(121)는 제1 폐쇄 루프(CL1) 내부의 픽셀 색상을 검사하여, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 제1 폐쇄 루프(CL1)를 객체(OB1)의 엣지(ED1)로 판단할 수 있다. 제1 폐쇄 루프(CL1)를 검출하는 과정은 앞서 도 4 내지 도 6c를 참조하여 설명한 제1 폐쇄 루프(CL1)를 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

제1 폐쇄 루프(CL1)의 검출이 완료되면, 엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 외곽 종료 픽셀(EP1)로 계속해서 이동하여, 추가 초기 엣지 픽셀(AP)을 검출할 수 있다. 추가 초기 엣지 픽셀(AP)을 검출하는 과정은 앞서 도 9를 참조하여 설명한 추가 초기 엣지 픽셀(AP)을 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

엣지 추출부(121)는 먼저 추가 초기 엣지 픽셀(AP1)을 검출하고, 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하는지 여부를 검출할 수 있다. 다만, 도 13을 참조하면, 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하므로, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP1)에 대한 폐쇄 루프를 검출하기 위한 추가적인 연산을 수행하지 않을 수 있다.

이어서, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP1)과 제1 외곽 종료 픽셀(EP1) 사이의 픽셀들에 대한 엣지 픽셀 검출을 수행하여, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2)을 검출할 수 있다. 여기서 추가 초기 엣지 픽셀(AP2)은 객체(OB2)에 대한 엣지에 대응하는 픽셀이므로, 제1 폐쇄 루프(CL1)에 대응하지 않은 새로운 폐쇄 루프의 초기 엣지 픽셀이다. 따라서, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2)을 기초로 하여 추가 초기 엣지 픽셀(AP2), 추가 초기 엣지 픽셀(AP2)에서 제1 측(A)으로 이어진 복수의 제1 추가 초기 엣지 픽셀(IP1) 및 추가 초기 엣지 픽셀(AP2)에서 제2 측(B)으로 이어진 복수의 제2 추가 초기 엣지 픽셀(IP2)로 구성된 추가 폐쇄 루프(CL3)를 검출할 수 있다. 엣지 추출부(121)는 추가 폐쇄 루프(CL3)가 검출되면, 추가 폐쇄 루프(CL3) 내부의 픽셀 색상을 검사하여, 추가 폐쇄 루프(CL3) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 추가 폐쇄 루프(CL3)를 객체(OB2)의 엣지(ED2)로 판단할 수 있다.

추가 폐쇄 루프(CL3)의 검출이 완료되면, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2)에서 제1 외곽 종료 픽셀(EP1)로 이동하며 추가 초기 엣지 픽셀(AP3)을 검출할 수 있다. 다만, 추가 초기 엣지 픽셀(AP3)이 이미 검출된 추가 폐쇄 루프(CL3)에 대응되므로, 추가 초기 엣지 픽셀(AP3)을 기초로 한 폐쇄 루프 검출을 생략하고, 계속해서 추가 초기 엣지 픽셀(AP3)과 제1 외곽 종료 픽셀(EP1) 사이의 모든 픽셀들을 검사할 수 있다.

본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 초기 엣지 픽셀(IP)과 이를 포함한 제1 폐쇄 루프(CL1)를 검출한 후, 또 다른 추가 초기 엣지 픽셀(AP2, AP3)과 이를 포함한 추가 폐쇄 루프(CL3)를 검출할 수 있다. 따라서, 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 이미 검출된 프레임(FR)에 복수의 객체(OB1, OB2)가 존재하는 경우, 먼저 검출된 객체(OB1) 외에 존재할 수 있는 또 다른 객체(OB2)에 대한 엣지 픽셀을 검출하는 과정을 수행할 수 있고, 또 다른 객체(OB2)의 검출이 누락되는 것을 방지할 수 있다. 그리고, 검출된 추가 초기 엣지 픽셀(AP1, AP3)이 이미 검출된 폐쇄 루프(CL1, CL3)에 대응하는 경우, 검출된 추가 초기 엣지 픽셀(AP1, AP3)을 기초로 한 폐쇄 루프 검출을 생략하여 불필요한 연산량을 줄일 수 있다.

도 14는 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 엣지 추출부가 엣지 픽셀을 검출하는 과정을 설명하기 위한 개략도이다.. 도 14에서는 복수의 외곽 시작 픽셀(SP1 내지 SP14) 및 복수의 외곽 종료 픽셀(EP1 내지 EP14)을 사용하여 복수의 객체(OB3, OB4)에 대한 폐쇄 루프(CL1, CL3)를 검출하는 과정을 설명한다.

도 14를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기 (100)의 제어부(120)의 엣지 추출부(121)는 프레임(FR)의 외곽 픽셀 중 제1 외곽 시작 픽셀(SP1)에서 프레임(FR)의 반대편 외곽의 제1 외곽 종료 픽셀(EP1)로 이동하며 초기 엣지 픽셀(IP)을 검출한다. 이후, 엣지 추출부(121)는 초기 엣지 픽셀(IP)을 중심으로 한 검사 영역을 설정해 초기 엣지 픽셀(IP)과 초기 엣지 픽셀(IP)에서 제1 측(A)으로 이어진 복수의 제1 엣지 픽셀(IP1) 및 초기 엣지 픽셀(IP)에서 제2 측(B)으로 이어진 복수의 제2 엣지 픽셀(IP2)로 구성된 제1 폐쇄 루프(CL1)를 검출할 수 있다. 그리고, 엣지 추출부(121)는 제1 폐쇄 루프(CL1) 내부의 픽셀 색상을 검사하여, 제1 폐쇄 루프(CL1) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 제1 폐쇄 루프(CL1)를 객체(OB3)의 엣지(ED3)로 판단할 수 있다. 제1 폐쇄 루프(CL1)를 검출하는 과정은 앞서 도 4 내지 도 6c를 참조하여 설명한 제1 폐쇄 루프(CL1)를 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

제1 폐쇄 루프(CL1)의 검출이 완료되면, 엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 외곽 종료 픽셀(EP1)로 계속해서 이동하여, 추가 초기 엣지 픽셀(AP1)을 검출할 수 있다. 추가 초기 엣지 픽셀(AP1)을 검출하는 과정은 앞서 도 12를 참조하여 설명한 추가 초기 엣지 픽셀(AP1)을 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다.

엣지 추출부(121)는 초기 엣지 픽셀(IP)에서 제1 외곽 종료 픽셀(EP1)로 이동하며 추가 초기 엣지 픽셀(AP1)을 검출할 수 있다. 도 14를 참조하면, 추가 초기 엣지 픽셀(AP1)이 제1 폐쇄 루프(CL1)에 대응하므로, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP1)에 대한 폐쇄 루프를 검출하기 위한 추가적인 연산을 수행하지 않을 수 있다.

초기 엣지 픽셀(IP)과 제1 외곽 종료 픽셀(EP1) 사이에서 제1 폐쇄 루프(CL1)에 대응되는 추가 초기 엣지 픽셀(AP1) 외에 다른 추가 초기 엣지 픽셀(AP)이 검출되지 않으면, 엣지 추출부(121)는 제1 외곽 시작 픽셀(SP1)에 대한 연산을 종료할 수 있다.

상술한 바와 같이 제1 외곽 시작 픽셀(SP1)로부터 제1 외곽 종료 픽셀(EP1)까지의 연산을 완료함에도 불구하고 객체(OB4)가 검출되지 않을 수 있다. 즉, 프레임(FR)에 복수의 객체(OB3, OB4)가 존재하는 경우라면 하나의 외곽 시작 픽셀에 대한 연산으로 모든 객체가 검출되지 않을 수도 있다. 따라서, 본 발명의 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 복수의 외곽 시작 픽셀 및 복수의 외곽 종료 픽셀을 사용하여 폐쇄 루프를 검출할 수 있다.

구체적으로, 엣지 추출부는 프레임(FR)의 외곽 픽셀 중 제2 외곽 시작 픽셀(SP2) 내지 제n 외곽 시작 픽셀에서 프레임(FR)의 반대편 외곽의 제2 외곽 종료 픽셀(EP2) 내지 제n 외곽 종료 픽셀로 이동하며 추가 초기 엣지 픽셀(AP2, AP3)을 검출할 수 있다. 도 14에서는 외곽 시작 픽셀 및 외곽 종료 픽셀의 개수, 즉, n이 14인 것으로 도시하였으나, 이에 제한되지 않는다. 즉, 외곽 시작 픽셀 및 외곽 종료 픽셀의 개수는 촬영 영상에 대한 정보에 따라 상이하게 결정될 수 있다. 크로마키 작업을 위해 영상을 촬영하는 경우, 촬영되는 객체(OB)의 크기, 위치, 개수 등에 대한 정보가 미리 제공된다. 따라서, 엣지 추출부(121)는 촬영되는 객체(OB)에 대한 다양한 정보에 기초하여 외곽 시작 픽셀 및 외곽 종료 픽셀의 개수를 다양하게 설정할 수 있다.

엣지 추출부(121)는 외곽 픽셀 중 제2 외곽 시작 픽셀(SP2)에서 프레임(FR)의 반대편 외곽의 제2 외곽 종료 픽셀(EP2)로 이동하며 추가 초기 엣지 픽셀(AP2, AP3)을 검출할 수 있다. 다만, 추가 초기 엣지 픽셀(AP2, AP3)은 이미 검출된 제1 폐쇄 루프(CL1)에 대응하므로, 엣지 추출부(121)는 추가 초기 엣지 픽셀(AP2, AP3)을 기초로 한 폐쇄 루프 검출을 생략할 수 있다.

이어서, 엣지 추출부(121)는 제3 외곽 시작 픽셀(SP3) 내지 제6 외곽 시작 픽셀(SP6) 각각으로부터 제3 외곽 종료 픽셀(EP3) 내지 제6 외곽 종료 픽셀(EP6)으로 이동하며 추가 초기 엣지 픽셀(AP)을 검출하며, 상술한 바와 같은 과정을 반복할 수 있다. 다만, 제3 외곽 시작 픽셀(SP3) 내지 제6 외곽 시작 픽셀(SP6)과 관련하여 검출되는 추가 초기 엣지 픽셀(AP)은 제1 폐쇄 루프(CL1)와 대응하므로 이에 대한 폐쇄 루프 검출을 생략할 수 있다.

이어서, 엣지 추출부(121)는 제7 외곽 시작 픽셀(SP7)에서 제7 외곽 종료 픽셀(EP7)로 이동하며 추가 초기 엣지 픽셀(AP4)을 검출할 수 있다. 이때 검출된 추가 초기 엣지 픽셀(AP4)이 제1 폐쇄 루프(CL1)에 대응하지 않으므로, 추가 초기 엣지 픽셀(AP4)을 기초로 하여 추가 초기 엣지 픽셀(AP4), 추가 초기 엣지 픽셀(AP4)에서 제1 측(A)으로 이어진 복수의 제1 추가 초기 엣지 픽셀(IP1) 및 추가 초기 엣지 픽셀(AP4)에서 제2 측(B)으로 이어진 복수의 제2 추가 초기 엣지 픽셀(IP2)로 구성된 추가 폐쇄 루프(CL3)를 검출할 수 있다. 엣지 추출부(121)는 추가 폐쇄 루프(CL3)가 검출되면, 추가 폐쇄 루프(CL3) 내부의 픽셀 색상을 검사하여, 추가 폐쇄 루프(CL3) 내부의 픽셀 색상이 크로마키 배경(BA)의 색상에 대응하지 않으면, 추가 폐쇄 루프(CL3)를 객체(OB4)의 엣지(ED4)로 판단할 수 있다. 이때 검출된 객체(OB4)는 앞서 검출된 객체(OB3)와는 또 다른 객체(OB4)일 수 있다.

이어서, 엣지 추출부(121)는 제7 외곽 시작 픽셀(SP7) 내지 제14 외곽 시작 픽셀(SP14) 각각으로부터 제7 외곽 종료 픽셀(EP7) 내지 제14 외곽 종료 픽셀(EP14)로 이동하며 추가 초기 엣지 픽셀(AP)을 검출하며, 상술한 바와 같은 과정을 반복할 수 있다. 다만, 제7 외곽 시작 픽셀(SP7) 내지 제14 외곽 시작 픽셀(SP14)과 관련하여 검출되는 추가 초기 엣지 픽셀(AP)은 제1 폐쇄 루프(CL1) 또는 추가 폐쇄 루프(CL3)와 대응하므로 이에 대한 폐쇄 루프 검출을 생략할 수 있다.

앞에서는 엣지 추출부(121)가 제1 외곽 시작 픽셀(SP1)부터 순차적으로 제14 외곽 시작 픽셀(SP14)까지 연산을 수행하는 것으로 설명하였으나, 이에 제한되지 않고, 엣지 추출부(121)는 제1 외곽 시작 픽셀(SP1) 내지 제14 외곽 시작 픽셀(SP14)까지의 연산을 동시에 수행할 수도 있다.

본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 복수의 외곽 시작 픽셀(SP) 및 복수의 외곽 종료 픽셀(EP)에 대한 연산을 수행하여 여러 방향을 향해 동시 또는 순차적으로 검사를 진행하여, 복수의 객체(OB)에 대해 검출이 누락되는 것을 방지할 수 있다. 그리고, 검출된 추가 초기 엣지 픽셀(AP)이 이미 검출된 폐쇄 루프에 대응하는 경우, 검출된 추가 초기 엣지 픽셀(AP)을 기초로 한 폐쇄 루프 검출을 생략하여 불필요한 연산량을 줄일 수 있다. 또한, 즉, 외곽 시작 픽셀(SP) 및 외곽 종료 픽셀(EP)의 개수를 촬영 영상에 대한 정보에 따라 상이하게 설정하여, 객체(OB)가 누락됨을 방지하면서도 연산량을 줄일 수 있다.

도 15는 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 그라데이션부의 기준 영역을 설명하기 위한 개략도이다.

도 15를 참조하면, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 그라데이션부(122)는 엣지의 형상에 따라 다양하게 기준 영역(SA, SA', SA'')을 설정할 수 있다. 예를 들어, 그라데이션부(122)는 엣지(ED)의 방향성을 고려하여 엣지 픽셀에서 엣지의 법선 방향(F)에 대한 폭이 엣지의 접선 방향(E)에 대한 폭보다 길도록 기준 영역(SA', SA'')을 설정할 수 있다. 도 15에서는 기준 영역(SA', SA'')이 다각형 형태인 것으로 도시되었으나, 도 15에 도시된 형태에 제한되지는 않는다.

도 15를 참조하면, 그라데이션부(122)는 엣지(ED)의 법선 방향(F)과 접선 방향(E)을 기초로 하여 그라데이션 효과를 주고자 하는 엣지 픽셀(IP)을 중심으로 엣지(ED)의 법선 방향(F)에 대한 폭이 엣지(ED)의 접선 방향(E)에 대한 폭보다 길도록 한 기준 영역(SA', SA'')을 설정하여, 기준 영역(SA', SA'') 내에서 엣지 픽셀(IP)을 제외한 나머지 픽셀들의 투명도 평균값을 연산할 수 있다. 기준 영역(SA', SA'') 내에서 엣지 픽셀(IP)을 제외한 나머지 픽셀들의 투명도 평균값 연산이 완료되면, 그라데이션부(122)는 엣지 픽셀(IP)의 투명도를 투명도 평균값으로 변환할 수 있다.

만약 그라데이션 효과를 주고자 하는 엣지 픽셀(IP)을 중심으로 NXN 형태의 기준 영역(SA)을 설정하는 경우, 엣지(ED)의 기울기에 따라 NXN 영역 내에 객체(OB)에 대응하는 픽셀과 크로마키 배경(BA)에 대응하는 픽셀들이 불균형하게 배치되어 투명도 평균값이 실제보다 더 높거나 낮게 나올 수 있다. 또한, 그라데이션 효과는 객체와 크로마키 배경 사이에 적용되는 것이므로, 객체와 크로마키의 경계에 수직한 방향으로 적용되는 것이 합성 영상에서의 객체(OB)와 크로마키 배경(BA) 간의 자연스러운 경계 표시에 유리할 것이다. 따라서, 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 엣지(ED)의 방향성을 고려한 기준 영역(SA', SA'')을 설정하여 객체(OB)에 대응하는 픽셀과 크로마키 배경(BA)에 대응하는 픽셀들이 균형있게 배치되어 좀 더 자연스러운 그라데이션 효과를 줄 수 있고, 영상 합성 시에 객체(OB)의 엣지(ED) 부분이 보다 자연스럽게 크로마키 처리될 수 있다. 예를 들어, 기준 영역(SA'')의 경우, NXN 형태의 기준 영역(SA)을 설정하는 경우와 동일한 수의 픽셀에 대해 연산을 처리하지만 보다 자연스러운 크로마키 처리가 제공될 수 있다. 또한, 기준 영역(SA')의 경우에는 NXN 형태의 기준 영역(SA)을 설정하는 경우보다 연산되는 픽셀의 수가 감소하므로 그라데이션 처리를 위한 연산량을 감소시킬 수도 있다.

도 16은 그라데이션부가 조명에 따라 그라데이션을 위한 기준 영역이 달라지는 것을 도시한 도면이다. 도 16에서는 프레임에 표현되지는 않지만, 프레임 외부, 즉, 촬영 영상에서 우측 상단의 외부에 조명(L)이 존재하는 것을 가정하여 설명한다.

도 16을 참조하면, 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 그라데이션부(122)는 객체(OB)의 엣지 픽셀에 그라데이션 효과를 적용하기 위해 조명(L)의 위치를 고려하여 기준 영역(SA)을 설정할 수 있다.

조명의 빛을 바로 받는 영역이라면, 객체(OB)와 크로마키 배경(BA) 간의 경계가 명확하지만, 조명의 빛이 잘 닿지 않아 어두운 영역이라면, 객체(OB)와 크로마키 배경(BA) 간의 경계가 불명확할 수 있다. 예를 들어, 조명의 빛을 바로 받는 엣지 픽셀(BP)은 크로마키 배경(BA)과 경계가 명확하므로, 엣지 픽셀(BP)의 그라데이션을 위한 기준 영역(SA1)은 상대적으로 다른 엣지 픽셀의 그라데이션을 위한 기준 영역(SA)보다 작을 수 있다. 그러나, 조명의 빛이 잘 닿지 않는 영역의 엣지 픽셀(DP)은 크로마키 배경(BA)과 경계가 불명확하거나 엣지 픽셀(DP)이 두꺼운 폭으로 검출될 것이므로, 엣지 픽셀(DP)의 그라데이션을 위한 기준 영역(SA2)은 상대적으로 다른 엣지 픽셀의 그라데이션을 위한 기준 영역(SA)보다 넓을 수 있다.

예를 들어, 빛을 정면으로 받는 A3 영역은, 객체(OB)와 크로마키 배경(BA) 간의 경계가 매우 명확하고, 구분이 잘 되므로 그라데이션을 하기 위한 기준 영역(SA)의 크기를 작게 할 수 있다. 또한, 빛을 A3 영역보다 상대적으로 덜 받는 A2 영역은 그라데이션을 하기 위한 기준 영역(SA)의 크기를 A3 영역의 기준 영역(SA)보다 크게 할 수 있다. 또한, 빛을 상대적으로 A3 영역 보다 작게 받는 A1, A4, A5 영역은 어둡고 그림자가 생겨 객체(OB)와 크로마키 배경(BA)과의 경계가 불분명하거나 경계가 두껍기 때문에, 기준 영역(SA)의 크기를 확장하여 연산할 수 있다.

만약 그라데이션 효과를 주고자 하는 엣지 픽셀을 중심으로 동일한 크기의 기준 영역(SA)를 설정하는 경우, 엣지 픽셀의 그라데이션 효과가 제대로 적용되기 어려울 수 있다. 야간에는 물체가 잘 식별되지 않는 것과 마찬가지로, 어둡고 그늘진 부분이라면 객체(OB)와 크로마키 배경(BA)간의 경계가 불분명할 수 있고, 이로 인해 엣지의 폭이 실제보다 넓게 검출될 수도 있다. 이에, 엣지 픽셀과 크로마키 배경(BA)의 각 픽셀들의 투명도 초기 값은 의미있는 차이가 나지 않을 수 있어, 엣지 픽셀의 그라데이션을 위한 투명도를 연산하더라도, 그라데이션 효과가 제대로 나타나지 않을 수도 있다.

이에, 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 그라데이션부(122)가 기설정된 조명(L)의 위치를 입력받아 조명(L)의 위치에 기초하여 그늘진 부분의 엣지(ED)에서는 엣지 픽셀(DP)을 중심으로 한 기준 영역(SA2)의 크기를 확장하여 보다 많은 수의 픽셀들에 대한 투명도 값을 사용하여 그라데이션을 위한 투명도 평균값을 연산할 수 있다. 또한, 그라데이션부(122)는 기설정된 조명(L)의 위치를 입력받아 조명(L)의 위치에 기초하여 빛을 직접 받는 부분의 엣지(ED)에서는 엣지 픽셀(BP)을 중심으로 한 기준 영역(SA1)의 크기를 축소하여 보다 적은 수의 픽셀들에 대한 투명도 값을 사용하여 그라데이션을 위한 투명도 평균값을 연산할 수 있다. 이에, 조명의 위치에 적응적으로 기준 영역(SA1, SA2)의 크기를 변형 시켜, 보다 정확하게 그라데이션 효과를 적용할 수 있을 뿐만 아니라, 필요한 연산량도 최소화할 수 있다.

또한, 그라데이션부(122)는 그라데이션 효과를 주고자 하는 엣지 픽셀을 중심으로 한 기준 영역(SA)을 설정하고, 기준 영역(SA) 내의 픽셀들, 즉, 해당 엣지 픽셀의 인근 픽셀의 평균 휘도값이 낮을수록 기준 영역(SA)의 크기를 확장하여 연산할 수 있다. 기준 영역(SA) 내의 픽셀들의 평균 휘도값이 낮다는 것은, 엣지 픽셀과 크로마키 배경(BA)에 대응하는 픽셀간의 경계가 불분명한 것을 의미할 수 있으며, 이는 상술한 바와 같이, 도 16의 조명의 빛이 잘 닿지 않는 A5 영역과 같은 부분의 엣지(ED)처럼 경계가 불분명한 것일 수 있다. 그렇기 때문에, 그라데이션부(122)는 기본 설정된 기준 영역(SA) 내의 평균 휘도값이 낮을수록 기준 영역(SA)을 확장하고, 평균 휘도값이 높을수록 기준 영역(SA)을 감소시킬 수 있다. 또한, 그라데이션부(122)는 별도의 룩업 테이블을 사용하여, 엣지 픽셀의 인근 픽셀의 평균 휘도값에 따라 매칭되는 크기를 갖는 기준 영역(SA)을 사용할 수도 있다.

본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법은 기준 영역(SA) 내의 픽셀, 즉, 엣지 픽셀의 인근 픽셀의 휘도 평균값을 고려하여 객체(OB)와 크로마키 배경(BA)간의 경계가 불분명한 부분 및 분명한 부분을 파악하고, 경계가 명확한 엣지(ED) 부분의 기준 영역(SA)은 기존과 그대로 기준 영역(SA)의 크기를 설정하거나 기준 영역(SA)의 크기를 축소하여 설정할 수 있고, 경계가 불명확한 부분의 엣지(ED) 부분의 기준 영역(SA)만을 확장하여 그라데이션을 위한 연산을 하므로 불필요한 연산량을 줄일 수 있고, 엣지(ED)의 경계가 불명확한 부분을 좀 더 명확하게 크로마키 처리할 수 있다.

한편, 도면에 도시되지는 않았지만, 본 발명의 또 다른 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법의 제어부(120)의 그라데이션부(122)가 그라데이션 효과를 주고자 하는 엣지 픽셀(IP)을 중심으로 설정한 기준 영역(SA)과 제어부(120)의 엣지 추출부(121)가 엣지 픽셀(IP)의 양측으로 이어진 제1 엣지 픽셀(IP1) 및 제2 엣지 픽셀(IP2)을 검출하기 위해 설정한 검사 영역(TA)이 동일할 수 있다. 그리고, 엣지 추출부(121)가 엣지 픽셀(IP)을 중심으로 검사 영역(TA)을 설정함과 동시에 그라데이션부(122) 또한 검사 영역(TA)과 동일한 영역을 기준 영역(SA)으로 설정하여 그라데이션 효과를 위한 투명도 평균값을 연산할 수 있다. 이러한 연산 방법을 통해 엣지(ED)를 검출함과 동시에 엣지 픽셀(IP)에 그라데이션 효과를 줄 수 있으므로 연산에 드는 시간을 단축하여 고속 연산이 가능할 수 있다.

본 발명의 다양한 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 제어부(120)에 다양한 연산 방법을 적용하여 연산량을 줄이고 고속 연산을 할 수 있다. 구체적으로, 본 발명의 다양한 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 다채널 3D 영상 및 음성 고속 통합 처리를 위한 멀티미디어 데이터 실시간 프로세싱 엔진을 사용할 수 있다.

먼저, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 실시간 지능형 포맷 컨버전스(RTIFC; Real Time Intelligence Format Convergence) 기술을 적용할 수 있다. 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 입력부(110)에서 촬영 영상을 수신할 시, 각 픽셀에 대한 데이터 값은 R값, G값, B값에 투명도를 나타내는 α까지 표현된 32비트맵의 형식으로 수신할 수 있다. 그러나 그래픽 카드는 1비트만 많아도 부하가 급격하게 증가하므로, 모든 픽셀들에 대한 데이터를 32비트로 연산하는 경우 연산량이 매우 증가할 수 있다. 이에, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 픽셀에 대한 데이터 값을 YUV422 포맷의 12비트로 변환하여 처리해야 할 데이터를 줄일 수 있다. YUV422 포맷은 휘도와 색 신호의 비를 4:2:2로 하여 영상 데이터를 다루는 형식으로 RGB 형식보다 데이터량을 줄일 수 있지만, 투명도 값을 나타내지 않는다.

일반 영상에서는 투명도 값이 필요가 없으므로, 상술한 바와 같이 YUV422 포맷을 사용하더라도 특별한 문제가 발생하지 않는다. 다만, 상술한 바와 같이 크로마키 처리를 하기 위해서는 투명도 값이 필요하므로 YUV422의 형식으로 변환하여 데이터를 처리하는 경우 크로마키 처리가 불가능하다는 문제점이 있다. 이를 해결하기 위해, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 크로마키 처리가 필요 없는 영상은 YUV422의 12비트로 변환하여 전달하고, 크로마키 처리가 필요한 영상은 투명도를 포함한 32비트의 형식을 사용하기 때문에 기존 방식보다 연산량을 줄일 수 있다.

또한, 제어부(120)는 영상의 해상도를 변경할 때, 세미인터폴레이션(semi interpolation)과 인터폴레이션(interpolation)을 적절히 혼합하여 영상이 일그러지지 않으면서 자연스럽게 표현되도록 할 수 있다. 종래에는, 원본 영상의 해상도와 실제 방송 영상에서 표현되는 해상도가 다른 경우 원본 영상을 리사이징 하기 위해, 인터폴레이션법을 사용했는데, 예를 들어, 1920*1080의 해상도를 가진 원본 영상을 30*20의 해상도로 축소하기 위해 70번째마다 픽셀을 추출하여 30*20으로 축소하는 방식이 사용되었다. 다만 이러한 인터폴레이션법은 픽셀간의 차이를 선형적으로만 고려하여 급격하게 축소하기 때문에 영상이 일그러져 보이기 쉽다. 이러한 문제점을 해결하기 위해, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 1920*1080의 영상을 먼저 원래의 1/70보다 더 큰 크기인 1/10의 크기로 리사이징하는 세미인터폴레이션을 사용하고, 192*108의 영상을 인터폴레이션하여 30*20으로 축소한다. 즉, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 리사이징 시에 원본 영상을 최종 영상의 크기로 바로 리사이징하지 않고, 중간 크기의 영상으로 세미인터폴레이션을 한 후, 최종 영상의 크기로 인터폴레이션을 하여, 급격히 영상의 해상도를 변경하지 않고, 세미인터폴레이션과 인터폴레이션을 둘 다 사용하여 영상을 좀 더 자연스럽게 표현할 수 있다.

한편, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 멀티쓰레딩(multithreading) 기술과 프로세스 로드 밸런싱(process load balancing) 기술을 사용하여 실시간 연산 처리량을 조절할 수 있다. 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 영상 및 음성을 수신하고, 영상 및 음성을 처리하며, 최종적으로 처리된 영상 및 음성을 송출한다. 이에, 각각의 프로세스를 처리하기 위한 쓰레드는, 예를 들어, 영상 송출 쓰레드, 영상 편집 쓰레드, 음성 편집 쓰레드 등을 포함할 수 있다. 또한, 상술한 바와 같이 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)에서는 크로마키 처리도 수행하므로, 크로마키 처리를 위한 크로마키 쓰레드도 포함할 수 있다.

실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 실시간으로 제어부(120)의 로드를 측정할 수 있다. 예를 들어, 영상 송출 쓰레드, 영상 편집 쓰레드, 음성 편집 쓰레드, 크로마키 쓰레드 등과 같은 다양한 쓰레드에서의 로드를 측정할 수 있다. 이 때, 제어부(120)는 실시간으로 각각의 쓰레드에 대한 지터(jitter)를 측정한다. 여기서 지터는 각각의 쓰레드의 로드의 시간 변위를 나타내는 값으로, 각각의 쓰레드가 처리하는 데이터 량이 기준 데이터 량보다 얼마나 빠른지 또는 늦은지를 나타내는 값이다. 이때, 제어부(120)는 크로마키 처리를 위한 쓰레드인 크로마키 쓰레드에서의 지터가 소정의 임계치보다 큰 경우, 특정 쓰레드를 크로마키 처리에 대한 전용(dedicated) 쓰레드로 할당할 수 있고, 동시에 영상 송출 쓰레드, 영상 편집 쓰레드, 음성 편집 쓰레드의 수를 감소시킬 수 있다. 또한, 크로마키 처리 시에 인터폴레이션에 대한 연산량을 줄여줄 수도 있다.

본 발명의 다양한 실시예에 따른 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 상술한 바와 같은 다양한 기능을 갖는 멀티미디어 데이터 실시간 프로세싱 엔진을 사용하여 다채널 3D 영상 및 음성 고속 통합 처리를 수행할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 기기
110 : 입력부
11 : 카메라
12 : 마이크
13 : 웹캠
14 : USB
15 : 컴퓨터
120 : 제어부
121 : 엣지 추출부
122 : 그라데이션부
123 : 영상 합성부
130 : 출력부
31 : 디스플레이
32 : 스피커
140 : 그래픽 카드
150 : 메모리
160 : 전면부
161 : 전원 스위치
162 : 리셋 스위치
163 : USB 단자
164 : CD-ROM
170 : 후면부
171 : 음성 출력 단자
172 : 영상 입력 단자
173 : 영상 출력 단자
174 : USB 단자
175 : 확장 모듈팩 단자
180 : 주 화면
181 : 소스 뷰어
181a : 외부 소스 뷰어
181b : 내부 소스 뷰어
182a : A/V 플레이어 컨트롤
182b : A/V 믹서 볼륨 컨트롤
183a : 프리뷰
183b : 프로그램뷰
184a : 트랜지션바
184b : 트랜지션 이펙트 컨트롤
185 : A/V 프리셋 컨트롤
186 : PIP 오브젝트 컨트롤
187a : 로컬 뱅크 셀렉터
187b : 글로벌 뱅크 셀렉터
188 : A/V 레코더
189 : CD 플레이어
190 : 송출 화면
191 : 로고
192 : 자막
VD : 촬영 영상
FR : 프레임
OP : 외곽 픽셀
OB : 객체
ED : 엣지
BA : 크로마키 배경
IP : 초기 엣지 픽셀
AP : 추가 초기 엣지 픽셀
IP1 : 제1 엣지 픽셀
IP2 : 제2 엣지 픽셀
SPn : 제n 외곽 시작 픽셀
EPn : 제n 외곽 종료 픽셀
CL1 : 제1 폐쇄 루프
CL2 : 제2 폐쇄 루프
CL3 : 추가 폐쇄 루프
TA : 검사 영역
SA : 기준 영역
SA' : 법선 방향 기준 영역
BP : 빛이 직접 닿는 부분의 픽셀
DP : 그늘진 부분의 픽셀
A : 제1 측
B : 제2 측
C : 제3 측
D : 제4 측
E : 접선 방향
F : 법선 방향
L : 조명

Claims (14)

1. 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상을 실시간으로 수신하도록 구성된 입력부;
   상기 촬영 영상의 각 프레임 별로 상기 객체의 엣지를 구성하는 엣지 픽셀을 검출하도록 구성된 엣지 추출부, 상기 엣지 픽셀에 그라데이션 효과를 적용하도록 구성된 그라데이션부 및 상기 그라데이션 효과에 기초하여 가상 스튜디오 배경에 상기 객체를 합성하여 합성 영상을 생성하도록 구성된 영상 합성부를 포함하는 제어부; 및
   상기 합성 영상을 출력하도록 구성된 출력부를 포함하고,
   상기 엣지 추출부 및 그라데이션부는 상기 촬영 영상의 각 프레임의 일부 픽셀에 대한 연산을 수행하도록 구성되고,
   상기 엣지 추출부는,
   상기 프레임의 외곽 픽셀 중 제1 외곽 시작 픽셀에서 상기 프레임의 반대편 외곽의 제1 외곽 종료 픽셀로 이동하며 초기 엣지 픽셀을 검출하고,
   상기 초기 엣지 픽셀이 검출되면, 상기 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 상기 초기 엣지 픽셀에서 제1 측으로 이어진 복수의 제1 엣지 픽셀 및 상기 초기 엣지 픽셀에서 제2 측으로 이어진 복수의 제2 엣지 픽셀을 검출하고,
   상기 초기 엣지 픽셀, 상기 복수의 제1 엣지 픽셀 및 상기 복수의 제2 엣지 픽셀로 구성되는 제1 폐쇄 루프를 검출하고, 상기 제1 폐쇄 루프 내부의 픽셀 색상이 상기 크로마키 배경과 불일치하면 상기 제1 폐쇄 루프를 상기 객체의 엣지로 판단하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
2. 삭제
3. 제1항에 있어서,
   상기 엣지 추출부는,
   상기 프레임의 외곽 픽셀 중 제2 외곽 시작 픽셀 내지 제n 외곽 시작 픽셀에서 상기 프레임의 반대편 외곽의 제2 외곽 종료 픽셀 내지 제n 외곽 종료 픽셀로 이동하며 추가 초기 엣지 픽셀을 검출하고,
   상기 추가 초기 엣지 픽셀이 검출되면, 상기 추가 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 상기 추가 초기 엣지 픽셀에서 제1측으로 이어진 복수의 제1 추가 엣지 픽셀 및 상기 추가 초기 엣지 픽셀에서 제2측으로 이어진 복수의 제2 추가 엣지 픽셀을 검출하고,
   상기 추가 초기 엣지 픽셀, 상기 복수의 제1 추가 엣지 픽셀 및 상기 복수의 제2 추가 엣지 픽셀로 구성되는 추가 폐쇄 루프를 검출하고,
   상기 추가 폐쇄 루프 내부의 픽셀 색상이 상기 크로마키 배경과 불일치하면 상기 추가 폐쇄 루프를 상기 객체의 엣지로 판단하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
4. 제3항에 있어서,
   상기 엣지 추출부는,
   상기 추가 초기 엣지 픽셀이 상기 제1 폐쇄 루프에 대응하는 경우,
   상기 복수의 제1 추가 엣지 픽셀, 상기 복수의 제2 추가 엣지 픽셀 및 상기 추가 폐쇄 루프의 검출을 생략하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
5. 제1항에 있어서,
   상기 엣지 추출부는,
   상기 제1 폐쇄 루프가 검출되면, 상기 제1 외곽 시작 픽셀에서 상기 제1 외곽 종료 픽셀 사이의 픽셀에 대한 연산을 중지하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
6. 제1항에 있어서,
   상기 엣지 추출부는,
   상기 초기 엣지 픽셀에서 상기 제1 외곽 종료 픽셀로 이동하며 추가 초기 엣지 픽셀을 검출하고,
   상기 추가 엣지 픽셀이 상기 제1 폐쇄 루프에 대응하지 않으면, 상기 추가 초기 엣지 픽셀을 중심으로 한 검사 영역에 기초하여 제2 폐쇄 루프를 검출하고,
   상기 제2 폐쇄 루프 내부의 픽셀 색상이 상기 크로마키 배경 색상과 일치하면 상기 제2 폐쇄 루프를 상기 객체의 엣지로 판단하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
7. 제1항에 있어서,
   상기 그라데이션부는,
   상기 엣지 픽셀을 중심으로 한 기준 영역 내의 픽셀 중 상기 엣지 픽셀을 제외한 픽셀의 투명도 평균값을 연산하여, 상기 엣지 픽셀의 투명도를 상기 투명도 평균값으로 변환하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
8. 제7항에 있어서,
   상기 그라데이션부는,
   상기 엣지 픽셀에서 상기 엣지의 법선 방향에 대한 폭이 상기 엣지의 접선 방향에 대한 폭보다 길도록 상기 기준 영역을 설정하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
9. 제7항에 있어서,
   상기 그라데이션부는,
   상기 객체에 대한 조명의 위치를 입력받아,
   상기 엣지 픽셀이 상기 조명의 빛을 받지 못하는 그늘진 부분이면, 상기 엣지 픽셀을 중심으로 한 상기 기준 영역의 크기를 확장하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
10. 제7항에 있어서,
    상기 그라데이션부는,
    상기 엣지 픽셀의 인근 픽셀의 평균 휘도값이 낮을수록 상기 엣지 픽셀을 중심으로 한 상기 기준 영역의 크기를 확장하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
11. 제1항에 있어서,
    상기 그라데이션부는,
    상기 엣지 추출부가 상기 엣지 픽셀을 중심으로 한 상기 검사 영역을 픽셀 데이터에 기초하여 상기 복수의 제1 엣지 픽셀 및 상기 복수의 제2 엣지 픽셀을 검출하는 동시에,
    상기 검사 영역 내의 픽셀 중 상기 엣지 픽셀을 제외한 픽셀의 투명도 평균값을 연산하여, 상기 엣지 픽셀의 투명도를 상기 투명도 평균값으로 변환하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 기기.
12. 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상을 실시간으로 수신하는 단계;
    상기 촬영 영상의 각 프레임 별로 상기 객체의 엣지를 구성하는 엣지 픽셀을 검출하는 단계;
    상기 엣지 픽셀에 그라데이션 효과를 적용하는 단계;
    상기 그라데이션 효과에 기초하여 가상 스튜디오 배경에 상기 객체를 합성하여 합성 영상을 생성하는 단계; 및
    상기 합성 영상을 화면에 출력하는 단계를 포함하고,
    상기 엣지 픽셀을 검출하는 단계 및 상기 그라데이션 효과를 적용하는 단계는 상기 촬영 영상의 각 프레임의 일부 픽셀에 대한 연산을 수행하도록 구성되고,
    상기 엣지 픽셀을 검출하는 단계는,
    상기 프레임의 외곽 픽셀 중 제1 외곽 시작 픽셀에서 상기 프레임의 반대편 외곽의 제1 외곽 종료 픽셀로 이동하며 초기 엣지 픽셀을 검출하는 단계;
    상기 초기 엣지 픽셀이 검출되면, 상기 초기 엣지 픽셀을 중심으로 한 검사 영역의 픽셀 데이터에 기초하여 상기 초기 엣지 픽셀에서 제1측으로 이어진 복수의 제1 엣지 픽셀 및 상기 초기 엣지 픽셀에서 제2측으로 이어진 복수의 제2 엣지 픽셀을 검출하는 단계;
    상기 초기 엣지 픽셀, 상기 복수의 제1 엣지 픽셀 및 상기 복수의 제2 엣지 픽셀로 구성되는 제1 폐쇄 루프를 검출하는 단계; 및
    상기 제1 폐쇄 루프 내부의 픽셀 색상이 상기 크로마키 배경과 불일치하면 상기 제1 폐쇄 루프를 상기 객체의 엣지로 판단하는 단계를 포함하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 방법.
13. 삭제
14. 제12항에 있어서,
    상기 그라데이션 효과를 적용하는 단계는,
    상기 엣지 픽셀을 중심으로 한 기준 영역 내의 픽셀 중 상기 엣지 픽셀을 제외한 픽셀의 투명도 평균값을 연산하여, 상기 엣지 픽셀의 투명도를 상기 투명도 평균값으로 변환하는, 실시간 3D 가상 스튜디오 방송 편집 및 송출 방법.

Images