KR102195053B1 - 증강 이미지를 생성하기 위한 텔레비전 방송 시스템 - Google Patents

증강 이미지를 생성하기 위한 텔레비전 방송 시스템 Download PDF

Info

Publication number
KR102195053B1
KR102195053B1 KR1020197013685A KR20197013685A KR102195053B1 KR 102195053 B1 KR102195053 B1 KR 102195053B1 KR 1020197013685 A KR1020197013685 A KR 1020197013685A KR 20197013685 A KR20197013685 A KR 20197013685A KR 102195053 B1 KR102195053 B1 KR 102195053B1
Authority
KR
South Korea
Prior art keywords
image
production
camera
metadata
module
Prior art date
Application number
KR1020197013685A
Other languages
English (en)
Other versions
KR20190065404A (ko
Inventor
랄프 드라곤
Original Assignee
우니크페에드 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우니크페에드 아게 filed Critical 우니크페에드 아게
Publication of KR20190065404A publication Critical patent/KR20190065404A/ko
Application granted granted Critical
Publication of KR102195053B1 publication Critical patent/KR102195053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Abstract

본 발명인 텔레비전 방송 시스템은 복수의 텔레비전 카메라들(C1, C2)와; 상기 복수의 텔레비전 카메라들(C1, C2)의 카메라 이미지로부터 일련의 제작 이미지들을 생성하여 제작 신호(S3)로서 출력하도록 구성된 적어도 하나의 제작 유닛(12)과; 각 분석 모듈(A1, A2)이 각각의 텔레비전 카메라(C1, C2)에 할당되는 복수의 분석 모듈(A1, A2)로, 상기 분석 모듈(A1, A2)은 카메라 이미지들을 동기식으로 버퍼링하여 수신하도록 구성되며, 상기 분석 모듈(A1, A2)은 각각의 개별 카메라 이미지를 분석하고 카메라 이미지 메타 데이터(M)뿐만 아니라, 각 카메라 이미지에 대한 연관된 카메라 이미지 해시값(H)을 산정하여 각 카메라 이미지에 대한 카메라 이미지 메타 데이터(M) 및 카메라 이미지 해시값(H)을 비동기적으로 출력하고; 제작 이미지 해시값들(HR)과 카메라 이미지 해시값들(H)을 비교하고, 상기 비교에 기초하여 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터(Mj)를 연관된 제작 이미지 메타 데이터(MR)로서 현재 제작 이미지(Ri)에 할당하고, 상기 연관된 제작 영상 메타 데이터(MR)를 동기적으로 버퍼링하여 출력하는 동기화 모듈(14)과; 상기 동기화 모듈(14)로부터 상기 연관된 제작 이미지 메타 데이터(MR)를 동기식으로 버퍼링하여 수신하고, 상기 제작 유닛(12)으로부터 상기 제작 이미지를 동기식으로 버퍼링하여 수신하도록 구성되고, 제작 이미지와 상기 연관된 제작 이미지 메타 데이터(MR) 간의 시간 오프셋을 보상하고, 상기 연관된 제작 이미지 메타 데이터(MR)에 기초하여 증강에 의해 상기 제작 이미지의 적어도 하나의 서브 섹션의 제작 이미지에서의 변화를 생성함으로써 증강 제작 이미지를 생성하여 상기 증강 제작 이미지를 출력하는 곱셈 모듈(16)로 구성된다.

Description

증강 이미지를 생성하기 위한 텔레비전 방송 시스템
본 발명은 카메라 이미지들을 녹화하고 카메라 신호들로서 출력하도록 구성된 복수의 텔레비전 카메라들과, 상기 복수의 텔레비전 카메라들의 상기 카메라 이미지들로부터 일련의 제작 이미지들(production images)을 생성하고 제작 신호로서 출력하도록 구성된 제작 유닛을 포함하는 텔레비전 방송 시스템에 관한 것이다.
이러한 텔레비전 방송 시스템은 충분히 알려져 있으며 생방송 및 후반 제작들에 사용됩니다. 후반 작업들의 경우, 상기 카메라 이미지는 카메라에 의해 이전에 녹화된 이미지 시퀀스가 저장된 하드 디스크 등과 같은 적어도 하나의 저장 매체로부터 일반적으로 유래한다.
이러한 텔레비전 방송 시스템에서 페이드 인(fading in) 또는 중첩(superimposition)을 수행하는 것이 알려져 있다. 이 프로세스에서, 센서 데이터는 공간에서 카메라의 방향에 대한 추가 정보를 얻기 위해 카메라에 의해 생성된 카메라 이미지들 이외에 가속 센서, 나침반, 자이로 컴퍼스 또는 거리 측정기와 같은 추가 센서에 의해 기록됨으로써, 필요한 때 카메라 이미지에 표시된 객체가 식별되고 중첩될 수 있다. 이와 관련하여, 텔레비전 이미지를 녹화하는 역할을 하지 않지만, 그 이미지 내용이 텔레비전 이미지에 관한 추가의 이미지 정보를 제공하는데 사용될 수 있는 추가 카메라를 사용하는 것도 공지되어 있다.
본 발명은 추가적인 센서들 없이 녹화된 카메라 이미지의 서브 섹션의 페이드 인 또는 중첩을 가능하게 하는 텔레비전 방송 시스템을 제공하는 것을 목적으로 한다.
본 발명인 텔레비전 방송 시스템이 제안되고, 텔레비전 방송 시스템은:
카메라 이미지들을 녹화하여 카메라 신호로서 출력하는 복수의 텔레비전 카메라들과;
상기 복수의 텔레비전 카메라들의 카메라 이미지로부터 일련의 제작 이미지들을 생성하여 제작 신호로서 출력하도록 구성된 적어도 하나의 제작 유닛과;
각 분석 모듈이 각각의 텔레비전 카메라에 할당되는 복수의 분석 모듈로, 상기 분석 모듈은 동기식으로 버퍼링된 카메라 이미지들을 수신하도록 구성되며, 상기 분석 모듈은 각각의 개별 카메라 이미지를 분석하고 카메라 이미지 메타 데이터뿐만 아니라, 각 카메라 이미지에 대한 연관된 카메라 이미지 해시값을 산정하여 각 카메라 이미지에 대한 카메라 이미지 메타 데이터 및 카메라 이미지 해시값을 비동기적으로 출력하고;
상기 제작 유닛 및 상기 분석 모듈들에 연결되고 상기 제작 유닛으로부터 상기 제작 이미지들을 동기식으로 버퍼링하여 수신하고 연관된 제작 이미지 해시 값을 각각의 제작 이미지에 대해 계산하고, 각 카메라 이미지에 대해 상기 분석 모듈로부터 상기 카메라 이미지 메타 데이터 및 상기 연관된 카메라 이미지 해시 값을 비동기적으로 버퍼링하여 수신하고, 제작 이미지 해시값들과 카메라 이미지 해시값들을 비교하고, 상기 비교에 기초하여 하나의 카메라 이미지의 연관된 카메라 이미지를 연관된 제작 이미지 메타 데이터로서 현재 제작 이미지에 할당하고, 상기 연관된 제작 이미지 메타 데이터를 동기식으로 버퍼링하여 출력하는 동기화 모듈과;
상기 동기화 모듈 및 상기 제작 유닛에 연결되고 상기 동기화 모듈로부터 상기 연관된 제작 이미지 메타 데이터를 동기식으로 버퍼링하여 수신하고, 상기 제작 유닛으로부터 상기 제작 이미지를 동기식으로 버퍼링하여 수신하도록 구성되고, 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 보상하고, 상기 제작 이미지 메타 데이터에 기초하여 증강에 의해 상기 제작 이미지의 적어도 하나의 서브 섹션의 제작 이미지에서의 변화를 생성함으로써 증강 제작 이미지를 생성하여 상기 증강 제작 이미지를 출력하는 곱셈 모듈로 구성된다.
본 명세서에서 사용되는 "제작 유닛(production unit)"이라는 용어는, 예를 들어, 현장의 제작 밴 내부에서 수행되는 이미지 선택 및 이미지 편집의 프로세스를 나타낸다. 이 용어는 또한 방향 유닛의 출력이 계층적으로 더 높은 제작 유닛에 정보를 전달하는 텔레비전 네트워크에서와 같이, 각각 독립적으로 작동하며 서로 연결된 복수의 제작 유닛을 포함한다. 예를 들어, 스포츠 이벤트의 경우는 여러 개의 카메라로 다른 경기들이 각각 제작된다.
본 명세서에서 사용된 "증강(augmentation)"이라는 용어는 현실의 재제작에서의 일종의 증강 또는 변화를 지정하는 것을 의미한다. 예를 들어 현실에서 영어로 쓰여진 광고 메시지를 동일하게 스포츠 필드 배너 상이나, 텔레비전 방송을 볼 수 있는 대상 국가의 언어와 같은 다른 언어로 된 다른 광고 상에 겹쳐서 표시하는 것이다.. 그러나 중첩이 제작 이미지를 변경하거나 증강할 수 있는 유일한 방법은 아니다. 오히려, 본 발명의 범위 내의 증강은 제작 이미지 자체가 부분적으로 변경되는 것으로 이해될 수 있다. 여기에 사용된 독일 용어 "Anreicherung"은 기술 용어에서 "Augmentierung"으로도 알려져 있으며 영어 용어 "augment"는 향상, 향상, 풍부화를 의미한다.
여기에 제시된 텔레비전 방송 시스템은 카메라 이미지에서만 작동한다. 추가 센서의 사용이 필요 없다. 또한, 여기에 제시된 시스템은 임의의 영역 또는 서브 섹션을 다른 이미지 정보로 증강할 수 있으며,이 과정에서 특정 배경색 (소위 크로마 키잉) 같은 실제 녹화된 장면의 조정 또는 제한 또는, LED 패널, 적외선 반사 물체 또는 그 유사 물체와 같은 자체 발광 배경의 사용을 필요로 하지 않는다. 방송될 제작 이미지의 증강의 선택은 상기 제작 이미지 해시값과 상기 카메라 이미지 해시값의 비교로부터 나온다. 두 개의 해시값들이 동일하면, 현재 제작 이미지가 특정 카메라에 의해 녹화된 카메라 이미지와 일치함이 유추될 수 있다. 스포츠 방송, 스포츠 필드, 배너, 스탠드 등과 같은 실제 이미지 컨텐츠에 대한 구조화된 정보가 포함되는 상기 연관된 카메라 이미지 메타 데이터를 통해, 상기 서브 이미지의 서브 섹션에 대한 증강 또는 중첩이 결정될 수 있다. 제작 이미지. 예를 들어, 광고가 있는 배너가 어느 섹션에 위치된 것이 메타 데이터로부터 파생될 수 있다면, 이 광고 섹션은 예를 들어 다른 광고와 함께 증강에 의해 중첩될 수 있다.
텔레비전 방송 시스템은 대안으로 후반 제작에 사용될 수 있다는 것이 설명된다. 이미지를 라이브로 녹화하고 상기 분석 모듈들로 전송하는 텔레비전 카메라 대신에, 텔레비전 방송의 카메라 이미지가 저장되어 왔던 적어도 하나의 저장 매체가 있다. 이렇게 저장된 카메라 이미지는 라이브로 녹화된 카메라 이미지 대신 사용된다. 이 경우에도 분석 모듈이 각 카메라에 할당될 경우, 카메라 이미지들이 저장 매체에 저장되어 후반-제작(post-production)에서도 증강을 활성화할 수 있다. 상기 제작 유닛은 후반-제작에서 활용될 수 있으며, 후반-제작 유닛으로 지정될 수도 있다.
텔레비전 방송 시스템은 제작 유닛, 분석 모듈, 동기화 모듈 및 곱셈 모듈에 연결된 제어 모듈을 더 포함 할 수 있으며, 제어 모듈은 제작 유닛으로부터 제어 모듈로 전송되는 제어 신호에 기초하여, 분석 모듈, 동기화 모듈 및 곱셈 모듈을 활성화(enable)시키거나 비활성화(disable)시키도록 구성된다. 따라서, 제어 모듈은 공지된 시스템에 대해 텔레비전 방송 시스템의 부가적인 구성 요소를 집중적으로 제어하는 역할을 한다. 이러한 시스템 확장의 단순한 통합을 위해, 제어 모듈이 제작 유닛에 의해 제어될 수 있는 것이 유리하다.
제어 모듈은 또한 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 감시하거나 제어하고 시간 오프셋을 상기 곱셈 모듈에 전송하도록 구성될 수 있다. 제작 이미지가 상기 분석 모듈에 의한 분석을 받지 않기 때문에, 제작 이미지의 이미지 신호는 각각 생성된 카메라 이미지 메타 데이터에 기초하여 생성된 상기 관련 프로덕션 이미지 메타 데이터보다 일반적으로 더 쉽게 이용 가능하며 현재의 제작 이미지와 카메라 이미지 간의 상술된 해시 값 비교에 기초하여 현재의 제작 이미지에 할당된다.
상기 제어 모듈은 적어도 하나의 주어진 증강을 저장하고 상기 증강을 상기 곱셈 모듈에 전송하도록 더 구성될 수 있다. 이러한 증강은, 예를 들어 이미지 파일, 비디오 시퀀스 등의 형태로 이용 가능하다. 추가 매개 변수를 고려하여 텍스트 시퀀스가 증강 또는 증강된 이미지에서의 페이드 인/중첩을 임의의 방법으로 그래픽 방식으로 표현될 수 있다.
제어 모듈은 적어도 하나의 주어진 애니메이션 시퀀스를 저장하고 애니메이션 시퀀스를 곱셈 모듈에 전송하도록 더 구성될 수 있다. 제작 이미지로부터 증강된 제작 이미지로 진행할 때 이러한 애니메이션 시퀀스는 제작 이미지의 급격한 변화를 피하는 역할을 한다. 가능한 애니메이션 시퀀스는, 예를 들어, 제작 이미지의 연속적인 변화가 특정 개수의 제작 이미지들의 시퀀스를 통해, 예를 들면 상기 제작 이미지의 부분적인 변화나 증강에 의해 또는 상기 증강에서의 페이드 인에 의해 발생되는 것과, 증강만이 보일 수 있거나 원래의 제작 이미지 섹션이 흐려지는(fade out) 방식에 의해 이미지 섹션의 실제 컨텐츠가 연속적으로 변경되는 점을 가능하게 한다. 이러한 애니메이션 시퀀스에 의해, 가상 롤링 배너가 예를 들면 위쪽이나 아래쪽 또는 옆쪽으로 굴리는 것과 같은 가상 롤링 배너가 실현될 수 있다. 또한, 실제 내용이 뒤집혀진 일종의 가상 윈도우의 종류를 제공하는 것이 생각될 수 있고, 상기 증강이 뒤집혀진 섹션에 나타난다.
상기 곱셈 모듈은 제 1 상태에서 증강 제작 이미지를 전송하고, 제 2 상태에서 상기 제작 이미지를 전송하고, 제 3 상태에서, 애니메이션 시퀀스에 의해 제 2 상태로부터 제 1 상태로 전이시키고, 제 4 상태에서, 애니메이션 시퀀스에 의해 상기 제 1 상태로부터 상기 제 2 상태로의 전이를 수행하도록 구성된다. 이 프로세스에서 첫 번째 상태는 일반적으로 제작 이미지가 증강되고 증강 제작 이미지가 방송되는 상태로 설명 될 수 있다. 제 2 상태는 또한 상기 제작 이미지가 증강없이 방송되는 상태로, 즉, 상기 곱셈 모듈을 통과하거나 변경되지 않은 상태로 진행되는 상태로 설명될 수 있다. 제 3 상태 및 제 4 상태는, 롤링 배너(rolling banner) 등과 같이 상술된 애니메이션 시퀀스가 발생하여, 제작 이미지의 증강의 활성화나 비활성화를 계속적으로 가능하게 전이 상태(transition states)이다.
상기 곱셈 모듈은, 제 1 상태 내지 제 4 상태와, 상기 제작 이미지 메타 데이터와, 상기 제어 모듈에 의해 전송된 상기 증강 및 상기 제어 모듈에 의해 전송된 상기 애니메이션 시퀀스를 기초로 하여 증강된 제작 이미지를 생성하도록 구성된 적어도 하나의 증강 컴포넌트를 구비한다. 일반적으로, 곱셈 모듈은 복수의 증강 컴포넌트를 가지며, 각 증강 컴포넌트는 동일한 제작 영상에 대해 상이한 증강(augmentation)을 생성한다. 예를 들어, 전세계 텔레비전 방송의 경우에, 텔레비전 신호가 방송될 각 국가에 대한 증강 컴포넌트가 있을 수 있음으로써, 상기 증강 컴포넌트에 의해, 특정 증강이, 예를 들어, 언어와 내용의 측면에서 조정된 경계 광고가 각 국가를 위해 뚜렷해 질 수 있다.
상기 제어 모듈은 추가 데이터를 추가 카메라로부터 및/또는 스크린 시스템으로부터, 특히 LED 시스템으로부터 및/또는 비디오 저장 시스템으로부터 추가 데이터를 수신하도록 구성되는 적어도 하나의 추가 데이터 입력을 구비할 수 있으며, 상기 제어 모듈 상기 추가 데이터를 상기 곱셈 모듈에 송신하도록 구성되고, 상기 곱셈 모듈은 상기 증강된 제작 이미지의 생성을 위해 상기 추가 데이터를 고려하도록 구성된다.
상기 텔레비전 방송 시스템은, 복수의 배너 모니터에 접속되고, 복수의 배너 모니터 상에 배너 화상을 표시 및/또는 애니메이트하도록 구성된 이미지 신호 출력을 구비한 전자 배너 시스템을 더 포함 할 수 있으며, 상기 배너 시스템은 상기 제어 모듈에 연결되고 상기 배너 모니터들을 위한 배너 이미지 신호를 상기 제어 모듈에 전송하도록 구성된다. 이 프로세스에서, 상기 분석 모듈은 폐색(occlusions)을, 특히 상기 배너 이미지 신호와 카메라 이미지 간의 비교를 기반으로 한 배너 모니터의 폐색을 결정하도록 구성될 수 있다. 예를 들어, LED에 의해 현재 표시되는 이미지는, 예를 들어, LED 시스템 (주변 광고)의 모니터 출력에서 하나 이상의 HDMI 또는 DVI 신호로 기록될 수 있다. 상기 LED 시스템은 각 카메라에 의해 녹화된 교정 애니메이션을 사용하여 방사상으로 보정될 수 있다. 따라서, 원래 이미지의 특정 컬러 값에 대해 LED 상에 표시될 수 있는 표현 기능이 결정되고, 그에 의해 녹화된 카메라 이미지 내의 특정 다른 컬러 값을 예측할 수 있다. 따라서, LED의 폐색은 상기 분석 모듈에 의해 정확하게 결정될 수 있는데, 예상되는 배경은 각 시점에서 알려져 있기 때문이다.
상기 곱셈 모듈은 또한 특정 이미지 섹션에서의 증강 또는 중첩이 각 카메라 설정에 대해 직각으로 투영되는 증강된 제작 이미지를 제공하도록 구성 될 수 있다. 특히, 증강은 카메라의 시점에서 직각으로 투영된 특정 기하학적 구조를 구비하는 것으로 간주된다. 이것은 가상의 "캠 카펫(cam carpet)"의 일종으로, 시트에 인쇄된 미리 왜곡된 패턴이며, 시트는 바닥에 펼쳐져 있다. 특정 기하학적 구조를 지닌 증강의 경우, 페이드 인될 패턴이 왜곡될 필요는 없지만 카메라 정렬에 의존하여 개별적으로 계산되고 확장된 제작 이미지에서 페이드 인(faded in)될 수 있다. 따라서, "캠 카펫"의 통상적인 분야에서, 예를 들어, 축구 경기장에 즉 경기장에서의 골들의 좌우에, 패턴 또는 광고 디스플레이가 시트 상에 실제적으로 인쇄될 수 있고, 상기 패턴은 경기장의 관중들에게 최적으로 판독 가능하다. 경기장에서의 관중들을 위한 이 판독 가능 패턴은 TV 방송의 범위 내에서 증강에 의해 중첩될 수 있음으로써, 동일한 패턴 또는 다른 패턴이 카메라 정렬에 의존하여 증강된 제작 이미지로 항상 최적으로 표시된다.
상기 곱셈 유닛은 또한 증강된 제작 이미지에서, 증강 및/또는 애니메이션이 상기 증강 제작 이미지 내의 투명 물체상에 보여질 수 있는 방식으로, 투명 패널 등과 같은 녹화된 투명 물체의 부분적인 변경 또는 중첩을 제공하도록 구성 될 수 있다. 투명 배경의 변경 또는 중첩의 경우, 증강 또는 애니메이션 그 자체가 투명하거나 반투명 섹션(sections)을 지님으로써 예를 들면 시각적으로 인지 가능한 구멍들 또는 개구들이 상기 증강들에 포함될 수 있다. 만약 윤곽선이나 채워진 표면에 속하지 않는 섹션들이 투명한 방식으로 표시될 수 있다면, 이러한 애니메이션 또는 증강들은 임의의 윤곽을 가질 수 있다. 예를 들어, 아이스 하키 스케이트장의 투명한 아크릴 유리 인클로저가 패턴이나 광고를 페이드 인(fade in)시킬 수 있다. 이러한 중첩은 예를 들어 모바일 인터뷰 벽에서도 고려 될 수 있다. 그러한 인터뷰 벽은 일반적으로 이벤트의 스폰서로 인쇄되거나 포함됩니다. 여기에 제시된 시스템을 사용하여, 예를 들어 각기 다른 팀의 스폰서를 고려하여 특정 인터뷰 파트너에 따라 특정 증강들이 이들 벽들의 영역 내에 페이드 인될 수 있다.
상기 곱셈 모듈은 또한 복수의 다양하게 증강된 제작 이미지들을 생성하고 이들을 서로 다른 출력들에 동기식으로 출력하도록 구성될 수 있다. 이것은 전술한 바와 같이, 예를 들어 상기 증강된 제작 이미지가 전송될 국가들에 의존하여, 상기 증강된 제작 이미지가 유료 TV 또는 무료 TV 고객에 전송될지에 따라 다양하게 증강된 제작 이미지의 출력을 가능하게 한다.
시스템에 대해 위에서 설명한 속성 및 기능은 방법으로도 표현할 수 있습니다. 따라서, 텔레비전 방송 또는 텔레비전 녹화의 이미지의 증강 방법이 제안되며, 증강 방법은:
복수의 텔레비전 카메라에 의해 카메라 이미지들을 녹화하고, 카메라 이미지들을 카메라 신호로서 출력하는 단계와;
상기 복수의 텔레비전 카메라의 카메라 이미지들로부터의 선택으로부터 생성된 일련의 제작 이미지들을 생성하고, 상기 제작 이미지들을 제작 화상 신호로 출력하는 단계와;
각각의 분석 모듈에서 상기 복수의 텔레비전 카메라의 상기 카메라 이미지들을 동기적으로 버퍼링하여 수신하는 단계로, 각각의 카메라 이미지가 분석되고 각각의 카메라 이미지에 대한 카메라 이미지 메타 데이터가 생성되고 카메라 이미지 해시 값이 계산되고, 상기 카메라 이미지 메타 데이터와 상기 카메라 이미지 해시 값은 각각의 분석 모듈로부터 비동기적으로 출력되며;
동기화 모듈에서 상기 제작 이미지들을 동기적으로 버퍼링하여 수신하고, 각 제작 이미지에 대한 제작 이미지 해시 값을 계산하고, 상기 이미지 메타 데이터와 각 카메라 이미지에 대한 상기 카메라 이미지 해시값을 동기적으로 버퍼링하여 수신하는 단계로, 상기 제작 이미지 해시값들과 카메라 이미지 해시값들이 비교되고,이 비교에 기초하여, 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터가 연관된 제작 이미지 메타 데이터로서 현재의 제작 이미지에 할당되고, 상기 연관된 제작 이미지 메타 데이터는 동기식으로 버퍼링되어 출력되고;
곱셈 모듈에서 상기 연관된 제작 이미지 메타 데이터 및 상기 제작 이미지를 동기적으로 버퍼링하여 수신하고, 상기 곱셈 모듈에서 상기 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 보상하고, 증강 제작 이미지가 생성되도록 상기 연관된 제작 이미지 메타 데이터를 기반으로 증강으로 상기 제작 이미지의 적어도 하나의 섹션에서의 중첩을 생성하고, 상기 증강 제작 이미지를 출력하는 단계를 포함한다.
본 발명의 또 다른 독립적인 측면에 따르면, 텔레비전 방송 시스템이 제안되며, 텔레비전 방송 시스템은:
카메라 이미지를 녹화하여 카메라 신호로서 출력하는 복수의 텔레비전 카메라 또는 텔레비전 카메라에 의해 이전에 녹화된 카메라 이미지를 저장하고 저장된 카메라 이미지를 카메라 신호로서 출력하도록 구성된 적어도 하나의 저장 매체와;
상기 복수의 텔레비전 카메라의 카메라 이미지로부터 일련의 제작 이미지들을 생성하여 제작 신호로서 출력하도록 구성된 적어도 하나의 제작 유닛과;
각 분석 모듈이 각각의 텔레비전 카메라에 할당되는 복수의 분석 모듈로, 상기 분석 모듈은 카메라 이미지들을 동기식으로 버퍼링하여 수신하도록 구성되며, 상기 분석 모듈은 각각의 개별 카메라 이미지를 분석하고 카메라 이미지 메타 데이터뿐만 아니라, 각 카메라 이미지에 대한 카메라 이미지 해시값을 산정하여 각 카메라 이미지에 대한 카메라 이미지 메타 데이터 및 카메라 이미지 해시값을 비동기적으로 출력하고;
상기 제작 유닛 및 상기 분석 모듈들에 연결되고 상기 제작 유닛으로부터 상기 제작 이미지들을 동기식으로 버퍼링하여 수신하고 연관된 제작 이미지 해시 값을 각각의 제작 이미지에 대해 계산하고, 각 카메라 이미지에 대해 분석 모듈로부터 상기 카메라 이미지 메타 데이터 및 상기 연관된 카메라 이미지 해시 값을 비동기적으로 버퍼링하여 수신하고, 제작 이미지 해시값들과 카메라 이미지 해시값들을 비교하고, 상기 비교에 기초하여 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터를 연관된 제작 이미지 메타 데이터로서 현재 제작 이미지에 할당하고, 상기 연관된 제작 이미지 메타 데이터를 동기적으로 버퍼링하여 출력하는 동기화 모듈과;
상기 동기화 모듈 및 상기 제작 유닛에 연결되고 상기 동기화 모듈로부터 상기 연관된 제작 이미지 메타 데이터를 동기식으로 버퍼링하여 수신하고, 상기 제작 유닛으로부터 상기 제작 이미지를 동기식으로 버퍼링하여 수신하도록 구성된 곱셈 모듈을 구비하고, 상기 곱셈 모듈은 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 보상하고, 상기 연관된 제작 이미지 메타 데이터에 기초하여 증강에 의해 상기 제작 이미지의 적어도 하나의 서브 섹션의 제작 이미지에서의 변화를 생성함으로써 증강 제작 이미지를 생성하여 상기 증강 제작 이미지를 출력하고, 상기 곱셈 모듈은 제 1 상태에서 상기 증강 제작 이미지를 전송하고, 제 2 상태에서 상기 제작 이미지를 전송하고, 제 3 상태에서, 애니메이션 시퀀스에 의해 제 2 상태로부터 제 1 상태로 전이시키고, 제 4 상태에서, 애니메이션 시퀀스에 의해 상기 제 1 상태로부터 상기 제 2 상태로의 전이를 수행한다.
본 발명에 따른 이러한 시스템에서, 상기 곱셈 모듈은 전술한 상태들에 의해, (증강) 제작 이미지들을 수신하는 사용자에게는 더 이상 보이지 않는, 애니메이션 시퀀스들의 사용으로 인해 증가의 임의의 스위칭 온/오프를 가능하게 하며, 사용자는 (애니메이션 시퀀스 중) 전이 이미지, 실제 제작 이미지 또는 영구적인 증강 제작 이미지를 볼 수 있다. 따라서, 증강의 스위치 온/오프는 우아하면서 사용자 또는 관객에 대해 눈에 띄지 않게 발생할 수 있고 또한 시각적인 혼란 효과를 발생시키지 않는다.
다음의 본문에서, 본 발명은 첨부된 도면을 참조하여 예시적이고 제한 없이 설명된다.
도 1은 텔레비전 방송 시스템의 단순화된 개략도를 도시한다.
도 2는 분석 프로세스를 개략적으로 도시한다.
도 3은 동기화 프로세스를 개략적으로 도시한다.
도 4는 곱셈 모듈 및 그 연관 곱셈 프로세스를 개략적으로 도시한다.
도 5는 곱셈 모듈에 존재하는 상태를 도시한다.
도 6은 연관된 애니메이션 시퀀스를 포함하는 증강의 예를 도시한다.
텔레비전 방송 시스템(10)은 복수의 카메라(C1, C2) 및 제작 유닛(12)을 포함하며, 상기 카메라(C1, C2)는 그들의 카메라 이미지를 카메라 이미지 신호로서 상기 제작 유닛(12)에 전송한다. 일반적으로, 상기 2개의 카메라(C1), (C2) 이상의 카메라들이 이러한 텔레비전 방송 시스템(10)에 포함되며, 카메라 (C2)의 우측의 3 개의 검은 점들로 표시된다.
현재의 표현에서, 시간 또는 동기식 방식으로 처리된 데이터 또는 시간 형(동기식) 방식으로 작동된 모듈들은 실선으로 표시된다. 비동기적으로 작동된 모듈 또는 비동기적으로 처리된 데이터는 점선으로 표시된다. 충분히 알려져 있는 통상적인 처리 경로는 상기 카메라 (C1, C2)에서 시작한다. 카메라 신호 (S1)는 복수의 카메라 (C1, C2) (~ Cn)에 의해 녹화되어, 제작 유닛(12)에 전송된다. 제작 유닛(12) 내에서, 제작 이미지 시퀀스 또는 제작 이미지 신호가 개별 카메라(C1 내지 Cn)의 상기 카메라 이미지들로부터 컴파일되거나 편집된다. 기술 전문 용어로 세계 피드로 지정된 편집된 제작 이미지 신호(S3) 또는 연속 제작 이미지가 방송된다. 이와 관련하여, 반복, 느린 동작, 인터뷰 등의 경우와 같이 후반 작업의 경우 증강들을 특히 이전 생방송 이미지에서와 동일한 증강들을 녹화하거나 페이드 인시킬 수 있는 가능성이 있음이 지적된다. 이러한 목적으로 제작 유닛은 라이브 방송 시퀀스 동안이나 그 후에 또는 이러한 후반 작업을 위한 제어 모듈을 사용하여 증강을 활성화시키거나 비활성화하도록 구성된다.
본 발명의 일 실시예에 따르면, 텔레비전 방송 시스템(10)은 다음과 같이 확장된다. 카메라 신호(S1)는 분석 모듈(A1, A2) (A2 아래의 3 개의 검은 색 점으로 표시되는 An까지)에 전달된다. 분석 모듈(A1, A2)은 신호(S2)를 선택 또는 동기화 모듈(14)로 전송된다. 분석 모듈(A1, A2) 각각은 각각의 카메라(C1, C2)에 할당된다. 각각의 카메라 이미지에 대해, 분석 모듈 (A1, A2)에 의해 카메라 이미지 메타 데이터(M1, M2)(~ Mn)가 생성되고 계산된 연관된 해시 값(H1, H2)(~ Hn)이 생성된다. 분석 모듈(A1, A2)에 의해 메타 데이터 및 해시 값의 각각의 쌍, 즉, 예를 들어, (M1, H1) 또는 (M2, H2)가 신호들(S2)로서 동기화 모듈(14)로 전송된다. 동기화 모듈(14)은 또한 제작 유닛으로부터 제작 이미지 신호(S3a) 또는 제작 이미지를 수신한다. 동기화 모듈(14)은 제작 이미지에서 현재 가시적인 카메라의 수정된 메타 데이터(S4)를 곱셈 모듈(16)로 전달한다. 곱셈 모듈(16)은 방송되는 복수의 증강된 제작 이미지 신호(S5)를 생성한다. 분석 모듈들(A1, A2), 동기화 모듈(14) 및 곱셈 모듈(16)은 제어 모듈(18)에 의해 제어된다. 제어 모듈(18)은 제작 유닛(12)을 통해 제어된다. 예를 들어 HDMI 또는 DVI와 같은 이미지 전송 프로토콜을 통해 이미지 데이터를 제어 모듈 (18)에 전송하는 선택적인 LED 시스템(20)이 도 1에 도시된다. 그러나,이 LED 시스템은 텔레비전 방송 시스템(10)의 기본 기능을 위해 필수적인 것은 아니다
도 2는 분석 모듈(A1, A2)에서의 프로세스를 예시적으로 나타낸다. 카메라 이미지 또는 카메라 이미지 신호는 입력으로서 분석 모듈(A1, A2)로 동기식으로 버퍼링되어 전송된다. 카메라 이미지가 임시 저장되는 버퍼는 P로 지정된다. 카메라(C1, C2)의 각각의 카메라 이미지에 대해, 카메라 이미지 메타 데이터(M) 및 카메라 이미지 해시 값(H)은 상기 연관된 분석 모듈(A1, A2)에서 결정되거나 계산된다. 이들 메타 데이터(M) 및 연관된 카메라 화상 해시 값(H)은 각각의 분석 모듈(A1, A2)에 의해 출력 변수(출력)로서 제공된다.
따라서, 분석 모듈(A1, A2)은 버퍼(P)에 저장된 카메라(C1, C2)의 시간 측정된 카메라 이미지를 입력으로 받는다. 각각의 분석 모듈(A1, A2)은 제어 모듈(18)에 의해 통신되어, 중첩되는 객체들의 위치를 인식한다. 또한, 중첩되지 않는 전경에 의한 이들 객체들의 폐색이 예를 들면, "Boun Vinh Lu; Kakuta, T.; Kawakami, R.; Oishi, T.; Ikeuchi, K., "야외 증강 현실을 위한 전경 및 그림자 폐색 처리, "혼합 및 증강 현실 (ISMAR), 2010 제 9 회 IEEE 국제 심포지움 vol., no., pp. 109,118, 2010 년 10 월 13-16 일 "에서의 방법에 의해 분석된다. 이를 위해, 버퍼 (P)로부터의 이미지에 대한 이미지를 비동기적으로 처리하는 현재의 이미지 프로세싱 방법 (예를 들어, 객체 인식, 객체 검출, 컨벌루션 뉴럴 네트워크)이 사용된다. 추출된 메타 데이터(M)에는 상기 처리된 이미지 컨텐츠로부터 결정된 카메라 이미지 해시 값(H)이 제공된다. 이것은 예를 들어, "Loic Paulev
Figure 112019048475710-pct00001
, Herv
Figure 112019048475710-pct00002
e J
Figure 112019048475710-pct00003
egou, Laurent Amsaleg 지역 민감성 해싱 : 해시 함수 유형 및 Pattern Recognition Letters, Elsevier, 2010, 31 (11), pp. 1348-1358 "에 설명되어 있듯이 LSH를 사용하여 수행될 수 있다. 당연히, 다른 계산 방법이 해시 값에 대해 가능하며 언급된 방법은 순전히 예시적인 것이다. 카메라 이미지 해시 값(H)은 부분적인 폐색 및 전이와 관련하여 적절한 전이를 통해 강건하게 된다. 따라서, 제작 유닛(12)이 기초 카메라(C1, C2)로 전환되면 추출된 메타 데이터(M)는 나중에 연관 제작 이미지에 할당될 수 있다.
도 3은 동기화 모듈(14) 및 그 연관 프로세스를 개략적으로 도시한다. 동기화 모듈(14)은 특히 신호 경로(S3a) (도 1)를 통해 입력 변수 (입력)로서 제작 이미지들(R) 또는 제작 이미지 신호를 동기적으로 버퍼링하여 수신한다. 또한, 동기화 모듈(14)은 각 카메라 이미지에 대해 모든 카메라(C1, C2)의 각 분석 모듈(A1, A2)로부터 비동기적으로 버퍼링된 데이터로서 연관된 메타 데이터(M) 및 카메라 이미지 해시 값(H)을 수신한다. 동기화 모듈(14)은 어떤 카메라(C1, C2)로부터의 이미지가 제작 유닛(12)에 의해 표시되는지를 인식한다. 또한, 제작의 지연이 얼마나 큰 지가 인식된다. 모든 제작 이미지(R)에 대해, 제작 이미지 해시 값(HR)은 분석 모듈(A1, A2)에서와 동일한 방식으로 (22)에서 계산된다. 인식을 위해, 분석 이미지 해시 버퍼(Pn)의 모든 데이터 세트의 카메라 이미지 해시 값(Hnk) (n : 카메라, k : 버퍼의 인덱스)이 제작 이미지 해시 버퍼(PR) 내의 모든 데이터 세트(HR1)의 제작 이미지 해시 값(HR)과 비교된다.
이러한 메타 데이터(Mnk)는 출력 변수 또는 출력으로 출력되며 다음 수학식1을 충족시킨다:
Figure 112019048475710-pct00004
이 프로세스에서 d는 해시 값을 비교하는데 적합한 메트릭(metric)이다. 또한, w(x)는 PR값과 Pn값이 비교될 수 있는, x 에 의해 변위된 윈도우를 나타낸다. 1은 윈도우 내의 모든 샘플링된 값에 걸쳐 실행되고, k의 아날로그는 변위된 윈도우의 샘플링된 모든 값에 걸쳐 실행된다. 크기 |w(x)|는 윈도우의 변위 수 또는 전체 수식의 수를 나타낸다. 충분한 수치 안정성을 달성하려면 |w(x)| 충분히 크게 선택되어야 하며, 예를 들면, |w(x)| 버퍼 크기의 약 절반에 해당된다. 위에 표시된 합계가 주어진 임계값을 초과하면 태그(INVALID)가 메타 데이터(Mnk)에 추가된다. 합계가 임계 아래로 유지되면 태그(VALID)가 메타 데이터에 추가된다.
이러한 점은 아주 간단한 예제를 토대로 간단히 설명된다. 그러나,이 예는 사실상 해시 정보가 부족하고 d의 강건성(robustness)이 없어서 텔레비전 이미지 신호의 실제 처리에 대해 작동하지 않는다는 점이 지적된다. 여기의 예제는 단순히 위의 적용 함수에 대한 이해를 향상시키기 위한 것이다.
해시 값은 1차원이며, 위 수학식 1의 d는 HR1과 Hnk 사이의 차이값이라고 가정된다. 또한, 변위가 왼쪽에서 버퍼로 이루어진다고 가정된다; 따라서, 가장 낮은 색인을 가진 가장 오래된 이미지가 우측이다. x=-1, 0 및 +1이 가능하도록 크기 |w(x)|는 최소 3으로 가정된다. 이 예에서는 세 대의 카메라 (n=1 ~ 3)가 가정된다. 다음 버퍼 상황이 표 1과 같이 보여진다:
HR1 l=4 l=3 l=2 l=1
PR 9 3 2 8
Hnk k=4 k=3 k=2 k=1
P1 (n=1) 9 9 8 9
P2 (n=2) 7 9 3 3
P3 (n=3) 1 4 5 6
여기에서 전체 계산을 설명하지 않고 위의 함수에 대한 최상의 해를 나타내는 쌍(n, x)은 (n=2, x=1)으로 지적된다. 이것은 카메라(2)가 가시적 인 것을 의미하며 (즉, 카메라(2)로부터의 카메라 이미지가 제작 이미지로서 사용됨), 인덱스 l과 k는 다음과 같이 관련된다: k=l-1. 위에서 언급 한 합계는 w(x=1)={2,3,4}를 거치거나 또는 이것과 관련해서, {1,2,3}의 k로 확장된다. 이 과정에서, d = 1 인 경우 PR (1 = 2) 및 P2 (k = 1)를 제외하고는 각각의 해시 값은 서로 일치한다.
도 4는 곱셈 모듈(16) 및 이와 연관된 프로세스를 개략적으로 도시한다. 입력 변수들(입력)은 이들 입력 변수가 동기식으로 버퍼링되며, 상기 제작 이미지 또는 제작 신호(R) 자체이거나 상기 제작 이미지 또는 제작 신호에 대한 제작 이미지 메타 데이터(MR)이다. 상기 제작 이미지 메타 데이터(MR)는 동기화 모듈(14)에 의해 제공된다(도 1의 S4). 곱셈 모듈은 신호(S5)로서 상이한 증강을 지닌 제작 이미지 또는 제작 신호를 출력하고, 이는 실제로 방송된다. 이 증강 제작 이미지 또는 제작 신호는 동기적으로 버퍼링되어 출력된다.
곱셈 모듈(16)은 AK2 아래의 3 개의 도트에 의해 지시되는 증강 컴포넌트 (AK1, AK2 내지 AKn)를 포함한다. 상기 증강 성분(AK1, AK2)은 제작 이미지 또는 제작 신호를 개별적으로 중첩하기 위해 제어 모듈(18)에 의해 지정된 애니메이션 및 증강뿐만 아니라 상태(Z(t))인 메타 데이터(Mj)를 사용한다.
동기화 모듈(14)에 의해 야기되는, 제공된 제작 이미지 메타 데이터 (MR)와 제작 이미지(R) 간의 일정 시간 오프셋(i-j)은 제어 모듈 (18)을 통해 곱셈 모듈(16)에 전달된다.이 정보에 기초하여, 시간 오프셋이 상기 버퍼(PR), (PM)에 의해 보상됨으로써, 상기 연관된 메타 데이터가 각각의 제작 이미지에 정확하게 할당될 수 있다.
이 과정에서, Z t)에 대한 잠재적인 상태는 EN과 TR의 두 변수로 설명될 수 있으며, EN은 증강이 켜지거나 꺼져있는지를 나타내는 것이며, TR은 스위치 온 상태와 스위치 오프 상태 사이에서 전환할 때 전이 애니메이션이 재생되는지를 나타낸다..
이들 상태들은 하기와 같다:
EN=1 및 TR=0 인 Z=1이고, 증강 성분은 메타 데이터에 따라 규칙적으로 증강하는 것, 즉, 증강은 스위치 온 된다 (스위치 온 상태);
EN=0 및 TR=0 인 Z=2이고, 증가 성분은 증강의 페이드 인없이 원본 이미지를 출력하는 것으로, 즉 증강은 스위치 오프된다 (스위치 오프 상태);
EN=1 및 TR=1 인 Z=3이며, 증강 성분은 스위치 온 상태 (Z=1)에서 스위치 오프 상태 (Z=2)로 이동하는 전이 애니메이션을 재생하는 것입니다;
Z=4이고, EN=0 및 TR=1이고, 증강 성분은 스위치 오프 상태 (Z=2)에서 스위치 온 상태 (Z=1)로 이동하는 전이 애니메이션을 재생하는 것이다.
상태 Z(t)=1 내지 4 및 이들의 전이는 도 5에 예시적인 방식으로서 도시된다. 이 과정에서, 증강의 표시를 스위치 오프하는 것은 Z=1 및 OK=0 (데이터 S2(t)가 표시에 적합하지 않음)에서 Z=3을 통해 Z=2으로 N 사이클을 지속하는 전이이다. 증강 표시를 스위치 온하는 것은 Z=2 및 OK=1 (데이터 S2(t)가 표시에 적합함)에서 Z=4를 통해 Z=1까지 N 사이클을 지속하는 전이이다.
이러한 상태 전이는 증강 컴포넌트(AK1, AK2)가 현재의 카메라 이미지 (제작 이미지)를 중첩할 수 있도록 할뿐만 아니라 이를 구체적으로 변경하여, TV 세트를 스위칭할 때 현재의 현실 또는 증강이 보여질 수 있는지가 인식될 수 없게 한다. 따라서, "가상 롤링 배너(virtual rolling banner)" (현실이 "앞뒤로 움직이기"), "가상 창"(현실이 "뒤집혀짐(flipped open") 등과 같은 효과가 달성될 수 있다.
가상 롤링 배너의 예시가 도 6에 따라 간략하게 설명된다. 첫번째 이미지(왼쪽)는 Z=2 상태를 나타내며 실제 이미지는 제작 이미지로 방송된다. 애니메이션이 방송될 제작 이미지로 증강 "augment"를 연속적으로 페이드 인시키는데 사용되는 경우, 이미지 2 내지 4 (왼쪽에서 오른쪽으로)는 전이 상태 Z=4를 보여준다. 상태 "Z=1"은 우측 이미지(5)에서 달성되며, 여기서 증강 "augment"는 방송될 제작 이미지로 영구적으로 페이드 인된다. 자연스럽게, 이러한 가상 롤링 배너는 증강이 비활성화되는 경우에 전이 상태 Z=3인 상태 Z=1로부터 상태 Z=2로 전이하는데 사용될 수 있다.
이러한 목적으로 구성된 애니메이션 및 시스템의 재생과 관련하여, 동일 출원인이 같은 날에 출원 한 "증강 영상 제작 시스템"이라는 명칭의 출원이 참조된다. 본 명세서에 기재된 상이한 모듈을 갖는 시스템은 도 4 내지 6에 관한 상기 설명을 위해 본원에 전체적으로 합체된다. 특히, 여기서 설명된 곱셈 모듈 (16) 및 제어 모듈(18)은 전술한 병렬 특허 출원에 설명된 모듈들의 대응하는 기능들을 대신할 수 있다. 참조된 특허 출원에서, 본 출원에 대한 관련성을 갖는 도면 설명의 모든 실시예에 대한 참조가 구체적으로 이루어지고, 본원의 출원의 특징의 구체화를 위해 그 개시 내용이 또한 고려 될 수 있다.
도 1에 도시 된 제어 모듈 (18)은 모든 다른 모듈, 즉 분석 모듈(A1, A2), 동기화 모듈(14) 및 곱셈 모듈(16)의 중앙 제어를 담당한다. 제어 모듈(18) 자체는 제작 유닛(12)에 의해 제어된다. 제작 유닛(12)은 (Z = 1에서 Z = 3까지 그리고 Z = 2)의 어느 시점에서도 증강 시스템을 비활성화시킬 수 있고, (Z 2에서 Z = 4 그리고 Z = 1)에서 활성화시킬 수 있으며, 이때 곱셈 모듈(16)의 상태 Z (t)에 의해 비활성화(disablement) 또는 활성화(enablement)가 수행된다.
이미 언급한 바와 같이, LED에 의해 현재 표시된 이미지는 LED 시스템(20)의 모니터 출력에서의 선택적인 확장으로서, 하나 이상의 이미지 신호로 녹화될 수 있다. LED 시스템은 각 카메라에 의해 녹화는 교정 애니메이션을 사용하여 복사계 또는 기하학적으로 보정될 수 있다. 따라서 원래의 이미지에서 특정 컬러값(x)에 대해 LED 상에 표시될 표현 f:x->y의 함수가 결정될 수 있고, 그것에 의해 녹화된 카메라 이미지에서 특정 컬러값(y)을 예측할 수 있다. 이는 분석 모듈(A1, A2)이 배경으로서 또는 어느 시간에서도 알려진 이미지의 각각의 위치에서 예상되는 컬러 값으로서 폐색을 결정할 수 있게 한다.
LED 시스템의 통합 및 전경 물체 및 배경 물체의 향상된 증강에 대한 관련 가능성과 관련하여, 같은 날에 같은 신청자가 제출한 "이미지 및/또는 이미지 시퀀스 내의 전경 및 배경 간의 대비(contrast)를 동적으로 최대화하기 위한 시스템"이라는 제목의 출원이 참조된다. 여기에 설명된 시스템 및 대응하는 방법 단계들은 본 명세서에 제시된 텔레비전 방송 시스템에 통합될 수 있으며, 특히 여기에 기재된 제어 모듈(K)은 제어 모듈(18)에 설명된 시스템에 포함될 수 있다. 여기에 설명된 표시 장치는 본 명세서에 기재된 LED 시스템(20)에 포함될 수 있다. 도 1 및 본 출원의 도 1의 리뷰로부터, 병렬 애플리케이션의 시스템은 텔레비전 방송 시스템에 쉽게 통합될 수 있음을 알 수 있다. 따라서, "이미지 및/또는 이미지 시퀀스의 전경 및 배경 간의 대비를 동적으로 최대화하기 위한 시스템"이라는 제목의 병렬 출원을 완전하게 참조하고, 거기에 기재된 모든 특징들이 본 명세서에 제시된 텔레비전 시스템, 특히, 정보를 표시하기 위한 데이터베이스(비디오 클립) 및 해당 네트워크 연결로 통합될 수 있다. 또한, 여기에 설명된 분석 모듈은 본질적으로 병렬 응용에 기술된 에너지 함수를 계산하고 최소화할 수 있다.
본 명세서에 제시된 텔레비전 방송 시스템은 특히 제작 유닛에서 상이한 카메라 신호가 방송될 생산 신호로 편집되는 기간 동안 실질적으로 실제의 이미지 컨텐츠를 사실상 실시간으로 변경할 수 있게 한다. 메타 데이터의 결정을 위한 이미지 인식에 순전히 기초한 분석은 그러한 방송 시스템에서 통상적인 시간이 거의 지연되지 않는 방식으로 선택된다. 그러한 시스템에 대한 통상적인 사용 분야는, 예를 들어, 각국에 대한 스포츠 방송 일 수 있으며, 여기서 각 국가에 대해, 증강 형태의 광고가 이용 가능하게 되고 그에 따라 페이드 인될 것이다. 예를 들어, 조직 국가의 배너 광고가 실제로 표시되는 경우 국가 별 광고는 이벤트가 전송되는 각 국가에 대한 증강을 통해 증강으로서 페이드 인될 수 있습니다. 이 과정에서, 현실과 가상 증강 사이의 부드러운 전이는 곱셈 모듈에서 전이 상태(Z=3 또는 4)로 인해 가능해지고, 따라서 텔레비전 시청자는 이벤트의 위치에서 보여질 수 있는 실제 광고를 볼 수 있는지 여부를 또는 페이드 인된 특정 광고 또는 증강을 볼 수 있는지를 구별할 수 없게 된다. 이미 개시된 바와 같이, 제시된 텔레비전 방송 시스템은 임의의 위치, 거리 등을 결정하는 추가 센서를 필요로 하지 않는다. 기능 원리는 카메라가 녹화한 각 카메라 이미지로부터 실시간으로 이미지 분석을 기반으로 한다.

Claims (16)

  1. 카메라 이미지들을 녹화하여 카메라 신호(S1)로서 출력하는 복수의 텔레비전 카메라들(C1, C2) 또는 텔레비전 카메라들에 의해 이전에 녹화된 카메라 이미지들을 저장하고 카메라 신호(S1)로서 저장된 카메라 이미지들을 출력하는 적어도 하나의 저장 매체와;
    상기 복수의 텔레비전 카메라들(C1, C2)의 카메라 이미지로부터 일련의 제작 이미지들을 생성하여 제작 신호(S3)로서 출력하도록 구성된 적어도 하나의 제작 유닛(12)과;
    각 분석 모듈(A1, A2)이 각각의 텔레비전 카메라(C1, C2)에 할당되는 복수의 분석 모듈(A1, A2)로, 상기 분석 모듈(A1, A2)은 카메라 이미지들을 동기적으로 버퍼링하여 수신하도록 구성되며, 상기 분석 모듈(A1, A2)은 각각의 개별 카메라 이미지를 분석하고 카메라 이미지 메타 데이터(M)뿐만 아니라, 각 카메라 이미지에 대한 연관된 카메라 이미지 해시값(H)을 산정하여 각 카메라 이미지에 대한 카메라 이미지 메타 데이터(M) 및 카메라 이미지 해시값(H)을 비동기적으로 출력하고;
    상기 제작 유닛(12) 및 상기 분석 모듈들(A1, A2)에 연결되고 상기 제작 유닛(12)으로부터 상기 제작 이미지들을 동기적으로 버퍼링하여 수신하고 각각의 제작 이미지에 대해 연관된 제작 이미지 해시 값(HR)을 계산하고, 각 카메라 이미지에 대해 상기 분석 모듈(A1, A2)로부터 상기 카메라 이미지 메타 데이터(M) 및 상기 연관된 카메라 이미지 해시 값(H)을 비동기적으로 버퍼링하여 수신하고, 제작 이미지 해시값들(HR)과 카메라 이미지 해시값들(H)을 비교하고, 상기 비교에 기초하여 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터(Mj)를 연관된 제작 이미지 메타 데이터(MR)로서 현재 제작 이미지(Ri)에 할당하고, 상기 연관된 제작 이미지 메타 데이터(MR)를 동기적으로 버퍼링하여 출력하는 동기화 모듈(14)과;
    상기 동기화 모듈(14) 및 상기 제작 유닛(12)에 연결되고 상기 동기화 모듈(14)로부터 상기 연관된 제작 이미지 메타 데이터(MR)를 동기식으로 버퍼링하여 수신하고, 상기 제작 유닛(12)으로부터 상기 제작 이미지들을 동기식으로 버퍼링하여 수신하도록 구성되고, 하나의 제작 이미지와 상기 연관된 제작 이미지 메타 데이터(MR) 간의 시간 오프셋을 보상하고, 상기 연관된 제작 이미지 메타 데이터(MR)에 기초하여 증강에 의해 상기 제작 이미지의 적어도 하나의 서브 섹션의 제작 이미지에서의 변화를 생성함으로써 증강 제작 이미지를 생성하여 상기 증강 제작 이미지를 출력하는 곱셈 모듈(16)로 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  2. 제 1 항에 있어서,
    상기 시스템은 상기 제작 유닛(12)과 상기 분석 모듈들(A1, A2)과 상기 동기화 모듈(14) 및 상기 곱셈 모듈(16)에 연결된 제어 모듈(18)을 더 포함하고, 상기 제어 모듈(18)은 상기 제작 유닛(12)으로부터 송신된 제어 신호에 기초하여 상기 분석 모듈들(A1, A2)과 상기 동기화 모듈(14) 및 상기 곱셈 모듈(16)을 활성화시키거나 비활성화시키도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  3. 제 2 항에 있어서,
    상기 제어 모듈(18)은 하나의 제작 이미지와 상기 연관된 제작 이미지 메타 데이터(MR) 사이의 시간 오프셋을 감시하거나 제어하고, 상기 시간 오프셋을 상기 곱셈 모듈(16)에 전송하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  4. 제 3 항에 있어서,
    상기 제어 모듈(18)은 적어도 하나의 주어진 증강을 저장하고 상기 증강을 상기 곱셈 모듈(16)에 전송하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  5. 제 4 항에 있어서,
    상기 제어 모듈(18)은 적어도 하나의 주어진 애니메이션 시퀀스를 저장하고 상기 애니메이션 시퀀스를 상기 곱셈 모듈(16)에 전송하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  6. 제 4 항에 있어서,
    상기 곱셈 모듈(16)은 제 1 상태(Z1)에서 상기 증강 제작 이미지를 전송하고, 제 2 상태(Z2)에서 상기 제작 이미지를 전송하고, 제 3 상태(Z3)에서, 애니메이션 시퀀스에 의해 제 2 상태(Z2)로부터 제 1 상태(Z1)로의 전이를 수행하고, 제 4 상태(Z4)에서, 제 1 상태(Z1)로부터 애니메이션 시퀀스에 의해 제 2 상태(Z2)로의 전이를 수행하는 것을 특징으로 하는 텔레비전 방송 시스템.
  7. 제 6 항에 있어서,
    상기 곱셈 모듈(16)은 적어도 하나의 증강 컴포넌트(AK1, AK2)를 구비하여, 상기 제 1 내지 제 4 상태들과 상기 제작 이미지 메타 데이터(MR)와 상기 제어 모듈(18)에 의해 전송된 증강 및 상기 제어 모듈(18)에 의해 전송된 상기 애니메이션 시퀀스를 기초하여 상기 증강된 제작 이미지를 생성하도록 된 것을 특징으로 하는 텔레비전 방송 시스템.
  8. 제 2 항에 있어서,
    상기 제어 모듈(18)은 적어도 하나의 데이터 입력을 구비하여, 다른 카메라 또는 스크린 시스템 또는 비디오 저장 시스템으로부터 추가 데이터를 수신하도록 구성되며, 상기 제어 모듈(18)은 상기 추가 데이터를 상기 곱셈 모듈(16)로 전송하고, 상기 곱셈 모듈(16)은 상기 증강된 제작 이미지의 생성을 위해 상기 추가 데이터를 고려하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  9. 제 2 항에 있어서,
    상기 텔레비전 방송 시스템은 이미지 신호 출력을 구비하는 전자 배너 시스템을 구비하여 복수의 배너 모니터에 접속되고 상기 복수의 배너 모니터 상에 배너 이미지를 표시 또는 애니메이션하도록 구성되고, 상기 배너 시스템은 상기 제어 모듈에 연결되고 상기 배너 모니터들을 위한 배너 이미지 신호를 상기 제어 모듈로 전송하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  10. 제 9 항에 있어서,
    상기 분석 모듈은 상기 배너 이미지 신호와 카메라 이미지 간의 비교에 기초하여, 폐색을 결정하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  11. 제 1 항에 있어서,
    상기 곱셈 모듈(16)은 특정 이미지 섹션의 증강 또는 중첩이 각 카메라 설정에 대해 직각으로 투영되는 증강 제작 이미지를 제공하도록 구성되는 것을 특징으로 하는 텔레비전 방송 시스템.
  12. 제 1 항에 있어서,
    상기 곱셈 모듈(16)은 하나의 증강 제작 이미지에서, 증강 또는 애니메이션이 상기 증강 제작 이미지 내의 투명 물체상에 보여질 수 있는 방식으로, 투명 패널 등과 같은 녹화된 투명 물체의 부분적인 변경 또는 중첩을 제공하도록 구성되어, 상기 증강 또는 상기 애니메이션 자체가 투명한 섹션들을 구비하는 것을 특징으로 하는 텔레비전 방송 시스템.
  13. 제 1 항에 있어서,
    상기 곱셈 모듈(16)은 복수의 다양한 증강 제작 이미지들을 생성하고 이들을 서로 다른 출력들에 동기식으로 출력하도록 구성된 것을 특징으로 하는 텔레비전 방송 시스템.
  14. 텔레비전 방송의 이미지의 증강 방법에 있어서, 상기 증강 방법은:
    복수의 텔레비전 카메라에 의해 카메라 이미지들을 녹화하고, 카메라 이미지들을 카메라 신호로서 출력하는 단계와;
    상기 복수의 텔레비전 카메라의 카메라 이미지들로부터의 선택으로부터 생성된 일련의 제작 이미지들을 생성하고, 상기 제작 이미지들을 제작 화상 신호로 출력하는 단계와;
    각각의 분석 모듈에서 상기 복수의 텔레비전 카메라의 상기 카메라 이미지들을 동기적으로 버퍼링하여 수신하는 단계로, 각각의 카메라 이미지가 분석되고 각각의 카메라 이미지에 대한 카메라 이미지 메타 데이터가 생성되고 카메라 이미지 해시 값이 계산되고, 상기 카메라 이미지 메타 데이터와 상기 카메라 이미지 해시 값은 각각의 분석 모듈로부터 비동기적으로 출력되며;
    동기화 모듈에서 상기 제작 이미지들을 동기적으로 버퍼링하여 수신하고, 각 제작 이미지에 대한 제작 이미지 해시 값을 계산하고, 상기 카메라 이미지 메타 데이터와 각 카메라 이미지에 대한 상기 카메라 이미지 해시값을 동기적으로 버퍼링하여 수신하는 단계로, 상기 제작 이미지 해시값들과 카메라 이미지 해시값들이 비교되고, 이 비교에 기초하여, 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터가 연관된 제작 이미지 메타 데이터로서 현재의 제작 이미지에 할당되고, 상기 연관된 제작 이미지 메타 데이터는 동기식으로 버퍼링되어 출력되고;
    곱셈 모듈에서 상기 연관된 제작 이미지 메타 데이터 및 상기 제작 이미지를 동기적으로 버퍼링하여 수신하고, 상기 곱셈 모듈에서 상기 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 보상하고, 증강 제작 이미지가 생성되도록 상기 연관된 제작 이미지 메타 데이터를 기반으로 증강으로 상기 제작 이미지의 적어도 하나의 섹션에서의 중첩을 생성하고, 상기 증강 제작 이미지를 출력하는 단계를 포함하는 것을 특징으로 하는 텔레비전 방송의 이미지의 증강 방법.
  15. 카메라 이미지를 녹화하여 카메라 신호(S1)로서 출력하는 복수의 텔레비전 카메라(C1, C2) 또는 텔레비전 카메라에 의해 이전에 녹화된 카메라 이미지를 저장하고 저장된 카메라 이미지를 카메라 신호(S1)로서 출력하도록 구성된 적어도 하나의 저장 매체와;
    상기 복수의 텔레비전 카메라(C1, C2)의 카메라 이미지로부터 일련의 제작 이미지들을 생성하여 제작 신호(S3)로서 출력하도록 구성된 적어도 하나의 제작 유닛(12)과;
    각 분석 모듈(A1, A2)이 각각의 텔레비전 카메라에 할당되는 복수의 분석 모듈(A1, A2)로, 상기 분석 모듈(A1, A2)은 상기 카메라 이미지들을 동기식으로 버퍼링하여 수신하도록 구성되며, 상기 분석 모듈(A1, A2)은 각각의 개별 카메라 이미지를 분석하고 카메라 이미지 메타 데이터(M)뿐만 아니라, 각 카메라 이미지에 대한 연관된 카메라 이미지 해시값(H)을 산정하여 각 카메라 이미지에 대한 카메라 이미지 메타 데이터(M) 및 카메라 이미지 해시값(H)을 비동기적으로 출력하고;
    상기 제작 유닛(12) 및 상기 분석 모듈들(A1, A2)에 연결되고 상기 제작 유닛(12)으로부터 상기 제작 이미지들을 동기식으로 버퍼링하여 수신하고 연관된 제작 이미지 해시 값(HR)을 각각의 제작 이미지에 대해 계산하고, 각 카메라 이미지에 대해 상기 분석 모듈들(A1, A2)로부터 상기 카메라 이미지 메타 데이터(M) 및 상기 연관된 카메라 이미지 해시 값(H)을 비동기적으로 버퍼링하여 수신하고, 제작 이미지 해시값들(HR)과 카메라 이미지 해시값들(H)을 비교하고, 상기 비교에 기초하여 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터(Mj)를 연관된 제작 이미지 메타 데이터(MR)로서 현재 제작 이미지(Ri)에 할당하고, 상기 연관된 제작 이미지 메타 데이터(MR)를 동기적으로 버퍼링하여 출력하는 동기화 모듈(14)과;
    상기 동기화 모듈(14) 및 상기 제작 유닛(12)에 연결되고 상기 동기화 모듈(14)로부터 상기 연관된 제작 이미지 메타 데이터(MR)를 동기식으로 버퍼링하여 수신하고, 상기 제작 유닛(12)으로부터 상기 제작 이미지를 동기식으로 버퍼링하여 수신하도록 구성된 곱셈 모듈(16)을 구비하고, 상기 곱셈 모듈(16)은 하나의 제작 이미지와 상기 연관된 제작 이미지 메타 데이터(MR) 간의 시간 오프셋을 보상하고, 상기 연관된 제작 이미지 메타 데이터(MR)에 기초하여 증강에 의해 상기 제작 이미지의 적어도 하나의 서브 섹션의 제작 이미지에서의 변화를 생성함으로써 증강 제작 이미지를 생성하여 상기 증강 제작 이미지를 출력하고, 상기 곱셈 모듈(16)은 제 1 상태(Z1)에서 상기 증강 제작 이미지를 전송하고, 제 2 상태(Z2)에서 상기 제작 이미지를 전송하고, 제 3 상태(Z3)에서, 애니메이션 시퀀스에 의해 제 2 상태(Z2)로부터 제 1 상태(Z1)로 전이시키고, 제 4 상태(Z4)에서, 애니메이션 시퀀스에 의해 상기 제 1 상태(Z1)로부터 상기 제 2 상태(Z2)로의 전이를 수행하는 것을 특징으로 하는 텔레비전 방송 시스템.
  16. 텔레비전 녹화의 이미지의 증강 방법에 있어서, 상기 증강 방법은:
    복수의 텔레비전 카메라에 의해 카메라 이미지들을 녹화하고, 카메라 이미지들을 카메라 신호로서 출력하는 단계와;
    상기 복수의 텔레비전 카메라의 카메라 이미지들로부터의 선택으로부터 생성된 일련의 제작 이미지들을 생성하고, 상기 제작 이미지들을 제작 화상 신호로 출력하는 단계와;
    각각의 분석 모듈에서 상기 복수의 텔레비전 카메라의 상기 카메라 이미지들을 동기적으로 버퍼링하여 수신하는 단계로, 각각의 카메라 이미지가 분석되고 각각의 카메라 이미지에 대한 카메라 이미지 메타 데이터가 생성되고 카메라 이미지 해시 값이 계산되고, 상기 카메라 이미지 메타 데이터와 상기 카메라 이미지 해시 값은 각각의 분석 모듈로부터 비동기적으로 출력되며;
    동기화 모듈에서 상기 제작 이미지들을 동기적으로 버퍼링하여 수신하고, 각 제작 이미지에 대한 제작 이미지 해시 값을 계산하고, 상기 카메라 이미지 메타 데이터와 각 카메라 이미지에 대한 상기 카메라 이미지 해시값을 동기적으로 버퍼링하여 수신하는 단계로, 상기 제작 이미지 해시값들과 카메라 이미지 해시값들이 비교되고, 이 비교에 기초하여, 하나의 카메라 이미지의 연관된 카메라 이미지 메타 데이터가 연관된 제작 이미지 메타 데이터로서 현재의 제작 이미지에 할당되고, 상기 연관된 제작 이미지 메타 데이터는 동기식으로 버퍼링되어 출력되고;
    곱셈 모듈에서 상기 연관된 제작 이미지 메타 데이터 및 상기 제작 이미지를 동기적으로 버퍼링하여 수신하고, 상기 곱셈 모듈에서 상기 제작 이미지와 상기 연관된 제작 이미지 메타 데이터 간의 시간 오프셋을 보상하고, 증강 제작 이미지가 생성되도록 상기 연관된 제작 이미지 메타 데이터를 기반으로 증강으로 상기 제작 이미지의 적어도 하나의 섹션에서의 중첩을 생성하고, 상기 증강 제작 이미지를 출력하는 단계를 포함하는 것을 특징으로 하는 텔레비전 녹화의 이미지의 증강 방법.
KR1020197013685A 2016-10-14 2017-10-09 증강 이미지를 생성하기 위한 텔레비전 방송 시스템 KR102195053B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016119637.1 2016-10-14
DE102016119637.1A DE102016119637A1 (de) 2016-10-14 2016-10-14 Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
PCT/EP2017/075623 WO2018069218A1 (de) 2016-10-14 2017-10-09 Fernsehübertragungssystem zur erzeugung angereicherter bilder

Publications (2)

Publication Number Publication Date
KR20190065404A KR20190065404A (ko) 2019-06-11
KR102195053B1 true KR102195053B1 (ko) 2020-12-28

Family

ID=60186232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013685A KR102195053B1 (ko) 2016-10-14 2017-10-09 증강 이미지를 생성하기 위한 텔레비전 방송 시스템

Country Status (9)

Country Link
US (1) US10832732B2 (ko)
EP (1) EP3526795A1 (ko)
JP (1) JP6784363B2 (ko)
KR (1) KR102195053B1 (ko)
CN (1) CN109804431B (ko)
CA (1) CA3039728C (ko)
DE (1) DE102016119637A1 (ko)
SG (1) SG11201903217XA (ko)
WO (1) WO2018069218A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594046A (en) * 2020-04-03 2021-10-20 Mo Sys Engineering Ltd Producing video for content insertion
DE102022101086A1 (de) 2022-01-18 2023-07-20 Uniqfeed Ag Videoverbreitungssystem mit Umschalteinrichtung für das Umschalten zwischen mehreren angereicherten Regiebildabfolgen eines aufgenommenen realen Ereignisses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0683961B1 (en) 1993-02-14 2000-05-03 Orad, Inc. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US20040085342A1 (en) 2002-10-21 2004-05-06 Williams Michael John Audio and/or video generation apparatus

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
GB9601101D0 (en) 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
IL115288A (en) 1995-09-13 1999-06-20 Scidel Technologies Ltd Method and apparatus for implanting images into a video sequence
US6381362B1 (en) * 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
EP1071278B1 (en) 1999-07-19 2006-05-17 Leo Vision Multi-camera, multi-feed and interactive virtual insertion systems and methods
US7009635B2 (en) 2000-01-31 2006-03-07 Virtual Advertising Systems Vas Ltd. Method for modifying a visible object shot with a television camera
DE10314105A1 (de) * 2003-03-28 2004-01-08 Bts Media Solutions Gmbh Verfahren zur Steuerung einer Einrichtung zur Verteilung und Bearbeitung von Videosignalen
GB2408164A (en) 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP4649980B2 (ja) * 2004-12-21 2011-03-16 ソニー株式会社 画像編集装置、画像編集方法、プログラム
EP1913559B1 (fr) 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
US8610787B2 (en) 2007-06-22 2013-12-17 Panasonic Corporation Camera device including privacy protection method
EP2250749A2 (en) * 2008-02-05 2010-11-17 StratosAudio, Inc. Systems, methods, and devices for scanning broadcasts
JP2009239459A (ja) 2008-03-26 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> 映像合成システム、映像合成装置およびプログラム
US9766089B2 (en) 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
EP2561505A4 (en) 2010-04-22 2013-11-13 Martin Professional As ELECTRONIC SUNSHADE FOR BAND APPLICATIONS
FR2959339A1 (fr) 2010-04-26 2011-10-28 Citiled Procede de commande d'au moins un panneau d'affichage d'images variables dans un lieu tel qu'un stade
EP2463821A1 (en) 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
EP2498488A1 (en) * 2011-03-09 2012-09-12 Thomson Licensing Method and system digital for processing digital content according to a workflow
WO2012170023A1 (en) 2011-06-08 2012-12-13 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
KR101343609B1 (ko) 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
KR101887548B1 (ko) 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
GB2502986B (en) * 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
CN103118272A (zh) * 2013-02-22 2013-05-22 浪潮齐鲁软件产业有限公司 一种多场景数字电视的实现方法
EP2965506A1 (en) 2013-03-08 2016-01-13 Affaticati, Jean-Luc Method of replacing objects in a video stream and computer program
EP2806404B1 (en) 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
EP2822287A1 (en) * 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
GB2531969B (en) 2013-10-03 2016-08-10 Supponor Oy Method and apparatus for image frame identification
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
US9847645B2 (en) 2015-02-03 2017-12-19 King Fahd University Of Petroleum And Minerals Neuro-fuzzy control system for grid-connected photovoltaic systems
US20160373814A1 (en) 2015-06-19 2016-12-22 Autodesk, Inc. Real-time content filtering and replacement
US10169894B2 (en) 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0683961B1 (en) 1993-02-14 2000-05-03 Orad, Inc. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US20040085342A1 (en) 2002-10-21 2004-05-06 Williams Michael John Audio and/or video generation apparatus

Also Published As

Publication number Publication date
SG11201903217XA (en) 2019-05-30
CA3039728C (en) 2021-05-25
JP6784363B2 (ja) 2020-11-11
CN109804431B (zh) 2021-06-11
WO2018069218A1 (de) 2018-04-19
EP3526795A1 (de) 2019-08-21
KR20190065404A (ko) 2019-06-11
JP2019536388A (ja) 2019-12-12
US20190371363A1 (en) 2019-12-05
CN109804431A (zh) 2019-05-24
DE102016119637A1 (de) 2018-04-19
US10832732B2 (en) 2020-11-10
CA3039728A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
US8970666B2 (en) Low scale production system and method
JP2021511729A (ja) 画像、又はビデオデータにおいて検出された領域の拡張
JP5567942B2 (ja) 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
JP7447077B2 (ja) 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
WO2005096128A3 (en) Image processing system
CN105408838A (zh) 基于用户观察的屏幕区域动态调整gpu特征
KR102195053B1 (ko) 증강 이미지를 생성하기 위한 텔레비전 방송 시스템
JP2023133397A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2016163311A (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
US20110141359A1 (en) In-Program Trigger of Video Content
US20110085018A1 (en) Multi-User Video Conference Using Head Position Information
JP2007004427A (ja) 画像表示システムおよび画像表示装置ならびにプログラム
JP7467074B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7224894B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
US20220174258A1 (en) Information processing device, information processing method, and program
US20110058754A1 (en) File selection system and method
JP2007049661A (ja) 動画像配信サービスにおける検索技術を用いた広告装置および方法
JP5916365B2 (ja) 映像送信システム、映像送信方法及びコンピュータプログラム
WO2005048225A1 (en) Methods of, and systems for, controlling a display apparatus and related audio output
US20220232199A1 (en) Directional display system with embedded observer position information in video frames
WO2024079778A1 (ja) 情報処理装置、表示システム、情報処理方法
JP2021016015A (ja) 広告システム
WO2022172259A1 (ja) プログラム、方法、情報処理装置、システム
US20230073093A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant