KR20100121614A - 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램 - Google Patents

방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램 Download PDF

Info

Publication number
KR20100121614A
KR20100121614A KR1020107017592A KR20107017592A KR20100121614A KR 20100121614 A KR20100121614 A KR 20100121614A KR 1020107017592 A KR1020107017592 A KR 1020107017592A KR 20107017592 A KR20107017592 A KR 20107017592A KR 20100121614 A KR20100121614 A KR 20100121614A
Authority
KR
South Korea
Prior art keywords
data
image
information
output
raw material
Prior art date
Application number
KR1020107017592A
Other languages
English (en)
Inventor
데쯔지로 곤도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20100121614A publication Critical patent/KR20100121614A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information

Abstract

본 발명은, 방송 시스템의 수신측에 있어서, 적절한 처리를 행하고, 이에 의해, 유저에게 현장감을 느끼게 하는 것이나, 유저의 기호에 맞는 화상을 표시하는 것 등을 할 수 있도록 하는 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램에 관한 것이다. 송신 장치(11)는 센서로 취득한 소재 데이터와, 수신 장치(12)에서 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신한다. 수신 장치(12)는 소재 데이터와 부가 정보를 수신하여, 그 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성한다. 또한, 수신 장치(12)는 출력 데이터에 기초하여, 출력을 행하는, 예를 들어 표시 장치, 에어 컨디셔너 등의 출력 수단에 있어서, 출력을 행한다. 본 발명은, 예를 들어 방송을 행하는 방송 시스템에 적용할 수 있다.

Description

방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램{A BROADCASTING SYSTEM, A TRANSMISSION APPARATUS AND A TRANSMISSION METHOD, A RECEPTION APPARATUS AND A RECEPTION METHOD AS WELL AS A PROGRAM}
본 발명은, 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램에 관한 것으로, 특히 예를 들어 방송 시스템의 수신측에 있어서, 적절한 처리를 행할 수 있도록 하는 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램에 관한 것이다.
예를 들어, 현행의, 아날로그 방송이나 디지털 방송의 방송 시스템에서는, 송신측인 방송국에 있어서, 소재 데이터로서의 화상이나 음성이 편집되고, 그 편집 후의 화상 및 음성이 프로그램으로서 방송된다.
한편, 수신측인, 예를 들어 각 가정에서는 TV(텔레비전 수상기) 등에 의해, 방송국으로부터의 프로그램의 출력, 즉 프로그램으로서의 화상의 표시 및 음성의 출력이 행해진다.
또한, 1개의 프로그램에 주목한 경우, 현행의 방송 시스템에서는 방송국에서의 편집의 결과 얻어지는 1종류의 화상 및 음성이 1개의 프로그램으로서 방송된다. 따라서, 수신측의 유저는 1종류의 화상 및 음성밖에 즐길 수 없다.
그러나, 예를 들어 드라마 프로그램 등의 1개의 프로그램에 대해, 유저가 원하는 등장 인물에게서의 시점으로 그 드라마 프로그램의 전개를 보려는 요구나, 보기에 따라서는 스토리 전개 그 자체가 상이하도록 하려는 유저 참가형의 요구가 잠재적으로 존재한다.
따라서, 본건 출원인은, 미리 준비된 시점이 서로 다른 복수의 소재를, 유저가 임의로 선택하여 모니터할 수 있는 디지털 방송 수신 장치를 먼저 제안하고 있다(예를 들어, 특허문헌1을 참조).
일본 특허 공개 제2006-217662호 공보
그런데, 방송국에서는, 예를 들어 상술한 바와 같이, 화상이나 음성이 편집되지만, 그 편집은 수신측 TV의, 화상을 표시하는 표시 화면을 고려하여 행해지는 것이 아니다.
따라서, 수신측 TV의 표시 화면이 큰 경우에는 TV에 있어서, 사람의 얼굴이 실제로 본 경우의 크기보다 크게 표시되어, 현장감이 약해지는 경우가 있다.
또한, 수신측 TV에서는, 예를 들어 상술한 바와 같이, 방송국에서 편집된, 편집 후의 화상 및 음성이 표시되거나 한다.
따라서, 예를 들어 방송국에 있어서, 다수의 텔롭이 화상에 합성되는 편집이 행해진 경우에는 텔롭에 의한 연출을 불필요하다고 느끼는 유저(시청자)라도 다수의 텔롭이 합성된 화상을 시청해야 한다.
본 발명은, 이러한 상황을 감안하여 이루어진 것이며, 방송 시스템의 수신측에 있어서, 적절한 처리를 행할 수 있도록 하고, 이에 의해, 예를 들어 유저에게 현장감을 느끼게 하는 것이나, 유저의 기호에 맞는 화상을 표시하는 것 등을 할 수 있도록 하는 것이다.
본 발명의 제1 측면의 방송 시스템은, 데이터를 송신하는 송신 장치와, 상기 데이터를 수신하는 수신 장치에 의해 이루어지는 방송 시스템으로서, 상기 송신 장치는, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 송신 수단을 갖고, 상기 수신 장치는, 상기 소재 데이터와 부가 정보를 수신하는 수신 수단과, 상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터를 생성하는 생성 수단과, 상기 출력 데이터에 기초하여 출력을 행하는 출력 수단을 갖는 방송 시스템이다.
이상과 같은 제1 측면에 있어서는, 상기 송신 장치에 있어서, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보가 송신된다. 상기 수신 장치에서는 상기 소재 데이터와 부가 정보가 수신되고, 상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터가 생성된다. 그리고, 상기 출력 데이터에 기초하여 출력이 행해진다.
본 발명의 제2 측면의 송신 장치, 또는 프로그램은, 데이터를 수신하는 수신 장치와 함께 방송 시스템을 구성하는, 상기 데이터를 송신하는 송신 장치이며, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 송신 수단을 구비하는 송신 장치, 또는 송신 장치로서, 컴퓨터를 기능시키기 위한 프로그램이다.
본 발명의 제2 측면의 송신 방법은, 데이터를 수신하는 수신 장치와 함께 방송 시스템을 구성하는, 상기 데이터를 송신하는 송신 장치의 송신 방법으로서, 상기 송신 장치가, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 스텝을 포함하는 송신 방법이다.
이상과 같은 제2 측면에 있어서는, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보가 송신된다.
본 발명의 제3 측면의 수신 장치, 또는 프로그램은, 데이터를 송신하는 송신 장치와 함께 방송 시스템을 구성하고, 상기 데이터를 수신하는 수신 장치이며, 상기 송신 장치가, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 경우에 있어서, 상기 소재 데이터와 부가 정보를 수신하는 수신 수단과, 상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터를 생성하는 생성 수단과, 상기 출력 데이터에 기초하여, 출력을 행하는 출력 수단을 구비하는 수신 장치, 또는 수신 장치로서, 컴퓨터를 기능시키기 위한 프로그램이다.
본 발명의 제3 측면의 수신 방법은, 데이터를 송신하는 송신 장치와 함께 방송 시스템을 구성하고, 상기 데이터를 수신하는 수신 장치의 수신 방법으로서, 상기 송신 장치가, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 경우에 있어서, 상기 수신 장치가, 상기 소재 데이터와 부가 정보를 수신하고, 상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터를 생성하고, 상기 출력 데이터에 기초하여, 출력을 행하는 출력 수단에 있어서 출력을 행하는 스텝을 포함하는 수신 방법이다.
이상과 같은 제3 측면에 있어서는, 상기 소재 데이터와 부가 정보가 수신되고, 상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터가 생성된다. 그리고, 상기 출력 데이터에 기초하여, 출력을 행하는 출력 수단에 있어서 출력이 행해진다.
또한, 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여, 제공할 수 있다.
또한, 송신 장치, 또는 수신 장치는, 독립된 장치이어도 좋고, 1개의 장치를 구성하고 있는 내부 블록이어도 좋다.
또한, 데이터의 송신(방송)(전송)은, 유선, 또는 무선 중 어느 한 전송 매체를 통하여 행할 수도 있고, 유선 및 무선이 혼재하는 전송 매체를 통하여 행할 수도 있다.
본 발명의 제1 내지 제3 측면에 의하면, 방송 시스템의 수신측에 있어서, 적절한 처리를 행할 수 있다.
도 1은 본 발명을 적용한 방송 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 송신 장치(11)의 구성예를 도시하는 블록도이다.
도 3은 소재 데이터와 이펙트 정보를 설명하는 도면이다.
도 4는 전환 정보를 설명하는 도면이다.
도 5는 표시 화각 정보를 설명하는 도면이다.
도 6은 합성용 데이터를 설명하는 도면이다.
도 7은 실세계(實世界) 정보를 설명하는 도면이다.
도 8은 송신 처리를 설명하는 흐름도이다.
도 9는 수신 장치(12)의 구성예를 도시하는 블록도이다.
도 10은 수신 처리를 설명하는 흐름도이다.
도 11은 리얼리티 모드 처리에 있어서, 생성부(54)에 공급되는 데이터를 설명하는 도면이다.
도 12는 리얼리티 모드 처리를 행하는 생성부(54)의 구성예를 도시하는 블록도이다.
도 13은 카메라에 의해 촬상 오브젝트의 촬상을 행하고 있는 상태와, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 도시하는 도면이다.
도 14는 카메라에 의해 광학 줌을 사용하여, 촬상 오브젝트의 촬상을 행하고 있는 상태와, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 도시하는 도면이다.
도 15는 카메라에 의해, 디지털 줌을 사용하여, 촬상 오브젝트의 촬상을 행하고 있는 상태와, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 도시하는 도면이다.
도 16은 표시 장치인 출력부(55)에 표시되는 화상을 도시하는 도면이다.
도 17은 리얼리티 모드 처리를 설명하는 흐름도이다.
도 18은 엔터테인먼트 모드 처리에 있어서, 생성부(54)에 공급되는 데이터를 설명하는 도면이다.
도 19는 엔터테인먼트 모드 처리를 행하는 생성부(54)의 구성예를 도시하는 블록도이다.
도 20은 화상 처리부(84)의 구성예를 도시하는 블록도이다.
도 21은 수신 장치(12)의 다른 구성예를 도시하는 블록도이다.
도 22는 본 발명을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 1은 본 발명을 적용한 방송 시스템(시스템이란, 복수의 장치가 논리적으로 집합한 것을 의미하고, 각 구성의 장치가 동일 하우징 내에 있는지의 여부는 상관없다)의 일 실시 형태의 구성예를 나타내고 있다.
도 1에 있어서, 방송 시스템은 송신 장치(11)와 수신 장치(12)로 구성되어 있다.
송신 장치(11)는, 예를 들어 방송국에 설치되고, 프로그램으로서의 각종 데이터를 지상파나 위성 회선, 인터넷, CATV(Cable Television)망 등의 전송 매체(13)를 통하여 송신한다.
수신 장치(12)는, 예를 들어 가정 등에 설치되고, 송신 장치(11)로부터 전송 매체(13)를 통하여 송신되어 오는 데이터를 수신한다.
또한, 수신 장치(12)는, 예를 들어 TV 등으로서 기능할 수 있다.
또한, 방송 시스템에 있어서, 송신 장치(11)는 1개뿐만 아니라, 복수 설치할 수 있다. 수신 장치(12)도 마찬가지이다.
도 2는 도 1의 송신 장치(11)의 구성예를 나타내고 있다.
도 2에 있어서, 송신 장치(11)는 센서부(31), 편집 장치(32), 부호화부(33) 및 송신부(34)로 구성되어 있다.
또한, 센서부(11)나 편집 장치(32)는 송신 장치(11)와는 별개의 장치로 할 수 있다.
센서부(31)는 편집 장치(32)에서의 편집의 소재가 되는 소재 데이터를 취득하여, 편집 장치(32) 및 부호화부(33)에 공급한다.
여기서, 센서부(31)로서는, 1종류의 1개의 센서나, 1종류의 복수의 센서, 복수 종류의 센서를 채용할 수 있다.
또한, 센서의 종류로서는, 예를 들어 광을 센싱하여, 화상을 출력하는(촬상을 행하는) 카메라, 소리를 센싱하여, 음성을 출력하는(집음을 행하는) 마이크로폰, 그 외 온도나, 습도, 풍향, 풍속, 진동, 밝기 등을 각각 센싱하는 센서가 있다.
카메라에 의하면, 촬상이 되어 화상(데이터)이 소재 데이터로서 출력된다. 또한, 마이크로폰에 의하면, 집음이 행해져 음성(데이터)이 소재 데이터로서 출력된다. 그 외, 온도, 습도, 풍향, 풍속, 진동, 또는 밝기를 각각 센싱하는 센서에 의하면, 온도, 습도, 풍향, 풍속, 진동, 또는 밝기를 나타내는 데이터가 소재 데이터로서 출력된다.
편집 장치(32)는, 센서부(31)로부터의 소재 데이터에 기초하여, 수신 장치(12)에서 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 생성하여, 부호화부(33)에 공급한다.
여기서, 부가 정보에는, 센서부(31)에 의한 센싱이 행해진 대상에 관한 실세계의 물리량을 나타내는 실세계 정보와, 소재 데이터의 가공에 사용되는 정보인 이펙트 정보가 포함된다.
이펙트 정보는, 예를 들어 방송국에 있어서, 프로그램의 제작을 행하는 프로그램 제작자가 편집 장치(32)를 조작함으로써 그 조작에 따라 생성된다.
실세계 정보는, 프로그램 제작자의 조작에 관계없이 생성된다.
또한, 편집 장치(32)에 있어서, 부가 정보는, 예를 들어 1종류의 소재 데이터마다 생성된다. 따라서, 센서부(31)에 있어서, 복수 종류의 센서가 채용되고 있으며, 센서부(31)로부터 부호화부(33)에 대하여, 복수 종류의 소재 데이터가 공급되는 경우에는 편집 장치(32)로부터, 부호화부(33)에 대해서는 그 복수 종류의 소재 데이터의 각 종류에 대응하는 부가 정보가 공급된다.
부호화부(33)는 센서부(31)로부터의 소재 데이터와, 편집 장치(32)로부터의 부가 정보를 부호화한다. 또한, 부호화부(33)는, 필요에 따라 소재 데이터 및 부호화 데이터의 다중화를 행한다. 그리고, 부호화부(33)는 부호화의 결과 얻어지는 부호화 데이터를 송신부(34)에 공급한다.
송신부(34)는 부호화부(33)로부터의 부호화 데이터, 즉 센서부(31)에 의해 취득한 소재 데이터와, 편집 장치(32)에 의해 생성한 부가 정보를, 전송 매체(13)(도 1)를 통하여 송신한다.
이어서, 편집 장치(32)에 의해 생성되는 부가 정보 중 이펙트 정보에 대하여 설명한다.
도 3은 소재 데이터와, 그 소재 데이터에 대한 이펙트 정보를 나타내고 있다.
즉, 도 3의 A는, 소재 데이터로서의, 복수 스트림의 화상(동화상)을 나타내고 있다.
예를 들어, 어떤 프로그램의 화상이, 복수인 N개의 스트림의 화상 S#1, S#2,… , S#N을 편집하여 구성되는 경우, 그 프로그램의 화상에 대해서는 그 N개의 스트림의 화상 S#1 내지 S#N이 소재 데이터로 된다.
여기서, N개의 스트림의 화상 S#1 내지 S#N은 N개의 센서로서의 N개의 카메라에 의해, 각각 취득한 화상이어도 좋고, N개 미만(또한 1개 이상)인 M개의 센서로서의 M(<N)개의 카메라에 의해 취득한 화상이어도 좋다.
즉, N개의 스트림의 화상 S#1 내지 S#N으로서는, 예를 들어 1개의 카메라에 의해, 서로 다른 시간에, 서로 다른 장소의 풍경을 촬상하여 얻어지는 N개의 스트림의 화상을 채용할 수 있다.
또한, N개의 스트림의 화상 S#1 내지 S#N으로서는, 예를 들어 N개의 카메라에 의해 오케스트라 전체, 지휘자, 특정 악기의 연주자, 관객석 등을 각각 촬상하여 얻어지는 N개의 스트림의 화상이나, 축구 등의 스포츠 중계에 있어서, 경기장 전체, 스코어 보드, 특정 선수, 관객석 등을 각각 촬상하여 얻어지는 N개의 스트림의 화상, 음악 프로그램 등에 있어서, 스튜디오 전체, 각 출연자 등을 각각 촬상하여 얻어지는 N개의 스트림의 화상 등을 채용할 수 있다.
도 3의 B는 도 3의 A의 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N에 대한 이펙트 정보를 나타내고 있다.
이펙트 정보로서는, 예를 들어 전환 정보, 표시 화상 프레임 정보 및 합성용 데이터 등이 있다.
전환 정보는, 예를 들어 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N으로부터 1개의 스트림의 화상을 선택함으로써, 수신 장치(12)의 후술하는 표시 장치에 표시하는 화상을 전환하기 위한 정보이다.
표시 화상 프레임 정보는, 예를 들어 소재 데이터인 화상(도 3에서는, 화상 S#1 내지 S#N 중 어느 1개) 중, 수신 장치(12)의 표시 장치에 표시하는 부분의 영역을 나타낸다.
합성용 데이터는, 예를 들어 소재 데이터인 화상(도 3에서는, 화상 S#1 내지 S#N 중 어느 1개)과의 합성에 사용되는 데이터에 의해 그 화상에 합성되는 피합성 데이터를 포함한다.
여기서, 피합성 데이터로서는, 픽처 인 픽처(picture in picture)의 자화면(子畵面)의 화상(이하, PinP 화상이라고 한다)의 데이터(픽처 인 픽처용의 데이터)나, 텔롭의 데이터(자막의 데이터) 등이 있다.
이어서, 도 4를 참조하여, 도 3의 이펙트 정보 중 전환 정보에 대하여 설명한다.
전환 정보는, 예를 들어 상술한 바와 같이 어떤 프로그램 A의 화상이, N개의 스트림의 화상 S#1 내지 S#N을 편집하여 구성되는 경우, 그 N개의 스트림의 화상 S#1 내지 S#N으로부터 1개의 스트림의 화상을 선택함으로써 수신 장치(12)의 표시 장치에 표시하는 화상을 전환하기 위한 정보이다.
예를 들어, 도 2의 편집 장치(32)에 있어서, 프로그램 제작자의 조작에 따라, 도 4에 도시된 바와 같이 소재 데이터인 화상 S#1의 타임 코드 ts1 내지 te1, 소재 데이터인 화상 S#2의 타임 코드 ts2 내지 te2, 소재 데이터인 화상 S#3의 타임 코드 ts3 내지 te3, 소재 데이터인 화상 S#1의 타임 코드 ts4 내지 te4, …의 범위를, 순차적으로 서로 연결시키는 커트 편집이 행해짐으로써, 어떤 프로그램 A(의 화상)가 제작된 경우, 예를 들어 프로그램 A의 각 시각에 있어서, 프로그램 A의 화상이 되는 소재 데이터와, 그 소재 데이터의 타임 코드를 특정하는 정보가 전환 정보로 된다.
또한, 편집 장치(32)에 있어서, 예를 들어 어떤 화상 S#i와, 다른 화상 #i'의 이음매(소위 편집점)에 와이프 등의 특수 효과가 실시된 경우에는 전환 정보에는 그 특수 효과에 관한 정보도 포함된다.
이어서, 도 5를 참조하여, 도 3의 이펙트 정보 중 표시 화상 프레임 정보에 대하여 설명한다.
표시 화상 프레임 정보는, 예를 들어 상술한 바와 같이, 소재 데이터인 화상 중 수신 장치(12)의 표시 장치에 표시하는 부분의 영역을 나타낸다.
즉, 예를 들어 소재 데이터가 화상인 경우, 편집 장치(32)에서는 프로그램 제작자의 조작에 따라, 도 5에 도시된 바와 같이 소재 데이터인 화상의 일부분의 직사각형 영역을, 수신 장치(12)의 표시 장치에 표시하는 부분 영역(이하, 표시용 영역이라고도 한다)으로서, 프로그램의 화상으로 하는 편집을 행할 수 있게 되어 있다.
이 경우, 편집 장치(32)에 의하면, 프로그램 제작자는 소재 데이터인 화상의 영역을 최대한으로 하고, 그 영역 내에 있어서, 카메라를 프로그램 제작자 자신이 팬이나, 틸트, 줌의 조작을 하여 촬상을 행한 듯한 프로그램을 제작할 수 있다.
여기서, 표시용 영역의 최대는 소재 데이터인 화상의 영역이다. 따라서, 센서부(31)(도 2)로서의 카메라를 최대 화각(가장 광각측)으로 하여 촬상을 행함으로써 표시용 영역을 가장 크게 할 수 있다.
또한, 표시 화각 정보로서는 표시용 영역을 특정할 수 있는 정보이면, 어느 정보이어도 좋다.
즉, 표시 화각 정보로서는, 예를 들어 소재 데이터인 화상의 영역을 기준으로 하는 좌표계를 정의하고, 그 좌표계에 있어서의, 표시용 영역의 1개의 정점과, 그 정점의 대각에 있는 정점의 좌표나, 표시용 영역의 1개의 정점의 좌표와, 표시용 영역의 가로 및 세로의 길이 등을 채용할 수 있다.
또한, 표시 화각 정보로서는, 예를 들어 소정의 위치의, 소정의 크기의 표시용 영역을, 디폴트의 표시용 영역으로서, 그 디폴트의 표시용 영역에 대하여, 프로그램 제작자가 편집으로서 행한 팬, 틸트 및 줌의 조작의 이력을 채용할 수 있다.
이어서, 도 6을 참조하여 도 3의 이펙트 정보 중 합성용 데이터에 대하여 설명한다.
합성용 데이터는, 상술한 바와 같이, 소재 데이터와의 합성에 사용되는 데이터에 의해, 소재 데이터에 합성되는 피합성 데이터와, 그 피합성 데이터를 사용한 합성을 행하는 타이밍을 나타내는 타이밍 정보를 포함한다.
즉, 예를 들어 소재 데이터가, 화상이며, 도 2의 편집 장치(32)에 있어서, 프로그램 제작자의 조작에 따라, 소재 데이터인 화상에 PinP 화상이나 텔롭을 중첩(합성)하는 편집이 행해짐으로써, 프로그램이 제작된 경우, 그 PinP 화상이나, 텔롭이 피합성 데이터로 된다.
또한, 피합성 데이터로서의 PinP 화상이나, 텔롭을 중첩하고 있는 시간(예를 들어, 중첩을 개시하는 시각과, 중첩을 종료하는 시각)을 나타내는, 예를 들어 프로그램의 타임 코드가 타이밍 정보로 된다.
또한, 합성용 데이터는, 그 외 예를 들어 피합성 데이터로서의 PinP 화상이나, 텔롭을 중첩하는 화상 상의 위치를 나타내는 정보 등을 포함한다.
또한, 예를 들어 소재 데이터가 음성인 경우에는 BGM(Background Music) 등이 피합성 데이터로 된다.
어느 종류의 소재 데이터가 음성이며, 그 음성이 다른 종류의 소재 데이터인 화상(동화상)에 부수되는 음성인 경우에는 음성에 합성되는 BGM의 타이밍 정보로서는, 그 음성을 기준으로 하는 시각을 나타내는 정보를 채용할 수도 있고, 그 음성에 부수되는 화상의 타임 코드를 채용할 수도 있다.
이어서, 편집 장치(32)(도 2)에 의해 생성되는 부가 정보 중 실세계 정보에 대하여 설명한다.
실세계 정보는, 상술한 바와 같이 센서부(31)(도 2)에 의한 센싱이 행해진 대상에 관한 실세계의 물리량을 나타내는 정보로서, 예를 들어 센서부(31)가 카메라인 경우에, 그 카메라로 촬상하는 촬상 대상(이하, 촬상 오브젝트라고도 한다)의 위치에 있어서의 촬상 범위를 나타내는 촬상 범위 정보 등이 실세계 정보에 포함된다.
여기서, 도 7을 참조하여, 카메라의 촬상 범위에 대하여 설명한다.
도 7은 카메라로 촬상을 행하고 있는 상태를 모식적으로 도시하는 상면도이다.
현재, 설명을 간단하게 하기 위해, 카메라의 광학계(렌즈군)에 왜곡이 없는 것으로 하여 카메라의 수평 방향의 화각(이하, 카메라 화각이라고도 한다)을, θ로 함과 함께 카메라부터 촬상 오브젝트까지의 거리(이하, 오브젝트 거리라고도 한다)를 X로 한다.
또한, 카메라 화각 θ는 기지의 것으로 한다.
또한, 오브젝트 거리 X는, 예를 들어 소위 오토 포커스의 기술을 이용하여 측정된다.
즉, 오브젝트 거리 X는, 예를 들어 적외선 센서나, 음파 탐지기를 사용하여 측정할 수 있다. 또한, 오브젝트 거리 X는 카메라로 촬상되는 화상의 콘트라스트를 최대로 하도록 포커스를 조정하는 콘트라스트 검지식이나, 카메라로 촬상되는 화상의 위상차를 없애도록 포커스를 조정하는 위상차 검지식 등을 이용하여 측정할 수 있다.
또한, 카메라에 의한 촬상 시에, 오브젝트 거리 X를 미리 알 수 있는 경우에는 오브젝트 거리 X의 측정을 행할 필요는 없다.
현재, 설명을 간단하게 하기 위해, 촬상 오브젝트의 위치에 있어서, 카메라로 촬상되는 실세계의 가로 및 세로의 길이 중, 예를 들어 가로의 길이만 주목하여, 그 가로의 길이를 촬상 오브젝트의 위치에 있어서의 촬상 범위 D라고 하기로 한다.
촬상 범위 D는 카메라 화각 θ와, 오브젝트 거리 X로부터 식 D=2×X×tan(θ/2)에 따라 구할 수 있다.
따라서, 도 2의 편집 장치(32)는 센서부(31)로서의 카메라로부터, 소재 데이터인 화상 외에, 카메라 화각 θ 및 오브젝트 거리 X도 취득하여, 그 카메라 화각 θ 및 오브젝트 거리 X로부터 촬상 범위 D를 구한다. 그리고, 편집 장치(32)는 촬상 범위 D를 촬상 범위 정보로서, 실세계 정보에 포함하여, 부호화부(33)에 공급한다.
이어서, 도 8을 참조하여 도 2의 송신 장치(11)의 처리(송신 처리)에 대하여 설명한다.
송신 장치(11)에서는 센서부(31)에 의해 취득된 소재 데이터가 편집 장치(32) 및 부호화부(33)에 공급된다.
편집 장치(32)에서는, 센서부(31)로부터의 소재 데이터 등에 기초하여, 이펙트 정보 및 실세계 정보 중 한쪽 또는 양쪽을 포함하는 부가 정보가 생성되어, 부호화부(33)에 공급된다.
부호화부(33)는, 이상과 같이 하여 센서부(31)로부터 소재 데이터가 공급됨과 함께, 편집 장치(32)로부터 부가 정보가 공급되면, 스텝 S11에 있어서, 센서부(31)로부터의 소재 데이터와, 편집 장치(32)로부터의 부가 정보를 부호화하여, 그 결과 얻어지는 부호화 데이터를 송신부(34)에 공급하고, 처리는 스텝 S12로 진행한다.
스텝 S12에서는, 송신부(34)는 부호화부(33)로부터의 부호화 데이터를, 전송 매체(13)(도 1)를 통하여 송신한다.
다음에, 도 9는 도 1의 수신 장치(12)의 구성예를 나타내고 있다.
도 9에 있어서, 수신 장치(12)는 수신부(51), 복호부(52), 분리부(53), 생성부(54), 출력부(55) 및 입력부(56)로 구성된다.
또한, 출력부(55)나 입력부(56)는 수신 장치(12)와는 별개의 장치로 할 수 있다.
수신부(51)는 송신 장치(11)로부터 전송 매체(13)를 통하여 송신되어 오는 부호화 데이터, 즉 소재 데이터와 부가 정보를 수신하여, 복호부(52)에 공급한다.
복호부(52)는 수신부(51)로부터의 부호화 데이터를 복호하여, 분리부(53)에 공급한다.
분리부(53)는 복호부(52)로부터 공급되는 데이터를 소재 데이터와, 부가 정보로 분리하여, 생성부(54)에 공급한다.
생성부(54)는 분리부(53)로부터의 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성하여, 출력부(55)에 공급한다.
출력부(55)는 생성부(54)로부터의 출력 데이터에 기초하여, 소정의 출력을 행한다.
여기서, 출력부(55)로서는, 사람의 오감을 자극하는 장치(디바이스)를 채용할 수 있다.
즉, 출력부(55)로서는, 예를 들어 화상을 표시하는 표시 장치나, 광을 발하는 조명 장치 등의, 시각을 자극하는 장치를 채용할 수 있다. 또한, 출력부(55)로서는, 예를 들어 소리를 발하는 스피커 등의, 청각을 자극하는 장치를 채용할 수 있다.
또한, 출력부(55)로서는, 온도나, 습도, 바람의, 소위 공조(공기 조절)(공기 조화)를 할 수 있는 에어 컨디셔너나, 진동을 부여하는 동요(動搖) 장치 등의, 촉각을 자극하는 장치를 채용할 수 있다.
입력부(56)는 수신 장치(12)의 유저에 의해 조작된다. 유저가 어느 지시를 행하기 위해 입력부(56)를 조작하면 입력부(56)는 그 유저에 의한 지시를 접수하고, 그 지시를 나타내는 지시 정보를 생성부(54)에 공급한다.
여기서, 생성부(54)는 입력부(56)로부터 지시 정보가 공급된 경우, 그 지시 정보에 기초하여, 출력 데이터를 생성한다.
다음에, 도 10을 참조하여, 도 9의 수신 장치(12)의 처리(수신 처리)에 대하여 설명한다.
수신부(51)는 송신 장치(11)로부터 전송 매체(13)를 통하여 부호화 데이터가 송신되어 오는 것을 기다렸다가, 스텝 S31에 있어서 그 부호화 데이터를 수신하여, 복호부(52)에 공급하고, 처리는 스텝 S32으로 진행한다.
스텝 S32에서는, 복호부(52)는 수신부(51)로부터의 부호화 데이터를 복호하여, 분리부(53)에 공급하고, 처리는 스텝 S33으로 진행한다.
스텝 S33에서는, 분리부(53)는 복호부(52)로부터 공급되는 데이터(복호 데이터)를 소재 데이터와, 부가 정보로 분리하여, 생성부(54)에 공급하고, 처리는 스텝 S34로 진행한다.
스텝 S34에서는, 생성부(54)는 분리부(53)로부터의 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성하여, 출력부(55)에 공급하고, 처리는 스텝 S35로 진행한다.
스텝 S35에서는, 출력부(55)는 생성부(54)로부터의 출력 데이터에 기초하여, 소정의 출력을 행한다.
이상과 같이, 도 9의 수신 장치(12)에서는 생성부(54)에 있어서, 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성하는 처리가 행해지지만, 이 처리는 리얼리티 모드 처리와, 엔터테인먼트 모드 처리로 나뉜다.
즉, 부가 정보에는, 상술한 바와 같이 실세계 정보와 이펙트 정보가 포함되지만, 출력 데이터를 생성하는 처리 중 실세계 정보를 사용하여 행해지는 처리가 리얼리티 모드 처리이며, 이펙트 정보를 사용하여 행해지는 처리가 엔터테인먼트 모드 처리이다.
이하, 리얼리티 모드 처리와, 엔터테인먼트 모드 처리에 대하여 설명한다.
도 11은 수신 장치(12)가 리얼리티 모드 처리를 행하는 경우에 생성부(54)에 공급되는 데이터(정보)를 나타내고 있다.
리얼리티 모드 처리에서는, 생성부(54)에 대해서는 분리부(53)로부터, 소재 데이터와, 부가 정보에 포함되는 실세계 정보가 공급된다.
또한, 리얼리티 모드 처리에서는, 유저가 줌을 지시하도록 입력부(56)를 조작하면, 그 조작에 대응한 지시 정보가 입력부(56)로부터 생성부(54)에 공급된다.
또한, 리얼리티 모드 처리에서는, 생성부(54)에 대해서는 출력부(55)의 특성을 나타내는 특성 정보가, 예를 들어 출력부(55)로부터 공급된다.
그리고, 리얼리티 모드 처리에서는, 생성부(54)는 소재 데이터, 실세계 정보 및 출력부(55)의 특성 정보에 기초하여, 출력부(55)의 출력으로부터 인식되는 물리량이, 실세계 정보가 나타내는 물리량으로 동정(同定)되도록 출력 데이터를 생성한다.
여기서, 생성부(54)는 입력부(56)로부터 지시 정보가 공급된 경우, 그 지시 정보에도 기초하여 출력 데이터를 생성한다.
또한, 리얼리티 모드 처리에 대해서는 수신 장치(12)는 입력부(56)를 설치하지 않고 구성할 수 있다. 수신 장치(12)가, 입력부(56)를 설치하지 않고 구성되는 경우, 생성부(54)에 대해서는 지시 정보는 공급되지 않는다.
이어서, 예를 들어 출력부(55)가 표시 장치이며, 출력 데이터가, 표시 장치인 출력부(55)에 의해 표시되는 화상으로서 리얼리티 모드 처리를 설명한다.
여기서, 실세계 정보에는, 도 7에서 설명한 촬상 범위 정보 D가 포함되도록 하고, 또한 특성 정보에는 표시 장치인 출력부(55)가 화상을 표시하는 표시 화면의 크기를 나타내는 크기 정보 F가 포함되는 것으로 한다.
또한, 여기에서는 설명을 간단하게 하기 위해, 크기 정보 F는 촬상 범위 정보 D(촬상 범위 D)와 마찬가지로, 표시 장치인 출력부(55)의 표시 화면의 가로 및 세로의 길이 중, 예를 들어 가로의 길이를 나타내는 것으로 한다.
도 12는 수신 장치(12)가 리얼리티 모드 처리를 행하는 경우의 생성부(54)의 구성예를 나타내고 있다.
도 12에 있어서, 생성부(54)는 BF(버퍼)(71), 부가 정보 해석부(72) 및 화상 처리부(73)로 구성된다.
BF(71)에는 분리부(53)(도 11)로부터 소재 데이터인 화상이 공급된다. BF(71)는 분리부(53)로부터의 소재 데이터인 화상을 기억한다.
부가 정보 해석부(72)에는 분리부(53)로부터 부가 정보에 포함되는 실세계 정보가 공급된다. 부가 정보 해석부(72)는 분리부(53)로부터의 실세계 정보를 해석하고, 예를 들어 그 실세계 정보에 포함되는 촬상 범위 정보 D(도 7)를 추출하여, 화상 처리부(73)에 공급한다.
화상 처리부(73)에는, 상술한 바와 같이 부가 정보 해석부(72)로부터 촬상 범위 정보 D가 공급된다. 또한, 화상 처리부(73)에는 BF(71)에 기억된 소재 데이터인 화상이 공급됨과 함께, 표시 장치인 출력부(55)(도 11)로부터 그 표시 장치의 특성 정보인 크기 정보 F가 공급된다.
또한, 유저가 줌을 지시하도록 입력부(56)(도 11)를 조작하면, 화상 처리부(73)에는 그 조작에 대응한 지시 정보가 입력부(56)로부터 공급된다.
화상 처리부(73)는 BF(71)로부터의 소재 데이터인 화상, 부가 정보 해석부(72)로부터의 촬상 범위 정보 D 및 출력부(55)로부터의 특성 정보인 크기 정보 F에 기초하여, 소재 데이터인 화상을 가공함으로써 표시 장치인 출력부(55)에 의해 표시되는 화상으로부터 인식되는 물체(촬상 오브젝트)의 크기가, 실세계에서의 크기로 동정되도록 출력 데이터인 화상을 생성하여, 표시 장치인 출력부(55)(도 11)에 공급한다.
또한, 화상 처리부(73)는 BF(71)로부터의 소재 데이터인 화상, 부가 정보 해석부(72)로부터의 촬상 범위 정보 D 및 출력부(55)로부터의 특성 정보인 크기 정보 F에 기초하여, 소재 데이터인 화상을 가공함으로써 표시 장치인 출력부(55)에 의해 표시되는 화상으로부터 인식되는 촬상 오브젝트의 크기가, 실세계에서의 크기를 넘지 않는 크기로 되는 화상을 출력 데이터로서 생성하여, 표시 장치인 출력부(55)(도 11)에 공급한다.
즉, 화상 처리부(73)는 입력부(56)로부터 지시 정보가 공급된 경우, BF(71)로부터의 소재 데이터인 화상을 입력부(56)로부터의 지시 정보가 지시하는 줌의 배율만큼 확대되는 가공을 행함으로써 출력 데이터를 생성한다.
단, 이 경우, 화상 처리부(73)는 소재 데이터인 화상의 확대를, 표시 장치인 출력부(55)에 의해 표시되는 화상으로부터 인식되는 촬상 오브젝트의 크기가 실세계에서의 크기를 넘지 않는 크기로 되도록 제한한다.
또한, 소재 데이터인 화상을 확대할 때의 배율을, 표시 줌 배율 z라고 하면, 표시 줌 배율 z가 1 미만인(또한 0보다 큰) 경우의 확대는 축소가 된다.
또한, 도 12에서는 크기 정보 F가, 표시 장치인 출력부(55)로부터 생성부(54)의 화상 처리부(73)에 공급되도록 했지만, 크기 정보 F는, 그 외, 예를 들어 생성부(54)에 미리 기억시켜 둘 수 있다.
이어서, 화상 처리부(73)의 처리에 대해, 더 설명한다.
또한, 여기에서는 설명을 간단하게 하기 위해, 표시 화각 정보가 나타내는 표시용 영역(도 5)은 소재 데이터인 화상의 영역 전체와 동등한 것으로 한다.
도 13은 카메라로 촬상 오브젝트의 촬상을 행하고 있는 상태와, 그 촬상에 의해 얻어진 소재 데이터인 화상의, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 나타내고 있다.
즉, 도 13의 A는 카메라로 촬상을 행하고 있는 상태를 모식적으로 도시하는 상면도이며, 도 7과 동일한 도면이다.
상술한 바와 같이, 촬상 범위 정보 D는, 카메라 화각 θ과, 오브젝트 거리 X로부터 식 D=2×X×tanθ/2에 따라 구할 수 있다.
도 13의 B는 카메라에 의해 도 13의 A와 같이 촬상을 행하여 얻어지는 소재 데이터인 화상을 확대하지 않고, 표시 장치인 출력부(55)에 의해 표시한 표시 상태를 나타내고 있다.
표시 장치인 출력부(55)에서는, 크기가 촬상 범위 정보 D인 실세계가, 크기가 크기 정보 F인 표시 화면에 표시된다.
따라서, 촬상 오브젝트는 실세계에서의 크기의 F/D배의 크기로 표시된다.
현재, 촬상 범위 정보 D가 크기 정보 F 이상이라고 하고(F≤D), 표시 줌 배율 z가 D/F 이하이면, 표시 장치인 출력부(55)에 표시되는 촬상 오브젝트의 크기는 실세계에서의 크기 이하로 된다.
따라서, 촬상 범위 정보 D가 크기 정보 F 이상인 경우에는 표시 줌 배율 z가 D/F 이하이면 표시 장치인 출력부(55)에 있어서, 촬상 오브젝트가, 실세계에서의 크기보다 크게 표시됨으로써 표시 장치인 출력부(55)에 의해 표시되는 촬상 오브젝트의 리얼리티가 손상되지는 않는다.
따라서, 화상 처리부(73)(도 12)에서는, 촬상 범위 정보 D가 크기 정보 F 이상인 경우에는 소재 데이터인 화상을 확대할 때의 표시 줌 배율 z가 D/F 이하로 제한된다.
한편, 촬상 범위 정보 D가 크기 정보 F 미만인 경우에는(F>D), 소재 데이터인 화상을, 그대로 표시 장치인 출력부(55)에 의해 표시하면, 그 출력부(55)에 표시되는 촬상 오브젝트의 크기는 실세계에서의 크기를 넘는 크기로 된다.
이와 같이, 표시 장치인 출력부(55)에 있어서, 촬상 오브젝트가, 실세계에서의 크기보다 크게 표시되면, 표시 장치인 출력부(55)에 의해 표시되는 촬상 오브젝트의 리얼리티가 손상되어, 현장감이 상실되게 된다.
이상과 같이, 촬상 범위 정보 D가 크기 정보 F 미만이 되는 경우로서는, 예를 들어 출력부(55)가 대형 화면의 표시 장치인 경우가 있다.
또한, 예를 들어 소재 데이터인 화상이, 소위 광학 줌이나, 디지털 줌을 사용하여 촬상된 경우도 촬상 범위 정보 D가 크기 정보 F 미만으로 되는 경우가 있다.
도 14는 카메라에 의해, 광학 줌을 사용하여 촬상 오브젝트의 촬상을 행하고 있는 상태와, 그 촬상에 의해 얻어진 소재 데이터인 화상의, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 나타내고 있다.
즉, 도 14의 A는 카메라에 의해, 광학 줌을 사용하여 촬상을 행하고 있는 상태를 모식적으로 도시하는 상면도이다.
광학 줌을 사용함으로써, 카메라 화각 θ는 좁아져(작아져), 그 결과 촬상 범위 정보 D는, 예를 들어 도 13의 A의 경우보다 작아진다.
도 14의 B는, 카메라에 의해 도 14의 A와 같이 촬상을 행하여 얻어지는 소재 데이터인 화상을, 표시 장치인 출력부(55)에 의해 표시한 표시 상태를 나타내고 있다.
표시 장치인 출력부(55)에서는, 크기가 촬상 범위 정보 D인 실세계가, 크기가 크기 정보 F인 표시 화면에 표시된다.
도 14에서는 촬상 범위 정보 D가 크기 정보 F 미만으로 되어 있으며, 그로 인해, 표시 장치인 출력부(55)에서는 촬상 오브젝트가 실세계에서의 크기보다 크게(F/D배의 크기로) 표시되어 있다.
도 15는 카메라에 의해 디지털 줌을 사용하여 촬상 오브젝트의 촬상을 행하고 있는 상태와, 그 촬상에 의해 얻어진 소재 데이터인 화상의, 표시 장치인 출력부(55)에서의 표시의 상태를 모식적으로 나타내고 있다.
즉, 도 15의 A는, 카메라에 의해 디지털 줌을 사용하여 촬상을 행하고 있는 상태를 모식적으로 도시하는 상면도이다.
디지털 줌에서는, 카메라로 촬상된 화상의, 예를 들어 중앙 부분을 잘라내어, 신호 처리에 의해 확대되는 트리밍에 의해 얻어지는 화상이 소재 데이터인 화상으로서 출력된다.
디지털 줌을 사용하여 얻어진 소재 데이터인 화상에 대해서는, 카메라 화각 θ가 광학 줌의 경우(도 14)와 마찬가지로 좁아져, 그 결과 촬상 범위 정보 D는 예를 들어 도 13의 A의 경우보다 작아진다.
도 15의 B는 카메라에 의해 도 15의 A와 같이 촬상을 행하여 얻어지는 소재 데이터인 화상을, 표시 장치인 출력부(55)에 의해 표시한 표시 상태를 나타내고 있다.
표시 장치인 출력부(55)에서는 크기가 촬상 범위 정보 D인 실세계가, 크기가 크기 정보 F인 표시 화면에 표시된다.
도 15에서는, 촬상 범위 정보 D가 크기 정보 F 미만으로 되어 있으며, 그로 인해, 표시 장치인 출력부(55)에서는 촬상 오브젝트가, 실세계에서의 크기보다 크게(F/D배의 크기로) 표시되어 있다.
이상과 같이, 소재 데이터인 화상이, 광학 줌이나, 디지털 줌을 사용하여 촬상되면, 촬상 범위 정보 D가 크기 정보 F 미만으로 되는 경우가 있으며, 그 경우 촬상 오브젝트는 실세계에서의 크기보다 크게 표시되어, 리얼리티가 손상된다.
따라서, 화상 처리부(73)(도 12)는, 촬상 범위 정보 D가 크기 정보 F 미만인 경우에는 표시 줌 배율 z를 D/F배로 설정하고, 소재 데이터인 화상을 D/F배로 확대한다(여기에서는, D/F는 1 미만이기 때문에, 화상은 축소된다).
이 경우, 화상 처리부(73)에 의해 확대(축소)를 행하지 않으면, 실세계에서의 크기의 F/D배로 표시되는 촬상 오브젝트가, 그 D/F배, 즉 실세계에서의 크기와 동등한 크기로 표시된다.
도 16은 촬상 범위 정보 D가 크기 정보 F 미만인 경우에 표시 장치인 출력부(55)에 표시되는 화상을 나타내고 있다.
즉, 도 16의 A는 광학 줌을 사용하여 촬상된 소재 데이터인 화상을, 표시 장치인 출력부(55)에 의해 표시한 표시 상태를 나타내고 있으며, 도 16의 B는 디지털 줌을 사용하여 촬상된 소재 데이터인 화상을 표시 장치인 출력부(55)에 의해 표시한 표시 상태를 나타내고 있다.
촬상 범위 정보 D가 크기 정보 F 미만인 경우에는 화상 처리부(73)는 표시 줌 배율 z를 D/F(<1)배로 설정하고, 소재 데이터인 화상을 D/F배로 확대하여, 출력 데이터로서 출력부(55)에 공급한다.
그 결과, 표시 장치인 출력부(55)에서는 촬상 오브젝트가, 실세계에서의 크기와 동등한 크기로 표시된다.
여기서, 화상 처리부(73)에서는 소재 데이터인 화상이 D/F(<1)배로 확대(축소)되는 결과, 그 확대에 의해 얻어지는 화상(출력 데이터)은 가로의 길이가 촬상 범위 정보 D와 동등한 화상으로 된다.
그리고, 지금의 경우, 촬상 범위 정보 D가 크기 정보 F 미만이기 때문에, 출력 데이터인 화상의 가로의 길이 F'(=D)는 크기 정보 F, 즉 표시 장치인 출력부(55)의 표시 화면의 가로의 길이보다 작아진다.
그로 인해, 표시 장치인 출력부(55)에서는, 그 표시 화면 중 출력 데이터인 화상이 표시되는 부분 이외의 부분에는, 예를 들어 도 16의 A에 도시된 바와 같이 흑색(소위 흑색 프레임) 등이 표시된다.
또한, 소재 데이터인 화상이 디지털 줌을 사용하여 촬상된 경우에는 카메라에 의해 촬상된 화상 중, 디지털 줌으로 확대된 중앙 부분 이외의 부분(도 15의 A에 있어서, 사선 표시된 부분)(이하, 트리밍 부분이라고도 한다)이 남아 있는 경우가 있다.
이 경우, 표시 장치인 출력부(55)에서는, 그 표시 화면 중 출력 데이터인 화상이 표시되는 부분 이외의 부분에는, 예를 들어 도 16의 B에 도시된 바와 같이 트리밍 부분이 표시된다.
이어서, 도 17을 참조하여, 도 12의 화상 처리부(73)에 의해 행해지는 리얼리티 모드 처리에 대하여 설명한다.
화상 처리부(73)는 스텝 S51에 있어서, 부가 정보 해석부(72)로부터 공급되는 실세계 정보에 포함되는 촬상 범위 정보 D와, 표시 장치인 출력부(55)의 특성 정보인 크기 정보 F에 기초하여, 소재 데이터인 화상을 확대하는 표시 줌 배율 z의 최대값인 최대 줌 배율 D/F를 구함과 함께, 입력부(56)(도 11)로부터 지시 정보가 공급되지 않은 경우의 표시 줌 배율 z인 표준 줌 배율 z1을 설정하고, 처리는 스텝 S52로 진행한다.
여기서, 촬상 범위 정보 D가 크기 정보 F 이상인 경우, 표준 줌 배율 z1은, 1배로 설정된다. 촬상 범위 정보 D가 크기 정보 F 미만인 경우, 표준 줌 배율 z1은 최대 줌 배율 D/F로 설정된다.
스텝 S52에서는, 화상 처리부(73)는 입력부(56)로부터, 줌을 지시하는 지시 정보가 공급되었는지의 여부를 판정한다.
스텝 S52에 있어서, 입력부(56)로부터 화상 처리부(73)에, 지시 정보가 공급되어 있지 않다고 판정된 경우, 처리는 스텝 S53으로 진행하고, 화상 처리부(73)는, 표시 줌 배율 z를 표준 줌 배율 z1로 설정하고, 처리는 스텝 S57로 진행한다.
또한, 스텝 S52에 있어서, 입력부(56)로부터 화상 처리부(73)에 지시 정보가 공급되었다고 판정된 경우, 처리는 스텝 S54로 진행하고, 화상 처리부(73)는 입력부(56)로부터의 지시 정보가 지시하는 줌의 배율(이하, 지시 줌 배율 A라고도 한다)이 최대 줌 배율 D/F 이하인지의 여부를 판정한다.
스텝 S54에 있어서, 지시 줌 배율 A가 최대 줌 배율 D/F 이하라고 판정된 경우, 처리는 스텝 S55로 진행하고, 화상 처리부(73)는 표시 줌 배율 z를 지시 줌 배율 A로 설정하고, 처리는 스텝 S57로 진행한다.
또한, 스텝 S54에 있어서, 지시 줌 배율 A가 최대 줌 배율 D/F 이하가 아니라고 판정된 경우, 즉 촬상 오브젝트를 실세계에서의 크기보다 크게 표시하는, 최대 줌 배율 D/F를 넘는 배율의 줌이, 유저에 의해 지시된 경우, 처리는 스텝 S56으로 진행하고, 화상 처리부(73)는 표시 줌 배율 z를 최대 줌 배율 D/F로 설정하고, 처리는 스텝 S57로 진행한다.
스텝 S57에서는, 화상 처리부(73)는 BF(71)에 기억된 소재 데이터로서의 화상을, 표시 줌 배율 z만큼 확대되는 확대 화상을, 출력 데이터로서 생성하여, 표시 장치인 출력부(55)(도 11)에 공급한다.
그리고, 표시 장치인 출력부(55)에서는 화상 처리부(73)로부터의 출력 데이터인 확대 화상이 표시되고, 이에 의해 촬상 오브젝트는, 도 13에서 설명한 바와 같이 실세계에서의 크기의 F/D배의 크기로 표시된다.
따라서, 입력부(56)로부터 화상 처리부(73)에, 지시 정보가 공급되어 있지 않은 경우, 즉 유저가 줌을 지시하는 조작을 하고 있지 않은 경우에는 표시 장치인 출력부(55)에 있어서, 촬상 오브젝트는 실세계에서의 크기와 동등한 크기(z(=D/F)×F/D), 또는 실세계에서의 크기의 F/D배의 크기(z(=1)×F/D)로 표시된다.
즉, 촬상 범위 정보 D가 크기 정보 F 미만인 경우에는 상술한 바와 같이 표준 줌 배율 z1, 나아가서는, 표시 줌 배율 z는 최대 줌 배율 D/F로 설정되므로, 촬상 오브젝트는 실세계에서의 크기의 D/F×F/D배의 크기, 즉 실세계에서의 크기와 동등한 크기로 표시된다.
또한, 촬상 범위 정보 D가 크기 정보 F 이상인 경우에는 상술한 바와 같이 표준 줌 배율 z1, 나아가서는 표시 줌 배율 z는 1배로 설정되므로, 촬상 오브젝트는 실세계에서의 크기의 F/D(≤1)배의 크기로 표시된다.
한편, 입력부(56)로부터 화상 처리부(73)에, 지시 정보가 공급된 경우, 즉 유저가 지시 줌 배율 A의 줌을 지시하는 조작을 한 경우에는, 지시 줌 배율 A가 최대 줌 배율 D/F 이하일 때에는 촬상 오브젝트는 실세계에서의 크기의 F/D×A배의 크기(z(=A)×F/D)로 표시되고, 지시 줌 배율 A가 최대 줌 배율 D/F 이하가 아닐 때에는 촬상 오브젝트는 실세계에서의 크기와 동등한 크기(z(=D/F)×F/D)로 표시된다.
즉, 지시 줌 배율 A가 최대 줌 배율 D/F 이하인 경우에는, 상술한 바와 같이 표시 줌 배율 z는 지시 줌 배율 A로 설정되므로, 촬상 오브젝트는 실세계에서의 크기의 A(≤D/F)×F/D배의 크기로 표시된다.
또한, 지시 줌 배율 A가 최대 줌 배율 D/F 이하가 아닌 경우에는 상술한 바와 같이 표시 줌 배율 z는 최대 줌 배율 D/F로 설정되므로, 촬상 오브젝트는 실세계에서의 크기의 D/F×F/D배의 크기, 즉 실세계에서의 크기와 동등한 크기로 표시된다.
어떤 경우든, 촬상 오브젝트는 실세계에서의 크기 이하의 크기로 표시된다.
또한, 도 17의 리얼리티 모드 처리는, 예를 들어 프레임(또는 필드)마다 행해진다.
또한, 도 17의 리얼리티 모드 처리는, 촬상 오브젝트가, 실세계에서의 크기를 넘는 크기로 표시되는 경우에만 행하는 것이 가능하다.
즉, 리얼리티 모드 처리는, 예를 들어 실세계에서의 크기를 넘는 크기로 표시된 촬상 오브젝트를 본 유저가 그 표시의 개선을 지시하도록 입력부(56)를 조작한 경우에 행하도록 하는 것이 가능하다.
도 18은 수신 장치(12)가 엔터테인먼트 모드 처리를 행하는 경우에 생성부(54)에 공급되는 데이터(정보)를 나타내고 있다.
엔터테인먼트 모드 처리에서는 생성부(54)에 대해서는 분리부(53)로부터 소재 데이터와, 부가 정보에 포함되는 이펙트 정보가 공급된다.
또한, 엔터테인먼트 모드 처리에서는, 유저가 소재 데이터의 가공을 지시하도록 입력부(56)를 조작하면 그 조작에 대응한 지시 정보가 입력부(56)로부터 생성부(54)에 공급된다.
그리고, 엔터테인먼트 모드 처리에서는 생성부(54)는 분리부(53)로부터의 이펙트 정보, 또는 입력부(56)로부터의 지시 정보에 기초하여, 분리부(53)로부터의 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터를 생성한다.
즉, 생성부(54)는 입력부(56)로부터의 지시 정보의 공급이 없는 경우에는 분리부(53)로부터의 이펙트 정보에 기초하여, 분리부(53)로부터의 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터를 생성한다.
또한, 생성부(54)는 입력부(56)로부터의 지시 정보의 공급이 있는 경우에는 그 지시 정보에 기초하여, 분리부(53)로부터의 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터를 생성한다.
다음에, 예를 들어 출력부(55)가 표시 장치이며, 출력 데이터가, 표시 장치인 출력부(55)에 의해 표시되는 화상으로서, 엔터테인먼트 모드 처리를 설명한다.
도 19는 수신 장치(12)가 엔터테인먼트 모드 처리를 행하는 경우의 생성부(54)의 구성예를 나타내고 있다.
여기서, 이펙트 정보에는, 도 3 또는 도 6에서 설명한 전환 정보, 표시 화상 프레임 정보 및 합성용 데이터가 포함되는 것으로 하고, 소재 데이터로서는, N개의 스트림의 화상 S#1 내지 S#N이 있는 것으로 한다.
도 20에 있어서, 생성부(54)는 화상 데이터 BF(버퍼)(81), 부가 정보 해석부(82), 피합성 데이터 BF(83) 및 화상 처리부(84)로 구성된다.
화상 데이터 BF(81)에는, 분리부(53)(도 18)로부터, 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N이 공급된다. 화상 데이터 BF(81)는 분리부(53)로부터의 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N을 기억한다.
부가 정보 해석부(82)에는 분리부(53)로부터 부가 정보에 포함되는 이펙트 정보가 공급된다.
부가 정보 해석부(82)는 분리부(53)로부터의 이펙트 정보를 해석하고, 예를 들어 그 이펙트 정보에 포함되는 전환 정보, 표시 화상 프레임 정보 및 합성용 데이터를 추출한다.
또한, 부가 정보 해석부(82)는 합성용 데이터로부터 소재 데이터에 합성되는 피합성 데이터와, 그 합성의 타이밍을 나타내는 타이밍 정보를 추출한다.
그리고, 부가 정보 해석부(82)는 피합성 데이터를 피합성 데이터 BF(83)에 공급함과 함께 전환 정보, 표시 화상 프레임 정보 및 타이밍 정보를 화상 처리부(84)에 공급한다.
여기서, 부가 정보 해석부(82)가 화상 처리부(84)에 공급하는 전환 정보, 표시 화상 프레임 정보 및 타이밍 정보, 즉 이펙트 정보에 포함되는 전환 정보, 표시 화상 프레임 정보 및 타이밍 정보를 통합하여 디폴트 정보라고도 한다.
피합성 데이터 BF(83)는 부가 정보 해석부(82)로부터의 피합성 데이터를 기억한다.
화상 처리부(84)에는, 상술한 바와 같이 부가 정보 해석부(82)로부터, 디폴트 정보가 공급된다. 또한, 화상 처리부(84)에는 화상 데이터 BF(81)에 기억된 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N이 공급됨과 함께, 피합성 데이터 BF(83)에 기억된 피합성 데이터가 공급된다.
또한, 유저가, 소재 데이터 등의 가공을 지시하도록 입력부(56)(도 18)를 조작하면 화상 처리부(84)에는 그 조작에 대응한 지시 정보가 입력부(56)로부터 공급된다.
여기서, 유저는 입력부(56)를 조작함으로써 표시 장치인 출력부(55)(도 18)에 표시되는 화상을 촬상하고 있는 카메라를 팬, 틸트, 또는 줌시키는 지시(이하, PTZ(pan, tilt, zoom) 지시라고도 한다)를 행할 수 있다.
또한, 유저는, 입력부(56)를 조작함으로써 표시 장치인 출력부(55)에 표시되는 화상을 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N 중 1개의 화상 S#i로부터 다른 1개의 화상 S#i'로 전환하는 지시(이하, 전환 지시라고도 한다)를 행할 수 있다.
또한, 유저는 입력부(56)를 조작함으로써 표시 장치인 출력부(55)에 표시되는 화상에 피합성 데이터를 합성(중첩)하는 지시(이하, 합성 지시라고도 한다)를 행할 수 있다.
유저가, 입력부(56)를 조작함으로써 PTZ 지시를 행하면, 입력부(56)는 그 PTZ 지시에 따라 이동, 또는 크기를 변경한 표시용 영역(도 5)을 특정하는 표시 화상 프레임 정보를 생성하여, 그 표시 화상 프레임 정보를 포함하는 지시 정보를 화상 처리부(84)에 공급한다.
또한, 유저가 입력부(56)를 조작함으로써 전환 지시를 행하면 입력부(56)는 그 전환 지시에 따라 전환 정보(도 4)를 생성하여, 그 전환 정보를 포함하는 지시 정보를 화상 처리부(84)에 공급한다.
또한, 유저가 입력부(56)를 조작함으로써 합성 지시를 행하면 입력부(56)는 그 합성 지시에 따라 소재 데이터에 합성하는 피합성 데이터를 선택하기 위한 선택 정보를 생성하여, 그 선택 정보를 포함하는 지시 정보를 화상 처리부(84)에 공급한다.
화상 처리부(84)는, 부가 정보 해석부(82)로부터의 디폴트 정보, 또는 입력부(56)로부터의 지시 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터에 대하여, 피합성 데이터 BF(83)에 기억된 피합성 데이터를 필요에 따라 사용하여, 가공을 실시함으로써 출력 데이터인 화상을 생성하여, 표시 장치인 출력부(55)(도 18)에 공급한다.
즉, 화상 처리부(84)는 입력부(56)로부터의 지시 정보의 공급이 없는 경우에는 부가 정보 해석부(82)로부터의 디폴트 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터인 화상을 생성한다.
구체적으로는, 예를 들어 화상 처리부(84)는 디폴트 정보에 포함되는 전환 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N 중에서 1개의 스트림의 화상을, 출력 데이터로 하는 화상(이하, 출력용 화상이라고도 한다)으로서 선택한다.
또한, 예를 들어 화상 처리부(84)는 디폴트 정보에 포함되는 표시 화상 프레임 정보에 기초하여, 그 표시 화상 프레임 정보가 나타내는 표시용 영역의 화상을 출력용 화상으로부터 추출한다.
또한, 예를 들어 화상 처리부(84)는 디폴트 정보에 포함되는 타이밍 정보에 기초하여, 표시용 영역의 화상에, 피합성 데이터 BF(83)에 기억된 피합성 데이터를 합성한다. 또한, 여기에서는 피합성 데이터 BF(83)에, 복수의 피합성 데이터가 기억되어 있는 경우에는 그 복수의 피합성 데이터 중 어느 피합성 데이터를 표시용 영역의 화상에 합성할지의 정보는, 디폴트 정보에 포함되는 타이밍 정보에 포함되어 있는 것으로 한다.
이상과 같이, 화상 처리부(84)에서는, 입력부(56)로부터의 지시 정보의 공급이 없는 경우에는 부가 정보 해석부(82)로부터의 디폴트 정보, 즉 송신 장치(11)의 편집 장치(32)(도 2)에 의해 생성된 이펙트 정보(에 포함되는 전환 정보, 표시 화상 프레임 정보 및, 타이밍 정보)에 기초하여, 소재 데이터의 가공이 행해지므로, 표시 장치인 출력부(55)에서는, 프로그램 제작자가 편집 장치(32)를 조작함으로써 행한 편집에 의해 얻어지는 화상이 표시된다.
한편, 화상 처리부(84)는 입력부(56)로부터의 지시 정보의 공급이 있는 경우에는 그 지시 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터인 화상을 생성한다.
구체적으로는, 예를 들어 화상 처리부(84)는 지시 정보에 전환 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 전환 정보가 아니고, 지시 정보에 포함되는 전환 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N 중에서 1개의 스트림의 화상을 출력용 화상으로서 선택한다.
또한, 예를 들어, 화상 처리부(84)는 지시 정보에 표시 화상 프레임 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 표시 화상 프레임 정보가 아니고, 지시 정보에 포함되는 표시 화상 프레임 정보에 기초하여, 그 표시 화상 프레임 정보가 나타내는 표시용 영역의 화상을 출력용 화상으로부터 추출한다.
또한, 예를 들어 화상 처리부(84)는 지시 정보에 선택 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 타이밍 정보가 아니고, 지시 정보에 포함되는 선택 정보에 따라 표시용 영역의 화상에 합성하는 피합성 데이터를, 피합성 데이터 BF(83)에 기억된 피합성 데이터 중에서 선택하여, 그 피합성 데이터를 표시용 영역의 화상에 합성한다.
또한, 타이밍 정보나, 선택 정보를 사용한 피합성 데이터의 선택에서는 복수의 피합성 데이터(예를 들어, 복수의 자막이나, 1개의 자막 및 1개의 PinP 화상 등)가 선택되는 경우가 있다.
또한, 선택 정보는 피합성 데이터를 선택하지 않은 것을 나타내는 경우가 있다. 선택 정보가, 피합성 데이터를 선택하지 않은 것을 나타내고 있는 경우, 화상 처리부(84)에서는 디폴트 정보에 포함되는 타이밍 정보가, 어느 피합성 데이터를 표시용 영역의 화상에 합성하는 것을 나타내고 있어도 그 피합성 데이터의 합성은 행해지지 않는다.
이상과 같이, 화상 처리부(84)는 입력부(56)로부터의 지시 정보의 공급이 있는 경우에는 디폴트 정보가 아니고, 지시 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터인 화상을 생성한다.
또한, 화상 처리부(84)에 대하여, 입력부(56)로부터 지시 정보의 공급이 있은 후, 그 공급이 없어진 경우에는 화상 처리부(84)는 디폴트 정보에 기초하여, 화상 데이터 BF(81)에 기억된 소재 데이터에 대하여 가공을 실시함으로써 출력 데이터인 화상을 생성한다.
따라서, 예를 들어 타이밍 정보가, 어느 한 피합성 데이터로서의 자막을, 표시용 영역의 화상에 합성하는 것을 나타내고 있는 경우에 있어서, 유저가 피합성 데이터의 합성을 금지하도록(행하지 않도록) 입력부(56)를 조작했을 때에는 자막은 그 입력부(56)의 조작에 따라 표시되지 않는다.
그리고, 그 후 피합성 데이터의 합성의 금지를 해제하도록 입력부(56)를 조작하면, 자막이 디폴트 정보에 포함되는 타이밍 정보에 따라 표시용 영역의 화상에 합성되어 표시된다.
또한, 도 19의 생성부(54)에서는, 화상 처리부(84)에 대하여, 분리부(53)로부터 실세계 정보를 공급함과 함께 출력부(55)로부터 특성 정보를 공급하고, 화상 처리부(84)에 있어서, 도 12의 화상 처리부(73)와 마찬가지의 리얼리티 모드 처리를 더 행하도록 할 수 있다.
즉, 화상 처리부(84)에서는 입력부(56)로부터의 지시 정보의 공급이 없는 경우에, 도 17의 리얼리티 모드 처리 중 스텝 S51, S53 및 S57의 처리를 행하도록 하는 것이 가능하다. 이 경우, 화상 처리부(84)에서는 표시 장치인 출력부(55)의 표시(출력)로부터 인식되는 촬상 오브젝트의 크기(물리량)가, 실세계 정보에 포함되는 촬상 범위 정보 D에 대응하는 크기(실세계에서의 촬상 오브젝트의 크기)로 동정되도록 출력 데이터인 화상이 생성된다.
이어서, 도 20은, 도 19의 화상 처리부(84)의 구성예를 나타내고 있다.
도 20에 있어서, 화상 처리부(84)는 화상 선택부(91), 지시 선택부(92), 표시 영역 설정부(93), 게이트부(94) 및 중첩 처리부(95)로 구성된다.
화상 선택부(91)에는 화상 데이터 BF(81)에 기억된 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N이 공급된다.
또한, 지시 선택부(92)에는 부가 정보 해석부(82)(도 19)로부터 디폴트 정보가 공급됨과 함께, 입력부(56)(도 18)로부터 지시 정보가 공급된다.
지시 선택부(92)는 부가 정보 해석부(82)로부터의 디폴트 정보에 포함되는 전환 정보를, 화상 선택부(91)에 공급함과 함께 그 디폴트 정보에 포함되는 표시 화상 프레임 정보를 표시 영역 설정부(93)에 공급한다.
또한, 지시 선택부(92)는 디폴트 정보에 포함되는 타이밍 정보에 기초하여, 피합성 데이터를 합성해야 할 타이밍에, 합성에 사용하는 피합성 데이터를 선택하기 위한 선택 정보를 생성하여, 게이트부(94)에 공급한다.
단, 지시 선택부(92)는 입력부(56)(도 18)로부터 지시 정보가 공급된 경우에는 그 지시 정보를 우선적으로 선택한다.
즉, 지시 선택부(92)는 입력부(56)로부터 지시 정보가 공급되고, 그 지시 정보에 전환 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 전환 정보가 아니고, 지시 정보에 포함되는 전환 정보를 화상 선택부(91)에 공급한다.
또한, 지시 선택부(92)는 입력부(56)로부터 지시 정보가 공급되고, 그 지시 정보에 표시 화상 프레임 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 표시 화상 프레임 정보가 아니고, 지시 정보에 포함되는 표시 화상 프레임 정보를 표시 영역 설정부(93)에 공급한다.
또한, 지시 선택부(92)는 입력부(56)로부터 지시 정보가 공급되고, 그 지시 정보에 선택 정보가 포함되어 있는 경우에는 디폴트 정보에 포함되는 타이밍 정보로 생성한 선택 정보가 아니고, 지시 정보에 포함되는 선택 정보를 게이트부(94)에 공급한다.
화상 선택부(91)는 지시 선택부(92)로부터의 전환 정보에 기초하여, 화상 데이터 BF(81)로부터의 소재 데이터인 N개의 스트림의 화상 S#1 내지 S#N 중에서 1개의 스트림의 화상을 출력용 화상으로서 선택하여, 표시 영역 설정부(93)에 공급한다.
표시 영역 설정부(93)는 화상 선택부(91)의 출력용 화상으로부터, 지시 선택부(92)로부터의 표시 화상 프레임 정보가 나타내는 표시용 영역의 화상을 추출하여, 중첩 처리부(95)에 공급한다.
한편, 게이트부(94)에는, 상술한 바와 같이 지시 선택부(92)로부터 선택 정보가 공급되는 것 외에, 피합성 데이터 BF(83)에 기억된 피합성 데이터가 공급된다.
게이트부(94)는 피합성 데이터 BF(83)에 기억된 피합성 데이터 중 0개 이상의 피합성 데이터를 지시 선택부(92)로부터 선택 정보에 따라 선택하여, 중첩 처리부(95)에 공급한다.
중첩 처리부(95)는 표시 영역 설정부(93)로부터의 표시용 영역의 화상에 게이트부(94)로부터의 0개 이상의 피합성 데이터를 합성(중첩)하고, 그 합성 후의 화상을 출력 데이터로서 출력부(55)(도 18)에 공급한다.
또한, 게이트부(94)로부터 중첩 처리부(95)에 대하여, 0개의 피합성 데이터가 공급된 경우, 즉 피합성 데이터가 공급되지 않은 경우 중첩 처리부(95)는 표시 영역 설정부(93)로부터의 표시용 영역의 화상을 그대로 출력 데이터로서 출력부(55)에 공급한다.
이어서, 도 21은, 도 1의 수신 장치(12)의 다른 구성예를 나타내고 있다.
또한, 도면 중 도 9의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 2에서 설명한 바와 같이, 송신 장치(11)에서는 센서부(31)로서, 광을 센싱하여 화상을 출력하는 카메라나, 온도를 센싱하는 온도 센서, 습도를 센싱하는 습도 센서, 풍속을 센싱하는 풍속 센서, 진동을 센싱하는 진동 센서, 밝기를 센싱하는 밝기 센서 등의 여러 종류의 센서를 채용할 수 있다.
송신 장치(11)에 있어서, 센서부(31)로서, 예를 들어 카메라, 온도 센서, 습도 센서 및 진동 센서를 채용한 경우에는 카메라에 의해 취득된 화상, 온도 센서로 취득된 온도, 습도 센서로 취득된 습도 및 진동 센서로 취득된 진동의 데이터 각각이, 대응하는 부가 정보와 함께 송신된다.
이 경우, 수신 장치(12)의 분리부(53)는, 도 21에 도시된 바와 같이 복호부(52)로부터 공급되는 데이터를, 소재 데이터인 화상의 데이터, 온도의 데이터, 습도의 데이터, 진동의 데이터 및 각 소재 데이터에 대응하는 부가 정보 각각으로 분리한다.
그리고, 분리부(53)는 소재 데이터인 화상의 데이터와, 대응하는 부가 정보를 생성부(54)에 공급한다.
또한, 분리부(53)는 소재 데이터인 온도 및 습도의 데이터와, 대응하는 부가 정보를 생성부(101)에 공급함과 함께 소재 데이터인 동요의 데이터와, 대응하는 부가 정보를 생성부(111)에 공급한다.
생성부(54)는, 상술한 바와 같이 분리부(53)로부터의 소재 데이터인 화상의 데이터와, 부가 정보, 또는 입력부(56)로부터의 지시 정보에 기초하여, 소재 데이터를 가공함으로써 출력 데이터인 화상을 생성하여, 출력부(55)에 공급한다.
출력부(55)는, 예를 들어 상술한 바와 같이, 표시 장치이며, 생성부(54)로부터의 출력 데이터에 기초하여 화상의 표시(출력)를 행한다.
한편, 생성부(101)에는 분리부(53)로부터 소재 데이터인 온도 및 습도의 데이터와, 대응하는 부가 정보가 공급되는 것 외에, 입력부(56)와 마찬가지로, 유저에 의해 조작되는 입력부(103)로부터 지시 정보가 공급된다.
생성부(101)는 분리부(53)로부터의 소재 데이터인 온도 및 습도의 데이터와, 부가 정보, 또는 입력부(103)로부터의 지시 정보에 기초하여, 소재 데이터를 가공함으로써 출력 데이터를 생성하여, 출력부(102)에 공급한다.
즉, 출력부(102)는, 예를 들어 에어 컨디셔너 등의 공조 장치이며, 생성부(101)는 온도 및 습도의 데이터를 가공함으로써 공조 장치인 출력부(102)를 제어하는 공조 제어 정보를 생성하여, 출력 데이터로서 출력부(102)에 공급한다.
출력부(102)는 생성부(101)로부터의 출력 데이터인 공조 제어 정보에 기초하여, 풍향, 온도, 풍속, 습도 등을 조정한 바람(공기)을 출력한다.
또한, 생성부(111)에는 분리부(53)로부터 소재 데이터인 진동의 데이터와, 대응하는 부가 정보가 공급되는 것 외에, 입력부(56)와 마찬가지로, 유저에 의해 조작되는 입력부(113)로부터 지시 정보가 공급된다.
생성부(111)는 분리부(53)로부터의 소재 데이터인 진동의 데이터와, 부가 정보, 또는 입력부(113)로부터의 지시 정보에 기초하여, 소재 데이터를 가공함으로써 출력 데이터를 생성하여, 출력부(112)에 공급한다.
즉, 출력부(112)는, 예를 들어 의자나, 표시 장치인 출력부(55)를 동요(진동)시키는 동요 장치이며, 생성부(111)는 진동의 데이터를 가공함으로써 동요 장치인 출력부(112)를 제어하는 진동 정보를 생성하여, 출력 데이터로서 출력부(112)에 공급한다.
출력부(112)는 생성부(111)로부터의 출력 데이터인 진동 정보에 기초하여, 의자 등을 동요시킨다.
그 외, 예를 들어 송신 장치(11)에 있어서, 밝기를 센싱하는 밝기 센서로 취득한 밝기의 데이터를, 소재 데이터로서 대응하는 부가 정보와 함께 송신할 수 있고, 그 경우 수신 장치(12)에서는 그 소재 데이터 및 부가 정보로 생성되는 출력 데이터에 기초하여, 예를 들어 수신 장치(12)가 설치되어 있는 방의 조명 장치에 의한 조명을 조정할 수 있다.
또한, 예를 들어 송신 장치(11)에서는 풍속을 센싱하는 풍속 센서로 취득한 풍속의 데이터를 소재 데이터로서, 대응하는 부가 정보와 함께 송신할 수 있고, 그 경우, 수신 장치(12)에서는 그 소재 데이터 및 부가 정보로 생성되는 출력 데이터에 기초하여, 공조 장치인 출력부(102)가 출력하는 바람의 풍속을 조정할 수 있다.
이상과 같이, 송신 장치(11)에 있어서, 센서부(31)에 의해 취득한 화상이나, 온도, 습도, 풍속, 진동, 밝기 등의 소재 데이터를, 대응하는 부가 정보와 함께 송신하고, 수신 장치(12)에 있어서, 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성하고, 출력 데이터에 기초하여, 출력을 행하는 표시 장치, 공조 장치, 동요 장치, 조명 장치 등에 있어서, 출력을 행함으로써 센서부(31)에 의해 소재 데이터를 취득한 환경에 있어서의 풍경이나, 온도, 풍속, 습도, 진동, 밝기 등을 사실적으로 재현하여, 유저는 현장감있는 체험을 할 수 있다.
다음에, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 범용의 컴퓨터 등에 인스톨된다.
따라서, 도 22는 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(205)나 ROM(203)에 미리 기록해 둘 수 있다.
혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체(211)에 일시적 혹은 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(211)는, 소위 팩키지 소프트 웨어로서 제공할 수 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(211)로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 디지털 위성 방송용의 인공 위성을 통하여 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 컴퓨터에 유선으로 전송하고, 컴퓨터에서는 그와 같이 하여 전송되어 오는 프로그램을 통신부(208)에 의해 수신하여, 내장하는 하드 디스크(205)에 인스톨할 수 있다.
컴퓨터는 CPU(Central Processing Unit)(202)를 내장하고 있다. CPU(202)에는, 버스(201)를 통하여 입출력 인터페이스(210)가 접속되어 있고, CPU(202)는 입출력 인터페이스(210)를 통하여 유저에 의해 키보드나, 마우스, 마이크 등으로 구성되는 입력부(207)가 조작 등이 이루어짐으로써 명령이 입력되면, 그에 따라 ROM(Read Only Memory)(203)에 저장되어 있는 프로그램을 실행한다. 혹은, 또는 CPU(202)는 하드 디스크(205)에 저장되어 있는 프로그램, 위성 혹은 네트워크로부터 전송되고, 통신부(208)에 의해 수신되어 하드 디스크(205)에 인스톨된 프로그램 또는 드라이브(209)에 장착된 리무버블 기록 매체(211)로부터 판독되어 하드 디스크(205)에 인스톨된 프로그램을 RAM(Random Access Memory)(204)에 로드하여 실행한다. 이에 의해, CPU(202)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(202)는 그 처리 결과를 필요에 따라, 예를 들어 입출력 인터페이스(210)를 통하여 LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(206)로부터 출력, 혹은 통신부(208)로부터 송신, 나아가 하드 디스크(205)에 기록 등을 시킨다.
여기서, 본 명세서에 있어서, 컴퓨터에 각종 처리를 행하게 하기 위한 프로그램을 기술하는 처리 스텝은, 반드시 흐름도로서 기재된 순서를 따라 시계열로 처리할 필요는 없어, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은 하나의 컴퓨터에 의해 처리되는 것이어도 좋고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 좋다. 또한, 프로그램은 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 좋다.
이상과 같이, 도 1의 방송 시스템에서는, 송신 장치(11)에 있어서, 센서부(31)에 의해 취득한 소재 데이터와, 대응하는 부가 정보를 송신하고, 수신 장치(12)에 있어서, 소재 데이터와 부가 정보에 기초하여, 출력 데이터를 생성하고, 출력 데이터에 기초하여, 출력을 행하므로 수신 장치(12)측에 있어서, 적절한 처리를 행할 수 있고, 이에 의해, 예를 들어 유저에게 현장감을 느끼게 하는 것이나, 유저의 기호에 맞는 화상을 표시하는 것 등이 가능해진다.
즉, 수신 장치(12)에서는, 적절한 처리로서, 리얼리티 모드 처리를 행할 수 있고, 리얼리티 모드 처리에 의하면, 예를 들어 촬상 오브젝트가 실세계에서의 크기보다 크게 표시됨으로써 리얼리티가 손상되는 것을 방지할 수 있다.
구체적으로는, 예를 들어 사람의 얼굴이, 실제 크기보다 크게 표시된다고 하는, 말하자면 미스매치를 해소하여 유저에게 현장감을 느끼게 할 수 있다.
또한, 리얼리티 모드 처리에 있어서, 출력부(55)로서, 표시 화면이 큰(예를 들어, 100인치 이상 등) 표시 장치를 채용한 경우에는, 말하자면 차경(借景 : 집밖의 먼산이나 수목을 정원의 배경으로 이용하는 일)적인 표시를 행할 수 있다.
또한, 리얼리티 모드 처리는, 예를 들어 풍경의 화상이나, 오케스트라의 연주의 음악을 소재 데이터로 하는 경우에, 특히 유용하다.
즉, 예를 들어 실제 풍경의 화상의 데이터를, 센서로서의 카메라에 의해 취득하여, 그 화상의 데이터를 소재 데이터로서 리얼리티 모드 처리를 행함으로써, 실제 풍경이 보이는 장소에서 그 풍경을 보고 있는 듯한 크기로 그 풍경을 구성하는 나무나 산 등의 화상을 표시할 수 있다.
또한, 예를 들어 실제 오케스트라의 연주의 음악 데이터를, 센서로서의 마이크(마이크로폰)에 의해 취득하여, 그 음악의 데이터를 소재 데이터로서 리얼리티 모드 처리를 행함으로써 실제의 연주회장에서 오케스트라의 연주를 듣고 있는 듯한 음량으로 음악(소리)을 출력할 수 있다.
또한, 수신 장치(12)에서는, 적절한 처리로서 엔터테인먼트 모드 처리를 행할 수 있고, 엔터테인먼트 모드 처리에 의하면, 예를 들어 유저의 기호에 맞는 화상을 표시할 수 있다.
즉, 엔터테인먼트 모드 처리에 의하면, 프로그램 제작자가 편집에 의해 행한, 유저에게 있어서 불필요한 연출을 배제하는 것이나, 유저가 원하는 연출을 부가하는 것, 정보를 선택하는 것, 변형(deformed) 표시 등이 가능해진다.
구체적으로는, 예를 들어 엔터테인먼트 모드 처리에 의하면, 유저가 입력부(56)를 조작함으로써 합성 지시를 행하면, 입력부(56)에 있어서, 그 합성 지시에 따라 소재 데이터에 합성하는 피합성 데이터를 선택하기 위한 선택 정보가 생성되고, 화상 처리부(84)(도 19)에서는 그 선택 정보에 따라 화상에 합성하는 자막(텔롭)이나 PinP 화상 등의 피합성 데이터의 선택(또는, 비선택)이 행해진다.
따라서, 텔롭이나 PinP 화상이 많은, 예를 들어 뉴스 프로그램에 대해, 그 텔롭이나 PinP 화상에 의한 연출을 불필요하게 느끼는 유저는 입력부(56)를 조작함으로써, 텔롭이나 PinP 화상이 없는 상태의 뉴스 프로그램을 시청하는 것이 가능해진다.
또한, 예를 들어 엔터테인먼트 모드 처리에 의하면, 유저가 입력부(56)를 조작함으로써 PTZ 지시를 행하면, 입력부(56)에 있어서, 그 PTZ 지시에 따라 표시용 영역(도 5)을 특정하는 표시 화상 프레임 정보가 생성되어, 화상 처리부(84)(도 19)에서는 그 표시 화상 프레임 정보가 나타내는 표시용 영역의 화상이 소재 데이터로부터 추출된다.
따라서, 스포츠 프로그램이나, 음악 프로그램에 있어서, 특정한 선수나 연예인의 팬인 유저는 입력부(56)를 조작함으로써, 특정한 선수나 연예인을 좇는 화상을 시청하는 것이 가능해진다.
또한, 상술한 바와 같이, 화상 처리부(84)(도 19)는 입력부(56)로부터의 지시 정보의 공급이 있는 경우에는 그 지시 정보를 우선적으로 선택하고, 그 지시 정보에 기초하여 소재 데이터의 가공을 행함으로써 유저의 기호에 맞는 화상을 표시하지만, 입력부(56)로부터의 지시 정보의 공급이 없는 경우에는 디폴트 정보, 즉 송신 장치(11)의 편집 장치(32)에 의해 생성된 이펙트 정보(에 포함되는 전환 정보, 표시 화상 프레임 정보 및 타이밍 정보)에 기초하여, 소재 데이터의 가공이 행해진다.
따라서, 유저는 입력부(56)를 조작함으로써 표시 장치인 출력부(55)에 유저의 기호에 맞는 화상을 표시시킬 수 있고, 입력부(56)의 조작을 하지 않음으로써(입력부(56)를 조작함으로써 행한 PTZ 지시나, 전환 지시, 합성 지시를 해제하도록 입력부(56)를 조작함으로써), 표시 장치인 출력부(55)에, 프로그램 제작자가 편집 장치(32)를 조작함으로써 행한 편집에 의해 얻어지는 화상을 표시시킬 수 있다.
또한, 본 발명의 실시 형태는 상술한 실시 형태에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
11 : 송신 장치
12 : 수신 장치
13 : 전송 매체
31 : 센서부
32 : 편집 장치
33 : 부호화부
34 : 송신부
51 : 수신부
52 : 복호부
53 : 분리부
54, 101, 111 : 생성부
55, 102, 112, 206 : 출력부
56, 103, 113, 207 : 입력부
71 : BF
72, 82 : 부가 정보 해석부
73, 84 : 화상 처리부
81 : 화상 데이터 BF
83 : 피합성 데이터 BF
91 : 화상 선택부
92 : 지시 선택부
93 : 표시 영역 설정부
94 : 게이트부
95 : 중첩 처리부
201 : 버스
202 : CPU
203 : ROM
204 : RAM
205 : 하드 디스크
208 : 통신부
209 : 드라이브
210 : 입출력 인터페이스
211 : 리무버블 기록 매체

Claims (23)

  1. 데이터를 송신하는 송신 장치와, 상기 데이터를 수신하는 수신 장치에 의해 이루어지는 방송 시스템으로서,
    상기 송신 장치는 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 송신 수단을 갖고,
    상기 수신 장치는,
    상기 소재 데이터와 부가 정보를 수신하는 수신 수단과,
    상기 소재 데이터와 상기 부가 정보에 기초하여, 출력 데이터를 생성하는 생성 수단과,
    상기 출력 데이터에 기초하여, 출력을 행하는 출력 수단을 갖는, 방송 시스템.
  2. 제1항에 있어서,
    상기 부가 정보는 실세계의 물리량을 나타내는 실세계 정보를 포함하고,
    상기 생성 수단은, 상기 소재 데이터, 상기 실세계 정보 및 상기 출력 수단의 특성을 나타내는 특성 정보에 기초하여, 상기 출력 수단의 출력으로부터 인식되는 물리량이 상기 실세계 정보가 나타내는 물리량으로 동정(同定)되도록 상기 출력 데이터를 생성하는, 방송 시스템.
  3. 제2항에 있어서,
    상기 센서는 화상을 촬상하는 촬상 수단이며,
    상기 소재 데이터는 상기 촬상 수단에 의해 촬상된 화상이며,
    상기 출력 수단은 화상을 표시하는 표시 장치이며,
    상기 출력 데이터는 상기 표시 장치에 의해 표시되는 화상이며,
    상기 실세계 정보는 상기 촬상 수단의 촬상 범위를 나타내는 촬상 범위 정보를 포함하고,
    상기 특성 정보는 상기 표시 장치가 화상을 표시하는 표시 화면의 크기를 나타내는 크기 정보를 포함하는, 방송 시스템.
  4. 제3항에 있어서,
    상기 생성 수단은, 상기 소재 데이터인 화상, 상기 실세계 정보인 촬상 범위 정보 및 상기 특성 정보인 크기 정보에 기초하여, 상기 표시 장치에 의해 표시되는 화상으로부터 인식되는 물체의 크기가 실세계에서의 크기를 넘지 않는 크기가 되는 화상을 상기 출력 데이터로서 생성하는, 방송 시스템.
  5. 제3항에 있어서,
    상기 생성 수단은, 상기 소재 데이터인 화상, 상기 실세계 정보인 촬상 범위 정보 및 상기 특성 정보인 크기 정보에 기초하여, 상기 표시 장치에 의해 표시되는 화상으로부터 인식되는 물체의 크기가 실세계에서의 크기로 동정되도록 상기 출력 데이터인 화상을 생성하는, 방송 시스템.
  6. 제2항에 있어서,
    상기 송신 수단은 복수 종류의 센서로 취득한 복수 종류의 소재 데이터와, 각 종류의 소재 데이터에 대응하는 상기 부가 정보를 송신하고,
    상기 수신 장치는,
    상기 수신 수단과,
    상기 복수 종류의 소재 데이터 각각과, 대응하는 종류의 상기 부가 정보에 기초하여, 복수 종류의 출력 데이터를 각각 생성하는 복수 종류의 생성 수단과,
    상기 복수 종류의 출력 데이터에 기초하여, 출력을 행하는 복수 종류의 출력 수단을 갖는, 방송 시스템.
  7. 제6항에 있어서,
    상기 복수 종류의 출력 수단 중 소정의 1종류의 출력 수단은 공조 수단이며,
    상기 복수 종류의 출력 데이터 중 상기 소정의 1종류의 출력 데이터는 온도 또는 풍속의 데이터이며,
    상기 공조 수단은, 상기 온도 또는 풍속의 데이터에 기초하여, 상기 센서로 상기 소재 데이터를 취득한 환경에 있어서의 온도 또는 풍속을 재현하기 위한 출력을 행하는, 방송 시스템.
  8. 제1항에 있어서,
    상기 부가 정보는 상기 소재 데이터의 가공에 사용되는 정보인 이펙트 정보를 포함하고,
    상기 생성 수단은, 상기 이펙트 정보에 기초하여, 상기 소재 데이터에 대하여 가공을 실시함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  9. 제8항에 있어서,
    상기 수신 장치는 유저에 의한 가공의 지시를 접수하는 지시 입력 수단을 더 갖고,
    상기 생성 수단은, 상기 이펙트 정보, 또는 유저에 의한 가공을 지시하기 위한 지시 정보에 기초하여, 상기 소재 데이터에 대하여 유저가 원하는 가공을 실시하는, 방송 시스템.
  10. 제9항에 있어서,
    상기 센서는 화상을 촬상하는 촬상 수단이며,
    상기 소재 데이터는 상기 촬상 수단에 의해 촬상된 화상이며,
    상기 출력 수단은 화상을 표시하는 표시 장치이며,
    상기 출력 데이터는 상기 표시 장치에 의해 표시되는 화상이며,
    상기 지시 정보는 상기 소재 데이터인 화상 중 상기 표시 장치에 표시하는 부분의 영역을 나타내는 표시 화상 프레임 정보를 포함하고,
    상기 생성 수단은, 상기 소재 데이터인 화상으로부터 상기 표시 화상 프레임 정보가 나타내는 영역의 화상을 추출함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  11. 제8항에 있어서,
    상기 센서는 화상을 촬상하는 촬상 수단이며,
    상기 소재 데이터는 상기 촬상 수단에 의해 촬상된 화상이며,
    상기 출력 수단은 화상을 표시하는 표시 장치이며,
    상기 출력 데이터는 상기 표시 장치에 의해 표시되는 화상이며,
    상기 이펙트 정보는 상기 소재 데이터인 화상에 합성되는 피합성 데이터를 포함하고, 상기 생성 수단은, 상기 이펙트 정보에 기초하여 상기 소재 데이터인 화상에 상기 피합성 데이터를 합성함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  12. 제11항에 있어서,
    상기 피합성 데이터는 자막의 데이터, 또는 픽처 인 픽처용의 데이터(data for picture in picture)인, 방송 시스템.
  13. 제8항에 있어서,
    상기 센서는 화상을 촬상하는 촬상 수단이며,
    상기 소재 데이터는 상기 촬상 수단에 의해 촬상된 화상이며,
    상기 출력 수단은 화상을 표시하는 표시 장치이며,
    상기 출력 데이터는 상기 표시 장치에 의해 표시되는 화상이며,
    상기 이펙트 정보는 상기 소재 데이터인 화상 중 상기 표시 장치에 표시하는 부분의 영역을 나타내는 표시 화상 프레임 정보를 포함하고,
    상기 생성 수단은, 상기 소재 데이터인 화상으로부터 상기 표시 화상 프레임 정보가 나타내는 영역의 화상을 추출함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  14. 제8항에 있어서,
    상기 센서는 화상을 촬상하는 촬상 수단이며,
    상기 소재 데이터는 상기 촬상 수단에 의해 촬상된 복수의 동화상이며,
    상기 출력 수단은 화상을 표시하는 표시 장치이며,
    상기 출력 데이터는 상기 표시 장치에 의해 표시되는 화상이며,
    상기 이펙트 정보는 상기 소재 데이터인 복수의 동화상으로부터 1개의 스트림의 화상을 선택함으로써 상기 표시 장치에 표시하는 화상을 전환하기 위한 전환 정보를 포함하고,
    상기 생성 수단은, 상기 전환 정보에 기초하여 상기 소재 데이터인 복수의 동화상으로부터 1개의 동화상을 선택함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  15. 제9항에 있어서,
    상기 부가 정보는 실세계의 물리량을 나타내는 실세계 정보를 더 포함하고,
    상기 생성 수단은, 유저에 의한 가공의 지시가 없는 경우에는 상기 소재 데이터, 상기 실세계 정보 및 상기 출력 수단의 특성을 나타내는 특성 정보에 기초하여, 상기 출력 수단의 출력으로부터 인식되는 물리량이 상기 실세계 정보가 나타내는 물리량으로 동정되도록 상기 출력 데이터를 생성하는, 방송 시스템.
  16. 제11항에 있어서,
    상기 수신 장치는 유저에 의한 가공의 지시를 접수하는 지시 입력 수단을 더 갖고,
    상기 생성 수단은, 상기 이펙트 정보, 또는 유저에 의한 가공을 지시하기 위한 지시 정보에 기초하여 상기 소재 데이터에 대하여 유저가 원하는 가공을 실시하는, 방송 시스템.
  17. 제16항에 있어서,
    상기 이펙트 정보는 상기 피합성 데이터의 합성을 행하는 타이밍을 나타내는 타이밍 정보를 더 포함하고,
    상기 생성 수단은, 유저에 의한 가공의 지시가 없는 경우에는 상기 타이밍 정보에 기초하여 상기 소재 데이터인 화상에 상기 피합성 데이터를 합성함으로써 상기 출력 데이터를 생성하는, 방송 시스템.
  18. 데이터를 수신하는 수신 장치와 함께 방송 시스템을 구성하는, 상기 데이터를 송신하는 송신 장치로서,
    센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 송신 수단을 구비하는, 송신 장치.
  19. 데이터를 수신하는 수신 장치와 함께 방송 시스템을 구성하는, 상기 데이터를 송신하는 송신 장치의 송신 방법으로서,
    상기 송신 장치가, 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 스텝을 포함하는, 송신 방법.
  20. 데이터를 수신하는 수신 장치와 함께 방송 시스템을 구성하는, 상기 데이터를 송신하는 송신 장치로서, 컴퓨터를 기능시키는 프로그램으로서,
    센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 송신 수단으로서, 컴퓨터를 기능시키기 위한, 프로그램.
  21. 데이터를 송신하는 송신 장치와 함께 방송 시스템을 구성하고, 상기 데이터를 수신하는 수신 장치로서,
    상기 송신 장치가 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 경우에 있어서,
    상기 소재 데이터와 부가 정보를 수신하는 수신 수단과,
    상기 소재 데이터와 상기 부가 정보에 기초하여 출력 데이터를 생성하는 생성 수단과,
    상기 출력 데이터에 기초하여 출력을 행하는 출력 수단을 구비하는, 수신 장치.
  22. 데이터를 송신하는 송신 장치와 함께 방송 시스템을 구성하고, 상기 데이터를 수신하는 수신 장치의 수신 방법으로서,
    상기 송신 장치가 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 경우에 있어서,
    상기 수신 장치가,
    상기 소재 데이터와 부가 정보를 수신하고,
    상기 소재 데이터와 상기 부가 정보에 기초하여 출력 데이터를 생성하고,
    상기 출력 데이터에 기초하여 출력을 행하는 출력 수단에 있어서 출력을 행하는 스텝을 포함하는, 수신 방법.
  23. 데이터를 송신하는 송신 장치와 함께 방송 시스템을 구성하고, 상기 데이터를 수신하는 수신 장치로서, 컴퓨터를 기능시키는 프로그램으로서,
    상기 송신 장치가 센서로 취득한 소재 데이터와, 상기 수신 장치에서 상기 소재 데이터를 가공하기 위하여 사용되는 부가 정보를 송신하는 경우에 있어서,
    상기 소재 데이터와 부가 정보를 수신하는 수신 수단과,
    상기 소재 데이터와 상기 부가 정보에 기초하여 출력 데이터를 생성하는 생성 수단과,
    상기 출력 데이터에 기초하여 출력을 행하는 출력 수단으로서 컴퓨터를 기능시키기 위한, 프로그램.
KR1020107017592A 2008-02-14 2009-02-13 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램 KR20100121614A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-032673 2008-02-14
JP2008032673A JP5007681B2 (ja) 2008-02-14 2008-02-14 放送システム

Publications (1)

Publication Number Publication Date
KR20100121614A true KR20100121614A (ko) 2010-11-18

Family

ID=40957028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107017592A KR20100121614A (ko) 2008-02-14 2009-02-13 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램

Country Status (8)

Country Link
US (1) US8767067B2 (ko)
EP (1) EP2242271A4 (ko)
JP (1) JP5007681B2 (ko)
KR (1) KR20100121614A (ko)
CN (1) CN101939988B (ko)
BR (1) BRPI0907897A2 (ko)
RU (1) RU2454024C2 (ko)
WO (1) WO2009101997A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493884B1 (ko) * 2010-11-19 2015-02-17 한국전자통신연구원 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US9060186B2 (en) 2012-07-02 2015-06-16 Electronics And Telecommunications Research Institute Audience selection type augmented broadcasting service providing apparatus and method
US9693108B2 (en) 2012-06-12 2017-06-27 Electronics And Telecommunications Research Institute Method and system for displaying user selectable picture

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276593B2 (ja) 2012-02-07 2018-02-07 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、及びプログラム
US20140115649A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing realistic broadcasting
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
CN108965963A (zh) * 2018-09-30 2018-12-07 联想(北京)有限公司 电子设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6443840B2 (en) * 1986-03-10 2002-09-03 Response Reward Systems, L.C. Evaluation of responses of participatory broadcast audience with prediction of winning contestants; monitoring, checking and controlling of wagering, and automatic crediting and couponing
JP2829962B2 (ja) * 1988-04-28 1998-12-02 松下電器産業株式会社 テレビジョン受像機
JP2906462B2 (ja) * 1989-07-18 1999-06-21 ソニー株式会社 テレビジョン受信機
US5208660A (en) * 1989-07-29 1993-05-04 Sharp Kabushiki Kaisha Television display apparatus having picture-in-picture display function and the method of operating the same
JP3192924B2 (ja) * 1995-06-20 2001-07-30 三洋電機株式会社 電子カタログシステム
JP3162633B2 (ja) * 1996-09-27 2001-05-08 松下電器産業株式会社 放送システム及びこれに用いる情報放送受信端末装置
JP3750760B2 (ja) * 1996-10-24 2006-03-01 ソニー株式会社 繰返し使用データ挿入装置およびディジタル放送送信システム
JP4240554B2 (ja) * 1997-07-11 2009-03-18 ソニー株式会社 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
CN1224258C (zh) * 1997-09-04 2005-10-19 赛德娜专利服务有限责任公司 通过计算机网络对包含图象校正的图象访问与控制的装置
US6557171B1 (en) * 1998-02-02 2003-04-29 Matsushita Electric Industrial Co., Ltd. Digital tv broadcast sending apparatus, digital tv broadcast receiving apparatus, and digital tv broadcast sending / receiving system which facilitate preselection of tv programs, and computer readable recording medium storing a program for achieving a function of the digital tv broadcast receiving apparatus
JP4822304B2 (ja) * 1998-08-06 2011-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP2000358222A (ja) * 1999-06-15 2000-12-26 Toshiba Corp 表示表現装置および情報伝送方式
US7013479B2 (en) * 2000-04-14 2006-03-14 Matsushita Electric Industrial Co., Ltd. Broadcasting apparatus and method for pre-transmitting data carousel and receiving apparatus for receiving data carousel
US7647619B2 (en) * 2000-04-26 2010-01-12 Sony Corporation Scalable filtering table
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
TW548943B (en) * 2000-09-25 2003-08-21 Yamaha Corp Portable terminal device
KR100861625B1 (ko) * 2001-01-23 2008-10-07 소니 가부시끼 가이샤 통신 장치 및 통신 방법, 전자 기기 및 그 제어 방법 및기억 매체
JP3818575B2 (ja) * 2001-09-19 2006-09-06 株式会社日立製作所 デジタル放送受信装置
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP4136383B2 (ja) * 2002-01-28 2008-08-20 キヤノン株式会社 テレビ受信装置及びその制御方法
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US7073193B2 (en) * 2002-04-16 2006-07-04 Microsoft Corporation Media content descriptions
US20060161309A1 (en) * 2002-04-19 2006-07-20 Moore Steven E Irrigation control system
US7403840B2 (en) * 2002-04-19 2008-07-22 Irrisoft, Inc. Irrigation control system
US20030018969A1 (en) * 2002-06-21 2003-01-23 Richard Humpleman Method and system for interactive television services with targeted advertisement delivery and user redemption of delivered value
US7878908B2 (en) * 2002-11-14 2011-02-01 Nintendo Co., Ltd. Multiplexed secure video game play distribution
EP1526714A1 (en) * 2003-08-06 2005-04-27 Matsuhita Electric Industrial Co., Ltd. Information processing apparatus
JP2005210707A (ja) * 2003-12-26 2005-08-04 Sharp Corp 表示装置、テレビジョン受信機、画像表示制御方法及び画像表示制御処理プログラム
JP2005198061A (ja) * 2004-01-08 2005-07-21 Matsushita Electric Ind Co Ltd Ｃａｔｖシステム
CN1750612A (zh) * 2004-09-14 2006-03-22 乐金电子（沈阳）有限公司 具有风信息接收功能的图像显示设备及其控制方法
JP2006302052A (ja) * 2005-04-22 2006-11-02 Hitachi Ltd ストレージシステムおよびデジタル放送システム
US20070100698A1 (en) * 2005-07-08 2007-05-03 Onestop Media Group Adaptive advertisements and adaptive advertising distribution system
KR100757865B1 (ko) * 2005-07-20 2007-09-11 삼성전자주식회사 디지털 방송 수신기에서의 영상 처리 장치 및 방법
CN101258492A (zh) * 2005-09-07 2008-09-03 国际商业机器公司 显示装置、输出装置、显示系统、显示方法、媒体、程序以及外部单元
JP2006217662A (ja) 2006-04-26 2006-08-17 Sony Corp ディジタル放送受信装置
US20090144137A1 (en) * 2006-07-21 2009-06-04 Gregory Hagan Moulton Automated content production for largely continuous transmission
KR101295301B1 (ko) * 2006-11-10 2013-08-08 엘지전자 주식회사 수신기 및 이 수신기에서 방송 신호를 처리하는 방법
KR101176501B1 (ko) * 2006-11-17 2012-08-22 엘지전자 주식회사 데이터 서비스를 이용하여 방송관련정보를 표시할 수 있는방송수신 단말기 및 그 제어방법
KR100903070B1 (ko) * 2007-04-16 2009-06-18 삼성전자주식회사 데이터 재생 장치 및 방법
KR101333065B1 (ko) * 2007-07-04 2013-11-27 삼성전자주식회사 화면 속 화면을 이용한 방송데이터 표시방법 및 장치
US8904432B2 (en) * 2007-12-28 2014-12-02 Verizon Patent And Licensing Inc. Method and apparatus for providing displayable applications
JP5225037B2 (ja) * 2008-11-19 2013-07-03 株式会社東芝 番組情報表示装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493884B1 (ko) * 2010-11-19 2015-02-17 한국전자통신연구원 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US9693108B2 (en) 2012-06-12 2017-06-27 Electronics And Telecommunications Research Institute Method and system for displaying user selectable picture
US9060186B2 (en) 2012-07-02 2015-06-16 Electronics And Telecommunications Research Institute Audience selection type augmented broadcasting service providing apparatus and method

Also Published As

Publication number Publication date
RU2454024C2 (ru) 2012-06-20
EP2242271A1 (en) 2010-10-20
US8767067B2 (en) 2014-07-01
JP2009194594A (ja) 2009-08-27
CN101939988A (zh) 2011-01-05
CN101939988B (zh) 2013-05-08
WO2009101997A1 (ja) 2009-08-20
RU2010132906A (ru) 2012-02-10
BRPI0907897A2 (pt) 2015-07-28
US20100289894A1 (en) 2010-11-18
EP2242271A4 (en) 2012-02-29
JP5007681B2 (ja) 2012-08-22

Similar Documents

Publication Publication Date Title
JP6267961B2 (ja) 映像提供方法および送信装置
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CA2949005C (en) Method and system for low cost television production
CN107852476B (zh) 动画播放装置、动画播放方法、动画播放系统以及动画发送装置
KR101931390B1 (ko) 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
JP7409362B2 (ja) 再生装置および方法、並びにプログラム
US8208792B2 (en) Content shooting apparatus for generating scene representation metadata
JP5007681B2 (ja) 放送システム
US20070122786A1 (en) Video karaoke system
US20150036050A1 (en) Television control apparatus and associated method
KR20080048308A (ko) 기본 장치와 확장 장치의 연동 장치 및 방법
KR100748060B1 (ko) 실시간 다층 동영상 합성 시스템을 이용한 인터넷 방송시스템 및 이를 이용한 인터넷 방송 제공방법
JP6024002B2 (ja) 動画配信システム
JP2012004835A (ja) 再生装置及びその制御方法及びプログラム
US20180176628A1 (en) Information device and display processing method
US20110149038A1 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
KR20190136417A (ko) 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
JP2006086717A (ja) 画像表示システム、画像再生装置及びレイアウト制御装置
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR101194825B1 (ko) 멀티 앵글 디지털 방송 시스템 및 그 방법
JPH11261884A (ja) パノラマ映像放送方法および放送受信装置
KR100811022B1 (ko) 방송카메라와 연동된 주문형 방송서비스방법
US20090226145A1 (en) Data processing device, data processing method, and program
JP4790670B2 (ja) 画像表示システムおよび画像表示方法
KR101124735B1 (ko) 디지털 표시장치에서의 자막표시 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application