KR20010085905A - 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신장치 및 송수신 방법, 기록 매체 및 신호 - Google Patents

송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신장치 및 송수신 방법, 기록 매체 및 신호 Download PDF

Info

Publication number
KR20010085905A
KR20010085905A KR1020017004484A KR20017004484A KR20010085905A KR 20010085905 A KR20010085905 A KR 20010085905A KR 1020017004484 A KR1020017004484 A KR 1020017004484A KR 20017004484 A KR20017004484 A KR 20017004484A KR 20010085905 A KR20010085905 A KR 20010085905A
Authority
KR
South Korea
Prior art keywords
data
interest
receiving
transmitting
control information
Prior art date
Application number
KR1020017004484A
Other languages
English (en)
Other versions
KR100811572B1 (ko
Inventor
콘도테츠지로
코바야시나오키
카네마루마사노리
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010085905A publication Critical patent/KR20010085905A/ko
Application granted granted Critical
Publication of KR100811572B1 publication Critical patent/KR100811572B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Analysis (AREA)
  • Facsimiles In General (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Transmission Control (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

송신측에서는, 화상을 구성하는 배경, 오브젝트(#1 내지 #3) 각각이, 전송 레이트(R/4)로 송신되고, 수신측에서는, 오브젝트(#1 내지 #3)와 배경으로 이루어지는 화상이, 어떤 공간 해상도 및 시간 해상도로 표시된다. 이 경우에, 수신측에서, 어떤 시각(t1)에 있어서, 오브젝트(#1)가 드래그되면, 송신측에서는, 도 16a에 도시하는 바이 같이, 배경 및 오브젝트(#2 및 #3)의 송신을 정지하고, 오브젝트(#1)만을, 전송로의 전송 레이트(R) 모부를 사용하여 송신한다. 이로서, 수신측에서는, 화상의 시간 해상도를 희생하여, 드래그되어 있는 오브젝트(#1)의 공간 해상도를 향상시킨 화상이 표시된다.

Description

송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 기록 매체 및 신호{TRANSMITTING DEVICE AND TRANSMITTING METHOD, RECEIVING DEVICE AND RECEIVING METHOD, TRANSMITTING/RECEIVING DEVICE AND TRANSMITTING/RECEIVING METHOD, RECORDED MEDIUM, AND SIGNAL}
예를 들면, 일본국 공개 특허 공보 제(평) 10-112856호에는 송신 측에 있어서, 수신 측의 지시에 따라서, 화상이 어느 영역의 화상 데이터와 다른 영역의 화상 데이터를 다른 정보량으로 송신하며, 이로써, 수신 측에 있어서 지시한 점을 포함하는 소정 영역의 화상을 높은 공간 해상도(공간 방향의 해상도)로, 그 이외 영역의 화상을 낮은 공간 해상도로 각각 표시하는 화상 전송 장치가 개시되어 있다.
즉, 송신 측으로부터 수신 측에 대해 전송로를 통하여 화상 데이터를 전송할 경우에 있어서는 그 전송로의 전송 레이트를 넘는 데이터 레이트의 화상 데이터를전송할 수는 없다. 따라서, 수신 측에 있어서, 리얼 타임으로 화상을 표시할 경우에는 송신 측으로부터 수신 측에 대해 전송로의 전송 레이트 내에서 화상 데이터를 송신해야만 하며, 그 결과, 전송 레이트가 충분하지 않을 경우에는 수신 측에서 표시되는 화상의 공간 방향의 공간 해상도는 전체적으로 열화한다.
그래서, 일본국 공개 특허 공보 제(평) 10-112856호에 개시되어 있는 화상 전송 장치에서는 상술한 바와 같이, 화상이 어느 영역의 화상 테이터와, 다른 영역의 화상 데이터가 다른 정보량으로 송신되며, 수신 측에 있어서 지시한 점을 포함하는 소정 영역의 화상은 높은 공간 해상도로, 그 이외 영역의 화상은 낮은 공간 해상도로 각각 표시된다. 이로써, 유저가 상세하게 보고 싶은 부분은 높은 공간 해상도로 표시되며, 그 이외 부분은 낮은 공간 해상도로 표시되도록 되어 있다.
즉, 일본국 공개 특허 공보 제(평) 10-12856호에 개시되어 있는 화상 전송 장치에서는 유저가 상세하게 보고 싶은 부분 이외 부분의 공간 해상도를 희생으로 하여, 상세하게 보고 싶은 부분의 공간 해상도를 향상시키고 있다.
그러나, 일본국 공개 특허 공보 제(평) 10-112856호에 개시되어 있는 화상 전송 장치에 있어서는 유저가 상세하게 보고 싶은 부분 이외 부분의 공간 해상도만을 희생으로 하여, 상세하게 보고 싶은 부분의 공간 해상도를 향상시키고 있기 때문에, 그 희생으로 한 분 밖에 상세하게 보고 싶은 부분의 공간 해상도를 향상시킬 수 없다.
더욱이, 전송로의 전송 레이트가 대단히 작을 경우에는 유저가 상세하게 보고 싶은 부분 이외 부분의 공간 해상도를 희생으로 하여, 상세하게 보고 싶은 부분의 공간 해상도를 향상시키면, 상세하게 보고 싶은 부분 이외 부분의 공간 해상도는 꽤 나빠져, 최악의 경우, 그 부분은 무엇이 표시되어 있는 것인지 식별하는 것이 곤란해진다.
본 발명은 이러한 상황에 비추어 이루어진 것으로, 예를 들면, 유저의 기호에 따라서, 화상의 공간 해상도를 보다 향상시키는 것 등을 가능하도록 하는 것이다.
본 발명은 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 기록 매체 및 신호에 관한 것이며, 특히, 예를 들면, 화상 데이터를 한정된 전송 레이트(전송 대역) 내에서 송신하여, 공간 해상도가 높은 화상을 표시 등을 할 수 있도록 하는 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 기록 매체 및 신호에 관한 것이다.
도 1은 본 발명을 적용한 전송 시스템의 한 실시예의 구성예를 도시하는 도면.
도 2는 도 1의 전송 시스템의 제 1 상세 구성예를 도시하는 도면.
도 3은 도 1의 송신 장치(단말; 1)의 구성예를 도시하는 블록도.
도 4는 도 3의 송신 장치의 처리를 설명하기 위한 플로 챠트.
도 5는 도 1의 수신 장치(단말; 2)의 구성예를 도시하는 블록도.
도 6은 도 5의 수신 장치(2)의 처리를 설명하기 위한 플로 챠트.
도 7은 도 3의 송신 처리부(16)의 구성예를 도시하는 블록도.
도 8은 도 7의 부호화부(31)의 구성예를 도시하는 블록도.
도 9는 계층 부호화/복호를 설명하기 위한 도면.
도 10은 도 7의 송신 처리부(16)에 의한 송신 처리를 설명하기 위한 플로 챠트.
도 11은 도 5의 수신 처리부(21)의 구성예를 도시하는 블록도.
도 12는 도 11의 복호부(53)의 구성예를 도시하는 블록도.
도 13은 도 5의 합성 처리부(22)의 구성예를 도시하는 블록도.
도 14는 도 13의 합성 처리부(22)에 의한 합성 처리를 설명하기 위한 플로 챠트.
도 15a 내지 도 15c는 도 5의 화상 출력부(23)에 있어서의 화상의 표시예를 도시하는 도면.
도 16a 내지 도 16b는 도 1의 송신 장치로부터 수신 장치(2)에 송신되는 화상의 공간 해상도와 시간 해상도와의 관계를 설명하기 위한 도면.
도 17은 도 3의 오브젝트 추출부(14)의 구성예를 도시하는 블록도.
도 18a 내지 도 18b는 도 17의 초기 영역 분할부(83)의 처리를 설명하기 위한 도면.
도 19a 내지 도 19d는 도 17의 영역 병합부(84)의 처리를 설명하기 위한 도면.
도 20은 도 17의 융합 영역 처리부(85) 및 분리 영역 처리부(86)의 처리를 설명하기 위한 도면.
도 21은 도 17의 오브젝트 추출부(14)에 의한 오브젝트 추출 처리를 설명하기 위한 플로 챠트.
도 22는 도 21의 스텝(S43)에 있어서의 영역 병합 처리의 상세함을 설명하기 위한 플로 챠트.
도 23은 도 21의 스텝(S44)에 있어서의 융합 영역 처리의 상세함을 설명하기 위한 플로 챠트.
도 24는 도 21의 스텝(S44)에 있어서의 분리 영역 처리의 상세함을 설명하기 위한 플로 챠트.
도 25는 도 7의 제어부(35)의 구성예를 도시하는 블록도.
도 26은 오브젝트의 특징량을 설명하기 위한 도면.
도 27은 도 25의 제어부(35) 처리의 상세를 설명하기 위한 플로 챠트.
도 28은 도 1의 전송 시스템의 제 2 상세 구성예를 도시하는 도면.
도 29는 도 28의 송신 장치(1)의 구성예를 도시하는 블록도.
도 30은 도 29의 송신 장치(1)의 처리를 설명하기 위한 플로 챠트.
도 31은 도 28의 수신 장치(2)의 구성예를 도시하는 블록도.
도 32는 도 31의 수신 장치(2)의 처리를 설명하기 위한 플로 챠트.
도 33은 도 29의 송신 처리부(1016)의 구성예를 도시하는 블록도.
도 34는 도 33의 송신 처리부(1016)에 의한 송신 처리를 설명하기 위한 플로 챠트.
도 35는 도 31의 합성 처리부(1022)의 구성예를 도시하는 블록도.
도 36은 도 35의 합성 처리부에 의한 합성 처리를 설명하기 위해 플로 챠트.
도 37은 도 29의 오브젝트 추출부(1014)의 구체적 구성예를 도시하는 도면.
도 38은 움직임 오브젝트 화상 또는 정지 오브젝트 화상의 추출 처리를 설명주하는 플로 챠트.
도 39는 판정 처리를 설명하는 플로 챠트.
도 40은 프레임간 차분의 계산 방법을 설명하는 도면.
도 41은 연속 클릭 판정 처리를 설명하는 플로 챠트.
도 42a 내지 도 42f는 오브젝트 번호 붙이는 방법을 설명하는 도면.
도 43은 정지 오브젝트 연결 처리를 설명하는 플로 챠트.
도 44는 움직임 오브젝트 연결 처리를 설명하는 플로 챠트.
도 45는 오브젝트 추출 처리를 설명하는 플로 챠트.
도 46a 내지 도 46e는 오브젝트 추출 방법을 설명하는 도면.
도 47은 도 31의 합성 처리부(1022)의 다른 구성예를 도시하는 블록도.
도 48은 도 28의 송신 장치(1)의 다른 구성예를 도시하는 블록도.
도 49는 도 48의 변화 판정 분류부(240)의 구성예를 도시하는 블록도.
도 50a 내지 도 50b는 변화 판정 분류부(240)에서의 흥미 대상 영역의 변화 및 흥미 대상 영역의 분류 처리를 설명하는 플로 챠트.
도 51은 흥미의 변화 판정 처리를 설명하는 플로 챠트.
도 52는 도 1의 전송 시스템의 제 3 상세 구성예를 도시하는 도면.
도 53은 도 42의 과금 서버(4)의 구성예를 도시하는 블록도.
도 54는 도 53의 과금 서버(4) 처리를 설명하는 플로 챠트.
도 55는 본 발명을 적용한 컴퓨터의 한 실시예의 구성예를 도시하는 블록도.
본 발명의 제 1 송신 장치는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 수단과, 제어 정보에 따라서, 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 수단과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 송신 수단을 구비하는 것을 특징으로 한다.
본 발명의 수신 장치는 제어 정보에 따라서, 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 송신 장치에 제어 정보를 송신하는 송신 수단과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 수신 수단과, 수신 수단에 있어서 수신된 데이터를 출력하는 출력 수단을 구비하는 것을 특징으로 한다.
본 발명의 송수신 장치는 송신 장치가 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 수단과 제어 정보에 따라서, 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 수단과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 데이터 송신 수단을 구비하며, 수신 장치가 송신 장치에 제어 정보를 송신하는 제어 정보 송신 수단과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 데이터 수신 수단과, 데이터 수신 수단에 있어서 수신된 데이터를 출력하는 출력 수단을 구비하는 것을 특징으로 한다.
본 발명의 제 2 송신 장치는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 수단과 제어 정보에 따라서, 데이터를 분류하는 분류 수단과, 데이터의 분류 결과에 따라서, 데이터를 수신 장치에 송신하는 송신 수단을 구비하는 것을 특징으로 한다.
본 발명의 제 1 송신 방법은 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 것을 특징으로 한다.
본 발명의 수신 방법은 제어 정보에 따라서, 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 송신 장치에 제어 정보를 송신하는 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 수신 스텝과, 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 것을 특징으로 한다.
본 발명의 송수신 방법은 송신 장치의 처리 스텝이 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 데이터 송신 스텝을 구비하며, 수신 장치의 처리 스텝이 송신 장치에 제어 정보를 송신하는 제어 정보 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 데이터 수신 스텝과, 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 것을 특징으로 한다.
본 발명의 제 2 송신 방법은 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 데이터를 분류하는 분류 스텝과, 데이터의 분류 결과에 따라서 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 것을 특징으로 한다.
본 발명의 제 1 기록 매체는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제 2 기록 매체는 제어 정보에 따라서 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 송신 장치에 제어 정보를 송신하는 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 수신 스텝과, 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제 3 기록 매체는 송신 처리로서, 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 데이터 송신 스텝을 구비하며, 수신 처리로서 송신 장치에 제어 정보를 송신하는 제어 정보 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 데이터 수신 스텝과, 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제 4 기록 매체는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 데이터를 분류하는 분류 스텝과, 데이터의 분류 결과에 따라서 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제 1 신호는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 한다.
본 발명의 제 2 신호는 제어 정보에 따라서 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 송신 장치에 제어 정보를 송신하는 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 수신 스텝과, 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 한다.
본 발명의 제 3 신호는 송신 처리로서, 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과, 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 제어 스텝과, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신 장치에 송신하는 데이터 송신 스텝을 구비하며, 수신 처리로서, 송신 장치에 제어 정보를 송신하는 제어 정보 송신 스텝과, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터를 수신하는 데이터 수신 스텝과, 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 한다.
본 발명의 제 4 신호는 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과, 제어 정보에 따라서 데이터를 분류하는 분류 스텝과, 데이터의 분류 결과에 따라서 데이터를 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 한다.
본 발명의 제 1 송신 장치 및 제 1 송신 방법, 제 1 기록 매체 및 제 1 신호에 있어서는 수신 장치로부터 송신되는 제어 정보가 수신되며, 그 제어 정보에 따라서, 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도가 제어된다. 그리고, 그 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신 장치에 송신된다.
본 발명의 수신 장치 및 수신 방법, 제 2 기록 매체 및 제 2 신호에 있어서는 제어 정보에 따라서, 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도를 제어하는 송신 장치에 제어 정보가 송신되는 한편, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신되어 출력된다.
본 발명의 송수신 장치 및 송수신 방법, 제 3 기록 매체 및 제 3 신호에 있어서는 송신 장치에 있어서, 수신 장치로부터 송신되는 제어 정보가 수신되며, 그 제어 정보에 따라서 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향 또는 레벨 방향 중 2 이상의 방향의 해상도가 제어된다. 그리고, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신 장치에 송신된다. 또, 수신 장치에 있어서, 송신 장치에 제어 정보가 송신되는 한편, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신되어 출력된다.
본 발명의 제 2 송신 장치 및 제 2 송신 방법, 제 4 기록 매체 및 제 4 신호에 있어서는 수신 장치로부터 송신되는 제어 정보가 수신되며, 그 제어 정보에 따라서 데이터가 분류된다. 그리고, 데이터의 분류 결과에 따라서, 데이터가 수신 장치에 송신된다.
도 1은 본 발명을 적용한 화상 전송 시스템(시스템이란 복수의 장치가 논리적으로 집합한 것을 말하며, 각 구성의 장치가 동일 케이스(筐體) 중에 있는지의 여부는 상관없다)의 한 실시예의 구성을 도시하고 있다.
이 전송 시스템은 적어도 2대의 단말(1 및 2)로 구성되어 있으며, 단말(1과 2) 사이에서는 한쪽을 송신 장치로 함과 동시에, 다른쪽을 수신 장치로 하여, 송신 장치로부터 수신 장치에 대해 전송로(3)를 통하여 화상(화상 데이터)이 송신되도록이루어져 있다.
여기서, 본 실시예에서는 예를 들면, 단말(1)을 송신 장치로 함과 동시에, 단말(2)을 수신 장치로 하여, 화상 데이터의 송수신이 행해지는 것으로 한다. 또, 이하, 적당히, 단말(1 또는 2)을 각각 송신 장치(1) 또는 수신 장치(2)라 기술한다.
이 경우, 송신 장치(1)에서는 화상 데이터가 전송로(3)를 통하여 수신 장치(2)에 송신된다. 수신 장치(2)에서는 송신 장치(1)로부터의 화상 데이터가 수신되며, 예를 들면, 액정 디스플레이나 CRT(Cathode Ray Tube) 등으로 구성되는 후술하는 화상 출력부(23; 도 5)에 표시된다. 또, 수신 장치(2)에서는 그곳에서 표시되는 화상의 공간 방향의 공간 해상도 및 시간 방향의 시간 해상도를 제어하기 위한 제어 정보가 전송로(3)를 통하여 송신 장치(1)에 송신된다.
송신 장치(1)에서는 수신 장치(2)로부터의 제어 정보가 수신되며, 그 제어 정보에 근거하여, 수신 장치(2)에 있어서 표시되는 화상의 공간 해상도 및 시간 해상도가 소정의 조건을 채우면서 변경되도록 화상 데이터 송신이 제어된다.
또한, 송신 장치(1) 및 수신 장치(2)로서는 예를 들면, PHS(Personal Handy-phone System; 상표)용 단말이나 휴대 전화기 등의 휴대 단말 그 외를 사용할 수 있다. 예를 들면, PHS를 사용할 경우, 전송로(3)는 1895.1500 내지 1905.9500MHz의 전송로에서, 그 전송 레이트는 128kbps(Bit Per Second)가 된다.
도 2는 도 1의 송신 장치(1) 및 수신 장치(2)로서, PHS나 휴대 전화기 등의 휴대용 단말을 사용한 경우의 도 1의 화상 전송 시스템의 제 1 구성예를 도시하고있다.
도 2의 실시예에 있어서는 도 1의 전송로(3)가 단말(1 또는 2) 사이에서 전파에 의한 신호의 송수신을 행하는 무선 기지국(3-1 또는 3-2) 및 이들 기지국(3-1과 3-2) 사이를 연결하는 전화국 등의 교환국(3-3)으로 구성되어 있다. 단말(1과 2) 사이에서는 기지국(3-1 및 3-2) 및 교환국(4) 등으로 구성되는 전송로(3)를 통하여, 쌍방이 각각 상대방에게 신호를 송신하며, 상대방으로부터 송신되어 온 신호를 수신 가능하도록 되어 있다. 또한, 기지국(3-1 및 3-2)은 동일 무선 기지국이어도 되고, 다른 무선 기지국이어도 된다.
도 2에서는 단말(1)은 동화상을 촬상 가능한 촬상 소자 및 광학계를 갖는 비디오 커맨드부(1-1), 문자나 기호, 화상 등을 표시 가능한 표시부(1-2), 전화 번호나 문자, 커맨드 등을 입력할 때에 조작되는 키부(1-3), 음성을 출력하는 스피커(1-4) 및 음성을 입력하기 위한 마이크(마이크로 폰; 1-5)로 구성되어 있다. 단말(2)도 비디오 카메라부(1-1), 표시부(1-2), 키부(1-3), 스피커(1-4) 또는 마이크(1-5)와 각각 동일하게 구성되는 비디오 카메라부(2-1), 표시부(2-2), 키부(2-3), 스피커(2-4) 또는 마이크(2-5)로 구성되어 있다.
이들 단말(1과 2) 사이에서는 마이크(1-5와 1-6)로 넣은 음성 신호의 송수신뿐만 아니라, 비디오 카메라부(1-1와 2-1)에서 촬영된 화상 데이터를 송수신하는 것도 가능하게 되어 있으며, 이로써, 단말(1)의 표시부(1-2)에서는 단말(2)의 비디오 카메라부(2-1)에서 얻어진 화상 데이터를 단말(2)의 표시부(2-2)에서는 단말(1)의 비디오 카메라부(1-1)에서 얻어진 화상 데이터를 각각 표시할 수 있도록 되어있다.
즉, 예를 들면, 송신 장치(1)의 비디오 카메라부(1-1)에서 촬영된 화상 데이터는 프레임 레이트 그 밖의 필요한 정보와 함께, 기지국(3-1 및 3-2) 및 교환국(3-3)으로 구성되는 전송로(3)를 통하여 수신 장치(2)에 송신된다. 수신 장치(2)에서는 송신 장치(1)로부터 송신되어 온 화상 데이터를 수신하며, 예를 들면 액정 디스플레이 등으로 구성되는 표시부(2-1)에 그 수신한 화상 데이터(에 근거하는 화상)를 표시한다. 한편, 수신 장치(2)로부터는 표시부(2-1)에 표시되는 화상의 공간 해상도 및 시간 해상도를 제어하기 위한 제어 정보가 전송로(3)를 통하여 송신 장치(1)에 송신된다. 송신 장치(1)에서는 수신 장치(2)로부터의 제어 정보가 수신되며, 그 제어 정보에 근거하여, 수신 장치(2)에 있어서 표시되는 화상의 공간 해상도 및 시간 해상도가 소정의 조건을 채우면서 변경되도록 화상 데이터 송신이 제어된다.
다음으로, 도 3은 도 2의 송신 장치(1)의 구성예를 도시하고 있다.
화상 입력부(11)는 도 2의 비디오 카메라부(1-1)에 상당하며, 소정의 피사체를 촬영하여, 그 화상을 이전 처리부(12)에 출력하도록 되어 있다. 이전 처리부(12)는 배경 추출부(13), 오브젝트 추출부(14) 및 부가 정보 산출부(15)에서 구성되며, 화상 입력부(11)로부터의 화상에 대해, 이전 처리를 실시하여, 송신 처리부(16)에 공급하도록 되어 있다.
즉, 배경 추출부(13)는 화상 입력부(11)로부터 공급되는 화상으로부터 소위 배경을 추출하여, 송신 처리부(16)에 공급하도록 되어 있다. 또한, 배경추출부(13)에서 추출된 배경은 오브젝트 추출부(14) 및 부가 정보 산출부(15)에도 공급되도록 되어 있다.
여기서, 배경의 추출부 방법으로서는 예를 들면, 연속하는 복수 프레임(예를 들면, 현재의 프레임과, 그 과거(10) 프레임 등)이 공간적으로 동일 위치에 있는 화소에 대해서, 화소치의 출현 빈도를 구하여, 가장 빈도가 높은 화소치를 그 위치에 있어서의 배경으로 하는 것이나, 동일 위치의 화소의 화소치의 평균치를 구하여, 그 평균치(이동 평균치)를 그 위치에 있어서의 배경으로 하는 것 등이 있다.
오브젝트 추출부(14)는 화상 입력부(11)로부터 공급되는 화상으로부터 배경 추출부(13)에서 추출된 배경을 감산 등 함으로써, 소위 전경을 추출하여, 송신 처리부(16)에 공급하도록 되어 있다. 또한, 화상 입력부(11)로부터의 화상 중에 전경이 되는 물체가 복수 존재할 경우에는 오브젝트 추출부(14)는 각 물체에 대응하는 전경을 추출하여, 송신 처리부(16)에 공급하도록 되어 있다. 또, 오브젝트 추출부(14)에서 추출된 전경은 부가 정보 산출부(15)에도 공급되도록 되어 있다. 여기서, 이하, 적당히 각 물체에 대응하는 전경을 오브젝트라 한다.
부가 정보 산출부(15)는 배경 추출부(13)로부터의 배경의 움직임(화상 촬영 시에, 화상 입력부(11)의 촬영 방향이 움직이는 것에 의한 배경의 움직임)을 나타내는 배경 움직임 벡터나 오브젝트 추출부(14)로부터의 오브젝트의 움직임을 나타내는 오브젝트 움직임 벡터를 검출하여, 부가 정보로서 송신 처리부(16)에 공급하도록 되어 있다. 또, 부가 정보 산출부(15)는 오브젝트 추출부(14)로부터 공급되는 프레임 내에 있어서의 오브젝트의 위치 정보 등도 부가 정보로서 송신처리부(16)에 공급하도록 되어 있다. 즉, 오브젝트 추출부(14)는 오브젝트를 추출할 때에, 그 오브젝트의 위치 정보 등의 오브젝트에 관련하는 정보도 추출하며, 부가 정보 산출부(15)에 공급하도록 되어 있으며, 부가 정보 산출부(15)는 그 위치 정보 등도 부가 정보로서 출력하도록 되어 있다.
송신 처리부(16)는 배경 추출부(13)로부터의 배경, 오브젝트 추출부(14)로부터의 오브젝트 및 부가 정보 산출부(15)로부터의 부가 정보를 다중화하고, 전송로(3)에서 전송 가능한 데이터 레이트의 다중화 데이터로서, 전송로(3)를 통하여 수신 장치(2)에 송신하도록 되어 있다. 또, 송신 처리부(16)는 수신 장치(2)로부터 전송로(3)를 통하여 송신되어 오는 제어 정보를 수신하며, 그 제어 정보에 근거하여, 수신 장치(2)에 있어서 표시되는 화상의 공간 해상도 및 시간 해상도가 소정의 조건을 만족하면서 변경되도록 배경, 오브젝트 및 부가 정보의 송신을 제어하도록 이루어져 있다.
다음으로, 도 4의 플로 챠트를 참조하여, 도 3의 송신 장치(1)의 처리 개요에 대해서 설명한다.
화상 입력부(11)가 출력하는 화상은 이전 처리부(2)에 공급되며, 이전 처리부(12)에서는 스텝(S1)에 있어서, 그 화상에 대해 이전 처리가 실시된다. 즉, 스텝(S1)에서는 배경 추출부(13) 또는 전경 추출부(14)에 있어서, 화상 입력부(11)로부터의 화상으로부터 배경 또는 오브젝트가 각각 추출되며, 송신 처리부(16)에 공급된다. 더욱이, 스텝(S1)에서는 부가 정보 산출부(15)에 있어서, 화상 입력부(11)로부터의 화상에 대한 상술한 바와 같은 부가 정보가 구해져, 송신 처리부(16)에 공급된다. 송신 처리부(16)에서는 이전 처리부(12)로부터의 배경, 전경 및 부가 정보가 전송로(3)를 통하여 송신되어, 스텝(S1)으로 돌아가고 이하, 동일한 처리가 반복된다.
다음으로, 도 5는 도 2의 수신 장치(2)의 구성예를 도시하고 있다.
전송로(3)를 통하여 송신 장치(1)로부터 송신되어 오는 다중화 데이터는 수신 처리부(21)에서 수신되도록 되어 있으며, 수신 처리부(21)는 다중화 데이터를 배경, 오브젝트 및 부가 정보로 분리하여, 합성 처리부(22)에 공급하도록 되어 있다.
합성 처리부(22)는 수신 처리부(21)로부터의 배경, 오브젝트 및 부가 정보를 사용하여, 원래 화상을 합성하여 화상 출력부(23)에 공급하도록 되어 있다. 또한, 합성 처리부(22)는 후술하는 고해상도 정보 등에 근거하여, 합성하는 화상의 공간 해상도 및 시간 해상도를 변경하도록 되어 있다.
화상 출력부(23)는 예를 들면, 액정 디스플레이나 CRT 등으로 구성되며, 합성 처리부(22)가 출력하는 화상을 표시하도록 되어 있다.
제어 정보 입력부(24)는 제어 정보를 합성 처리부(22) 및 제어 정보 송신부(25)에 출력하도록 되어 있다. 즉, 제어 정보 입력부(24)는 키부(2-3)를 구성하는 예를 들면, 트랙 볼 등의 포인팅 디바이스로 구성되며, 유저가 화상 출력부(23)에 표시된 화상의 소정 위치를 지정하면, 그 위치를 유저가 주목하고 있는 주목점으로서 검출하여, 그 주목점의 좌표를 제어 정보에 포함하여 출력한다. 혹은, 또, 제어 정보 입력부(24)는 예를 들면, 비디오 카메라 등으로 구성되며, 유저를 촬영하여 화상 인식 등을 행함으로써, 화상 출력부(23)에 표시된 화상 상의 유저가 주시하고 있는 점을 주목점으로서 검출하고, 그 주목점의 좌표를 제어 정보에 포함하여 출력한다. 또한, 제어 정보 입력부(24)는 그 밖에 예를 들면, 유저가 화상 출력부(23)에 표시되는 화상의 공간 해상도 및 시간 해상도를 제어 정보로서 직접 입력할 수 있도록 구성하는 것도 가능하다.
제어 정보 송신부(25)는 제어 정보 입력부(24)로부터 제어 정보를 수신하면, 그 제어 정보를 전송로(3)를 통하여, 송신 장치(1)에 송신하도록 되어 있다.
다음으로, 도 6의 플로 챠트를 참조하여, 도 5의 수신 장치(2)의 처리 개요에 대해서 설명한다.
수신 장치(2)에서는 수신 처리부(21)에 있어서, 송신 장치(1)로부터 전송로(53)를 통하여 송신되어 오는 다중화 데이터가 수신된다. 그리고, 스텝(S11)에 있어서, 수신 처리부(21)에서는 다중화 데이터에 대해 그 다중화 데이터를 배경, 오브젝트 및 부가 정보로 분리하는 등의 수신 처리가 실시된다. 이 수신 처리 결과 얻어진 배경 오브젝트 및 부가 정보는 합성 처리부(22)에 공급된다. 합성 처리(22)에서는 스텝(S12)에 있어서, 수신 처리부(21)로부터의 배경, 오브젝트 및 부가 정보를 사용하여, 원래 화상이 합성되며, 화상 출력부(23)에 공급되어 표시된다. 그리고, 스텝(S11)으로 돌아가 이하, 동일한 처리가 반복된다.
또한, 수신 장치(2)에 있어서, 예를 들면, 제어 정보 입력부(24)가 유저에 의해 조작되며, 이로써, 화상 출력부(23)에 표시된 화상 상의 주목점이 지정되면, 그 주목점 좌표가 제어 정보에 포함하여 출력된다. 이 제어 정보는 제어 정보 송신부(25)에 공급되며, 전송로(3)를 통하여 송신 장치(1)에 송신된다. 이렇게 하여 송신되는 제어 정보를 수신한 송신 장치(1)에서는 상술한 바와 같이, 송신 처리부(106)에 있어서, 그 제어 정보에 근거하여, 수신 장치(2)에 있어서 표시되는 화상의 공간 해상도 및 시간 해상도가 소정 조건을 만족하면서 변경되도록 배경, 오브젝트 및 부가 정보 송신이 제어된다. 따라서, 그 후는 그렇게 하여 송신이 제어된 배경, 오브젝트 및 부가 정보가 송신 장치(1)로부터 수신 장치(2)에 송신되어 오기 때문에, 수신 장치(2)에서는 공간 해상도 및 시간 해상도가 소정 조건을 채우면서 변경된 화상이 표시되게 된다.
다음으로, 도 7은 도 3의 송신 장치(1)의 송신 처리부(16)의 구성예를 도시하고 있다.
이전 처리부(12; 도 3)로부터의 배경, 오브젝트 및 부가 정보는 부호화부(31) 및 제어부(35)에 공급되도록 되어 있으며, 부호화부(31)는 그 배경, 오브젝트 및 부가 정보를 부호화하며, 그 결과 얻어지는 부호화 데이터를 MUX(멀티플렉서; 32)에 공급하도록 되어 있다. MUX(32)는 제어부(35)로부터의 제어에 따라서, 부호화부(31)로부터의 배경, 오브젝트 또는 부가 정보의 부호화 데이터를 선택하여, 다중화 데이터로서 송신부(33)에 공급하도록 되어 있다. 송신부(33)는 MUX(32)로부터의 다중화 데이터를 변조 등 하여 전송로(3)를 통하여 수신 장치(2)에 송신하도록 되어 있다. 데이터량 계산부(34)는 MUX(32)가 송신부(33)에 출력하는 다중화 데이터를 감시하고 있으며, 그 데이터 레이트를 산출하여 제어부(35)에 공급하도록 되어 있다.
제어부(35)는 데이터량 계산부(34)로부터의 데이터 레이트가 전송로(3)의 전송 레이트를 넘지 않도록 MUX(32)에 의한 다중화 데이터 출력을 제어하도록 되어 있다. 더욱이, 제어부(35)는 전송로(3)를 통하여 수신 장치(2)로부터 송신되어 오는 제어 정보를 수신하며, 그 제어 정보에 근거하여, MUX(32)에 의한 부호화 데이터 선택을 제어하도록 되어 있다.
다음으로, 도 8은 도 7의 부호화부(31)의 구성예를 도시하고 있다.
배경은 차분 계산부(41B)에 공급되도록 되어 있으며, 차분 계산부(41)는 로컬 디코더(4B)로부터 공급되는 지금 처리하려 하고 있는 프레임(이하, 적당히, 주목 프레임이라고 한다) 배경으로부터 이미 처리한 1프레임 이전 배경을 감산하여, 그 감산 결과로서의 배경의 차분 데이터를 계층 부호화부(42B)에 공급한다. 계층 부호화부(42B)는 차분 계산부(41B)로부터의 배경의 차분 데이터를 계층 부호화하여, 그 부호화 결과를 기억부(43B)에 공급한다. 기억부(43B)는 계층 부호화부(42)로부터의 계층 부호화 결과를 일시 기억한다. 기억부(43B)에 기억된 계층 부호화 결과는 배경의 부호화 데이터로서, MUX(32; 도 7)에 공급된다.
더욱이, 기억부(43B)에 기억된 계층 부호화 결과는 로컬 디코더(44B)에 공급되며, 입력 디코더(44B)에서는 그 계층 부호화 결과가 원래 배경으로 복호되어, 차분 계산부(41B)에 공급된다. 로컬 디코더(44B)에 의해 복호된 배경은 차분 계산부(41B)에 있어서, 다음 프레임의 배경의 차분 데이터를 구하는 데 사용된다.
오브젝트는 차분 계산부(41F)에 공급되도록 되어 있으며, 차분 계산부(41F), 계층 부호화부(42F), 기억부(43F) 또는 입력 디코더(44F)에서는 상술한 차분 계산부(41B), 계층 부호화부(42B), 기억부(43B) 또는 로컬 디코더(44B)에 있어서의 경우와 각각 동일한 처리가 행해지며, 이로써, 오브젝트는 배경과 동일하게 하여 계층 부호화되어, MUX(32; 도 7)에 공급된다. 또한, 오브젝트가 복수 존재할 경우는 차분 계산부(41F), 계층 부호화부(42F), 기억부(43F) 및 로컬 디코더(44F)에서는 복수의 오브젝트 각각이 상술한 바와 같이 계층 부호화된다.
부가 정보는 V1C(가변 길이 부호화)부(45)에 공급되도록 되어 있으며, V1C부(45)에서는 부가 정보가 가변 길이 부호화되어, MUX(32; 도 7)에 공급된다.
다음으로, 도 9를 참조하여 도 8의 부호화부(31)에 있어서 행해지는 계층 부호화/복호에 대해서 설명한다.
예를 들면, 지금, 하위 계층에 있어서의 2×2 화소(가로×세로)의 4화소의 평균치를 상위 계층의 화소(화소치)로 하여, 3계층의 계층 부호화을 행하는 것으로 한다. 이 경우, 최하위 계층의 화상으로서, 예를 들면, 도 9a에 도시하는 바와 같이 8×8화소를 생각하면, 그 좌측 상부의 2×2 화소의 4화소(h00, h01, h02, h03)의 평균치(m0)가 연산되며, 이것이 제 2 계층의 좌측 상부의 1화소로 된다. 마찬가지로 하여, 최하위 계층의 화상의 우측 상부의 4화소(h10, h11, h12, h13)의 평균치(m1), 좌측 하부의 4화소(h20, h21, h22, h23)의 평균치(m2), 우측 하부의 4화소(h30, h31, h32, h33)의 평균치(m3)가 연산되며, 각각이 제 2 계층의 우측 상부, 좌측 하부, 우측 하부의 1화소로 된다. 더욱이, 제 2 계층의 2×2 화소의 4화소(m0, m1, m2, m3)의 평균치(q)가 연산되며, 이것이 제 3 계층, 즉, 여기서는 최상위 계층의 화상의 화소로 된다.
이상과 같은 계층 부호화에 의하면, 최상위 계층 화상의 공간 해상도는 가장 낮아지며, 계층이 낮아짐에 따라서, 화상의 공간 해상도가 향상하여, 최하위 계층의 화상의 공간 해상도가 가장 높아진다.
그런데, 이상의 화소(h00 내지 h03, h10 내지 h13, h20 내지 h23, h30 내지 h33, m0 내지 m3, q)를 전부 송신할 경우에 있어서는 최하위 계층의 화상만을 송신할 경우에 비교하여), 상위 계층의 화소(m0 내지 m3, q) 분만큼 데이터량이 증가하게 된다.
그래서, 도 9b에 도시하는 바와 같이, 제 3 계층의 화소(q)를 제 2 계층의 화소(m0 내지 m3) 중의 예를 들면, 우측 하부의 화소(m3)로 바꾸어 송신하는 것으로 한다.
더욱이, 도 9c에 도시하는 바와 같이, 제 2 계층의 화소(m0)를 그것을 구하는 데 사용한 제 3 계층의 화소(h00 내지 h03) 중의 예를 들면, 우측 하부의 화소(h03)로 바꾸어 송신하는 것으로 한다. 제 2 계층의 나머지 화소(m1. m2, q)도 마찬가지로 제 1 계층의 화소(h13, h23, h33)로 바꾸어 송신하는 것으로 한다. 또한, 화소(q)는 제 2 계층의 화소는 아니지만, 화소(h30 내지 h33)로부터 직접 구해진 m3으 바꾸어 송신되는 것이기 때문에, 화소(h33)로 바꾸어 화소(m3)를 송신하는 대신, 화소(q)를 송신하는 것으로 한다.
이상과 같이 함으로써, 도 9c에 도시하는 바와 같이, 송신하는 모든 화소수는 4×4의 16화소가 되며, 도 9a에 도시한 최하위 계층의 화소만의 경우와 변하지 않는다. 따라서, 이 경우, 송신 데이터량 증가를 방지할 수 있다.
또한, 화소(q)로 바뀌어진 화소(m3), 화소(m0 내지 m3)로 각각 바뀌어진 화소(h03, h13, h23, h33)의 복호는 다음과 같이 하여 행할 수 있다.
즉, q는 m0 내지 m3의 평균치이기 때문에, 식 q=(m0+m1+m2+m3)/4가 성립한다. 따라서, 식 m3=4×q-(m0+m1+m2)에 의해, 제 3 계층의 화소(q) 및 제 2 계층의 화소(m0 내지 m2)를 사용하여 제 2 계층의 화소(m3)를 구할(복호할) 수 있다.
또, mO은 h00 내지 h03의 평균치이기 때문에, 식 m0=(h00+h01+h02+h03)/4가 성립한다. 따라서, 식 h03=4×m0-(h00+h01+h02)에 의해, 제 2 계층의 화소(m0) 및 제 1 계층의 화소(h00 내지 h02)를 사용하여, 제 1 계층의 화소(h03)를 구할 수 있다. 동일하게 하여, h13, h23, h33도 구할 수 있다.
이상과 같이, 어느 계층에 있어서 송신되지 않는 화소는 그 계층의 송신되는 화소와, 그 1개 상위 계층의 송신되는 화소로부터 복호할 수 있다.
다음으로, 도 10의 플로 챠트를 참조하여, 도 7의 송신 처리부(16)에 있어서 행해지는 송신 처리에 대해서 설명한다.
송신 처리부(16)에서는 우선 처음에 스텝(S21)에 있어서, 제어부(35)가 수신 장치(2)로부터 제어 신호가 송신되어 왔는지의 여부를 판정한다. 스텝(S21)에 있어서, 수신 장치(2)로부터 제어 신호가 송신되어 오지 않는다고 판정된 경우, 즉 제어부(35)가 제어 신호를 수신하고 있지 않을 경우, 스텝(S22)으로 진행, 제어부(35)는 MUX(32)을 제어하며, 수신 장치(2)에 있어서, 통상의 시간 해상도(예를 들면, 디폴트로 설정되어 있는 시간 해상도)로 화상 표시가 가능하도록 배경, 오브젝트 및 부가 정보의 부호화 데이터를 선택시켜 다중화시킨다.
즉, 통상의 시간 해상도로서, 예를 들면, 30프레임/초가 설정되어 있을 경우, MUX(32)는 화상을 30프레임/초로 표시하는 것으로서, 다중화 데이터를 전송로(3)의 전송 레이트로 송신했을 때에 얻어지는 최고의 공간 해상도로, 화상이 표시되도록 배경, 오브젝트 및 부가 정보의 부호화 데이터를 선택하여 다중화하며, 다중화 데이터를 출력한다.
구체적으로는 예를 들면, 상술한 바와 같이 하여 3계층의 계층 부호화를 행한 경우에 있어서, 30프레임/초로 화상을 표시하는 데 전송로(3)의 전송 레이트에서는 제 3 계층의 데이터 밖에 송신할 수 없을 때에는 제 3 계층의 화상을 표시하기 위한 배경, 오브젝트 및 부가 정보의 부호화 데이터가 선택된다. 따라서, 이 경우, 수신 장치(2)에서는 30프레임/초의 시간 해상도로, 가로 및 세로 방향의 공간 해상도가 어느 것도 원래 화상(제 1 계층의 화상)의 1/4이 된 화상이 표시되게 된다.
그리고, 스텝(S23)으로 진행하여, 송신부(33)는 MUX(32)가 출력하는 다중화 데이터를 전송로(3)를 통하여 송신하여, 스텝(S21)으로 돌아간다.
또, 스텝(S21)에 있어서, 수신 장치(2)로부터 제어 신호가 송신되어 왔다고 판정된 경우, 즉, 제어부(35)가 제어 신호를 수신한 경우, 스텝(S24)으로 진행, 제어부(35)는 그 제어 신호에 근거하여, 유저가 제어 정보 입력부(24; 도 5)를 조작함으로써 지정한 주목점을 인식하여, 스텝(S25)으로 진행한다.
스텝(S25)에서는 제어부(35)는 예를 들면, 주목점을 중심으로 하는 소정 크기의 직사각형(예를 들면, 프레임의 가로 방향 또는 세로 방향으로 각각 평행한 변을 갖는 소정 크기의 직사각형으로, 주목점을 중심으로 하는 것) 등의 주목점을 포함하는 영역을 공간 해상도를 우선적으로 향상시키는 우선 범위로서 설정하며, 그 우선 범위 내의 화상을 구성하기 위한 배경, 오브젝트 및 부가 정보를 검출한다.
그리고, 스텝(S26)으로 진행, 제어부(35)는 MUX(32)를 제어하며, 수신 장치(2)에 있어서, 우선 범위 내의 화상이 보다 높은 공간 해상도로 표시되도록 배경, 오브젝트 및 부가 정보의 부호화 데이터를 선택시켜 다중화시킨다.
즉, 제어부(35)는 수신 장치(2)로부터의 제어 신호를 수신한 경우, 시간 해상도를 희생으로 하여, 우선 범위 내의 화상의 공간 해상도를 향상시키도록 MUX(32)를 제어한다.
이로써, MUX(32)는 예를 들면, 우선 범위 내의 화상에 대해서는 제 3 계층 외에, 제 2 계층의 화상을 표시하기 위한 배경, 오브젝트 및 부가 정보의 부호화 데이터를 우선적으로 선택하여 다중화하여, 다중화 데이터를 출력한다.
더욱이, 스텝(S26)에서는 제어부(35)는 다중화 데이터로서 선택하는 부가 정보에, 우선 범위의 위치와 크기 등의 정보(이하, 적당히 고해상도 정보라 한다)를 삽입하도록 MUX(32)를 제어하여 스텝(S23)으로 진행한다.
스텝(S23)에서는 상술한 바와 같이 송신부(33)에 있어서, MUX(32)가 출력하는 다중화 데이터가 전송로(3)를 통하여 송신되어, 스텝(S21)으로 돌아간다.
여기서, 예를 들면, 지금, 설명을 간단히 하기 위해 스텝(S26)에 있어서, 우선 범위 외의 화상에 대해서는 제 3 계층의 화상을 표시하기 위한 배경, 오브젝트 및 부가 정보의 부호화 데이터를 스텝(S22)에 있어서의 경우와 동일하게 계속 선택한다 하면, 스텝(S26)에서는 스텝(S22)의 경우에 비교하여, 우선 범위 내의 화상에 대한 제 2 계층의 데이터 분만큼 다중화 데이터의 데이터량이 증가하게 된다. 본 실시예에서는 상술한 바와 같이, 30프레임/초로 화상을 표시하는 데, 전송로(3)의 전송 레이트에서는 제 3 계층의 데이터 밖에 송신할 수 없기 때문에, 스텝(S26)에서 얻어진 다중화 데이터는 화상을 30프레임/초로 표시 가능하도록 송신할 수 없다. 그래서, 스텝(S23)에서는 스텝(S26)에서 얻어진 다중화 데이터는 극단적으로는 시간 해상도가 0프레임/초로 화상이 표시되도록 송신된다.
따라서, 이 경우, 수신 장치(2)에서는 우선 범위의 화상에 대해서는 가로 및 세로 방향의 공간 해상도가 어느 것도 원래 화상(제 1 계층의 화상)의 1/2이 된 화상, 즉, 가로 및 세로 방향의 공간 해상도가 어느 것도 지금까지 표시되어 있던 제 3 계층의 화상의 2배로 된 화상(제 2 계층의 화상)이 표시되게 된다. 단, 그 시간 해상도는 예를 들면, 0프레임/초, 즉, 표시되는 화상은 정지화가 된다.
이상과 같이 하여, 우선 범위 내의 화상에 대해서, 제 2 계층의 데이터가 송신된 후, 스텝(S21)에 있어서, 이전 회에 계속해서, 수신 장치(2)로부터 제어 신호가 송신되어 왔다고 판정된 경우, 즉, 유저가 제어 정보 입력부(24)를 계속 조작하여, 동일한 주목점을 계속 지정하고 있을 경우, 스텝(S24)으로 진행, 이전 회와 동일한 주목점이 인식되어, 스텝(S25)으로 진행한다. 그리고, 스텝(S25)에서도, 이전 회와 동일한 우선 범위가 설정되어, 스텝(S26)으로 진행한다.
스텝(S26)에서는 제어부(35)는 MUX(32)를 제어하여, 수신 장치(2)에 있어서, 우선 범위 내의 화상이 보다 높은 공간 해상도로 표시되도록 배경, 오브젝트 및 부가 정보의 부호화 데이터를 선택시켜 다중화시킨다.
즉, 이 경우, 이미 우선 범위 내의 화상에 대해서는 제 3 계층 외에 제 2 계층의 배경, 오브젝트 및 부가 정보의 부호화 데이터가 우선적으로 선택되도록 되어 있기 때문에, 여기서는 더욱이, 제 1 계층의 배경, 오브젝트 및 부가 정보의 부호화 데이터도 우선적으로 선택되어, 다중화 데이터로서 출력된다. 더욱이, 스텝(S26)에서는 상술한 바와 같이, 고해상도 정보가 부가 정보에 삽입되어, 스텝(S23)으로 진행, 송신부(33)에 있어서, MUX(32)가 출력하는 다중화 데이터가 전송로(3)를 통하여 송신되어, 스텝(S21)으로 돌아간다.
따라서, 이 경우, 수신 장치(2)에서는 우선 범위의 화상에 대해서는 원래 화상(제 1 계층의 화상)과 동일한 공간 해상도의 화상, 즉, 가로 및 세로 방향의 공간 해상도가 어느 것도 처음에 표시되어 있던 제 3 계층의 화상의 4배가 된 화상(제 1 계층의 화상)이 표시되게 된다. 단, 그 시간 해상도는 예를 들면, 0프레임/초, 즉, 표시되는 화상은 정지화가 된다.
이상으로부터, 유저가 제어 정보 입력부(24)를 계속 조작하여, 이로써, 동일한 주목점을 계속 지정하면, 화상의 시간 해상도를 희생으로 하여, 주목점을 포함하는 우선 범위 내의 화상에 대해서, 공간 해상도를 보다 향상시키기 위한 데이터가 우선적으로 송신되기 때문에, 화상의 시간 해상도는 열화하지만, 주목점을 포함하는 우선 범위 내의 화상의 공간 해상도는 서서히 향상, 우선 범위 내의 화상은 보다 선명하게 표시되도록 된다. 즉, 유저가 주목하고 있는 부분의 화상은 보다 선명하게 표시된다.
이상과 같이, 주목점을 포함하는 소정의 우선 영역 내의 화상의 공간 해상도 및 시간 해상도가 전송로(3)의 전송 레이트에서 송신되는 화상 데이터에 의해 얻어지는 해상도의 범위 내에서 변경되도록 화상 데이터의 송신이 제어되기 때문에, 즉, 우선 영역 내의 화상의 공간 해상도를 향상시킴과 동시에, 화상의 시간 해상도를 열화시키도록, 또한 그 향상한 공간 해상도 및 열화한 시간 해상도가 전송로(3)의 전송 레이트로 송신되는 화상 데이터에 의해 얻어지도록 화상 데이터의 송신이 제어되기 때문에, 한정된 전송 레이트에 있어서, 수신 장치(2)에서 표시되는 화상의 공간 해상도를 보다 향상시킬 수 있다.
다음으로, 도 11은 도 5의 수신 처리부(21)의 구성예를 도시하고 있다
전송로(3)로부터의 다중화 데이터는 수신부(51)에 있어서 수신되며, 복조 등 된 후, DMUX(디멀티플렉서; 52)에 공급된다. DDMUX(52)는 수신부(51)로부터의 다중화 데이터를 배경, 오브젝트 및 부가 정보의 부호화 데이터로 분리하여, 복호부(53)에 공급한다. 복호부(53)는 배경, 오브젝트 또는 부가 정보의 부호화 데이터를 각각 원래 데이터로 복호하여 합성 처리부(22; 도 5)에 출력한다.
즉, 도 12는 도 11의 복호부(53)의 구성예를 도시하고 있다.
배경의 부호화 데이터로서의 계층 부호화된 차분 데이터는 가산기(61B)에 공급된다. 가산기(61B)에는 더욱이, 기억부(62B)에 기억된 이미 복호된 1프레임 이전의 배경도 공급되도록 되어 있으며, 가산기(61B)는 거기에 공급되는 배경의 차분 데이터에 기억부(62B)로부터의 1프레임 이전 배경을 가산함으로써, 필요한 계층의 배경을 복호한다. 이 복호된 배경은 기억부(62B)에 공급되어 기억되며,가산기(61B)에 공급됨과 동시에, 합성 처리부(22)(도 5)에 공급된다.
오브젝트의 부호화 데이터로서의 계층 부호화된 차분 데이터는 가산기(61F)에 공급되도록 되어 있으며, 가산기(61F) 또는 기억부(62F)에서는 상술한 가산기(61B) 또는 기억부(62B)에 있어서의 경우와 각각 동일한 처리가 행해지며, 이로써, 오브젝트의 차분 데이터는 배경과 동일하게 필요한 계층의 오브젝트로 복호되어 합성 처리부(22)(도 5)에 공급된다. 또한, 오브젝트가 복수 존재할 경우는 가산기(61F) 및 기억부(62F)에서는 복수의 오브젝트의 차분 데이터 각각이 상술한 바와 같이 복호(계층 복호)된다.
부가 정보의 부호화 데이터로서의 가변 길이 부호화된 부가 정보는 역V1C부(63)에 공급되어, 가변 길이 복호된다. 이로써, 원래 부가 정보에 복호되어, 합성 처리부(22)에 공급된다.
또한, 상술한 도 8의 로컬 디코더(44B)는 가산기(61B) 및 기억부(62B)와 마찬가지로, 로컬 디코더(44F)는 가산기(61F) 및 기억부(62F)와 마찬가지로 각각 구성되어 있다.
다음으로, 도 13은 도 5의 합성 처리부(22)의 구성예를 도시하고 있다.
복호부(53; 도 11)가 출력하는 배경은 배경 기록부(71)에 오브젝트는 오브젝트 기록부(72)에, 부가 정보는 배경 기록부(71), 오브젝트 기록부(72) 및 합성부(77)에 공급되도록 되어 있다.
배경 기록부(71)는 거기에 공급되는 배경을 배경 메모리(73)에 순차 기록하도록 되어 있다. 여기서, 비디오 카메라가 패닝이나 틸팅되어 촬영이 행해짐으로써, 배경에 움직임이 있을 경우에는 배경 기록부(71)에서는 배경의 위치 맞춤을 행한 상태에서, 배경 메모리(73)로의 배경의 기록이 행해지도록 되어 있다. 따라서, 배경 메모리(73)는 1프레임의 화상보다도 공간적으로 넓은 화상을 기억할 수 있도록 되어 있다. 또한, 배경의 위치 맞춤은 부가 정보에 포함되는 배경 움직임 벡터에 근거하여 행해지도록 되어 있다.
또, 배경 기록부(71)는 공간 해상도가 높은 배경을 배경 메모리(73)에 기록한 경우, 그 화소에 대응하는 배경 플래그 메모리(74)의 어드레스에 기억된 배경 플래그를 0에서 1로 하도록 되어 있다. 배경 기록부(71)는 배경 메모리(73)에 배경을 기록할 때에 배경 플래그 메모리(74)를 참조하도록 되어 있으며, 배경 플래그가 1로 되어 있는 화소, 즉, 이미 공간 해상도가 높은 배경이 기억되어 있는 화소에는 공간 해상도가 낮은 배경의 기록은 행하지 않도록 되어 있다. 따라서, 배경 메모리(73)에는 기본적으로는 배경 기록부(71)에 배경이 공급될 때마다 그 배경이 기록되지만, 이미 공간 해상도가 높은 배경이 기억되어 있는 화소에는 공간 해상도가 낮은 배경의 기록은 행해지지 않는다. 그 결과, 배경 메모리(73)에 있어서는 배경 기록부(71)에 공간 해상도가 높은 배경이 공급될 때마다 공간 해상도가 높은 범위가 넓어져 가게 된다.
오브젝트 기록부(72)는 거기에 공급되는 오브젝트를 오브젝트 메모리(75)에 순차 기록하도록 되어 있다. 여기서, 오브젝트가 복수 존재할 경우는 오브젝트 기록부(72)는 복수의 오브젝트 각각을 각 오브젝트마다 오브젝트 메모리(75)에 기록하도록 되어 있다. 또, 오브젝트 기록부(72)는 동일한 오브젝트(후술하는 동일한레벨이 부착되어 있는 오브젝트) 기록을 행할 경우, 이미 오브젝트 메모리(75)에 기록되어 있는 오브젝트 대신, 새로운 오브젝트(새롭게 오브젝트 기록부(72)에 공급되는 오브젝트)를 기록하도록 되어 있다.
더욱이, 오브젝트 기록부(72)는 공간 해상도가 높은 오브젝트를 오브젝트 메모리(75)에 기록한 경우, 그 화소에 대응하는 오브젝트 플래그 메모리(76)의 어드레스에 기억된 배경 플래그를 0에서 1로 하도록 되어 있다. 오브젝트 기록부(72)는 오브젝트 메모리(75)에 오브젝트를 기록할 때에, 오브젝트 플래그 메모리(76)를 참조하도록 되어 있으며, 오브젝트 플래그가 1로 되어 있는 오브젝트, 즉, 이미 공간 해상도가 높은 오브젝트가 기억되어 있는 오브젝트 메모리(75)에는 공간 해상도가 낮은 오브젝트 기록은 행하지 않도록 되어 있다. 따라서, 오브젝트 메모리(75)에 있어서도, 배경 메모리(73)에 있어서의 경우와 마찬가지로, 기본적으로는 오브젝트 기록부(72)에 오브젝트가 공급될 때마다 그 오브젝트가 기록되지만, 이미 공간 해상도가 높은 오브젝트가 기억되어 있는 화소에는 공간 해상도가 낮은 오브젝트 기록은 행해지지 않으며, 그 결과, 오브젝트 메모리(75)에 있어서는 오브젝트 기록부(72)에 공간 해상도가 높은 오브젝트가 공급될 때마다 공간 해상도가 높은 오브젝트 수가 증가해 가게 된다.
배경 메모리(73)는 배경 기록부(71)로부터 공급되는 배경을 기억하도록 되어 있다. 배경 플래그 메모리(74)는 배경 메모리(73)가 대응하는 어드레스에, 공간 해상도가 높은 배경이 기억되어 있는지의 여부를 도시하는 상술한 바와 같은 1비트의 배경 플래그를 기억하도록 되어 있다. 오브젝트 메모리(75)는 1이상의 메모리로 구성되며, 오브젝트 기록부(72)로부터 공급되는 오브젝트를 각 오브젝트마다 기억하도록 되어 있다. 오브젝트 플래그 메모리(76)는 오브젝트 메모리(75)에, 공간 해상도가 높은 오브젝트가 기억되어 있는지의 여부를 도시하는 상술한 바와 같은 1비트의 오브젝트 플래그를 기억하도록 되어 있다.
또한, 여기서는 설명을 간단하게 하기 위해, 배경 플래그나 오브젝트 플래그를 1비트의 플래그로 했지만, 배경 플래그나 오브젝트 플래그는 복수 비트의 플래그로 할 수 있다. 이 경우, 배경 플래그나 오브젝트 플래그에 의해 보다 다단층의 해상도를 표현할 수 있다. 즉, 1비트의 플래그에서는 해상도가 높든지 또는 낮은 2단계 밖에 표현할 수 없지만, 복수 비트의 플래그에 의하면, 보다 다단층의 해상도를 표현할 수 있다.
합성부(77)는 배경 메모리(73)에 기억된 배경으로부터, 지금 표시를 행해야 할 프레임(이 프레임도 이하, 적당히 주목 프레임이라 한다)의 배경을 부가 정보에 포함되는 배경 움직임 벡터에 근거하여 판독함과 동시에, 그 배경에 오브젝트 메모리(75)에 기억된 오브젝트를 부가 정보에 포함되는 오브젝트 움직임 벡터에 근거하여 합성하며, 이로써, 주목 프레임의 화상을 구성하여 표시 메모리(78)에 공급하도록 되어 있다.
더욱이, 합성부(77)는 제어 정보 입력부(24; 도 5)로부터, 제어 정보를 수신한 경우, 그 제어 정보에 포함되는 주목점 위치에 있는 오브젝트를 오브젝트 메모리(75)로부터 판독, 서브 윈도우 메모리(79)에 공급하도록 되어 있다.
표시 메모리(78)는 소위 VRAM(Video Read 0nly Memory)로서 기능하도록 되어있으며, 합성부(77)로부터의 주목 프레임 화상을 일시 기억한다.
서브 윈도우 메모리(79)는 합성부(77)로부터의 오브젝트를 일시 기억한다.
중첩부(80)는 표시 메모리(78)의 기억 내용을 판독하여, 화상 출력부(23; 도 5)에 공급하여 표시시킨다. 또, 중첩부(80)는 필요에 따라서, 화상 출력부(23)에 후술하는 서브 윈도우를 오픈하여, 서브 윈도우 메모리(79)의 기억 내용을 판독, 서브 윈도우에 표시시킨다.
다음으로, 도 14의 플로 챠트를 참조하여, 도 13의 합성 처리부(22)에서 행해지는 처리(합성 처리)에 대해서 설명한다.
우선 처음에 스텝(S31)에 있어서, 배경 기록부(71) 또는 오브젝트 기록부(72)는 복호부(53; 도 12)로부터의 배경 또는 오브젝트를 배경 플래그 메모리(74)에 기억된 배경 플래그 또는 오브젝트 플래그 메모리(75)에 기억된 오브젝트 플래그에 근거하여, 각각 상술한 바와 같이 하여 기록한다.
즉, 배경 기록부(71)는 배경 플래그 메모리(74)를 참조하여, 배경 플래그가 0으로 되어 있는 화소에 대응하는 배경 메모리(73)의 어드레스에는 거기에 공급되는 배경을 기록, 배경 플래그가 1로 되어 있는 화소에 대응하는 배경 메모리(73)의 어드레스에는 거기에 공급되는 배경이 공간 해상도가 높은 것일 경우에만 그 공간 해상도가 높은 배경을 기록한다.
오브젝트 기록부(72)도 마찬가지로, 오브젝트 플래그가 0으로 되어 있는 오브젝트 메모리(75)에는 거기에 공급되는 오브젝트를 기록, 오브젝트 플래그가 1로 되어 있는 오브젝트 메모리(75)에는 거기에 공급되는 오브젝트가 공간 해상도가 높은 것일 경우에만 그 공간 해상도가 높은 오브젝트를 기록한다.
또한, 배경 메모리(73)가 이미 배경이 기억되어 있는 어드레스에 배경을 기록할 경우에는 그 기록은 오버라이트하는 형태로 행해진다. 오브젝트 메모리(75)로의 기록도 동일하다.
그 후, 스텝(S32)으로 진행하여, 배경 기록부(71), 오브젝트 기록부(72) 각각에 있어서, 부가 정보에 고해상도 정보가 포함되어 있는지의 여부가 판정된다. 스텝(S32)에 있어서, 부가 정보에 고해상도 정보가 포함되어 있다고 판정된 경우, 즉, 유저가 제어 정보 입력부(24; 도 5)를 조작함으로써, 송신 장치(1)에 제어 정보가 송신되며, 이로써, 상술한 바와 같이 하여, 송신 장치(1)로부터 우선 범위 내의 화상에 대해서 공간 해상도가 높은 배경 및 오브젝트가 송신되어 온 경우, 스텝(33)으로 진행하여, 배경 기록부(71) 또는 오브젝트 기록부(72)에 있어서, 배경 플래그 메모리(74) 또는 오브젝트 플래그 메모리(76) 각각의 소정의 배경 플래그 또는 오브젝트 플래그가 1로 된다.
즉, 송신 장치(1)로부터 우선 범위 내의 화상에 대해서 공간 해상도가 높은 배경 및 오브젝트가 송신되어 온 경우에는 스텝(S31)에 있어서, 배경 메모리(73) 또는 오브젝트 메모리(75)에 그 공간 해상도가 높은 배경 또는 오브젝트가 기록된다. 이 때문에, 스텝(S33)에서는 그 공간 해상도가 높은 배경 또는 오브젝트를 구성하는 화소에 대한 배경 플래그 또는 오브젝트 플래그가 각각 1로 된다.
그 후, 스텝(S34)으로 진행하여, 합성부(77)는 우선 범위 내에 있는 오브젝트를 오브젝트 메모리(75)로부터 판독하고, 서브 윈도우 메모리(79)에 기록한다.
즉, 스텝(S32)에 있어서, 부가 정보에 고해상도 정보가 포함되어 있다고 판정되는 경우라는 것은 상술한 바와 같이, 유저가 제어 정보 입력부(24; 도 5)를 조작함으로써, 송신 장치(1)에 제어 정보가 송신되며, 이로써, 상술한 바와 같이 하여, 송신 장치로부터 우선 범위 내의 화상에 대해서 공간 해상도가 높은 배경 및 오브젝트가 송신되어 온 경우이지만, 송신 장치(1)에 송신되는 제어 정보는 합성부(77)에도 공급된다. 그래서 합성부(77)는 제어 정보를 수신하면, 스텝(S34)에 있어서, 그 제어 정보에 포함되는 주목점의 좌표로부터 우선 범위를 인식하여, 송신 장치(1)로부터 송신되어 오는 우선 범위 내에 있는 공간 해상도가 높은 오브젝트를 오브젝트 메모리(75)로부터 판독, 서브 윈도우 메모리(79)에 기록한다.
그리고, 스텝(S35)으로 진행하여, 합성부(77)는 배경 메모리(73)에 기억된 배경으로부터 지금 표시을 행해야 할 프레임(주목 프레임)의 배경을 부가 정보에 포함되는 배경 움직임 벡터에 근거하여 판독함과 동시에, 주목 프레임에 표시해야 할 오브젝트를 오브젝트 메모리(75)로부터 판독하고, 주목 프레임의 배경과, 오브젝트 메모리(75)로부터 판독한 오브젝트를 부가 정보에 포함되는 오브젝트 움직임 벡터에 근거하여 합성하며, 이로써, 주목 프레임의 화상을 구성하여, 표시 메모리(78)에 기록한다. 즉, 합성부(77)는 예를 들면, 표시 메모리(78)에 대해, 배경을 기록, 그 후, 오브젝트를 오버라이트함으로써, 배경과 오브젝트를 합성한 주목 프레임의 화상을 표시 메모리(78)에 기록한다.
이상과 같이 하여, 표시 메모리(78)에 기록된 주목 프레임의 화상 및 서브 윈도우 메모리(79)에 기록된 오브젝트는 화상 출력부(23; 도 5)에 공급되어 표시된다.
또한, 송신 장치(1)에 있어서는 예를 들면, 부가 정보에 소위 소프트 키를 포함하도록 할 수 있으며, 이 경우, 합성부(77)에서는 오브젝트와 배경과의 합성을 그 소프트 키를 사용하여 행하도록 할 수 있다.
한편, 스텝(S32)에 있어서, 부가 정보에 고해상도 정보가 포함되어 있지 않다고 판정된 경우, 즉, 유저가 제어 정보 입력부(24; 도 5)를 조작하고 있지 않을 경우, 스텝(33 및 34)을 스킵하여, 스텝(S35)으로 진행, 상술한 바와 같이, 합성부(77)에 있어서, 배경 메모리(73)로부터 주목 프레임의 배경이 판독됨과 동시에, 오브젝트 메모리(75)로부터 필요한 오브젝트가 판독되며, 주목 프레임의 배경과, 오브젝트 메모리(75)로부터 판독한 오브젝트가 부가 정보에 따라서 합성된다. 이로써, 주목 프레임의 화상이 구성되어, 표시 메모리(78)에 기록된다. 그리고, 스텝(S31)으로 돌아가 이하, 동일한 처리가 반복된다.
이상과 같은 합성 처리에 의하면, 유저가 제어 정보 입력부(24; 도 5)를 조작하고 있지 않을 경우, 즉, 제어 정보 입력부(24)가 예를 들면, 마우스 등의 포인팅 디바이스로 구성되어 있으며, 그 드래그(또는 클릭)가 행해져 있지 않을 경우에는 도 15a에 도시하는 바와 같이, 화상 출력부(23; 도 5)에 있어서는, 공간 해상도가 낮은 화상이 디폴트의 시간 해상도로 표시된다. 또한, 도 15a에 있어서는 공간 해상도가 낮은 배경 상을 공간 해상도가 낮은 오브젝트가 우측 방향으로 이동하고 있다.
그리고, 유저가 제어 정보 입력부(24; 도 5)를 조작하여, 커서를 오브젝트상에 이동하여, 그 위치로 드래그를 행하면, 상술한 바와 같이, 송신 장치(1)에 제어 정보가 송신되며, 송신 장치(1)에서는 그 제어 정보에 포함되는 주목점을 포함하는 우선 범위의 화상에 대해서, 공간 해상도가 높은 화상을 표시하기 위한 데이터가 시간 해상도를 희생으로 하여 송신되어 온다. 그 결과, 도 15b에 도시하는 바와 같이, 화상 출력부(23; 도 5)에 있어서는 시간 해상도는 예를 들면 0프레임/초이지만, 드래그가 행해지고 있는 위치를 중심으로 하는 우선 범위 내에 있는 오브젝트 및 배경의 공간 해상도가 서서히 향상해 가는 화상이 표시된다. 즉, 드래그가 행해지고 있는 시간에 따라서(또는 클릭이 행해진 회수에 따라서), 우선 범위 내의 화상의 공간 해상도가 서서히 향상해 간다.
더욱이, 이 경우, 화상 출력부(23; 도 5)에 있어서는 도 15b에 도시하는 바와 같이, 서브 윈도우가 오픈되며, 그 서브 윈도우에 드래그가 행해지고 있는 위치를 중심으로 하는 우선 범위 내에 있는 공간 해상도가 서서히 향상해 가는 오브젝트가 표시된다.
그 후, 유저가 제어 정보 입력부(24; 도 5)에 의한 드래그를 정지하면, 합성부(77)는 상술한 바와 같이, 스텝(S35)에 있어서, 배경 메모리(73)로부터 주목 프레임의 배경을 판독함과 동시에, 오브젝트 메모리(75)로부터 오브젝트를 판독하고, 주목 프레임의 배경과, 오브젝트 메모리(75)로부터 판독한 오브젝트를 부가 정보에 따라서 합성하여, 표시 메모리(78)에 기록한다. 상술한 바와 같이, 드래그됨으로써 공간 해상도가 높아진 오브젝트는 그대로 오브젝트 메모리(75)에 계속 기억되기 때문에, 화상 출력부(23; 도 5)에 있어서는 도 15c에 도시하는 바와 같이, 드래그됨으로써 공간 해상도가 높아진 오브젝트가 그대로 주목 프레임에 있어서 표시되어야 할 위치에 점착된 화상이 통상의 시간 해상도로 표시된다.
그리고, 이후는 화상 출력부(23; 도 5)에 있어서, 도 15c에 도시하는 바와 같이, 공간 해상도가 높게 된 오브젝트가, 부가 정보에 따라서 이동하여 가는 화상이, 통상의 시간 해상도로 표시된다.
따라서, 유저는, 상세를 보고 싶은 오브젝트가 표시되어 있는 위치에서 드래그를 행함으로써, 공간 해상도가 높게 된 오브젝트를 보는 것이 가능해진다. 즉, 오브젝트의 상세를 보는 것이 가능해진다.
또한, 드래그됨으로써, 우선 범위 내의 배경에 관해서도, 높은 공간 해상도의 배경이, 배경 메모리(73)에 기억되기 때문에, 드래그가 정지되어도, 높은 공간 해상도의 배경이 배경 메모리(73)에 기록된 부분에 대해서는, 역시, 그 높은 공간 해상도의 배경이 표시된다. 따라서, 드래그가 행하여지면, 그 드래그가 행하여진 위치를 포함하는 우선 범위 내의 배경의 공간 해상도는 향상하기 때문에, 화상 출력부(23)(도 5)의 표시 화면 상의 각 위치에서, 드래그가 행하여지면, 그 드래그가 행해질 때마다, 공간 해상도가 높은 부분의 배경이, 말하자면 벌레 먹음 형상으로 확대되어가고, 최종적으로는, 화상 출력부(23)(도 5)에 있어서, 전체의 공간 해상도가 높은 배경이 표시되어지게 된다.
또한, 본 실시예에서는, 배경은, 상술한 바와 같이, 배경 메모리(73)에 기억되기 때문에, 송신 장치(1)에 있어서는, 한번 송신한 공간 해상도가 낮은 배경은 송신할 필요는 없고, 따라서, 그 만큼 전송 대역(전송율)을, 보다 공간 해상도가높은 오브젝트나 배경의 송신에, 우선적으로 할당하는 것이 가능하다.
또한, 상술의 경우에 있어서는, 드래그됨으로써 공간 해상도가 높게 된 오브젝트를, 오브젝트 메모리(75)에 기억하여 두고, 드래그가 정지된 후는, 그 공간 해상도가 높은 오브젝트를 배경에 점착하도록 하였기 때문에, 수신 장치(2)에 있어서 표시되는 오브젝트는, 공간 해상도가 높은 것으로 되지만, 그 오브젝트에는, 송신 장치(1)로 촬영된 오브젝트의 상태 변화는 반영되지 않게 된다.
그래서, 드래그가 정지된 후는, 오브젝트 플래그를 무시하고, 복호부(53; 도 12)의 기억부(62F)에 기억된 오브젝트를, 오브젝트 메모리(75)에 기억된 높은 공간 해상도의 오브젝트로 바꾸어 기록하도록 하는 것이 가능하다. 즉, 복호부(53; 도 12)의 기억부(62F)에는, 송신 장치(1)로부터 송신되어 오는 오브젝트가 순차 기억되기 때문에, 그 오브젝트를, 오브젝트 메모리(75)에 기록함으로써, 상술한 바와 같이 하여, 화상 출력부(23)에 표시되는 화상의 오브젝트는, 송신 장치(1)로 촬영된 오브젝트의 상태 변화가 반영된 것으로 된다(단지, 표시되는 오브젝트는, 공간 해상도가 낮은 것으로 된다).
여기서, 송신 장치(1)의 송신 처리부(16)를 구성하는, 도 7에 도시한 MUX(32)는, 제어부(35)의 제어에 따라서, 다중화 데이터의 헤더 등에, 고해상도 정보의 유무나, 그 고해상도 정보에 의해 특정되는 우선 범위의 프레임 레이트(시간 해상도) 및 공간 해상도, 우선 범위 이외의 영역의 프레임 레이트 및 공간 해상도 등을 삽입하게 되어 있고, 수신 장치(2)는, 상기 헤더에 배치된 정보(이하, 헤더 정보라고 한다)에 근거하여, 고해상도 정보의 유무나, 우선 범위의 프레임 레이트및 공간 해상도, 우선 범위 이외의 영역의 프레임 레이트 및 공간 해상도 등을 인식하게 되어 있다.
또한, 송신 장치(1)에 있어서, 헤더 정보에는, 기타, 예를 들면, 수신 장치(2)로부터 송신되어 오는 제어 정보에 포함되는 주목점(의 좌표)을 포함하도록 할 수 있다. 이 경우, 도 13의 합성부(77)에서는, 송신 장치(1)로부터 송신되어 오는 헤더 정보로부터, 주목점의 위치에 있는 오브젝트를 인식하도록 할 수 있다. 즉, 상술의 경우에는, 합성부(77)에 있어서, 제어 정보 입력부(24; 도 5)부터 공급되는 제어 정보에 근거하여, 그 제어 정보에 포함되는 주목점의 위치에 있는 오브젝트를 인식하고, 그 오브젝트를, 오브젝트 메모리(75)로부터 판독하여, 서브 윈도우 메모리(79)에 공급하도록 하였지만, 헤더 정보에 주목점이 포함되는 경우에는, 그 헤더 정보에 근거하여, 주목점의 위치에 있는 오브젝트를 인식하도록 할 수 있다. 이 경우, 도 5에 있어서, 제어 정보 입력부(24)가 출력하는 제어 정보를, 합성 처리부(22)에 공급하지 않고 종료하게 된다.
다음에, 도 16을 참조하여, 송신 장치(1)로부터, 전송로(3)를 통해, 수신 장치(2)에 송신되는 화상의 공간 해상도와 시간 해상도의 관계에 관해서 설명한다.
또한, 전송로(3)의 전송율은 R[bps]로 하고, 또한, 여기서는, 배경과, 3개의 오브젝트(#1 내지 #3)로 이루어지는 화상을 송신하기로 한다. 또한, 여기서는, 설명을 간단히 하기 위해서, 부가 정보는 고려하지 않기로 하고, 또한, 배경, 오브젝트(#1 내지 #3) 각각을, 어떤 공간 해상도로 표시하기 위해서는, 동일의 데이터량의 데이터가 필요한 것으로 한다.
이 경우, 드래그가 행해지고 있지 않을 때에는, 송신 장치(1)에 있어서는 도 16a에 도시하는 바와 같이, 배경, 오브젝트(#1 내지 #3) 각각이, 전송율(R)을 4등분한 레이트(R)/4[bps]로 송신된다. 또한, 통상의 시간 해상도가, 1/T 프레임/초인 것으로 하면, 송신 장치(1)는, 배경, 오브젝트(#1 내지 #3) 각각의 1 프레임분의 데이터의 송신을, 길어도 T초로 완료할 수 있도록 행한다. 따라서, 이 경우, 수신 장치(2)에서는, 1 프레임 당, T×R/4비트의 데이터로 얻어지는 공간 해상도의 배경, 오브젝트(#1 내지 #3)가 각각 표시된다.
그리고, 어떤 시각(t1)에 있어서, 예를 들면, 오브젝트(#1)의 위치에서, 유저가 드래그를 행하면, 송신 장치(1)는, 예를 들면, 도 16a에 도시하는 바와 같이, 배경 및 오브젝트(#2 및 #3)의 송신을 정지하고, 오브젝트(#1)만을, 전송로(3)의 전송율(R) 전부를 사용하여 송신한다. 그 후, 시각(t1)으로부터 시간(4T)만큼 경과한 시각(t2)에 있어서, 유저가 드래그를 정지하였다고 하면, 송신 장치(1)는, 다시, 배경, 오브젝트(#1 내지 #3) 각각을, 전송율(R/4)로 송신한다.
따라서, 드래그가 행해지고 있는 동안에는, 오브젝트(#1)에 대해서는, 4T×R 비트의 데이터가 송신되기 때문에, 현재, 드래그가 행해지고 있는 동안의 시간 해상도를 0 프레임/초로 하는 것으로 하면, 수신 장치(2)에서는, 1 프레임 당, 4T×R 비트의 데이터로 얻어지는 공간 해상도의 오브젝트(#1)가 표시되어지게 된다. 즉, 횡 및 종의 공간 해상도를 같은 정도 향상시키는 것으로 한 경우, 수신 장치(2)에서는, 시간 해상도는 0 프레임/초가 되지만, 유저가 드래그한 오브젝트(#1)에 대해서는, 횡 및 종의 양쪽의 공간 해상도가, 드래그가 행해지기 전의 4배(=√(4T×R/(T×R/4비트)))로 된 것이 표시되게 된다.
즉, 시간 해상도를 희생함으로써, 공간 해상도를 보다 향상시킬 수 있으며, 또한, 시간 해상도를 희생하지 않은 경우에 비하여, 유저가 주목하고 있는 부분의 공간 해상도를, 보다 신속하게 향상시킬 수 있다.
또한, 상술한 경우에는, 오브젝트(#1)의 드래그가 행해지고 있는 동안, 배경 및 다른 오브젝트(#2 및 #3)의 데이터는, 완전하게 송신하지 않도록 하였지만, 도 16b에 도시하는 바와 같이, 오브젝트(#1)의 데이터의 송신에는, 높은 전송율을 할당하며, 배경 및 다른 오브젝트(#2 및 #3)의 데이터의 송신에는, 낮은 전송율을 할당하도록 하는 것도 가능하다.
또한, 드래그가 행해지더라도, 배경, 오브젝트(#1 내지 #3) 각각의 송신에 할당하는 전송율은, R/4 그대로 변화하지 않는 것도 가능하다. 즉, 여기서는, 시간 해상도를 희생으로 하여, 공간 해상도를 향상시키기 때문에, 예를 들면, 전송율의 할당을 변경하지 않아도, 시간은 필요하게 되지만, 공간 해상도를 향상시킬 수 있다.
다음에, 본 실시예에서는, 상술한 바와 같이, 드래그됨으로써 공간 해상도가 높게 된 오브젝트를, 오브젝트 메모리(75)에 기억해 두고, 드래그가 정지된 후에, 그 공간 해상도가 높은 오브젝트를 배경에 점착하도록 하였지만, 상기 공간 해상도가 높은 오브젝트를, 배경의 어떤 위치에 점착할 것인가는, 그 후에 송신 장치(1)로부터 송신되어 오는, 그 오브젝트에 대한 부가 정보에 포함되는 오브젝트 움직임 벡터에 근거하여 결정된다.
따라서, 수신 장치(2)는, 어떤 프레임의 오브젝트가, 그 프레임에 인접하는 프레임의 어떤 오브젝트에 대응하는 것일까라는 것을 인식할 필요가 있고, 송신 장치(1)(도 3)의 오브젝트 추출부(14)는, 오브젝트의 추출에 있어서, 수신 장치(2)가, 그와 같은 인식을 행하기 위한 정보를 부가하도록도 되어 있다.
그래서, 도 17은, 도 3의 오브젝트 추출부(14)의 구성예를 도시하고 있다.
감산부(81)에는, 화상 입력부(11)가 출력하는 화상과, 배경 추출부(13)가 출력하는, 그 화상의 배경이 공급되게 되어 있고, 감산부(18)는, 화상 입력부(11)에서의 화상으로부터, 배경 추출부(13)로부터의 배경을 감산함으로써, 오브젝트로 이루어지는 이전 배경을 구하게 되어 있다. 연산부(81)에서 구해진 이전 배경은, 프레임 메모리(82) 및 초기 영역 분할부(83)에 공급되게 되어 있다.
프레임 메모리(82)는, 감산부(81)로부터 공급되는 이전 배경을 일시 기억하게 되어 있다. 초기 영역 분할부(83)는, 감산부(81)로부터 공급되는, 현재 처리하려고 하고 있는 프레임(주목 프레임)의 이전 배경과, 프레임 메모리(82)에 기억된, 주목 프레임의 1 프레임 앞의 이전 배경(이전 프레임 이전 배경)을 사용하여, 초기 영역 분할 처리를 행하게 되어 있다.
즉, 초기 영역 분할부(83)는, 우선, 주목 프레임의 이전 배경을 구성하는 각 화소를, 그 화소치에 의해서 클래스 분류한다. 구체적으로는, 예를 들면, 화소치가 RGB(Red Green Blue)로 표현되는 경우, 초기 영역 분할부(83)는, 그의 R, G, B 치를 요소로 하여 구성되는 벡터(이하, 색 벡터라고 한다)가, RGB 공간에 미리 설정된 복수의 소영역 중 어느 하나에 속하는 것인가에 따라서, 화소를 클래스 분류한다. 또한, 초기 영역 분할부(83)는, 프레임 메모리(82)에 기억된, 주목 프레임의 1 프레임 앞의 이전 배경을 구성하는 각 화소도, 동일하게 클래스 분류한다.
또한, 초기 영역 분할부(83)는, 예를 들면, 주목 프레임을, 제 n 프레임으로 했을 때, 그의 제 n 프레임의 이전 배경, 및 주목 프레임의 1 프레임 앞의 프레임인 제 n-1 프레임의 이전 배경을, 시간적 또는 공간적으로 인접하는, 동일 클래스로 클래스 분류된 화소로 이루어지는 영역(이하, 초기 영역이라고 한다)으로 분할한다.
즉, 예를 들면, 현재, 도 18a에 도시하는 바와 같이, 제 n 프레임의 이전 배경을 구성하는 각 화소, 및 제 n-1 프레임의 이전 배경을 구성하는 각 화소가 클래스 분류된 것으로 한다. 여기서, 도 18에 있어서(후술하는 도 19 및 도 20에 있어서도 동일), 화소를 나타내는 사각형 중에 기술되어 있는 c와 숫자의 세트가, 그 화소의 클래스를 나타낸다.
도 18a에 도시하는 경우에 있어서는, 제 n 프레임의 이전 배경, 및 제 n-1 프레임의 이전 배경이, 시간적 또는 공간적으로 인접하는, 동일 클래스에 클래스 분류된 화소로 이루어지는 영역으로 분할됨으로써, 도 18b에 점선으로 둘러싸여 도시하는 바와 같은 초기 영역이 구성된다.
이상과 같이 하여, 초기 영역 분할부(83)에서 얻어지는 초기 영역은, 도 17의 영역 병합부(84)에 공급되게 되어 있다.
영역 병합부(84)는, 초기 영역 분할부(83)로부터의 초기 영역을 병합하는 영역 병합 처리를 행하게 되어 있다.
즉, 영역 병합부(84)는, 오브젝트 정보 메모리(88)로부터, 이미 오브젝트의 추출이 행하여진 제 n-1 프레임에 존재하는 오브젝트에 관한 오브젝트 정보를 판독하고, 이에 의해, 제 n-1 프레임에 존재하는 오브젝트의 위치와 범위를 인식한다. 또한, 영역 병합부(84)는, 제 n-1 프레임에 존재하는 오브젝트를 구성하는 화소를 인식하고, 그 화소를 포함하여 구성되는 초기 영역을 병합한다.
구체적으로는, 예를 들면, 현재, 제 n-l 프레임에 있어서, 도 19a에 굵은 선으로 둘러싸여 도시하는 범위에, 어떤 오브젝트(Obj)가 존재하고 있었던 것으로 하면, 상기 오브젝트(Obj)는, 클래스(c2, c3, c4, c5)로 클래스 분류된 화소로 구성되어 있고, 이들의 화소를 포함하여 구성되는 초기 영역이 병합된다. 따라서, 여기서는, 클래스(c2, c3, c4, c5) 각각의 화소로 이루어지는 초기 영역(이하, 클래스(c#i)의 화소로 이루어지는 초기 영역을, 초기 영역(c#i)으로 기술한다)이, 도 19b에 사선을 붙여 도시하는 바와 같이 병합된다.
또한, 영역 병합부(84)는, 병합된 초기 영역(이하, 병합 영역이라고 한다)과, 그 병합 영역에 인접하는 초기 영역과의 사이의 거리를 계산한다. 여기서, 병합 영역과, 그것에 인접하는 초기 영역(이하, 인접 초기 영역이라고 한다) 사이의 거리로서는, 예를 들면, 2개의 영역(병합 영역과 인접 초기 영역)을 구성하는 화소 각각의 화소치(색)의 평균치 끼리의 거리(RGB 공간에서의 거리)나, 그 2개의 영역의 경계 부근의 화소의 화소치(색)의 연속성 등을 사용할 수 있다.
그리고, 영역 병합부(84)는, 병합 영역과 인접 초기 영역과의 사이의 거리가, 소정의 임계치 미만인 경우에는, 병합 영역에, 그 인접 초기 영역을 병합하고,새로운 병합 영역을 구성한다. 영역 병합부(84)는, 병합 영역에 병합하는 것이 가능한 인접 초기 영역이 없어질 때까지, 상술한 거리를 계산하여, 인접 초기 영역을, 병합 영역에 병합하는 것을 반복한다.
이로써, 예를 들면, 도 19b에 도시한 병합 영역에서는, 도 19c에 도시하는 바와 같은 병합 영역이 구성된다. 여기서, 도 19c에 있어서는, 도 19b에서의 병합 영역에 대하여, 초기 영역(c7 및 c8) 사이의 거리가 가까운 것으로 하여 병합되어 있다. 또한, 초기 영역(c1 및 c6)은, 거리가 먼 것으로 하여 병합되어 있지 않다.
도 19c에 도시한 바와 같이, 병합 영역에 병합하는 것이 가능한 인접 초기 영역이 존재하지 않게 된 후는, 병합 영역부(84)는, 얻어진 병합 영역 중, 제 n 프레임의 이전 배경을 구성하는 화소로 구성되는 부분을, 제 n-l 프레임의 오브젝트(Obj)에 대응하는 오브젝트(이하, 대응 오브젝트라고 한다)로서 추출하고, 제 n-l 프레임의 오브젝트(Obj)에 부착된 라벨과 동일의 라벨을 부착하여, 융합 영역 처리부(85) 및 분리 영역 처리부(86)에 출력한다.
즉, 본 실시예에서는, 각 프레임에 있어서 대응하는 오브젝트에는, 동일한 라벨이 부착되게 되어 있고, 수신 장치(2)는, 상기 라벨에 근거하여, 어떤 프레임의 오브젝트가, 그 프레임에 인접하는 프레임의 어떤 오브젝트에 대응하는 것인가를 인식하게 되어 있다.
또한, 제 n-1 프레임의 오브젝트(Obj)에 부착된 라벨은, 오브젝트 정보에 포함하여, 오브젝트 정보 메모리(88)에 기억되도록 되어 있고, 영역 병합부(84)는, 오브젝트 정보 메모리(88)를 참조함으로써, 제 n-1 프레임의 오브젝트(Obj)에 부착된 라벨을 인식하게 되어 있다.
또한, 병합 영역부(84)는, 제 n-1 프레임에 존재하는 모든 오브젝트에 근거하여, 상술한 바와 같이 하여, 그의 제 n 프레임의 각 오브젝트에 대응하는 제 n 프레임의 오브젝트를 추출한 후에, 제 n 프레임에 남아 있는 각 초기 영역, 또는 인접하는 초기 영역 중의 거리가 가까운 것끼리를 병합한 영역을 오브젝트로서 추출하고, 새로운 라벨(제 n-1 프레임의 오브젝트에 부착되어 있지 않은 라벨)을 부착하여, 융합 영역 처리부(85) 및 분리 영역 처리부(86)에 출력한다.
융합 영역 처리부(85) 또는 분리 영역 처리부(86)는, 영역 병합부(84)로부터의 오브젝트에 대하여, 오브젝트 끼리가 융합한 경우에 대처하기 위한 융합 영역 처리, 또는 융합한 오브젝트 끼리가 분리한 경우에 대처하기 위한 분리 영역 처리를 행하게 되어 있다.
즉, 예를 들면, 현재, 제 n-1 프레임, 제 n 프레임, 제 n+1 프레임의 연속하는 3 프레임을 고려한 경우에, 도 20에 도시하는 바와 같이, 제 n-1 프레임에 있어서 2개 존재하고 있던 오브젝트(A 및 B)가, 서로, 다른 방향으로 이동하고, 제 n 프레임에 있어서는, 오브젝트(A 및 B)가 겹치고, 말하자면, 1개의 오브젝트에 융합하는 것이 있다. 또한, 이 경우, 1개의 오브젝트에 융합하여 버린 오브젝트(A 및 B)가, 동일 이동을 계속하고, 제 n+1 프레임에 있어서는, 다시, 2개의 오브젝트(A 및 B)로 분리하는 것이 있다.
이 경우, 영역 병합부(84)에 있어서의 영역 병합 처리에 의하면, 제 n 프레임의 1개에 융합한 오브젝트는, 제 n-1 프레임의 오브젝트(A 와 B)의 양쪽에 대응부가되는 것으로 되며, 또한, 제 n+1 프레임의 2개로 분리한 오브젝트(A 및 B)는, 어느것이나, 제 n 프레임의 1개에 융합한 오브젝트에 대응 부가되어지게 된다. 본 실시예에서는, 어떤 프레임의 1의 오브젝트는, 그 1 프레임 이전의 1의 오브젝트에 대응 부가되는 것을 전제로 하고 있기 때문에, 상술한 바와 같이, 2개의 오브젝트가 1개의 오브젝트에 대응 부가되거나, 반대로, 1개의 오브젝트가 2개의 오브젝트에 대응 부가되는 것은 바람직하지 않다.
그래서, 융합 영역 처리부(85)는, 제 n 프레임의 1개에 융합한 오브젝트를, 제 n-1 프레임의 오브젝트(A 또는 B) 중의 어느 한쪽에 대응 부가되는 융합 영역 처리를 행하고, 분리 영역 처리부(86)는, 제 n+1 프레임의 2개로 분리한 오브젝트 (A 또는 B) 중의 어느 한쪽을, 제 n 프레임의 1개에 융합한 오브젝트에 대응 부가되는 분리 영역 처리를 행하게 되어 있다.
즉, 융합 영역 처리부(85)에서는, 제 n 프레임의 1개에 융합한 오브젝트에 대하여, 제 n-1 프레임의 오브젝트(A 또는 B) 중의 어느 한쪽에 부착되어 있는 라벨과 동일의 라벨이 부착된다. 또한, 분리 영역 처리부(86)에서는, 제 n+1 프레임의 2개로 분리한 오브젝트(A 또는 B) 중의 어느 한쪽에 대하여, 제 n 프레임의 1개에 융합한 오브젝트에 부착되어 있는 라벨과 동일한 라벨이 부착됨과 동시에, 다른쪽에 대하여, 새로운 라벨이 부착된다.
융합 영역 처리부(85)에 있어서 융합 영역 처리가 실시된 영역 병합부(84)에 의한 오브젝트 추출 결과와, 분리 영역 처리부(86)에 하여, 분리 영역 처리가 실시된 영역 병합부(84)에 의한 오브젝트 추출 결과는, 모두, 신규 영역 처리부(87)에공급되게 되어 있다.
신규 영역 처리부(87)는, 융합 영역 처리부(85) 및 분리 영역 처리부(86)로부터의 오브젝트 추출 결과 중에, 새로운 오브젝트가 존재하는 경우에, 그 새로운 오브젝트에 대처하는 신규 영역 처리를 행하게 되어 있다.
즉, 융합 영역 처리부(85) 및 분리 영역 처리부(86)가 출력하는 오브젝트 추출 결과에 포함되는 오브젝트 중에서, 새로운 라벨이 부착되어 있는 것으로는, 첫번째로, 오브젝트의 움직임이 빠르기 때문에, 주목 프레임과, 그 1 프레임 이전에 있어서, 그 오브젝트 끼리의 공간적인 겹침이 없고, 영역 병합부(84)에서, 1 프레임 앞의 어떤 오브젝트에 대응하는 오브젝트로서 추출되지 않았던 것, 두번째로, 1 프레임 앞의 대응하는 오브젝트가, 다른 오브젝트와 융합하고, 분리 영역 처리부(86)에서, 그 융합한 오브젝트에 대응 부가되지 않았던 것, 세번째로, 주목 프레임에 있어서, 새로운 물체가 나타나고, 그 새로운 물체에 대응하는 것의 3 종류가 포함된다.
이들의 3종류의 오브젝트 중, 진짜로, 새로운 라벨을 부착해야 할 오브젝트는, 제 3 의 종류인 것 만이기 때문에, 신규 영역 처리부(87)는, 제 1 및 제 2 종류의 오브젝트에 대해서는, 그 프레임보다도 앞의 프레임에 존재하는 오브젝트 중에서, 대응하는 오브젝트를 검출하고, 그 오브젝트에 부착되어 있는 라벨과 동일의 라벨을 다시 발행한다.
구체적으로는, 신규 영역 처리부(87)는, 오브젝트 정보 메모리(88)를 참조함으로써, 주목 프레임의 과거 수 프레임에 존재하는 오브젝트를 인식하고, 그 각 오브젝트와, 주목 프레임에 있어서 주목하고 있는, 새로운 라벨이 부착된 주목 오브젝트와의 사이의 거리를 구한다. 여기서, 오브젝트 끼리의 거리로서는, 예를 들면, 오브젝트의 특징량 끼리의 거리를 사용할 수 있어, 오브젝트의 특징량으로서는, 예를 들면, 오브젝트의 면적이나, 오브젝트의 윤곽선을 구성하는 각 화소에 있어서의, 그 윤곽선의 접선방향의 히스토그램(예를 들면, 상, 하, 좌, 우, 좌측상부, 좌측하부, 우측상부, 우측하부의 8방향의 히스토그램), 오브젝트의 움직임 벡터 등을 사용할 수 있다.
그리고, 신규 영역 처리부(87)는, 주목 오브젝트와의 사이의 거리의 최소치를 구하고, 그 최소치가 소정의 임계치 미만인 경우에는, 그 주목 오브젝트와의 사이의 거리가 최소인 오브젝트가, 주목 오브젝트에 대응하는 오브젝트인 것으로 하여, 그 거리를 최소로 하는 오브젝트에 부착되어 있는 라벨과 동일의 라벨을, 주목 오브젝트 다시 발행하여 출력한다. 또한, 신규 영역 처리부(87)는, 주목 오브젝트와의 사이의 거리의 최소치이 소정의 임계치 미만이 아닌 경우, 즉, 주목 오브젝트와의 사이의 거리가 작은 오브젝트가, 과거의 프레임에 존재하지 않는 경우에는, 주목 오브젝트는, 주목 프레임에 있어서 새롭게 생긴 오브젝트인 것으로 하여, 새로운 라벨을 부착한 채로 출력한다.
신규 영역 처리부(87)의 출력은, 부가 정보 산출부(15; 도 3) 및 송신 처리부(16; 도 3)에 공급되는 외에, 오브젝트 정보 메모리(88)에 공급되게 되어 있다. 오브젝트 정보 메모리(88)는, 신규 영역 처리부(87)가 출력하는 오브젝트(오브젝트의 위치나 크기(윤곽), 오브젝트를 구성하는 화소의 화소치 등)를, 그것에 부착된라벨과 함께, 오브젝트 정보로서 일시 기억하도록 되어 있다.
다음에, 도 21의 플로 챠트를 참조하여, 도 17의 오브젝트 추출부(14)가 행하는, 화상으로부터 오브젝트를 추출하는 오브젝트 추출 처리에 관해서 설명한다.
감산부(81)에는, 화상 입력부(11)가 출력하는 화상과, 배경 추출부(13)가 출력하는, 그 화상의 배경이 공급되고, 스텝(S41)에서는, 감산기(81)에 있어서, 화상 입력부(11)로부터의 화상에서, 배경 추출부(13)로부터의 배경을 감산함으로써, 오브젝트로 이루어지는 이전 배경이 구해진다. 연산부(81)에서 구해진 이전 배경은, 프레임 메모리(82) 및 초기 영역 분할부(83)에 공급되고, 프레임 메모리(82)에서는, 감산부(81)로부터의 이전 배경이 기억된다.
한편, 초기 영역 분할부(83)에서는, 스텝(S42)에 있어서, 프레임 메모리(82)에 기억된 주목 프레임의 1 프레임 앞의 이전 배경을 참조함으로써, 감산부(81)로부터의 주목 프레임의 이전 배경을 대상으로, 도 18에서 설명한 바와 같은 초기 영역 분할 처리가 행해지고, 이로써 얻어지는 초기 영역이, 영역 병합부(84)에 공급된다. 영역 병합부(84)에서는, 스텝(S43)에 있어서, 오브젝트 정보 메모리(88)에 기억된 주목 프레임의 1 프레임 앞의 오브젝트 정보를 참조함으로써, 초기 영역 분할부(83)로부터의 초기 영역을 대상으로, 도 19에서 설명한 바와 같은 영역 병합 처리가 행해지고, 이로써, 주목 프레임에 존재하는 오브젝트가 추출된다.
영역 병합부(84)에서 추출된 오브젝트는, 융합 영역 처리부(85) 및 분리 영역 처리부(86)에 공급되고, 융합 영역 처리부(85) 또는 분리 영역 처리부(86)에서는, 스텝(S44)에 있어서, 각각 도 20을 참조하여 설명한 바와 같은 융합 영역 처리또는 분리 영역 처리가 각각 행해지고, 그 처리 결과가, 신규 영역 처리부(87)에 출력된다.
신규 영역 처리부(87)에서는, 스텝(S45)에 있어서, 융합 영역 처리부(85) 및 분리 영역 처리부(86)의 출력을 대상으로, 상술한 바와 같은 신규 영역 처리가 실시되고, 이로써, 주목 프레임으로부터의, 최종적인 오브젝트의 추출 결과가 출력된다. 상기 오브젝트의 추출 결과는, 부가 정보 산출부(15; 도 3) 및 송신 처리부(16; 도 3)에 공급됨과 동시에, 오브젝트 정보 메모리(88)에 공급되어 기억된다.
그리고, 스텝(S20)으로 되돌아가서, 다음 프레임을, 새롭게 주목 프레임으로 하고, 이하, 동일한 처리가 반복된다.
다음에, 도 22의 플로 챠트를 참조하여, 도 21의 스텝(S43)에 있어서, 영역 병합부(84)에서 행해지는 영역 병합 처리의 상세에 관해서 설명한다.
영역 병합 처리에서는, 우선 최초에, 스텝(S51)에 있어서, 오브젝트 정보 메모리(88)로부터, 주목 프레임의 1 프레임 앞의 프레임(이전 프레임)에 존재하는 오브젝트에 관한 오브젝트 정보를 참조함으로써, 그 이전 프레임의 어떤 오브젝트가 주목 오브젝트가 된다. 또한, 스텝(S51)에서는, 그 주목 오브젝트를 사용하여, 도 19b에 도시한 바와 같이, 초기 영역 분할부(83)로부터의 초기 영역이 병합되고, 이로써, 병합 영역이 구성된다.
그리고, 스텝(S52)으로 진행하고, 병합 영역에 인접하는 초기 영역(인접 초기 영역)이 탐색되고, 그 인접 초기 영역 중의 1개의 주목 초기 영역이 되어,스텝(S53)으로 진행한다. 스텝(S53)에서는, 병합 영역과 주목 초기 영역과의 사이의 거리가 계산되고, 스텝(S54)으로 진행하여, 그 영역 끼리의 거리가, 소정의 임계치 미만인지의 여부가 판정된다.
스텝(54)에 있어서, 병합 영역과 주목 초기 영역과의 사이의 거리가 소정의 임계치 미만인 것으로 판정된 경우, 스텝(S55)으로 진행하고, 병합 영역에, 주목 초기 영역이 병합되고, 이로써, 새로운 병합 영역이 구성되어, 스텝(S56)으로 진행한다.
한편, 스텝(S54)에 있어서, 병합 영역과 주목 초기 영역과의 사이의 거리가 소정의 임계치 미만이 아닌 것으로 판정된 경우, 스텝(S55)을 스킵하여, 즉, 주목 초기 영역을 병합 영역에 병합하지 않고, 스텝(S56)으로 진행하고, 병합 영역에 인접하는 모든 초기 영역의 탐색이 종료하고 있는지 어떤지가 판정된다. 스텝(S56)에 있어서, 병합 영역에 인접하는 모든 초기 영역의 탐색이 종료하지 않고 있다고 판정된 경우, 스텝(S52)으로 되돌아가서, 그 탐색되어 있지 않은 인접 초기 영역이 탐색되고, 이하, 동일한 처리가 반복된다.
또한, 스텝(S56)에 있어서, 병합 영역에 인접하는 모든 초기 영역의 탐색이 종료하고 있다고 판정된 경우, 스텝(S57)으로 진행하고, 이전 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 했는지 어떤지가 판정된다. 스텝(S57)에 있어서, 이전 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 하고 있지 않다고 판정된 경우, 스텝(S51)으로 되돌아가고, 이전 프레임에 존재하는 오브젝트 중, 아직 주목 오브젝트로 하고 있지 않은 것의 1개를, 새롭게 주목 오브젝트로서, 이하,동일한 처리를 반복한다.
한편, 스텝(S57)에 있어서, 이전 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 하였다고 판정된 경우, 리턴한다.
다음에, 도 23의 플로 챠트를 참조하여, 도 21의 스텝(S44)에 있어서, 융합 영역 처리부(85)에서 행해지는 융합 영역 처리의 상세에 관해서 설명한다.
우선 최초에, 스텝(S61)에 있어서, 융합 영역 처리부(85)는 현재 처리의 대상으로 되어 있는 프레임을 주목 프레임으로 하고, 오브젝트 정보 메모리(88)를 참조함으로써, 주목 프레임에 있어서 주목하고 있는 주목 오브젝트와 공간적인 겹침을 갖는, 1 프레임 앞의 프레임(이전 프레임)에 존재하는 오브젝트의 수(주목 프레임에 대응하는 이전 프레임의 오브젝트의 수)를 인식하고, 그 수를, 변수(N)에 셋한다.
그리고, 스텝(S62)으로 진행하고, 변수(N)가 2 이상인지의 여부가 판정되고, 2 이상이 아닌 것으로 판정된 경우, 즉, 주목 오브젝트와 공간적인 겹침을 갖는 오브젝트가, 이전 프레임에 없거나, 또는 1개 밖에 없는 경우, 스텝(S63 및 S64)을 스킵하여, 스텝(S65)으로 진행한다.
또한, 스텝(S62)에 있어서, 변수(N)가 2 이상인 것으로 판정된 경우, 즉, 주목 오브젝트와 공간적인 겹침을 갖는 오브젝트가, 이전 프레임에 2 이상 존재하는 경우, 스텝(S63)으로 진행하고, 주목 오브젝트와, 그것과 공간적인 겹침을 갖는, 이전 프레임에 2 이상 존재하는 오브젝트 각각과의 사이의 거리가 계산되어, 스텝(S64)으로 진행한다.
스텝(S64)에서는, 스텝(S63)에서 주목 오브젝트와의 거리가 계산된 이전 프레임의 오브젝트 중, 주목 오브젝트와의 사이의 거리를 최소로 하는 것이 선택되고, 그 선택된 오브젝트에 부착되어 있는 라벨과 동일의 라벨이, 주목 오브젝트에 다시 발행한다.
그리고, 스텝(S65)으로 진행하여, 주목 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 했는지의 여부가 판정되고, 아직 하고 있지 않다고 판정된 경우, 그, 아직 주목 오브젝트로 되어 있지 않은 오브젝트 중의 1개가, 새롭게 주목 오브젝트가 되고, 스텝(S61)으로 되돌아가서, 이하, 동일한 처리가 반복된다.
또한, 스텝(S65)에 있어서, 주목 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 하였다고 판정된 경우, 리턴한다.
다음에, 도 24의 플로 챠트를 참조하여, 도 21의 스텝(S44)에 있어서, 분리 영역 처리부(86)에서 행해지는 분리 영역 처리의 상세에 관해서 설명한다.
분리 영역 처리부(86)는, 오브젝트 정보 메모리(88)를 참조함으로써, 현재 처리의 대상으로 되어 있는 주목 프레임의 1 프레임 앞의 프레임(이전 프레임)에 존재하는 오브젝트 중의 1개를 주목 오브젝트로 한다. 또한, 분리 영역 처리부(86)는, 스텝(S71)에 있어서, 그 주목 오브젝트에 대응하고 있는, 주목 프레임의 오브젝트(대응 오브젝트)의 수를 인식하고, 그 수를, 변수(5N)에 셋한다.
그리고, 스텝(S72)으로 진행하여, 변수(N)가 2 이상인지의 여부가 판정되고, 2 이상이 아닌 것으로 판정된 경우, 즉, 주목 오브젝트와 공간적인 겹침을 갖는 오브젝트가, 주목 프레임에 없거나, 1개 밖에 없는 경우, 스텝(S73 내지 S75)을 스킵하여, 스텝(S76)으로 진행한다.
또한, 스텝(S72)에 있어서, 변수(N)가 2 이상인 것으로 판정된 경우, 즉, 주목 오브젝트와 공간적인 겹침을 갖는 오브젝트(주목 오브젝트에 대응하는 오브젝트)가, 주목 프레임에 2 이상 존재하는 경우, 스텝(S73)으로 진행하고, 주목 오브젝트에 대응하는, 주목 프레임에 2 이상 존재하는 오브젝트 각각과의 사이의 거리가 계산되고, 스텝(S74)으로 진행한다.
스텝(S74)에서는, 스텝(S73)에서 주목 오브젝트와의 거리가 계산된 주목 프레임의 오브젝트 중, 주목 오브젝트와의 사이의 거리를 최소로 하는 것이 선택되고, 그 선택된 오브젝트의 라벨이, 주목 오브젝트의 라벨과 동일의 라벨로 다시 발행된다.
그리고, 스텝(S75)으로 진행하여, 스텝(S74)에서 선택되지 않았던, 주목 프레임의 오브젝트(주목 오브젝트에 대응하는, 주목 프레임의 오브젝트 중, 주목 오브젝트와의 사이의 거리를 가장 작게 하는 오브젝트 이외의 오브젝트)에 대하여, 새로운 라벨이 부착되고, 스텝(S76)으로 진행한다.
스텝(S76)에서는, 이전 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 했는지의 여부가 판정되고, 아직 하지 않고 있다고 판정된 경우, 그의, 아직 주목 오브젝트로 되어 있지 않은 오브젝트 중의 1개가, 새롭게 주목 오브젝트가 되고, 스텝(S71)으로 되돌아가서, 이하, 동일한 처리가 반복된다.
또한, 스텝(S76)에 있어서, 이전 프레임에 존재하는 모든 오브젝트를 주목 오브젝트로 하였다고 판정된 경우, 리턴한다.
다음에, 상술한 경우에 있어서는, 유저가 제어 정보 입력부(24)를 조작함으로써, 주목점을 지정하였을 때에는, 송신 장치(1)에 있어서, 화상의 시간 해상도를 희생으로 하여, 주목점을 포함하는 우선 범위의 화상의 공간 해상도를 향상시키도록, 데이터의 송신 제어를 행하도록 하였지만, 송신 장치(1)에서는, 기타, 예를 들면, 유저의 기호를 학습하고, 그 학습 결과에 근거하여, 유저가 높은 공간 해상도에서의 표시를 희망하고 있다고 생각되는 오브젝트 등을 검출하여, 그 오브젝트가 높은 공간 해상도로 표시되도록, 데이터의 송신 제어를 행하도록 할 수 있다.
도 25는, 그와 같은 송신 제어를 행하는 경우의, 도 7의 제어부(35)의 구성예를 도시하고 있다.
우선 범위 설정부(91)는, 수신 장치(2)로부터 송신되어 오는 제어 신호를 수신하고, 상술한 바와 같이 하여 우선 범위를 설정하게 되어 있고, 설정된 우선 범위는, 선택 제어부(92) 및 특징량 추출부(93)에 공급되게 되어 있다.
선택 제어부(92)는, MUX(32; 도 7)에 의한 배경, 오브젝트, 부가 정보의 데이터의 선택을 제어하게 되어 있다. 즉, 선택 제어부(92)는, 우선 범위 설정부(91)로부터, 우선 범위를 수신한 경우, 그 우선 범위 내의 화상의 공간 해상도를, 화상의 시간 해상도를 희생으로 하여 향상시키도록, MUX(32; 도 7)를 제어한다. 또한, 선택 제어부(92)는, 오브젝트 검출부(95)로부터 라벨을 수신한 경우, 그 라벨이 부착된 오브젝트의 공간 해상도를, 화상의 시간 해상도를 희생으로 하여 향상시키도록, MUX(32; 도 7)를 제어한다.
또한, 선택 제어부(92)에는, 데이터량 계산부(34; 도 7)로부터, MUX(32)가출력하는 다중화 데이터의 데이터 레이트가 공급되도록 되어 있고, 선택 제어부(92)는, 그 데이터 레이트가, 전송로(3)의 전송율을 초과하지 않도록, MUX(32)에 의한 데이터의 선택을 제어하게 되어 있다.
특징량 추출부(93)에는, 이전 처리부(12; 도 3)가 출력하는 배경, 오브젝트, 및 부가 정보와, 우선 범위 설정부(91)가 출력하는 우선 범위가 공급되게 되어 있고, 특징량 추출부(93)는, 우선 범위 설정부(91)로부터의 우선 범위 내에 있는 화상의 특징량을 추출하도록 되어 있다. 즉, 특징량 추출부(93)는, 예를 들면, 우선 범위 내에 존재하는 오브젝트에 관해서, 유저가 주목하는 경향을 반영하도록 하는 특징량을 추출한다.
구체적으로는, 예를 들면, 도 26에 도시하는 바와 같이, 어떤 특정한 사람의 오브젝트에 대해서는, 그 오브젝트가 사람인 것, 움직임이 등속인 것, 오브젝트의 안쪽 길이 방향의 위치(심도)가 앞인 것, 오브젝트의 화면상의 위치가 한가운데(중앙))인 것, 오브젝트의 속도가 있는 것(오브젝트가 움직이고 있는 부분인 것), 오브젝트를 구성하는 영역에, 눈, 코, 입이 포함되는 것(오브젝트의 영역이, 눈, 코, 입을 포함하여 구성되는 것), 오브젝트의 모양이 줄무늬 모양인 것(오브젝트가 줄무늬 모양의 부분의 것), 오브젝트의 색이 붉은 것(오브젝트가 붉은 부분의 것) 등을 나타내는 특징량이 추출된다.
특징량 추출부(93)는, 또한, 추출한 오브젝트의 각 특징량을 요소로 하여 구성되는 벡터(특징량 벡터)를 구하고, 히스토그램 기억부(94)에 기억되어 있는 히스토그램의, 구한 특징량 벡터의 회수를 1만큼 인클리먼트한다.
히스토그램 기억부(94)는, 특징량 추출부(93)에서 구해지는 특징량 벡터의 히스토그램을, 유저의 기호의 학습 결과로서 기억하도록 되어 있다.
오브젝트 검출부(95)는, 이전 처리부(12; 도 3)로부터 공급되는 오브젝트 중에서, 히스토그램 기억부(94)에 기억된 히스토그램의 최고 빈도의 특징량 벡터와 같은 특징량 벡터가 구해지는 것을 검출하게 되어 있다. 즉, 오브젝트 검출부(95)는, 이전 처리부(12; 도 3)로부터 공급되는 오브젝트에 대해서, 특징량 추출부(93)에 있어서의 경우와 동일하게 하여, 특징량 벡터를 구한다. 또한, 오브젝트 검출부(95)는, 히스토그램 기억부(94)에 기억된 히스토그램을 참조하여, 그 최고 빈도의 특징량 벡터를 중심으로 하는, 특징량 벡터 공간의 소정의 범위 내에, 이전 처리부(12; 도 3)로부터의 오브젝트의 특징량 벡터가 존재하는지의 여부를 판정하고, 존재하는 경우에는, 그 오브젝트는, 유저가 주목하는 경향에 있는 것으로서, 그 오브젝트의 라벨을, 선택 제어부(92)에 공급한다.
다음에, 도 27의 플로 챠트를 참조하여, 도 25의 제어부(35)에 의한 MUX(32; 도 7)의 제어 처리에 관해서 설명한다.
우선 최초에, 스텝(S81)에 있어서, 우선 범위 설정부(91)는, 수신 장치(2)로부터 제어 신호가 송신되어 왔는지의 여부를 판정한다. 스텝(S81)에 있어서, 수신 장치(2)로부터 제어 신호가 송신되어 왔다고 판정된 경우, 스텝(S82)으로 진행하고, 우선 범위 설정부(91)는, 그 제어 신호에 근거하여, 상술한 바와 같이 우선 범위를 설정하고, 선택 제어부(92) 및 특징량 추출부(93)에 공급한다.
선택 제어부(92)는, 스텝(S83)에 있어서, 우선 범위 설정부(91)로부터의 우선 범위 내의 화상(오브젝트 및 배경)의 공간 해상도를, 화상의 시간 해상도를 희생으로 하여 향상시키도록, MUX(32; 도 7)를 제어한다.
또한, 특징량 추출부(93)는, 스텝(S84)에 있어서, 우선 범위 설정부(91)로부터의 우선 범위 내에 있는 오브젝트의 특징량을 추출하고, 그 추출한 오브젝트의 각 특징량을 요소로 하여 구성되는 특징량 벡터를 구한다. 또한, 특징량 추출부(93)는, 스텝(S85)에 있어서, 히스토그램 기억부(94)에 기억되어 있는 히스토그램의, 구한 특징량 벡터의 회수를 1만큼 인클리먼트하고, 스텝(S81)으로 되돌아간다.
이상의 스텝(S81 내지 S85)의 처리가 반복됨으로써, 히스토그램 기억부(94)에는, 유저가 주목하는 경향에 있는 오브젝트의 특징 벡터의 히스토그램이 형성되어 간다. 즉, 유저의 기호가 학습되어 간다.
또한, 특징량 추출부(93)에는, 구한 특징량 벡터를 벡터 양자화시켜, 그 벡터 양자화 결과에 대응하는 코드의 회수를 인클리먼트시킬 수 있다. 이 경우, 히스토그램 기억부(94)에는, 코드의 히스토그램이 기억된다.
한편, 스텝(S81)에 있어서, 수신 장치(2)로부터 제어 신호가 송신되어 오지 않는다고 판정된 경우, 스텝(S86)으로 진행하고, 오브젝트 검출부(95)는, 이전 처리부(12; 도 3)로부터 공급되는 오브젝트에 관해서, 특징량 추출부(93)에 있어서의 경우와 동일하게 하여, 특징량 벡터를 구한다. 또한, 오브젝트 검출부(95)는, 스텝(S587)에 있어서, 히스토그램 기억부(94)에 기억된 히스토그램을 참조하여, 그 최고 빈도(최고 빈도치)의 특징량 벡터를 중심으로 하는, 특징량 벡터 공간의 소정의 범위 내에, 이전 처리부(12; 도 3)로부터의 오브젝트의 특징량 벡터가 존재하는 지 어떤지를 판정한다. 즉, 스텝(S87)에서는, 최고 빈도의 특징량 벡터와, 이전 처리부(12)로부터의 오브젝트의 특징량 벡터의, 특징 벡터 공간에서의 거리가 소정치 이내인지의 여부가 판정된다.
여기서, 상술한 바와 같이, 히스토그램 기억부(94)에, 벡터 양자화 결과로서의 코드의 히스토그램이 기억되는 경우에는, 오브젝트 검출부(95)는, 구한 특징량 벡터를 양자화하고, 스텝(S87)에서는, 그 벡터 양자화 결과로서의 코드가, 히스토그램 기억부(94)에 기억된 히스토그램의 최고 빈도의 코드와 일치하는 지 어떤지를 판정한다.
스텝(S87)에 있어서, 최고 빈도의 특징량 벡터와, 이전 처리부(12)로부터의 오브젝트의 특징량 벡터와의 거리가 소정치 이내가 아닌 것으로 판정된 경우, 즉, 이전 처리부(12)로부터의 오브젝트가, 과거의 경향으로 하여, 유저가 주목할 확률이 낮은 것인 경우, 스텝(S88)으로 진행하고, 선택 제어부(92)는, 수신 장치(2)에 있어서 통상의 시간 해상도 및 공간 해상도로 화상이 표시되도록, MUX(32; 도 7)를 제어하고, 스텝(S81)으로 되돌아간다.
또한, 스텝(S87)에 있어서, 최고 빈도의 특징량 벡터와, 이전 처리부(12)로부터의 오브젝트의 특징량 벡터와의 거리가 소정치 이내인 것으로 판정된 경우, 즉, 이전 처리부(12)로부터의 오브젝트가, 과거의 경향으로 하여, 유저가 주목할 확률이 높은 것인 경우, 오브젝트 검출부(95)는, 이전 처리부(12)로부터의 오브젝트의 라벨을, 선택 제어부(92)에 출력하고, 스텝(S89)으로 진행한다.
선택 제어부(92)는, 스텝(S89)에 있어서, 오브젝트 검출부(95)로부터의 라벨이 부착된 오브젝트의 공간 해상도를, 화상의 시간 해상도를 희생으로 하여 향상시키도록, MUX(32; 도 7)를 제어하고, 스텝(S81)으로 되돌아간다.
따라서, 이 경우, 수신 장치(2)에서는, 시간 해상도를 희생으로 하여, 오브젝트 검출부(95)가 출력한 라벨이 부착된 오브젝트가, 높은 공간 해상도로 표시된다. 그리고, 그 후도, 그 오브젝트는, 높은 공간 해상도로 계속 표시된다.
그 결과, 수신 장치(2)에서는, 유저가 제어 정보 입력부(24)를 조작하지 않더라도, 유저가 주목하는 경향이 있는 오브젝트가 표시되는 경우에는, 그 오브젝트는, 말하자면 자동적으로, 높은 공간 해상도로 표시되고, 그 후도, 그 높은 공간 해상도로 계속 표시된다(단지, 여기서는, 상술한 바와 같이, 화상의 시간 해상도는 열화된다).
또한, 히스토그램 기억부(94)에 기억된, 유저의 기호의 학습 결과로서의 특징량 벡터의 히스토그램은, 예를 들면, 정기적 또는 부정기적으로, 혹은 수신 장치(2)의 유저로부터의 요구에 대응하고, 리셋하는 것이 가능하다.
또한, 상술한 경우에서는, 히스토그램의 최고 빈도의 특징량 벡터에 일치 또는 유사하는 특징량 벡터를 갖는 오브젝트의 공간 해상도를 향상시키도록 하였지만, 그밖에, 예를 들면, 히스토그램의 소정 빈도(회수) 이상의 특징량 벡터에 일치 또는 유사하는 특징량 벡터를 갖는 오브젝트모든 공간 해상도를 향상시키는 것도 가능하다.
그런데, 우선 범위는, 주목점을 중심으로 하는 소정의 범위(상술한 경우에있어서는, 직사각형 모양의 범위)이지만, 이 우선 범위와 같은, 주목점을 포함하는, 어떤 범위의 화상의 영역은, 유저가 흥미를 가지고 특별히 상세히 보고 싶은 화상 영역(이하, 흥미 대상 영역이라고 한다)이라고 말 할 수 있다.
한편, 수신 장치(2)에서 표시되는 동화상에는, 움직임이 있는 화상 영역(이하, 움직임 영역이라고 한다)과, 움직임이 없는 정지한 화상 영역(이하, 정지 영역이라고 한다)이 존재한다.
흥미 대상 영역의 공간 해상도를 높이기 위해서는, 화상 중의 움직임 영역 및 정지 영역 중 어느 하나에 있어서도, 유저가 주목하는 흥미 대상 영역을 인식(특정)할 필요가 있고, 또한, 유저가 주목하고 있는 흥미 대상 영역을 특정할 수 있는 경우에는, 반대로, 유저가 주목하고 있지 않은 화상 영역(예를 들면, 배경 등)을 알 수 있다.
또한, 어떤 시점에 있어서, 유저가 주목하고 있는 흥미 대상 영역을 특정할 수 있더라도, 그 후, 유저의 흥미 대상이 변화하는 것이 있기 때문에, 그와 같이, 유저의 주목하는 화상 영역이 다른 화상 영역으로 옮긴 경우에는, 그 화상 영역을, 새롭게, 흥미 대상 영역으로서 인식할 필요가 있다.
또한, 유저의 흥미 대상으로 되어 있는 흥미 대상 영역은, 화상 중에 하나만으로는 한정하지 않고, 복수 존재하는 경우가 있을 수 있지만, 이 경우, 그 복수의 흥미 대상 영역을, 각각 분류하여 인식할 필요가 있다.
그래서, 도 28은, 도 1의 송신 장치(1) 및 수신 장치(2)로서 휴대 단말을 사용한 경우의, 도 1의 화상 전송 시스템의 제 2 구성 예를 도시하고 있다. 또한,도면 중, 도 2에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부가하고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 28의 화상 전송 시스템은, 기본적으로, 도 2에 있어서의 경우와 동일하게 구성되어 있다.
단지, 도 2의 실시예에서는, 수신 장치(2)로부터 송신 장치(1)에 대하여, 유저가 주목하고 있는 주목점의 좌표 외에, 공간 해상도 및 시간 해상도 그 자체 등의, 공간 해상도 및 시간 해상도를 제어하기 위한 모든 정보가, 제어 정보로서 송신될 수 있게 되어 있었지만, 도 28의 실시예에서는, 후술하는 바와 같이, 유저가, 수신 장치(2)의 키부(213)를 조작(클릭)함으로써 지정하는, 표시부(2-2)에 표시된 화상 상의 주목점의 정보(이하, 클릭 데이터라고 한다)가, 제어 정보로서 송신되게 되어 있다.
그리고, 송신 장치(1)는, 수신 장치(2)로부터 클릭 데이터를 수신하면, 그 클릭 데이터에 근거하여, 수신 장치(2)에 있어서 표시되어지게 되는 화상(송신 장치(1)의 비디오 카메라부(1-1)로 촬영된 화상) 중에서 수신 장치(2)의 유저가 주목하는 화상 영역(흥미 대상 영역)을 특정하고, 그 특정한 화상 영역의 공간 해상도 및 시간 해상도가 소정의 조건을 만족하면서 변경되도록, 수신 장치(2)에 송신하는 화상 데이터의 정보량을 제어한다.
다음에, 도 29는, 도 28의 송신 장치(1)의 구성예를 도시하고 있다.
또한, 도면 중, 도 3에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부가하고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 29의 송신 장치(1)는, 배경 추출부(13), 오브젝트 추출부(14), 또는 송신 처리부(16)를대신하여, 배경 추출부(1013), 오브젝트 추출부(1014), 또는 송신 처리부(1016)가, 각각 설치되어 있음과 동시에, 수신 장치(2)로부터 송신되어 오는 클릭 데이터가, 송신 처리부(16)에 대응하는 송신 처리부(1016) 뿐만 아니라, 이전 처리부(12)에도 공급되게 되어 있는 외에는, 기본적으로, 도 3의 경우와 동일하게 구성되어 있다. 또한, 도 29의 송신 장치(1)는, 배경 추출부(1013)의 출력이, 오브젝트 추출부(1014)에 공급되지 않은 점에서, 배경 추출부(13)의 출력이, 오브젝트 추출부(14)에 공급되는 도 3의 송신 장치(1)와 다르게 되어 있다. 또한, 도 29의 송신 장치(1)는, 오브젝트 추출부(1014)의 출력이, 배경 추출부(1013)에 공급되는 점에서, 오브젝트 추출부(14)의 출력이, 배경 추출부(13)에 공급되지 않는 도 3의 송신 장치(1)와 다르게 되어 있다.
이전 처리부(12)에 공급되는 클릭 데이터는, 오브젝트 추출부(1014)에 주어지고, 오브젝트 추출부(1014)는, 그 클릭 데이터에 근거하여, 화상 입력부(11)에서 촬영된 화상 중에서, 수신 장치(2)의 유저가 주목하고 있는 화상 영역(흥미 대상 영역)을 추출(특정)하고, 그 추출(특정)한 흥미 대상 영역에 대응하는 화상 데이터를, 송신 처리부(1016)에 공급한다. 또한, 화상 입력부(11)에서 촬영된 화상 중에, 수신 장치(2)의 유저가 주목하는 흥미 대상 영역이 복수 존재하는 경우, 오브젝트 추출부(1014)는, 그들 복수의 흥미 대상 영역의 화상 데이터를, 송신 처리부(1016)에 공급한다. 또한, 오브젝트 추출부(1014)에서 추출된 흥미 대상 영역의 화상 데이터는, 부가 정보 산출부(15)에도 공급된다.
여기서, 유저가 주목하는 흥미 대상 영역으로서는, 예를 들면, 물체 등의 오브젝트를 들 수 있다. 이하, 오브젝트 추출부(1014)에 있어서 흥미 대상 영역의 예로서 오브젝트(이하, 오브젝트 화상이라고 한다)를 추출하는 경우를 예로 들어 설명하기로 한다. 또한, 흥미 대상 영역은, 반드시 오브젝트일 필요는 없고, 오브젝트 이외의 화상 영역이나 오브젝트 내의 화상 영역, 후술하는 배경 화상 부분 등이어도 되지만, 본 실시예에서는, 흥미 대상 영역으로서 오브젝트를 예로 들어 설명한다. 오브젝트 추출부(1014)에 있어서 행해지는 오브젝트 추출(흥미 대상 영역의 특정)처리의 상세에 관해서의 설명은, 후술한다.
배경 추출부(1013)는, 오브젝트 추출부(1014)에 의한 오브젝트 추출 결과에 근거하여, 화상 입력부(11)에 의해 공급된 화상 데이터로부터 화상의 배경 부분(흥미 대상 영역 이외의 화상 영역, 이하, 배경 화상이라고 한다)에 상당하는 신호(이하, 배경 화상 데이터라고 한다)를 추출하고, 그 추출한 배경 화상 데이터를, 송신 처리부(1016)와 부가 정보 산출부(15)에 공급한다. 또한, 여기서는, 액티비티가 작고, 화상으로서 특별 의미를 갖지 않도록 평탄한 화상 영역을 배경 화상으로 하고 있다. 물론, 배경 화상은 특별한 의미를 가지지 않는 화상 뿐만 아니라, 유저의 흥미 대상으로 되어 있지 않는 오브젝트 등도 포함되지만, 여기서는, 설명을 간단히 하기 위해서, 상술한 바와 같이 평탄한 화상 영역을 배경 화상으로서 설명한다.
부가 정보 산출부(15)는, 배경 추출부(1013)로부터 공급된 배경 화상 데이터에 근거하여, 배경의 움직임(화상의 촬영 시에, 화상 입력부(11)의 촬영 방향이 이동하는 것에 의한 배경의 움직임)을 나타내는 배경 움직임 벡터를 검출한다. 또한, 부가 정보 산출부(15)는, 오브젝트 추출부(1014)로부터 공급된 오브젝트 화상의 화상 데이터(이하, 오브젝트 화상 데이터라고 한다)에 근거하여, 오브젝트의 움직임을 나타내는 오브젝트 움직임 벡터를 검출하고, 그들 움직임 벡터를 부가 정보의 1개로서, 송신 처리부(1016)에 공급한다. 또한, 부가 정보 산출부(15)는, 오브젝트 추출부(1014)로부터 공급된 오브젝트 화상 데이터에 근거하여, 화상 입력부(11)에서 촬영된 화상(프레임) 중에서의 오브젝트의 위치나 윤곽 등과 같은 오브젝트에 관련하는 정보도, 부가 정보로서 송신 처리부(1016)에 공급한다. 즉, 오브젝트 추출부(1014)는, 오브젝트 화상을 추출할 때에, 그 오브젝트의 위치나 윤곽 등의 오브젝트에 관련하는 정보도 추출하고, 부가 정보 산출부(15)에 공급하게 되어 있고, 부가 정보 산출부(15)는, 그 오브젝트에 관련하는 정보도, 부가 정보로서 출력하게 되어 있다.
송신 처리부(1016)는, 수신 장치(2)로부터 공급된 클릭 데이터에 근거하여, 수신 장치(2)에 있어서 표시되게 되는 화상 중의 오브젝트 화상에 관해서의 공간 해상도를 높이면서, 전송로(3)에서 전송 가능한 데이터 레이트의 조건을 만족하도록, 오브젝트 추출부(1104)로부터의 오브젝트 화상 데이터와, 배경 추출부(1013)로부터의 배경 화상 데이터와, 부가 정보 산출부(15)로부터의 부가 정보를 부호화함과 동시에, 그들 부호화 후의 오브젝트 화상 데이터(이하, 오브젝트 화상 부호화 데이터라고 한다), 배경 화상 데이터(이하, 배경 부호화 데이터라고 한다), 부가 정보(이하, 부가 정보 부호화 데이터라고 한다)를 다중화하고, 그 다중화 데이터를, 프레임 레이트 정보 등과 함께, 전송로(3)를 통해, 수신 장치(2)로 송신한다.
다음에, 도 30의 플로 챠트를 참조하여, 도 29의 송신 장치(1)의 처리의 개요에 관해서 설명한다.
송신 장치(1)에서는, 우선 스텝(S91)으로서, 화상 입력부(11)에서 얻어지는 화상 데이터가 이전 처리부(12)에 입력된다.
다음에, 스텝(S92)으로서, 송신 장치(1)에서는, 수신 장치(2)로부터 송신되어 온 클릭 데이터를 수신하고, 그 클릭 데이터가, 이전 처리부(12)에 입력된다.
화상 데이터와 클릭 데이터를 수취한 이전 처리부(12)는, 스텝(S93)으로서, 배경 추출, 오브젝트 추출, 부가 정보 산출의 전처리를 행하고, 이전 처리에서 얻어진 배경 화상 데이터, 오브젝트 화상 데이터, 부가 정보를, 송신 처리부(1016)에 보낸다.
송신 처리부(1016)에서는, 스텝(S94)의 처리로서, 전송로(3)에서 전송 가능한 데이터 레이트의 조건을 만족하도록, 오브젝트 화상 데이터와 배경 화상 데이터및 부가 정보의 데이터량을 계산하고, 그 데이터 량에 따라서 그들 오브젝트 화상 데이터와 배경 화상 데이터, 부가 정보를 부호화하여 다중화한다. 그 후, 다중화 데이터를, 프레임 레이트 정보 등과 같이, 전송로(3)를 통해 수신 장치(2)로 송신한다.
이후, 스텝(S1)으로 되돌아가서, 이하, 동일 처리가 반복된다
다음에, 도 31은, 도 28의 수신 장치(2)의 구성예를 도시하고 있다. 또한, 도면 중, 도 5에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부가하고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 31의 수신장치(2)는, 합성 처리부(22)를 대신하여, 합성 처리부(1022)가 설치되어 있는 동시에, 제어 정보 입력부(24)와 제어 정보 송신부(525)를 대신하여, 클릭 데이터 입력부(1024)와 클릭 데이터 송신부(1025)가 각각 설치되어 있는 것 외에는, 기본적으로, 도 5에 있어서의 경우와 동일하게 구성되어 있다.
전송로(3)를 통해, 송신 장치(1)로부터 송신되어 오는 다중화 데이터는 수신 처리부(21)에서 수신된다. 수신 처리부(21)는, 수신한 다중화 데이터로부터, 각각 배경 부호화 데이터, 오브젝트 화상 부호화 데이터, 및 부가 정보 부호화 데이터를 분리하여 복호하고, 그 복호에 의해 복원된 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보를, 합성 처리부(1022)에 보낸다.
합성 처리부(1022)는, 수신 처리부(21)로부터 공급된 복호 후의 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보를 사용하여 화상을 합성하고, 그 합성된 화상의 신호를, 화상 출력부(23)에 공급한다. 또한, 합성 처리부(1022)는, 클릭 데이터 입력부(1024)로부터 공급되는 클릭 데이터에 근거하여, 합성하는 화상의 공간 해상도 및 시간 해상도를 제어한다.
클릭 데이터 입력부(1024)는, 수신 장치(2; 도 28)의 표시부(2-2)에 대응하는 화상 출력부(23)상의 화상의 좌표 위치를 지정하기 위한 포인팅 디바이스로서의 기능을 갖는 키부(2-3)를, 유저가 조작하였을 때에, 그 유저에 의한 키부(2-3)의 조작에 따른 클릭 위치(좌표 위치)와 클릭 시각을 나타내는 클릭 데이터를 발생한다. 즉, 화상 출력부(23)에 표시되어 있는 화상 중의 소망의 화상 부분(흥미 대상 영역)을, 유저가, 키부(213)를 클릭 조작함으로써 지정하면, 클릭 데이터입력부(1024)는, 그 클릭 위치의 좌표 정보와, 그 클릭 시각을 나타내는 클릭 데이터를 발생한다. 클릭 데이터 입력부(1024)에 의해 발생된 클릭 데이터는, 합성 처리부(1022)와 클릭 데이터 송신부(1025)에 보내진다.
클릭 데이터 송신부(1025)는, 클릭 데이터 입력부(1024)로부터 클릭 데이터를 수취하면, 그 클릭 데이터를, 전송로(3)를 통해, 송신 장치(1)에 송신한다.
다음에, 도 32의 플로 챠트를 참조하여, 도 31의 수신 장치(2)의 처리의 개요에 관해서 설명한다.
수신 장치(2)에서는, 우선, 스텝(S101)으로서, 수신 처리부(21)는, 송신 장치(1)로부터 전송로(3)를 통해 송신되어 오는 다중화 데이터를 수신한다.
수신 처리부(21)에서는, 스텝(S102)으로서, 그 다중화 데이터로부터, 배경 부호화 데이터, 오브젝트 화상 부호화 데이터, 부가 정보 부호화 데이터를 각각 분리하고, 또한, 그들의 분리한 부호화 데이터를 복호한다. 상기 복호에 의해 복원된 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보는, 합성 처리부(1022)에 보내진다.
또한, 수신 장치(2)에서는, 스텝(S103)으로서, 클릭 데이터 입력부(1024)는, 유저에 의한 키부(2-3)의 클릭 조작에 근거한 클릭 데이터를 취득하여, 합성 처리부(1022)와 클릭 데이터 송신부(1025)에 공급한다. 이로써, 클릭 데이터는, 클릭 데이터 송신부(1025)로부터 송신 장치(1)에 송신된다.
합성 처리부(1022)에서는, 스텝(S104)으로서, 수신 처리부(201)로부터 공급된 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보와, 클릭 데이터입력부(1024)로부터 공급된 클릭 데이터에 근거하여, 화상을 합성함과 동시에, 그 합성되는 화상의 공간 해상도 및 시간 해상도를 제어한다. 또한, 송신 장치(1)에서는, 수신 장치(2)로부터 송신되어 오는 클릭 데이터를, 다중화 데이터의 헤더 정보에 배치하여, 수신 장치(2)에 송신할 수 있고, 이 경우, 수신 장치(2)의 합성 처리부(1022)에서는, 헤더 정보로부터 클릭 데이터를 취득하도록 할 수 있다. 이 경우, 클릭 데이터 입력부(1024)로부터 합성 처리부(1022)에는, 클릭 데이터를 공급할 필요는 없다.
그 후는, 화상 출력부(23)는, 스텝(S105)으로서, 합성 처리부(1022)에서 합성된 화상을, 화상 출력부(23)의 액정 디스플레이 등에 표시시킨다.
이후, 스텝(S101)으로 되돌아가서, 이하, 동일 처리가 반복된다.
다음에, 도 33은, 도 29의 송신 장치(1)의 송신 처리부(1016)의 구체적인 구성예를 도시하고 있다. 또한, 도면 중, 도 7의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부가하고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 33의 송신 처리부(1016)는, 제어부(35)에 대하여, 제어 정보가 아니라, 클릭 데이터(제어 정보의 1개로서의 클릭 데이터)가 공급되게 되어 있는 이외에는, 기본적으로, 도 7의 경우와 동일하게 구성되어 있다.
도 33에 있어서, 송신 처리부(1016)에는, 도 29에 도시한 이전 처리부(12)로부터의 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보가 공급된다. 이들 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보는, 부호화부(31) 및 제어부(35)에 입력된다. 부호화부(31)는, 공급된 배경 화상 데이터, 오브젝트 화상 데이터, 및 부가 정보를, 예를 들면, 상술한 바와 같이 계층 부호화하고, 그 결과 얻어지는 각 부호화 데이터를, MUX(32)에 공급한다. MUX(32)는, 제어부(35)에 의한 제어의 하, 부호화부(31)로부터 공급된 배경 부호화 데이터, 오브젝트 화상 부호화 데이터, 부가 정보 부호화 데이터를 적절하게 선택하고, 다중화 데이터로서 송신부(33)에 공급한다. 송신부(33)는, MUX(32)로부터의 다중화 데이터를 후단의 전송로(3)의 전송 규격에 따라서 변조하는 등, 전송로(3)를 통해, 수신 장치(2)에 송신한다.
한편, 제어부(35)는, 데이터량 계산부(34)로부터의 데이터 레이트가, 전송로(3)의 전송율을 초과하지 않도록, MUX(32)에 의한 다중화 데이터의 출력을 제어함과 동시에, 전송로(3)를 통해 수신 장치(2)로부터 송신되어 오는 클릭 데이터를 수신하고, 그 클릭 데이터에 근거하여, MUX(32)에 있어서의 그 부호화 데이터의 선택 다중화를 제어한다.
다음에, 도 34의 플로 챠트를 참조하여, 도 33의 송신 처리부(1016)에 있어서 행해지는 송신 처리에 관해서 설명한다.
우선 최초에, 스텝(S111)으로서, 송신 처리부(1016)의 제어부(35)는, 수신 장치(2)로부터 클릭 데이터가 송신되어 오는지의 여부를 판정한다. 스텝(S111)에 있어서, 수신 장치(2)로부터 클릭 데이터가 송신되어 오지 않는다고 판정된 경우, 즉 제어부(35)가 클릭 데이터를 수신하지 않고 있는 경우, 제어부(35)는, 스텝(S112)으로서, MUX(32)를 제어하고, 도 10의 스텝(S22)의 경우와 마찬가지로, 수신 장치(2)에 있어서 통상의 시간 해상도로 화상의 표시가 가능하도록, 배경, 오브젝트, 및 부가 정보의 각 부호화 데이터를 선택시켜 다중화시킨다.
그리고, 송신 처리부(1016)는, 스텝(S113)으로 진행하고, MUX(32)로부터의 다중화 데이터를, 송신부(33)로부터 전송로(3)를 통해 송신하고, 그 후, 스텝(S111)으로 되돌아간다.
또한, 스텝(S111)에 있어서, 제어부(35)가, 수신 장치(2)로부터 클릭 데이터가 송신되어 왔다고 판정한 경우, 즉 제어부(35)가 클릭 데이터를 수신한 경우, 제어부(35)는, 스텝(S114)으로서, 그 클릭 데이터에 근거하여, 유저가, 수신 장치(2)의 키부(2-3)를 조작함으로써 지정한 주목점의 좌표(클릭 위치) 및 클릭 시각을 인식한다.
다음에, 제어부(35)는, 스텝(S115)의 처리로서, 주목점의 좌표(클릭 위치) 및 클릭 시각에 근거하여, 수신 장치(2)측의 유저가 주목하고 있는 흥미 대상 영역을, 후술하는 바와 같이 특정하여, 그 특정한 흥미 대상 영역을, 수신 장치(2)측에서 표시되는 화상 중에 공간 해상도를 우선적으로 향상시키는 우선 범위로서 설정하고, 그 우선 범위 내의 화상과 그것에 대응하는 부가 정보를 검출한다. 또한, 여기서는, 우선 범위 내의 화상은, 오브젝트 화상에 대응하여, 우선 범위 외의 화상은, 예를 들면, 배경 화상과 같은 흥미 대상 영역 이외의 화상에 대응하는 것으로 한다.
그리고, 제어부(35)는, 스텝(S116)으로서, MUX(32)를 제어하고, 수신 장치(2)에 있어서, 우선 범위 내의 화상이, 보다 높은 공간 해상도로 표시되도록, 그 우선 범위 내 영역의 화상(오브젝트 화상), 우선 범위 외의 화상(배경 화상),부가 정보의 부호화 데이터를 선택시켜, 다중화시킨다. 즉, 제어부(35)는, 수신 장치(2)로부터의 클릭 데이터를 수신한 경우, 도 10의 스텝(S26)의 경우와 마찬가지로, 시간 해상도를 희생으로 하여, 우선 범위 내의 화상의 공간 해상도를 향상시키도록, MUX(32)를 제어한다.
또한, 제어부(35)는, 스텝(S116)으로서, 다중화 데이터로서 선택하는 부가 정보에, 우선 범위의 위치와 크기 등의 정보로서의 고해상도 정보를 삽입하도록, MUX(32)를 제어하고, 스텝(S113)으로 진행한다.
스텝(S113)으로 진행하면, 송신부(33)에서는, MUX(32)가 출력하는 다중화 데이터를, 전송로(3)를 통해 송신하고, 스텝(S11)으로 되돌아간다.
이상과 같이, 도 34의 송신 처리에서는, 도 1O에서 설명한 경우와 동일한 처리가 행하여진다. 따라서, 수신 장치(2)의 유저가 클릭 데이터 입력부(1024)를 계속해서 조작하여, 예를 들면, 동일의 주목점을 계속 지정하면, 주목점을 포함하는 우선 범위 내의 화상(흥미 대상 영역, 오브젝트 화상)에 관해서, 공간 해상도를 보다 향상시키기 위한 데이터가 우선적으로 송신되기 때문에, 주목점을 포함하는 우선 범위 내의 화상의 공간 해상도는 서서히 향상하고, 그 결과, 우선 범위 내의 화상은, 보다 선명하게 표시되게 된다. 즉, 수신 장치(2)측에서 유저가 주목하고 있는 부분의 화상(흥미 대상 영역, 오브젝트 화상)은, 보다 선명하게 표시된다.
이상과 같이, 클릭 데이터에 근거하는 주목점에 의해서 특정된 우선 범위 내의 화상(흥미 대상 영역, 오브젝트 화상)의 공간 해상도 및 시간 해상도가, 전송로(3)의 전송율에 따른 해상도의 범위 내에서 변경되도록, 화상 데이터의 송신이 제어되기 때문에, 한정된 전송율 내에서, 수신 장치(2)에 표시되는 주목점에 대응하는 오브젝트 화상의 공간 해상도를, 보다 향상시킬 수 있다. 즉, 화상의 시간 해상도를 희생으로 하여, 우선 범위 내의 오브젝트 화상의 공간 해상도를 향상시킴으로써, 한정된 전송율 내에서, 수신 장치(2)에 표시되는 오브젝트 화상을 보다 선명하게 표시시키는 것(공간 해상도를 보다 향상시킨다)이 가능해진다.
다음에, 도 35는, 도 31의 합성 처리부(1022)의 구성예를 도시하고 있다. 또한, 도면 중, 도 13의 합성 처리부(22)와 대응하는 부분에 대해서는, 동일한 부호를 부가하고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 합성 처리부(1022)는, 배경 플래그 메모리(74)가 설치되어 있지 않고, 합성부(77)를 대신하여, 합성부(1077)가 설치되어 있고, 또한, 합성부(1077)에는, 제어 정보가 아니라, 클릭 데이터가 공급되게 되어 있는 이외는, 도 13의 경우와 기본적으로 동일하게 구성되어 있다.
도 35에 있어서, 수신 처리부(21; 도 31)로부터 출력된 배경 화상 데이터는, 배경 기록부(71)에, 오브젝트 화상 데이터는, 오브젝트 기록부(72)에, 부가 정보는 배경 기록부(71), 오브젝트 기록부(72), 및 합성부(1077)에, 각각 입력된다.
배경 기록부(71)는, 공급된 배경 화상 데이터를, 배경 메모리(73)에 순차 기록한다. 단, 도 35의 실시예에서는, 도 13의 실시예에 있어서 설치되어 있는 배경 플래그 메모리(74)가 설치되지 않고, 따라서, 도 35에서는, 배경 기록부(71)는, 배경 메모리(73)에 배경 화상 데이터를 기록할 때는, 배경 플래그를 참조하지 않는다.
합성부(1077)는, 배경 메모리(73)에 기억된 배경 화상 데이터로부터, 현시점에서 표시를 행해야 할 프레임(현 프레임)의 배경 화상을, 부가 정보에 포함되는 배경 움직임 벡터에 근거하여 판독함과 동시에, 그 배경 화상 상에, 오브젝트 메모리(75)에 기억된 오브젝트 화상을, 부가 정보에 포함되는 오브젝트 움직임 벡터에 근거하여 합성하고, 이로써, 현 프레임의 화상을 구성하고, 표시 메모리(78)에 공급한다.
더욱이, 합성부(1077)는, 도 31의 클릭 데이터 입력부(1024)로부터, 클릭 데이터를 수신한 경우, 그 클릭 데이터에 포함되는 주목점의 좌표 위치를 포함하는 오브젝트 화상 데이터를, 오브젝트 메모리(75)로부터 판독하고, 서브 윈도우 메모리(79)에 공급한다.
다음에, 도 36의 플로 챠트를 참조하여, 도 35의 합성 처리부(1022)에서 행해지는 처리(합성 처리)에 대하여 설명한다.
우선 최초에, 스텝(S121)에 있어서, 오브젝트 기록부(72)는, 도 35의 복호부(53)로부터 공급된 오브젝트 화상 데이터를, 오브젝트 플래그 메모리(75)에 기억된 오브젝트 플래그에 근거하여, 상술한 바와 같이 기록한다.
그 후, 스텝(S122)으로 진행하고, 오브젝트 기록부(72)에서는, 부가 정보에, 고해상도 정보가 포함되어 있는지의 여부가 판정된다. 스텝(S122)에 있어서, 부가 정보에, 고해상도 정보가 포함되어 있다고 판정된 경우, 즉 수신 장치(2)의 유저가 키부(2-3)를 조작하는 것에 의해, 송신 장치(1)에 클릭 데이터가 송신되며, 이로써, 상술한 바와 같이 하여 송신 장치(1)로부터, 우선 범위 내의 화상에 대하여 공간 해상도가 높은 오브젝트 화상의 데이터가 송신되어 온 경우, 스텝(S123)으로 진행하고, 오브젝트 기록부(72)에 있어서, 오브젝트 플래그 메모리(76)의 소정의 오브젝트 플래그가 "1"로 된다.
즉, 송신 장치(1)로부터, 우선 범위 내의 화상에 대하여 공간 해상도가 높은 오브젝트 화상의 데이터가 송신되어 온 경우에는, 스텝(S121)에 있어서, 오브젝트 메모리(75)에, 그 공간 해상도가 높은 오브젝트 화상 데이터가 기록된다. 이 때문에, 스텝(S123)에서는, 그 공간 해상도가 높은 오브젝트 화상을 구성하는 화소에 대한 오브젝트 플래그가 "1"로 된다.
그 후, 스텝(S124)으로 진행하고, 합성부(1077)는, 우선 범위 내에 있는 오브젝트 화상 데이터를, 오브젝트 메모리(75)로부터 판독하고, 서브 윈도우 메모리(79)에 기록한다.
즉, 스텝(S122)에 있어서, 부가 정보에 고해상도 정보가 포함되어 있다고 판정되는 경우라는 것은, 상술한 바와 같이 유저가 키부(2-3)를 조작하는 것에 의해, 송신 장치(1)에 클릭 데이터가 송신되고, 이로써, 상술한 바와 같이 하여 송신 장치(1)로부터 우선 범위 내의 화상에 대하여 공간 해상도가 높은 오브젝트 화상의 데이터가 송신되어 온 경우이지만, 송신 장치(1)에 송신되는 클릭 데이터는 합성부 (1077)에도 공급된다. 그래서, 합성부(1077)는, 클릭 데이터를 수신하면, 스텝(S124)에 있어서, 그 클릭 데이터에 포함되는 주목점의 좌표 및 클릭 시각으로부터, 우선 범위를 인식하고, 송신 장치(1)로부터 송신되어 오는 우선 범위 내에 있는 공간 해상도가 높은 오브젝트를, 오브젝트 메모리(75)로부터 판독하며, 서브윈도우 메모리(79)에 기록한다. 또, 상술한 바와 같이, 송신 장치(1)로부터 송신되어 오는 헤더 정보에 클릭 데이터가 포함되는 경우에는, 합성부(1077)에서는, 그 헤더 정보에 포함되는 클릭 데이터로부터, 우선 범위를 인식하도록 할 수 있다.
그리고, 스텝(S125)으로 진행하고, 합성부(1077)는, 배경 메모리(73)에 기억된 배경 화상 데이터 중으로부터, 현 프레임의 배경 화상 데이터를, 부가 정보에 포함되는 배경 움직임 벡터에 근거하여 판독함과 동시에, 현 프레임에 표시해야 할 오브젝트 화상 데이터를, 오브젝트 메모리(75)로부터 판독하고, 더욱이, 현 프레임의 배경 화상 데이터와, 오브젝트 메모리(75)로부터 판독한 오브젝트 화상 데이터를, 부가 정보에 포함되는 오브젝트 움직임 벡터에 근거하여 합성한다. 이로써, 현 프레임의 화상을 구성하고, 표시 메모리(78)에 기록한다. 즉, 합성부(1077)는, 예를 들면, 표시 메모리(78)에 대하여, 배경 화상 데이터를 기록하고, 그 후, 오브젝트 화상 데이터를 오버라이트하는 것으로, 배경 화상과 오브젝트 화상을 합성한 현 프레임의 화상 데이터를, 표시 메모리(78)에 기록한다.
이상과 같이 하여, 표시 메모리(78)에 기록된 현 프레임의 화상 데이터, 및 서브 윈도우 메모리(79)에 기록된 오브젝트 화상 데이터는, 도 31의 화상 출력부(23)에 공급되어 표시되게 된다.
한편, 스텝(S122)에 있어서, 부가 정보에 고해상도 정보가 포함되어 있지 않다고 판정된 경우, 즉 수신 장치(2)의 유저가 키부(2-3)를 조작하고 있지 않는 경우는, 스텝(S123 및 S124)의 처리가 스킵되고, 스텝(S125)으로 진행하며, 상술한 바와 같이, 합성부(1077)에 있어서 배경 메모리(73)로부터 현 프레임의 배경 화상데이터가 판독되는 동시에, 오브젝트 메모리(75)로부터 필요한 오브젝트 화상 데이터가 판독되고, 현 프레임의 배경 화상과 오브젝트 메모리(75)로부터 판독한 오브젝트 화상이, 부가 정보에 따라서 합성된다. 이로써, 현 프레임의 화상 데이터가 구성되며, 표시 메모리(78)에 기록된다. 그리고, 스텝(S121)으로 되돌아가고, 이하, 동일한 처리가 반복된다.
이상과 같은 합성 처리에 의하면, 도 15에서 설명한 경우와 동일하게 하여, 유저가 주목하고 있는 오브젝트의 공간 해상도가 높은 화상이 표시되게 된다. 또한, 도 35의 합성 처리부(1022)에는, 도 13에 도시한 배경 플래그 메모리(74)가 설치되어 있지 않고, 이 때문에, 도 35의 배경 기록부(71)는, 거기에 공급될 수 있는 배경 화상 데이터를, 항상, 배경 메모리(73)에 기록한다. 따라서, 도 36의 합성 처리에서는, 배경의 공간 해상도는, 도 13 내지 도 15에서 설명한 바와 같이 향상되지 않는다.
다음에, 도 29의 오브젝트 추출부(1044)가, 수신 장치(2)로부터 공급된 클릭 데이터에 근거하여, 오브젝트 화상(흥미 대상 영역)을 추출하는 방법에 대하여 설명한다.
도 37은 도 29의 이전 처리부(12)의 오브젝트 추출부(1014)의 구성예를 도시하고 있다.
이 도 37에 있어서, 도 29의 화상 입력부(11)로부터 공급된 화상 데이터는, 화상용 메모리(201)에 축적된다. 그리고, 화상 데이터는, 화상용 메모리(201)로부터 판독되고, 정지 움직임 판정부(203), 오브젝트 화상 추출부(213), 및 전환 선택스위치(207)의 공통 단자에 보내진다. 또, 화상용 메모리(201)에는, 후단의 정지 움직임 판정부(203)에서 행해지는 정지 움직임 판정 시에 필요하게 되는, 적어도 수 프레임분의 화상 데이터가 축적된다.
또한, 수신 장치(2)로부터 전송로(3)를 통하여 송신되어 온 클릭 데이터는, 클릭 데이터용 메모리(202)에 축적된다. 그리고, 클릭 데이터는, 클릭 데이터용 메모리(202)로부터 판독되고, 정지 움직임 판정부(204), 연속 클릭 판정부(204), 및 전환 선택 스위치(206)의 공통 단자에 보내진다. 또, 이 클릭 데이터용 메모리(202)에는, 후단의 연속 클릭 판정부(204)에 있어서의 연속 클릭 판정 시에 필요하게 되는, 소정의 시간분(예를 들면, 500 내지 700m초 이상)의 클릭 데이터가 축적된다.
정지 움직임 판정부(203)에서는, 수신 장치(2)로부터 보내져 온 현재의 클릭 데이터가 나타내는 클릭 위치(화상 상의 좌표치)를 중심으로 한 국소적인 소블록(예를 들면 16×16 화소)의 화상 영역이, 움직임이 있는 움직임 영역인지, 또는 움직임이 없는 정지 영역인지의 정지 움직임 판정을 행한다. 즉, 정지 움직임 판정부(203)에서는, 정지 움직임 판정으로서, 클릭 위치를 중심으로 한 16×16 화소에 대하여, 수 프레임앞의 화상 영역과 현 프레임의 화상 영역의 사이에서 프레임간 차분을 구하고, 이 프레임간 차분치가 소정의 임계치 이하인 경우에는 정지라고 판정하며, 프레임간 차분이 소정의 임계치보다 큰 경우에는 움직임이라고 판정한다. 또, 취급하는 화상이 컬러 화상인 경우, 정지 움직임 판정 시는, 예를 들면, R, G, B의 각 16×16 화소의 화상에 대하여, 각각 프레임간 차분을 구하고, 그 R, G, B마다 구한 프레임간 차분의 절대치의 평균치가 소정의 임계치(예를 들면 값; 10) 이하일 때는 정지라고 판정하며, 그 임계치보다 클 때는 움직임이라고 판정하도록 할 수 있다. 정지 움직임 판정부(203)는, 정지 움직임 판정에 의해 정지라고 판정한 경우에는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터를 정지 클릭(정지 영역의 클릭)으로 하고, 정지 움직임 판정에 의해 움직임이라고 판정한 경우에는, 현재의 클릭 데이터를 움직임 클릭(움직임 영역의 클릭)으로 하며, 그 정지 클릭 또는 움직임 클릭을 나타내는 정보를, 정지 움직임 판정 결과로서 처리 판정부(205)에 보낸다.
연속 클릭 판정부(204)에서는, 수신 장치(2)로부터 보내져 온 클릭 데이터의 클릭 시각에 근거하여, 수신 장치(2)에서 유저가 행한 클릭 조작이 연속적인 클릭 조작인지의 여부의 연속 클릭 판정을 행한다. 즉, 연속 클릭 판정부(204)에서는, 연속 클릭 판정으로서, 수신 장치(2)로부터 보내져 오는 현재의 클릭 데이터의 클릭 시각과, 그 직전(전회)의 클릭 시각과의 시간차(클릭 시간 간격)를 구하고, 그 시간차가 소정의 임계치 이하인 경우에는 연속적인 클릭이라고 판정하며, 클릭 시각의 시간차가 소정의 임계치보다 큰 경우에는 연속 클릭이 아니라고 판정한다. 연속 클릭 판정부(204)에서는, 연속 클릭 판정에 의해 연속적인 클릭이라고 판정한 경우에는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터를 연속 클릭으로 하고, 한편, 연속 클릭 판정에 의해 연속적인 클릭이 아니라고(클릭 시각의 시간차가 소정의 임계치 이상이라고) 판정한 경우에는, 클릭 데이터용 메모리(202)로부터 출력되어 있는 현재의 클릭 데이터를 불연속 클릭으로 하며, 그연속 클릭 또는 불연속 클릭의 정보를, 연속 클릭 판정 결과로서 처리 판정부(205)에 보낸다.
처리 판정부(205)는, 정지 움직임 판정부(203)로부터의 정지 움직임 판정 결과와, 연속 클릭 판정부(204)로부터의 연속 클릭 판정 결과에 근거하여, 전환 선택 스위치(206 내지 208)의 전환 제어를 행한다.
즉, 예를 들면, 정지 움직임 판정 결과와 연속 클릭 판정 결과에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 정지 클릭이고, 또한 연속 클릭임을 안 경우, 처리 판정부(205)는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 정지 오브젝트 연결 처리부(211)로 보내지도록, 전환 선택 스위치(206)를 전환 제어하는 동시에, 화상용 메모리(201)로부터 출력되는 화상 데이터가, 정지 오브젝트 연결 처리부(211)에 보내지도록, 전환 선택 스위치(207)를 전환 제어하고, 또한 후술하는 오브젝트 추출 결과용 메모리(214)로부터 출력되는 전회의 클릭 데이터, 그 클릭 데이터에 할당된 오브젝트 번호(오브젝트를 분류(식별)하는 번호로, 상술한 라벨에 대응한다), 및 그 오브젝트 번호에 대응하는 오브젝트 화상 데이터가, 정지 오브젝트 연결 처리부(211)에 보내지도록, 전환 선택 스위치(208)를 전환 제어한다.
또한, 정지 움직임 판정 결과와 연속 클릭 판정 결과에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 움직임 클릭이고, 또한 연속 클릭임을 안 경우, 처리 판정부(205)는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 움직임 오브젝트 연결 처리부(210)에 보내지도록, 전환선택 스위치(206)를 전환 제어하는 동시에, 화상용 메모리(201)로부터 출력되는 화상 데이터가, 움직임 오브젝트 연결 처리부(210)에 보내지도록, 전환 선택 스위치(207)를 전환 제어하고, 또한 후술하는 오브젝트 추출 결과용 메모리(214)로부터 출력되는 전회의 클릭 데이터, 그 클릭 데이터에 할당된 오브젝트 번호, 및 그 오브젝트 번호에 대응하는 오브젝트 화상 데이터가, 움직임 오브젝트 연결 처리부(210)로 보내지도록, 전환 선택 스위치(208)를 전환 제어한다.
더욱이, 정지 움직임 판정 결과와 연속 클릭 판정 결과에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 정지 클릭이고, 또한 불연속 클릭(클릭 시각의 시간차가 소정의 임계치 이상으로 되는 클릭)임을 안 경우, 처리 판정부(205)는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 오브젝트 번호 할당부(209)에 보내지도록, 전환 선택 스위치(206)를 전환 제어하는 동시에, 화상용 메모리(201)로부터 출력되는 화상 데이터가, 정지 오브젝트 연결 처리부(211)로 보내지도록, 전환 선택 스위치(207)를 전환 제어한다. 또, 이 때, 오브젝트 추출 결과용 메모리(214)로부터 출력되는 전회의 클릭 데이터, 오브젝트 번호, 및 오브젝트 화상 데이터에 대해서는, 정지 오브젝트 연결 처리부(211)에 보내지 않도록, 전환 선택 스위치(208)를 전환 제어한다(예를 들면, 전환 선택 스위치(208)를 오픈 상태로 한다).
또한, 정지 움직임 판정 결과와 연속 클릭 판정 결과에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 움직임 클릭이고, 또한 불연속 클릭(클릭 시각의 시간차가 소정의 임계치 이상으로 되는 클릭)임을 안 경우, 처리판정부(205)는, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가, 오브젝트 번호 할당부(209)에 보내지도록, 전환 선택 스위치(206)를 전환 제어하는 동시에, 화상용 메모리(201)로부터 출력되는 화상 데이터가, 움직임 오브젝트 연결 처리부(210)에 보내지도록, 전환 선택 스위치(207)를 전환 제어한다. 또한, 이 때, 오브젝트 추출 결과용 메모리(214)로부터 출력되는 전회의 클릭 데이터와, 오브젝트 번호, 및 오브젝트 화상 데이터에 대해서는, 움직임 오브젝트 연결 처리부(210)에 보내지 않도록, 전환 선택 스위치(208)를 전환 제어한다(예를 들면, 전환 선택 스위치(208)를 오픈 상태로 한다).
오브젝트 번호 할당부(209)는, 정지 오브젝트 연결 처리부(211)와, 움직임 오브젝트 연결 처리부(210)에 있어서, 후술하는 바와 같은 연결 처리의 대상이 되는 것 이외의 불연속 클릭으로 되어 있는 클릭 데이터에 대하여, 새로운 오브젝트 번호를 할당하여, 그 오브젝트 번호와 클릭 데이터를 오브젝트 번호용 메모리(212)에 보낸다.
움직임 오브젝트 연결 처리부(210)는, 처리 판정부(205)에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가 움직임 클릭이고, 또한 연속 클릭이라고 판정된 경우에, 전회의 클릭 데이터가 움직임 클릭이며, 또한, 현재의 클릭 위치 부근의 화상의 특징이, 전회의 클릭 데이터에 할당된 오브젝트 번호로 구성되는 움직임 오브젝트 화상의 영역의 특징에 포함되어 있는지, 또는 근사하고 있는지의 여부를 판정한다. 그리고, 움직임 오브젝트 연결 처리부(210)는, 그 판정 결과가 참인 경우, 현재의 클릭이, 동일한 오브젝트 화상을 클릭하고 있는 것이라고 판단하며, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 움직임 오브젝트 연결 처리를 행하고, 그 오브젝트 번호와 클릭 데이터를, 오브젝트 번호용 메모리(212)에 보낸다.
정지 오브젝트 연결 처리부(211)는, 처리 판정부(205)에 의해, 클릭 데이터용 메모리(202)로부터 출력되는 현재의 클릭 데이터가 정지 클릭이고, 또한 연속 클릭이라고 판정된 경우에, 전회의 클릭이 정지 클릭이며, 더욱이, 현재의 클릭 위치가, 전회의 클릭 데이터에 할당된 오브젝트 번호로 구성되는 정지 오브젝트 화상의 영역 내에 포함되어 있는지, 또는 그 근방인지의 여부를 판정한다. 그리고, 정지 오브젝트 연결 처리부(211)는, 그 판정 결과가 참인 경우, 현재의 클릭이, 전회의 클릭과 동일한 오브젝트 화상을 클릭하고 있는 것이라고 판단하고, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 행하며, 그 오브젝트 번호와 클릭 데이터를, 오브젝트 번호용 메모리(212)에 보낸다.
오브젝트 번호용 메모리(212)는, 오브젝트 번호 할당부(209), 움직임 오브젝트 연결 처리부(210), 및 정지 오브젝트 연결 처리부(211)에 있어서 오브젝트 번호가 할당된 과거 복수 프레임분에 상당하는 클릭 데이터를 축적하고, 그 축적한 클릭 데이터 및 오브젝트 번호를, 오브젝트 화상 추출부(213)에 보낸다.
오브젝트 화상 추출부(213)는, 화상용 메모리(201)로부터 공급된 화상 데이터로부터, 오브젝트 번호용 메모리(212)로부터 공급된, 오브젝트 번호가 할당된 과거 복수 프레임의 클릭 데이터에 근거하여, 정지 오브젝트 화상, 움직임 오브젝트화상, 배경 화상 등을 추출하고, 그 추출 결과를, 오브젝트 추출 결과용 메모리(214)에 공급한다.
즉, 오브젝트 화상 추출부(213)는, 오브젝트 번호용 메모리(212)로부터 공급된, 오브젝트 번호가 할당된 과거 복수 프레임의 클릭 데이터에 근거하여, 정지 클릭으로 이루어진 클릭 데이터의 밀도가 높은 화상부분 중에서 지배적인 오브젝트 번호를 구한다. 그리고, 오브젝트 화상 추출부(213)는, 그 지배적인 오브젝트 번호가 할당되어 있는 클릭 데이터의 화상 상에 있어서의 분포로부터 오브젝트의 형상을 생성하고, 생성한 오브젝트의 형상 내의 화상을, 오브젝트 화상으로서, 화상 데이터로부터 추출한다.
또한, 오브젝트 화상 추출부(213)는, 움직임 클릭이라고 판정된 클릭 데이터 중에서, 동일 오브젝트 번호가 할당되어 있는 클릭 위치 부근의 화상끼리의 프레임간 패턴 매칭 등을 행하고, 그 매칭 결과에 근거하여, 움직임 보상을 행한다. 더욱이, 오브젝트 화상 추출부(213)는, 패턴 매칭에 근사하고 있다고 판정된 화상 영역(움직임 보상에 의해서, 말하자면 위치 맞춤을 행한 화상 영역)에 있어서 클릭 밀도가 높고 지배적인 오브젝트 번호를 구한다. 그리고, 오브젝트 화상 추출부(213)는, 그 지배적인 오브젝트 번호가 할당되어 있는 클릭 데이터의 화상 상에서의 분포로부터 오브젝트의 형상을 생성하고, 생성한 오브젝트의 형상 내의 화상을, 오브젝트 화상으로서, 화상 데이터로부터 추출한다.
더욱이, 오브젝트 화상 추출부(213)는, 상술한 바와 같은 정지 클릭이나, 움직임 클릭의 클릭 밀도가 낮은 화상 부분을, 배경 화상으로 한다.
오브젝트 추출 결과용 메모리(214)는, 오브젝트 화상 추출부(213)가 추출한 오브젝트 화상 데이터를, 클릭 데이터 및 오브젝트 번호 등과 함께 축적하고, 필요에 따라서, 도 29의 배경 추출부(1013) 및 부가 정보 산출부(15), 및 송신 처리부(1016)에 공급한다.
다음에, 도 38의 플로 챠트를 참조하여, 도 37에 도시한 오브젝트 추출부(1014)에 있어서, 수신 장치(2)로부터 송신되어 온 클릭 데이터에 근거하여, 촬영화상 중에서, 수신 장치(2)의 유저가 주목하고 있는 오브젝트 화상(흥미 대상 영역)을 추출하는 처리의 상세에 대하여 설명한다.
우선 스텝(S131)으로서, 화상용 메모리(201)는, 화상 입력부(11)로부터 입력되는 프레임의 화상 데이터(송신 시각마다의 프레임 화상 데이터)를 축적한다. 또, 화상용 메모리(201)는, 후단의 스텝(S133)에서 행해지는 정지 움직임 판정 처리 시에 필요하게 되는, 적어도 수 프레임분의 화상 데이터를 축적한다.
또한, 스텝(S131)에서는, 클릭 데이터용 메모리(202)는, 전송로(3)를 통하여 수신 장치(2)로부터 클릭 데이터가 송신되어 온 경우에는, 그 클릭 데이터를 축적한다. 또, 이 클릭 데이터용 메모리(202)에는, 후단의 스텝(S133)에서 행해지는 연속 클릭 판정 처리 시에 필요하게 되는, 적어도 소정의 시간분(예를 들면 500 내지 700m초 이상)의 클릭 데이터가 축적된다.
그 후, 스텝(S132)으로 진행하고, 클릭 데이터용 메모리(202)에, 수신 장치(2)로부터 송신되어 온 클릭 데이터로서, 아직 처리하고 있지 않는 것이 기억되어 있는지의 여부가 판정된다. 스텝(S132)에 있어서, 아직 처리하고 있지 않는클릭 데이터가, 클릭 데이터용 메모리(202)에 없다고 판정된 경우는, 스텝(S131)으로 되돌아가 입력 대기 상태가 된다. 한편, 스텝(S132)에 있어서, 아직 처리하고 있지 않는 클릭 데이터가, 클릭 데이터용 메모리(202)에 있다고 판정된 경우, 스텝(S133)으로 진행하며, 그 처리되어 있지 않는 클릭 데이터 중의, 예를 들면, 시간적으로 가장 과거의 것을, 현재의 클릭 데이터로서, 그 현재의 클릭 데이터를 대상으로, 정지 움직임 판정부(203), 연속 클릭 판정부(204), 및 처리 판정부(205)에 의한 정지 움직임 판정 처리와 연속 클릭 판정 처리가 행해진다.
즉, 스텝(S133)에 있어서, 정지 움직임 판정부(203)는, 정지 움직임 판정 처리로서, 수신 장치(2)로부터 보내져 온 현재의 클릭 데이터에 포함되는 클릭 위치(화상 상의 좌표치) 정보를 사용하여, 그 클릭 위치를 중심으로 한 국소적인 소블록의 화상 영역에 움직임이 있는지, 또는 정지하고 있는지의 판정을 행한다.
보다 구체적으로 설명하면, 도 38의 스텝(S133)의 처리로 진행하여 정지 움직임 판정 처리로 이행할 때의 정지 움직임 판정부(203)는, 도 39의 플로 챠트에 도시하는 바와 같이, 먼저 스텝(S141)로서, 화상용 메모리(201)와 클릭 데이터용 메모리(202)에 축적되어 있는 화상 데이터와 클릭 데이터를, 수 프레임분만 판독한다. 또, 취급하는 화상이 컬러 화상인 경우, 정지 움직임 판정부(203)는, 도 40a에 도시하는 바와 같이, 수 프레임의 R(빨강), G(초록), B(파랑)의 화상 데이터를 판독한다. 또한, 정지 움직임 판정부(203)는, 현재의 클릭 데이터에 대응하는 클릭이 행해진 프레임을 포함하는, 과거 수 프레임분의 화상 데이터와, 그 수 프레임에 대하여 행해진 클릭에 대응하는 클릭 데이터를, 화상 데이터용 메모리(201)와클릭 데이터용 메모리(202)로부터, 각각 판독한다.
다음에, 정지 움직임 판정부(203)는, 스텝(S142)으로서, 현재의 클릭 데이터가 나타내는 클릭 위치를 중심으로 한, 예를 들면 수평방향 16 화소 및 수직방향 16 화소로 이루어지는 국소적인 소 블록의 화상 영역에 대하여, 수 프레임앞의 화상 영역과 현 프레임의 화상 영역 사이의 프레임간 차분을 계산한다. 또, 취급하는 화상이 컬러 화상인 경우, 정지 움직임부(203)는, 스텝(S142)의 처리로서, 도 40b 및 도 40c에 도시하는 바와 같이, R, G, B의 각 16×16 화소의 화상에 대하여, 프레임간 차분을 구하고, 그 R, G, B마다 구한 프레임간 차분 각각의 절대치의 평균치를 구한다.
다음에, 정지 움직임 판정부(203)는, 스텝(S143)의 처리로서, 스텝(S142)의 계산에 의해 구한 프레임간 차분치가, 소정의 임계치 이하인지의 여부를 판정한다. 그리고, 스텝(S144)으로 진행하고, 정지 움직임 판정부(203)는, 프레임간 차분치가, 소정의 임계치 이하인 경우에는, 현재의 클릭 데이터가 나타내는 클릭 위치를 포함하는 소블록(이하, 적절하게, 현재 블록이라고 한다)이, 정지라고 판정하고, 한편, 프레임간 차분이 소정의 임계치보다 큰 경우에는, 움직임이 있다고 판정한다. 더욱이, 정지 움직임 판정부(203)는, 현재 블록을 정지라고 판정하였을 때에는, 그 정지라고 판정된 현재 블록의 화상 영역에 대응한 클릭 데이터를 정지 클릭으로 하고, 움직임이라고 판정하였을 때에는, 그 움직임이라고 판정된 현재 블록의 화상 영역에 대응한 클릭 데이터를 움직임 클릭으로 하고, 정지 움직임 판정 결과로서 출력한다.
또, 취급하는 화상이 컬러 화상인 경우, 정지 움직임 판정부(203)는, 스텝(S144)에 있어서, 도 40d에 도시하는 바와 같이, R, G, B의 각 16×16 화소의 현재 블록마다 구해지고 있는 프레임간 차분의 절대치의 평균치가, 소정의 임계치(예를 들면, 값; 10) 이하일 때는, 예를 들면, 소정의 플래그를 "0"으로 하고, 반대로, 임계치보다 클 때는, 예를 들면 소정의 플래그를 "1"로 한다. 더욱이, 정지 움직임 판정부(203)는, 스텝(S144)에 있어서, 도 40e에 도시하는 바와 같이, R, G, B의 각 16×16 화소의 현재 블록마다 설정되어 있는 소정 플래그 중 모두가 "0"으로 되어 있는 경우에는, 현재 블록이 정지라고 판정하고, 그 정지라고 판정된 현재 블록의 화상 영역에 대응한 클릭 데이터를 정지 클릭으로 한다. 한편, R, G, B의 각 16×16 화소의 현재 블록마다 설정되어 있는 소정 플래그 중 어느 하나에도 "1"이 서 있는 경우에는, 정지 움직임 판정부(203)는, 현재 블록에, 움직임이 있다고 판정하며, 그 움직임이라고 판정된 현재 블록의, 화상 영역에 대응한 클릭 데이터를 움직임 클릭으로 한다. 그리고, 정지 판정부(203)는, 정지 클릭 또는 움직임 클릭의 정보를, 정지 움직임 판정 결과로서 출력한다.
도 38로 되돌아가서, 스텝(S133)에서는, 또한, 연속 클릭 판정부(204)에 있어서, 수신 장치(2)로부터 보내져 온 클릭 데이터에 포함되는 클릭 시각에 근거하여, 수신 장치(2)로 유저가 행한 클릭 조작이 연속적인 클릭 조작인지의 여부의 연속 클릭 판정이 행해진다.
보다 구체적으로 설명하면, 도 38의 스텝(S133)에 있어서의 연속 클릭 판정부(204)는, 도 41의 플로 챠트에 도시하는 바와 같이, 먼저, 스텝(S151)으로서, 클릭 데이터용 메모리(202)에 축적되어 있는 클릭 데이터를 판독한다.
다음에, 연속 클릭 판정부(204)는, 스텝(S152)으로서, 수신 장치(2)로부터 보내져 온 현재의 클릭 데이터의 클릭 시각과, 그 직전(전회)에 보내져 온 클릭 시각과의 시간차(클릭 간격)를 구한다.
다음에, 연속 클릭 판정부(204)는, 스텝(S153)으로서, 그 시간차가 소정의 임계치 이하인지 여부의 판정을 행한다. 이 스텝(S153)에 있어서, 그 시간차가 소정의 임계치 이하라고 판정된 경우에는, 연속 클릭 판정부(204)는, 현재의 클릭 데이터가, 연속적인 클릭이라고 판정하고, 한편, 클릭 시각의 시간차가 소정의 임계치보다 크다고 판정된 경우에는, 연속 클릭 판정부(204)는, 현재의 클릭 데이터가, 연속적인 클릭이 아니라고 판정한다. 그리고, 연속 클릭 판정부(204)는, 스텝(S154)으로 진행하며, 연속 클릭 또는 불연속 클릭을 나타내는 정보를, 연속 클릭 판정 결과로서 출력한다.
즉, 스텝(S153)에 있어서, 연속적인 클릭이라고 판정된 경우, 수신 장치(2)의 유저는, 어떤 하나의 오브젝트 화상에 대한 클릭 조작을 연속하여 행하고 있을 가능성이 높다. 이것은, 수신 장치(2)의 유저가, 송신 장치(1)에 대하여 공간 해상도가 높은 오브젝트 화상 데이터(흥미 대상 영역의 데이터)의 송신을 요구하는 경우, 수신 장치(2)의 유저는, 그 공간 해상도를 높게 하는 것을 바라는 오브젝트 화상 부분(흥미 대상 영역)을 연속적으로 클릭하는 경향이 있다고 생각되기 때문이다. 따라서, 연속 클릭 판정부(204)는, 연속 클릭 판정처리에 있어서 연속적인 클릭이라고 판정한 경우에는, 현재의 클릭 데이터를 연속 클릭으로 하며, 한편, 연속적인 클릭이 아니라고(클릭 시각의 시간차가 소정의 임계치 이상이라고) 판정한 경우에는, 현재의 클릭 데이터를 불연속 클릭으로 하고, 연속 클릭 판정 결과로서 출력한다.
도 38로 되돌아가, 처리 판정부(205)는, 정지 움직임 판정부(203) 및 연속 클릭 판정부(204)에서의 스텝(S133)의 정지 움직임 판정 및 연속 클릭 판정에 의해, 현재의 클릭 데이터가, 연속 클릭이고 또한 정지 클릭이라고 판정된 경우에는, 전환 선택 스위치(206 내지 208)를 상술한 바와 같이 제어하는 것에 의해, 스텝(S135)으로서, 정지 오브젝트 연결 처리부(211)에, 정지 오브젝트 연결 처리를 행하게 한다. 또한, 처리 판정부(205)는, 현재의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이라고 판정된 경우에는, 전환 선택 스위치(206 내지 208)를 제어하는 것에 의해, 스텝(S136)으로서, 움직임 오브젝트 연결 처리부(210)에, 움직임 오브젝트 연결 처리를 행하게 한다. 더욱이, 처리 판정부(205)는, 현재의 클릭 데이터가, 불연속 클릭이라고 판정된 경우에는, 전환 선택 스위치(206)를 제어하는 것에 의해, 스텝(S134)으로서, 오브젝트 번호 할당부(209)에, 새로운 오브젝트 번호 할당하여 처리를 행하게 한다.
즉, 스텝(S133)에 있어서, 현재의 클릭 데이터가 불연속 클릭이라고 판정되고, 스텝(S134)의 처리로 진행하면, 오브젝트 번호 할당부(209)는, 그 현재의 클릭 데이터에 대하여 새로운 오브젝트 번호를 할당하여, 스텝(S131)으로 되돌아간다.
구체예를 들어 설명하면, 예를 들면 도 42a와 같이, 도면 중 실선의 ×표로 나타내는 전회의 클릭 데이터(CL1)에 대하여 할당되어 있는 오브젝트 번호가, 예를들면 「0」으로 되어 있다고 한 경우에 있어서, 도 42a에 있어서 점선의 ×표로 나타내는 현재의 클릭 데이터(CL2; 오브젝트 번호가 할당되기 전의 클릭 데이터)가, 불연속 클릭이라고 판정되었을 때, 오브젝트 번호 할당부(209)는, 도 42b 중의 실선의 ×표로 나타내는 현재의 클릭 데이터(CL2)에 대하여, 새로운 오브젝트 번호(이 예에서는「1」)를 할당한다.
한편, 스텝(S133)에 있어서, 현재의 클릭 데이터가, 연속 클릭이고 또한 정지 클릭이라고 판정된 경우, 정지 오브젝트 연결 처리부(211)는, 전회의 클릭이 정지 클릭으로 되어 있고, 또한 현재의 클릭 위치가, 전회의 클릭 데이터에 할당되어 있는 오브젝트 번호로 구성되는 화상 영역 내에 포함되거나 또는 그 영역에 가까울 때에, 이 클릭은 전회의 클릭이 포함되는 것으로 동일한 오브젝트 화상을 클릭하고 있다고 판단하고, 스텝(S134)에 있어서, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 행한다.
즉, 정지 오브젝트 연결 처리부(211)는, 도 43의 플로 챠트에 도시하는 바와 같이, 먼저, 스텝(S161)으로서, 전회의 클릭 데이터가, 연속 클릭이고 또한 정지 클릭이었는지의 여부의 판정을 행한다. 이 스텝(S161)에 있어서, 전회의 클릭 데이터가, 연속 클릭이고 또한 정지 클릭이라고 판정된 경우는, 스텝(S162)의 처리로 진행하고, 한편, 전회의 클릭 데이터가 연속 클릭이고 또한 정지 클릭이 아니라고 판정된 경우는, 스텝(S164)의 처리로 진행한다.
스텝(S161)에서 전회의 클릭 데이터가 연속 클릭이고 또한 정지 클릭이 아니라고 판정하면, 정지 오브젝트 연결 처리부(211)는, 스텝(S164)의 처리로서, 도42a 및 도 42b에서 설명한 바와 동일하게 하여, 현재의 클릭 데이터에 대하여, 새로운 오브젝트 번호를 할당한다. 이 스텝(S164)의 처리 후는, 도 38의 스텝(S137)의 처리로 진행한다.
또한, 스텝(S161)에서 전회의 클릭 데이터가, 연속 클릭이고 또한 정지 클릭이라고 판정되어 스텝(S162)의 처리로 진행하면, 정지 오브젝트 연결 처리부(211)는, 현재의 클릭 위치와, 전회의 클릭 데이터에 할당되어 있는 오브젝트 번호로 구성되는 화상 영역의 사이의 공간적인 거리를 구하고, 이 거리에 근거하여, 현재의 클릭 위치가, 전회의 클릭 데이터에 할당되어 있는 오브젝트 번호로 구성되는 화상 영역 내에 포함되거나 또는 그 영역에 가까운 경우에, 현재의 클릭 데이터는 전회의 클릭이 포함되는 것과 동일한 오브젝트 화상을 클릭한 데이터라고 판정하고, 한편, 현재의 클릭 위치가, 전회의 클릭 데이터에 할당되어 있는 오브젝트 번호로 구성되는 오브젝트 화상 영역 내에 포함되지 않고, 또한 그 영역으로부터도 먼 경우에, 현재의 클릭 데이터는, 전회의 클릭이 포함되는 것과는 다른 오브젝트 화상을 클릭한 데이터라고 판정한다. 이 스텝(S162)에 있어서, 현재의 클릭 데이터가, 전회의 클릭이 포함되는 것으로 동일한 오브젝트 화상을 클릭한 데이터라고 판정된 경우, 스텝(S163)의 처리로 진행하고, 한편, 현재의 클릭 데이터가, 전회의 클릭이 포함되는 것과는 다른 오브젝트 화상을 클릭한 데이터라고 판정된 경우는, 스텝(S164)의 처리로 진행한다.
스텝(S162)에서 현재의 클릭 데이터가, 전회의 클릭이 포함되는 것과는 다른 오브젝트 화상을 클릭한 데이터라고 판정되어 스텝(S164)의 처리로 진행하면, 정지오브젝트 연결 처리부(211)는, 현재의 클릭 데이터에 대하여 새로운 오브젝트 번호를 할당한 후, 도 38의 스텝(S137)의 처리로 진행한다.
또한, 스텝(S162)에서 현재의 클릭 데이터가, 전회의 클릭이 포함되는 것과 동일한 오브젝트 화상을 클릭한 데이터라고 판정하면, 정지 오브젝트 연결 처리부(211)는, 스텝(S163)의 처리로서, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 정지 오브젝트 연결 처리를 행한다.
구체예를 들어 설명하면, 예를 들면 도 42c와 같이, 도면 중 실선의 ×표로 나타내는 전회의 클릭 데이터(CL1)에 대하여 할당되어 있는 오브젝트 번호가 예를 들면 「0」으로 되어 있는 경우에 있어서, 도 42c에 있어서 점선의 ×표로 나타내는 현재의 클릭 데이터(CL2; 오브젝트 번호가 할당되기 전의 클릭 데이터)가, 연속 클릭이고 또한 정지 클릭이라고 판정되며, 전회의 클릭이 정지 클릭으로 되어 있고, 또한 현재의 클릭 위치가, 전회의 클릭 데이터에 할당되어 있는 오브젝트 번호로 구성되는 화상 영역 내에 포함거나 또는 그 영역에 가까울 때, 정지 오브젝트 연결 처리부(211)는, 도 42d 중의 실선의 ×표로 나타내는 현재의 클릭 데이터(CL2)에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호(이 예에서는 「0」)를 할당한다.
이와 같이 스텝(S163)에서, 현재의 클릭 데이터에, 전회의 클릭 데이터와 동일한 오브젝트를 할당한 후는, 도 38의 스텝(S137)의 처리로 진행한다.
또한, 도 38의 스텝(S133)에 있어서, 현재의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이라고 판정하여, 전회의 클릭이 움직임 클릭으로 되어 있고, 더욱이 현재의 클릭 위치 부근의 화상의 특징이, 전회의 클릭에 할당된 오브젝트 번호로 구성되는 화상 영역(16×16 화소)의 특징에 포함되어 있는지 또는 그것에 가까운 경우, 움직임 오브젝트 연결 처리부(210)는, 이 클릭은, 전회의 클릭이 포함되는 것과 동일한 오브젝트 화상을 클릭하고 있다고 판단하며, 스텝(S136)으로서, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당하는 움직임 오브젝트 연결 처리를 행한다.
즉, 스텝(S133)에 있어서, 현재의 클릭 데이터가 연속 클릭이고 또한 움직임 클릭이라고 판정하였을 때, 움직임 오브젝트 연결 처리부(210)는, 도 44에 도시하는 바와 같이, 먼저, 스텝(S171)에 있어서, 전회의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭인지의 여부의 판정을 행한다. 이 스텝(S171)에 있어서, 전회의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이라고 판정된 경우는, 스텝(S172)의 처리로 진행하고, 한편, 전회의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이 아니라고 판정된 경우는, 스텝(S174)의 처리로 진행한다.
스텝(S171)에서, 전회의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이 아니라고 판정되어 스텝(S174)의 처리로 진행하면, 움직임 오브젝트 연결 처리부(210)는, 도 41a 및 도 41b에서 설명한 것과 동일하게 하여, 현재의 클릭 데이터에 대하여 새로운 오브젝트 번호를 할당한다. 이 스텝(S174)의 처리 후는, 도 38의 스텝(S137)의 처리로 진행한다.
또한, 스텝(S171)에서, 전회의 클릭 데이터가, 연속 클릭이고 또한 움직임 클릭이라고 판정되어 스텝(S172)의 처리로 진행하면, 움직임 오브젝트 연결처리부(210)는, 현재의 클릭 위치 부근의 화상 영역(16×16 화소)의 특징과, 전회의 클릭에 할당된 오브젝트 번호로 구성되는 화상 영역의 특징을 구하고, 이 특징에 근거하여, 현재의 클릭 위치 부근의 화상 영역의 특징이, 전회의 클릭에 할당된 오브젝트 번호로 구성되는 화상 영역의 특징에 포함되어 있는지 또는 그것에 가까운 경우에, 이 클릭은, 전회의 클릭이 포함되는 것과 동일한 오브젝트 화상을 클릭 하고 있다고 판단하고, 한편, 현재의 클릭 위치 부근의 화상 영역의 특징이, 전회의 클릭에 할당된 오브젝트 번호로 구성되는 화상 영역의 특징에 포함되지 않고, 또한 그 특징으로부터도 먼 경우에, 현재의 클릭 데이터는, 전회의 클릭과는 다른 오브젝트 화상을 클릭한 데이터라고 판정한다. 또, 여기서의 화상 영역의 특징이란, 예를 들면 클릭 위치 부근의 국소 영역(16×16 화소)에 있어서의 색(평균 색, 대표 색 등)이나 히스토그램, 패턴 등을 말한다. 또한, 이와 같이 복수의 움직임 클릭에, 동일 오브젝트 번호를 할당한다는 것은, 이들의 클릭 데이터의 사이에서 오브젝트의 트래킹을 하고 있다고 바꿔 말할 수 있다. 이 스텝(S172)에 있어서, 현재의 클릭 데이터가, 전회의 클릭이 포함되는 것으로 동일한 오브젝트 화상을 클릭한 데이터라고 판정된 경우는, 스텝(S173)의 처리로 진행하며, 한편, 현재의 클릭 데이터가, 전회의 클릭과는 다른 오브젝트 화상을 클릭한 데이터라고 판정된 경우는, 스텝(S174)의 처리로 진행한다.
스텝(S172)에서, 현재의 클릭 데이터가, 전회의 클릭과는 다른 오브젝트 화상을 클릭한 데이터라고 판정되어 스텝(S174)의 처리로 진행하면, 움직임 오브젝트 연결 처리부(210)는, 상술한 경우와 같이, 현재의 클릭 데이터에 대하여, 새로운오브젝트 번호를 할당을 행하고, 그 후, 도 38의 스텝(S137)의 처리로 진행한다.
또한, 스텝(S172)에서, 현재의 클릭 데이터가, 전회의 각 클릭이 포함되는 것으로 동일한 오브젝트 화상을 클릭한 데이터라고 판정되어 스텝(S173)의 처리로 진행하면, 움직임 오브젝트 연결 처리부(210)는, 현재의 클릭 데이터에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호를 할당한다.
구체예를 들어 설명하면, 예를 들면 도 42e와 같이, 도면 중 실선의 ×표로 나타내는 전회의 클릭 데이터(CL1)에 대하여 할당되어 있는 오브젝트 번호가, 예를 들면 「0」으로 되어 있다고 한 경우에 있어서, 도 42e 중점선의 ×표로 나타내는 현재의 클릭 데이터(CL2; 오브젝트 번호가 할당되기 전의 클릭 데이터)가, 연속 클릭이고 또한 움직임 클릭이라고 판정되며, 전회의 클릭이 움직임 클릭으로 되어 있고, 더욱이 현재의 클릭 위치 부근의 화상의 특징이, 전회의 클릭에 할당된 오브젝트 번호로 구성되는 오브젝트 화상의 특징에 포함되고 있는지 또는 그것에 가까운 경우, 움직임 오브젝트 연결 처리부(210)에서는, 도 42f 중의 실선의 ×표로 나타내는 현재의 클릭 데이터(CL2)에 대하여, 전회의 클릭 데이터와 동일한 오브젝트 번호(이 예에서는「0」)를 할당한다.
스텝(S173)에서, 현재의 클릭 데이터에, 전회의 클릭 데이터와 동일한 오브젝트를 할당한 후는, 도 38의 스텝(S137)의 처리로 진행한다.
다음에, 도 38의 스텝(S135)으로부터 스텝(S137)의 처리로 진행한 경우, 오브젝트 화상 추출부(213)는, 오브젝트 번호용 메모리(212)에 기억된, 오브젝트 번호가 할당된 과거 수 프레임분에 상당하는 각 클릭 데이터와, 화상용 메모리(20)에기억된 과거 수 프레임의 화상 데이터에 근거하여, 입력 화상 데이터로부터 정지하고 있는 오브젝트 화상(정지 오브젝트 화상), 움직임이 있는 오브젝트 화상(움직임 오브젝트 화상), 그 이외의 배경 화상을 추출한다. 즉, 수신 장치(2)에 송신하는 화상 중에서, 정지 클릭으로 된 클릭 데이터의 밀도가 높은 화상부분에는, 정지 오브젝트 화상이 존재한다고 생각되기 때문에, 이 때의 오브젝트 화상 추출부(213)에서는, 오브젝트 번호가 할당된 과거 복수 프레임의 클릭 데이터에 근거하여, 정지 클릭으로 이루어진 클릭 데이터의 밀도(클릭 밀도)를 구하고, 또한 클릭 밀도가 높은 화상 부분 중에서 지배적인 오브젝트 번호를 구하며, 그 지배적인 오브젝트 번호가 할당되어 있는 클릭 데이터의 분포로부터 오브젝트의 형상을 생성하여, 생성한 오브젝트의 형상 내의 화상을, 정지 오브젝트 화상으로서, 화상 데이터로부터 추출한다.
또한, 스텝(S136)으로부터 스텝(S137)의 처리로 진행한 경우, 오브젝트 화상 추출부(213)는, 움직임 클릭이라고 판정된 클릭 데이터 중에서, 동일 오브젝트 번호가 할당되어 있는 클릭 위치 부근의 화상끼리의 프레임간 패턴 매칭을 행하고, 움직임 보상을 행한 후, 패턴 매칭에 근사하고 있다고 간주된 화상 영역에 있어서 클릭 밀도가 높고 지배적인 오브젝트 번호를 구하며, 그 지배적인 오브젝트 번호가 할당되어 있는 클릭 데이터의 분포로부터 오브젝트의 형상을 생성하고, 생성한 오브젝트의 형상 내의 화상을, 움직임 오브젝트 화상으로서, 화상 데이터로부터 추출한다.
더욱이, 오브젝트 화상 추출부(213)는, 스텝(S137)에 있어서, 상술한 정지클릭, 움직임 클릭이라고 판정된 클릭 데이터의 클릭 밀도가 낮은 화상부분을 현재의 배경 화상으로 간주한다. 바꿔 말하면, 오브젝트 화상 추출부(213)는, 정지 오브젝트 화상, 움직임 오브젝트 화상이 추출된 나머지의 화상 부분을 배경 화상으로 한다.
이 스텝(S137)의 처리를 상세하게 설명하면, 오브젝트 화상 추출부(213)는, 도 45의 플로 챠트에 도시하는 바와 같이, 먼저, 스텝(S181)으로서, 오브젝트 번호가 할당된 과거 복수 프레임분에 상당하는 각 클릭 데이터와 화상 데이터를 집어넣고, 이어서, 스텝(S182)에서, 각 클릭 데이터를 정지 클릭과 움직임 클릭마다 분류한다. 여기서, 도 38의 스텝(S135)으로부터 스텝(S137)의 처리로 진행한 경우에는, 스텝(S182)으로부터 스텝(S184) 이후의 처리로 진행하게 되고, 도 38의 스텝(S136)으로부터 스텝(S137)의 처리로 진행한 경우에는, 스텝(S182)으로부터 스텝(S184) 이후의 처리로 진행하게 된다.
도 38의 스텝(S135)으로부터 스텝(S137)의 처리로 진행하고, 도 45에 있어서 스텝(S182)으로부터 스텝(S184) 이후의 처리로 진행하면, 오브젝트 화상 추출부(213)는, 먼저, 과거 복수 프레임분의 화상에 대하여, 오브젝트 번호가 할당된 각 클릭 데이터 중에서 정지 클릭으로 이루어지고 있는 각 클릭 데이터의 밀도(이하, 클릭 밀도라고 부른다)를, 예를 들면, 16×16 화소의 블록마다 구한다.
다음에, 오브젝트 화상 추출부(213)는, 스텝(S185)으로서, 도 46a에 도시하는 바와 같이, 화상 내의 도면 중 점선으로 나타내는 바와 같은 각 16×16 화소의 블록(bk)에 대하여, 도면 중 ×표로 나타내는 정지 클릭의 클릭 밀도가 소정치 이상인지의 여부의 판정을 행한다.
여기서, 수신 장치(2)에 송신하는 화상 중에서, 정지 클릭으로 이루어진 클릭 데이터의 밀도가 높은 화상부분에는, 정지 오브젝트 화상이 존재한다고 생각된다. 이 때문에, 오브젝트 화상 추출부(213)는, 정지 클릭의 클릭 밀도가 소정치 이상으로 되어 있는 블록에 대해서는, 스텝(S186)의 처리를 행하고, 한편, 정지 클릭의 클릭 밀도가 소정치 미만으로 되어 있는 블록에 대해서는, 스텝(S190)의 처리를 행한다.
스텝(S186)의 처리로 진행하면, 오브젝트 화상 추출부(213)는, 정지 클릭의 클릭 밀도가 소정치 이상으로 되어 있는 블록에 대하여, 도 46e에 도시하는 바와 같이, 블록 내의 각 클릭 데이터에 할당되어 있는 오브젝트 번호 중에 발생 빈도가 가장 높은 지배적인 오브젝트 번호를 구하고, 또한 도 46b에 도시하는 바와 같이, 각각 지배적인 오브젝트 번호가 같아지는 블록(BK0, BK2, BK4, BK5)을 정리하여 오브젝트의 형상을 생성한다. 그리고, 오브젝트 화상 추출부(213)는, 생성한 오브젝트의 형상 내의 화상을, 정지 오브젝트 화상으로서, 화상 데이터로부터 추출한다. 이 스텝(S186)의 처리 후는, 도 38의 스텝(S138)의 처리로 진행한다.
한편, 도 38의 스텝(S136)으로부터 스텝(S137)의 처리로 진행하고, 도 45에 있어서 스텝(S182)으로부터 스텝(S183) 이후의 처리로 진행하면, 오브젝트 화상 추출부(213)는, 도 46c에 도시하는 바와 같이, 과거 복수 프레임분의 화상에 있어서, 도면 중 ×표로 나타내는 각 움직임 클릭으로 되어 있는 클릭 데이터 중, 각각 같은 오브젝트 번호가 할당되어 있는 클릭 위치 부근의 화상끼리의 프레임간 패턴 매칭을 행하고, 또한 움직임 보상을 행한다.
이어서, 오브젝트 화상 추출부(213)는, 스텝(S187)으로서, 패턴 매칭에 근사하고 있다고 간주된 화상 영역 내의 움직임 클릭의 클릭 밀도를 구한다.
그 후, 오브젝트 화상 추출부(213)는, 스텝(S188)으로서, 도 46d에 도시하는 바와 같이, 화상 내에 있어서 도면 중 ×표로 나타내는 움직임 클릭의 클릭 밀도가, 소정치 이상인지의 여부의 판정을 행한다.
여기서, 움직임 보상을 행한 후에 있어서, 움직임 클릭으로 된 클릭 데이터의 밀도가 높은 화상부분에는, 움직임 오브젝트 화상이 존재한다고 생각된다. 이 때문에, 오브젝트 화상 추출부(213)는, 움직임 보상 후의 화상에 있어서 움직임 클릭의 클릭 밀도가 소정치 이상으로 되어 있는 화상 영역에 대해서는, 스텝(S189)의 처리를 행하고, 한편, 움직임 클릭의 클릭 밀도가 소정치 미만으로 되어 있는 화상 영역에 대해서는, 스텝(S190)의 처리를 행한다.
스텝(S189)의 처리로 진행하면, 오브젝트 화상 추출부(213)는, 움직임 클릭의 클릭 밀도가 소정치 이상으로 되어 있는 화상 영역에 대하여, 각 클릭 데이터에 할당되어 있는 오브젝트 번호 중에 발생 빈도가 가장 높은 지배적인 오브젝트 번호를 구하고, 더욱이 도 46d에 도시하는 바와 같이, 각각 지배적인 오브젝트 번호가 같아지는 블록(BK3, BK6)을 정리하여 오브젝트의 형상을 생성한다. 그리고, 오브젝트 화상 추출부(213)는, 생성한 오브젝트의 형상 내의 화상을, 움직임 오브젝트 화상으로서, 화상 데이터로부터 추출한다. 이 스텝(S189)의 처리 후는, 도 38의 스텝(S138)의 처리로 진행한다.
또, 스텝(S185) 및 스텝(S188)에 있어서 모두 클릭 밀도가 소정치 미만으로 되어 있을 때, 즉, 정지 클릭 및 움직임 클릭의 클릭 밀도가 낮은 화상부분에 대해서는, 스텝(S190)의 처리로서, 현재의 화상 내의 배경 화상 영역으로서 취급된다. 바꾸어 말하면, 오브젝트 화상 추출부(213)는, 정지 오브젝트 화상, 움직임 오브젝트 화상이 추출된 나머지의 화상부분을 배경 화상으로 한다. 이 스텝(S190)의 처리 후는, 도 38의 스텝(S138)의 처리로 진행한다.
이렇게 하여 오브젝트 화상 추출부(213)에 의해 정지 오브젝트 화상, 움직임 오브젝트 화상, 배경 화상의 추출이 이루어진 후는, 도 38의 스텝(S138)에 있어서, 오브젝트 추출 처리를 종료하는지의 여부의 판단을 행하고, 종료하지 않을 때에는, 스텝(S131)의 처리로 되돌아가며, 종료할 때에는, 오브젝트 추출 처리를 종료한다.
이상 설명한 처리의 흐름과 같이, 도 29의 송신 장치(1)의 오브젝트 추출부(1014)에서는, 수신 장치(2)의 유저에 의한 클릭 데이터에 근거하여, 송신 화상의 정지 오브젝트 화상, 움직임 오브젝트 화상, 배경 화상의 추출을 행하 도록 할 수 있다.
또, 도 28의 실시예에서는, 액티비티가 작고, 화상으로서 특별한 의미를 갖지 않는 것과 같은 평탄한 화상 영역을 배경 화상으로 하고, 이 배경 화상에 대해서는, 특히 공간 해상도를 높이는 처리를 행하지 않는 예를 들고 있지만, 배경 화상에 대해서도, 수신 장치(2)로부터 송신되어 온 클릭 데이터에 근거하여 추출하고, 그 공간 해상도를 높이는 처리를 행하는 것도 가능하다.
이 경우, 도 29에 있어서, 배경 추출부(1013)에서는, 오브젝트 추출부(1014)의 경우와 마찬가지로, 수신 장치(2)로부터 송신되어 온 클릭 데이터에 근거하여, 배경 화상을 추출하고, 송신 처리부(1016)에서는, 오브젝트 화상의 공간 해상도를 올려 송신하는 경우와 같이, 배경 화상에 대해서도 필요에 따라서 공간 해상도를 높이도록 송신한다.
또한, 이 경우, 도 31의 합성 처리부(1022)에는, 도 35의 구성과 대응한 도 47에 도시하는 바와 같이, 도 13에 도시한 배경 플래그 메모리(74)가 추가된다. 이 도 47의 경우, 배경 기록부(71)는, 도 13에 있어서의 경우와 마찬가지로, 공간 해상도가 높은 배경 화상을 배경 메모리(73)에 기록하는 경우에, 그 배경 화상을 구성하는 각 화소에 대응하여 배경 플래그 메모리(74)의 어드레스에 기억되는 배경 플래그를 "0"으로부터 "1"로 한다. 즉, 이 경우의 배경 기록부(71)는, 배경 메모리(73)에 배경 화상 데이터를 기록할 때에, 배경 플래그 메모리(74)를 참조하게 되어 있고, 배경 플래그가 "1"로 되어 있는 배경 화상, 즉 이미 공간 해상도가 높은 배경 화상 데이터가 기억되어 있는 배경 메모리(73)에는, 공간 해상도가 낮은 배경 화상 데이터의 기록은 행하지 않도록 되어 있다. 따라서, 배경 메모리(73)는, 기본적으로, 배경 기록부(71)에 배경 화상 데이터가 공급될 때마다, 그 배경 화상 데이터가 기록되지만, 이미 공간 해상도가 높은 배경 화상 데이터가 기억되어 있는 배경 메모리(73)에는, 공간 해상도가 낮은 배경 화상 데이터의 기록을 행하지 않는다. 그 결과, 배경 메모리(73)에 있어서는, 배경 기록부(71)에 공간 해상도가 높은 배경 화상 데이터가 공급될 때마다, 공간 해상도가 높은 배경 화상의 수가 증가하여 가게 된다.
또한, 이 예의 경우, 합성부(1077)는, 도 31의 클릭 데이터 입력부(1024)로부터, 클릭 데이터를 수신한 경우, 그 클릭 데이터에 포함되는 주목점의 좌표 위치를 포함하는 오브젝트 화상 데이터 및 배경 화상 데이터를 판독하고, 서브 윈도우 메모리(79)에 공급한다.
다음에, 수신 장치(2)의 유저의 흥미 대상 영역이 변화한 경우에, 그 흥미 대상 영역의 변화를 판정(인식)하고, 더욱이, 흥미 대상 영역의 변화를 판정하는 것으로 각 흥미 대상 영역의 분류를 가능하게 하는 기술에 대하여 설명한다.
여기서, 유저의 흥미 대상 영역의 변화 판정과, 각 흥미 대상 영역의 분류를 실현하기 위해서, 각종의 화상을 사용하여 해석을 행한 결과, 이하의 사실을 판명하였다.
첫번째로, 임의의 화상에 있어서, 사람(유저)의 흥미의 대상이 되는 영역은, 어느 정도 의미를 가진 영역 단위(예를 들면 오브젝트 등)가 된다.
두번째로, 유저의 흥미 대상이 변화할 때는, 어느 정도 의미를 가진 영역 단위마다 변화한다.
세번째로, 유저의 흥미 대상이 바뀔 때에는, 유저가 흥미 대상 영역을 지시(예를 들면 클릭 등)할 때의 입력 시간 간격이 비교적 길어지는 경향이 있다.
네번째로, 유저의 흥미 대상이 바뀔 때에는, 유저가 흥미 대상 영역을 지시(예를 들면 클릭 등)할 때의 입력 위치간의 공간 거리가 비교적 커지는 경향이 있다.
그래서, 도 48은, 수신 장치(2)의 유저에 의한 클릭 데이터로부터 입력시간간격 및 입력 위치간 거리를 구하고, 상술한 제 1 내지 제 4 해석결과를 고려하여, 수신 장치(2)의 유저에 의한 흥미 대상 영역의 변화를 판정하며, 더욱이, 흥미 대상 영역을 분류 가능한, 도 28의 송신 장치(1)의 구성예를 도시하고 있다. 또, 도면 중, 도 29에 있어서의 경우와 대응하는 부분에 대해서는 동일 부호를 붙이고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 48의 송신 장치(1)는, 이전 처리부(12)를 구성하는 블록으로서, 변화 판정 분류부(240)가 새롭게 설치되어 있는 것 외에는, 기본적으로, 도 29에 있어서의 경우와 동일하게 구성되어 있다.
또, 도 48의 실시예에서는, 변화 판정 분류부(240)는, 이전 처리부(12) 내에 설치되어 있지만, 그 외, 예를 들면, 이전 처리부(12) 내의 오브젝트 추출부(1014)나 배경 추출부(1013)내에 설치하거나, 또는, 이전 처리부(12)와는 독립적으로 설치하는 것도 가능하다.
또한, 여기서는, 클릭 데이터가 나타내는 위치를, 유저가 주목하고 있는 주목점으로서 사용하지만, 유저의 주목점은, 클릭 데이터가 아닌, 예를 들면, 유저의 시선방향을 검출하는 것 등에 의해서 인식하는 것이 가능하다.
도 49는, 도 48의 변화 판정 분류부(240)의 구성예를 도시하고 있다.
입력 화상 기억부(231)는, 화상 입력부(11)가 출력하는 화상 데이터를 일시축적하고, 필요에 따라서, 클릭 주변 영역 추출부(233)와 정지 움직임 판정부(234)에 공급한다.
클릭 데이터 취득부(230)는, 수신 장치(2)로부터 전송로(3)를 통하여 송신되어 오는 클릭 데이터를 일시 기억하고, 클릭 주변 영역 추출부(233), 정지 움직임판정부(234), 입력간 시간 계산부(237), 및 입력 위치간 거리 계산부(238)에 공급한다.
여기서, 입력 화상 기억부(231)는, 도 37의 화상용 메모리(201)와 겸용할 수 있다. 또한, 클릭 데이터 기억부(232)는, 도 37의 클릭 데이터용 메모리(202)와 겸용할 수 있다.
클릭 주변 영역 추출부(233)는, 입력 화상 기억부(231)로부터 공급된 화상 데이터로부터, 클릭 데이터 기억부(232)로부터의 클릭 데이터에 대응하는 화상 영역(예를 들면, 클릭 위치를 중심으로 한 국소적인 소블록의 화상 영역, 이하, 특히 클릭 주변 영역이라고 부른다)을 추출한다. 이 클릭 주변 영역 추출부(233)에서 추출된 클릭 주변 영역의 데이터(클릭 주변 영역 축적부(235)에 보내지고, 축적된 후, 흥미 대상 영역 분류부(236)에 보내진다.
또한, 정지 움직임 판정부(234)는, 입력 화상 기억부(231)로부터의 화상 데이터와, 클릭 데이터 기억부(232)로부터의 클릭 데이터에 의해, 예를 들면 도 37의 실시예와 같은 프레임간 차분 등을 사용한 정지 움직임 판정을 행한다.
또, 이들 클릭 주변 영역 추출이나 정지 움직임 판정의 처리는, 도 38에서 설명한 바와 같은 처리에 의해 실현 가능하고, 여기서는 그 상세한 설명을 생략한다. 또한, 도 49에, 예를 들면, 그 클릭 주변 영역을 정지 영역 또는 움직임 영역으로 하는 판정 결과를 출력하도록 하여도 좋다. 본 실시예에서는, 설명을 간략화하기 위해서, 정지 움직임 판정 결과로서, 정지 클릭 또는 움직임 클릭이 출력되는 경우를 예로 들어 설명한다.
정지 움직임 판정부(234)에 의한 정지 움직임 판정 결과는, 입력간 시간 계산부(237)와 입력 위치간 거리 계산부(238)에 보내진다.
입력간 시간 계산부(237)는, 정지 움직임 판정 결과에 있어서, 클릭 데이터가 정지 클릭이라고 판정되었을 때, 전회의 정지 클릭의 입력이 이루어진 시각과, 현재의 정지 클릭의 입력시각과의 시간 간격을 계산한다. 또 이 경우의 시간 간격의 계산은, 현재의 정지 클릭의 입력시각과 전회의 정지 클릭의 입력시각의 사이에, 예를 들면 움직임 클릭이 존재하는지의 여부에 관계 없이 행해진다. 이 입력간 시간 계산부(237)에 의해 계산된 시간 간격의 데이터는, 흥미의 변화 판정부(239)에 보내진다.
또한, 위치간 거리 계산부(238)는, 정지 움직임 판정 결과에 있어서 클릭 데이터가 정지 클릭이라고 판정되었을 때, 전회의 정지 클릭의 입력이 이루어진 클릭 위치(좌표 위치)와, 현재의 정지 클릭의 입력이 이루어진 클릭 위치(좌표 위치)와의 간의 공간거리를 계산한다. 또, 이 경우의 공간거리의 계산은, 현재의 정지 클릭의 입력위치와 전회의 정지 클릭의 입력위치의 사이에, 예를 들면 움직임 클릭의 입력 위치가 존재하는지의 여부에 관계없이 행해진다. 이 입력 위치간 거리계산부(238)에 의해 계산된 공간거리의 데이터는, 흥미의 변화 판정부(239)에 보내진다.
흥미의 변화 판정부(239)에서는, 정지 움직임 판정 결과에 있어서 클릭 데이터가 정지 클릭이라고 판정되었을 때에 입력간 시간 계산부(237)에서 계산된 시간 간격과 위치간 거리 계산부(238)에서 계산된 공간거리를 사용하여, 유저의 흥미 대상이 변화하였는지의 여부를 판정한다. 즉, 흥미의 변화 판정부(239)에서는, 예를 들면, 시간 간격과 공간거리에 각각 소정의 가중 처리를 행하고, 그 가중 처리 후의 시간 간격이 소정의 임계치를 넘었는지의 여부 및, 가중 처리 후의 공간거리가 소정의 임계치(거리)를 넘었는지의 여부를 조사하여, 가중 처리 후의 시간 간격이 소정의 임계치를 넘었을 때, 및 /또는, 가중 처리 후의 공간거리가 소정의 임계치를 넘었을 때에, 유저의 흥미 대상이 변화하였다고 판정한다. 흥미의 변화 판정부(239)에 있어서, 흥미 대상의 변화 판정 결과는, 흥미 대상 영역 분류부(236)에 보내진다.
흥미의 변화 판정부(239)에 있어서 유저의 흥미 대상이 변화하고 있지 않다고 판정되었을 때, 흥미 대상 영역 분류부(236)에서는, 현시점에서 추출한 정지 클릭의 클릭 주변 영역은 전회(과거에) 추출된 정지 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역과 같은 화상 영역에 포함된다고 판단하여, 현시점에서 추출한 정지 클릭의 클릭 주변 영역을, 전회 추출된 정지 클릭의 클릭 주변 영역과 같은 흥미 대상 영역에 분류(예를 들면 같은 분류 번호를 붙인다)하여, 그 몫류결과를 출력한다. 즉, 흥미 대상 영역을, 예를 들면 오브젝트마다 분류하는 경우에는, 상술한 실시예와 마찬가지로 동일한 오브젝트 번호를 붙인다.
한편, 흥미의 변화 판정부(239)에 있어서 유저의 흥미 대상이 변화하였다고 판정되었을 때, 흥미 대상 영역 분류부(236)에서는, 현시점에서 추출한 정지 클릭의 클릭 주변 영역은 전회(과거에) 추출된 정지 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역에는 포함되지 않는다고 하여, 현시점에서의 정지 클릭의 클릭 주변화상에 관하는 축적데이터를 출력한 후, 클릭 주변 영역 축적부(235)에서 과거에 축적하고 있는 데이터를 리셋한다. 계속해서, 흥미 대상 영역 분류부(236)는, 현시점에서 추출된 정지 클릭의 클릭 주변 영역을, 전회 추출된 정지 클릭의 클릭 주변 영역과는 다른 흥미 대상 영역에 분류(예를 들면 다른 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을, 예를 들면 오브젝트마다 분류하는 경우에는, 상술에 있어서의 경우와 마찬가지로, 다른 새로운 오브젝트 번호를 붙인다.
다음에, 정지 움직임 판정 결과에 있어서 클릭 데이터가 움직임 클릭이라고 판정되었을 때도 마찬가지로, 입력간 시간 계산부(237)에서는, 전회의 움직임 클릭의 입력이 이루어진 시각과, 현재의 움직임 클릭의 입력시각과의 시간 간격을 계산한다. 또 이 경우의 시간 간격의 계산은, 현재의 움직임 클릭의 입력시각과 전회의 움직임 클릭의 입력시각의 사이에, 예를 들면 정지 클릭이 존재하였는지의 여부에 관계없이 행해진다. 입력간 시간 계산부(237)에 의해 계산된 시간 간격의 데이터는, 흥미의 변화 판정부(239)에 보내진다.
또한, 정지 움직임 판정 결과에 있어서 클릭 데이터가 움직임 클릭이라고 판정되었을 때도 마찬가지로, 위치간 거리 계산부(238)는, 전회의 움직임 클릭의 입력이 이루어진 클릭 위치와, 현재의 움직임 클릭의 입력이 이루어져 클릭 위치와 사이의 공간거리를 계산한다. 또, 이 경우의 공간거리의 계산은, 현재의 움직임 클릭의 입력위치와 전회의 움직임 클릭의 입력위치의 사이에, 예를 들면 정지 클릭의 입력위치가 존재하는지의 여부에 관계없이 행해진다. 입력 위치간 거리 계산부(238)에 의해 계산된 공간거리의 데이터는, 흥미의 변화 판정부(239)에 보내진다.
더욱이, 흥미의 변화 판정부(239)는, 정지 움직임 판정 결과에 있어서 클릭 데이터가 움직임 클릭이라고 판정되었을 때에 입력간 시간 계산부(237)에서 계산된 시간 간격과 위치간 거리 계산부(238)로 계산된 공간거리를 사용하여, 유저의 흥미 대상이 변화하였는지의 여부를 판정한다. 즉, 흥미의 변화 판정부(239)에서는, 시간 간격과 공간거리에 각각 소정의 가중 처리를 행하고, 그 가중 처리 후의 시간 간격이 소정의 임계치(시간)를 넘었는지의 여부, 및, 가중 처리 후의 공간거리가 소정의 임계치(거리)를 넘었는지의 여부를 조사하여, 가중 처리 후의 시간 간격이 소정의 임계치을 넘었을 때, 및/또는, 가중 처리 후의 공간거리가 소정의 임계치를 넘었을 때에, 유저의 흥미 대상이 변화하였다고 판정한다. 흥미의 변화 판정부(239)에 있어서, 흥미 대상의 변화 판정 결과는, 흥미 대상 영역 분류부(236)에 보내진다.
또한, 흥미 대상 영역 분류부(236)는, 흥미의 변화 판정부(239)에 있어서 유저의 흥미 대상이 변화하지 않고 있다고 판정되었을 때, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역은 전회(과거에) 추출된 움직임 클록의 클릭 주변 영역에 대응하는 흥미 대상 영역과 같은 화상 영역에 포함된다고 판단하여, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역을, 전회 추출된 움직임 클릭의 클릭 주변 영역과 동일한 흥미 대상 영역에 분류(예를 들면 같은 분류 번호를 붙인다)하고, 그 분류결과를 출력한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 것 같은 경우에는, 같은 오브젝트 번호를 붙인다.
한편, 흥미의 변화 판정부(239)에 있어서 유저의 흥미 대상이 변화하였다고 판정되었을 때, 흥미 대상 영역 분류부(236)에서는, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역은 전회(과거에) 추출된 움직임 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역에는 포함되지 않는 것으로서, 현시점에서의 움직임 클릭의 클릭 주변화상에 관한 축적 데이터를 출력한 후, 클릭 주변 영역 축적부(235)에서 과거에 축적하고 있는 데이터를 리셋한다. 계속해서, 흥미 대상 영역 분류부(236)는, 현시점에서 추출된 움직임 클릭의 클릭 주변 영역을, 전회 추출된 움직임 클릭의 클릭 주변 영역과는 다른 흥미 대상 영역에 분류(예를 들면, 다른 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 경우에는, 다른 새로운 오브젝트 번호를 붙인다.
도 50의 플로 챠트를 참조하여, 도 49의 변화 판정 분류부(240)의 처리에 대하여 설명한다.
스텝(S201)으로서, 화상 입력부(11)로부터의 화상 데이터와, 수신 장치(2)의 유저에 의해 입력된 클릭 데이터를 취득한다.
다음에, 스텝(S202)으로서, 화상 입력부(11)로부터 공급된 화상 데이터는, 입력 화상 기억부(231)에 축적되고, 클릭 데이터 취득부(230)에서 취득된 클릭 데이터는, 클릭 데이터 기억부(232)에 기억된다.
다음에, 스텝(S203)으로서, 클릭 주변 영역 추출부(233)에서는, 입력 화상 기억부(231)에 축적된 후에 판독된 화상으로부터, 클릭 데이터에 대응하는 화상 영역(클릭 주변 영역)을 추출하고, 더욱이, 스텝(S204)으로서, 클릭 주변 영역 축적부(235)에서는, 그 추출한 클릭 주변 영역의 데이터를 축적한다.
다음으로, 스텝(S205)으로서, 정지 움직임 판정부(234)에서는, 상술한 바와 같이 프레임간 차분 등을 이용한 정지 움직임 판정을 행한다.
이 스텝(S205)에 있어서, 클릭 데이터가 정지 클릭이라고 판정된 경우에는, 스텝(S206) 이후의 처리로 진행되고, 한편, 움직임 클릭이라고 판정된 경우에는, 스텝(S212) 이후의 처리로 진행된다.
스텝(S205)에 있어서 정지 클릭이라고 판정되어 스텝(S206)의 처리로 진행되면, 입력간 시간 계산부(237)에서는, 전회의 정지 클릭의 입력이 이루어진 시각과, 현재의 정지 클릭의 입력 시각의 시간 간격을 계산한다. 또한, 이 경우의 시간 간격의 계산은, 현재의 정지 클릭의 입력 시각과 전회의 정지 클릭의 입력 시각 사이에, 예를 들면 움직임 클릭이 존재하는지의 여부에 관계 없이 행하여진다.
다음에, 스텝(S207)에 있어서, 입력 위치간 거리 계산부(238)에서는, 전회의 정지 클릭의 입력이 이루어진 클릭 위치(좌표 위치)와 현재의 정지 클릭의 입력이 이루어진 클릭 위치(좌표 위치) 사이의 공간 거리를 계산한다. 또한, 이 경우의 공간 거리의 계산은, 현재의 정지 클릭의 입력 위치와 전회의 정지 클릭의 입력 위치 사이에, 예를 들면 움직임 클릭의 입력 위치가 존재하는지의 여부에 관계 없이 행하여진다.
다음에, 스텝(S208)의 처리로서, 흥미의 변화 판정부(239)에서는, 스텝(S206)에서 계산된 시간 간격과, 스텝(S207)에서 계산된 공간 거리를 사용하여, 유저의 흥미 대상이 변화하였는지의 여부를 판정한다. 즉, 흥미의 변화 판정부(239)에서는, 상술한 바와 같이 , 시간 간격과 공간 거리에 각각 소정의 가중 처리를 행하고, 그 가중 처리 후의 시간 간격이 소정의 임계치(시간)를 초과하였는지의 여부, 및, 가중 처리 후의 공간 거리가 소정의 임계치(거리)를 초과하였는지의 여부를 조사하여, 가중 처리 후의 시간 간격이 소정의 임계치를 넘었을 때, 및 /또는, 가중 처리 후의 공간 거리가 소정의 임계치를 넘었을 때에, 유저의 흥미 대상이 변화하였다고 판정한다. 이 스텝(S208)에 있어서, 흥미 대상이 변화하였다고 판정한 경우에는 스텝(S209)의 처리로 진행되고, 흥미 대상이 변화하지 않았다고 판정한 경우에는 스텝(S211)의 처리로 진행된다.
스텝(S208)에 있어서 유저의 흥미 대상이 변화하지 않았다고 판정되어 스텝(S211)의 처리로 진행되면, 흥미 대상 영역 분류부(236)에서는, 현시점에서 추출한 정지 클릭의 클릭 주변 영역은, 전회(과거에) 추출된 정지 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역과 같은 화상 영역에 포함된다고 판단하여, 현시점에서 추출한 정지 클릭의 클릭 주변 영역을, 전회 추출된 정지 클릭의 클릭 주변 영역과 같은 흥미 대상 영역으로 분류(예를 들면 같은 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 경우에는, 상술한 실시예와 마찬가지로 같은 오브젝트 번호를 붙인다. 이 스텝(S211)의 처리 후에는, 스텝(S218)으로 진행된다.
한편, 스텝(S208)에 있어서 유저의 흥미 대상이 변화하였다고 판정되어 스텝(S209)의 처리로 진행되면, 흥미 대상 영역 분류부(236)에서는, 현시점에서 추출한 정지 클릭의 클릭 주변 영역은, 전회(과거에) 추출된 정지 클릭의 클릭 주변영역에 대응하는 흥미 대상 영역에는 포함되지 않는다고 하여, 현시점에서의 정지 클릭의 클릭 주변 화상에 관한 축적 데이터를 출력한 후, 과거에 축적되어 있는 데이터를 리셋한다. 계속해서, 흥미 대상 영역 분류부(236)에서는, 스텝(S210)에 있어서, 현시점에서 추출한 정지 클릭의 클릭 주변 영역을, 전회 추출된 정지 클릭의 클릭 주변 영역과는 다른 흥미 대상 영역으로 분류(예를 들면 다른 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 경우에는, 상술한 실시예와 마찬가지로 다른 새로운 오브젝트 번호를 붙인다. 이 스텝(S211)의 처리 후에는, 스텝(S218)으로 진행된다.
이에 대하여, 스텝(S205)에 있어서 움직임 클릭이라고 판정되어 스텝(S212)의 처리로 진행되면, 흥미의 변화 판정부(239)에서는, 전회의 움직임 클릭의 입력이 이루어진 시각과, 현재의 움직임 클릭의 입력 시각의 시간 간격을 계산한다. 또한 이 경우의 시간 간격의 계산은, 현재의 움직임 클릭의 입력 시각과 전회의 움직임 클릭의 입력 시각 사이에, 예를 들면 정지 클릭이 존재하는지의 여부에 관계 없이 행하여진다.
다음에, 스텝(S213)에 있어서, 흥미의 변화 판정부(239)는, 전회의 움직임 클릭의 입력이 이루어진 클릭 위치와, 현재의 움직임 클릭의 입력이 이루어진 클릭 위치 사이의 공간 거리를 계산한다. 또한 이 경우의 공간 거리의 계산은, 현재의 움직임 클릭의 입력 위치와 전회의 움직임 클릭의 입력 위치 사이에, 예를 들면 정지 클릭의 입력 위치가 존재하는지의 여부에 관계 없이 행하여진다.
다음에, 흥미의 변화 판정부(239)는, 스텝(S214)의 처리로서, 스텝(S212)에서 계산된 시간 간격과, 스텝(S213)에서 계산된 공간 거리를 사용하여, 유저의 흥미 대상이 변화하였는지의 여부를 판정한다. 즉, 흥미의 변화 판정부(239)에서는, 예를 들면 시간 간격과 공간 거리에 각각 소정의 가중 처리를 행하고, 그 가중 처리 후의 시간 간격이 소정의 임계치(시간)를 초과하였는지의 여부, 및, 가중 처리 후의 공간 거리가 소정의 임계치(거리)를 초과하였는지의 여부를 조사하여, 가중 처리 후의 시간 간격이 소정의 임계치를 넘었을 때, 및 /또는, 가중 처리 후의 공간 거리가 소정의 임계치를 넘었을 때에, 유저의 흥미 대상이 변화하였다고 판정한다. 이 스텝(S214)에 있어서, 흥미 대상이 변화하였다고 판정한 경우에는 스텝(S215)의 처리로 진행되고, 흥미 대상이 변화하지 않았다고 판정한 경우에는 스텝(S217)의 처리로 진행된다.
스텝(S214)에 있어서 유저의 흥미 대상이 변화하지 않았다고 판정되어 스텝(S217)의 처리로 진행되면, 흥미 대상 영역 분류부(236)는, 상술한 바와 같이 현시점에서 추출한 움직임 클릭의 클릭 주변 영역은, 전회(과거에) 추출된 움직임 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역과 같은 화상 영역에 포함된다고 판단하여, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역을, 전회 추출된 움직임 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역으로 분류(예를 들면 같은 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 경우에는, 상술한 실시예와 같이 오브젝트 번호를 붙인다. 이 스텝(S217)의 처리 후에는, 스텝(S218)으로 진행된다.
한편, 스텝(S214)에 있어서 유저의 흥미 대상이 변화하였다고 판정되어스텝(S215)의 처리로 진행되면, 흥미 대상 영역 분류부(236)는, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역은, 전회(과거에) 추출된 움직임 클릭의 클릭 주변 영역에 대응하는 흥미 대상 영역에는 포함되지 않는다고 하여, 현시점에서의 움직임 클릭의 클릭 주변 화상에 관한 축적 데이터를 출력한 후, 과거에 축적하고 있는 데이터를 리셋한다. 계속해서, 흥미 대상 영역 분류부(236)는, 스텝(S216)에 있어서, 현시점에서 추출한 움직임 클릭의 클릭 주변 영역을, 전회 추출된 움직임 클릭의 클릭 주변 영역과는 다른 흥미 대상 영역으로 분류(예를 들면 다른 분류 번호를 붙인다)한다. 즉, 흥미 대상 영역을 예를 들면 오브젝트마다 분류하는 경우에는, 상술한 실시예와 마찬가지로 다른 새로운 오브젝트 번호를 붙인다. 이 스텝(S216)의 처리 후에는, 스텝(S218)으로 진행된다.
스텝(S210, S211, S216, S217)의 처리 후, 스텝(S218)의 처리로 진행되면, 변화 판정 분류부(240)는, 모든 처리가 종료하였는지의 여부를 판정하고, 종료하지 않았다고 판정한 경우에는 스텝(S201)으로 되돌아가고, 종료하였다고 판정한 경우에는, 이 도 50의 처리를 끝낸다.
다음에, 도 51의 플로 챠트를 참조하여, 도 50의 스텝(S208 및 S214)에서 행해지는 흥미 대상의 변화 판정 처리의 상세에 대해서 설명한다.
흥미의 변화 판정부(239)는, 스텝(S221)으로서, 시간 간격의 정보를 취득한 후, 스텝(S222)으로서, 시간 간격에 소정의 가중을 행한다. 또한, 흥미의 변화 판정부(239)는, 스텝(S223)으로서, 공간 거리의 정보를 취득한 후, 스텝(S224)으로서, 공간 거리에 소정의 가중을 행한다. 또한, 스텝(S221 및 S222)과, 스텝(S223및 S224)의 처리는, 무엇을 먼저 행하여도 좋다. 여기서, 시간 간격에 대하여 실시되는 가중은, 예를 들면 시간 단위를 압축(일 예로서 ㎳/10과 같은 압축)하는 처리를 생각할 수 있다. 또한, 공간 거리에 대한 가중은, 예를 들면 수평, 수직 방향에 있어서의 화소 간격을 압축하는 처리를 고려할 수 있다.
다음에, 스텝(S225)의 처리로 진행되면, 흥미의 변화 판정부(239)는, 가중 처리 후의 시간 간격(t)과, 수평, 수직 방향에 있어서의 공간 거리(x좌표와 y좌표)를 사용하여 3차원 벡터를 생성하고, 그 3차원 벡터의 크기를 구한다. 여기서의 3차원 벡터의 크기는, 클릭 데이터에 의한 입력 위치의 x좌표축과 y좌표축에, 시간축(t)을 더한 3차원 공간에 있어서의 현재의 입력점과 전회의 입력점 사이의 유클리드 거리를 구하는 것과 같은 값이다. 이 스텝(S225)의 처리 후에는, 스텝(S226)으로 진행된다.
스텝(S226)의 처리로 진행되면, 흥미의 변화 판정부(239)는, 스텝(S225)에서 구한 3차원 벡터의 크기가, 소정의 임계치 이하인지의 여부의 판정을 행한다. 이 스텝(S226)에 있어서, 3차원 벡터의 크기가 소정의 임계치 이하인 경우는, 스텝(S227)에서 수신 장치(2)의 유저의 흥미 대상에 변화는 없다고 판정하고, 임계치보다 큰 경우는 스텝(S228)에서 유저의 흥미 대상에 변화가 있다고 판정한다.
이상과 같이 하여, 변화 판정 분류부(240)에서는, 수신 장치(2)로부터의 클릭 데이터에 근거하는 유저의 흥미 대상의 변화 판정과 그 분류를 실현하고 있다.
또한, 이와 같이 수신 단말(2)의 유저의 흥미 대상 영역을 분류 가능하게 함으로써, 그 분류된 흥미 대상 영역마다 최적의 처리를 행하는 것이 가능해진다.즉, 예를 들면, 상술한 바와 같이 분류된, 수신 단말(2)의 유저의 흥미 대상 영역마다, 예를 들면, 정보량을 많이 할당하여 전송하도록 하거나, 우선적으로 그 흥미 대상 영역의 데이터로부터 송신하는 등의 처리를 행하는 것이 가능해진다.
또한, 흥미 대상 영역(236)에 있어서, 클릭 주변 영역 축적부(235)로부터 판독된(출력된) 화상 영역에 대하여, 상술한 바와 같은 공간 해상도를 향상시키는 데이터 전송을 행하는 것도 가능해진다.
더욱이, 이 예의 경우, 예를 들면, 수신 장치(2)의 유저가 원하는 흥미 대상 영역 이외의 영역을 잘못하여 클릭한 경우에도, 그 미스 클릭에 의해서 잘못된 흥미 대상 영역 판정을 행하는 것을 방지할 수 있다.
더욱이, 이 실시예의 경우, 흥미 대상 영역으로서, 예를 들면 어느 정도 의미를 갖은 하나의 오브젝트가, 공간적 또는 시간적으로 분리한 것이라고 해도, 오브젝트를 하나의 오브젝트로서 분류 가능해지고, 또한, 예를 들면 물체와 같은 오브젝트 이외의, 어느 정도 의미를 갖은 영역을 추출하는 것도 가능해진다.
또한, 도 37에서 도 46까지에서 설명한 실시예와, 도 49에서 도 51까지에서 설명한 실시예를 조합하는 것도 가능한 것은 말할 필요도 없다. 이 경우, 스텝(S206) 및 스텝(S207)에 있어서, 상술한 정지 클릭에 대한 연속 클릭 판정을 행하고, 마찬가지로, 스텝(S212) 및 스텝(S213)에 있어서, 상술한 움직임 클릭에 대한 연속 클릭 판정을 행하면 좋다.
다음에, 도 52는, 도 1의 화상 전송 시스템의 제 3 구성예를 도시하고 있다. 또한, 도면 중, 도 28에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은, 적절하게 생략한다. 즉, 도 52의 화상 전송 시스템은, 교환국(3-3)이, 과금 서버(4)를 갖고 있는 것 외에는, 도 28에 있어서의 경우와 기본적으로 같게 구성되어 있다.
상술한 바와 같은, 수신 장치(2)로부터 송신 장치(1)에 대하여, 클릭 데이터(또는, 제어 정보)를 송신하고, 송신 장치(1)로부터 수신 장치(2)에 대하여, 그 클릭 데이터에 근거하여, 공간 해상도가 향상된 화상을 제공하는 서비스(이하, 적절하게, 클릭 서비스라고 한다)는, 무료로 행하는 것도 가능하지만, 유료로 행하는 것도 가능하며, 과금 서버(4)는, 클릭 서비스를 유료로 행하는 경우에, 그 클릭 서비스의 제공에 대한 대금을 징수하기 위한 과금 처리를 행한다.
즉, 도 53은, 도 52의 과금 서버(4)의 구성예를 도시하고 있다.
통신 링크 확립 검출부(301)에는, 교환국(3-3)으로부터 소정의 정보가 공급되도록 되어 있고, 통신 링크 확립 검출부(301)는, 교환국(3-3)으로부터의 정보를 참조함으로써, 송신 장치로서의 단말(1), 및 수신 장치로서의 단말(2) 등의 단말끼리 간의 통신 링크가 확립된 것을 검출하여, 단말 인식부(302)로 공급한다.
단말 인식부(302)는, 통신 링크 확립 검출부(301)로부터, 송신 장치(1)와 수신 장치(2) 등의, 단말끼리 간의 통신 링크가 확립된 취지의 정보(이하, 적절하게, 통신 링크 확립 정보라고 한다)를 수신하면, 교환국(3-3)으로부터 공급되는 정보를 참조함으로써, 그 통신 링크가 확립된 단말을 인식하고, 더욱이, 그 단말에 부가되어 있는 ID(Identification; 이하, 적절하게, 단말 ID라고 한다)를 인식하여, 클릭 검출부(303)로 공급한다.
클릭 검출부(303)는, 교환국(3-3)을 경유하는 데이터를 모니터하고 있고, 단말 인식부(302)로부터 수신한 단말 ID의 단말로부터 송신된 클릭 데이터를 검출하여, 그 검출 결과를, 클릭 데이터를 송신하여 온 단말의 단말 ID와 함께, 과금 처리부(304)로 공급한다.
여기서, 예를 들면, 수신 장치(2)는, 클릭 데이터를 자신의 단말 ID를 부가하여 송신하도록 되어 있고, 클릭 검출부(303)는, 교환국(3-3)을 경유하는 클릭 데이터에 부가되어 있는 단말 ID와, 단말 인식부(302)로부터 공급되는 단말 ID를 비교함으로써, 통신 링크가 확립된 단말로부터 송신되는 클릭 데이터를 인식, 검출한다.
여기서, 이하, 적절하게, 클릭 검출부(303)의 클릭 데이터의 검출 결과와 단말 ID의 세트를 클릭 검출 정보라고 한다.
과금 처리부(304)는, 클릭 검출부(303)로부터 클릭 검출 정보를 수신하면, 그 클릭 검출 정보에 근거하여, 과금 데이터 베이스(305)의 기억 내용을 갱신한다. 더욱이, 과금 처리부(304)는, 과금 데이터 베이스(305)의 기억 내용에 근거하여, 예를 들면, 정기적으로(예를 들면, 1개월에 1회 등) 과금 처리를 행한다.
과금 데이터 베이스(305)는, 과금에 필요한 정보를 기억한다.
다음에, 도 54의 플로 챠트를 참조하여, 도 53의 과금 서버(4)의 처리에 대해서 설명한다.
통신 링크 확립 검출부(301)는, 교환국(3-3)으로부터 공급되는 정보에 근거하여, 단말끼리 간의 통신 링크가 확립되었는지의 여부를 감시하고 있고, 예를 들면, 송신 장치(1)와 수신 장치(2) 사이의 통신 링크가 확립된 것을 검출하면, 통신 링크 확립 정보를 단말 인식부(302)로 공급한다.
단말 인식부(302)는, 통신 링크 확립 검출부(301)로부터 통신 링크 확립 정보를 수신하면, 스텝(S301)에 있어서, 교환국(3-3)으로부터 공급되는 정보를 참조함으로써, 그 통신 링크가 확립된 단말로서의, 예를 들면, 송신 장치(1)와 수신 장치(2) 각각의 단말 ID를 인식하여, 클릭 검출부(303)로 공급한다.
클릭 검출부(303)는, 단말 인식부(302)로부터 단말 ID를 수신하면, 그 단말 ID가 부가되어 있는 클릭 데이터의 검출을 개시한다.
그리고, 스텝(S302)으로 진행되어, 과금 처리부(304)는, 통신 링크가 확립되어 있는 단말로부터의 클릭 데이터가 검출되었는지의 여부를 판정한다. 스텝(S302)에 있어서, 통신 링크가 확립되어 있는 단말로부터의 클릭 데이터가 검출되어 있지 않다고 판정된 경우, 즉, 클릭 검출부(303)로부터 과금 처리부(304)에 대하여, 클릭 검출 정보가 공급되어 있지 않은 경우, 스텝(S303)를 스킵하여, 스텝(S304)으로 진행된다.
또한, 스텝(S302)에 있어서, 통신 링크가 확립되어 있는 단말로부터의 클릭 데이터가 검출되었다고 판정된 경우, 즉, 클릭 검출부(303)로부터 과금 처리부(304)에 대하여, 클릭 검출 정보가 공급된 경우, 스텝(S303)으로 진행되고, 과금 처리부(304)는 과금 데이터 베이스(305)의 기억 내용을 갱신한다.
즉, 과금 데이터 베이스(305)는, 단말로부터 발호(發呼)를 행하여 통신을 개시한 경우의 통신 시간 외, 그 단말에서 행하여진 클릭의 회수나 시간 등의 클릭에관한 정보(이하, 적절하게, 클릭 정보라고 한다)를, 그 단말의 단말 ID와 대응지어 기억하고 있고, 스텝(S303)에서는, 과금 처리부(304)는, 클릭 검출 정보에 근거하여, 그 클릭 검출 정보에 포함되는 단말 ID에 대응지어져 있는 클릭 정보를 갱신한다.
스텝(S303)의 처리 후에는, 스텝(S304)으로 진행되어, 단말 인식부(302)는, 통신 링크 확립 검출부(301)로부터의 통신 링크 확립 정보에 의해서 알려진 통신 링크가 절단되었는지의 여부를 판정한다.
즉, 통신 링크 확립 검출부(301)는, 단말끼리 간의 통신 링크의 확립뿐만 아니라, 확립된 통신 링크가 절단되었는지 여부도 감시하고 있어, 통신 링크가 절단된 경우에는, 그 취지의 정보로서의 통신 링크 절단 정보를, 단말 인식부(302)로 공급하도록 되어 있다. 그리고, 스텝(S304)에서는, 단말 인식부(302)는, 이 통신 링크 절단 정보에 근거하여, 통신 링크가 절단되었는지의 여부를 판정한다.
스텝(S304)에 있어서, 통신 링크가 절단되어 있지 않다고 판정된 경우, 스텝(S302)으로 되돌아가서, 이하, 같은 처리가 반복된다.
또한, 스텝(S304)에 있어서, 통신 링크가 절단되었다고 판정된 경우, 단말 인식부(302)는, 그 절단된 통신 링크가 붙어 있던 단말에 의한 클릭 데이터의 감시를 종료하도록, 클릭 검출부(303)를 제어하고, 처리를 종료한다.
그 후, 과금 처리부(304)는, 정기적으로, 과금 데이터 베이스(305)를 참조함으로써, 과금 처리를 행하고, 통신료와 함께, 클릭 서비스에 대한 대금을 계산하여, 예를 들면, 유저의 은행 구좌 등으로부터 인출한다.
또한, 클릭 서비스에 대한 대금은, 예를 들면, 1회의 클릭당의 단가를 설정하고 두고, 클릭의 회수에 따라서 계산할 수 있다. 또는, 클릭 서비스에 대한 대금은, 예를 들면, 단위 시간의 클릭에 대한 단가를 설정하여 두고, 클릭의 시간에 따라서 계산할 수 있다. 더욱이, 클릭의 회수와 시간의 양쪽에 따라서 계산하는 것 등도 가능하다.
다음에, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해서 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어로서의 송신 장치(1)나 수신 장치(2) 등에 내장되어 있는 컴퓨터나, 범용의 컴퓨터 등에 인스톨된다.
그래서, 도 55는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 1실시예의 구성예를 도시하고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(405)나 ROM(403)에 미리 기록하여 둘 수 있다.
또는, 프로그램은, 플로피 디스크, CD­R0M(Compact Disc Read 0nly Memory), M0(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블(removable) 기록 매체(411)에, 일시적 또는 영속적으로 격납(기록)하여 둘 수 있다. 이러한 리무버블 기록 매체(411)는, 이른바 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(411)로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 디지털 위성 방송용의 인공 위성을통해서, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통해서 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되는 프로그램을, 통신부(408)에서 수신하여, 내장하는 하드디스크(405)에 인스톨할 수 있다.
컴퓨터는, CPU(402; Central Processing Unit)를 내장하고 있다. CPU(402)에는, 버스(401)를 통해서, 입출력 인터페이스(410)가 접속되어 있고, CPU(402)는, 입출력 인터페이스(410)를 통해서, 유저에 의해서, 키보드, 마우스, 마이크 등으로 구성되는 입력부(407)가 조작 등 됨으로써 지령이 입력되면, 그에 따라서, ROM(403; Read 0nly Memory)에 격납되어 있는 프로그램을 실행한다. 또한, CPU(402)는, 하드디스크(405)에 격납되어 있는 프로그램, 위성 또는 네트워크로부터 전송되어, 통신부(408)에서 수신되어 하드디스크(405)에 인스톨된 프로그램, 또는 드라이브(409)에 장착된 리무버블 기록 매체(411)로부터 판독되어 하드디스크(405)에 인스톨된 프로그램을, RAM(404; Random Access Memory)에 로드하여 실행한다. 이로서, CPU(402)는, 상술한 도 4나, 도 6, 도 10, 도 14, 도 21 내지 도 24, 도 27, 도 30, 도 32, 도 34, 도 36, 도 38, 도 39, 도 41, 도 43 내지 도 45, 도 50, 도 51, 도 54에 도시한 플로 챠트에 따른 처리, 또는 상술한 도 3, 도 5, 도 7, 도 8, 도 11 내지 도 13, 도 17, 도 25, 도 29, 도 31, 도 33, 도 35, 도 37, 도 47 내지 도 49, 도 53의 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(402)는, 그 처리 결과를, 필요에 따라서, 예를 들면, 입출력 인터페이스(410)를 통해서, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(406)로부터 출력, 또는, 통신부(408)로부터 송신, 또는, 하드디스크(405)에 기록 등을 시킨다.
여기서, 본 명세서에 있어서, 컴퓨터에 각종의 처리를 행하게 하기 위한 프로그램을 기술하는 처리 스텝은, 반드시 플로 챠트에 기재된 순서에 따라서 시 계열로 처리할 필요는 없고, 병렬적 또는 개별로 실행되는 처리(예를 들면, 병렬 처리 또는 오브젝트에 의한 처리)도 포함하는 것이다.
또한, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이어도 좋고, 복수의 컴퓨터에 의해서 분산 처리되는 것이어도 좋다. 더욱이, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 좋다.
또한, 본 실시예에서는, 송신 장치(1)에 있어서, 계층 부호화를 행하고, 어떤 계층의 데이터까지를 송신하는지에 의해서, 수신 장치(2)에서 표시되는 화상의 시간 해상도 및 공간 해상도를 바꾸도록 하였지만, 수신 장치(2)에서 표시되는 화상의 시간 해상도 및 공간 해상도의 변경은, 기타, 예를 들면, 송신 장치(1)에 있어서, 화상을 이산 코사인 변환하도록 하여, 어떤 다음 수까지의 계수를 송신하거나, 또는, 양자화를 행하도록 하여, 그 양자화 스텝을 변경하는 것 등에 의해서 행하는 것도 가능하다.
또한, 시간 해상도 및 공간 해상도의 변경은, 송신 장치(1)에 있어서의 화상의 부호화 방식을 변경함으로써 행하는 것도 가능하다. 즉, 통상의 시간 해상도로 화상의 표시를 행하는 경우에는, 예를 들면, 오브젝트에 대해서는, 송신 장치(1; 의 부호화부(31))에 있어서, 그 윤곽을 체인 부호화하는 동시에, 오브젝트를 구성하는 화소치(색)의 평균치를, 그 대표치로서 구하여, 이를 허프만 부호화 등의 엔트로피 부호화를 행하고, 수신 장치(2)에서는, 오브젝트의 영역 내를, 그 대표치로서의 색으로 칠한 것을 표시하도록 하여, 시간 해상도를 희생하고, 공간 해상도를 향상시킨 화상의 표시를 행하는 경우에는, 상술한 바와 같이, 계층 부호화를 사용하도록 하는 것이 가능하다.
더욱이, 본 실시예에서는, 화상의 시간 해상도를 희생하여, 그 공간 해상도를 향상시키도록 하였지만, 그 반대로, 공간 해상도를 희생하여, 시간 해상도를 향상시키도록 하는 것도 가능하다. 또한, 어느 쪽의 해상도를 향상시킬지(또는 희생할지)는, 예를 들면, 클릭 데이터 등의 제어 정보에 포함시켜서, 수신 장치(2)로부터 송신 장치(1)에 송신하도록 할 수 있다.
또한, 본 실시예에서는, 시간 해상도와 공간 해상도를 대상으로 하였지만, 본 발명은, 그 외, 예를 들면, 레벨 방향의 해상도(이하, 적절하게, 레벨 해상도라고 한다)를 대상으로 하는 것도 가능하다. 즉, 예를 들면, 데이터에 할당하는 비트 수를 증감함으로써, 시간 해상도나 공간 해상도를 증감하는 것이 가능하다. 이 경우, 예를 들면, 화상에 대해서는, 시간 해상도나 공간 해상도의 변화에 따라, 계조가 변화하게 된다. 또한, 레벨 해상도의 변경은, 예를 들면, 상술한 바와 같은 양자화 스텝의 변경 등에 의해서 행하는 것이 가능하다.
더욱이, 본 실시예에서는, 시간 해상도를 희생하여, 화상의 일부의 영역(우선 범위) 내의 공간 해상도를 향상시키도록 하였지만, 화상 전체의 공간 해상도를 향상시키도록 하는 것도 가능하다.
또한, 시간 해상도를 희생하지 않고, 즉, 시간 해상도를 유지한 채로, 화상의 일부분의 공간 해상도를 희생하여, 다른 부분의 공간 해상도를 향상시키는 것도 가능하다.
더욱이, 본 실시예에서는, 화상을, 배경과 오브젝트로 분리하여 처리를 행하도록 하였지만, 그와 같은 분리를 행하지 않고서 처리를 행하는 것도 가능하다.
기타, 본 발명은, 화상 데이터뿐만 아니라, 음성 데이터에도 적용 가능하다. 또한, 음성 데이터에 대해서는, 예를 들면, 샘플링 주파수가 시간 해상도에 대응하여, 음성 데이터로의 할당 비트량이 레벨 해상도에 대응하게 된다.
또한, 도 49에 도시한 변화 판정 분류부(240)에 의한 처리는, 예를 들면, 음성 신호에 포함되는 어떤 기본 주파수에 의해서, 음성의 특징량(예를 들면, 피치, 사람 음성의 원하는 부분, 음악에 있어서의 각 악기 등)을 추출하는 경우에도 적용 가능하다.
더욱이, 오브젝트 추출부(14나 1014), 변화 판정 분류부(240)에 있어서의 처리는, 이른바 오브젝트 부호화에 적용할 수 있다. 즉, 오브젝트 추출부(14나 1014), 변화 판정 분류부(240)에 있어서의 처리에 의하면, 오브젝트를 추출할 수 있기 때문에, 이 처리에 의해서 추출한 오브젝트는, 그 오브젝트의 윤곽 또는 영역을 나타내는 정보와, 그 움직임을 나타내는 정보 등을 구하는 오브젝트 부호화에 의하여 부호화하여, 전송하거나, 또는 기록하거나 하는 것이 가능하다.
또한, 수신 장치(2)에서는, 클릭 데이터를 사용하여, 오브젝트 추출부(1014)의 처리와 같은 처리를 행하여, 오브젝트를 추출하도록 하는 것이 가능하다. 이경우, 수신 장치(2)에 있어서, 추출한 오브젝트를 기억하여 두도록 함으로써, 오브젝트의 데이터 베이스를 구축하는 것이 가능해진다.
본 발명의 제 1 송신 장치 및 제 1 송신 방법, 제 1 기록 매체, 및 제 1 신호에 의하면, 수신 장치로부터 송신되는 제어 정보가 수신되고, 그 제어 정보에 따라서, 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도가 제어된다. 그리고, 그 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가, 수신 장치에 송신된다. 따라서, 예를 들면, 수신 장치에 있어서 표시되는 화상의 공간 방향의 해상도를 더욱 향상시키는 것 등이 가능해진다.
본 발명의 수신 장치 및 수신 방법, 제 2 기록 매체, 및 제 2 신호에 의하면, 제어 정보에 따라서, 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 송신 장치에, 제어 정보가 송신되는 한편, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신되어 출력된다. 따라서, 예를 들면, 출력되는 화상의 공간 해상도를 더욱 향상시키는 것 등이 가능해진다.
본 발명의 송수신 장치 및 송수신 방법, 제 3 기록 매체, 및 제 3 신호에 의하면, 송신 장치에 있어서, 수신 장치로부터 송신되는 제어 정보가 수신되고, 그 제어 정보에 따라서, 수신 장치에 송신하는 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도가 제어된다. 그리고, 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신 장치에 송신된다. 또한, 수신 장치에 있어서, 송신 장치에, 제어 정보가 송신되는 한편, 송신 장치로부터 송신되는 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 데이터가 수신되어 출력된다. 따라서, 예를 들면, 수신 장치에 있어서 표시되는 화상의 공간 방향의 해상도를 더욱 향상시키는 것 등이 가능해진다.
본 발명의 제 2 송신 장치 및 제 2 송신 방법, 제 4 기록 매체, 및 제 4 신호에 의하면, 수신 장치로부터 송신되는 제어 정보가 수신되어, 그 제어 정보에 따라서 데이터가 분류된다. 그리고, 데이터의 분류 결과에 따라서 데이터가 수신 장치에 송신된다. 따라서, 예를 들면, 유저가 주목하고 있는 화상의 영역을 그 영역이 움직이고 있는지, 또는 정지하여 있는지에 관계 없이 특정하여, 수신 장치에 송신하는 것 등이 가능해진다.

Claims (77)

  1. 데이터를 수신 장치에 송신하는 송신 장치에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 수단과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 수단과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 송신 수단을 구비하는 것을 특징으로 하는 송신 장치.
  2. 제 1 항에 있어서,
    상기 제어 수단은, 상기 제어 정보에 따라서 상기 수신 장치에 송신하는 화상 데이터의 시간 방향 및 공간 방향의 해상도를 제어하는 것을 특징으로 하는 송신 장치.
  3. 제 1 항에 있어서,
    상기 송신 수단은, 상기 데이터를 소정의 전송로를 통해서 소정의 전송 레이트로 상기 수신 장치에 송신하고,
    상기 제어 수단은, 상기 제어 정보에 따라서 상기 데이터의 전송 레이트가 상기 소정의 전송 레이트 내에 수속되도록, 상기 데이터의 해상도를 제어하는 것을특징으로 하는 송신 장치.
  4. 제 1 항에 있어서,
    상기 수신 장치는, 상기 송신 수단으로부터 송신되는 상기 데이터를 출력하고,
    상기 제어 정보는, 상기 수신 장치에 있어서출력되는 상기 데이터의 주목점을 포함하며,
    상기 제어 수단은, 상기 제어 정보에 따라서, 상기 데이터의 주목점을 포함하는 주목 영역의 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  5. 제 4 항에 있어서,
    상기 송신 수단은, 화상 데이터를 소정의 전송로를 통해서 소정의 전송 레이트로 상기 수신 장치에 송신하고,
    상기 수신 장치는, 상기 송신 수단으로부터 송신되는 상기 화상 데이터를 표시하며,
    상기 제어 정보는, 상기 수신 장치에 있어서 표시되는 상기 화상 데이터의 시공간 위치를 포함하고,
    상기 제어 수단은, 상기 제어 정보에 따라서, 상기 화상 데이터의 상기 시공간 위치를 포함하는 주목 영역의 공간 해상도를 향상시키는 동시에, 시간 해상도를 상기 화상 데이터의 전송 레이트가 상기 소정의 전송 레이트 내에 수속되도록 열화시키는 것을 특징으로 하는 송신 장치.
  6. 제 5 항에 있어서,
    상기 수신 장치에 송신하는 상기 화상 데이터로부터, 배경 화상 데이터를 추출하는 배경 화상 데이터 추출 수단을 더욱 구비하고,
    상기 제어 수단은, 상기 제어 정보에 포함되는 상기 시공간 위치가 상기 배경 화상 데이터를 나타낼 때, 그 배경 화상 데이터의 공간 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  7. 제 6 항에 있어서,
    상기 수신 장치에 송신하는 상기 화상 데이터와, 상기 배경 화상 데이터의 차분에 근거하여, 상기 화상 데이터로부터 오브젝트 화상 데이터를 추출하는 오브젝트 화상 데이터 추출 수단을 더욱 구비하고,
    상기 제어 수단은, 상기 제어 정보에 포함되는 상기 시공간 위치가 상기 오브젝트 화상 데이터를 나타낼 때, 그 오브젝트 화상 데이터의 공간 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  8. 제 7 항에 있어서,
    상기 배경 화상 데이터와 오브젝트 화상 데이터를 합성하여, 합성 데이터로 하는 합성 수단을 더욱 구비하고,
    상기 송신 수단은, 상기 합성 데이터를 상기 수신 장치에 송신하는 것을 특징으로 하는 송신 장치.
  9. 제 1 항에 있어서,
    상기 데이터를 입력하는 입력 수단을 더욱 구비하는 것을 특징으로 하는 송신 장치.
  10. 제 9 항에 있어서,
    상기 데이터는 화상 데이터이며,
    상기 입력 수단은, 화상을 촬상하여, 상기 화상 데이터를 출력하는 촬상 수단인 것을 특징으로 하는 송신 장치.
  11. 제 1 항에 있어서,
    휴대 전화기인 것을 특징으로 하는 송신 장치.
  12. 제 1 항에 있어서,
    상기 수신 장치의 유저의 기호를 분석하는 분석 수단을 더욱 구비하며,
    상기 제어 수단은, 상기 분석 수단에 의한 분석 결과에 따라서, 상기 데이터의 해상도를 제어하는 것을 특징으로 하는 송신 장치.
  13. 제 12 항에 있어서,
    상기 수신 장치는, 상기 송신 수단으로부터 송신되는 상기 데이터를 출력하고,
    상기 제어 정보는, 상기 수신 장치에 있어서 출력되는 상기 데이터의 주목점을 포함하며,
    상기 분석 수단은, 상기 주목점에 근거하여, 상기 유저의 기호를 분석하는 것을 특징으로 하는 송신 장치.
  14. 제 13 항에 있어서,
    상기 분석 수단은,
    상기 데이터의 주목점을 포함하는 주목 영역의 특징량을 추출하는 특징량 추출 수단과,
    상기 특징량에 근거하여, 상기 데이터로부터 상기 유저의 기호에 대응하는 소정의 영역을 검출하는 영역 검출 수단을 갖고,
    상기 제어 수단은, 상기 데이터의 상기 소정의 영역의 해상도를 제어하는 것을 특징으로 하는 송신 장치.
  15. 제 14 항에 있어서,
    상기 분석 수단은, 상기 특징량의 히스토그램을 기억하는 히스토그램 기억 수단을 더욱 갖고,
    영역 검출 수단은, 상기 히스토그램에 근거하여, 상기 소정의 영역을 검출하는 것을 특징으로 하는 송신 장치.
  16. 제 14 항에 있어서,
    상기 송신 수단은, 화상 데이터를 소정의 전송로를 통해서 소정의 전송 레이트로 상기 수신 장치에 송신하고,
    상기 수신 장치는, 상기 송신 장치로부터 송신되는 상기 화상 데이터를 표시하며,
    상기 제어 수단은, 상기 화상 데이터의 상기 소정의 영역의 공간 해상도를 향상시키는 동시에, 시간 해상도를 상기 화상 데이터의 전송 레이트가 상기 소정의 전송 레이트 내에 수속되도록 열화시키는 것을 특징으로 하는 송신 장치.
  17. 제 15 항에 있어서,
    상기 영역 검출 수단은, 상기 히스토그램에 있어서 회수가 가장 큰 특징량과 동일 또는 유사한 특징량을 갖는 영역을, 상기 소정의 영역으로서 검출하는 것을 특징으로 하는 송신 장치.
  18. 제 17 항에 있어서,
    상기 송신 수단은, 화상 데이터를 소정의 전송로를 통해서 소정의 전송 레이트로 상기 수신 장치에 송신하고,
    상기 수신 장치는, 상기 송신 수단으로부터 송신되는 상기 화상 데이터를 표시하며,
    상기 제어 수단은, 상기 화상 데이터의 상기 소정의 영역의 공간 해상도를 향상시키는 동시에, 시간 해상도를, 상기 화상 데이터의 전송 레이트가 상기 소정의 전송 레이트 내에 수속되도록 열화시키는 것을 특징으로 하는 송신 장치.
  19. 제 16 항에 있어서,
    상기 특징량 추출 수단은, 상기 화상 데이터의 상기 주목점을 포함하는 주목 영역의 움직임 정보, 안쪽 길이 정보, 위치 정보, 색 정보, 또는 형상 정보 중의 1 이상을 상기 특징량으로서 추출하는 것을 특징으로 하는 송신 장치.
  20. 제 19 항에 있어서,
    상기 특징량 추출 수단은, 상기 움직임 정보, 안쪽 길이 정보, 위치 정보, 색 정보, 또는 형상 정보 중의 복수를 상기 특징량으로서 추출하고, 그 복수의 특징량으로 이루어지는 특징량 벡터를 생성하는 것을 특징으로 하는 송신 장치.
  21. 제 13 항에 있어서,
    상기 분석 수단은,
    상기 데이터의 상기 주목점을 포함하는 주목 영역에 따라서, 상기 데이터를 분류하는 분류 수단을 갖고,
    상기 분류 수단에 의한 분류 결과에 따라서, 상기 유저의 기호를 분석하는 것을 특징으로 하는 송신 장치.
  22. 제 21 항에 있어서,
    상기 데이터는 화상 데이터이며,
    상기 분석 수단은,
    상기 화상 데이터의 상기 주목 영역의 정지 움직임 판정을 행하는 정지 움직임 판정 수단과,
    상기 주목점의 시공간 방향의 연속성의 판정을 행하는 연속성 판정 수단을 더욱 갖고,
    상기 분류 수단은, 상기 정지 움직임 판정 수단 및 연속성 판정 수단에 의한 판정 결과에 따라서, 상기 화상 데이터를 분류하는 것을 특징으로 하는 송신 장치.
  23. 제 22 항에 있어서,
    상기 분석 수단은,
    정지하고 있는 상기 주목 영역 내에 있고, 또한 시공간 방향으로 연속하고 있는 상기 주목점과, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 상기 주목점을 기억하는 주목점 기억 수단과,
    상기 주목점 기억 수단에 기억되는 상기 주목점에 부가하는 분류 식별자를 구하여, 상기 주목점에 부가하는 분류 식별자 부가 수단을 더욱 갖는 것을 특징으로 하는 송신 장치.
  24. 제 23 항에 있어서,
    상기 분류 식별자 부가 수단은, 현재의 상기 주목점이, 정지하고 있는 상기 주목 영역 내에 있고, 또한 시공간 방향으로 연속하고 있는 것인 경우에 있어서, 상기 주목점 기억 수단에 기억된 전회의 상기 주목점이, 정지하고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것일 때, 현재의 상기 주목점의 위치와, 전회의 상기 주목점이 속하는 영역의 공간적인 위치 관계에 근거하여, 현재의 상기 주목점에 부가하는 분류 식별자를 구하는 것을 특징으로 하는 송신 장치.
  25. 제 23 항에 있어서,
    상기 분류 식별자 부가 수단은, 현재의 상기 주목점이, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것인 경우에 있어서, 상기 주목점 기억 수단에 기억된 전회의 상기 주목점이, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것일 때, 현재의 상기 주목점을 포함하는 상기 주목 영역과, 전회의 상기 주목점을 포함하는 상기 주목 영역의 소정의 특징량의 유사도에 따라서, 현재의 상기 주목점에 부가하는 분류 식별자를 구하는 것을 특징으로 하는 송신 장치.
  26. 제 23 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을 유저의 기호에 대응하는 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  27. 제 26 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점 중의 정지하고 있는 상기 주목 영역 내에 있으며, 또한 상기 분류 식별자가 동일한 것의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을, 유저의 기호에 대응하는 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  28. 제 26 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점 중의, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 상기 분류 식별자가 동일한 것으로서, 움직임 보상을 실시한 것의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을 유저의 기호에 대응하는 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  29. 제 22 항에 있어서,
    상기 정지 움직임 판정 수단은, 현재의 상기 주목점을 포함하는 상기 주목 영역과, 과거의 상기 주목점을 포함하는 상기 주목 영역의 프레임간 차분에 근거하여, 현재의 상기 주목점을 포함하는 주목 영역의 정지 움직임 판정을 행하는 것을 특징으로 하는 송신 장치.
  30. 제 22 항에 있어서,
    상기 연속성 판정 수단은, 현재의 상기 주목점과, 과거의 상기 주목점의 시간차에 근거하여, 현재의 상기 주목점의 시공간 방향의 연속성의 판정을 행하는 것을 특징으로 하는 송신 장치.
  31. 제 26 항에 있어서,
    상기 제어 수단은, 상기 오브젝트로 분류된 영역의 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  32. 제 22 항에 있어서,
    상기 연속성 판정 수단은, 현재의 상기 주목점과, 현재의 상기 주목점을 포함하는 상기 주목 영역의 정지 움직임 판정 결과와 동일한 정지 움직임 판정 결과가 얻어진 과거의 상기 주목점의 시간 방향 및 공간 방향의 거리에 근거하여, 현재의 상기 주목점의 상기 연속성의 판정을 행하는 것을 특징으로 하는 송신 장치.
  33. 제 32 항에 있어서,
    상기 분류 수단은, 상기 시간 방향 및 공간 방향의 거리 끼리의 가중 가산치에 근거하여, 상기 화상 데이터를 분류하는 것을 특징으로 하는 송신 장치.
  34. 제 32 항에 있어서,
    시공간 방향으로 연속하고 있는 주목점을 포함하는 상기 주목 영역의 화상 데이터를 기억하는 화상 데이터 기억 수단을 더욱 구비하는 것을 특징으로 하는 송신 장치.
  35. 제 34 항에 있어서,
    현재의 상기 주목점이, 시공간 방향으로 연속하고 있지 않을 때, 상기 화상 데이터 기억 수단의 기억 내용은 판독된 후에 소거되어, 현재의 상기 주목점을 포함하는 상기 주목 영역의 화상 데이터가, 상기 화상 데이터 기억 수단에 기억되는 것을 특징으로 하는 송신 장치.
  36. 제 35 항에 있어서,
    상기 제어 수단은, 상기 화상 데이터 기억 수단으로부터 판독되는 화상 데이터의 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  37. 제 1 항에 있어서,
    상기 제어 정보가, 과금 처리에 사용되는 것을 특징으로 하는 송신 장치.
  38. 제 2 항에 있어서,
    상기 화상 데이터는, 오브젝트 부호화되는 것을 특징으로 하는 송신 장치.
  39. 송신 장치로부터 송신되는 데이터를 수신하는 수신 장치에 있어서,
    제어 정보에 따라서, 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 상기 송신 장치로 상기 제어 정보를 송신하는 송신 수단과,
    상기 송신 장치로부터 송신되는 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 수신 수단과,
    상기 수신 수단에 있어서, 수신된 데이터를 출력하는 출력 수단을 구비하는 것을 특징으로 하는 수신 장치.
  40. 제 39 항에 있어서,
    상기 데이터는 화상 데이터이며,
    상기 출력 수단은, 상기 화상 데이터를 표시하는 표시 수단인 것을 특징으로 하는 수신 장치.
  41. 제 40 항에 있어서,
    상기 표시 수단에 표시되는 화상 데이터의, 유저가 주목하는 주목점을 검출하는 주목점 검출 수단을 더욱 구비하고,
    상기 송신 수단은, 상기 제어 정보로서 상기 주목점을 상기 송신 장치로 송신하는 것을 특징으로 하는 수신 장치.
  42. 제 41 항에 있어서,
    상기 표시 수단에 표시되는 화상 데이터의 시간 방향 및 공간 방향 상기 주목점 검출 수단은, 상기 지시 수단에 의해 지시된 상기 위치를, 상기 주목점으로서 검출하는 것을 특징으로 하는 수신 장치.
  43. 제 40 항에 있어서,
    상기 수신 수단에 있어서 수신된 화상 데이터를 기억하는 화상 데이터 기억 수단과,
    상기 화상 데이터 기억 수단에 기억된 화상 데이터의 해상도가, 그 화상 데이터에 대응하는, 상기 수신 수단에 있어서 수신된 화상 데이터의 해상도보다도 높을 때에, 상기 화상 데이터 기억 수단에 기억된 화상 데이터를, 상기 표시 수단에 표시시키는 제어를 행하는 제어 수단을 더욱 구비하는 것을 특징으로 하는 수신 장치.
  44. 제 43 항에 있어서,
    상기 제어 수단은, 상기 화상 데이터 기억 수단에 기억된 화상으로 데이터의 해상도가, 그 화상 데이터에 대응하는, 상기 수신 수단에 있어서 수신된 화상 데이터의 해상도보다도 낮을 때, 상기 수신 수단에 있어서 수신된 화상 데이터를 상기 화상 데이터 기억 수단에 오버라이트하는 동시에, 상기 수신 수단에 수신된 화상 데이터를 상기 표시 수단에 표시시키는 제어를 행하는 것을 특징으로 하는 수신 장치.
  45. 제 39 항에 있어서,
    상기 제어 정보가 과금 처리에 사용되는 것을 특징으로 하는 수신 장치.
  46. 데이터를 송신하는 송신 장치와, 상기 데이터를 수신하는 수신 장치를 갖는 송수신 장치에 있어서,
    상기 송신 장치는,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 수단과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 수단과, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 상기 수신 장치에 송신하는 데이터 송신 수단을 구비하고,
    상기 수신 장치는,
    상기 송신 장치에, 상기 제어 정보를 송신하는 제어 정보 송신 수단과,
    상기 송신 장치로부터 송신되는 상기 제어 정보에 따라서 2 이상의 방향의해상도가 제어된 상기 데이터를 수신하는 데이터 수신 수단과,
    상기 데이터 수신 수단에 있어서 수신된 데이터를 출력하는 출력 수단을 구비하는 것을 특징으로 하는 송수신 장치.
  47. 데이터를 수신 장치에 송신하는 송신 장치에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 수단과,
    상기 제어 정보에 따라서, 상기 데이터를 분류하는 분류 수단과,
    상기 데이터의 분류 결과에 따라서 상기 데이터를, 상기 수신 장치에 송신하는 송신 수단을 구비하는 것을 특징으로 하는 송신 장치.
  48. 제 47 항에 있어서,
    상기 데이터는 화상 데이터이며,
    상기 수신 장치는, 상기 송신 수단으로부터 송신되는 상기 화상 데이터를 표시하고,
    상기 제어 정보는, 상기 수신 장치에 있어서 표시되는 상기 화상 데이터의 주목점을 포함하고,
    상기 분류 수단은, 상기 화상 데이터의 주목점을 포함하는 주목 영역에 따라서, 상기 화상 데이터를 분류하는 것을 특징으로 하는 송신 장치.
  49. 제 48 항에 있어서,
    상기 화상 데이터의 상기 주목 영역의 정지 움직임 판정을 행하는 정지 움직임 판정 수단과,
    상기 주목점의 시공간 방향의 연속성의 판정을 행하는 연속성 판정 수단을 더욱 구비하고,
    상기 분류 수단은, 상기 정지 움직임 판정 수단 및 연속성 판정 수단에 의한 판정 결과에 따라서, 상기 화상 데이터를 분류하는 것을 특징으로 하는 송신 장치.
  50. 제 49 항에 있어서,
    정지하고 있는 상기 주목 영역 내에 있고, 또한 시공간 방향으로 연속하고 있는 상기 주목점과, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 상기 주목점을 기억하는 주목점 기억 수단과,
    상기 주목점 기억 수단에 기억되는 상기 주목점에 부가하는 분류 식별자를 구하여, 상기 주목점에 부가하는 분류 식별자 부가 수단을 더욱 구비하는 것을 특징으로 하는 송신 장치
  51. 제 50 항에 있어서,
    상기 분류 식별자 부가 수단은, 현재의 상기 주목점이, 정지하고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것인 경우에 있어서, 상기 주목점 기억 수단에 기억된 전회의 상기 주목점이, 정지하고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것일 때, 현재의 상기 주목점의 위치와, 전회의 상기 주목점이 속하는 영역의 공간적인 위치관계에 근거하여, 현재의 상기 주목점에 부가하는 분류 식별자를 구하는 것을 특징으로 하는 송신 장치.
  52. 제 50 항에 있어서,
    상기 분류 식별자 부가 수단은, 현재의 상기 주목점이, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것인 경우에 있어서, 상기 주목점 기억 수단에 기억된 전회의 상기 주목점이, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 시공간 방향으로 연속하고 있는 것일 때, 현재의 상기 주목점을 포함하는 상기 주목 영역과, 전회의 상기 주목점을 포함하는 상기 주목 영역의 소정의 특징량의 유사도에 따라서, 현재의 상기 주목점에 부가하는 분류 식별자를 구하는 것을 특징으로 하는 송신 장치.
  53. 제 50 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을 1개의 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  54. 제 53 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점 중의 정지하고 있는 상기 주목 영역 내에 있으며, 또한 상기 분류 식별자가 동일한 것의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을 1개의 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  55. 제 53 항에 있어서,
    상기 분류 수단은, 상기 주목점 기억 수단에 기억된 상기 주목점 중의, 움직이고 있는 상기 주목 영역 내에 있으며, 또한 상기 분류 식별자가 동일한 것으로서, 움직임 보상을 실시한 것의 밀집도에 따라서, 상기 화상 데이터의 소정의 영역을 하나의 오브젝트로서 분류하는 것을 특징으로 하는 송신 장치.
  56. 제 49 항에 있어서,
    상기 정지 움직임 판정 수단은, 현재의 상기 주목점을 포함하는 상기 주목 영역과, 과거의 상기 주목점을 포함하는 상기 주목 영역의 프레임간 차분에 근거하여, 현재의 상기 주목점을 포함하는 주목 영역의 정지 움직임 판정을 행하는 것을 특징으로 하는 송신 장치.
  57. 제 49 항에 있어서,
    상기 연속성 판정 수단은, 현재의 상기 주목점과, 과거의 상기 주목점의 시간차에 근거하여, 현재의 상기 주목점의 시공간 방향의 연속성의 판정을 행하는 것을 특징으로 하는 송신 장치.
  58. 제 53 항에 있어서,
    상기 제어 수단은, 상기 오브젝트로 분류된 영역의 해상도를 향상시킨 것을 특징으로 하는 송신 장치.
  59. 제 49 항에 있어서,
    상기 연속성 판정 수단은, 현재의 상기 주목점과, 현재의 상기 주목점을 포함하는 상기 주목 영역의 정지 움직임 판정 결과와 동일한 정지 움직임 판정 결과가 얻어진 과거의 상기 주목점의 시간 방향 및 공간 방향의 거리에 근거하여, 현재의 상기 주목점의 상기 연속성의 판정을 행하는 것을 특징으로 하는 송신 장치.
  60. 제 59 항에 있어서,
    상기 분류 수단은, 상기 시간 방향 및 공간 방향의 거리 끼리의 가중 가산치에 근거하여, 상기 화상 데이터를 분류하는 것을 특징으로 하는 송신 장치.
  61. 제 59 항에 있어서,
    시공간 방향으로 연속하고 있는 주목점을 포함하는 상기 주목 영역의 화상 데이터를 기억하는 화상 데이터 기억 수단을 더욱 구비하는 것을 특징으로 하는 송신 장치.
  62. 제 61 항에 있어서,
    현재의 상기 주목점이, 시공간 방향으로 연속하지 않고 있을 때, 상기 화상 데이터 기억 수단의 기억 내용은 판독된 후에 소거되어, 현재의 상기 주목점을 포함하는 상기 주목 영역의 화상 데이터가, 상기 화상 데이터 기억 수단에 기억되는 것을 특징으로 하는 송신 장치.
  63. 제 62 항에 있어서,
    상기 제어 수단은, 상기 화상 데이터 기억 수단으로부터 판독되는 화상 데이터의 해상도를 향상시키는 것을 특징으로 하는 송신 장치.
  64. 제 47 항에 있어서,
    상기 제어 정보가, 과금 처리에 사용되는 것을 특징으로 하는 송신 장치.
  65. 제 48 항에 있어서,
    상기 화상 데이터는, 오브젝트 부호화되는 것을 특징으로 하는 송신 장치.
  66. 데이터를 수신 장치에 송신하는 송신 방법에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 송신 스텝을 구비하는 것을 특징으로 하는 송신 방법.
  67. 송신 장치로부터 송신되는 데이터를 수신하는 수신 방법에 있어서,
    제어 정보에 따라서, 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 상기 송신 장치에, 상기 제어 정보를 송신하는 송신 스텝과,
    상기 송신 장치로부터 송신되는, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 수신 스텝과,
    상기 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 것을 특징으로 하는 수신 방법.
  68. 데이터를 송신하는 송신 장치의 처리 스텝과, 상기 데이터를 수신하는 수신 장치의 처리 스텝을 갖는 송수신 방법에 있어서,
    상기 송신 장치의 처리 스텝은,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 데이터 송신 스텝을 구비하고,
    상기 수신 장치의 처리 스텝은,
    상기 송신 장치에, 상기 제어 정보를 송신하는 제어 정보 송신 스텝과,
    상기 송신 장치로부터 송신되는 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 데이터 수신 스텝과,
    상기 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 것을 특징으로 하는 송수신 방법.
  69. 데이터를 수신 장치에 송신하는 송신 방법에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 데이터를 분류하는 분류 스텝과,
    상기 데이터의 분류 결과에 따라서, 상기 데이터를 상기 수신 장치에 송신하는 송신 스텝을 구비하는 것을 특징으로 하는 송신 방법.
  70. 데이터를 수신 장치에 송신하는 송신 처리를 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
  71. 송신 장치로부터 송신되는 데이터를 수신하는 수신 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,
    제어 정보에 따라서, 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 상기 송신 장치에, 상기 제어 정보를 송신하는 송신 스텝과,
    상기 송신 장치로부터 송신되는, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 수신 스텝과,
    상기 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
  72. 데이터를 송신하는 송신 장치의 송신 처리와, 상기 데이터를 수신하는 수신 장치의 수신 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 송신 처리로서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 데이터 송신 스텝을 구비하고,
    상기 수신 처리로서,
    상기 송신 장치에, 상기 제어 정보를 송신하는 제어 정보 송신 스텝과,
    상기 송신 장치로부터 송신되는, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 데이터 수신 스텝과,
    상기 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
  73. 데이터를 수신 장치에 송신하는 송신 처리를, 컴퓨터에 행하게 하는 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 데이터를 분류하는 분류 스텝과,
    상기 데이터의 분류 결과에 따라서, 상기 데이터를 상기 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 기록되어 있는 것을 특징으로 하는 기록 매체.
  74. 데이터를 수신 장치에 송신하는 송신 처리를, 컴퓨터에 행하게 하는 프로그램이 포함되어 있는 신호에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를, 상기 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 하는 신호.
  75. 송신 장치로부터 송신되는 데이터를 수신하는 수신 처리를, 컴퓨터에 행하게 하는 프로그램이 포함되어 있는 신호에 있어서,
    제어 정보에 따라서, 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 상기 송신 장치에, 상기 제어 정보를 송신하는 송신 스텝과,
    상기 송신 장치로부터 송신되는, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 수신 스텝과,
    상기 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는프로그램이 포함되어 있는 것을 특징으로 하는 신호.
  76. 데이터를 송신하는 송신 장치의 송신 처리와, 상기 데이터를 수신하는 수신 장치의 수신 처리를, 컴퓨터에 행하게 하는 프로그램이 포함되어 있는 신호에 있어서,
    상기 송신 처리로서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 제어 정보 수신 스텝과,
    상기 제어 정보에 따라서, 상기 수신 장치에 송신하는 상기 데이터의 시간 방향, 공간 방향, 또는 레벨 방향 중의 2 이상의 방향의 해상도를 제어하는 제어 스텝과,
    상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어되다 상기 데이터를, 상기 수신 장치에 송신하는 데이터 송신 스텝을 구비하고,
    상기 수신 처리로서,
    상기 송신 장치에, 상기 제어 정보를 송신하는 제어 정보 송신 스텝과,
    상기 송신 장치로부터 송신되는, 상기 제어 정보에 따라서 2 이상의 방향의 해상도가 제어된 상기 데이터를 수신하는 데이터 수신 스텝과,
    상기 데이터 수신 스텝에 있어서 수신된 데이터를 출력하는 출력 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 하는 신호.
  77. 데이터를 수신 장치에 송신하는 송신 처리를, 컴퓨터에 행하게 하는 프로그램이 포함되어 있는 신호에 있어서,
    상기 수신 장치로부터 송신되는 제어 정보를 수신하는 수신 스텝과,
    상기 제어 정보에 따라서, 상기 데이터를 분류하는 분류 스텝과,
    상기 데이터의 분류 결과에 따라서, 상기 데이터를 상기 수신 장치에 송신하는 송신 스텝을 구비하는 프로그램이 포함되어 있는 것을 특징으로 하는 신호.
KR1020017004484A 1999-08-09 2000-08-09 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체 KR100811572B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP22502099 1999-08-09
JP99-225020 1999-08-09
JP2000-127657 2000-04-24
JP2000127657 2000-04-24
JP2000-214237 2000-07-14
JP2000214237A JP4697500B2 (ja) 1999-08-09 2000-07-14 送信装置および送信方法、受信装置および受信方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
KR20010085905A true KR20010085905A (ko) 2001-09-07
KR100811572B1 KR100811572B1 (ko) 2008-03-10

Family

ID=27330984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017004484A KR100811572B1 (ko) 1999-08-09 2000-08-09 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체

Country Status (7)

Country Link
US (3) US7009579B1 (ko)
EP (4) EP1120968B1 (ko)
JP (1) JP4697500B2 (ko)
KR (1) KR100811572B1 (ko)
CN (1) CN100366090C (ko)
NO (1) NO332792B1 (ko)
WO (1) WO2001011889A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100582784B1 (ko) * 2002-10-17 2006-05-23 엘지전자 주식회사 화상통신 시스템의 영상 처리 방법

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039654B2 (ja) * 1999-11-22 2008-01-30 株式会社東芝 携帯端末を用いたサービスシステム
US20040067766A1 (en) * 2001-01-16 2004-04-08 Kakuya Yamamoto Receiver, portable terminal and receiving system
JP2003111040A (ja) 2001-09-28 2003-04-11 Matsushita Electric Ind Co Ltd 動画像通信方法及び動画像通信装置
DE10297481B4 (de) * 2002-04-05 2014-01-09 Mitsubishi Denki K.K. Verfahren zum betrieb einer motorsteuervorrichtung
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
DE10230812B4 (de) 2002-07-08 2004-11-25 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Informationen bei Verwendung eines Verfahrens zur Komprimierung von Daten mittels einer priorisierenden Pixelübertragung
DE10231286B4 (de) * 2002-07-10 2004-05-19 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung
JP3760903B2 (ja) * 2002-08-22 2006-03-29 セイコーエプソン株式会社 画像表示装置
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
KR100501173B1 (ko) * 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
FR2864407B1 (fr) * 2003-12-22 2006-03-10 Canon Kk Procede et dispositif de transmission continue d'une video dans un reseau de communication
WO2005084520A1 (ja) * 2004-03-04 2005-09-15 Olympus Corporation 内視鏡撮像装置
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP4501508B2 (ja) * 2004-04-07 2010-07-14 沖電気工業株式会社 映像配信方法および映像配信装置並びに映像配信システム
EP1746580B1 (en) * 2004-05-10 2010-03-24 Nippon Telegraph and Telephone Corporation Acoustic signal packet communication method, transmission method, reception method, and device and program thereof
JP2006103100A (ja) 2004-10-04 2006-04-20 Noritsu Koki Co Ltd 画像受付装置
KR100608835B1 (ko) * 2004-12-09 2006-08-08 엘지전자 주식회사 휴대단말기의 이미지 전송방법
KR100647957B1 (ko) * 2004-12-14 2006-11-23 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
KR100777518B1 (ko) * 2006-02-10 2007-11-16 올림푸스 가부시키가이샤 내시경 촬상 장치
US8019171B2 (en) * 2006-04-19 2011-09-13 Microsoft Corporation Vision-based compression
US7760140B2 (en) * 2006-06-09 2010-07-20 Intel Corporation Multiband antenna array using electromagnetic bandgap structures
JP4257347B2 (ja) * 2006-07-11 2009-04-22 株式会社東芝 通信装置、表示端末および通信プログラム
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
NL1032594C2 (nl) * 2006-09-29 2008-04-01 Avinity Systems B V Werkwijze voor het streamen van parallelle gebruikerssessies, systeem en computerprogrammatuur.
JP5936805B2 (ja) * 2006-09-29 2016-06-22 アビニティ・システムズ・ベスローテン・フェンノートシャップＡｖｉｎｉｔｙ Ｓｙｓｔｅｍｓ Ｂ．Ｖ． パラレルユーザセッションをストリーミングするための方法、システム、およびコンピュータソフトウェア
US9105306B2 (en) * 2006-12-27 2015-08-11 Nec Corporation Identifying objects in images using object identity probabilities based on interframe distances
EP2632165B1 (en) 2007-01-12 2015-09-30 ActiveVideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
JP2008171292A (ja) * 2007-01-15 2008-07-24 Toshiba Corp 画像生成装置，表示端末，通信システム，通信方法，およびプログラム
KR101280443B1 (ko) 2007-01-23 2013-06-28 삼성테크윈 주식회사 영역 영상을 처리하는 장치 및 그 제어방법
JP4309921B2 (ja) * 2007-02-07 2009-08-05 株式会社東芝 通信装置、通信方法、通信システム及びプログラム
GB2447245B (en) * 2007-03-05 2011-12-28 Snell & Wilcox Ltd Video transmission
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5116017B2 (ja) * 2007-08-31 2013-01-09 Ｋｄｄｉ株式会社 動画検索方法およびシステム
US8045799B2 (en) * 2007-11-15 2011-10-25 Sony Ericsson Mobile Communications Ab System and method for generating a photograph with variable image quality
US9508111B1 (en) 2007-12-14 2016-11-29 Nvidia Corporation Method and system for detecting a display mode suitable for a reduced refresh rate
US8334857B1 (en) 2007-12-14 2012-12-18 Nvidia Corporation Method and system for dynamically controlling a display refresh rate
US8120621B1 (en) * 2007-12-14 2012-02-21 Nvidia Corporation Method and system of measuring quantitative changes in display frame content for dynamically controlling a display refresh rate
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP5337969B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2011234018A (ja) * 2010-04-26 2011-11-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP5573349B2 (ja) * 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
CN101883284B (zh) * 2010-06-21 2013-06-26 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
US8410994B1 (en) 2010-08-23 2013-04-02 Matrox Graphics Inc. System and method for remote graphics display
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
EP2727337B1 (en) * 2011-06-30 2019-09-11 Tata Consultancy Services Limited System and method for multiplexing video contents from multiple broadcasting channels into single broadcasting channel
JP2013137417A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
JP6070689B2 (ja) * 2012-02-29 2017-02-01 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
WO2014197879A1 (en) 2013-06-06 2014-12-11 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
JP6049024B2 (ja) * 2014-08-11 2016-12-21 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
WO2017166210A1 (zh) * 2016-03-31 2017-10-05 华为技术有限公司 应用程序的处理方法及终端设备
JP7040448B2 (ja) * 2016-08-30 2022-03-23 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US10748244B2 (en) * 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347618A (en) * 1980-06-30 1982-08-31 Stephen P. Kavouras Apparatus for processing weather radar information
JP2543030B2 (ja) * 1985-11-06 1996-10-16 富士通株式会社 受信側符号化制御による画像信号伝送制御方式
US5475421A (en) * 1992-06-03 1995-12-12 Digital Equipment Corporation Video data scaling for video teleconferencing workstations communicating by digital data network
JPH06291732A (ja) * 1993-02-03 1994-10-18 Hitachi Ltd 情報伝送処理装置
FR2711026B1 (fr) * 1993-10-04 1995-12-08 France Telecom Système de gestion de la consommation de consultations de données sur un réseau de télécommunications.
JPH07288806A (ja) 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP3120664B2 (ja) * 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
US5913170A (en) * 1994-11-16 1999-06-15 Highwaymaster Communications, Inc. Locating system and method using a mobile communications network
JP3351653B2 (ja) * 1995-03-30 2002-12-03 株式会社東芝 無線通信システムの再送制御方式および端末装置
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
JP3359185B2 (ja) * 1995-06-30 2002-12-24 キヤノン株式会社 通信装置及び通信システム
JP3098939B2 (ja) * 1995-07-14 2000-10-16 シャープ株式会社 動画像符号化装置及び動画像復号装置
JP3852120B2 (ja) * 1995-07-21 2006-11-29 ソニー株式会社 画像信号処理装置および方法
US6999438B2 (en) * 1996-01-18 2006-02-14 Kabushiki Kaisha Toshiba Radio communication system
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
FI113224B (fi) * 1996-11-11 2004-03-15 Nokia Corp Laskutuksen toteuttaminen tietoliikennejärjestelmässä
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
US6340978B1 (en) * 1997-01-31 2002-01-22 Making Everlasting Memories, Ltd. Method and apparatus for recording and presenting life stories
EP1160760B1 (en) * 1997-01-31 2010-11-24 Hitachi, Ltd. Image displaying system with capability of modifying a display attribute in a specific display area
US6002803A (en) * 1997-03-11 1999-12-14 Sharp Laboratories Of America, Inc. Methods of coding the order information for multiple-layer vertices
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
US6104704A (en) * 1997-03-20 2000-08-15 At&T Corp. Methods and apparatus for gathering and processing billing information for internet telephony
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US6035281A (en) * 1997-06-16 2000-03-07 International Business Machines Corporation System and method of multiparty billing for Web access
JP4086344B2 (ja) * 1997-07-31 2008-05-14 キヤノン株式会社 画像送信装置及び制御方法
FI105993B (fi) * 1997-08-20 2000-10-31 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä radiotiedonsiirtoverkon hallitsemiseksi ja radioverkko-ohjain
US6700587B1 (en) * 1997-08-28 2004-03-02 Canon Kabushiki Kaisha Picture display apparatus
JP3048986B2 (ja) 1997-11-04 2000-06-05 静岡日本電気株式会社 無線通信システム
US6023499A (en) * 1997-11-26 2000-02-08 International Business Machines Corporation Real time billing via the internet for advanced intelligent network services
JPH11187371A (ja) * 1997-12-24 1999-07-09 Kyocera Corp テレビ電話システムにおけるリアルタイム画像伝送方式
FI110658B (fi) * 1998-01-15 2003-02-28 Nokia Corp Parannettu paikannusgeometria ja solupohjainen paikannusjärjestelmä
JPH11341533A (ja) * 1998-05-27 1999-12-10 Nec Shizuoka Ltd 個別選択呼出受信機
US6847334B2 (en) * 1998-06-29 2005-01-25 William Hayhurst Mobile telecommunication device for simultaneously transmitting and receiving sound and image data
US7966565B2 (en) * 2002-06-19 2011-06-21 Eastman Kodak Company Method and system for sharing images over a communication network between multiple users

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100582784B1 (ko) * 2002-10-17 2006-05-23 엘지전자 주식회사 화상통신 시스템의 영상 처리 방법

Also Published As

Publication number Publication date
EP1906670B1 (en) 2011-06-15
EP1120968B1 (en) 2011-06-15
EP1906669A3 (en) 2009-04-29
EP1120968A4 (en) 2006-10-18
JP2002016920A (ja) 2002-01-18
CN1322445A (zh) 2001-11-14
US7009579B1 (en) 2006-03-07
EP1906668A3 (en) 2009-04-29
US7760156B2 (en) 2010-07-20
EP1906670A3 (en) 2009-04-29
JP4697500B2 (ja) 2011-06-08
KR100811572B1 (ko) 2008-03-10
NO332792B1 (no) 2013-01-14
EP1120968A1 (en) 2001-08-01
CN100366090C (zh) 2008-01-30
US20050206581A1 (en) 2005-09-22
US7486253B2 (en) 2009-02-03
EP1906670A2 (en) 2008-04-02
NO20011720D0 (no) 2001-04-05
NO20011720L (no) 2001-06-05
EP1906668A2 (en) 2008-04-02
EP1906669A2 (en) 2008-04-02
US20070103387A1 (en) 2007-05-10
WO2001011889A1 (en) 2001-02-15
EP1906668B1 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
KR100811572B1 (ko) 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체
JP4560897B2 (ja) 通信装置、通信方法及び媒体
US7076097B2 (en) Image processing apparatus and method, communication apparatus, communication system and method, and recorded medium
KR100738241B1 (ko) 이미지 처리 장치
KR101791919B1 (ko) 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
KR100846252B1 (ko) 정보 처리 장치, 시스템 및 방법, 및 기록 매체
US8798168B2 (en) Video telecommunication system for synthesizing a separated object with a new background picture
US6798834B1 (en) Image coding apparatus with segment classification and segmentation-type motion prediction circuit
US11627343B2 (en) Adaptive coding and streaming of multi-directional video
JP3596770B2 (ja) 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
GB2350515A (en) Video encoder
KR100537123B1 (ko) 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
JP4321468B2 (ja) 動画像符号化装置及び動画像復号化装置
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
CN100584003C (zh) 发送设备及方法
KR20110021377A (ko) 서비스 영상 전송 시스템, 서버 및 방법
JP2001086388A (ja) 画像処理装置および画像処理方法、並びに媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120227

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee