KR20090007220A - 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템 - Google Patents

화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템 Download PDF

Info

Publication number
KR20090007220A
KR20090007220A KR20080065965A KR20080065965A KR20090007220A KR 20090007220 A KR20090007220 A KR 20090007220A KR 20080065965 A KR20080065965 A KR 20080065965A KR 20080065965 A KR20080065965 A KR 20080065965A KR 20090007220 A KR20090007220 A KR 20090007220A
Authority
KR
South Korea
Prior art keywords
image
information
image frame
tile
area
Prior art date
Application number
KR20080065965A
Other languages
English (en)
Inventor
에이사부로 이따꾸라
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090007220A publication Critical patent/KR20090007220A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

화상 송신 장치는 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상을 송신한다. 이 장치는 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 복수의 영역으로부터 하나 또는 복수의 영역을 선택하는 영역 선택부와, 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 영역 선택부에서 선택된 영역의 부호화 데이터를 추출하고, 영역 선택부에서 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하는 정보 처리부와, 정보 처리부에서 생성된 화상 프레임 정보를 수신 측에 송신하는 화상 송신부를 포함한다.
영역 선택부, 정보 처리부, 화상 송신부, 화상 프레임 정보, 헤더

Description

화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신 시스템{IMAGE TRANSMITTING APPARATUS, IMAGE TRANSMITTING METHOD, RECEIVING APPARATUS, AND IMAGE TRANSMITTING SYSTEM}
관련 출원에 대한 상호 참조
본 발명은 2007년 7월 13일에 출원된 일본 특허 출원 제2007-183988호의 주제와 관련되는 것으로, 상기 출원의 전체 내용은 본 명세서에 참조 인용된다.
본 발명은 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신 시스템에 관한 것이다. 상세하게는, 본 발명은 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보를 취급함에 있어서, 선택 영역의 부호화 데이터를 추출하는 동시에 각 선택 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하고, 해당 새로운 화상 프레임 정보를 수신 측에 송신함으로써, 수신 측에서 선택 영역의 화상 표시를 용이하게 행할 수 있도록 한 화상 송신 장치 등에 관한 것이다.
화상 배신 시스템은 서버(화상 배신 장치) 및 클라이언트 단말(수신 장치)이 네트워크를 통하여 접속된 구성으로 되어 있다. 이러한 화상 배신 시스템에서, 수신 측에서 화상 프레임의 일부만을 표시하고 싶을 경우, 종래는 이하와 같은 방법에 의해 표시하였다.
즉, (1) 수신 측에서, 완전한 1프레임을 구성하기 위한 모든 데이터를 수신하여 복호화한 후, 표시하고 싶은 화상 프레임의 일부만을 잘라내어 표시를 행하였다. 또는, (2) 서버 측에서, 축적 데이터의 경우이면 완전한 1프레임을 복호화한 후, 수신 측이 요구하는 화상 프레임의 일부를 잘라내어 재부호화하여 수신 측에 송신하고, 수신 측에서 복호화하여 표시하였다.
(1)의 방법에서는 수신 측에서 필요로 하는 대역 이상의 네트워크 대역이 전송에 사용되고, 또한 수신 측에서도 필요 이상의 복호화 처리를 행하게 되어, 소프트웨어 처리이면 CPU를 많이 소비하고, 또한 하드웨어 처리에서는 소비전력을 많이 소비한다. 또한, (2)의 방법에서는 서버 측에서 한 번 부호화된 데이터를 복호화한 후, 재부호화할 필요가 있고, 서버가 다수의 클라이언트 단말로부터 상이한 화상의 선택 전송 요구를 받은 경우에, 재부호화를 위해 많은 CPU나 하드웨어 처리를 위한 자원이 필요하게 된다. 모든 방법에 있어서, 클라이언트 단말이 필요로 하는 영역을 처리하는 이상의 자원이 낭비되는 문제가 있었다.
특허문헌 1에는, JPEG 2000의 타일을 활용하고, 송신 측으로부터 수신 측에 화상 프레임의 일부를 잘라내어 보내는 화상 배신 시스템이 기재되어 있다.
[특허문헌 1] 일본공개특허 제2003-179904호 공보
특허문헌 1에 기재되는 화상 배신 시스템에서는 송신 측으로부터 수신 측에 시점(view-point) 영상 및 그 주변부를 포함하는 임의의 수의 타일로 이루어지는 화상이 배신되고, 수신 측에서는, 각 타일을 복호화한 후, 시점에 대응하는 범위의 표시 화상이 재구성되어 표시된다. 즉, 특허문헌 1에 기재되는 화상 배신 시스템에서는 송신 측으로부터 수신 측에 배신되는 타일 화상이 그대로 표시되는 것이 아니라, 수신 측에서는 표시 화상을 재구성하는 처리가 필요하게 된다.
따라서, 수신 측에서 선택 영역의 화상 표시를 용이하게 행할 수 있도록 하는 것이 바람직하다.
본 발명의 일 실시예에 따르면, 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행하는 화상 송신 장치가 제공된다. 이 장치는 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 복수의 영역으로부터 하나 또는 복수의 영역을 선택하는 영역 선택부와, 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 영역 선택부에서 선택된 영역의 부호화 데이터를 추출하고, 영역 선택부에서 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하는 정보 처리부와, 정보 처리부에서 생성된 화상 프레임 정보를 수신 측에 송신하는 송신부를 포함한다.
본 발명의 일 실시예에 따르면, 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상이 송신된다. 예컨대, 화상 송신 장치는 입력 화상 프레임을 복수의 영역으로 분할하여 부호화하고, 화상 프레임 정보를 얻는 부호화부를 포함할 수 있다. 또한, 송신 장치는 화상 프레임 정보를 축적하는 축적부를 포함할 수 있다. 이 경우, 부호화부는 JPEG(Joint Photographic Experts Group) 2000 등에 따라 인코딩을 행한다.
영역 선택부는 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 복수의 영역 중에서 하나 또는 복수의 영역을 선택한다. 이 경우, 영역은 수신 측으로부터 송신된 영역 선택 정보 등에 의거해 선택된다. 정보 처리부는 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 선택된 영역의 부호화 데이터를 추출하고, 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성한다. 새로운 화상 프레임 정보는 송신부에 의해 수신 측에 송신된다.
이와 같이, 선택된 각 영역의 구성 정보를 포함하는 헤더에 의해 추가되는 선택 영역의 부호화 데이터인 새로운 화상 프레임 정보가 수신 측에 송신된다. 따라서, 선택된 영역의 화상은 헤더에 포함되는 구성 정보에 의거해 수신 측에서 용이하게 표시될 수 있다.
본 발명의 일 실시예에 따르면, 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레 임 정보에 의거해 화상이 송신된다. 선택된 영역의 부호화 데이터가 추출되고, 선택된 각 영역의 구성 정보를 포함하는 헤더가 작성되어 새로운 화상 프레임 정보를 생성한다. 화상 프레임 정보는 수신 측에 송신되고, 선택된 영역의 화상은 수신 측에서 용이하게 표시될 수 있다.
본 발명에 의하면, 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행함에 있어서, 선택 영역의 부호화 데이터를 추출하는 동시에, 각 선택 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하고, 해당 화상 프레임 정보를 수신 측에 송신하는 것이며, 수신 측에서 선택 영역의 화상 표시를 용이하게 행할 수 있다.
이하, 도면을 참조하면서 본 발명의 실시형태에 대해서 설명한다. 도 1은 실시형태로서의 화상 배신 시스템(100)의 구성 예를 나타내고 있다.
화상 배신 시스템(100)은 서버(110)와 클라이언트 단말(120)을 구비하고 있다. 클라이언트 단말(120)은 네트워크(130)를 통하여 서버(110)에 접속되어 있다. 여기서, 서버(110)는 화상 송신 장치를 구성하고, 클라이언트 단말(120)은 수신 장치를 구성하고 있다.
서버(110)는 CPU(Central Processing Unit)(111)와, 메모리(112)와, 디스크 컨트롤러(113)와, 화상 입력 컨트롤러(114)와, 부호화부(115)와, 통신 컨트롤 러(116)를 갖고, 이들은 버스(117)에 접속되어 있다.
CPU(111)는 서버(110)의 전체 동작을 제어한다. 메모리(112)에는 ROM(Read Only Memory) 및 RAM(Random Access Memory)이 포함되어 있다. ROM은 CPU(111)의 동작을 제어하기 위한 제어 프로그램 등을 저장하고 있다. RAM은 CPU(111)의 작업 영역(working area) 등으로서 기능한다. CPU(111)는 ROM에 저장되어 있는 제어 프로그램을 필요에 따라 판독하고, 판독한 제어 프로그램을 RAM에 전송하여 전개한다. 그리고, 이 CPU(111)는 RAM에 전개된 제어 프로그램을 판독하여 실행함으로써 서버(110)의 각부를 제어한다.
디스크 컨트롤러(113)는 CPU(111)로부터의 지시에 대응하여 외장의 하드디스크 드라이브(HDD:Hard Disk Drive)(118)를 제어한다. 또한, 하드디스크 드라이브(118)는 서버(110)에 내장된 구성일 수도 있다. 이 하드디스크 드라이브(118)는 축적부를 구성하고 있다.
화상 입력 컨트롤러(114)는 CPU(111)로부터의 지시에 대응하여 디지털 카메라, VTR(Video Tape Recorder) 등으로부터 화상 프레임을 수용한다. 부호화부(115)는 화상 입력 컨트롤러(114)에서 수용되는 화상 프레임을 JPEG 2000에 의해 압축 부호화한다. 즉, 부호화부(115)는 화상 프레임을 복수의 타일(사각형 영역)로 분할하여 타일 단위에 의해 독립적으로 복호 가능한 부호화를 행한다.
부호화부(115)로부터 출력되는 부호화된 화상 데이터 또는 코드 스트림은 화상 프레임 정보를 구성한다. 이 화상 프레임 정보는 화상 프레임을 분할하여 얻어진 복수의 타일의 부호화 데이터와 각 타일의 구성 정보를 포함하는 헤더로 되어 있다. 여기서, 각 타일의 구성 정보는 각 타일의 크기, 레퍼런스 그리드에 대한 타일의 위치 등의 정보이다.
이제, 코드 스트림의 구조를 설명한다. 도 3의 (a)는 JPEG 2000 표준의 코드 스트림의 구조를 나타내고 있다. 코드 스트림은 선두에 위치하는 메인 헤더, 타일 파트를 구성하고 단위의 선두에 위치하는 타일 파트 헤더, 부호화 데이터의 비트 스트림, 코드 스트림의 끝을 나타내는 EOC(End of Code Stream)로 구성된다. 도시하지 않았지만, 타일 파트 헤더 및 비트 스트림의 부분은 타일의 개수만큼 반복적으로 존재한다.
도 3의 (b)는 타일 파트 헤더의 구조를 나타내고 있다. 타일 파트 헤더는 타일 파트의 선두를 나타내는, SOT(Start of Tile-part)와, 옵션적으로 제공되는 마커 세그먼트, 그리고 현재의 타일 파트에 대응한 비트 스트림 데이터의 선두를 나타내는 SOD(Start of Data) 마커 코드로 구성되어 있다. 또한, SOD 마커 코드는 타일 파트 헤더의 후미 위치도 나타내고 있다.
다음으로, 코드 스트림의 일부를 형성하는 메인 헤더의 구조에 대해 설명한다. 메인 헤더는, 도 4의 (b)에 나타낸 바와 같이, SOC(Start of Code Stream) 마커와, 그것에 이어지는 이미지와 타일 사이즈를 나타내는 SIZ(Image and tile size) 마커 세그먼트로 구성되어 있다. SIZ 마커 세그먼트는 SIZ, Lsiz, Rsiz, Xsiz, Ysiz, XOsiz, YOsiz, XTsiz, YTsiz, XTOsiz, YTOsiz, Csiz, Ssiz0, Ssiz1, Ssiz2 등으로 구성되어 있다. 또한, 도 4의 (a)는 도 3의 (a)와 동일하게 JPEG 2000 표준에 따른 코드 스트림의 구조를 나타내고 있다.
SIZ는 마커 세그먼트를 나타내는 마커 코드이며 0xFF51의 고정값을 취한다. Lsiz는 마커 세그먼트의 바이트 길이를 나타낸다. Rsiz는 디코더의 프로파일 지정을 나타낸다. 이하 X는 수평 방향의 사이즈 값, Y는 수직 방향의 사이즈를 나타내고, Xsiz, Ysiz는 레퍼런스 그리드의 사이즈, XOsiz는 레퍼런스 그리드의 원점으로부터 화상의 좌단(left edge)으로의 수평 오프셋 사이즈, YOsiz는 레퍼런스 그리드의 원점으로부터 화상의 상단(top edge)으로의 수직 오프셋 사이즈, XTsiz는 타일의 수평 사이즈, YTsiz는 타일의 수직 사이즈, XTOsiz는 레퍼런스 그리드의 원점으로부터 선두 타일의 좌단까지의 수평 오프셋 사이즈, YTOsiz는 레퍼런스 그리드의 원점으로부터 선두 타일의 상단까지의 수직 오프셋 사이즈를 각각 나타낸다. 또한, Csiz는 화상 중의 컴포넌트 수를 나타내고, Ssiz(i)는 i번째 컴포넌트의 비트 심도(bit depth)와 부호(sign)를 나타낸다.
도 6은 레퍼런스 그리드, 화상 영역 및 타일과, 각 사이즈와의 대응 관계를 나타내고 있다. 또한, 도시한 예에서는 화상 영역이 T0∼T15로 표시되는 16개의 타일로 분할되어 있다.
다음으로, 타일 파트 헤더의 SOT 마커 세그먼트의 구조에 대해 설명한다. SOT 마커 세그먼트는, 도 5의 (b)에 나타낸 바와 같이, SOT, Lsot, Isot, Psot, TPsot, TNsot로 구성되어 있다. 또한, 도 5의 (a)는, 도 3의 (b)와 마찬가지로，타일 파트 헤더의 구조를 나타내고 있다.
SOT는 마커 코드이며, 0xFF90의 고정값을 취한다. Lsot는 마커 세그먼트 길이를 나타낸다. Isot는 0번으로부터 시작되며, 래스터 순서로 붙여진 타일 번호를 나타낸다. Psot는 타일 파트의 SOT 마커 세그먼트의 선두 바이트로부터 그 타일 파트의 후미까지의 바이트 길이를 나타낸다. TPsot는 타일 파트 번호이며, 타일 파트를 복호하기 위해 필요한 순서를 특정하고, 0에서부터 시작된다. TNsot는 일정 타일에 존재하는 타일 파트 수를 나타낸다. 상술한 타일 번호 Isot는 타일의 위치를 나타내는 번호이며, 화상의 타일 번호를 변경함으로써 복호 측에서 원하는 위치로 복호한 화상을 표시하는 것이 가능해진다.
도 1로 되돌아가, 부호화부(115)에서 얻어지는 부호화된 화상 데이터는 메모리(112)를 경유하여 CPU(111)에 송신된다. 또한, 화상 데이터에 대한 압축 부호화를 CPU(111)에서 소프트웨어 처리를 행하는 구성일 수도 있다. 이 경우, 부호화부(115)는 불필요하며, 화상 입력 컨트롤러(114)에서 수용되는 화상 프레임은 CPU(111)에 직접 공급되어 부호화될 수 있다.
통신 컨트롤러(116)는 네트워크(130)와의 인터페이스를 취한다. CPU(111)는, 부호화된 화상 데이터를 클라이언트 단말(120)에 송신할 때, 해당 화상 데이터를 통신 포맷, 예를 들어 RTP(Real-time Transport Protocol) 포맷으로 변환하고, 통신 컨트롤러(116)를 통하여 UDP(User Datagram Protocol)/IP(Internet Protocol)에 의해 네트워크(130)에 송출한다.
클라이언트 단말(120)은 CPU(121)와, 메모리(122)와, 입력 디바이스 컨트롤러(123)와, 그래픽 컨트롤러(124)와, 복호화부(125)와, 통신 컨트롤러(126)를 갖고, 이들은 버스(127)에 접속되어 있다.
CPU(121)는 클라이언트 단말(120)의 전체 동작을 제어한다. 메모리(122)에 는 ROM 및 RAM이 포함되어 있다. ROM은 CPU(121)의 동작을 제어하기 위한 제어 프로그램 등을 저장하고 있다. RAM은 CPU(121)의 작업 영역 등으로서 기능한다. CPU(121)는 ROM에 저장되어 있는 제어 프로그램을 필요에 따라 판독하고, 판독한 제어 프로그램을 RAM에 전송하여 전개한다. 그리고, 이 CPU(121)는 RAM에 전개된 제어 프로그램을 판독하여 실행함으로써 클라이언트 단말(120)의 각부를 제어한다.
입력 디바이스 컨트롤러(123)는 외장의 입력 장치(128)를 버스(127)에 접속한다. 입력 장치(128)는, 예를 들어 마우스, 키보드, 리모트 컨트롤러 등이다. 그래픽 컨트롤러(124)는 외장의 표시 장치(129), 예를 들어 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 등을 제어한다.
통신 컨트롤러(126)는 네트워크(130)와의 인터페이스를 제공한다. 복호화부(125)는 서버(110)로부터 송신되어 오는 부호화된 화상 데이터를 복호화한다.
도 1에 나타낸 화상 배신 시스템(100)의 서버(110)는, 도 2에 나타낸 바와 같이, 화상 입력부(141), 부호화부(142), 축적 처리부(143), 정보 처리부(144), 패킷 송신부(145), 선택 정보 수신부(146), 및 타일 선택부(147)의 기능 블록을 갖고 있다.
화상 입력부(141)는 디지털 카메라, VTR(Video Tape Recorder) 등으로부터 화상 프레임을 수용한다. 부호화부(142)는 화상 입력부(141)에서 수용되는 화상 프레임을 JPEG 2000 표준에 따라 부호화하여, 부호화된 화상 데이터인 코드 스트림(화상 프레임 정보)을 얻는다.
축적 처리부(143)는 부호화부(142)에서 얻어지는 코드 스트림을 축적에 적합 한 포맷으로 변환하여 HDD(118)에 공급한다. 또한, 축적 처리부(143)는 HDD(118)로부터 판독되는 코드 스트림을 원래의 포맷으로 변환하여 정보 처리부(144)에 공급한다.
선택 정보 수신부(146)는 클라이언트 단말(120)로부터 송신되어 오는 타일 선택 정보를 수신하여 타일 선택부(147)에 공급한다. 이 타일 선택부(147)는 타일 선택 정보에 의거하여 타일을 선택하고, 그 선택 정보를 정보 처리부(144)에 공급한다.
정보 처리부(144)에는 부호화부(142)에서 부호화되어 얻어진 코드 스트림, 또는 HDD(118)로부터 판독된 코드 스트림이 공급된다. 정보 처리부(144)는 코드 스트림에 포함되는 복수의 타일의 부호화 데이터로부터 타일 선택부(147)에서 선택된 타일의 부호화 데이터를 추출하는 동시에, 이 선택된 각 타일의 구성 정보를 포함하는 헤더를 작성하여, 새로운 코드 스트림을 생성한다.
정보 처리부(144)는 생성한 새로운 코드 스트림을 패킷 송신부(145)에 공급한다. 패킷 송신부(145)는 코드 스트림을 패킷화하여 이를 클라이언트 단말(120)에 송신한다.
또한, 도 1에 나타낸 화상 배신 시스템(100)의 클라이언트 단말(120)은, 패킷 수신부(151), 복호화부(152), 영역 표시 화상 처리부(153), 화상 출력부(154), 선택 처리부(155), 및 선택 정보 송신부(156)의 기능 블록을 갖고 있다.
패킷 수신부(151)는 서버(110)로부터 송신되어 오는 코드 스트림의 패킷을 수신하고, 코드 스트림을 재구성하여 복호화부(152)에 공급한다. 복호화부(152)는 코드 스트림을 JPEG 2000 표준에 따라 복호화하여 각 타일의 화상 데이터를 얻는 동시에, 코드 스트림의 헤더로부터 각 타일의 구성 정보를 얻는다.
영역 표시 화상 처리부(153)는, 복호화부(152)에서 얻어지는 각 타일의 화상 데이터 및 구성 정보에 의거하여, 각 타일의 화상을 구성 정보로 표현된 위치에 표시하도록 화상 프레임을 구성한다. 화상 출력부(154)는 영역 표시 화상 처리부(153)에서 구성된 화상 프레임을 표시 장치(129)에 출력하고, 이 표시 장치(129)에 해당 화상 프레임의 화상을 표시시킨다.
선택 처리부(155)는, 입력 장치(128)로부터의 사용자의 선택 조작에 의해, 상술한 서버(110)의 타일 선택부(147)에서 타일을 선택하기 위한 타일 선택 정보를 출력한다. 여기서, 사용자는, 선택 방법으로서, 사용자가 타일을 선택(지정)하는 제1 방법과, 서버(110) 측에 타일 선택을 맡기는 제2 방법 중 어느 하나를 선택할 수 있다.
사용자는, 제1 선택 방법을 선택할 때, 입력 장치(128)를 조작하여 하나 또는 복수의 타일을 선택한다. 이 경우, 사용자는 표시 장치(129)에 타일 선택용의 전체가 보이도록 구성된 화면, 예를 들어 축소되어 전체를 비추는 화면이 표시된 상태에서 입력 장치(128)를 조작하여 타일을 선택한다. 예를 들어, 원하는 타일을 선택할 때, 사용자는 커서를 원하는 타일로 이동시켜 개별적으로 지정하거나, 또는 타일 선택용의 전 화면상의 원하는 타일에 대응한 범위를 설정하여 포괄적으로 지정한다. 또한, 상술하지 않았지만, 타일 선택용의 전 화면을 표시하기 위한 화상 데이터는 서버(110)로부터 클라이언트 단말(120)에 송신되어 진다.
이와 같이, 사용자가 제1 선택 방법을 선택할 때, 선택 처리부(155)가 출력하는 타일 선택 정보에는 제1 선택 방법이 선택되었음을 나타내는 정보와, 사용자가 어느 타일을 선택했는지를 나타내는 정보가 포함된다. 또한, 사용자가 제2 선택 방법을 선택할 때, 선택 처리부(155)가 출력하는 타일 선택 정보에는 제2 선택 방법이 선택되었음을 나타내는 정보가 포함된다.
선택 정보 송신부(156)는 선택 처리부(155)가 출력하는 타일 선택 정보를 서버(110)에 송신한다. 상술하지 않았지만, 서버(110)의 타일 선택부(147)는, 선택 정보 수신부(146)에서 수신된 타일 선택 정보가 제1 선택 방법에 관한 것일 때, 해당 타일 선택 정보에 포함되는 어느 타일을 선택했는지를 나타내는 정보(타일 지정 정보)에 의거하여 타일을 선택한다.
또한, 서버(110)의 타일 선택부(147)는, 선택 정보 수신부(146)에서 수신된 타일 선택 정보가 제2 선택 방법에 관한 것일 때, 클라이언트 단말(120)의 표시 가능 영역 등을 고려하여 소정 수의 타일을 선택한다. 또한, 클라이언트 단말(120)의 표시 가능 영역 등의 정보를 포함하는 단말 능력의 정보는, 예를 들어 후술하는 바와 같이, 클라이언트 단말(120)이 서버(110)에 접속될 때에, 클라이언트 단말(120)로부터 서버(110)에 송신된다.
다음으로, 도 1, 도 2에 나타낸 화상 배신 시스템(100)에서의 서버(110)와 클라이언트 단말(120)의 처리 순차를 도 7을 참조하여 설명한다.
우선, 클라이언트 단말(120)은 서버(110)에 서버 접속 요구를 송신한다(SEQ-1). 서버(110)는, 접속이 가능하면, 클라이언트 단말(120)에 서버 접속 응답을 송 신한다(SEQ-2).
다음으로, 클라이언트 단말(120)은 단말 능력, 예를 들어 표시 가능 영역이나 처리 가능한 프레임 레이트 등을 서버(110)에 통지한다(SEQ-3). 서버(110)는 클라이언트 단말(120)의 능력을 해석하여, 클라이언트 단말(120)에 단말 능력 응답을 송신한다(SEQ-4).
서버(110)는 클라이언트 단말(120)의 능력에 맞추어, 예를 들어 공간 해상도를 클라이언트 단말(120)의 표시 가능 영역에 맞추는 처리를 행한다. 서버(110)는, 접속 요구 후의 최초에는 클라이언트 단말(120)에 타일 선택용의 전 화면을 표시하기 위한 화상 데이터(선택용 화상 데이터)를 송신한다(SEQ-5). 이것에 의해, 클라이언트 단말(120) 측의 표시 장치(129)에는 타일 선택용의 전 화면의 표시가 행해진다.
다음으로, 클라이언트 단말(120)은 서버(110)에 타일 선택 정보를 통지한다(SEQ-6). 이 경우, 클라이언트 단말(120) 측에서는, 상술한 바와 같이, 제1 선택 방법 또는 제2 선택 방법을 선택한다. 사용자가 제1 선택 방법을 선택할 때, 타일 선택 정보에는 제1 선택 방법이 선택되었음을 나타내는 정보와, 사용자가 어느 타일을 선택했는지를 나타내는 정보가 포함된다. 또한, 사용자가 제2 선택 방법을 선택할 때, 타일 선택 정보에는 제2 선택 방법이 선택되었음을 나타내는 정보가 포함된다.
서버(110)는 클라이언트 단말(120)로부터 통지된 타일 선택 정보에 의거하여 소정의 타일을 선택하고, 새로운 코드 스트림(부분 영역 데이터)을 생성하여 이를 클라이언트 단말(120)에 송신한다(SEQ-7). 이 경우, 서버(110)는 선택된 타일의 부호화 데이터를 추출하는 동시에, 이 선택된 각 타일의 구성 정보를 포함하는 헤더(메인 헤더, 타일 파트 헤더)를 작성하여, 클라이언트 단말(120)에서 선택된 타일의 화상 표시를 가능하게 하기 위한, 새로운 코드 스트림을 생성한다.
클라이언트 단말(120)은 서버(110)로부터 송신되어 오는 새로운 코드 스트림(부분 영역 데이터)을 복호화하여, 표시 장치(129)에 선택된 타일의 화상을 헤더에 포함되는 각 타일의 구성 정보에 의거하여 표시한다.
또한, 사용자가 다른 타일을 새롭게 선택할 경우에는, 클라이언트 단말(120)로부터 서버(110)에 새로운 타일 선택 정보가 통지되고(SEQ-8), 그것에 대응하여, 서버(110)로부터 클라이언트 단말(120)에 새로운 타일 선택에 의거한 코드 스트림(부분 영역 데이터)이 송신된다(SEQ-9). 이하, 사용자가 다른 타일을 새롭게 선택할 때마다, 클라이언트 단말(120)과 서버(110)에서 동일한 동작이 반복적으로 행해진다.
또한, 사용자가 시청을 그만둘 때에는, 클라이언트 단말(120)은 서버(110)에 종료 요구를 송신하고(SEQ-10), 이것에 대하여, 서버(110)는 클라이언트 단말(120)에 종료 응답을 송신(SEQ-11)하여 배신 동작을 종료한다.
다음으로, 도 2에 나타낸 화상 배신 시스템(100)의 서버(110) 일부를 구성하는 정보 처리부(144)의 처리 동작에 대해 설명한다.
도 8은 처리 전의 코드 스트림에서의 타일 구성 예를 나타내고 있다. 여기서는, 설명을 간단하게 하기 위해, 레퍼런스 그리드와 화상 영역이 중첩되어 있는 것으로 하며, 레퍼런스 그리드(화상 영역)의 사이즈(Xsiz, Ysiz)는 (767<300>, 495<1F0>)이다. 또한, 타일의 사이즈(XTsiz, YTsiz)는 (200<C8>, 200(C8>)이며, 화상 영역이 T0∼T11의 12개 타일로 분할되어 있다. 또한, 화상 영역의 레퍼런스 그리드에 대한 오프셋 사이즈(XOsiz, YOsiz)는 (0, 0)이다. 또한, 타일의 레퍼런스 그리드에 대한 오프셋 사이즈(XTOsiz, YTOsiz)도 (0, 0)이다.
도 8에 나타낸 타일 구성 예에서, 타일 T2만이 선택된 경우, 정보 처리부(144)에서는 해당 타일 T2의 부호화 데이터를 추출하는 동시에, 해당 타일의 구성 정보를 포함하는 헤더(메인 헤더, 타일 파트 헤더)를 작성하여, 해당 타일의 화상을 표시하기 위한 새로운 코드 스트림이 생성된다.
도 9는 클라이언트 단말(120) 측의 표시 장치(129)에서의 표시 예를 나타내고 있다. 이 경우, 정보 처리부(144)에서 레퍼런스 그리드의 사이즈(Xsiz, Ysiz)를 (600, 200)으로 변경하고, 화상 영역의 레퍼런스 그리드에 대한 오프셋 사이즈(XOsiz, YOsiz)를 (400, 0)으로 변경하면 된다. 또한, 도 10은 클라이언트 단말(120) 측의 표시 장치(129)에서의 다른 표시 예를 나타내고 있다. 이 경우, 정보 처리부(144)에서 레퍼런스 그리드의 사이즈(Xsiz, Ysiz)를 (200, 200)으로 변경하고, 타일 번호 Isot를 0으로 변경하면 된다.
도 11은 도 8에 나타낸 타일 구성 예에서의 마커 세그먼트(처리 전의 마커 세그먼트)의 값, 즉, 메인 헤더의 SOC, SIZ, Lsiz, Rsiz, Xsiz, Ysiz, XOsiz, YOsiz, XTsiz, YTsiz, XTOsiz, YTOsiz, Csiz, Ssiz0, Ssiz1, Ssiz2의 값과 타일 T2에 대응한 타일 파트 헤더 SOT, Lsot, Isot, Psot, TPsot, TNsot의 값을 나타내고 있다. 또한, 도 11에서는 각 값을 16진수로 나타내고 있지만, 이하의 도 12 내지 도 14에서도 동일하게 각 값을 16진수로 나타내고 있다.
서버(110)의 정보 처리부(144)에서는 클라이언트 단말(120) 측에서 선택된 임의의 타일 번호의 타일 화상을 임의의 위치에 표시하기 때문에, 마커 세그먼트 값의 변경이 행해진다. 도 12는 변경 대상으로 되는 부분을 해칭(hatching)에 의해 나타내고 있다. 즉, 레퍼런스 그리드의 사이즈(Xsiz, Ysiz), 화상 영역의 레퍼런스 그리드에 대한 오프셋 사이즈(XOsiz, YOsiz), 타일의 사이즈(XTsiz, YTsiz), 타일의 레퍼런스 그리드에 대한 오프셋 사이즈(XTOsiz, YTOsiz) 및 타일 번호 Isot가 변경 대상으로 된다.
도 13은 타일 T2의 화상을 클라이언트 단말(120) 측의 표시 장치(129)에 도 9에 나타낸 바와 같이 표시시키는 경우에서의, 마커 세그먼트의 변경 예를 나타내고 있다. 이 경우, 레퍼런스 그리드의 사이즈(Xsiz, Ysiz)는 (600<258>, 200<C8>)로 변경되고, 화상 영역의 레퍼런스 그리드에 대한 오프셋 사이즈(XOsiz, YOsiz)는 (400<190>, 0)으로 변경된다. 이 경우, 타일 번호 Isot는 2인 채로 유지되기 때문에, 타일 T2의 위치에 화상을 표시할 수 있다.
도 14는 타일 T2의 화상을 클라이언트 단말(120) 측의 표시 장치(129)에 도 10에 나타낸 바와 같이 표시시키는 경우에서의, 마커 세그먼트의 변경 예를 나타내고 있다. 이 경우, 레퍼런스 그리드의 사이즈(Xsiz, Ysiz)는 (200<C8>, 200<C8>)로 변경되고, 타일 번호 Isot는 0으로 변경된다. 이 경우, 타일 번호 Isot는 0으로 변경되기 때문에, 타일 T0의 위치에 화상을 표시할 수 있다.
도 15는 상술한 도 8과 유사한, 처리 전의 코드 스트림에서의 타일 구성 예를 나타내고 있다. 이 구성 예에서, 타일 T1, T2, T5, T6이 선택된 경우, 정보 처리부(144)에서는 해당 타일 T1, T2, T5, T6의 부호화 데이터를 추출하는 동시에, 해당 타일의 구성 정보를 포함하는 헤더(메인 헤더, 타일 파트 헤더)를 작성하여, 해당 타일의 화상을 표시하기 위한 새로운 코드 스트림이 생성된다.
도 16은 클라이언트 단말(120) 측의 표시 장치(129)에서의 표시 예를 나타내고 있다. 이 경우, 레퍼런스 그리드의 사이즈(Xsiz, Ysiz)를 (400, 400)으로 변경하고, 타일 T1, T2, T5, T6의 타일 번호 Isot를 각각 0, 1, 2, 3으로 변경하면 된다.
또한, 도 15의 예에서는 인접한 타일이 선택되고 있지만, 도 17의 (a)에 나타낸 바와 같이 인접하지 않은 타일이 선택되는 경우에 있어서도, 도 17의 (b)에 나타낸 바와 같이 클라이언트 단말(120) 측에서는 인접시켜 표시시킬 수 있다.
또한, 상술에서는 정보 처리부(144)에서 동일한 코드 스트림으로부터 선택 타일의 부호화 데이터가 추출되도록 설명하고 있지만, 복수의 코드 스트림에 따른 타일이 선택되고, 정보 처리부(144)에서는 해당 복수의 코드 스트림으로부터 선택 타일의 부호화 데이터를 추출하여 처리할 수도 있다.
상술한 바와 같이, 도 1, 도 2에 나타낸 화상 배신 시스템(100)에서는, 서버(110)의 정보 처리부(144)에서는 처리 전의 코드 스트림에 포함되는 복수의 타일의 부호화 데이터로부터 타일 선택부(147)에서 선택된 타일의 부호화 데이터가 추출되는 동시에, 이 선택된 각 타일의 구성 정보(마커 세그먼트)를 포함하는 헤더가 작성되어, 새로운 코드 스트림이 생성된다. 그리고, 이 새로운 코드 스트림이 클라이언트 단말(120)에 송신된다. 그 때문에, 클라이언트 단말(120) 측에서는, 헤더에 포함되는 구성 정보에 의거하여, 선택된 타일의 화상을 표시 장치(129)의 소망 위치에 용이하게 표시할 수 있다. 즉, 클라이언트 단말(120) 측에서는 표시 화상을 재구성하는 처리가 불필요해진다.
또한, 도 1, 도 2에 나타낸 화상 배신 시스템(100)에서는, 클라이언트 단말(120) 측의 표시 장치(129)의 표시 가능 영역이 좁을 경우에는, 선택하는 타일을 표시가능한 사이즈 이하로 함으로써, 필요로 되는 화상 영역만을 서버(110)로부터 클라이언트 단말(120)에 송신하고, 클라이언트 단말(120) 측의 표시 장치(129)에 효율적으로 표시할 수 있다.
또한, 상술한 실시형태에서는 서버(110)의 정보 처리부(144)에서 생성되는 새로운 코드 스트림에 포함되는 타일 수가 처리 전의 코드 스트림에 포함되는 타일 수보다 적은 것을 나타냈지만, 예를 들어 복수의 코드 스트림으로부터 타일을 선택할 경우에는, 새로운 코드 스트림에 포함되는 타일 수가 처리 전의 하나의 코드 스트림에 포함되는 타일 수보다도 많아지는 것도 생각할 수 있다.
또한, 상술한 실시형태에서는 본 발명을 JPEG 2000 표준에 따라 부호화시키는 것을 나타냈지만, 부호화 방식으로서는, JPEG 2000 포맷과 같이, 복수의 타일(영역)에 의해 하나의 화상 프레임을 구성하고, 부호화된 1프레임의 데이터가 독립된 타일 단위의 집합과 타일의 구성을 기술하는 식별자로 구성되는 방식이면 된다.
또한, 상술한 실시형태에서는 본 발명을 서버(110) 및 클라이언트 단말(120) 을 구비하는 화상 배신 시스템(100)에 적용한 것이지만, 텔레비전 전화 시스템 및 텔레비전 회의 시스템 등의 쌍방향 커뮤니케이션 시스템 등에도 마찬가지로 적용할 수 있다.
본 발명은 수신 측에서 선택 영역의 화상 표시를 용이하게 행할 수 있는 것이며, 예를 들어 서버, 클라이언트 단말로 이루어지는 화상 배신 시스템, 텔레비전 전화 시스템, 텔레비전 회의 시스템 등의 쌍방향 커뮤니케이션 시스템 등에 적용할 수 있다.
당업자들이라면, 첨부된 청구범위 또는 그 균등물의 범주 내에 속하는 설계 요건과 그 밖의 요인들에 따라 다양한 수정, 결합, 부분 결합 및 변경이 행해질 수 있다는 점을 알 것이다.
도 1은 본 발명의 실시형태로서의 화상 배신 시스템의 구성 예를 나타낸 블록도.
도 2는 본 발명의 실시형태로서의 화상 배신 시스템의 구성 예를 나타낸 기능 블록도.
도 3은 JPEG 2000 코드 스트림 구조와 타일 파트 헤더의 구조를 나타낸 도면.
도 4는 JPEG 2000 코드 스트림 구조와 메인 헤더의 구조를 나타낸 도면.
도 5는 타일 파트 헤더의 구조와 SOT 마커 세그먼트의 구조를 나타낸 도면.
도 6은 레퍼런스 그리드, 화상 영역 및 타일과, 각 사이즈와의 대응 관계를 나타낸 도면.
도 7은 서버/클라이언트 단말의 처리 순차를 설명하기 위한 순차도.
도 8은 처리 전의 화상 프레임의 타일 구성 예와 타일 선택의 일례를 나타낸 도면.
도 9는 클라이언트 단말의 표시 장치에서의 표시 예를 나타낸 도면.
도 10은 클라이언트 단말의 표시 장치에서의 다른 표시 예를 나타낸 도면.
도 11은 도 8의 처리 전의 화상 프레임의 타일 구성 예에서의 마커 세그먼트 값을 나타낸 도면.
도 12는 선택된 임의의 타일 번호의 타일의 화상을 임의의 위치에 표시할 때에, 마커 세그먼트의 변경 대상으로 되는 부분을 나타낸 도면.
도 13은 클라이언트 단말 측의 표시 장치에 도 9에 나타낸 바와 같이 표시시키는 경우에서의, 마커 세그먼트의 변경 예를 나타낸 도면.
도 14는 클라이언트 단말 측의 표시 장치에 도 10에 나타낸 바와 같이 표시시키는 경우에서의, 마커 세그먼트의 변경 예를 나타낸 도면.
도 15는 처리 전의 화상 프레임의 타일 구성 예와 타일 선택의 다른 예를 나타낸 도면.
도 16은 클라이언트 단말의 표시 장치에서의 표시 예를 나타낸 도면.
도 17a 및 도 17b는 타일 선택 예와 클라이언트 단말 측의 표시 예를 나타낸 도면.
<도면의 주요 부분에 대한 부호의 설명>
100 : 화상 배신 시스템 110 : 서버
111 : CPU 112 : 메모리
113 : 디스크 컨트롤러
115 : 부호화부 116 : 통신 컨트롤러
117 : 버스 118 : 하드디스크 드라이브
120 : 클라이언트 단말
122 : 메모리 123 : 입력 디바이스 컨트롤러
124 : 그래픽 컨트롤러 125 : 복호화부
126 : 통신 컨트롤러
128 : 입력 장치 129 : 표시 장치

Claims (7)

  1. 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행하는 화상 송신 장치로서,
    단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 복수의 영역으로부터 하나 또는 복수의 영역을 선택하는 영역 선택부와,
    상기 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 상기 영역 선택부에서 선택된 영역의 부호화 데이터를 추출하고, 상기 영역 선택부에서 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하는 정보 처리부와,
    상기 정보 처리부에서 생성된 화상 프레임 정보를 수신 측에 송신하는 화상 송신부를 포함하는 화상 송신 장치.
  2. 제1항에 있어서,
    입력 화상 프레임을 복수의 영역으로 분할하여 부호화하고, 상기 화상 프레임 정보를 얻는 부호화부를 더 포함하는 화상 송신 장치.
  3. 제2항에 있어서,
    상기 부호화부에서 얻어지는 화상 프레임 정보를 축적하는 축적부를 더 포함하는 화상 송신 장치.
  4. 제1항에 있어서,
    상기 영역 선택부는 상기 수신 측으로부터 송신되어 오는, 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 복수의 영역 중에서 하나 또는 복수의 영역을 지정하는 영역 선택 정보에 의거하여 영역을 선택하는 화상 송신 장치.
  5. 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행하는 화상 송신 장치에서의 화상 송신 방법으로서,
    단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 복수의 영역으로부터 하나 또는 복수의 영역을 선택하는 단계와,
    상기 단일의 화상 프레임 또는 복수의 화상 프레임의 상기 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 상기 영역 선택 단계에서 선택된 영역의 부호화 데이터를 추출하고, 상기 영역 선택 단계에서 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하는 단계와,
    정보 처리 단계에서 생성된 화상 프레임 정보를 수신 측에 송신하는 단계를 포함하는 화상 송신 방법.
  6. 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행하는 화상 송신 장치에 네트워크를 통해 접속되는 수신 장치로서,
    단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 복수의 영역 중에서 하나 또는 복수의 영역을 지정하는 영역 선택 정보를 상기 화상 송신 장치에 송신하는 송신부와,
    상기 화상 송신 장치로부터 송신되어 오는 새로운 프레임 정보 - 상기 새로운 프레임 정보는 상기 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 상기 영역 선택 정보에 의해 지정된 각 영역의 부호화 데이터를 추출하고, 상기 영역 선택 정보에 의해 지정된 각 영역의 구성 정보를 포함하는 헤더를 작성함으로써 얻어짐 - 를 수신하는 수신부와,
    상기 수신부에서 수신된 화상 프레임 정보에 의거하여, 상기 영역 선택 정보에 의해 지정된 각 영역의 화상을 표시 장치에 표시하는 표시부를 포함하는 수신 장치.
  7. 화상 프레임을 분할하여 얻어진 복수의 영역의 부호화 데이터와 각 영역의 구성 정보를 포함하는 헤더로 이루어지는 화상 프레임 정보에 의거하여 화상 송신을 행하는 화상 송신 장치와, 상기 화상 송신 장치에 네트워크를 통해 접속된 수신 장치를 구비하는 화상 송신 시스템으로서,
    상기 화상 송신 장치는,
    단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 복수의 영역으로부터 하나 또는 복수의 영역을 선택하는 영역 선택부와,
    상기 단일의 화상 프레임 또는 복수의 상이한 화상 프레임의 상기 화상 프레임 정보에 포함되는 복수의 영역의 부호화 데이터로부터 상기 영역 선택부에서 선택된 영역의 부호화 데이터를 추출하고, 상기 영역 선택부에서 선택된 각 영역의 구성 정보를 포함하는 헤더를 작성하여 새로운 화상 프레임 정보를 생성하는 정보 처리부와,
    상기 정보 처리부에서 생성된 화상 프레임 정보를 상기 수신 장치에 송신하는 송신부를 포함하는 화상 송신 시스템.
KR20080065965A 2007-07-13 2008-07-08 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템 KR20090007220A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007183988A JP5326234B2 (ja) 2007-07-13 2007-07-13 画像送信装置、画像送信方法および画像送信システム
JPJP-P-2007-00183988 2007-07-13

Publications (1)

Publication Number Publication Date
KR20090007220A true KR20090007220A (ko) 2009-01-16

Family

ID=39869986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080065965A KR20090007220A (ko) 2007-07-13 2008-07-08 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템

Country Status (6)

Country Link
US (1) US20090016622A1 (ko)
EP (1) EP2019553A3 (ko)
JP (1) JP5326234B2 (ko)
KR (1) KR20090007220A (ko)
CN (1) CN101345865B (ko)
TW (1) TWI428020B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
US9372591B2 (en) * 2008-04-10 2016-06-21 Perceptive Pixel, Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
US20110085023A1 (en) * 2009-10-13 2011-04-14 Samir Hulyalkar Method And System For Communicating 3D Video Via A Wireless Communication Link
GB2481612A (en) 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
GB2481613A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating regions of shared images using a server that records image status
US9824622B1 (en) * 2011-01-31 2017-11-21 Hewlett-Packard Development Company, L.P. Determining a geometric position of a display screen within an array of coupled display screens
US9264471B2 (en) * 2011-06-22 2016-02-16 Google Technology Holdings LLC Method and apparatus for segmenting media content
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN102779503B (zh) * 2012-07-17 2015-07-29 深圳市文鼎创数据科技有限公司 通过显示屏输出信息的方法、装置及终端
CN108419076B (zh) * 2012-09-29 2022-04-29 华为技术有限公司 视频编码及解码方法、装置及系统
CN103049238A (zh) * 2012-12-14 2013-04-17 广东威创视讯科技股份有限公司 影像数据传输方法及装置
KR20200045013A (ko) 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
US9948935B2 (en) * 2014-01-30 2018-04-17 Panasonic Corporation Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information
CN103825912A (zh) * 2014-03-24 2014-05-28 联想(北京)有限公司 一种数据传输方法、电子设备及服务器
JP6493403B2 (ja) * 2014-06-30 2019-04-03 ソニー株式会社 ファイル生成装置および方法、並びにコンテンツ再生装置および方法
GB2530751A (en) * 2014-09-30 2016-04-06 Sony Corp Video data encoding and decoding
CN111337133B (zh) * 2020-03-02 2021-08-03 浙江大华技术股份有限公司 红外数据的生成方法及装置、解析方法及装置
CN112583821A (zh) * 2020-12-09 2021-03-30 威创集团股份有限公司 显示方法、显示系统、电子设备和计算机可读存储介质
CN113179205B (zh) * 2021-03-31 2023-04-18 维沃移动通信有限公司 图像分享方法、装置及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US7581027B2 (en) * 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
JP3951695B2 (ja) * 2001-12-11 2007-08-01 ソニー株式会社 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US7734824B2 (en) * 2002-10-18 2010-06-08 Ricoh Co., Ltd. Transport of reversible and unreversible embedded wavelets
JP3988990B2 (ja) * 2002-08-27 2007-10-10 株式会社リコー 符号変換装置、符号変換方法、プログラム及び記録媒体
JP3938534B2 (ja) * 2002-09-19 2007-06-27 株式会社リコー 画像処理装置及び方法、画像形成装置、並びにプログラム
JP2004186871A (ja) * 2002-12-02 2004-07-02 Ricoh Co Ltd 画像処理装置、撮像装置、プログラム及び記憶媒体
JP4128438B2 (ja) * 2002-12-13 2008-07-30 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像編集方法
US7116833B2 (en) * 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
JP2004236299A (ja) * 2003-01-07 2004-08-19 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、プログラム及び記憶媒体
US7149370B2 (en) * 2003-03-07 2006-12-12 Nokia Corporation Method and device for image surfing
JP4416611B2 (ja) * 2003-10-01 2010-02-17 キヤノン株式会社 画像処理方法、画像処理装置
JP4812071B2 (ja) * 2004-01-16 2011-11-09 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4763312B2 (ja) * 2004-04-23 2011-08-31 住友電気工業株式会社 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
US7657056B2 (en) * 2004-06-05 2010-02-02 Samsung Electronics Co., Ltd. Apparatus for identifying a photographer of an image
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
FR2872972A1 (fr) * 2004-07-08 2006-01-13 Canon Kk Procede et dispositif de transmission video entre un serveur et un client
US7738710B2 (en) * 2004-08-02 2010-06-15 Electronics For Imaging, Inc. Methods and apparatus for communicating and displaying compressed image data
JP2006086579A (ja) * 2004-09-14 2006-03-30 Ricoh Co Ltd 画像処理装置、プログラム、及び記憶媒体
JP4603446B2 (ja) * 2004-09-29 2010-12-22 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP4371982B2 (ja) * 2004-11-08 2009-11-25 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
JP4738869B2 (ja) * 2005-04-07 2011-08-03 株式会社リコー 画像送信方法、画像送信プログラム、記録媒体及び画像送信装置
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
WO2007114456A1 (en) * 2006-03-29 2007-10-11 Casio Computer Co., Ltd. Server apparatus of computer system

Also Published As

Publication number Publication date
JP5326234B2 (ja) 2013-10-30
CN101345865A (zh) 2009-01-14
EP2019553A3 (en) 2009-04-29
CN101345865B (zh) 2012-10-10
EP2019553A2 (en) 2009-01-28
TW200917845A (en) 2009-04-16
TWI428020B (zh) 2014-02-21
US20090016622A1 (en) 2009-01-15
JP2009021901A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
US11120677B2 (en) Transcoding mixing and distribution system and method for a video security system
JP5089658B2 (ja) 送信装置及び送信方法
US7581027B2 (en) JPEG 2000 for efficent imaging in a client/server environment
US9693080B2 (en) Distribution control system, distribution control method, and computer-readable storage medium
US20040184523A1 (en) Method and system for providing reduced bandwidth for picture in picture video transmissions
US9894391B2 (en) Distribution management apparatus, distribution method, and program
MXPA01000893A (es) Acceso remoto a computadora.
JP2008252739A (ja) 情報処理装置および方法、並びにプログラム
KR20150040125A (ko) 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
US20160044079A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
US9596435B2 (en) Distribution control apparatus, distribution control method, and computer program product
CN107318021B (zh) 一种远程显示的数据处理方法及系统
JP2005045666A (ja) トランスコーダ
JP5171655B2 (ja) 画像送信装置、方法及び記憶媒体
JP3300228B2 (ja) 画像通信システム
TW201501516A (zh) 多訊源影像串流顯示系統、多訊源影像串流顯示裝置及其方法
CN113938632A (zh) 网络视频录像机级联方法、录像机及存储介质
EP2946554B1 (en) System, apparatus and method for sharing a screen having multiple visual components

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application