KR20050014893A - 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치 - Google Patents

화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치

Info

Publication number
KR20050014893A
KR20050014893A KR10-2004-7021448A KR20047021448A KR20050014893A KR 20050014893 A KR20050014893 A KR 20050014893A KR 20047021448 A KR20047021448 A KR 20047021448A KR 20050014893 A KR20050014893 A KR 20050014893A
Authority
KR
South Korea
Prior art keywords
image data
request information
image
information
receiving
Prior art date
Application number
KR10-2004-7021448A
Other languages
English (en)
Other versions
KR100742674B1 (ko
Inventor
노무라토시오
카타타히로유키
이토노리오
우치우미타다시
와타나베슈이치
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20050014893A publication Critical patent/KR20050014893A/ko
Application granted granted Critical
Publication of KR100742674B1 publication Critical patent/KR100742674B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

서버(1)는, 클라이언트(11)로부터 송신되는 요구정보를 요구해석부(4)에서 해석하고, 다시점 화상데이터(2) 중에서 필요한 화상데이터를 선택하여 화상생성부(3)에 출력하고, 요구된 시점의 화상데이터를 보간생성하여 화상합성부(5)에 출력한다. 화상합성부(5)에서는 복수의 화상데이터를 부호화에 적합한 형상으로 합성하여, 부호화부(6)가 화상데이터를 적절한 비트 레이트로 부호화하여 네트워크(7)에 송신한다. 클라이언트(11)는, 부호화된 화상데이터를 수신하여, 복호부(12)에서 복호하여 화상처리부(13)에 출력하고, 입체표시형식에 맞추어 적절한 형상으로 변환하여, 표시부(14)에 표시한다. 또한, 클라이언트(11)는, 시점을 변경하기 위한 입력부(16)를 구비하고, 요구출력부(15)를 통해 시점변경의 요구정보를 네트워크(7)에 송신한다. 이렇게 하여, 휴대단말 등에 있어서도 임의의 시점에서 본 입체화상을 관찰할 수 있게 된다.

Description

화상데이터 전송시스템, 그의 화상데이터 송신장치, 및 그의 화상데이터 수신장치{IMAGE DATA DELIVERY SYSTEM, IMAGE DATA TRANSMITTING DEVICE THEREOF, AND IMAGE DATA RECEIVING DEVICE THEREOF}
종래로부터 복수의 카메라로 촬영된 다시점 화상을 이용하여 임의의 시점에서 본 입체화상을 표시하는 장치가 고려되고 있다. 이와 같은 표시장치로서는, 예를 들어, 도16에 도시하는 바와 같은 것이 있다. 이것은, 좌우의 시점을 설정하기 위한 입력장치(95)와, 입력장치(95)에 접속된 좌우의 시점에서 본 2매의 화상으로 이루어지는 화상데이터를 작성하기 위한 컴퓨터(91)와, 컴퓨터(91)에 접속되고 2매의 화상으로 되는 화상데이터를 수신하여, 이것을 내부회로에서 합성하여 입체표시하는 입체표시 디스플레이(98)를 포함한다.
컴퓨터(91)는 다시점 화상데이터를 기억하기 위한 메모리(92)와, 2매의 화상으로 되는 화상데이터의 작성처리를 실행하기 위한 CPU(93)와, 입체표시 디스플레이(98) 및 입력장치(95)에 접속되는 입력장치(95)로부터의 입력치 및 화상데이터의 입출력을 제어하기 위한 입출력 인터페이스(94)와, CPU(93), 메모리(92) 및 입출력인터페이스(94)를 서로 접속하기 위한 버스(96)를 포함한다.
입력장치(95)에 의해, 메모리(92)에 기억되어 있는 다시점 화상데이터 중 원하는 하나를 선택함과 동시에, 입체표시를 행하기 위한 좌우의 시점을 설정한다. 이 경우에 있어서는, 다시점 화상데이터내에 좌시점에서 보는 화상데이터가 존재하는지 아닌지를 판단하고, 존재하는 경우에는 그의 화상데이터를 입출력 인터페이스(94)를 통해 출력한다. 존재하지 않는 경우에는 좌시점의 근접한 시점에서 촬영된 소정의 복수 매수의 화상으로 되는 화상데이터를 이용하여 보간처리를 행함으로써, 좌시점에서 본 화상데이터를 작성하고, 입출력 인터페이스(94)를 통해 출력한다. 우시점에 대해서도 동일하다.
그러나, 종래기술에서는, 충분한 용량을 갖는 메모리와 처리능력이 높은 CPU가 필요하기 때문에, 휴대단말과 같이 한정된 용량의 메모리, 한정된 처리능력의 CPU밖에 갖지 않는 단말에 있어서는 실현할 수 없다는 문제점이 있다.
또한, 특정의 입체표시 디스플레이가 컴퓨터에 직접 접속되어 있는 것을 상정하기 때문에, 화상 데이터의 효율적인 전송에 대해서는 고려되지 않고, 네트워크를 통해 여러가지 종류의 입체표시 디스플레이가 접속되어 있는 경우에 대처할 수 없다는 문제점이 있다.
본 발명은, 이와 같은 상황을 감안하여 이루어진 것으로, 휴대단말 등에 있어서도 임의의 시점에서 본 입체화상을 관찰할 수 있는 화상데이터 전송시스템, 그의 화상데이터 송신장치 및 화상데이터 수신장치를 제공하는 것을 과제로 한다.
또한, 입체화상 데이터의 효율적인 전송을 실현하고, 동일한 원화상데이터를이용하면서도 네트워크를 통해 접속된 여러 종류의 입체표시 디스플레이에서 임의의 시점에서 본 입체화상을 관찰할 수 있도록 하는 것을 과제로 한다.
본 발명은 화상데이터를 전송하는 화상데이터 전송시스템, 그의 화상데이터 송신장치 및 화상데이터 수신장치에 관한 것이다.
도1은, 본 발명에 관한 화상데이터 전송시스템의 실시형태를 나타내는 블록도이다.
도2는, 다시점 화상데이터를 작성하기 위한 복수의 카메라의 배치를 나타내는 도면이다.
도3은, 보간생성되는 화상데이터의 좌시점 L 및 우시점 R을 나타내는 도면이다.
도4는, 생성되는 화상데이터로부터 표시부의 해상도에 따라 절출하는 영역을 나타내는 도면이다.
도5는, 클라이언트로 되는 휴대형단말의 이미지도이다.
도6은, 다시점 화상데이터의 축적데이터 형태의 예를 도시하는 도면이다.
도7은, 생성되는 화상데이터 형태의 예를 도시하는 도면이다.
도8은, 다시점 화상데이터의 축적 및 추출을 나타내는 도면이다.
도9는, 서버에서의 처리수순을 나타내는 플로우 챠트이다.
도10은, 클라이언트에서의 처리수순을 나타내는 플로우 챠트이다.
도11은, 다시점 동화상데이터를 MPEG-4에서 부호화하는 일예를 나타내는 도면이다.
도12는, 관리정보가 부가된 다시점 화상데이터를 나타내는 도면이다.
도13은, 관리정보의 일예를 나타내는 도면이다.
도14는, 본 실시형태에서 상정하는 서버와 클라이언트의 접속형태이다.
도15는, 화상생성부의 상세한 처리를 나타내는 플로우 챠트이다.
도16은, 종래예를 나타내는 도면이다.
전술한 목적을 해결하기 위해, 본 발명에 관한 화상데이터 전송시스템, 화상데이터 송신장치 및 화상데이터 수신장치는, 다음과 같은 수단을 채용한다.
즉, 본 발명의 화상데이터 전송시스템은, 네트워크를 통해 송신되는 클라이언트의 요구정보를 수신하는 요구정보 수신수단과, 요구정보 수신수단에서 수신한 요구정보를 해석하는 요구정보 해석수단과, 다시점 화상데이터를 공급하는 다시점 화상공급수단과, 요구정보 해석수단에서 해석한 요구정보의 시점정보에 기초하여 필요로 하는 화상데이터를 다시점 화상공급수단으로부터 입력하여 요구정보에 합치한 소정시점의 화상데이터를 생성하는 화상생성수단과, 화상생성수단에서 생성한 복수의 화상데이터를 요구정보의 표시부정보에 기초하여 합성하는 화상합성수단과, 화상합성수단에서 합성한 화상데이터를 부호화하는 부호화수단과, 부호화수단에서 부호화한 화상데이터를 네트워크에 송신하는 송신수단과, 네트워크를 통해 부호화된 화상데이터를 수신하는 수신수단과, 수신수단에서 수신한 부호화된 화상데이터를 복호하는 복호수단과, 복호수단에서 복호한 화상데이터를 표시수단에 표시가능하게 처리하는 화상처리수단과, 화상처리수단에서 처리된 화상데이터를 표시하는 표시수단과, 클라이언트의 요구정보를 입력하는 요구정보 입력수단과, 요구정보를 네트워크에 송신하는 요구정보 송신수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상데이터 송신장치는, 네트워크를 통해 송신되는 클라이언트의 요구정보를 수신하는 요구정보 수신수단과, 요구정보 수신수단에서 수신한 요구정보를 해석하는 요구정보 해석수단과, 다시점 화상데이터를 공급하는 다시점 화상공급수단과, 요구정보 해석수단에서 해석한 요구정보의 시점정보에 기초하여 필요로 하는 화상데이터를 다시점 화상공급수단으로부터 입력하여 요구정보에 합치한 소정 시점의 화상데이터를 생성하는 화상생성수단과, 화상생성수단에서 생성한 복수의 화상데이터를 요구정보의 표시부정보에 기초하여 합성하는 화상합성수단과, 화상합성수단에서 합성한 화상데이터를 부호화하는 부호화수단과, 부호화수단에서 부호화한 화상데이터를 네트워크에 송신하는 송신수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상데이터 수신장치는, 네트워크를 통해 부호화된 화상데이터를 수신하는 수신수단과, 수신수단에서 수신한 부호화된 화상데이터를 복호하는 복호수단과, 복호수단에서 복호한 화상데이터를 표시수단에 표시가능하게 처리하는 화상처리수단과, 화상처리수단에서 처리된 화상데이터를 표시하는 표시수단과, 클라이언트의 요구정보를 입력하는 요구정보 입력수단과, 요구정보를 네트워크에 송신하는 요구정보 송신수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상데이터 전송시스템 및 화상데이터 송신장치는, 다시점 화상데이터에 각시점 화상데이터에의 액세스 및 랜덤 액세스를 가능하게 하기 위한 관리정보를 부가하는 관리정보 부가수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상데이터 전송시스템 및 화상데이터 수신장치는, 수신한 화상데이터가 2차원 화상데이터인지 입체화상 데이터인지를 판정하는 판정수단을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상데이터 전송시스템, 화상데이터 송신장치 및 화상데이터 수신장치는, 송신하는 또는 수신한 화상데이터에 2차원 화상데이터인지 입체화상 데이터인지를 식별하기 위한 정보를 부가하는 식별정보 부가수단을 갖는 것을 특징으로 한다.
이상과 같이, 본 발명에 의하면, 상기 구성을 가짐으로써, 클라이언트측에 있어서, 충분한 용량을 갖는 메모리와 처리능력이 높은 CPU를 필요로 하지 않기 때문에, 휴대단말 등에 있어서도 임의의 시점에서 본 입체화상을 관찰할 수 있게 되는 효과가 있다.
또한, 동일한 원화상데이터를 이용하면서도 네트워크를 통해 접속된 여러 종류의 입체표시 디스플레이에서 임의의 시점에서 본 입체화상을 관찰할 수 있게 되는 효과가 있다.
이하, 본 발명에 관한 화상데이터 전송시스템의 실시형태를 도면에 기초하여 설명한다.
도1은, 본 발명에 관한 화상데이터 전송시스템의 실시형태를 나타내는 블록도이다.
서버(1)(화상데이터 송신장치)와 클라이언트(11)(화상데이터 수신장치)가 네트워크(7)를 통해 접속되어 있다. 서버(1)는 다시점 화상데이터(2)를 기억(기록)하고, 클라이언트(11)가 서버(1)에 대해 요구정보를 송신함으로써, 원하는 시점에서 본 화상을 표시부(14)에 입체표시할 수 있다.
또한, 다시점 화상데이터는, 만드시 미리 서버(1)내에 기억(기록)되어 있을 필요는 없고, 외부에서 실시간으로 입력되어도 좋다.
서버(1)는, 클라이언트(11)로부터 송신되는 요구정보를 요구해석부(4)(요구정보 해석수단(요구정보 수신수단을 포함)에서 해석하고, 다시점 화상데이터(2)(다시점 화상공급수단) 중에서 필요한 화상데이터를 선택하여 화상생성부(3)(화상생성수단)에 출력하고, 화상생성부(3)에서는 요구된 시점(시점정보)의 화상데이터를 보간생성하여 화상합성부(5)(화상합성수단)에 출력하고, 화상합성부(5)에서는 입력한 복수의 화상데이터를 부호화에 적합한 형태(표시부 정보에 기초하는 형태)로 합성하여 부호화부(6)(부호화수단)에 출력하고, 부호화부(6)에서는 입력된 화상데이터를 적절한 비트 레이트로 부호화하여 네트워크(7)에 송신한다(송신수단).
클라이언트(11)는, 부호화된 화상데이터를 수신하여(수신수단), 복호부(12)(복호수단)에서 복호하여, 복호한 화상데이터를 화상처리부(13)(화상처리수단)에 출력하여, 화상데이터를 입체표시형식에 맞추어 적절한 형태로 변환하여, 표시부(14)(표시수단)에 표시한다. 또한, 클라이언트(11)는, 시점을 변경하기 위한 입력부(16)(요구정보 입력수단)를 구비하고, 요구출력부(15)(요구정보 송신수단)를 통해 시점변경의 요구정보를 네트워크(7)에 송신한다.
이하, 서버(1) 및 클라이언트(11)에 대해 상세하게 설명한다.
다시점 화상데이터(2)는, 복수의 카메라를 사용하여 촬영된 화상데이터의 세트이다. 복수의 카메라는, 예를 들어, 도2a에 도시한대로 복수의 카메라의 광축이 한 점에 모이도록 배치되는 것이 일반적이다. 특수한 예로서, 도2b와 같이 카메라의 광축이 각각 원의 중심을 향하도록 원주상에 배치하는 것도 있다. 어느쪽의 경우에서도 카메라는 등간격으로 배치되어 있을 필요는 없고, 분포에 소밀이 있어도 좋다. 카메라가 어떻게 배치되어 있는지를 나타내는 정보를 화상데이터와 함께 기록해둔다. 상기 배치정보는, 화상생성부(3)가 클라이언트(11)로부터의 요구정보에 기초하여 소정 시점의 화상데이터를 보간생성하는 때에, 어느 카메라로부터의 화상데이터에 기초하여 작성하면 좋은지를 판단하는 때에 이용된다.
다음에, 요구된 시점의 화상을 보간생성하는 때에, 필요한 카메라 화상데이터에 대해 설명한다. 도3a에 도시하는 예에서는, 카메라 C1 ~ C4에 대해 좌시점 L과 우시점 R이 도시하도록 설정되어 있고, 이 경우는, 좌시점 L의 화상데이터를 생성하기 위해 C1과 C2의 화상데이터를 사용하고, 우시점 R의 화상을 생성하기 위해 C2와 C3의 화상데이터를 사용하게 된다. 또한, 동일하게, 도3b에 도시하는 예에서는, 카메라 C1 ~ C4의 배치와 요구되는 좌시점 L, 우시점 R과의 관계는 도시하게 되어 있고, 이 경우는, 좌시점 L의 화상데이터도 우시점 R의 화상데이터도 C1과 C2의 화상데이터를 사용하여 생성된다. 또한, 도3에서는 카메라를 4대 사용하는 예를 도시하지만, 카메라의 수는 4로 한정되는 것은 아니다.
보간에 의한 중간시점화상의 생성은 공지기술이고, 예를 들어, "츠나시마(Tsunashima) 등: 오클루젼(occulusion)을 고려한 2면 스테레오 화상데이터로부터의 중간화상 데이터의 작성, 3D Image Conference '95, pp.174-177(1995)"나 "아즈마(azuma) 등: 중간상 생성을 위해 에지정보를 사용한 시차추정, 3D Image Conference '95, pp.190-194(1995)" 등에 상세하게 개시되어 있다.
화상생성부(3)에 있어서 필요한 시점의 화상데이터가 생성되면, 화상합성부(5)는, 요구된 해상도만큼의 화상데이터의 추출처리를 한다. 도4a에서는 생성된 화상데이터(21)의 크기가 카메라로 촬영된 화상의 크기와 동일한 것으로 하고, 클라이언트(11)에 있어서 표시시에 필요한 해상도를 영역(22)에 나타낸다. 도4a에서는 생성된 화상데이터의 일부분만큼을 절출한다. 또는, 도4b에 도시한대로, 클라이언트(11)에 있어서 표시시에 필요한 해상도 바로 그것은 아니고, 생성된 화상데이터(23)(카메라로 촬영된 화상과 동일한 크기로 함)로부터 표시 애스펙트(aspect)를 유지하여 절출시키는 최대의 영역(24)을 절출한 후, 필요한 해상도로 축소하도록 해도 좋다. 또한, 화상생성부(3)에서 미리 필요한 해상도만큼 밖에 화상데이터를 생성하지 않게 하는 것도 가능하다.
도5는, 클라이언트(11)로 되는 휴대형단말(50)의 이미지도이다. 입체데이터 디스플레이(54)를 구비하고, 시점을 상하좌우로 이동하기 위한 십자키(51)와, 시점을 전후로 이동하기 위한 키(52, 53)를 구비한다. 도시하지 않았지만, 서버와 통신하기 위한 통신수단도 구비한다.
다시점 화상데이터(2)의 축적형태의 예를 도6에 도시한다. 복수의 카메라로 촬영한 동화상데이터는 시간적으로 동기할 필요가 있기 때문에, 도6a와 같이 각 카메라로 촬영된 복수의 화상데이터 C1 ~ C4를 가로로 늘어놓아 붙임으로써 1매의 화상으로 되는 화상데이터로서 축적하는 형태가 있다. 이와 같이 하면, 1매의 화상으로 되는 화상데이터에 포함되는 C1 ~ C4는 동일한 시각에 촬영된 것이 보증되고, 시간관리가 용이해진다. 붙이는 방법은 도6a와 같이 가로 일렬로 한정되는 것은 아니고, 예를 들어, 도6b와 같이 붙여도 좋다.
한편, 도6c와 같이 각 카메라로 촬영된 화상데이터 C1 ~ C4를 따로따로 축적하는 형태도 고려된다. 이와 같이 축적하는 것에 의한 장점은, 예를 들어, 도3b에 도시한대로, 요구된 시점의 화상데이터를 생성하는데 필요한 카메라화상이 C1과 C2만인 경우, 그들을 용이하게 절출시킨다는 것이다.
다시점 화상데이터(2)는 압축하여 축적해도 좋고, 비압축 상태에서 축적해도 좋지만, 여기서, 도6c와 같은 각 카메라 화상데이터가 따로따로 되어 있는 화상데이터를 압축하여 축적하는 경우에 대해 도8을 사용하여 설명한다. 이와 같은 경우, 도8a에 도시한대로 각 카메라로 촬영된 화상데이터 C1 ~ C4는 부호화부(31)에 입력된다. 부호화부(31)는 각 화상데이터를 부호화함과 동시에, 관리정보를 생성하기 위해 필요한 정보(프레임 타입이나 발생 비트수 등)를 관리정보 생성부(32)에 출력한다. 기록부(33)에서는 부호화된 화상데이터와 함께 관리정보를 축적데이터로서 기록한다(관리정보 부가수단). 관리정보의 상세 및 축적형태에 대해서는 후술한다.
도8a와 같은 방법을 사용하여 기록된 축적데이터를 다시점 화상데이터로 하는 경우, 화상생성부(3)에서 사용하기 위해서는 그것을 복호할 필요가 있지만, 도8b에 도시한대로 클라이언트로부터의 요구에 따라 선택부(34)가 축적된 데이터로부터 필요한 화상데이터만을 선택하여 복호부(35)에 출력하여 복호함으로써, 필요충분한 원화상데이터(화상생성부(3)에서 사용하는 화상데이터)를 얻을 수 있다. 이때, 필요한 부분을 신속하게 추출하기 위해, 화상데이터와 함께 기록되어 있는 관리정보가 이용된다.
도7은, 화상합성부(5)가 생성하는 화상데이터형태의 예를 나타낸다. 도7b에 도시한대로 좌시점용 화상데이터 L과 우시점용 화상데이터 R을 각각의 화상데이터로서 부호화하는 것도 가능하지만, 도7a에 도시한대로 양자를 가로(또는 상하)로 늘어놓아 1매의 화상으로 되는 화상데이터로 합성하여 부호화하는 방법이 바람직하다. 도7a와 같이 1매의 화상으로 되는 화상데이터로 함으로써, 좌시점용 화상데이터 L과 우시점용 화상데이터 R의 동기가 보증되기 때문에, 시간관리가 용이해진다. 특히, MPEG-4와 같이 저속도 촬영이 발생하는 것과 같은 부호화방식을 사용하는 경우, 어느 시각에서는 좌시점용 화상데이터 L의 프레임이 존재하는데도 우시점용 화상데이터 R의 프레임이 존재하지 않는 경우의 발생을 방지할 수 있다. 또한, 1매의 화상으로 되는 화상데이터로서 레이트 콘트롤이 제어되기 때문에, 좌시점용 화상 L과 우시점용 화상 R의 화질을 거의 동등하게 유지할 수 있다. 각각의 화상데이터로서 부호화하는 경우에는, 레이트 콘트롤의 결과에 따라서는, 어느 시각의 프레임을 취출한 때에, 좌시점용 화상 L의 화질은 양호하지만 우시점용 화상 R의 화질은 나쁜 경우가 발생하고, 이와 같은 경우에는 입체표시품질이 저하해버린다. 즉, 도7a와 같은 형태로 함으로써, 입체표시품질을 향상시키는 것이 가능하다.
클라이언트(11)의 입체표시형식에 따라서는 최종적으로 표시부(14)에 표시하는 화상데이터가 도7c에 나타낸 바와 같이 1라인마다 좌시점용 화상데이터 L과 우시점용 화상데이터 R의 스트라이프가 서로 늘어선 형상으로 되지만(렌티큘러(lenticular) 방식이나 패럴럭스배리어(parallax-barrier) 방식 등), 이와 같은 경우에서도 부호화하는 화상데이터는 도7a의 형상으로 되어 있는 것이 바람직하다. 왜냐하면, DCT와 같은 블록 베이스의 부호화를 행하는 경우, 도7c와 같은 형상의 화상데이터는 인접화소의 상관이 약해지고, 공간주파수가 높아지기 때문에, 압축효율이 나빠지기 때문이다. 또한, 요구되는 시점수가 2보다 큰 경우도 동일한 방법을 적용할 수 있다.
도7a와 같이 복수 시점의 화상데이터를 붙여서 1매의 화상이 되는 화상데이터로 한 경우, 형식적으로는 그것이 통상의 2차원 화상데이터인지 입체 화상데이터인지 구별이 소용없게 된다. 도1에 도시한 시스템을 사용하여 실시간의 스트리밍을 행하는 경우는, 클라이언트로부터의 요구에 따라 실시간으로 화상데이터가 송신되기 때문에 문제는 발생하지 않지만, 이와 같이 하여 송신된 화상데이터를 클라이언트(11)가 로컬로 기록하여, 나중에 그것을 보려는 경우, 그것이 2차원 화상데이터인지 입체 화상데이터인지 구별이 소용없게 된다. 이것을 방지하기 위해, 도7a와 같은 형상의 화상데이터를 기록하는 때에는, 화상데이터가 2차원 화상데이터인지 입체 화상데이터인지를 식별하기 위한 플래그를 부가하면 좋다(식별정보 부가수단). 상기 식별플래그의 부가는 서버(1)에서 행해도 좋고, 클라이언트(11)에서 행해도 좋다. 또한, 클라이언트(11)에는, 2차원 화상데이터인지 입체 화상데이터인지를 판정하는 판정수단이 설치된다.
또한, 화상데이터를 클라이언트(11)가 로컬로 기록하는 경우에 있어서, 기록수단은, 복호하기 전(복호부(12)의 전단) 또는 화상처리 후(화상처리부의 후단)에설치된다.
도9는, 서버(1)에서의 처리수순을 나타내는 플로우 챠트이다. 우선, 클라이언트로부터의 요구를 해석한다(단계 S1). 다음에, 다시점 화상데이터로부터 필요한 화상데이터를 선택한다(단계 S2). 그리고, 그것을 사용하여 요구된 시점의 화상을 생성한다(단계 S3). 다음에, 표시하는데 필요한 크기만큼의 화상데이터의 절출(필요에 따라 축소)을 행한다(단계 S4). 그리고, 절출된 좌시점용 화상데이터와 우시점용 화상데이터를 합성한다(단계 S5). 다음에, 합성화상데이터를 부호화한다(단계 S6). 그리고, 비트스트림으로서 출력한다(단계 S7).
도10은, 클라이언트(11)에서의 처리수순을 나타내는 플로우 챠트이다. 우선, 초기화를 행하는 초기상태의 시점위치(시점정보)와 시점에 의존하지 않는 정보(입체표시형식이나 해상도 등(표시부정보))을 설정한다(단계 S11). 다음에, 그들 정보를 요구로서 서버(1)에 송신한다(단계 S12). 그리고, 서버로부터 네트워크를 통해 요구를 만족시키는 비트스트림(화상데이터)이 송신된다(단계 S13). 다음에, 그것을 복호한다(단계 S14). 그리고, 복호한 화상데이터는 도7a에 나타낸 바와 같이 그대로 입체표시할 수 있는 형식으로 되어있지 않기 때문에, 이것을 나란히 교환함으로써 도7c에 도시한대로 입체표시형식에 합치한 형식으로 한다(단계 S15). 그리고, 표시부(14)에 표시한다(단계 S16). 다음에, 계속해서 표시를 행할지 여부를 판정한다(단계 S17). 그리고, 표시를 계속하는 경우에는, 시점의 변경요구가 있는지 여부를 판정한다(단계 S18). 다음에, 시점의 변경이 있는 경우에는 서버(1)에 재요구를 출력함으로써, 단계 S12로 돌아간다. 단계 S18에서 표시를 계속하지 않는 경우에는, 단계 S13으로 돌아간다.
도14는, 본 실시형태에서 상정하는 서버와 클라이언트의 접속형태이다. 단말 A ~ 단말 C가 클라이언트이고, 네트워크(7)를 통해 서버(41)와 접속되어 있다. 각 단말에 의해 입체표시형식이나 표시해상도가 다르고, 또, 보려고 하는 시점의 위치도 다르기 때문에, 서버(41)는 각 단말로부터의 요구에 따라 다른 화상데이터를 각 단말에 대해 송신한다. 서버(41)가 기억(기록)하는 다시점 화상데이터의 전부를 네트워크에 송신하고, 각 단말이 그것을 취사선택하여 표시하도록 하면, 전송하는 화상데이터는 1종류로 족하지만, 다시점 화상데이터는 막대한 정보량을 갖는 것과 네트워크의 대역제한에 의해 실제로는 그와 같이 하는 것은 불가능하다. 이 때문에, 본 발명과 같이 클라이언트로부터의 요구에 맞춰 서버가 적절한 화상데이터를 송신하는 시스템은, 다른 종류의 단말이 네트워크에 접속되는 것과 같은 환경에서는 필수적이다.
도15는, 화상생성부(3)의 처리의 상세를 나타내는 플로우 챠트이다. 우선, 클라이언트로부터 요구된 시점의 위치를 해석한다(단계 S21). 다음에, 축적하는 다시점 화상데이터 중에 그 시점과 일치하는 위치의 화상이 있는지 여부를 판정한다(단계 S22). 그리고, 어느 경우에는 그의 화상데이터를 그대로 사용하면 좋고, 아닌 경우에는 보간화상을 생성한다(단계 S23). 다음에, 그것을 화상데이터로서 출력한다(단계 S24).
다음에, 관리정보에 대해 설명한다.
다시점 동화상을 MPEG-4로 부호화하는 경우의 일 예를 도11에 도시한다.MPEG-4에서는 저속도 촬영을 이용하는 것이 가능하기 때문에, 부호화되는 프레임은, LTf0, LTf3, LTf5, LTf10과 같이 프레임 번호가 띄엄띄엄 되어 있다. 또한, 이 예에서는 LTf0를 프레임내 부호화하는 프레임(P프레임), LTf3, LTf5를 LTf0, LTf10의 부호 프레임으로부터 양방향 예측 부호화하는 프레임(B프레임)으로서 부호화한다.
도8a의 관리정보 생성부(32)에서 부가되는 관리정보의 일예를 도13에 도시한다. 각 카메라화상의 부호화데이터는, 관리정보와 함께 도12에 나타낸대로 결합하여 축적하는 것이 가능하지만, 이 때, 각 카메라 화상데이터에의 액세스를 가능하게 하기 위한 정보가 관리정보이다. 다시점 동화상의 경우는, 각 카메라 화상데이터에의 액세스와 함께, 각 카메라 화상데이터내의 지정 시각의 부호화 데이터에의 랜덤액세스를 가능하게 하는 정보도 포함된다.
도13a는, 각 카메라화상의 부호화 데이터에의 액세스를 행하기 위한 관리저보의 일예이다. 예를 들어, 카메라화상 C2의 부호화 데이터는, 도12의 데이터의 선두로부터 B2 바이트째에 존재하는 것을 나타낸다. 도13a에는 또, 카메라 화상데이터내에서의 지정시각의 부호화 데이터에의 액세스를 행하기 위한 정보에의 포인터가 기재되어 있다. C2의 부호화 데이터의 경우, 지정 시각의 부호화 데이터에의 액세스 테이블은 관리정보내의 어드레스 P2에 있는 것이 나타난다.
도13b는, 지정시각의 부호화 데이터에의 액세스 테이블의 일예이다. 시각 t1, t2, t3, ...는 등간격으로 설정되어 있어도 좋고, 임의의 시간간격이어도 좋다. 예를 들어, 시각 t3에 대응하는 부호화 데이터는, 카메라 화상의 부호화 데이터의 선두로부터 Bt3 바이트째에 존재하고, 그의 위치로부터 It3 바이트 소급된 위치에 I 프레임의 부호화 데이터가 있는 것이 나타난다. 디코더가 시각 t3로부터 표시하려는 경우, 우선, 선두로부터 (Bt3 - It3) 바이트에 있는 I 프레임의 부호화 데이터를 복호한다. 다음에, 순차 P 프레임이나 B 프레임을 복호하면서 복호한 바이트수를 카운트하고, It3 바이트만큼 복호한 시점에서 표시를 개시하면, 지정한 시각 t3의 화상 데이터가 표시된다.
다음에, 그 외의 액세스 방법에 대해 설명한다.
(A) 부호화 데이터가 패킷화되어 있고, 각 패킷의 헤더정보에 I 프레임의 선두를 포함하는지 여부를 나타내는 정보가 있다. 도13b에는, 지정시각과 그에 대응하는 패킷까지의 바이트수가 기입되어 있다. 디코더에서 지정시각 t3의 패킷에 액세스한 후, 패킷이 I 프레임의 선두를 포함하는지 여부를 체크하고, I 프레임을 포함한 패킷으로부터 복호·표시를 개시한다(그 이전의 패킷은 읽고 버린다).
(B) (A)에서, 패킷까지의 바이트수를 명시하지 않고, 패킷 번호만을 도13b에 기입한다. 하나의 부호화 데이터내의 패킷의 길이를 고정하고, 부호화 데이터의 헤더정보에 패킷의 바이트수를 기입한다. 디코더는, 패킷 번호와 패킷의 바이트수로부터, 지정시각의 패킷까지의 바이트수를 계산한다(이후는 (A)와 동일).
다음에, 그 외의 축적 형태에 대해 설명한다.
(C) 도12는 관리정보와 부호화정보가 결합되어 축적되어 있지만, 관리정보와 다른 파일로서 분리하여 축적해도 상관없다.
(D) 관리정보 중, 지정시각에의 액세스를 위한 정보는, 관리정보 중에는 없고, 각 카메라 화상의 부호화 데이터의 헤더정보에 포함되어 있어도 좋다. 그 경우, 도13a의 3열째(카메라 화상내에서의 지정시각에의 액세스를 행하기 위한 정보에의 포인터)는 필요없다.
(E) 관리정보, 각 카메라 화상의 부호화 데이터를 전부 다른 파일로 해도 좋다. 이 때, 예를 들어, 도13a의 2열째에는 선두로부터의 바이트수를 대신하여, 각 카메라 화상의 부호화 데이터의 파일명이 기입된다. 각 카메라 화상에의 액세스는 파일명에 기초하여 행해진다.
본 발명에 관한 화상데이터 전송시스템, 그의 화상데이터 송신장치 및 화상데이터 수신장치는, 클라이언트측에 있어서, 충분한 용량을 갖는 메모리와 처리능력이 높은 CPU를 필요로 하지 않고, 임의의 시점에서 본 입체화상을 관찰할 수 있는 휴대단말 등에 적용할 수 있다.

Claims (10)

  1. 네트워크를 통해 송신되는 클라이언트의 요구정보를 수신하는 요구정보 수신수단과, 요구정보 수신수단에서 수신한 요구정보를 해석하는 요구정보 해석수단과, 다시점 화상데이터를 공급하는 다시점화상 공급수단과, 요구정보 해석수단에서 해석한 요구정보의 시점정보에 기초하여 필요로 하는 화상데이터를 다시점 화상공급수단으로부터 입력하여 요구정보에 합치한 소정 시점의 화상데이터를 생성하는 화상생성수단과, 화상생성수단에서 생성한 복수의 화상데이터를 요구정보의 표시부정보에 기초하여 합성하는 화상합성수단과, 화상합성수단에서 합성한 화상데이터를 부호화하는 부호화수단과, 부호화수단에서 부호화한 화상데이터를 네트워크에 송신하는 송신수단과, 네트워크를 통해 부호화된 화상데이터를 수신하는 수신수단과, 수신수단에서 수신한 부호화된 화상데이터를 복호하는 복호수단과, 복호수단에서 복호한 화상데이터를 표시수단에 표시가능하게 처리하는 화상처리수단과, 화상처리수단에서 처리된 화상데이터를 표시하는 표시수단과, 클라이언트의 요구정보를 입력하는 요구정보 입력수단과, 요구정보를 네트워크에 송신하는 요구정보 송신수단을 갖는 것을 특징으로 하는 화상데이터 송신시스템.
  2. 네트워크를 통해 송신되는 클라이언트의 요구정보를 수신하는 요구정보 수신수단과, 요구정보 수신수단에서 수신한 요구정보를 해석하는 요구정보 해석수단과, 다시점 화상데이터를 공급하는 다시점 화상공급수단과, 요구정보 해석수단에서 해석한 요구정보의 시점정보에 기초하여 필요로 하는 화상데이터를 다시점 화상공급수단으로부터 입력하여 요구정보에 합치한 소정시점의 화상데이터를 생성하는 화상생성수단과, 화상생성수단에서 생성한 복수의 화상데이터를 요구정보의 표시부 정보에 기초하여 합성하는 화상합성수단과, 화상합성수단에서 합성한 화상데이터를 부호화하는 부호화수단과, 부호화수단에서 부호화한 화상데이터를 네트워크에 송신하는 송신수단을 갖는 것을 특징으로 하는 화상데이터 송신장치.
  3. 네트워크를 통해 부호화된 화상데이터를 수신하는 수신수단과, 수신수단에서 수신한 부호화된 화상데이터를 복호하는 복호수단과, 복호수단에서 복호한 화상데이터를 표시수단에 표시가능하게 처리하는 화상처리수단과, 화상처리수단에서 처리된 화상데이터를 표시하는 표시수단과, 클라이언트의 요구정보를 입력하는 요구정보 입력수단과, 요구정보를 네트워크에 송신하는 요구정보 송신수단을 갖는 것을 특징으로 하는 화상데이터 수신장치.
  4. 제1항에 있어서, 다시점 화상데이터에 각 시점 화상데이터에의 액세스 및 랜덤 액세스를 가능하게 하기 위한 관리정보를 부가하는 관리정보 부가수단을 갖는 것을 특징으로 하는 화상데이터 전송시스템.
  5. 제2항에 있어서, 다시점 화상데이터에 각 시점 화상데이터에의 액세스 및 랜덤 액세스를 가능하게 하기 위한 관리정보를 부가하는 관리정보 부가수단을 갖는것을 특징으로 하는 화상데이터 전송장치.
  6. 제1항 또는 제4항에 있어서, 수신한 화상데이터가 2차원 화상데이터인지 입체 화상데이터인지를 판정하는 판정수단을 갖는 것을 특징으로 하는 화상데이터 전송시스템.
  7. 제3항에 있어서, 수신한 화상데이터가 2차원 화상데이터인지 입체 화상데이터인지를 판정하는 판정수단을 갖는 것을 특징으로 하는 화상데이터 수신장치.
  8. 제1항, 제4항, 제6항 중 어느 하나의 항에 있어서, 송신하는 화상데이터에 2차원 화상데이터인지 입체 화상데이터인지를 식별하기 위한 정보를 부가하는 식별정보 부가수단을 갖는 것을 특징으로 하는 화상데이터 전송시스템.
  9. 제2항 또는 제5항에 있어서, 송신하는 화상데이터에 2차원 화상데이터인지 입체 화상데이터인지를 식별하기 위한 정보를 부가하는 식별정보 부가수단을 갖는 것을 특징으로 하는 화상데이터 수신장치.
  10. 제3항 또는 제7항에 있어서, 수신한 화상데이터에 2차원 화상데이터인지 입체 화상데이터인지를 식별하기 위한 정보를 부가하는 식별정보 부가수단을 갖는 것을 특징으로 하는 화상데이터 수신장치.
KR1020047021448A 2002-06-28 2003-06-30 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치 KR100742674B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00189470 2002-06-28
JP2002189470 2002-06-28
PCT/JP2003/008302 WO2004004350A1 (ja) 2002-06-28 2003-06-30 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置

Publications (2)

Publication Number Publication Date
KR20050014893A true KR20050014893A (ko) 2005-02-07
KR100742674B1 KR100742674B1 (ko) 2007-07-25

Family

ID=29996848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047021448A KR100742674B1 (ko) 2002-06-28 2003-06-30 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치

Country Status (7)

Country Link
US (1) US7734085B2 (ko)
EP (1) EP1519582A4 (ko)
JP (1) JP4346548B2 (ko)
KR (1) KR100742674B1 (ko)
CN (1) CN100342733C (ko)
AU (1) AU2003244156A1 (ko)
WO (1) WO2004004350A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755457B1 (ko) * 2005-08-16 2007-09-05 홍길철 인터넷 통신망을 이용한 다중 또는 입체 화상 서비스 방법
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR101521890B1 (ko) * 2014-03-28 2015-05-22 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113807A (ja) 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP2006165878A (ja) * 2004-12-06 2006-06-22 Shigeru Handa コンテンツ配信システム、及びデータ構造
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP4665167B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
KR20070008289A (ko) * 2005-07-13 2007-01-17 삼성전자주식회사 디스플레이 장치 및 그것을 구비한 정보 처리 시스템,그리고 그것의 구동 방법
JP5091143B2 (ja) * 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
JPWO2007122907A1 (ja) * 2006-03-29 2009-09-03 パナソニック株式会社 画像コーデック装置
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
US8184692B2 (en) * 2006-09-25 2012-05-22 Framecaster, Inc. Distributed and automated video encoding and delivery system
JP5029062B2 (ja) * 2007-02-26 2012-09-19 富士通株式会社 多視点動画像伝送システム
WO2009027923A1 (en) * 2007-08-31 2009-03-05 Koninklijke Philips Electronics N.V. Conveying auxiliary information in a multiplexed stream
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
JP2010169777A (ja) * 2009-01-21 2010-08-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5627860B2 (ja) 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP5460702B2 (ja) 2009-05-14 2014-04-02 パナソニック株式会社 ビデオデータのパケット伝送方法
KR20100131061A (ko) * 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
KR101320350B1 (ko) * 2009-12-14 2013-10-23 한국전자통신연구원 보안관제서버 및 보안관제서버의 영상데이터 관리 방법
KR101329057B1 (ko) * 2010-03-29 2013-11-14 한국전자통신연구원 다시점 입체 동영상 송신 장치 및 방법
JP5515988B2 (ja) * 2010-04-05 2014-06-11 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム
AU2011296954B2 (en) * 2010-09-03 2016-02-11 Sony Corporation Encoding device and encoding method, as well as decoding device and decoding method
CN102402412B (zh) * 2010-09-19 2014-12-31 联想(北京)有限公司 显示功能处理模块,服务器和显示处理方法
JP2012134893A (ja) * 2010-12-24 2012-07-12 Hitachi Consumer Electronics Co Ltd 受信装置
JP2012235308A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
CN103179302B (zh) * 2011-12-22 2017-10-10 腾讯科技（深圳）有限公司 开放平台中的图片处理方法及系统
WO2013102500A1 (en) * 2012-01-06 2013-07-11 Ultra-D Coöperatief U.A. Display processor for 3d display
JP2014007648A (ja) * 2012-06-26 2014-01-16 Sony Corp 画像処理装置と画像処理方法およびプログラム
WO2014039265A1 (en) * 2012-09-10 2014-03-13 Utc Fire & Security Americas Corporation, Inc. Systems and methods for security panel content management
EP2908519A1 (en) * 2014-02-14 2015-08-19 Thomson Licensing Method for displaying a 3D content on a multi-view display device, corresponding multi-view display device and computer program product
USD748196S1 (en) 2014-08-27 2016-01-26 Outerwall Inc. Consumer operated kiosk for sampling products
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
DE102014226122A1 (de) * 2014-12-16 2016-06-16 Robert Bosch Gmbh Transkodereinrichtung sowie Server-Client-Anordnung mit der Transkodereinrichtung
JP6452429B2 (ja) * 2014-12-18 2019-01-16 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2016220113A (ja) * 2015-05-22 2016-12-22 株式会社ソシオネクスト 映像配信装置、映像配信方法、及び映像配信システム
US10129579B2 (en) 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
JP6770939B2 (ja) * 2017-09-28 2020-10-21 Kddi株式会社 映像配信サーバ、映像配信方法および映像配信プログラム
CN108055324A (zh) * 2017-12-13 2018-05-18 济南汇通远德科技有限公司 一种基于智能穿戴产品实现数据交互的方法
CN110913202B (zh) * 2019-11-26 2022-01-07 深圳英伦科技股份有限公司 一种三维显示云渲染方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01107247A (ja) 1987-10-21 1989-04-25 Matsushita Electric Ind Co Ltd ３次元映像表示装置
JPH07274211A (ja) 1994-03-30 1995-10-20 Sanyo Electric Co Ltd ２次元画像を３次元画像に変換する方法
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
CN1286327C (zh) * 1996-02-28 2006-11-22 松下电器产业株式会社 光盘重放装置及光盘记录装置
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JPH10178594A (ja) 1996-12-19 1998-06-30 Sanyo Electric Co Ltd ３次元映像伝送方法、デジタル放送システムおよびデジタル放送システムにおけるユーザ側端末
US5864337A (en) * 1997-07-22 1999-01-26 Microsoft Corporation Mehtod for automatically associating multimedia features with map views displayed by a computer-implemented atlas program
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JPH11225160A (ja) 1998-02-05 1999-08-17 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画転送方法及びサーバ
KR100345235B1 (ko) * 1998-11-08 2005-07-29 엘지전자 주식회사 디지털데이터스트림기록방법및그장치
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US6631205B1 (en) * 1999-01-13 2003-10-07 Canon Kabushiki Kaisha Stereoscopic imaging in a portable document format
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
WO2001028309A2 (en) * 1999-10-15 2001-04-26 Kewazinga Corp. Method and system for comparing multiple images utilizing a navigable array of cameras
US6525732B1 (en) * 2000-02-17 2003-02-25 Wisconsin Alumni Research Foundation Network-based viewing of images of three-dimensional objects
US20030132939A1 (en) * 2000-03-01 2003-07-17 Levin Moshe Interactive navigation through real-time live video space created in a given remote geographic location
KR20010100539A (ko) 2000-05-03 2001-11-14 박승준 다시점 입체 영상 표시기를 이용한 2차원 입체 영상제작방법
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US7190825B2 (en) * 2001-08-17 2007-03-13 Geo-Rae Co., Ltd. Portable communication device for stereoscopic image display and transmission
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755457B1 (ko) * 2005-08-16 2007-09-05 홍길철 인터넷 통신망을 이용한 다중 또는 입체 화상 서비스 방법
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR101521890B1 (ko) * 2014-03-28 2015-05-22 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법

Also Published As

Publication number Publication date
KR100742674B1 (ko) 2007-07-25
EP1519582A1 (en) 2005-03-30
CN100342733C (zh) 2007-10-10
AU2003244156A1 (en) 2004-01-19
EP1519582A4 (en) 2007-01-31
CN1666525A (zh) 2005-09-07
US20050248802A1 (en) 2005-11-10
JP4346548B2 (ja) 2009-10-21
US7734085B2 (en) 2010-06-08
JPWO2004004350A1 (ja) 2005-11-04
WO2004004350A1 (ja) 2004-01-08

Similar Documents

Publication Publication Date Title
KR100742674B1 (ko) 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100488804B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
JP4877852B2 (ja) 画像符号化装置、および画像送信装置
US5617334A (en) Multi-viewpoint digital video coder/decoder and method
US20080310762A1 (en) System and method for generating and regenerating 3d image files based on 2d image media standards
KR100424401B1 (ko) 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
WO2009155827A1 (zh) 立体视频编解码方法、装置及系统
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
JP2004240469A (ja) 画像データ作成装置およびそのデータを再生する画像データ再生装置
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140626

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150710

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee