KR101640851B1

KR101640851B1 - 화상 정보 전송 방법 및 패킷 통신 시스템

Info

Publication number: KR101640851B1
Application number: KR1020157004600A
Authority: KR
Inventors: 가즈노리 오자와
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2012-09-27
Filing date: 2013-09-04
Publication date: 2016-07-19
Also published as: JP5854247B2; TWI566550B; EP2903223A4; JPWO2014050547A1; EP2903223A1; CN104685840A; US20150256443A1; WO2014050547A1; TW201424300A; KR20150040942A

Abstract

데이터량 q₁, q₂, …, q_m가 q₁<q₂<…<q_m의 관계를 갖는 패킷 P₁, P₂, …, P_m로 해서 화상 정보를 송신 노드로부터 송신한다. 수신 노드는, 패킷 P₁, P₂, …, P_m의 지연 시간 t₁, t₂, …, t_m에 의거해서 패킷의 하나를 선택한다.

Description

화상 정보 전송 방법 및 패킷 통신 시스템{METHOD FOR TRANSMITTING IMAGE INFORMATION AND PACKET COMMUNICATION SYSTEM}

본 발명은 패킷 통신에 의한 화상 정보의 전송에 관한 것이다. 본 발명은 특히, 적어도 일부에 이동체 통신 네트워크 등의 무선 통신 구간을 포함하는 데이터 통신 네트워크를 통한 패킷 통신에 의한 화상 정보의 전송에 관한 것이다.

화상 정보를 부호화해서 패킷 통신망을 통하여 송신하면, 패킷 통신망의 트래픽의 혼잡 상황에 따라서 패킷의 지연이 발생하는 경우가 있다. 특히 휴대 전화 등의 이동체 통신의 경우, 트래픽의 혼잡 상황은 단말의 위치나 시간에 따라서 크게 변동한다.

이 때문에, 통신 전에 트래픽의 혼잡 상황을 상정하여, 그 혼잡 상황 하에서 이용 가능한 대역에 대응한 데이터 레이트를 미리 정해 두고, 그 데이터 레이트로 화상 정보를 부호화, 패킷화해서 송신하면, 반드시 실제의 트래픽 혼잡 상황에 적합한 비트레이트로는 되지 않는다. 실제의 트래픽이 상정한 것보다 혼잡할 경우에는, 패킷이 지연되어 리얼타임성을 손상시킨다. 반대로, 실제의 트래픽이 상정한 것보다 여유 있을 경우에는, 그 트래픽 상황이면 지연 없이 송신 가능했을 터인 높은 비트레이트로의 송신 기회를 놓치게 된다.

최근, 특히 기업 등에서는, 고도한 보안을 확보하기 위하여, 씬클라이언트(thin client)의 사용이 보급되기 시작하고 있다. 이것은, 단말로부터, 마치 실제 단말을 조작하는 바와 같이 서버 상의 가상 클라이언트를 조작하여 가상 클라이언트에서 애플리케이션을 동작시켜서 화면 정보를 생성하고 당해 화면 정보를 단말에 전송하여 단말의 스크린에 표시하는 기술이다. 단말에는 데이터를 일절 남기지 않기 때문에, 단말을 분실해도 비밀 정보나 기업 정보 등이 외부에 누설될 우려가 없다는 이점이 있다.

일본국 특개2011-193357호 공보

씬클라이언트 시스템으로서는, 단말측으로부터의 조작에 의해, 서버측에서 애플리케이션 소프트웨어를 동작시켜 화면을 생성하고, 화면을 압축해서 네트워크를 통하여 단말에 전송하고, 단말에서 화면을 복호해서 표시하는 방식의 것이 있다. 이러한 종류의 씬클라이언트 시스템에서는, 서버측에서 화면을 압축 부호화해서 얻은 비트스트림을, 네트워크를 통하여 단말에 전송한다. 이때, 특히, 모바일망이나 인터넷망 등에서는, 대역폭이 좁은데다 네트워크에서 흐르는 다른 트래픽의 데이터량에 의존해서 사용할 수 있는 대역폭이 시간적으로 크게 변동한다. 이 때문에, 씬클라이언트에서 전송하는 데이터량을 사용 가능한 대역폭 이하로 억제하지 않으면, 네트워크의 도중에서 데이터가 체류하고, 그 때문에, 단말에 데이터가 도착하기까지의 지연 시간이 길어지거나, 단말에서 화면 갱신용 데이터의 도착이 늦어 화면이 프리징되거나, 응답 속도가 느려지거나 한다는 문제가 있었다.

본 발명에 관련되는 기술이 기재된 문헌으로서 특허문헌 1을 들 수 있다. 특허문헌 1에는, 제1 부호화 화상 데이터를 송신한 후에, 제1 부호화 화상 데이터보다 고화질인 제2 부호화 화상 데이터를 클라이언트 단말에 대하여 송신하는 경우는, 제2 부호화 화상 데이터를 구성하는 복수의 화상 데이터 중에서, 제1 부호화 화상 데이터를 구성하는 화상 데이터와 다른 부분의 화상 데이터를 송신하는 서버 장치에 대하여 기재되어 있다.

본 발명은 이러한 상황을 감안해서 이루어진 것이며, 본 발명이 해결하려는 과제는, 패킷 통신망을 통하여 화상 정보를 전송할 때, 패킷 통신망의 트래픽의 시간 변동에 대응해서, 지연을 발생시키지 않으며, 또한 보다 고품질인 데이터로 해서, 그 화상 정보를 전송하는 것이다.

전술한 과제를 해결하기 위해 본 발명은, 그 일 태양으로서, 제1 및 제2 노드를 구비하고, 상기 제1 노드는, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과, 당해 제1 노드와는 다른 제2 노드에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고, 상기 제2 노드는, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과, 상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단을 구비하는 것을 특징으로 하는 패킷 통신 시스템을 제공한다.

또한, 본 발명은, 다른 일 태양으로서, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를, 패킷 통신망을 통하여 수신하는 패킷 수신 수단과, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과, 상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단을 구비하는 것을 특징으로 하는 패킷 통신 장치를 제공한다.

또한, 본 발명은, 다른 일 태양으로서, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과, 당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고, 상기 수신처 패킷 통신 장치는, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하고, 상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 것을 특징으로 하는 패킷 통신 장치를 제공한다.

또한, 본 발명은, 다른 일 태양으로서, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를, 패킷 통신망을 통하여 수신하는 패킷 수신 수단과, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과, 상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단으로서 컴퓨터를 기능시키기 위한 프로그램을 제공한다.

또한, 본 발명은, 다른 일 태양으로서, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과, 당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단으로서 컴퓨터를 기능시키는 프로그램으로서, 상기 수신처 패킷 통신 장치는, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하고, 상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 상기 프로그램을 제공한다.

또한, 본 발명은, 다른 일 태양으로서, 제1 노드로부터 제2 노드에 패킷 통신망을 통하여 화상 정보를 전송할 때에, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 상기 제1 노드에서 생성하는 패킷 생성 단계와, 상기 패킷 통신망을 통하여 상기 제1 노드로부터 상기 제2 노드에 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 단계와, 상기 제2 노드에서, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 단계와, 상기 제2 노드에서, 상기 지연 시간 t₁, t₂, …, t_m에 의거하여, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 단계를 포함하는 것을 특징으로 하는 화상 정보의 전송 방법을 제공한다.

본 발명에 따르면, 송신측의 노드에서는 하나의 화상 정보를 서로 데이터량이 다른 복수의 패킷으로 해서 송신하고, 수신측의 노드에서는 지연 없이 혹은 허용 가능한 지연 시간 이내에 수신한 패킷 중 가장 데이터량이 큰 것을 선택해서 그 화상 정보를 복호한다. 이 때문에, 그 때의 패킷 통신망의 혼잡 상황 하에서 지연 없이 송신 가능한 범위 내에서 보다 높은 비트레이트로 화상 정보를 전송할 수 있다.

도 1은 본 발명의 일 실시형태인 화상 정보 전송 시스템(1)을 설명하기 위한 블록도.
도 2는 본 발명의 제2 실시형태인 리모트형 휴대 통신 시스템(100)의 블록도.
도 3은 서버 장치(110)의 구성을 나타내는 블록도.
도 4는 판별부(185)의 구성을 나타내는 블록도.
도 5는 화상 인코딩부(186)의 구성을 나타내는 블록도.
도 6은 화상 인코더로서 웨이블릿 변환을 이용할 경우에 웨이블릿 변환 계수의 성질을 나타내는 도면.
도 7은 휴대 단말(170)에 탑재하는 클라이언트 소프트웨어(171)의 구성을 나타내는 블록도.
도 8은 제1 패킷 수신·지연 계측·선택부(250)의 구성을 나타내는 블록도.

본 발명의 제1 실시형태인 화상 정보 전송 시스템(1)에 대하여 도 1을 참조해서 설명한다. 화상 정보 전송 시스템(1)은 송신 노드(2), 수신 노드(3)를 구비한다.

송신 노드(2)는 입력된 화상 정보 X(4)를 부호화, 패킷화해서 패킷 통신망을 통하여 수신 노드(3)에 송신하는 패킷 통신 장치이며, 구체적으로는 패킷 데이터 통신을 행하는 무선 통신 장치, 예를 들면 휴대 전화 단말이 바람직하지만, 인터넷 등의 네트워크 상에 설치된 서버 장치, 클라이언트 장치여도 된다. 송신 노드(2)는 인코더(5), 가변 길이 패킷 생성부(6), 패킷 송신부(7)를 구비한다.

인코더(5)는 화상 정보 X(4)를 부호화하지만, 하나의 화상 정보 X(4)에 대응해서 복수의 데이터 d₁, d₂, …, d_m(m은 2 이상의 자연수)를 생성한다. 이때, 데이터 d₁, d₂, …, d_m의 데이터량을 각각 데이터량 q₁, q₂, …, q_m로 하면, q₁<q₂<…<q_m의 관계가 성립하도록 해서 생성한다. 예를 들면 m=4로 하고, 데이터 d₁, d₂, …, d₄를 각각 128kbps, 256kbps, 512kbps, 1Mbps의 비트레이트로 화상 정보 X(4)를 부호화해서 생성한다.

가변 길이 패킷 생성부(6)는 데이터량에 대응한 패킷 길이를 갖는 가변 길이의 패킷을 생성한다. 데이터 d₁, d₂, …, d_m에 대응해서 패킷 P₁, P₂, …, P_m를 생성한다. 가변 길이 패킷이므로, 패킷 P₁, P₂, …, P_m의 데이터량의 대소 관계는 데이터 d₁, d₂, …, d_m의 대소 관계를 그대로 인계한다.

패킷 송신부(7)는, 패킷 P₁, P₂, …, P_m를 이 순서로 패킷 통신망에 송출한다. 화상 정보 X(4)에 대응하여, 서로 데이터량이 다른 m개의 패킷으로 이루어지는 패킷 세트(8)를, 데이터량이 작은 것에서부터 큰 것의 순서로 수신 노드(3)에 송출하게 된다. 송출된 패킷의 순서 관계를 패킷 세트(8)로서 도시했다.

수신 노드(3)는, 바람직하게는 인터넷 등의 네트워크 상에 설치된 서버 장치, 클라이언트 장치여도 된다. 혹은, 수신 노드(3)는, 패킷 데이터 통신을 행하는 무선 통신 장치, 예를 들면 휴대 전화 단말이어도 된다. 수신 노드(3)에서는, 패킷 수신부(9)가 패킷 세트(8)를 수신하면, 지연 시간 측정부(10)가 패킷마다의 지연 시간을 측정한다. 패킷 송신부(7)가 패킷 P₁, P₂, …, P_m의 순서로 송신하기 때문에, 패킷 수신부(9)는 기본적으로는 패킷 P₁, P₂, …, P_m의 순서로 패킷을 수신하게 된다. 여기에서 패킷 P₁, P₂, …, P_m 각각의 지연 시간을 t₁, t₂, …, t_m로 한다. 패킷 선택부(11)는, 지연 시간 t₁, t₂, …, t_m 및 그 패킷의 데이터량에 의거해서, 지연 시간이 허용 가능한 패킷 중에서 데이터량이 가장 큰 패킷을 선택하여 출력한다.

일반적으로, 데이터량이 작은 패킷일수록 네트워크에서의 지연 시간은 짧고, 반대로 데이터량이 큰 패킷일수록 네트워크에서의 지연 시간은 길어질 것으로 생각할 수 있다. 이 점에 착안하여, 패킷 선택부(11)는, 패킷 P₁, P₂, …, P_m의 순서로 수신한 패킷의 지연 시간을 순차 판정하여, 어느 패킷의 지연 시간이 허용 범위를 넘은 것으로 판정되었을 때, 그 패킷의 직전의 패킷을 선택하는 것을 생각할 수 있다. 이 경우, 이후의 패킷에 대해서는 지연 시간에 의거한 판정을 행하지 않고 그대로 파기하는 것으로 해도 된다.

예를 들면, 패킷 P₃의 지연 시간 t₃에 의거해서 판정을 행하여, 패킷 P₃가 크게 지연된 것으로 판정되었다고 하면, 패킷 선택부(11)는, 패킷 P₃의 직전에 수신한 패킷 P₂를 선택한다. 전술한 바와 같이, 데이터량이 작은 패킷일수록 지연 시간은 짧을 것으로 생각할 수 있다. 이 때문에, 트래픽의 혼잡 상황이 급변하고 있지 않는 한, 화상 정보 X(4)에 대응하는 패킷 세트 중, 먼저 수신한 패킷 P₁, P₂에서는 큰 지연을 검출하지 못하고, 패킷 P₃에서는 큰 지연을 검출했다는 것은, 이후의 패킷 P₄, P₅, …, P_m도 크게 지연될 것으로 생각할 수 있다. 이 개념에 의거해서, 패킷 P₄ 이후에 대해서는 지연 시간에 의거한 판정을 생략해도 되고, 또한 패킷 그 자체를 그대로 파기해도 된다.

또한, 패킷 P₁, P₂, …, P_m를 데이터량이 작은 것에서부터 큰 것의 순서로 송신하고 있기 때문에, 크게 지연된 것으로 판정된 패킷의 직전에 수신한 패킷은, 낮은 지연으로 수신한 패킷 중에서 가장 데이터량이 큰 것으로 된다. 예를 들면 전술한 바와 같이 m=4로 하고, 데이터 d₁, d₂, …, d₄를 각각 128kbps, 256kbps, 512kbps, 1Mbps의 비트레이트로 화상 정보 X(4)를 부호화, 패킷화해서 송신한 것으로 한다. 이때, m=3, 즉 512kbps의 데이터 레이트로 인코딩한 데이터 d₃를 저장하는 패킷 P₃의 지연 시간 t₃가 크게 지연된 것으로 패킷 선택부(11)가 판정한 것으로 한다. 이때, 패킷 P₃ 이전에 수신한 패킷 P₁, P₂는 모두 크게 지연되지 않고 수신 노드(3)에 도착했지만, 이 패킷 P₁, P₂들 중에서 데이터량이 최대인 것은 패킷 P₃의 직전에 수신한 패킷 P₂로 된다.

이렇게 해서, 패킷 선택부(11)가 지연 시간에 의거하여 패킷 세트(8) 중 어느 하나의 패킷을 선택해서 출력하면, 디코더(12)는 그 패킷에 저장되어 있는 데이터를 디코딩해서 화상 정보 X'(13)를 출력한다. 이에 따라, 단일한 데이터 레이트로 생성한 패킷만을 송신하는 경우와 비교하면, 수신 노드(3)에서는, 패킷 통신망의 혼잡 상황에 대응한, 보다 큰 데이터 레이트로 인코딩된 데이터에 의거해서 화상 정보 X'(13)를 디코딩할 수 있다.

혹은, 수신 노드(3)는, 패킷 선택부(11)에서 선택한 패킷을, 패킷 송신부(14)를 통하여 다른 패킷 통신 장치에 전송하는 것으로 해도 된다. 여기에서 제3 노드는 일반적인 패킷 통신 장치이며, 보다 구체적으로는 패킷 데이터 통신을 행하는 무선 통신 장치, 예를 들면 휴대 전화 단말이 바람직하지만, 인터넷 등의 네트워크 상에 설치된 서버 장치, 클라이언트 장치여도 된다. 제3 노드는 제2 노드와 같이 패킷 선택을 행할 필요 없이, 수신한 패킷을 그대로 디코딩한다.

본 발명의 제2 실시형태인 리모트형 휴대 통신 시스템(100)에 대하여 설명한다. 도 2를 참조하면, 리모트형 휴대 통신 시스템(100)에서는, 네트워크로서 모바일 네트워크(150)를 이용하는 예를 나타내고 있다. 또한, 패킷 전송 장치로서 SGSN/GGSN 장치를 이용하는 경우의 구성을 나타내고 있다. 여기에서, SGSN/GGSN 장치란 SGSN(Serving GPRS Support Node) 장치와 GGSN(Gateway GPRS Support Node) 장치를 일체화한 장치인 것을 의미한다. 또한, 도 2에서는, 일례로서 씬클라이언트의 서버 장치(110)는 클라우드망(130) 상에 배치되어 있으며, 클라우드망(130)과 모바일 네트워크(150)가 접속되어 있는 구성을 나타내고 있다.

도 2에 있어서, 엔드 유저는 휴대 단말(170)을, 클라우드망(130)에 배치된 서버 장치(110)의 가상 클라이언트에 접속하여, 상기 가상 클라이언트를 마치 실제 단말을 조작하는 바와 같이 조작한다. 그 때문에, 휴대 단말(170)에 탑재되어 있는 클라이언트 소프트웨어로부터, 모바일 네트워크(150) 상의 기지국(194), RNC 장치(195), SGSN/GGSN 장치(190)를 경유해서, 서버 장치(110)에 대하여 조작 신호를 저장한 패킷을 송출한다. 여기에서, 조작 신호는, 휴대 단말(170)에서의 키 조작, 화면에의 터치 조작, 문자 입력, 스크롤 등의 조작에 의해, 휴대 단말(170)의 클라이언트 소프트웨어로부터 서버 장치(110)에 송출되는 신호를 의미한다.

휴대 단말(170)에 탑재된 클라이언트 소프트웨어에 있어서의 패킷 송신부로부터 송출된 조작 신호 패킷은, 모바일 네트워크(150) 상에 있는 기지국 장치(194), RNC 장치(195), SGSN/GGSN 장치(190)를 통해서, 클라우드망(130) 상의 서버 장치(110)에 도달하여, 서버 장치(110)가 상기 조작 신호를 수신한다. 여기에서, 상기 조작 신호를 송출할 때의 프로토콜로서는 주지의 것을 사용할 수 있지만, 여기에서는 TCP/IP 및 그 상위층으로서 HTTP를 이용하는 것으로 한다. 또, HTTP 이외에 SIP(Session Initiation Protocol) 등을 이용할 수도 있다.

도 3은 서버 장치(110)의 구성을 나타내는 블록도이다.

조작 신호 패킷 수신부(182)는, 휴대 단말(170)의 클라이언트 소프트웨어로부터, 조작 신호를 저장한 패킷을 기지국(194), RNC 장치(195), SGSN/GGSN 장치(190)를 경유해서 수신한다. 조작 신호 패킷 수신부(182)는, 수신한 조작 신호 TCP/IP 패킷으로부터 조작 신호를 추출하여 가상 클라이언트부(211)에 출력한다.

가상 클라이언트부(211)는, 각종 서비스에 대응한 애플리케이션 소프트웨어, 제어부, 화면 생성부, 캐시메모리 등을 갖고 있다. 또한, 서버 장치(110)의 외부로부터 상기 애플리케이션 소프트웨어의 갱신을 용이하게 행할 수 있는 구성으로 되어 있다. 또, 도 3에는 기재하고 있지 않지만, 가상 클라이언트부는, 호스트 OS 상에 가상 환경을 구축하여 그 환경 상에서 게스트 OS를 작동시키고 게스트 OS 상에서 가상 클라이언트를 동작시킨다. 여기에서, 호스트 OS나 게스트 OS로서는 임의의 OS를 사용할 수 있다. 가상 클라이언트부(211)는, 조작 신호 패킷 수신부(182)로부터 입력된 조작 신호를 해석하여, 상기 조작 신호에서 지정된 애플리케이션 소프트웨어를 기동시킨다. 애플리케이션 소프트웨어에 의해 만들어지는 화면을 미리 정해진 화면 해상도로 생성하여 화면 캡처부(180)에 출력한다.

화면 캡처부(180)는, 상기 화면을 미리 정해진 화면 해상도 및 프레임 레이트로 캡처해서 출력한다.

화면 전체를 화상 인코더에서 압축 부호화할 수도 있고, 화면을 복수(예를 들면 2)의 영역으로 분할하여, 영역별로 다른 화상 인코더에서 압축 부호화할 수도 있다. 여기에서, 화면을 2종류의 영역으로 분할하여, 영역별로 다른 화상 인코더를 이용하는 예를 나타낸다. 여기에서는, 일례로서 영역으로서는 동영상 영역과 그 이외의 영역인 것으로 한다.

분할부(184)는, 캡처한 화면을 미리 정해진 사이즈의 복수 개의 블록으로 분할한다. 여기에서는, 블록의 사이즈는, 예를 들면 16화소×16라인으로 하지만, 다른 사이즈, 예를 들면 8화소×8라인 등을 이용할 수 있다. 블록의 사이즈가 작은 편이 판별부에서의 판별 정밀도가 향상되지만 처리량은 증대한다. 분할부(184)는 분할한 블록을 판별부(185)에 출력한다.

판별부(185)의 구성을 도 4에 나타낸다. 여기에서, 본 실시예에 있어서는, 화면의 영역을 2종으로 판별하는 경우에 대하여 설명한다. 여기에서, 2종이란, 동영상 영역과 그 밖의 영역이다. 또한, 판별부에서 이용하는 화상 특징량으로서 움직임 벡터를 사용하는 것으로 한다.

도 4에 있어서, 움직임 벡터 산출부(201)는, 블록마다, 예를 들면 다음의 식 1의 Dk를 최소로 하는 움직임 벡터 Vk(dx, dy)를 산출한다.

여기에서, f_n_k(Xi, Yj), f_n-1(Xi, Yj)은, n번째의 프레임의 k번째의 블록에 들어가는 화소, n-1번째의 프레임의 k번째의 블록에 들어가는 화소를 각각 나타낸다.

다음으로, 움직임 벡터 산출부(201)는, 각 블록마다, 움직임 벡터의 크기, 방향을 다음의 식 2, 식 3에 의해 구한다.

여기에서, Vk는 k번째의 블록에서의 움직임 벡터의 크기를 나타내고, θk는 k번째의 블록에서의 움직임 벡터의 각도(방향)를 나타낸다.

다음으로, 영역 판별부(202)는, 복수의 연속하는 블록에 대하여 Vk와 θk를 조사하여, 연속하는 복수의 블록에서 Vk가 미리 정해진 문턱값을 넘으며 또한, θk가 불규칙할 경우에, 이 블록들에 대하여 동영상 영역인 것으로 판단한다. 여기에서는, 제1 영역은 동영상 영역을 의미하는 것으로 한다.

또, 연속하는 복수의 블록에서 Vk가 문턱값을 넘지만 θk가 거의 같은 각도를 나타내는 경우는, 동영상 영역으로는 간주하지 않고, 화면 스크롤 등에 의한 이동 영역으로 판단한다.

영역 판별부(202)는, 동영상 영역이 있는지의 여부를 나타내는 판별 플래그와, 동영상 영역인 경우는 영역의 범위를, 도 3의 화상 인코딩부(186)에 출력한다. 여기에서, 동영상 영역으로서는, 직사각형의 영역이 되도록 정형(整形)한 것으로 하며, 영역의 범위란, 당해 직사각형 영역의 수평 방향의 화소수와 수직 방향의 라인 수 및, 당해 영역에 포함되는 블록의 번호와 블록의 사이즈로 한다.

다음으로, 동영상 영역 이외의 그 밖의 영역으로서, 예를 들면 이동 영역인지, 정지 영역인지를 판별하여, 판별 플래그와 영역의 범위를 도 3의 화상 인코딩부(186)에 출력한다.

다음으로, 화상 인코딩부(186)의 구성을 도 5를 이용해서 설명한다. 도 5에 있어서, 축소 처리부(225)와 제2 화상 인코더(228)는, 화면 캡처부(180)로부터 캡처 화상을 입력하고, 분할부(184)로부터 분할하기 위한 블록의 사이즈를 입력하고, 판별부(185)로부터 판별 플래그, 동영상 영역의 범위와 그 밖의 영역(예를 들면, 이동 영역이나 정지 영역)의 범위를 입력한다.

다음으로, 축소 처리부(225)는, 동영상 영역이 존재할 경우에, 동영상 영역의 사이즈인 수평 방향의 화소수 및 수직 방향의 라인수가 미리 정해진 사이즈를 넘는지의 여부를 판별한다. 여기에서는, 미리 정해진 사이즈란, 예를 들면 QVGA 사이즈인 것으로 한다. 만약, 동영상 영역의 사이즈가 QVGA 사이즈를 넘는 경우는, 동영상 영역에 포함되는 화상에 대하여, QVGA 사이즈가 되도록 축소 필터를 연산해서 화상을 축소한 후에, 축소 후의 화상을 제1 화상 인코더(227)에 출력한다. 이 경우, 제1 영역의 사이즈를 축소했으므로, 변경 전의 사이즈를 동영상 영역의 범위로서 제1 화상 인코더(227)에 출력한다. 만약, 동영상 영역의 사이즈가 미리 정해진 사이즈를 넘지 않는 경우는, 축소 필터의 연산은 하지 않고, 동영상 영역의 화상을 그대로 제1 화상 인코더(227)에 출력하고, 동영상 영역의 사이즈도 그대로 제1 화상 인코더(227)에 출력한다.

다음으로, 제1 화상 인코더(227)는, 동영상 영역의 화상 신호를 입력하고, 미리 정해진 동영상 인코더를 이용해서, 복수의 비트레이트로 압축 부호화한 후에 복수의 비트레이트의 비트스트림을 도 3의 제1 패킷 송신부(176)에 출력한다. 여기에서, 복수의 비트레이트는, 단말의 화상 사이즈나 사용하는 네트워크의 종류 등의 정보에 따라 미리 정해둔 것 중에서 선택하거나, 섹션 개시 시에 전술한 정보를 단말로부터 수신해서 선택하는 등의 구성을 이용할 수 있다. 여기에서는, 일례로서 4종류의 비트레이트를 이용하는 것으로 하고, 일례로서 128kbps, 256kbps, 512kbps, 1Mbps로 한다. 또한, 미리 정해진 동영상 인코더로서 H.264를 이용하는 것으로 하지만, 다른 주지인 동영상 코덱, 예를 들면 H.264 SVC(Scalable Codec), MPEG-4, MPEG-4 SVC(Scalable Codec) 등을 이용할 수도 있다. H.264 SVC나 MPEG-4 SVC를 이용함으로써, 복수 비트레이트의 인코딩을 행할 때에 인코딩의 처리량을 삭감할 수 있다. 제1 화상 인코더(227)는 동영상 영역의 정보를 도 3의 제1 패킷 송신부(176)에 더 출력한다.

다음으로, 제2 화상 인코더(228)는, 그 밖의 영역의 정보를 입력하여, 정지영상인 경우는, 정지영상 코덱을 이용해서 화상을 복수 비트레이트로 압축 부호화하고 상기 복수 비트레이트의 비트스트림을 도 3의 제1 패킷 송신부(176)에 출력한다. 여기에서는, 정지영상 코덱으로서 Wavelet 인코더나 JPEG2000을 이용하는 것으로 하지만, 다른 주지인 코덱, 예를 들면 JPEG 등을 이용할 수도 있다. 또, Wavelet 인코더나 JPEG2000 인코더를 이용하는 경우는, 이들에서 사용하고 있는 Wavelet 변환의 성질에 따라, Wavelet 변환 후의 계수에 대하여, 도 6에 나타내는 바와 같이, 저역에서부터 고역까지의 사이에서, LL, LH, HL, HH의 4종류의 영역마다, 각각, B1, B2, B3, B4의 압축 부호화 비트스트림이 얻어지므로, 이 성질을 이용해서, 예를 들면 B1, B1+B2, B1+B2+B3, B1+B2+B3+B4의 비트스트림을, 4종류의 비트레이트의 비트스트림으로 해서, 제2 화상 인코더(228)로부터 출력할 수도 있다. 이렇게 하는 편이 단말에서 화질적인 열화가 눈에 띄기 어려워지는 구성으로 된다. 또한, 제2 화상 인코더(228)는 그 밖의 영역의 정보도 도 3의 제1 패킷 송신부(176)에 출력한다.

이동 영역인 경우는, 이동 전의 화상을 정지영상 코덱으로 압축 부호화한 비트스트림과, 대표적인 움직임 벡터를 1종류, 도 3의 제1 패킷 송신부(176)에 출력한다. 또한, 그 밖의 영역의 정보도 도 3의 제1 패킷 송신부(176)에 출력한다.

다음으로, 화면에 오디오가 부수(付隨)되는 경우는, 도 3의 오디오 인코딩부(187)는, 화면 캡처부(180)로부터 화면에 부수되는 오디오 신호를 입력하고, 오디오 인코더에 의해 압축 부호화해서 도 3의 제2 패킷 송신부(177)에 출력한다. 여기에서는, 오디오 인코더로서 MPEG-4 AAC를 이용하는 것으로 하지만, 다른 주지인 오디오 인코더를 사용할 수도 있다.

도 3으로 되돌아가서, 제1 패킷 송신부(176)는, 도 5의 제1 화상 인코더(227) 및 제2 화상 인코더(228)로부터 영역 정보를 입력하여, 동영상 영역인 경우는, 도 5의 제1 화상 인코더로부터 4종류의 비트레이트의 압축 부호화 비트스트림을 입력하고, 각각의 비트스트림을 저장한 패킷을 4종류 구축한다. 즉, 각각의 비트스트림 데이터를 미리 정해진 프로토콜의 패킷의 페이로드에 저장하고, 미리 정해진 시간 구간 내에 4종류의 패킷을 미리 정해진 순번으로 나열하여, 짧은 시간 간격만 두고 4종류의 패킷을 연속적으로 도 2의 SGSN/GGSN 장치(190)에 송출한다. 여기에서, 미리 정해진 순번이란, 낮은 비트레이트에서부터 높은 비트레이트의 순번인 것으로 하고, 전술한 비트레이트의 예에서는, 128kbps, 256kbps, 384kbps, 512kbps의 순번인 것으로 한다.

다음으로, 그 밖의 영역인 경우는, 도 5의 제2 화상 인코더(228)로부터, 예를 들면 4종의 비트레이트의 비트스트림을 입력하여 4종류의 패킷을 구축한다. 즉, 각각의 비트스트림을 미리 정해진 프로토콜의 패킷의 페이로드에 저장하고, 미리 정해진 시간 구간 내에 4종류의 패킷을 미리 정해진 순번으로 나열하여, 짧은 시간 간격만 두고 연속적으로 도 2의 SGSN/GGSN 장치(190)에 송출한다. 여기에서, 미리 정해진 순번이란, 낮은 비트레이트에서부터 높은 비트레이트의 순번인 것으로 한다.

또, 미리 정해진 프로토콜이란, 예를 들면 UDP/IP를 이용할 수 있다. 그 이외에도 주지인 프로토콜, 예를 들면 RTP/UDP/IP 등을 이용해도 된다. 또한 미리 정해진 시간 구간이란, 예를 들면 수 10ms에서부터 100ms까지의 시간 구간을 이용할 수 있다. 또한 짧은 시간 간격이란, 수 ms 내지 수 10ms를 이용할 수 있다.

또, 영역의 정보는 RTP 헤더부나 UDP 헤더부에 저장해도 되고, 페이로드부에 저장해도 된다.

제2 패킷 송신부(177)는, 오디오 신호에 대한 압축 부호화 비트스트림을 패킷의 페이로드에 저장하고 미리 정해진 프로토콜에 의한 패킷을 구축해서 SGSN/GGSN 장치(190)에 송출한다. 여기에서는, 미리 정해진 프로토콜로서, 주지의 프로토콜, RTP/UDP/IP, UDP/IP, TCP/IP 등을 이용할 수 있지만, 일례로서 UDP/IP를 이용하는 것으로 한다.

SGSN/GGSN 장치(190)는, 서버 장치(110)로부터 수신한 패킷을 GTP-U 프로토콜에 의해 터널링해서 RNC 장치(195)에 전송하고, RNC 장치(195)는 기지국 장치(194)를 통해서 무선에 의해 휴대 단말(170)에 송출한다.

본 발명에서는, 휴대 단말(170)에는, 유저가 단말을 조작했을 때의 조작 신호를 서버에 송출함과 함께, 서버로부터의 패킷을 수신하여 압축 부호화 스트림을 디코딩해서 표시시키기 위한 클라이언트 소프트웨어(171)를 탑재한다. 클라이언트 소프트웨어(171)의 구성을 도 7에 나타낸다.

우선, 도 7에 있어서의 제1 패킷 수신·지연 계측·선택부(250)의 구성을 도 8에 나타낸다. 도 8에 있어서, 패킷 수신부(270)는, 동영상 영역 및 그 밖의 영역의 각각에 대하여 연속한 복수의 패킷을 수신한다. 동영상 영역에 대하여, 비트레이트가 낮은 것에서부터 차례로 수신한 4종류의 연속한 패킷에 저장된 동영상 영역 정보와, 수신 시각 R(j), 송신 시각 정보 S(j)(1≤j≤4)를 뽑아내어, 4개의 패킷의 페이로드로부터 비트스트림 정보를 추출하고, 이들을 지연 계측부(271_1)에 출력한다.

각각의 패킷에 대하여, S(j)와 R(j)을 이용해서 다음의 식 4에 의해 4개의 패킷의 각각에 대하여 지연 시간 D(j)를 산출한다.

여기에서, D(j)는 j번째의 패킷의 지연 시간을 나타낸다. 이들 지연 시간 D(j)와 추출한 4종류의 비트스트림과 동영상 영역 정보를 선출부(272_1)에 출력한다.

선출부(272_1)는, D(j)의 비교를 행하여, 지연 시간 D(j)가 급격히 커지기 직전의 패킷의 비트스트림을 선출한다. 예를 들면, D1=100ms, D2=120ms, D3=118ms, D4=250ms였다고 하면, 급격히 커지는 지연 시간은 4번째의 패킷에 대한 D4로 되므로, 그 직전의 패킷은 3번째의 패킷으로 되며, 이 예에서는 3번째의 패킷, 즉 384kbps의 비트레이트의 패킷의 페이로드 부분에 저장된 비트스트림을 선택한다. 그리고 선택된 비트스트림과 동영상 영역 정보를 도 7의 제1 화상 디코더(252)에 출력한다.

한편, 그 밖의 영역에 대해서도 마찬가지의 동작을 행한다. 패킷 수신부(270)는, 그 밖의 영역에 대하여 연속한 복수의 패킷을 수신한다. 그 밖의 영역에 대하여, 비트레이트가 낮은 것에서부터 차례로 수신한 4종류의 연속한 패킷에 저장된 그 밖의 영역의 정보와, 수신 시각 R'(m), 송신 시각 정보 S'(m)(1≤m≤4)를 뽑아내어, 4개의 패킷의 페이로드로부터 비트스트림 정보를 추출하고, 이들을 지연 계측부(271_2)에 출력한다.

각각의 패킷에 대하여, S'(m)와 R'(m)을 이용해서 다음의 식 5에 의해 4개의 패킷의 각각에 대하여 지연 시간 D'(m)를 산출한다.

여기에서, D'(m)는 m번째의 패킷의 지연 시간을 나타낸다. 이들 지연 시간 D'(m)와 추출한 4종류의 비트스트림과 그 밖의 영역 정보를 선출부(272_2)에 출력한다.

선출부(272_2)는, D'(m)의 비교를 행하여 지연 시간 D'(m)가 급격히 커지기 직전의 패킷의 비트스트림을 선출한다. 그리고, 선택된 비트스트림과 그 밖의 영역 정보를 도 7의 제2 화상 디코더(253)에 출력한다.

도 7로 되돌아가서, 제1 화상 디코더(252)는, 동영상 영역 정보 및, 제1 패킷 수신·지연 계측·선택부(250)에서 선출된 비트레이트의 비트스트림을 입력하고, 상기 비트스트림을 디코딩해서 확대 처리부(254)에 출력한다. 또한 동영상 영역 정보도 확대 처리부(254)에 출력한다. 여기에서는, 제1 화상 디코더로서는, 예를 들면 H.264 디코더를 이용하는 것으로 하지만, 다른 주지인 화상 디코더, 예를 들면 H.264 SVC 디코더, MPEG-4 SVC 디코더, MPEG-4 디코더 등을 이용할 수도 있다. 단, 서버에서의 제1 화상 인코더(227)와 동일 종류를 이용하는 것은 물론이다.

다음으로, 확대 처리부(254)는, 디코딩 후의 화상 신호와 동영상의 영역 정보를 입력한다. 우선, 디코딩 후의 화상 신호를 이용해서 디코딩 후의 화상 신호의 영역의 사이즈(이후, A로 표기함)를 산출하여, 동영상의 영역 정보에 의한 동영상 영역의 사이즈(이후, B로 표기함)와 비교한다. 만약, A<B인 경우는, A가 B에 일치하도록 디코딩 후의 화상 신호에 대하여 주지의 필터 연산에 의해 확대 처리를 실시하여, B의 사이즈로 된 화상 신호를 화면 표시부(256)에 출력한다. 또, 만약, 이들이 일치하는 경우는, 확대 처리는 건너뛰고 디코딩된 화상 신호를 그대로 화면 표시부(256)에 출력한다. 또한 동영상 영역 정보를 화면 표시부(256)에 출력한다.

제2 화상 디코더(253)는, 그 밖의 영역 정보 및, 제1 패킷 수신·지연 계측·선택부(250)에서 선택된 비트스트림을 입력하고, 그 밖의 영역에 대하여 비트스트림을 디코딩해서 화면 표시부(256)에 출력한다. 또한 그 밖의 영역 정보를 화면 표시부(256)에 출력한다.

화면 표시부(256)는, 확대 처리부(254)로부터 동영상 영역 정보와 동영상 영역에 있어서의 화상 신호를 입력하고, 제2 화상 디코더(253)로부터 그 밖의 영역 정보와 그 밖의 영역에 있어서의 화상 신호를 입력하여, 제1 영역 정보를 이용해서 제1 영역에 확대 처리부(254)로부터의 출력 화상을 표시시키고, 그 밖의 영역 정보를 이용해서 그 밖의 영역에 제2 화상 디코더(253)로부터의 출력 화상을 표시시킴으로써, 각각의 영역의 화상 신호를 조합시켜서 표시 화면을 생성하여 출력한다.

제2 패킷 수신부(251)는, 패킷을 수신하고 패킷에 저장된 오디오에 관한 압축 부호화 비트스트림을 뽑아내어 오디오 디코더(255)에 출력한다.

오디오 디코더(255)는, 상기 압축 부호화 스트림을 입력하고 디코딩한 후에 화면 부분과 동기를 잡아 출력한다. 여기에서 오디오 디코더로서는, 예를 들면 MPEG-4 AAC를 사용할 수 있지만, 다른 주지인 오디오 디코더를 사용해도 된다. 단, 서버 장치에서의 오디오 인코더와 동일 종류를 이용하는 것은 물론이다.

조작 신호 생성부(257)는, 유저가 휴대 단말(170)에 대하여 입력한 조작, 예를 들면 화면 터치, 화면 스크롤, 아이콘 터치, 문자 입력 등을 검출하고, 각각에 대해서 조작 신호를 생성하여 패킷 송신부(258)에 출력한다.

패킷 송신부(258)는, 조작 신호를 입력하고 미리 정해진 프로토콜에 따른 패킷에 저장하여 네트워크에 송출한다. 여기에서, 미리 정해진 프로토콜로서는 TCP/IP, UDP/IP 등을 이용할 수 있다.

본 실시형태에 따르면, 네트워크를 통해서 씬클라이언트를 사용하여 서버측에서 생성한 화면을 압축 부호화하여 네트워크를 통해서 단말에 전송할 경우에, 실제로 전송하는 복수 종류의 비트레이트의 비트스트림을 이용해서 서버로부터 패킷으로 전송하고, 단말측에서 수신한 패킷에 대하여 각각의 지연 시간을 산출하고 지연 시간의 증대가 없는 패킷의 비트스트림을 선택해서 복호하여 표시하므로, 대역이 좁은 네트워크이더라도, 네트워크의 대역의 변동이 있더라도, 지연 시간의 증가나 화면의 프리징이 없이 씬클라이언트를 사용할 수 있다는 효과가 있다.

이상, 본 발명을 실시형태에 입각하여 설명했지만, 본 발명은 이것으로 한정되는 것은 아니다.

판별부에서 판별하는 화면의 영역의 종류는 3종류 이상으로 할 수도 있다. 또한, 영역의 판별에 이용하는 화상 특징량은 움직임 벡터 이외를 사용할 수도 있고, 복수 종류의 특징량을 조합시켜서 사용할 수도 있다.

또한, 판별 처리에 관한 처리량 등을 삭감하기 위하여, 영역은 1종류로 해서 영역의 분할이나 영역의 판별은 행하지 않고, 화상 인코더 및 화상 디코더를 1종류만 이용하는 구성을 취할 수도 있다. 1종류만인 경우는, 화상 인코더/디코더로서 동영상 인코더/디코더 혹은, 정지영상 인코더/디코더를 이용할 수 있다.

도 2에서는, 모바일 네트워크(150)는, 모바일 LTE/EPC 네트워크로 할 수도 있고, WiMax망이나 WiFi망으로 할 수도 있다. 또한, 고정망이나 NGN망이나 인터넷망으로 할 수도 있다. 단 이들의 경우는, 휴대 단말이 아닌 고정 단말이나 PC로부터의 접속으로 된다.

도 2에서는, 서버 장치를 클라우드망에 배치했지만, 인터넷망에 배치할 수도 있다. 또한, 기업에 씬클라이언트의 서버를 설치하는 경우는 서버 장치를 기업망에 배치할 수도 있다. 또한, 다른 구성으로서, 통신 사업자 스스로가 씬클라이언트의 서버를 설치하는 경우는, 모바일 네트워크(150) 상이나 고정망 상이나 NGN망 상에 서버 장치(110)를 배치할 수도 있다.

상기한 실시형태의 일부 또는 전부는 이하의 부기와 같이 기재될 수도 있지만, 이들로 한정되는 것은 아니다.

(부기 1)

제1 및 제2 노드를 구비하고,

상기 제1 노드는, 전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과,

당해 제1 노드와는 다른 제2 노드에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고,

상기 제2 노드는,

상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과,

상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단과,

상기 선택한 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 수단

을 구비하는 것을 특징으로 하는 패킷 통신 시스템.

(부기 2)

상기 패킷 송신 수단은, 상기 복수의 패킷 P₁, P₂, …, P_m를, 데이터량이 적은 것에서부터 많은 것의 순서로 송신하고,

상기 패킷 선택 수단은, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부(可否) 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는

것을 특징으로 하는 부기 1에 기재된 시스템.

(부기 3)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 1 및 부기 2 중 어느 하나에 기재된 시스템.

(부기 4)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 3에 기재된 시스템.

(부기 5)

전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를, 패킷 통신망을 통하여 수신하는 패킷 수신 수단과,

을 구비하는 것을 특징으로 하는 패킷 통신 장치.

(부기 6)

상기 패킷 수신 수단은, 상기 복수의 패킷 P₁, P₂, …, P_m를, 데이터량이 적은 것에서부터 많은 것의 순서로 수신하고,

상기 패킷 선택 수단은, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는

것을 특징으로 하는 부기 5에 기재된 패킷 통신 장치.

(부기 7)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 5 및 부기 6 중 어느 하나에 기재된 패킷 통신 장치.

(부기 8)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 7에 기재된 패킷 통신 장치.

(부기 9)

전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과,

당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고,

상기 수신처 패킷 통신 장치는,

상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하고,

상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하고,

상기 선택한 패킷에 의거해서 상기 화상 정보를 복호화하는

것을 특징으로 하는 패킷 통신 장치.

(부기 10)

상기 수신처 패킷 통신 장치는, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는 것을 특징으로 하는 부기 9에 기재된 패킷 통신 장치.

(부기 11)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 9 및 부기 10 중 어느 하나에 기재된 패킷 통신 장치.

(부기 12)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 11에 기재된 패킷 통신 장치.

(부기 13)

으로서 컴퓨터를 기능시키기 위한 프로그램.

(부기 14)

부기 13에 기재된 프로그램.

(부기 15)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 13 및 부기 14 중 어느 하나에 기재된 프로그램.

(부기 16)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 15에 기재된 프로그램.

(부기 17)

당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단으로서 컴퓨터를 기능시키는 프로그램으로서,

상기 수신처 패킷 통신 장치는,

상기 선택한 패킷에 의거해서 상기 화상 정보를 복호화하는

상기 프로그램.

(부기 18)

상기 수신처 패킷 통신 장치는, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는 부기 17에 기재된 프로그램.

(부기 19)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 17 및 부기 18 중 어느 하나에 기재된 프로그램.

(부기 20)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 19에 기재된 프로그램.

(부기 21)

제1 노드로부터 제2 노드에 패킷 통신망을 통하여 화상 정보를 전송할 때에,

전송하려고 하고 있는 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 상기 제1 노드에서 생성하는 패킷 생성 단계와,

상기 패킷 통신망을 통하여 상기 제1 노드로부터 상기 제2 노드에 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 단계와,

상기 제2 노드에서, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 단계와,

상기 제2 노드에서, 상기 지연 시간 t₁, t₂, …, t_m에 의거하여, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 단계와,

상기 선택한 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 단계

를 포함하는 것을 특징으로 하는 화상 정보의 전송 방법.

(부기 22)

상기 패킷 송신 단계에서는, 상기 복수의 패킷 P₁, P₂, …, P_m를, 데이터량이 적은 것에서부터 많은 것의 순서로 송신하고,

상기 패킷 선택 단계에서는, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는

것을 특징으로 하는 부기 21에 기재된 방법.

(부기 23)

1매의 화상을 복수의 화상 영역으로 분할하여, 하나의 화상 영역을 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 21 및 부기 22 중 어느 하나에 기재된 방법.

(부기 24)

상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 부기 23에 기재된 방법.

이 출원은, 2012년 9월 27일에 출원된 일본국 출원 특원 제2012-214170호를 기초로 하는 우선권을 주장하며, 그 개시의 전부를 여기에 도입하는 것이다.

Claims

제1 및 제2 노드를 구비하고,
상기 제1 노드는, 1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과,
당해 제1 노드와는 다른 제2 노드에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고,
상기 제2 노드는,
상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과,
상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단과,
상기 패킷 선택 수단에 의해서 선택된 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 수단
을 구비하는 것을 특징으로 하는 패킷 통신 시스템.
제1항에 있어서,
상기 패킷 송신 수단은, 상기 복수의 패킷 P₁, P₂, …, P_m를, 데이터량이 적은 것에서부터 많은 것의 순서로 송신하고,
상기 패킷 선택 수단은, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부(可否) 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는
것을 특징으로 하는 패킷 통신 시스템.
삭제
제1항에 있어서,
상기 복수의 화상 영역의 각각을, 당해 화상 영역에 따른 화상 특징량에 의거해서 복수의 종류 중 어느 하나로 분류하여, 미리 정해진 종류로 분류된 화상 영역을, 상기 화상 정보로서 송신하는 것을 특징으로 하는 패킷 통신 시스템.
1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를, 패킷 통신망을 통하여 수신하는 패킷 수신 수단과,
상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과,
상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단과,
상기 패킷 선택 수단에 의해서 선택된 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 수단
을 구비하는 것을 특징으로 하는 패킷 통신 장치.
제5항에 있어서,
상기 패킷 수신 수단은, 상기 복수의 패킷 P₁, P₂, …, P_m를, 데이터량이 적은 것에서부터 많은 것의 순서로 수신하고,
상기 패킷 선택 수단은, 상기 복수의 패킷을 각각 수신할 때마다, 그 패킷의 상기 지연 시간에 의거해서 그 패킷에 대한 가부 판정을 행하여, 불가로 판정되었을 경우, 그 패킷의 직전에 수신한 패킷을 선택하는
것을 특징으로 하는 패킷 통신 장치.
1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과,
당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단을 구비하고,
상기 수신처 패킷 통신 장치는,
상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하고,
상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하고,
상기 선택한 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는
것을 특징으로 하는 패킷 통신 장치.
1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를, 패킷 통신망을 통하여 수신하는 패킷 수신 수단과,
상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 수단과,
상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 수단과,
상기 패킷 선택 수단에 의해서 선택된 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 수단
으로서 컴퓨터를 기능시키기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체.
1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 생성하는 패킷 생성 수단과,
당해 패킷 통신 장치와는 다른 수신처 패킷 통신 장치에 대하여, 패킷 통신망을 통해서 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 수단으로서 컴퓨터를 기능시키는 프로그램으로서,
상기 수신처 패킷 통신 장치는,
상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하고,
상기 지연 시간 t₁, t₂, …, t_m에 의거해서, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하고,
상기 선택한 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는
상기 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체.
제1 노드로부터 제2 노드에 패킷 통신망을 통하여 화상 정보를 전송할 때에,
1매의 화상을 구성하는 복수의 화상 영역 중 적어도 하나의 화상 영역을 화상 정보로서 송신할 때, 상기 화상 정보를 부호화해서, 상기 화상 정보에 각각의 패킷이 대응하며, 또한 각각의 패킷의 데이터량 q₁, q₂, …, q_m(m은 2 이상의 자연수)가 q₁<q₂<…<q_m의 관계를 갖는 복수의 패킷 P₁, P₂, …, P_m를 상기 제1 노드에서 생성하는 패킷 생성 단계와,
상기 패킷 통신망을 통하여 상기 제1 노드로부터 상기 제2 노드에 상기 복수의 패킷 P₁, P₂, …, P_m를 송신하는 패킷 송신 단계와,
상기 제2 노드에서, 상기 복수의 패킷 P₁, P₂, …, P_m 각각의 지연 시간 t₁, t₂, …, t_m를 측정하는 지연 시간 측정 단계와,
상기 제2 노드에서, 상기 지연 시간 t₁, t₂, …, t_m에 의거하여, 상기 복수의 패킷 P₁, P₂, …, P_m 중 어느 하나를 선택하는 패킷 선택 단계와,
상기 패킷 선택 단계에 의해서 선택된 하나의 패킷에 의거해서 상기 화상 정보를 복호화하는 복호화 단계
를 포함하는 것을 특징으로 하는 화상 정보의 전송 방법.