KR20040049425A - 이동통신 단말기 - Google Patents

Abstract

본 발명에 따른 이동통신 단말기는, 네트워크 환경 상태를 파악하는 네트워크 감시 수단과; 상기 네트워크 감시 수단에서 파악된 네트워크 환경 상태를 감안하여, 현재 송신할 데이터양에 따라 데이터의 송신 모드를 결정하는 모드 결정 수단; 및 상기 모드 결정 수단에서 결정된 송신 모드에 따라 멀티미디어 데이터의 전체, 또는 일부만을 송신하는 송신 제어 수단; 을 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 결정된 송신 모드에 따라 상기 송신 제어 수단에서 데이터의 일부만을 전송함에 있어, 상기 데이터의 일부란 오디오 데이터이거나, 저해상도의 동영상 데이터이거나, 관심 영역(ROI)만으로 구성된 동영상 데이터이거나, 이들 간의 하나 이상 조합으로 이루어진 데이터인 점에 그 특징이 있다.

또한 본 발명에 따른 이동통신 단말기는, 멀티미디어 메일을 수신하는 수신 처리 수단과; 상기 수신 처리 수단에서 수신된 멀티미디어 메일이 저장되는 저장 수단과; 상기 저장 수단의 데이터 저장 상태를 점검하여, 상기 저장 수단에 저장될 수 있는 데이터양을 파악하는 저장 공간 파악 수단; 및 상기 저장 공간 파악 수단에서 파악되는 상기 저장 수단에서의 저장 가능한 데이터양에 따라, 수신된 멀티미디어 메일의 전체 또는 일부를 저장할 것인지의 수신 모드를 결정하는 모드 결정 수단; 을 포함하는 점에 그 특징이 있다.

Description

이동통신 단말기{Mobile station}

본 발명은 이동통신 단말기에 관한 것으로서, 특히 동영상이나 화상 통신 등의 멀티미디어 서비스가 지원되는 이동통신 단말기에서, 사용 시 네트워크나 단말 장치의 환경에 따라 자동, 또는 사용자 지정에 의해 멀티미디어 전체, 또는 멀티미디어의 일부를 선택적으로 송/수신할 수 있는 이동통신 단말기에 관한 것이다.

IMT2000 및 CDMA2001 등에서는 보다 높은 전송률을 이용하여 비디오 등 멀티미디어 서비스가 가능할 전망이다. 이러한 멀티미디어 서비스의 가장 대표적인 예로는 화상 통신과 멀티미디어 메일 서비스(MMS:Multimedia Mail Service)를 들 수 있다. 이러한 멀티미디어 서비스에서는 비디오, 오디오, 그리고 텍스트 등의 미디어들이 같이 송수신 된다. 이중에서 가장 전송량이 많은 것은 비디오이며, 다음이 오디오, 그리고 텍스트 등을 들 수 있다.

하지만 네트워크 환경이 항상 일정하지 않기 때문에 급작스런 네트워크 환경의 저하 등으로 멀티미디어 서비스 도중 순간적으로 전송이 잘 안되는 경우가 발생할 수 있고, 또한 멀티미디어 메일 서비스의 경우 제한된 메모리 용량으로 인해, 송신 측에서 전송한 메일을 모두 자신의 단말기에 저장할 수 없는 경우가 발생하기도 한다.

이렇게 다양한 형태로 발생할 수 있는 예외적인 문제점을 해결하기 위해 각단말기의 환경 등에 적응적으로 서비스를 제공하려는 시도가 이루어지고 있다. 주로 동영상의 경우 해상도를 달리하여 여러 개의 동영상을 준비한 뒤 네트워크 환경 등을 고려하여 적절한 해상도를 갖는 동영상을 제공하기도 한다. 하지만 이러한 기술은 주로 서버, 클라이언트 관계에 있는 VOD 서비스 등에서 주로 이루어져왔고 이동 통신 단말기와 같은 두 터미널 간의 멀티미디어 교환에 있어서 실질적인 문제점을 해결하고자 하는 시도는 아직까지 이루어지지 않고 있다.

본 발명은 이러한 이동 통신 단말기 상에서 일어날 수 있는 문제점을 해결하기 위해 적응적인 멀티미디어 서비스를 제공하며, 특히 관심 영역만을 분리하여 적응적으로 서비스를 제공할 수 있는 새로운 방법도 제안하고자 한다.

본 발명은, 동영상이나 화상 통신 등의 멀티미디어 서비스가 지원되는 이동통신 단말기에서, 사용 시 네트워크나 단말 장치의 환경에 따라 자동, 또는 사용자 지정에 의해 멀티미디어 전체, 또는 멀티미디어의 일부를 선택적으로 송/수신할 수 있는 이동통신 단말기를 제공함에 그 목적이 있다.

도 1은 본 발명에 따른 이동통신 단말기의 송신 부분 구성을 개략적으로 나타낸 블록도.

도 2는 본 발명에 따른 이동통신 단말기 화면 표시창의 예를 나타낸 것으로서, 메모리 저장 용량의 상태 표시를 개념적으로 나타낸 도면.

도 3은 본 발명에 따른 이동통신 단말기의 수신 부분 구성을 개략적으로 나타낸 블록도.

<도면의 주요 부분에 대한 부호의 설명>

100, 300... 이동통신 단말기101... 카메라

102... 네트워크 감시 수단103... 모드 결정 수단

104... 원 영상 버퍼105... 인코딩된 결과 버퍼

106... 관심 객체 추출 엔진107... MPEG-4 인코더

108... 송신 제어 수단301... 영상 표시부

302... 디코딩 버퍼303... 저장 수단

304... MPEG-4 디코더305... 저장 공간 파악 수단

306... 저장 수단 사용량 디스플레이어

307... 모드 선택 인터페이스308... 모드 결정 수단

309... 제어 수단310... 수신 처리 수단

상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기는,

네트워크 환경 상태를 파악하는 네트워크 감시 수단과;

상기 네트워크 감시 수단에서 파악된 네트워크 환경 상태를 감안하여, 현재 송신할 데이터양에 따라 데이터의 송신 모드를 결정하는 모드 결정 수단; 및

상기 모드 결정 수단에서 결정된 송신 모드에 따라 멀티미디어 데이터의 전체, 또는 일부만을 송신하는 송신 제어 수단; 을 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 결정된 송신 모드에 따라 상기 송신 제어 수단에서 데이터의 일부만을 전송함에 있어, 상기 데이터의 일부란 오디오 데이터이거나, 저해상도의 동영상 데이터이거나, 관심 영역(ROI)만으로 구성된 동영상 데이터이거나, 이들 간의 하나 이상 조합으로 이루어진 데이터인 점에 그 특징이 있다.

또한 본 발명에 의하면, 멀티미디어 데이터의 원 영상으로부터 관심 영역(ROI:Region Of Interest)을 추출하는 관심 영역 추출 수단이 더 포함되는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 송신 제어 수단에서 관심 영역만으로 구성된 동영상을 전송하는 경우에는, MPEG-4의 VOP(Video Object Plane)에 하나의 관심 영역이 포함되도록 하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 송신 제어 수단에서 관심 영역만으로 구성된 동영상을 전송하는 경우에는, 관심 영역 이외의 영역은 'NOT- Coded'된 매크로 블록으로 인코딩되어 전송되는 점에 그 특징이 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기는,

멀티미디어 메일을 수신하는 수신 처리 수단과;

상기 수신 처리 수단에서 수신된 멀티미디어 메일이 저장되는 저장 수단과;

상기 저장 수단의 데이터 저장 상태를 점검하여, 상기 저장 수단에 저장될 수 있는 데이터양을 파악하는 저장 공간 파악 수단; 및

상기 저장 공간 파악 수단에서 파악되는 상기 저장 수단에서의 저장 가능한데이터양에 따라, 수신된 멀티미디어 메일의 전체 또는 일부를 저장할 것인지의 수신 모드를 결정하는 모드 결정 수단; 을 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 상기 저장 수단에 추가적으로 저장될 수 있는 데이터양을 사용자에게 알려줄 수 있는 인터페이스부를 더 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 저장 수단에 추가적으로 저장될 수 있는 데이터양에 따라, 사용자가 수신된 멀티미디어 메일의 전체 또는 일부만을 저장할 수 있도록 선택할 수 있는 모드 선택 인터페이스부를 더 포함하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 모드 결정 수단의 결정에 따라 멀티미디어 메일의 일부만을 수신/저장함에 있어, 상기 멀티미디어 메일의 일부만을 수신/저장하는 것은, 관심 영역(ROI)만으로 구성된 동영상 데이터를 수신/저장하거나, 오디오 데이터만을 수신/저장하거나, 이들 간의 조합으로 구성된 데이터를 수신/저장하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 모드 결정 수단의 결정에 따라 멀티미디어 메일의 일부만을 수신/저장함에 있어, 관심 영역만을 수신/저장하기 위해 송수신되는 멀티미디어 데이터의 비디오 형식은 MPEG-4인 점에 그 특징이 있다.

이와 같은 본 발명에 의하면, 네트워크 환경 대비 전송량 과다로 인한 멀티미디어 데이터 송/수신 문제를 방지하기 위하여 이동통신 단말기에서 선택적으로 멀티미디어의 전체 또는 일부를 전송할 수 있는 송신 제어 수단을 제공함으로써,네트워크 환경이 좋지 않은 경우에도 최소한의 서비스 질을 보장할 수 있는 장점이 있다.

또한, 본 발명에 의하면, 이동통신 단말기에서 멀티미디어 메일 서비스를 받을 때, 저장 공간 부족으로 인한 예외 상황을 해결하기 위해 사용자가 선택적으로 멀티미디어 메일의 전체 또는 일부를 수신 및 저장할 수 있는 수단을 제공하고, 또한 사용자가 신경 쓰지 않더라도 자동적으로 멀티미디어 메일의 전체 또는 일부를 선택적으로 수신할 수 있도록 함으로써, 사용자가 멀티미디어 메일 서비스를 효율적으로 이용할 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

상기 기술하였듯이, 이동통신 단말기에서 멀티미디어 데이터의 전송 시 나타날 수 있는 문제점은 크게 다음 두 가지(네트워크 환경으로 인한 문제, 메모리 부족으로 인한 문제)로 분류할 수 있다. 이에 대하여 순차적으로 살펴 보기로 한다.

네트워크 환경으로 인한 문제

먼저 실시간 통신 시 일어날 수 있는 네트워크 환경의 저하로 인하여 발생할 수 있는 문제이다. 통신 시에는 실시간으로 전송이 일어나야 하므로 네트워크 환경이 급격하게 저하될 경우, 데이터의 일부를 포기해야 하는 경우가 발생한다. 일반적으로 비트율 제어와 같은 알고리즘을 통해 네트워크 환경 저하 문제를 해결하도록 하고 있으나, 급격한 네트워크 환경의 변화 또는 화상 통신에 있어 급격한 카메라 이동이 발생할 경우에, 비트율 제어만으로는 그 처리가 부족하게 됨으로써 데이터가 제대로 전송되지 못하는 문제점이 발생된다.

본 발명에서는 이와 같이 네트워크 환경 대비 전송량 과다로 발생하는 문제를 해결하기 위하여, 멀티미디어 데이터의 일부분 만을 선택적으로 송수신할 수 있는 방법을 제시하고자 한다. 우선 네트워크 환경 대비 전송량이 과다할 경우 다음과 같이 부분적 송수신을 생각할 수 있다.

-- 저해상도 영상 송신

-- 관심 영역만을 송신

-- 오디오 데이터만을 송신

이와 같이 네트워크 환경 대비 전송량 과다로 발생하는 문제의 해결은 인코더가 부착된 송신측에서 선택적으로 영상을 송신하는 방법을 사용한다. 이 때 저해상도란 예를 들어 원래의 해상도가 176*144일 경우 88*72로 전송한 후, 수신 측에서 이를 다시 176*144로 확대하여 디스플레이하는 경우로서, 화질은 저하되지만 프레임 손실은 줄일 수 있다. 얼굴과 같은 관심 영역(ROI:Region Of Interest)을 자동으로 추출할 수 있는 수단이 포함될 경우 관심 영역만을 송신함으로써, 적어도 관심 영역은 네트워크 환경이 나빠지더라도 손실 없이 디스플레이할 수 있게 된다.

여기서, 관심 영역만을 송신하는 경우에는, 기본적으로 송수신에 사용되는 동영상 포멧은 오브젝트 단위로 코딩이 가능한 MPEG-4를 사용한다. MPEG-4는 객체 단위로 코딩하여 하나의 VOP(Video Object Plane)로 표현할 수 있다. 따라서, MPEG-4의 VOP(Video Object Plane)에 하나의 관심 영역이 포함되도록 함으로써 관심 영역만을 전송하는 것을 구현할 수 있게 된다.

또한, 관심 영역만으로 구성된 동영상을 전송하는 경우에는, 관심 영역 이외의 영역은 'NOT-Coded'된 매크로 블록으로 인코딩되어 전송되도록 한다. 여기서, 'NOT-Coded'된 매크로 블록이란, 디코더에서 디코딩을 수행함에 있어 해당 매크로 블록에 대해서는 코딩을 따로 하지 않고, 바로 이전 프레임의 같은 위치의 매크로 블록을 가져오도록 설정된 매크로 블록을 의미한다. 즉, 'NOT-coded block'에 해당되는 매크로 블록에 대해서는 코딩 양이 발생되지 않게 된다.

한편, 만일 일부의 비디오 영상조차도 전송되기 어려울 만큼 네트워크 환경이 심각하게 저하될 경우에는 오디오 정보만을 송신하는 방법도 사용할 수 있다. 이 경우 기존에 전송되던 비디오는 정지상태로 있게 된다.

이와 같은 선택적 송신이 가능한 이동통신 단말기의 구성이 도 1에 제시되어 있다.

도 1을 참조하여 설명하면, 본 발명에 따른 이동통신 단말기(100)는 관심 영역만으로 구성된 객체 코딩이 가능한 MPEG-4 인코더(107)와, 네트워크 환경 정보를 수신 또는 체크할 수 있는 네트워크 감시 수단(102), 그리고 인코딩 된 데이터 양과 네트워크 환경과의 관계에 따라 멀티미디어 데이터의 전체, 또는 일부를 전송할 지 결정하기 위한 모드 결정 수단(103), 결정된 모드에 따라 멀티미디어 데이터의 전체, 또는 일부만을 송신하기 위한 송신 제어 수단(108)을 포함하여 구성된다. 그리고, 관심 영역을 자동으로 추출하기 위한 관심 객체 추출 수단(106)도 포함한다.

또한, 이와 같은 이동통신 단말기(100)는 영상 입력 수단으로서 카메라(101)를 구비하며, 상기 영상 입력 수단(101)으로부터 입력되는 영상을 저장하기 위한원 영상 버퍼(104) 및 인코딩된 영상을 저장하기 위한 인코딩된 결과 버퍼(105)를 추가적으로 더 구비한다.

메모리 부족으로 인한 문제

수신 단말 장치에서 비디오 메일을 수신할 경우, 수신 단말 장치에 저장 가능한 메모리 공간이 수신할 데이터에 비해 적은 경우가 발생할 수 있다. 이 경우 수신 도중 나머지 데이터를 손실하는 경우가 발생할 수 있다.

이와 같은 문제를 해결하기 위해 본 발명에서는 다음과 같은 선택적 수신 방법을 제시하고 있다.

-- 관심 영역만 저장

-- 오디오 데이터만 저장

먼저 저장 공간이 부족할 경우, 수신된 전체 동영상 중에서 관심 영역만을 저장할 수 있다. 그러기 위해 기본적으로 송수신에 사용되는 동영상 포멧은 오브젝트 단위로 코딩이 가능한 MPEG-4를 사용한다. MPEG-4는 객체 단위로 코딩하여 하나의 VOP(Video Object Plane)으로 표현할 수 있다. 따라서 저장 공간이 부족할 경우 관심영역에 해당하는 VOP만을 저장할 수 있다.

만일 관심 영역 조차도 저장할 공간이 부족할 경우 오디오만을 우선적으로 저장할 수도 있다.

이와 같은 일련의 과정은 사용자가 수동으로 선택하거나, 단말기가 자동으로 판단하여 수행할 수 있다. 먼저 사용자가 수동으로 선택하는 경우에는 다음과 같이두 가지 경우로 나누어 생각할 수 있다. 우선 단말기에서 현재 남은 메모리 용량과 수신될 데이터 양을 사용자에게 알려주어 사용자가 저장 모드를 선택할 수 있도록 하는 경우이다. 이 경우 단말기가 상기 모드 중 어떠한 모드로 저장할 경우 저장 가능하다는 것을 사용자에게 추천해주도록 시스템을 설계할 수도 있다. 또 다른 방법으로는 사용자가 처음에는 전체를 수신하여 저장하되, 이동통신 단말기에서 메모리 사용 상태를 도 2와 같이 디스플레이하여 줌으로써, 사용자가 사용 가능한 메모리 양이 얼마 남지 않을 경우 전송 도중에 모드를 전환하는 방법을 이용할 수도 있다.

또한, 자동으로 단말기가 판단할 경우에는 남은 메모리 양과 수신될 데이터 양을 비교하여 최적의 모드를 선택하여 단말기가 모드를 지정하는 경우이다. 이 때 단말기는 모드 지정 전에 사용자에게 확인을 요구하도록 시스템을 설계할 수도 있다. 이와 같은 일련의 기능이 가능한 이동통신 단말기의 구성이 도 3에 나타나 있다.

도 3을 참조하여 설명하면, 본 발명에 따른 이동통신 단말기(300)는 MPEG-4 디코더(304)와 저장할 메모리(디코딩 버퍼(302), 저장 수단(303)), 상기 저장 수단(303)에 저장 가능한 데이터량을 감시하고 확인하는 저장 공간 파악 수단(305), 그리고 메모리 양과 수신될 데이터 양을 비교하여 모드를 자동 결정할 수 있는 모드 결정 수단(308)이 포함되어 있다. 또한 사용자가 모드를 선택할 수 있도록 하기 위해, 사용 가능한 저장 공간을 표시하기 위한 저장 공간 사용량 디스플레이어(306)와, 사용자가 모드를 선택하기 위한 모드 선택 인터페이스(307), 그리고 사용자가 선택하거나 자동으로 선택된 모드에 따라 멀티미디어 데이터의 전체 또는 일부만을 수신 저장하기 위한 제어 수단(309)이 포함되어 있다. 그리고, 이와 같은 이동통신 단말기(300)는 영상이 표시되는 영상 표시부(301)와, 영상을 수신하는 수신 처리 수단(310)을 추가적으로 더 구비한다.

이상의 설명에서와 같이 본 발명에 따른 이동통신 단말기에 의하면, 네트워크 환경 대비 전송량 과다로 인한 멀티미디어 데이터 송/수신 문제를 방지하기 위하여 이동통신 단말기에서 선택적으로 멀티미디어의 전체 또는 일부를 전송할 수 있는 송신 제어 수단을 제공함으로써, 네트워크 환경이 좋지 않은 경우에도 최소한의 서비스 질을 보장할 수 있는 장점이 있다.

또한, 본 발명에 따른 이동통신 단말기에 의하면, 이동통신 단말기에서 멀티미디어 메일 서비스를 받을 때, 저장 공간 부족으로 인한 예외 상황을 해결하기 위해 사용자가 선택적으로 멀티미디어 메일의 전체 또는 일부를 수신 및 저장할 수 있는 수단을 제공하고, 또한 사용자가 신경 쓰지 않더라도 자동적으로 멀티미디어 메일의 전체 또는 일부를 선택적으로 수신할 수 있도록 함으로써, 사용자가 멀티미디어 메일 서비스를 효율적으로 이용할 수 있는 장점이 있다.

Claims (10)

1. 네트워크 환경 상태를 파악하는 네트워크 감시 수단과;

   상기 네트워크 감시 수단에서 파악된 네트워크 환경 상태를 감안하여, 현재 송신할 데이터양에 따라 데이터의 송신 모드를 결정하는 모드 결정 수단; 및

   상기 모드 결정 수단에서 결정된 송신 모드에 따라 멀티미디어 데이터의 전체, 또는 일부만을 송신하는 송신 제어 수단; 을 포함하는 것을 특징으로 하는 이동통신 단말기.
2. 제 1항에 있어서,

   결정된 송신 모드에 따라 상기 송신 제어 수단에서 데이터의 일부만을 전송함에 있어, 상기 데이터의 일부란 오디오 데이터이거나, 저해상도의 동영상 데이터이거나, 관심 영역(ROI)만으로 구성된 동영상 데이터이거나, 이들 간의 하나 이상 조합으로 이루어진 데이터인 것을 특징으로 이동통신 단말기.
3. 제 1항에 있어서,

   멀티미디어 데이터의 원 영상으로부터 관심 영역(ROI:Region Of Interest)을 추출하는 관심 영역 추출 수단이 더 포함되는 것을 특징으로 하는 이동통신 단말기.
4. 제 2항에 있어서,

   상기 송신 제어 수단에서 관심 영역만으로 구성된 동영상을 전송하는 경우에는, MPEG-4의 VOP(Video Object Plane)에 하나의 관심 영역이 포함되도록 하는 것을 특징으로 하는 이동통신 단말기.
5. 제 2항에 있어서,

   상기 송신 제어 수단에서 관심 영역만으로 구성된 동영상을 전송하는 경우에는, 관심 영역 이외의 영역은 'NOT- Coded'된 매크로 블록으로 인코딩되어 전송되는 것을 특징으로 하는 이동통신 단말기.
6. 멀티미디어 메일을 수신하는 수신 처리 수단과;

   상기 수신 처리 수단에서 수신된 멀티미디어 메일이 저장되는 저장 수단과;

   상기 저장 수단의 데이터 저장 상태를 점검하여, 상기 저장 수단에 저장될 수 있는 데이터양을 파악하는 저장 공간 파악 수단; 및

   상기 저장 공간 파악 수단에서 파악되는 상기 저장 수단에서의 저장 가능한 데이터양에 따라, 수신된 멀티미디어 메일의 전체 또는 일부를 저장할 것인지의 수신 모드를 결정하는 모드 결정 수단; 을 포함하는 것을 특징으로 하는 이동통신 단말기.
7. 제 6항에 있어서,

   상기 저장 수단에 추가적으로 저장될 수 있는 데이터양을 사용자에게 알려줄 수 있는 인터페이스부를 더 포함하는 것을 특징으로 하는 이동통신 단말기.
8. 제 6항에 있어서,

   상기 저장 수단에 추가적으로 저장될 수 있는 데이터양에 따라, 사용자가 수신된 멀티미디어 메일의 전체 또는 일부만을 저장할 수 있도록 선택할 수 있는 모드 선택 인터페이스부를 더 포함하는 것을 특징으로 하는 이동통신 단말기.
9. 제 6항에 있어서,

   상기 모드 결정 수단의 결정에 따라 멀티미디어 메일의 일부만을 수신/저장함에 있어, 상기 멀티미디어 메일의 일부만을 수신/저장하는 것은, 관심 영역(ROI)만으로 구성된 동영상 데이터를 수신/저장하거나, 오디오 데이터만을 수신/저장하거나, 이들 간의 조합으로 구성된 데이터를 수신/저장하는 것을 특징으로 하는 이동통신 단말기.
10. 제 6항에 있어서,

    상기 모드 결정 수단의 결정에 따라 멀티미디어 메일의 일부만을 수신/저장함에 있어, 관심 영역만을 수신/저장하기 위해 송수신되는 멀티미디어 데이터의 비디오 형식은 MPEG-4인 것을 특징으로 하는 이동통신 단말기.