KR20000009754A - 지능형 화상 전화기 및 그에 적용되는 데이터 처리방법 - Google Patents

Abstract

본 발명은 지능형 화상 전화기및 그에 적용되는 데이터 처리방법에 관한 것이다. 본 발명의 지능형 화상 전화기는 통신선로의 전송속도에 대한 전송정보에 따라서, 전송속도의 단계별로 데이터를 적응적으로 부호화하는 부호화기를 포함하여, 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체(대상)를 부호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부호화한다. 이 때, 음성 데이터의 경우, 중요한 객체는 특정 간격으로 샘플링된 값으로, 수신측에서 그 자체만 가지고도 듣는 사람이 상대방의 음성을 분간할 수 있는 정도의 데이터 양이며, 각 음성 데이터 패킷은 상기 중요한 객체를 중요부로 시작하고 그 중요부에 이어서 덜 중요한 보충부들을 순차로 가지는 데이터 시퀀스이다. 마찬가지로, 화상 데이터의 경우에는 원래의 화상으로부터 중요한 객체인 인물등을 주변 배경과 분리하여 인물부로 추출하여, 수신측에서 그 자체만 가지고도 보는 사람이 상대방을 분간할 수 있는 데이터 양이며, 각 화상 데이터 패킷은 상기 인물부로 시작하고 그 인물부에 이어서 덜 중요한 배경부들을 순차로 가지는 데이터 시퀀스이다. 이로써, 본 발명은 전송속도에 적응적으로 데이터 전송량을 제어함으로써, 전송속도가 떨어지더라도 수신측에서 중요한 대상물을 볼 수 있으며 음성을 들을 수 있는 데이터 연속성을 제공한다.

Description

지능형 화상 전화기및 그에 적용되는 데이터 처리방법

본 발명은 지능형 화상 전화기및 그에 적용되는 데이터 처리방법에 관한 것으로, 보다 상세하게는 통신선로의 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체(대상)를 부호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부호화하여, 전송속도가 떨어지더라도 수신측에서 중요한 대상물을 볼 수 있으며 음성을 들을 수 있는 데이터 연속성을 제공하는 지능형 화상 전화기및 그에 적용되는 데이터 처리방법에 관한 것이다.

최근에 멀티미디어 기기에 대한 수요가 증가하고 있으며, 이에 따라서 고속의 CPU, 고성능의 디지털신호처리용 칩이 잇달아 개발되고 있다. 이로써, 유무선 화상 전화기들이 상용화되고 있으나, 이러한 기존의 화상 전화기는 통신선로의 전송속도가 일정하다는 가정하에 제작되고 있기 때문에, 통신채널이 불안정해져서 전송속도가 화상과 음성을 동시에 보낼 수 있는 규정 속도 이하로 떨어지면 화면이 뭉개져버리고 음성이 끊겨버리는 현상이 발생하게 된다.

이를 도 2및 도 3을 참조하여 좀 더 상세히 설명하기로 한다. 도 2는 일반적인 화상 전화기에 적용되는 화상 데이터및 음성 데이터의 패킷들을 도시한 다이어그램이고, 도 3은 종래의 화상 전화기의 단점을 설명하기 위한 다중화된 데이터 패킷을 도시한 다이어그램이다. 여기서, 각 화상 데이터 패킷은 복수의 데이터 시퀀스로 이루어지고, 각 음성 데이터 패킷도 역시 복수의 데이터 시퀀스로 이루어진다. 도 2에 도시한 것처럼, 일반적인 화상 전화기에서는 화상 데이터와 음성 데이터가 중요도에 따라서 구분되어 있는 형태가 아니고, 데이터 패킷 전체가 하나의 의미군을 형성하기 때문에, 다중화된 데이터 패킷 역시 도 3에 도시한 것과 같이 전체가 하나의 의미군을 형성한다. 따라서, 전송속도 저하등의 이유로 상기 다중화된 데이터중 일부만 수신측에 전송되었다고 하면, 수신측에서는 의미군을 이루는 전체 데이터를 받지 못하였기 때문에, 그 데이터를 역다중화시켜 분리된 화상및 음성으로 출력하는 경우 화상이나 음성이 뭉개지거나 끊어지게 된다.

본 발명이 이루고자 하는 기술적 과제는 상기 종래의 단점을 극복하기 위하여, 통신선로의 전송속도가 떨어지더라도 최소한의 중요 데이터를 전송가능케 함으로써, 수신측에서 상대방을 확인할 수 있도록 하는 지능형 화상 전화기를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 음성 데이터와 화상 데이터의 각 객체(대상)들을 중요한 순서대로 배열한 데이터 시퀀스의 음성 데이터 패킷과 화상 데이터 패킷의 형태로 처리하여 통신 채널을 통해 송수신하며, 제어부로부터의 통신채널의 전송속도에 대한 전송정보에 따라서, 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체를 부/복호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부/복호화하는 데이터 처리방법을 제공하는데 있다.

도 1은 본 발명에 의한 지능형 화상 전화기의 블록도이다.

도 2는 일반적인 화상 전화기에 적용되는 화상 데이터및 음성 데이터의 패킷들을 도시한 다이어그램이다.

도 3은 종래의 화상 전화기의 단점을 설명하기 위한 다중화된 데이터 패킷을 도시한 다이어그램이다.

도 4는 본 발명에 의한 음성 데이터 패킷들을 도시하는 다이어그램이다.

도 5는 본 발명에 의한 화상 데이터 패킷들을 도시하는 다이어그램이다.

<도면의 주요 부분에 대한 부호의 설명>

1...문자 입력부, 2...음성 입력부

3...음성 부호화/복호화부, 4...화상 입력부

5...화상 부호화/복호화부, 6...데이터 다중화/분리부

7...변복조부, 8...송수신부

9...제어부, 10...기억부

11...음성 출력부, 12...화상 출력부

본 발명은 상기 기술적 과제를 달성하기 위하여, 통신채널을 통하여 음성 데이터및 화상 데이터를 송수신할 수 있는 화상 전화기에 있어서, 음성 데이터와 화상 데이터를 각 객체(대상)들이 중요한 순서대로 배열된 데이터 시퀀스의 음성 데이터 패킷과 화상 데이터 패킷의 형태로 처리하고, 통신채널의 전송속도에 대한 전송정보에 따라서, 상기 음성및 화상 데이터 패킷의 객체를 적응적으로 부/복호화하는 부/복호화기,및 상기 통신채널의 전송속도를 측정하여 상기 전송속도에 대응하는 전송정보를 상기 부/복호화기에 공급하는 제어부를 포함하는 지능형 화상 전화기를 제공하는 데 있다.

바람직하게는 상기 부/복호화기는 상기 음성 데이터를 처리하는 음성 부/복호화기와 상기 화상 데이터를 처리하는 화상 부/복호화기를 포함하는 것을 특징으로 한다.

본 발명이 이루고자 하는 다른 기술적 과제는 통신채널을 통하여 음성 데이터및 화상 데이터를 송수신할 수 있는 화상 전화기에 적용되는 데이터 처리방법에 있어서, 음성 데이터의 경우, 수신측에서 그 자체만 가지고도 상대방의 음성을 분간할 수 있는 정도의 샘플링된 데이터를 갖는 중요부로 시작하고 그 중요부에 이어서 덜 중요한 보충부들을 순차로 가지는 데이터 시퀀스의 음성 데이터 패킷을 형성하는 단계, 화상 데이터의 경우 원래의 화상으로부터 중요한 객체인 인물등을 주변 배경과 분리하여 인물부로 추출하여, 수신측에서 그 자체만 가지고도 상대방을 분간할 수 있는 정도의 데이터를 갖는 인물부로 시작하고 그 인물부에 이어서 덜 중요한 배경부들을 순차로 가지는 데이터 시퀀스의 화상 데이터 패킷을 형성하는 단계,및 통신채널의 전송속도에 대한 전송정보에 따라서, 송신할 예정이거나 수신된 상기 음성 데이터 패킷및 상기 화상 데이터 패킷을 적응적으로 부/복호화하는 단계를 포함하는 데이터 처리방법을 제공하는데 있다.

바람직하게는 상기 부/복호화단계에서, 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체(대상)를 부/복호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부/복호화하는 것을 특징으로 한다.

이하, 본 발명의 바람직한 실시예들을 첨부된 도면을 참조하여 보다 상세히 설명하기로 한다.

도 1은 본 발명에 의한 지능형 화상 전화기의 블록도이고, 도 4및 도 5는 각각 본 발명에 의한 음성 데이터 패킷들과 화상 데이터 패킷들을 도시하는 다이어그램이다.

도 1에 도시된 바와 같이, 본 발명에 의한 지능형 화상 전화기는 일반적인 화상 전화기의 구성 요소들과 유사하게, 숫자키버튼 또는 터치스크린으로 이루어진 문자입력부(1), 마이크로폰과 같은 음성입력부(2), 처리된 음성 데이터를 출력하는 음성출력부(11), CCD카메라등의 촬상장치로부터 출력된 화상 데이터를 수신하는 화상입력부(4),및 처리된 화상 데이터를 출력하는 화상출력부(12)를 포함하고 있다. 또한, 본 발명의 지능형 화상 전화기는 송수신 음성 데이터를 부/복호화하는 음성 부/복호화기(3), 수신 화상 데이터를 부/복호화하는 화상 부/복호화기(5), 상기 음성 부/복호화기(3)및 상기 화상 부/복호화기(5)로부터의 데이터를 저장하거나 저장된 데이터를 독출하는 기억부(10), 상기 부/복호화된 데이터를 다중화 또는 분리하는 데이터 다중화/분리부(6), 상기 다중화된 데이터를 변조하고 수신된 데이터를 복조하는 변복조부(7), 상기 변복조부로부터 송신데이터를 받거나 수신데이터를 변복조부로 공급하는 송수신부(8), 상기 블록들을 제어하는 제어부(9)를 포함한다.

문자입력부(1)는 조작자가 전화번호에 해당하는 숫자키를 누르거나, 터치스크린등을 동작시키는 입력조작 명령을 받아들여서 제어부(9)에 전달한다.

음성입력부(2)는 마이크로폰과 같은 장치를 통해 사용자의 목소리를 아날로그신호로 바꾸어 음성 부/복호화기(3)에 전달한다.

음성 부/복호화기(3)는 송신할 음성 신호의 아날로그-디지털변환(A/D변환), 부호화를 수행하고, 또한 수신된 음성 데이터를 복호화하고 디지털-아날로그변환(D/A변환)한다. 음성 부/복호화기(3)는 음성입력부(2)로부터 들어온 아날로그신호를 디지털신호로 변환한다. 종래에는 아날로그신호를 디지털화하는 과정에서 전체의 아날로그 입력신호에 대해서 일정한 샘플링의 과정을 거쳐서 나온 신호를 순차적인 시퀀스로 기억부(10)에 저장하였지만, 본 발명에서는 샘플링 과정을 거쳐서 나온 신호를 데이터의 중요도에 따라서 재배열하여 그 중요한 데이터의 순서로 된 시퀀스로 기억부(10)에 저장하게 된다. 이러한 과정을 도 4를 참조하여 보다 상세히 설명하기로 한다.

도 4에 도시된 바와 같이, 기억부(10)에 격납 저장되는 음성 데이터 패킷들은 각각 중요부, 보충부1, 보충부2, 보충부3및 보충부4의 데이터 시퀀스로 이루어진다. 중요부의 데이터는 특정 간격으로 샘플링된 값으로서, 수신측에서 그 자체만으로도 듣는 사람이 상대방의 음성을 분간할 수 있는 정도의 데이터 양이 된다. 보충부1은 중요부에서의 샘플링값과 그 시점및 간격이 다른 샘플링값들로 구성되며, 중요부의 데이터만으로는 부족해지는 음질을 향상시켜주는 데이터이다. 마찬가지로, 보충부2도 중요부와 보충부1을 보강하기 위한 것이고, 보충부3은 중요부, 보충부1, 보충부2를 최종적으로 보강하는 데이터이다.

상기 음성 부/복호화기(3)에서, 상기 음성 데이터는 효율적인 전송을 위해 압축과정을 거치게 되는데, 중요부, 보충부1, 보충부2, 보충부3 각각이 별개의 객체처럼 취급되어 부호화된다. 즉, 제어부(9)에서 받은 전송속도에 대응하는 전송정보에 의해 전송속도의 단계에 따라, 전송속도가 최적인 상태에서는 중요부, 보충부1, 보충부2, 보충부3이 모두 부호화되지만, 전송속도가 최악인 상태에서는 중요부만 부호화되고, 좀 나은 전송속도에서는 중요부, 보충부1이 부호화되고, 좀 더 나은 전송속도에서는 중요부, 보충부1, 보충부2가 부호화된다.

상기 음성 부/복호화기(3)에서는 상기 다중화/분리부(6)를 통하여 수신된 음성 압축 데이터를 원래의 음성 데이터 객체의 시퀀스로 복원한다. 또한, 상기 복원된 음성 데이터 객체 시퀀스를 아날로그형태의 신호로 변환하여 음성 출력부(11)를 통해 출력한다.

화상입력부(4)는 CCD카메라와 같은 촬영장치를 통해 전화기 사용자나 주변 배경 등에 대한 정보가 담기게 되는 화상 데이터를 화상 전처리및 합성과정등을 수행하는 화상 부/복호화기(5)로 보내게 된다.

화상 부/복호화기(5)는 음성 부/복호화기(3)와 유사한 과정을 화상처리를 수행하며, 송신할 화상 데이터의 전처리, 부호화를 수행하고, 수신된 화상 데이터를 복호화하고 합성한다.

종래의 화상 전화기는 화상을 카메라로 찍어서 그 데이터를 압축하여 전송하는 것에 그쳤지만, 본 발명에서는 상기 화상 부/복호화기(5)를 통하여 각 장면의 화상 데이터에 중요도를 두게된다. 즉, 화상전화기에서 전송되는 화상에서 가장 중요한 부분은 그것을 사용하는 사용자이며, 배경 데이터는 그렇게 중요하지 않다. 따라서, 음성의 경우에서와 같이 화상 데이터도 데이터의 중요도에 따라서 도 5에 도시한 바와 같이, 중요한 데이터의 순서로 된 시퀀스로 저장하게 한다.

도 5에 도시한 바와 같이, 기억부에 격납저장되는 화상 데이터 패킷들은 각각 중요도에 따라서 인물부, 배경부1, 배경부2, 배경부3의 데이터 시퀀스로 이루어진다. 이와 같이 데이터시퀀스를 구성하기 위해서는 원래의 화면으로부터 인물및 배경을 분리할 수 있는 일련의 과정이 필요하며, 본 발명에서는 상세하게 설명하지는 않지만, 종래에 알려져 있는 패턴인식, 윤곽선추출등의 과정을 사용하여 화상 데이터 패킷을 형성한다. 여기서, 물론 촬영장치로부터 공급된 신호가 아날로그신호인 경우에는 디지털로 변환하는 A/D변환기가 필요하고 또한 화상출력부(12)가 아날로그신호의 출력장치인 경우, 디지털신호를 아날로그변환하는 D/A변환기가 필요하다.

상기 화상 부/복호화기(5)에서 화상 데이터는 효율적인 전송을 위하여 압축과정을 거치게 되는데, 한 화면에 대한, 인물부, 배경부1, 배경부2, 배경부3 각각이 별개의 객체처럼 취급되어 부호화된다. 즉, 제어부(9)에서 받은 전송속도의 정보에 의한 전송속도의 단계에 따라서, 전송속도가 최적인 상태에서는 인물부, 배경부1, 배경부2, 배경부3 모두가 부호화되지만, 최악의 상태에서는 인물부만 부호화되고, 좀 나은 전송속도에서는 인물부, 배경부1이 부호화되고, 좀 더 나은 전송속도에서는 인물부, 배경부1, 배경부2가 부호화된다.

상기 화상 부/복호화기(5)에서는 상기 다중화/분리부(6)를 통하여 수신된 화상 압축 데이터를 원래의 화상 데이터 객체의 시퀀스로 복원한다. 또한, 상기 복원된 음성 데이터 객체 시퀀스를 하나의 화면을 나타내는 화상 데이터로 합성하여 화상 출력부(12)를 통해 출력한다.

데이터 다중화/분리부(6)는 송신시에 음성 부/복호화기(3)에서 넘어온 음성 데이터 객체시퀀스와 화상 부/복호화기(5)에서 넘어온 화상 데이터 객체시퀀스를 하나의 데이터 스트림으로 다중화(multiplex)해서 변복조부(7)로 넘겨주거나, 수신시에 변복조부(7)로부터 공급된 하나의 데이터 스트림을 음성 압축 데이터 객체 시퀀스와 화상 압축 데이터 객체 시퀀스로 분리(demultiplex)해서 각각을 음성 부/복호화기(3)및 화상 부/복호화기(5)로 보낸다. 다중화된 데이터 스트림에 있어서도, 다중화된 중요한 데이터(음성,화상 모두)의 부분은 다중화된 데이터 스트림의 맨 앞에 위치되도록 다중화한다.

변복조부(7)는 송신시에 데이터 다중화/분리부(6)로부터 넘어온 하나의 데이터 스트림을 전송신호 형태로 바꾸어 송수신부(8)로 넘겨주는 변조(modulation) 과정과, 수신시에 송수신부(8)를 통해 입력된 신호를 하나의 데이터 스트림 형태로 바꾸어주는 복조(demodulation) 과정을 포함한다.

송수신부(8)는 송신시 변복조부(7)에서 넘어온 전송신호를 전송선로를 통해 전송하거나, 수신시에 전송선로를 통해 들어온 수신신호를 변복조부(7)로 넘겨 준다. 또한, 전송선로의 속도를 일정 간격으로 체크하여 그 전송속도에 대한 정보를 제어부(9)에 알려준다.

제어부(9)는 상기 각 블록들에 대한 제어신호들을 내보내고, 기억부(10)로부터 데이터및 프로그램을 읽어와 계산을 실행한 후 다시 기억부(10)에 저장시킨다. 특히, 송수신부(8)에서 받은 전송속도에 대한 정보를 가지고, 음성 부/복호화기(3), 화상 부/복호화기(5)에서 어느 정도의 레벨로 부호화할 것인지를 결정한다. 즉, 제어부(9)에서는 상기 전송속도 정보를 받아서 중요한 정보로부터 몇 개의 객체까지를 부호화할 것인지를 결정하여 그 결과를 상기 각각의 음성및 화상 부/복호화기(3,5)로 출력한다.

상기 기억부(10)는 데이터의 계산을 실행하는 프로그램을 저장하고 있으며, 계산을 실행하고 있는 동안의 음성및 화상 관련 데이터를 그때그때 임시로 저장한다.

상기 음성출력부(11)는 음성 부/복호화기(3)에서 오는 아날로그 형태의 신호를 스피커 혹은 헤드폰등을 통해 들을 수 있도록 출력하는 부분이다.

상기 화상출력부(12)는 상기 화상 부/복호화기(5)에서 오는 화상 데이터를 LCD등의 화면에 표시한다.

상술한 바와 같이, 본 발명은 음성 데이터및 화상 데이터를 데이터의 중요도에 따라서 재배열한 음성 데이터 패킷및 화상 데이터 패킷의 형태로 송수신하며, 통신선로의 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체(대상)를 부호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부호화하여, 전송속도가 떨어지더라도 수신측에서 중요한 대상물을 볼 수 있고 음성을 들을 수 있는 데이터 연속성을 제공하는 지능형 화상 전화기및 그에 적용되는 데이터 처리방법을 제공한다. 이로써, 데이터 송수신중 화상이 뭉개지거나 음성이 끊기는 현상을 방지할 수 있다.

Claims (4)

1. 통신채널을 통하여 음성 데이터및 화상 데이터를 송수신할 수 있는 화상 전화기에 있어서,

   음성 데이터와 화상 데이터를 각 객체(대상)들이 중요한 순서대로 배열된 데이터 시퀀스의 음성 데이터 패킷과 화상 데이터 패킷의 형태로 처리하고, 통신채널의 전송속도에 대한 전송정보에 따라서, 상기 음성및 화상 데이터 패킷의 객체를 적응적으로 부/복호화하는 부/복호화기,및

   상기 통신채널의 전송속도를 측정하여 상기 전송속도에 대응하는 전송정보를 상기 부/복호화기에 공급하는 제어부를 포함하는 지능형 화상 전화기.
2. 제1항에 있어서, 상기 부/복호화기는 상기 음성 데이터를 처리하는 음성 부/복호화기와 상기 화상 데이터를 처리하는 화상 부/복호화기를 포함하는 것을 특징으로 하는 지능형 화상 전화기.
3. 통신채널을 통하여 음성 데이터및 화상 데이터를 송수신할 수 있는 화상 전화기에 적용되는 데이터 처리방법에 있어서,

   음성 데이터의 경우, 수신측에서 그 자체만 가지고도 상대방의 음성을 분간할 수 있는 정도의 샘플링된 데이터를 갖는 중요부로 시작하고 그 중요부에 이어서 덜 중요한 보충부들을 순차로 가지는 데이터 시퀀스의 음성 데이터 패킷을 형성하는 단계,

   화상 데이터의 경우 원래의 화상으로부터 중요한 객체인 인물등을 주변 배경과 분리하여 인물부로 추출하여, 수신측에서 그 자체만 가지고도 상대방을 분간할 수 있는 정도의 데이터를 갖는 인물부로 시작하고 그 인물부에 이어서 덜 중요한 배경부들을 순차로 가지는 데이터 시퀀스의 화상 데이터 패킷을 형성하는 단계,및

   통신채널의 전송속도에 대한 전송정보에 따라서, 송신할 예정이거나 수신된 상기 음성 데이터 패킷및 상기 화상 데이터 패킷을 적응적으로 부/복호화하는 단계를 포함하는 데이터 처리방법.
4. 제3항에 있어서, 상기 부/복호화단계에서, 전송속도가 최적의 상태에서는 모든 데이터 패킷의 모든 객체(대상)를 부/복호화하나, 전송속도가 최악인 상태에서는 중요한 객체만을 부/복호화하는 것을 특징으로 하는 데이터 처리방법.