KR20010072769A

KR20010072769A - 다채널 데이터 압축 방법

Info

Publication number: KR20010072769A
Application number: KR1020017002096A
Authority: KR
Inventors: 앤드루에이. 코스트르제프스키; 마이클에이. 필리아빈
Original assignee: 추후제출; 피지컬 옵틱스 코포레이션
Priority date: 1998-08-19
Filing date: 1999-08-19
Publication date: 2001-07-31
Also published as: US6137912A; JP2002523943A; CN1169087C; CN1323426A; CA2341208A1; KR100657070B1; EP1105835A1; EP1105835A4; WO2000011597A1; CA2341208C

Abstract

MPEG-호환 기술을 이용한 다채널 압축 방법(96)이 공개된다. 이 방법은 각 채널(C₁, C₂,...,C_N) 내의 프레임 및 각 채널 사이의 프레임 간의 차이를 암호화한다. 일부 프레임은 예측되고, 일부 프레임은 건너뛴다. 각 채널의 각 그룹이 암호화된 후, 각 채널에 대해 현재 프레임 및 예측 프레임 간의 차이는 일련의 프레임 그룹 각각에 대해 설정 한계값 E₀와 비교된다. 프레임 그룹 중 어느 하나에 대하여, 각 채널의 현재 프레임과 예측 프레임 간의 차이 중 어느 하나가 설정 한계값에 도달할 경우, 이 방법은 암호화 프레임의 순서에 I 프레임을 삽입하여 암호화를 다시 시작한다. 차이를 계산하고 I-프레임을 삽입하는 것은 채널-내 차이 및 채널-간 차이 모두에 대해 구현된다. 암호화된 프레임은 디스플레이를 위해 디코더로 전송된다. 이 방법은 인공 지능이나 퍼지 로직 소프트웨어를 이용한다.

Description

다채널 데이터 압축 방법{METHOD OF MULTICHANNEL DATA COMPRESSION}

화상 압축은 상 정보의 공간적/시간적 용장(redundancy)을 제거함으로서 디지털 화상을 나타내기 위해 필요한 데이터의 양을 감소시킨다. 영상 정보를 인터넷 등에서 효율적으로 저장하고 전송하기 위해 압축이 필요하다. 압축이 없을 경우, 화상 정보가 저장되거나 전송되는 대부분의 응용 프로그램은 비실용적이거나 작동이 안된다. 순수한 영상 데이터는 몇초만에 일반적인 PC의 하드 디스크 드라이브를 점유한다.

이 분야에서, 영상의 최초 프레임을 비압축 형태로 취함으로서, 그리고 그 다음 프레임에 속하는 영상 정보를 암호화하기 위한 기준 프레임으로 상기 최초 프레임을 사용함으로서, 단일 채널 영상 압축이 달성될 수 있다. 각각의 프레임의 전체 영상을 암호화하고 전송하는 것보다는, 최초 프레임과 예정된 프레임을 포함하여 순서대로 정해진 프레임 사이의 차를 최초에 결정함으로서, 그리고 이 차이만을 디코더에 전송함으로서, 프레임이 압축된다. 이때 디코더는 이 차이를 바탕으로 영상 프레임의 일부를 재구축한다(해독한다). 이러한 모션 추정 시스템은 이전 프레임으로부터 상대적으로 적은 모션 변화를 포함하기 때문에 쉽게 추정될 수 있다는 다수의 프레임(중간 프레임)을 뛰어넘을 수 있다(skip). 그 결과, 일정 수의 프레임, 가령 매 네번째 프레임만의 실제 영상이 분석된다. 최종 갭을 수용하기 위해, 중간 프레임은 정해진 프레임과 정해진 프레임-간의 차이 사이의 관계를 바탕으로 예측된다. 이러한 모션 추정법을 사용함으로서, 상대적으로 낮은 전송대역폭과 고화질로 전체 영상이 전송되고 재구축될 수 있으며, 이는 영상 데이터 전송을 위한 중요한 특징이다. 가령, 512²개의 화소, 8비트 그레이 레벨, 그리고 30Hz 풀-모션 영상 속도를 고려할 경우, 60Mbps의 대역폭이 필요하다. 60Mbps의 풀-영상 비압축 대역폭으로부터 128kbps의 필요한 데이터 속도로 영상 데이터를 압축할 경우, 이 압축 속도 요구사항은 4배가 된다.

영상 압축에서 달리 필요한 또다른 특징은 프레임 순서의 큰 모션 변화에 대한 설명에 관한 것이다. 가령, MPEG 영상 압축은 "I-프레임"(새로운 기준 프레임)을 비동기적으로 전송함으로서 단일 영상 채널에서 이러한 변화를 설명할 수 있다. 그러나, I-프레임은 영상 내용에 관계없이 매 15 프레임마다 삽입된다. 암호화된 영상 비트 스트림에 I-프레임을 비동기적으로 삽입함으로서 이러한 시스템은 신호 대역폭을 비효율적으로 증가시킨다. 가령, 주목할만한 모션을 포함하지 않는 일련의 암호화 프레임으로 I-프레임이 삽입될 경우, 전체 새 프레임의 전송이 불필요하기 때문에 대역폭이 불필요하게 사용된다. 이와는 대조적으로, 프레임 순서가 다량의 모션을 포함할 때 영상 비트 스트림에 I-프레임이 삽입되지 않을 경우, 상당한오차가 생성된다.

바로 위에서 일반적으로 논의한 단일 채널 압축법은 첨부된 도면과 연계하여 보다 상세히 기술될 것이다. 도 1에 도시되는 바와 같이, 단일 영상 채널에 대한 압축 영상 데이터 스트림을 형성하기 위한 방법(10)은 단일 소스(가령, 영상 카메라)로부터 최초 프레임 S₁을 취하고, 그리고 프레임 S₁을 표준 압축 기술로 압축하는 단계를 포함한다. 그 다음에, 방법(10)은 예정된 수의 차후 프레임(가령, 도 1에 점선으로 표시되는 두 개의 프레임)을 뛰어넘거나 무시하고, 그다음 프레임 P₁ ¹을 예측한다. 그후, 프레임 S₁과 예측 프레임 P₁ ¹(이 경우 세 번째 차후 프레임) 사이의 차이 Δ₁ ¹이 나타난다.

방법(10)은 무시된 프레임(도 1의 제 2, 3 프레임)의 예측된 형태인 "필터" 프레임 B₁ ¹과 B₂ ¹을 연산하고 암호화한다. 예측된 B 프레임은 공지된 기술을 이용하여 S₁프레임 및 P₁ ¹프레임과 그 둘 사이의 차이 Δ₁ ¹을 바탕으로 도출된다. 이 방식으로 데이터를 압축함으로서, 인코더는 최초 프레임 S₁의 풀 영상 내용(압축 형태)과 함께 차이 Δ₁ ¹만을 암호화하여, S₁및 P₁ ¹을 재구축하기에 충분한 정보를 제공한다. 중간 예측 프레임 B₁ ¹및 B₂ ¹의 고도로 암호화된 골격부도 역시 암호화될 수있다. 그러나, 전송시에 이 정보는 신호 대역폭에 큰 영향을 미치지 않는다.

앞서 언급한 바와 같이, 추가적인 암호화 단계는 이어지는 프레임 사이의 큰 모션 변화를 설명하는 과정을 포함한다. 예를 들어, 영상 데이터 비트 스트림에 I-프레임을 비동기적으로 삽입한다거나, 미국 특허 출원 08/901,832 호에서 도시되고 기술되는 바와 같이 I-프레임을 삽입하는 것이 프레임 순서의 모션 변화에 의해 용납되는 지를 특별히 고안된 "지능형" 소프트웨어("smart" software)를 이용하여 결정하는 과정을 포함한다. 소프트웨어를 이용하는 두 번째 접근법은 프레임을 조사 블록으로 분화하고 최초 S-프레임과 이에 상응하는 P-프레임(즉, 예견된 세 번째 차후 프레임)의 상응하는 블록들 사이의 오차를 누적하는 단계를 포함한다.

누적된 오차가 정해진 한계값을 초과할 경우, 새로운 I-프레임이 새로운 차후 프레임으로 나타나고, 새로운 기준의 최초 프레임 I₁과 다음 예측 P-프레임(I₁으로부터 세 번째 차후 프레임) 사이의 차이를 연산함으로서 앞서 기술한 바와 같이 암호화가 시작된다. I-프레임을 새로운 최초 기준 프레임으로 삼을 경우, 인코더는 프레임 I₁과 다음 예측 P 프레임 P21 사이의 모션 차이 Δ₂ ¹을 결정하고, 중간 프레임 B₁ ¹'과 B₂ ¹'은 공지된 기술에 따라 앞서와 같이 연산된다. 오차가 한계값에 도달하지 않을 경우(주 프레임 사이의 화상 상관성이 한계값을 초월함을 의미함), 이어져 암호화될 두 번째 프레임 그룹의 시작에 대해 기존 P 프레임 신호가 유지된다. 이 경우에, P₁ ¹프레임은 다음 프레임 그룹에 대한 최초 기준 프레임이 된다. 시스템은 전체 영상을 나타내는 압축 데이터 비트 스트림을 제공하기 위해 이러한 이어지는 그룹 형성에서 프레임의 암호화를 진행시킨다.

도 2에서, 암호화된 신호는 순서(12)(영상 프레임 부분만을 나타냄)에 따라 디코더로 전송될 수 있다. 도 2에 도시되는 전송 순서의 일련의 신호는 프레임 순서의 큰 모션 변화 발생을 반영하지 않는다. 즉, I-프레임이 암호화되지 않았다.

최초, 단계 14에서, 인코더는 암호화된 신호의 제 1 그룹인 그룹 I을 디코더로 전송한다. 이 신호들은 암호화된 최초 기준 프레임 S₁과 Δ₁ ¹신호, 그리고 일반적으로 B-프레임을 포함하며, 이 순서대로 전송되는 것이 일반적이다. 그 다음에 단계 16에서, 인코더는 제 2 그룹의 신호인 그룹 II를 전송하고, 이 순서에서 I-프레임이 암호화되지 않을 경우 그룹 II는 Δ₂ ¹신호와 B₁ ¹', B₂ ¹' 프레임만을 포함한다. 최초 기준 프레임 S₁의 압축 형태를 포함한 그룹 I 신호와는 달리, 그룹 II의 최초 기준 프레임(즉, P₁ ¹)은 전송될 필요가 없다. 왜냐하면, 그룹 I 신호를 암호화할 때 디코더는 이미 메모리에 P₁ ¹프레임을 해독하고 저장시켰기 때문이다. 요약해서, I-프레임이 암호화되지 않을 경우, 다음 신호 그룹에 대한 새로운 기준 프레임은 전송될 필요가 없다. 왜냐하면, 상기 새로운 기준 프레임은 이전 그룹으로부터 해독되고 저장된 P 프레임일 것이기 때문이다.

인코더는 그룹 III 전송을 실시한다. 그룹 III 신호는 단계 18에서 Δ₃ ¹신호와, B₁ ¹'' 프레임과 B₂ ¹'' 프레임의 압축 골격 형태 신호를 포함한다. 마찬가지로, 방법(10)은 영상의 모든 암호화 프레임이 전송될 때까지 차후 신호 그룹을 전송한다.

수신기/디코더는 도 3에 도시되는 바와 같이 방법(24)을 실행하여, 단일 영상 채널의 프레임 순서를 재생성한다({x,y} →w는 신호 "x"와 "y"가 신호 w 생성을 위한 특별히 고안된 알고리즘에 의해 미리 프로그램된 방식으로 조합됨을 의미함). 단계 26에서 그룹 I의 암호화 신호를 수신한 후에, 단계 28에서 방법(24)은 최초 기준 프레임 S₁을 압축해제한다. 그후 단계 30에서, 방법(24)은 그룹 I에 대한 최초 기준 프레임 S₁과 예측된 P 프레임 P₁ ¹사이의 모션 차이를 나타내는 신호인 Δ₁ ¹을 압축해제한다. 단계 28과 30에서 방법(24)에 의해 실행되는 압축해제는 암호화 처리중 표준 압축 기술을 이용하여 압축된 상응하는 신호의 표준 압축해제이다. 가령, 앞서 언급한 MPEG와 같이 압축/해제가 사용될 수 있다.

다음에, 단계 32에서 방법(24)은 그룹 I 신호 S₁과 Δ₁ ¹을 조합하여 프레임 P₁ ¹을 재생성하고, 단계 34에서 P₁ ¹은 S₁및 Δ₁ ¹과 조합되어 사용되어 예측된 프레임 B₁ ¹과 B₂ ¹을 재생성한다. 이 방식으로 다시 저장된 S₁프레임과 재생성된 P₁ ¹프레임으로, 단계 36에서 디코더는 이 프레임들을 나타내는 신호를 디스플레이 장치(도시되지 않음)에 전송할 수 있다. 그 순서는 다음과 같다. 즉, S₁, B₁ ¹, B₂ ¹, 그리고 P₁ ¹이다.

다음으로, 방법(24)은 프레임 제 2 그룹, 즉 그룹 II의 영상 비트스트림으로 I-프레임이 암호화되었는 지를 결정하는 단계 38을 실행한다. 다시, 표준 영상 압축에서, 영상 내용에 상관없이 매 15 프레임마다 I-프레임이 영상 비트스트림으로 삽입된다. 이때 앞서 언급한 계류중인 미국 특허 출원의 방법은 큰 모션 변화가 있을 때만 I-프레임을 삽입한다. 이 방법이 선호된다.

I-프레임이 암호화되지 않았을 경우(도 1 및 2와 연계하여 기술된 예에서와 같이), 방법(24)은 MPEG 압축해제 알고리즘 등을 이용하여 Δ₂1을 압축해제함으로서 단계 40을 실행한다. Δ₂ ¹을 이용하여, 방법(24)은 Δ₂ ¹을 그룹 II에 대한 최초 기준 프레임 P₁ ¹과 조합함으로서 단계 42에서 다음 P 프레임 P₂ ¹을 생성한다. 이때 P₁ ¹은 단계 32에서 그룹 I 신호가 해독될 때 메모리에 저장된 바 있다.

P 프레임 P₂ ¹을 생성한 후, 단계 44에서, 방법(24)은 새로운 최초 기준 프레임 그룹 I의 P 프레임 P₁ ¹을, 방금 생성된 P 프레임 P₂ ¹과 모션 차이 신호 Δ₂ ¹을 조합하여 B 프레임 B₁ ¹', B₂ ¹'을 생성한다. 앞서 언급한 신호들이 생성되었을 경우, 디코더는 단계 46에서 도시되는 순서로 해독된 신호를 디스플레이 장치에 전송한다. 즉, B₁ ¹', B₂ ¹', P₂ ¹의 순이다(P₂ ¹은 본 예에서 7번째 영상 프레임이다). 신호 그룹의 이러한 재생성, 전송, 그리고 디스플레이는 전체 영상이 디스플레이될 때까지 재실행된다(단계48).

I-프레임이 다음 차후 프레임으로 영상 비트 스트림으로 암호화될 경우, 디코더는 S₁을 I₁으로 대체하고, 방법(24)의 단계를 처음부터 실행한다. 특히, 방법(24)은 단계 50에서 표준 압축해제 알고리즘을 이용하여 I₁을 압축해제하고, 단계 52에서 I₁및 P 프레임 P_1(new) ¹사이의 차이에 관한 암호화 신호를 압축해제한다. 그후, I¹을 Δ_1(new) ¹과 조합함으로서 P_1(new) ¹이 재구성된다(단계 54). 그 다음에, 정해진 방식으로 I₁, Δ_1(new) ¹, 그리고 P_1(new) ¹을 조합하는 알고리즘에 따라, 고도로 암호화된 B 프레임 B_1(new) ¹과 B_2(new) ¹이 재구성된다(단계 56). 단계 58에서, 디코더는 해독된 신호 I₁, B_1(new) ¹, B_2(new) ¹, 그리고 P_1(new) ¹을 디스플레이 장치에 전송하여 상기 순으로 디스플레이한다.

앞서 기술한 시스템이 단일 채널 시스템의 영상 질을 훼손하지 않으면서 대역폭을 효율적으로 이용하는 장점을 제공하지만, 영상 신호 압축 분야는 영상을 여러 소스로 데이터 압축할 수 있는 시스템을 필요로하고 있다. 채널-내 프레임-간의 차이를 결정할 수 있을 뿐만 아니라, 여러 소스로부터 프레임을 상관(cross - correlate)시킬 수 있는 시스템이 필요하다. 이러한 시스템은 각각의 소스에 의해 얻어지는 정보 사이에 높은 유사성이 존재하는 응용 프로그램에 대해 특히 유용할 수 있다. 이때, 전체 영상 내용은 각각의 소스로부터 영상을 재생성하도록 전송될 필요가 없다.

이러한 다채널 응용 프로그램에는 여러 가지가 있다. 가령, 입체 데이터(stereoscopic data)는 3차원 화상을 형성하기 위해 (두 시점으로부터 물체를 바라보는 두 개의 소스가 일반적인) 다채널 입력으로 구성된다. 두 소스 사이에 용장 정보가 상당량 존재한다는 것은 명백하다. 장면 범위나 지정 물체를 바라보기 위해 여러 카메라가 사용되는 "룩-어라운드" 환경에서 영상을 캡쳐하는 것이 또다른 공통적인 응용 프로그램이다. 이때 각각의 카메라는 여러 각도로부터 지정 물체나 장면의 특정 시점을 나타내는 데이터의 한 개의 채널을 책임진다. 둘 중 어느 상황에서도, 소스 사이의 용장 정보가 암호화될 필요없고 각각의 소스의 전체 영상을 재생성하도록 전송도리 필요가 없도록, 여러 소스를 이용하는 것이 바람직할 것이고, 따라서, 데이터 효율을 최대화하고, 신호 대역폭을 보존할 수 있다.

또다른 응용 프로그램에서, 단일 카메라가 스펙트럼 화상을 바라보기 위해 사용될 수 있고, 이에 의해 얻어진 신호는 필터를 이용한 협대역폭 윈도우를 바탕으로 분리 채널로 분할된다. 이러한 화상을 바라볼 때, 수백 채널이 몇 나노미터 내에서 실현될 수 있다. 이러한 채널 각각의 화상 데이터는 인접 채널에 대해 상당량의 상관 데이터를 포함하고, 각각의 채널은 매우 작은 대역폭에 상응한다. 이들 채널 각각의 풀-영상 내용을 전송하는 것은 매우 비효율적이다.

또다른 하나의 응용 프로그램에서, 다른 시간에 단일 소스에 의해 캡쳐된 데이터는 상당한 양의 상관 데이터를 가질 수 있고, 인터넷 상에서 정보를 전송하기 위해 특정 환경으로부터 영상 전화를 사용할 때와 같은 경우를 예로 들 수 있다. 가령, 사용자가 전날과 같은 장소에서 인터넷으로 영상 전화 메시지를 전송할 경우, 대부분의 주변 정보가 동일할 것이고, 전송의 어떤 일부만이 변화할 것이다. 가령 사용자의 표정을 예로 들 수 있다. 각각의 전송으로부터 상당한 양의 유사한 데이터로 인해, 각각의 메시지에 포함된 모든 정보를 암호화하고 전송하는 것은 비효율적이다.

이들 응용 프로그램 각각에서, 모든 캡쳐된 정보는 암호화될 필요가 없다. 왜냐하면, 각각의 소스에 의해 모이는 정보가 상대적으로 매우 유사하기 때문이다. 그러므로, 표준 압축 기술과 연계하여 이 용장 정보를 활용할 수 있는 시스템이 요구된다.

본 발명은 영상 압축 시스템에 관한 것이고, 특히 영상 데이터 압축을 위한 모션 추정법을 사용하는 시스템에 관한 것이다.

도 1은 단일 채널 영상 데이터의 프레임을 압축하는 방법을 나타내는 도면.

도 2는 도 1에서 암호화된 데이터를 전송하기 위한 순서를 도시하는 순서도.

도 3은 도 2에 도시되는 바와 같이 전송된 데이터를 해독하는 방법을 도시하는 순서도(i-프레임 해독 방법 포함).

도 4는 다채널 영상 데이터를 암호화, 전송, 해독, 그리고 디스플레이하는 본 발명의 시스템의 블록 도표.

도 5-10은 큰 모션 변화가 암호화되지 않은 경우에, 도 4에 도시되는 시스템으로 다채널 영상 데이터를 암호화하기 위한 방법의 단계를 도시하는 도면.

도 11은 도 5-10에 도시되는 바와 같이 암호화된 데이터를 전송하기 위해 본 발명에 따른 전송 순서를 나타내는 순서도.

도 12는 도 11에 도시되는 바와 같이 전송된 영상 데이터의 해독 방법을 도시하는 순서도로서, I 프레임이 암호화되고 전송될 때 해독 방법의 단계를 추가로 설명하는 순서도.

(도면 부호 설명)

70 ... 다채널 데이터 암호화 시스템

72 ... 다채널 또는 다중 소스

74 ... 인코더(송신기)

76, 77 ... 펌웨어

78 ... 표준 MPEG 호환 영상 압축 소프트웨어

80 ... 디코더(수신기)

82 ... 디스플레이 장치

본 발명은 영상의 다채널 데이터 압축에 대한 효율적인 방법을 제공한다. 본 발명은 각 채널의 프레임-간의 차이(채널-내 압축, intra-channel compression)와 분리 채널의 상응하는 프레임-간의 차이(채널-간 압축, inter-channel compression)만을 암호화함으로서 여러 영상 응용 프로그램에 존재하는 상당한 양의 용장 정보를 활용한다.

본 발명의 선호되는 실시예에 따라, 다수의 영상 채널을 압축하는 방법은 각 채널의 최초 프레임을 취하여, 이어지는 다수의 프레임을 예측하는 단계를 포함한다. 이때 예측 프레임 각각은 최초 프레임 중 하나와 상응한다. 그후, 이 방법은 각각의 최초 프레임과 그 상응하는 예측 프레임 사이의 차이를 연산하여, 그 차이를 정해진 한계값과 비교한다. 최초 프레임과 그 상응하는 예측 프레임 사이의 차가 한계값에 도달할 경우, 이 방법은 암호화된 영상 신호의 순서에서 각 채널의 다음 이어지는 프레임으로 I-프레임을 삽입한다.

발명의 추가적 태양에 따라, 각각의 채널에 대해, 각각의 최초 프레임과 각각의 상응하는 예측 프레임은 조사 블록(search block)으로 분할된다. 그후, 최초 프레임의 각각의 블록과 이에 상응하는 예측 프레임의 상응하는 블록간의 차이가 정해진다. 각 채널의 블록 차이가 누적되고, 누적된 블록 차이가 한계값과 비교된다. 누적된 블록 차이가 상기 한계값에 도달할 경우, 이 방법은 모든 채널에 대해, 또는 특정 채널에 대해서만, 다음 차후 프레임으로 I-프레임을 삽입한다.

발명의 또하나의 태양에 따라, 방법은 각 채널의 정해진 수의 연속 프레임을 포함하는 영상 프레임 그룹을 암호화하는 과정을 포함한다. 특히, 영상 프레임을 암호화하는 과정은 최초 기준 프레임을 가지는 기준 채널을 포함하여 각 채널의 최초 프레임을 취하고, 그리고 각 채널의 기준 예측 프레임을 포함하여 각 채널의 차후 프레임을 예측하는 단계로 이루어지며, 이때 각각의 예측 프레임은 최초 프레임의 각각과 상응한다. 그 다음에, 상기 방법은 최초 프레임 각각과 이에 상응하는 예측 프레임-간의 채널-내 차이를 각각의 채널에 대해 결정한다. 추가적으로, 상기방법은 최초 기준 프레임과 잔여 채널의 각각의 최초 프레임-간의 최초 채널-간 차이를 결정한다. 그후, 상기 방법은 기준 예측 프레임과 잔여 채널의 예측 프레임 각각 간의 예측된 채널-간 차이를 결정한다. 채널-내 차이, 최초 채널-내 차이, 또는 예측된 채널-간 차이가 상응하는 한계값을 넘을 경우, 상기 방법은 암호화 과정을 다시 시작하게 하도록 풀 영상 내용을 가지는 I-프레임을 암호화한다. 두 채널-간 차이 결정에 대해, 이 방법은 채널-간 차이를 나타내는 신호를 각각 생성한다.

발명의 또다른 태양에 따라, 압축 방법은 디코더에서 각 영상 채널의 프레임을 전송하고 재구축하는 단계를 포함한다. 먼저, 이 방법은 MPEG 프레임-내 압축해제(intra-frame decompression)와 같이 프레임 자체로부터의 정보를 통해 표준 압축해제 기술을 이용하여, 풀 영상 내용으로 암호화된 기준 채널의 최초 기준 프레임을 압축해제한다. 그후, 최초 프레임 각각은 최초 기준 프레임과, 최초 채널-간 차이 신호 중 상응하는 하나로부터 재구축된다. 그후, 기준 예측 프레임은 최초 기준 프레임과 채널-내 차이 신호 중 상응하는 하나로부터 재구축된다. 마지막으로, 재구축된 기준 예측 프레임과 예측 채널-간 차이 신호 중 상응하는 하나를 처리함으로서, 이 방법은 기준 예측 프레임을 제외한 예측 프레임 각각을 재구축한다. 이 해독 과정은 암호화된 프레임의 일련의 그룹 각각에 대해 반복되고, 이는 암호화 처리를 다시 시작하게 하는 한 개 이상의 I-프레임을 포함할 수 있다. 이와 같이, 디코더는 해독된 신호를 디스플레이 장치에 전송하여 적절한 순서로 디스플레이할 수 있다.

본 발명의 이들 특징, 장점, 목적 및, 다른 특징, 장점, 목적은 다음의 실시예, 청구범위, 첨부도면을 참고하여 당 분야의 통상의 지식을 가진 자에 의해 쉽게 이해될 것이다.

도 4에서, 본 발명에 따라 다채널 영상 데이터를 암호화하기 위한 시스템(70)이 도시된다. 시스템(70)은 여러 소스나 채널(72)로부터 영상 데이터 신호 S₁, S₂,...S_N을 수신하기 위한 다수의 입력을 가지는 인코더(74)를 포함한다. 인코더(74)는, 각각의 채널로부터 정해진 수의 프레임을 포함하는 그룹으로(선호됨), 채널(72)로부터 입력되는 영상 데이터 신호를 시스템 펌웨어(76)와 함께 처리한다. 펌웨어(76)는 (I-프레임이 삽입되어야할 시기를 결정하는 단계를 포함하는) 암호화 과정을 제어하는 인공지능(AI) 퍼지 로직 소프트웨어인 것이 선호된다. 인코더(74)는 MPEG 프레임-내 영상 데이터 압축과 같이 표준 영상 압축 기술에 따라 암호화된 영상 데이터의 특정 부분을 추가로 압축하기 위한 소프트웨어(78)를 또한 포함한다. 추가적 레벨의 데이터 압축은 영상 품질을 손상시키지 않으면서 가용한 대역폭을 효율적으로 활용할 수 있다.

일부 응용 프로그램에서, 각 채널로부터 영상 데이터의 일부를 암호화한 후에, 인코더(74)는 적절한 순서로 최종 신호를 수신기/디코더(80)로 전송한다. 상기 수신기/디코더(80)는 영상 화상 재생성을 위해 펌웨어(77)를 포함한다. 암호화되고전송된 신호를 바탕으로 각 채널(72)의 영상 화상을 재구축한 후, 디코더(80)는 해독된 신호를 디스플레이 장치(82)로 전송하여 사용자가 볼 수 있게 한다.

도 5-10에서, 모션 추정 기술을 이용한 새로운 다채널 영상 데이터 압축 방법이 도시된다. 도 5에서, 선호되는 실시예의 암호화 방법은 각 채널 C₁, ...,C_N의 최초 프레임 S₁, ..., S_N사이의 최초 채널-간 모션 차이 S₂₁, S₃₁, ...,S_N1을 결정하기 위한 제 1 단계 84를 포함한다. 특히, 소스 C₁(기준 소스)의 최초 프레임 S₁은 기준 프레임으로서, 다른 소스 C₂-C_N각각의 제 1 프레임 S₂-S_N과 최초 기준 프레임 S₁간의 차이가 연산된다. 가령, 소스 C₂의 최초 프레임 S₂와 최초 기준 프레임 S₁간의 차이가 연산되고, 그 차이는 S₂₁로 표시된다. 마찬가지로, 다른 소스로부터 N번째 소스까지 각각에 대해 차이가 계산되고, N번째 소스 C_N의 제 1 프레임 S_N과 기준 프레임 S₁의 차이는 S_N1으로 표시된다.

본 발명에 의해 고려되는 특정 응용 프로그램이 상대적으로 큰 크기의 용장을 가지는 영상 데이터 신호를 제공하는 여러 소스를 이용하기 때문에, 모든 채널의 제 1 프레임을 재구축하기 위해 디코더(80)(도 4)에 전송할 필요가 있는 정보는 기준 프레임 S₁의 풀 영상 내용과, 상기 프레임(S₁) 및 나머지 최초 프레임(S₂-S_N) 각각 사이의 차이뿐이다. 다시 말해서, 본 발명의 모션 추정법에서, 채널 사이의 용장은 고품질 영상 화상을 재생성하기 위해 암호화될 필요가 없다. 가령, 아래에상세히 기술되겠으나, 디코더(80)는 소스 C₂의 제 1 프레임 S₂를 얻기 위해 기준 프레임 S₁에 연산 차이 S₂₁을 추가함(기준 프레임 S₁과 연산 차이 S₂₁은 MPEG 프레임-내 압축과 같은 표준 압축 기술을 이용하여 추가로 압축되는 것이 선호됨)으로서 최초 화상들을 재구축할 수 있다.

도 6에서, 선호되는 실시예의 암호화 방법 중 제 2 단계 86은 각 채널 C₁-C_N의 최초 프레임 S₁-S_N과 이어지는 상응하는 프레임 P₁ ¹-P₁ ^N간의 채널-내 모션 차이(Δ₁ ¹,...,Δ₁ ^N)를 결정하는 단계를 포함한다. 이 프레임들은 시스템의 암호화 종료시의 실제 프레임으로서, "P" 프레임으로 불린다. 이 단계는 배경기술 단락에서 설명한 단일 채널 압축에 대한 연산과 유사하다. 즉, 기준 채널 C₁에 대해, 최초 기준 프레임 S₁과 기준 예측 프레임 P₁ ¹간의 차이를 결정함으로서 Δ₁ ¹이 연산된다. 각 소스의 최초 프레임과 그 관련 P 프레임-간의 모션 차이를 연산함으로서, 채널-내 차이만이 암호화될 것이다. 왜냐하면, P 프레임 재구축을 위해 최초 프레임이 기꺼이 추가될 수 있기 때문이다. 특히, 해독될 때, 차이 Δ₁ ¹-Δ₁ ^N이 각 소스의 상응하는 최초 프레임 S₁-S_N에 추가되어, 각각의 P 프레임의 전체 영상 내용을 암호화할 필요없이 P 프레임을 생성할 수 있다. 차이 신호 Δ₁ ¹-Δ₁ ^N은 MPEG 프레임-내 압축과 같은 표준 압축 기술을 이용하여 추가로 압축되는 것이 선호된다.

모션 추정을 이용한 표준 단일 채널 영상 압축과 마찬가지로, 선호되는 실시예의 방법은 각 채널의 정해진 수의 프레임(88)을 건너뛰어, 암호화될 데이터를 추가로 감소시킨다. 건너뛰는 프레임(88)의 수는 압축되는 영상 종류에 따라 좌우되어, 각 채널의 이어지는 프레임간의 차이가 상대적으로 큰, 모션 변화가 큰 영상의 경우, 영상 품질을 보증할 수 잇는 중요한 데이터가 손실될 수 있는 위험이 크기 때문에 건너뛸 프레임의 수가 적어진다. 도 6에 도시되는 바와 같이, 각 채널 S₁-S_N에서 두 프레임(88)을 건너뛰어, 최초 프레임 다음에 세 번째 차후의 프레임이 P 프레임이 된다(즉, 네 개의 프레임이 한 개의 그룹을 형성한다).

각 소스에 대한 최초 프레임과 관련 P 프레임 간의 각각의 채널-내 차이(Δ₁ ¹-Δ₁ ^N)를 연속적으로 결정한 후(단계 86), 시스템(70)의 인코더는 도 7에 도시되는 바와 같이 단계 90을 실행하여, 기준 채널 C₁의 기준 예측 프레임 P₁ ¹과, 다른 채널 C₂-C_N의 P 프레임 P₁ ²-P₁ ^N각각 간의 예측된 채널-간 모션 차이(δ¹ ₂₁,...δ¹ _N1)를 결정한다. 그 결과, 모션 추정법은 전체 프레임이 아니라 P 프레임들 사이의 차이 δ¹ ₂₁-δ¹ _N1만을 암호화함으로서 채널 사이에서 구현된다. 기준 예측 프레임 P₁ ¹(가장 먼저 재구축되어야할 프레임)과 함께 이들 예측된 채널-간 차이로부터, 프레임 P₁ ²-P₁ ^N이 재생성될 수 있다.

다음에, 도 8에서, 인코더는 뛰어넘은 프레임(88)의 수에 상응하는 각각의 채널 C₁-C_N에 대한 예측된 다수의 "B" 프레임을 연산함으로서 단계 92를 실행하고, "B" 프레임은 뛰어넘은 프레임(88)에 대한 "필터" 프레임으로 추정된다. 도 8에 점선으로 도시되는 이중 화살표에 의해 표시되는 바와 같이, 기준 프레임 S₁과 관련 P 프레임 P₁ ¹에 관한 영상 정보는 B 프레임, 즉 채널 C₁의 B₁ ¹과 B₂ ¹을 생성하기 위해 사용된다. 특히, 최초 기준 프레임 S₁, 관련 프레임 P₁ ¹, 그리고 두 프레임간의 차이 Δ₁ ¹의 영상 데이터 관계를 바탕으로, 기준 채널에 상응하는 B 프레임의 첫 번째 쌍이 연산될 수 있다.

이들이 전체적으로 예측될 수 있으나, B 프레임은 합리적인 정확성 수준으로 뛰어넘은 프레임(88)에 상관된다. B 프레임 암호화의 보다 세부적인 사항은 당 분야의 통상의 지식을 가진 자에 의해 공지된 바 있으며, 여기서 더 이상의 언급을 자제하기로 한다. 또한 앞서 언급한 바와 같이, 전송될 경우, 고도로 암호화된 B 프레임의 골격 형태만이 전송되고, 그래서 뛰어넘은 프레임(88)에 관한 중요한 데이터를 암호화할 필요를 제거한다. 단계 92에서, 인코더는 각각의 소스에 대해 이들 B 프레임 B₁ ¹B₂ ¹,...,B₁ ^NB₂ ^N을 연속적으로 연산하여, 프레임 제 1 그룹의 최초암호화를 완료한다.

암호화될 때, P 프레임은 최초 기준 프레임보다 10배 이상 압축되고, B 프레임은 최초 기준 프레임보다 20배 압축된다. 최초 프레임 S₁-S_N, 건너뛴 프레임, 그리고 각 채널의 P 프레임 P₁ ¹-P₁ ^N을 포함하는, 도 6-8에 도시되는 프레임 최초 그룹은 제 1 프레임 순서(그룹 I)를 형성한다.

그룹 I 프레임이 도 5-8에 도시되는 바와 같이 암호화된 후, 인코더(74)는 각 채널에 대한 제 1 그룹의 프레임 열 중 어느 것이 상당한 크기의 움직임을 보이는 지, 즉 채널 C₁-C_N에 대한 최초 프레임 S₁-S_N과 P 프레임 P₁ ¹-P₁ ^N간의 차이가 정해진 한계 E₀에 도달하거나 E₀를 넘는지를 결정하기 위해 펌웨어(76)(도 4)를 이용한다. 한계를 넘을 경우, 암호화될 I 프레임을 호출하고, 단계 84와 함께 암호화 과정을 다시 시작하게 한다. 다른 한편, 채널-내 차이가 E₀를 넘지 않을 경우, 그룹 II에 대한 채널-내 차이(Δ₂ ¹-Δ₂ ^N)가 암호화되고, 암호화 과정은 앞서 기술한 바와 같이 각각의 그룹에 대해 계속되어, 어떤 차후 채널-내 차이가 E₀를 넘을 때까지 진행된다.

한계값 E₀는 영상의 내용이나 종류에 따라 설정된다. 가령, 액션 영상의 차후 프레임의 상당한 차이로 인해, 한계값 E₀가 너무 높게 설정되고 그 결과 신호 순서에 새로운 I-프레임이 암호화되지 않을 경우, 예측된 프레임(P 또는 B)만을 암호화하여 상당한 데이터가 손실될 수 있다.

발명의 또다른 실시예에서, 프레임-내 차이 Δ_x ^x가 I 프레임의 암호화를 트리거링할 수 있을뿐 아니라, 최초 프레임-간 차이 S_xx나 예측된 프레임-간 차이 δ^x _xx도 I 프레임의 삽입을 트리거링할 수 있다. 최초 프레임-간 차이가 두 번째 정해진 한계 E₀'에 도달할 때, 또는 예측된 프레임-간 차이가 세 번째 정해진 한계 E₀"에 도달할 때, I-프레임이 순서로 암호화된다. 또한 앞서 언급한 바와 같이, 인코더(74)의 펌웨어(76)(도 4)는 I-프레임을 삽입하는 지능형 시스템을 제공하기 위해 인공지능(AI)/퍼지 로직 소프트웨어를 이용하여 구현되는 것이 선호된다.

S 및 P 프레임은 조사 블록으로 분절될 수 있으며, 채널-내 차이는 각 채널의 S 및 P 프레임의 상응하는 블록에 대해 연산될 수 있다. 특정 채널에 각각 상응하는 채널-내 블록 차이는 채널 각각에 대해, 또는 상기 채널에 대하여만 I-프레임을 암호화하는 지를 결정하기 위해 특정 채널에 대해 누적될 수 있고 E₀에 비교될 수 있다.

발명의 또다른 태양에 따라, 프레임의 블록 위치를 결정하기 위해 펌웨어(76)의 특별히 고안된 알고리즘으로 "오차의 공간적 분포" 방법이 구현될 수 있다. 프레임의 중요하지 않은 영역에 프레임이 위치할 경우, 특정 채널과 관련된 채널-내 차이가 I-프레임 삽입을 정당화함에도, 암호화 과정은 I-프레임을 삽입하지 않고 계속될 것이다. 한가지 방법을 이용하여, 조사 블록은 정해진 값으로 할당될 수 있고, 이 정해진 값은 관련 채널-내 차이가 상당한 지를 결정하기 위해 사용될 것이다. 그렇다면, 이 방법은 상당한 채널-내 블록 차이를 누적시켜서, 상기 채널에 대해 I-프레임이 삽입되어야 하는 지를 결정할 것이다. 차이의 공간 분포를 결정하는 방법은 AI나 퍼지 로직으로 구현되는 것이 선호되고, I-프레임 삽입의 정확한 조정을 가능하게 한다.

축적된 오차가 한계값 E₀를 넘지 않을 경우(즉, I-프레임이 암호화되지 않을 경우), 암호화 방법은 도 9에 도시되는 단계 94를 실행하여, 그룹 I의 예측 기준 프레임 P₁ ¹을 그룹 II의 최초 기준 프레임으로하여 그룹 II 프레임을 암호화하기 시작한다. 특히, 이 경우에 전체 새로운 I-프레임이 인코더(74)에 의해 전송될 필요가 없기 때문에, 각 채널 C₁-C_N에 대한 기존 P 프레임 신호 P₁ ¹-P₁ ^N이 유지되고, 암호화 과정에서 기존 P 프레임 신호 P₁ ¹-P₁ ^N이 그룹 I의 최초 프레임 S₁-S_N(도 5-8)의 자리를 차지한다. 또한, 실제로 7번째 프레임인 기준 채널 C₁의 세 번째 차후 프레임이 공지된 방법에 따라 예측되며, 그룹 II의 기준 예측 프레임 P₂ ¹이 된다.

그룹 II 프레임에 대한 암호화 과정과 그룹 I 프레임 암호화에 대해 앞서 기술한 바의 차이는 도 5에 도시되는 단계 84가 더 이상 실행되지 않는다는 것이다.왜냐하면, 그룹 II의 최초 프레임이 그룹 I의 P 프레임 P₁ ¹-P₁ ^N이기 때문이다(아래에 기술됨). 다시 말해서, 기준 채널 C₁의 P₁ ¹프레임과 잔여 채널의 각각의 P 프레임 간의 차이 δ¹ ₂₁-δ¹ _N1은 암호화되었을 것이고, 메모리에 저장(가령 디코더 메모리에)되었을 것이다. 그 결과, P₁ ¹-P₁ ^N은 그룹 II 프레임을 재구축할 때 접속가능할 것이다.

도 6(단계 86), 도 7(단계 90), 그리고 도 8(단계 92)에 도시되는 암호화 과정의 잔여 단계의 실행은 도 10에 단계 96으로 도시된다. 여기서, 채널 C₁으로부터의 새로운 최초 기준 프레임은 프레임 P₁ ¹이고, 새로운 P 프레임은 P₂ ¹,...P₂ ^N이며, 새로운 P 프레임은 각 채널 C₂,...C_N의 7번째 프레임이 선호된다. 이들 프레임으로부터, 새로운 채널-내 모션 차이 Δ₂ ¹,...,Δ₂ ^N과 새로운 채널-간 모션 차이 δ² ₂₁,...,δ² _N1이 결정되고 암호화될 수 있다. 추가적으로, 그룹 II와 연관된 B 프레임이 건너뛴 프레임(95)(도 9)에 대한 필터로 또한 생성된다(도 9와 10에서 점선 수평선과, 이 점선 수평선의 말미에서 상향 및 수직으로 뻗어가는 화살표는 이 선들로 둘러싸인 정보가 암호화도리 필요가 없다는 것을 의미한다. 왜냐하면, 이는 바로 앞의 선행 그룹에서 이미 암호화되었기 때문이다).

이 암호화 과정은 각각의 그룹에 대해 앞서 설명한 단계 84-86을 계속한다. 이 경우에 상기 그룹은 한 그룹에 네 개의 프레임을 갖는 N 개의 채널을 포함한다. 각각의 그룹에서, P 프레임과 P 프레임 사이의 차이는 그 차이가 설정 한계값 E₀를 넘지 않는 한 다음 그룹에 대한 최초 기준 프레임 역할을 한다. 화상 상관성이 한계값 E₀범위를 벗어난다고 인코더(74)의 시스템 펌웨어(76)가 결정할 때, 즉, 이어지는 프레임이 상당한 양의 움직임을 보인다고 펌웨어(76)가 결정할 때, I-프레임이 삽입된다. 화상 상관성이 한계값 E₀를 넘지 않을 경우, 소스 C₁-C_N의 현재 프레임 각각이 그대로 유지되고, 프레임의 암호화는 단계 84(도 5)에서 다시 시작된다.

도 11에서, 영상 데이터가 앞서 기술한 바와 같이 암호화될 경우, 암호화된 신호는 순서 100으로 디코더에 전송될 수 있다. 특히, 그룹 I은 최초에 기준 채널 데이터 신호를 포함하여 전송된다. 특히, 인코더는 최초 기준 프레임 S₁의 전체 영상 내용 신호를, S₁및 이에 관련된 P 프레임 P₁ ¹(도 6-8)과 예측되는 B 프레임 B₁ ¹과 B₂ ¹을 나타내는 고도로 암호화된 신호(골격형태)와 함께 전송한다. P₁ ¹이 S₁과 Δ₁ ¹으로부터 재생성될 수 있기 때문에, P₁ ¹은 전송될 필요가 없다. 그러나 차이 연산의 수를 감소시키기 위하여, P₁ ¹은 순서 신호 대역폭을 크게 증가시키지 않으면서그대로 전송될 수 있다. 그럼에도 불구하고 선호되는 실시예에서, P₁ ¹프레임은 완전한 형태로 전송되지는 않는다. 왜냐하면, 영상 품질을 손상하지 않으면서 어쨌든 전송되어야 하는 정보(S₁및 Δ₁ ¹)로부터 P₁ ¹프레임이 쉽게 재생성될 수 있기 때문이다.

그후, 그룹 I의 나머지 암호화 채널이 디코더로 전송된다. 가령, 채널 2에 대한 암호화 정보가 S₂₁Δ₁ ²δ¹ ₂₁B₂ ²를 포함하여 전송되고, 이는 최초 프레임 S₂와 프레임 B₁ ², B₂ ², 그리고 P₁ ²를 재생성하기 위해 사용될 것이다. 그룹 I 신호의 전송은 N 채널 각각에 대해 계속되고, 이에 의해 전송되는 최종 순서는 S_N1Δ₁ ^Nδ¹ _N1B₁ ^NB₂ ^N이다.

도 4의 인코더/송신기(74)는 병렬 처리를 이용하는 것을 선호한다. 그래서, 앞서 암호화된 데이터 채널이 전송될 때, 이어지는 영상 데이터 채널이 암호화될 수 있다. 또한, 이 방법이 응용 프로그램에 따라 한번에 한 개의 데이터 채널을 암호화하고 전송하는 것으로 기술되었으나, 채널(C₁-C_N)은 효율 증가를 위해 쌍으로 암호화되고 전송될 수 있다.

그후, 그룹 II와 III(각각 108, 110)이 그룹 I과 같은 방식으로 디코더로 전송된다. 물론, 전체 영상을 구성하는 영상 데이터 그룹은 수없이 많고, 그 각각의그룹은 필요시 I-프레임 삽입을 포함하여 앞서 기술한 바와 같이 암호화되고 전송된다.

도 12에서, 다채널 각각에 대해 영상을 재생성하기 위한 수신기/디코더(80)(도 4)에 의해 사용되는 방법(114)의 단계를 도시하는 순서도가 도시된다. 신호를 수신(단계 116)한 후, 방법(114)은 최초 기준 프레임인 최초 프레임 S₁을 먼저 압축해제하는 단계 118을 실행한다. B 프레임을 나타내는 신호를 제외하고, 인코더는 전송전에, MPEG 프레임-내 압축에 사용되는 표준 영상 압축 기술(도 4의 (78))로 신호를 압축하는 것이 일반적이다. 이 데이터 압축은 본 발명의 새로운 압축 방법외에 또하나의 기술이다. 따라서 단계 118에서, 방법(114)은 이에 상응하는 표준 압축해제 기술을 사용한다.

그 다음에, S₁과 P₁ ¹프레임 사이의 암호화된 채널-내 차이(즉, 신호 Δ₁ ¹)가 단계 120에서 표준 압축해제 기술에 따라 압축해제된다. 그후, 방법(114)은 단계 122에서, S₁및 Δ₁ ¹의 압축해제된 값을 이용함으로서, 보다 구체적으로는 Δ₁ ¹과 S₁을 더함으로서, 그룹 I의 제 1 채널과 연관된 P 프레임 P₁ ¹을 재생성한다. 그 대안으로, 앞서 언급한 바와 같이, 전체 P₁ ¹프레임이 기존 압축 방법을 이용하여 압축될 수 있고 암호화 형태로 전송될 수 있으며, 그리고 이에 따라 압축해제될 수 있다. 그럼에도 불구하고, P₁ ¹을 재구축하는 첫 번째 방법이 선호된다. 그후, 방법(114)은 S₁, Δ₁ ¹, 그리고 P₁ ¹사이의 관계를 이용하여 예측 프레임 B₁ ¹과 B₂ ¹을 단계 124에서 재생성한다. 단계 126에서, 방법(114)은 기준 프레임 S₁, 재생성 프레임 P₁ ¹, B₁ ¹, B₂ ¹을 디스플레이 장치(82)에 전송하여, S₁B₁ ¹B₂ ¹P₁ ¹의 순으로 프레임을 디스플레이하게 한다.

그룹 I 순서에 이어, 방법(114)은 표준 MPEG 압축해제 기술 등을 이용하여 단계 128에서 δ¹ ₂₁, Δ₁ ², 그리고 S₂₁신호를 포함한 채널 2에 대한 암호화 정보를 압축해제한다(δ, Δ, 그리고 S는 신호 집합이라고 명명될 수 있다). 그후 단계 130에서, 최초 기준 프레임 S₁과, S₁및 S₂사이의 최초 채널-간 차이 S₂₁이 제 2 채널의 최초 프레임 S₂를 재생성하기 위해 사용된다. 이 새로운 방식으로, 방법(114)은 S₂프레임의 전체 영상 내용을 전송할 필요없이 S₂를 재생성한다. 다시 말해서, 여러 채널의 상응하는 프레임의 데이터 사이에서 용장 정보가 다수 존재하기 때문에 이것이 가능하고 또한 바람직하다.

그후, 그룹 I에 대해 예측된 기준 프레임 P₁ ¹과, 채널 2(P₁ ²)에 대한 P 프레임과 상기 P₁ ¹간의 채널-간 차이 δ¹ ₂₁은 단계 132에서 채널 2에 대한 P 프레임(P₁ ²)를 재생성하기 위해 사용된다. 해독된 프레임 S₂와 P₁ ²에 연계하여, 압축해제된 Δ₁ ²를 이용함으로서, 방법(114)은 단계 134에서 예측된 프레임 B₁ ², B₂ ²를 재생성한다. S₂B₁ ²B₂ ²P₁ ²는 단계 136에서 디스플레이 장치로 전송된다.

이 과정은 각각의 채널에 대해 계속되어 N번째 채널까지 진행된다. 이에 의해 단계 137에서, 방법(114)은 표준 압축해제 기술을 이용하여 δ¹ _N1, S_N1, 그리고 Δ₁ ^N을 압축해제하고, 단계 138에서 S_N및 S₁사이의 암호화된 차이 S_N1과 S₁을 이용하여 S_N을 생성한다. 그후, N번째 채널의 P 프레임인 P₁ ^N은 예측된 채널-간 차이 δ¹ _N1을 P₁ ¹과 더함으로서 단계 140에서 생성된다. 그 다음에, 방법(114)은 방금 생성된 프레임 S_N과 P₁ ^N을 δ^N ₁₁과 조합하여 단계 142에서 B₁ ^N과 B₂ ^N을 생성한다. 그룹 I 신호의 해독을 종료하기 위해, 방법(114)은 단계 144에서 S_NB₁ ^NB₂ ^NP₁ ^N의 순으로 신호가 디스플레이될 수 있도록 상기 신호들을 디스플레이 장치로 전송한다. 결과적으로, 본 발명은 프레임의 전체 영상 내용을 암호화하거나 전송할 필요없이 기준 채널의 암호화 프레임과 관련 암호화 채널-간 차이 및 채널-내 차이로부터, 이어지는 채널의 상응하는 프레임을 재구축할 수 있게 한다.

그룹 I이 해독된 후, 방법(114)은 현재 프레임과 다음 예측 프레임 사이의 누적 오차가 설정 한계값 E₀를 넘는 지에 따라, 즉 I-프레임이 암호화되어 전송되었는 지(도 12B의 단계 146)에 따라, 특정 단계 순서를 실행한다. 도 12B에서, I 프레임이 암호화되지 않고 전송되지 않은 경우에, 제 1 그룹의 P 프레임 P₁ ¹은 채널 1에 대한 새로운 최초 기준 프레임이다. 그룹 I의 최초 기준 프레임(S₁)과 달리, 새로운 최초 기준인 P₁ ¹신호는 해독될 필요도 없고 디스플레이될 필요도 없다. 왜냐하면, 그룹 I 신호(예측된 기준 프레임 P₁ ¹을 포함하고 있음)가 해독되었을 때 P₁ ¹신호가 메모리에 저장되었기 때문이다. 그룹 II에서, P₁ ¹프레임은 상응하는 프레임들에 대한 기준 프레임으로만 사용된다. 즉, 다시 디스플레이되지는 않는다.

그 다음에, 방법(114)은 새로운 예측 프레임 P₂ ¹을 재구축한다. 두 프레임을 건너뛰었기 때문에, 새로운 P 프레임은 7번째 프레임이 된다. 방법(114)은 단계 148에서 Δ₂ ¹을 압축해제하고, 단계 150에서 새로운 최초 기준 프레임 P₁ ¹을 Δ₂ ¹신호와 조합함으로서 P₂ ¹을 생성한다. P₂ ¹은 단계 152에서 P₁ ¹및 Δ₂ ¹과 조합되어 새로운 예측 프레임 B₁ ¹'B₂ ¹'을 생성한다. 방법(114)은, 단계 154에서, 새로이 구축된 P프레임 P₂ ¹과 예측 프레임 B₁ ¹' 및 B₂ ¹'을 디스플레이 장치에 전송하여, B₁ ¹'B₂ ¹'P₂ ¹순으로 기준 채널의 프레임을 디스플레이한다. 이 프레임들은 채널 1 C₁의 다섯 번째, 여섯 번째, 그리고 일곱 번째 프레임이다.

단계 156에서, N번째 채널까지의 이어지는 채널의 프레임은 단계 128-144에서와 같이 해독된다. 마지막으로 단계 158에서, 방법(114)은 앞서 기술한 바와 같이 I 프레임이 상기 그룹에 대해 암호화되었는 지(단계 146)를 먼저 결정하는, 암호화 영상 데이터의 차후 그룹 해독을 계속한다.

다른 한편, I 프레임이 암호화되고 각각의 채널에 대해 전송되었을 경우, 방법(114)은 도 12C의 단계 160에서, 먼저 기준 채널 C₁의 I 프레임 I₁을 표준 압축해제 기술로 압축해제한다. 마찬가지로, 단계 162에서, 방법(114)은 새로이 예측된 기준 프레임 P_1(new) ¹과 새로운 최초 기준 프레임 I₁간의 차이 Δ_1(new) ¹을 압축해제한다. 그후, 방법(114)은 단계 164에서, I₁과 Δ_1(new) ¹을 조합함으로서 P_1(new) ¹을 생성한다. 그 다음에 단계 168에서, 방법은 예측된 프레임 B_1(new) ¹과 B_2(new) ¹을 재생성하기 위해 I₁, Δ_1(new) ¹, 그리고 P_1(new) ¹을 조합한다. 방법(114)은 단계 166에서, I₁B_1(new) ¹B_2(new) ¹P_1(new) ¹순으로 프레임을 디스플레이하기 위해 이 해독된 신호들을 디스플레이 장치로 전송한다.

방법(114)은 단계 128-144에서와 같이 N번째 채널까지 이어지는 채널의 해독을 계속한다. 그리고 단계 172에서 방법(114)은, I-프레임이 상기 그룹에 대해 해독되었는 지를 먼저 결정하고 또는 이전에 생성된 P 프레임이 각 채널에 대한 새로운 최초 프레임이어야 하는 지를 결정(단계 146)하는 유입 영상 데이터의 차후 그룹 해독을 계속한다.

본 발명의 방법이 영상 데이터 압축과 연계되어 기술되었으나, 여기서 설명된 기술이 다른 종류의 신호 압축에 사용될 수 있다. 가령, 다-언어 동영상은 여러 채널의 데이터를 포함할 수 있고, 그 각각은 영화의 다른 언어 판에 상응한다. 데이터를 저장 및 전송용으로 압축하기 위해 본 발명의 기술을 이용하여 이러한 각기 채널의 정보를 서로 상관시키는 것이 가능하다.

발명을 실행하는 여러 모드가 다음의 청구범위의 범위 내에서와 같이 고려될 것이고, 이 청구범위는 발명에 관한 주제를 지적하고 청구할 것이다.

Claims

다수의 영상 채널을 압축하는 방법으로서,

상기 방법은 각 채널마다 정해진 수의 일련의 프레임을 포함하는 영상 프레임 그룹을 암호화하는 단계로 이루어지고, 상기 암호화 단계는:

a) 기준 채널의 최초 기준 프레임을 포함하여 각 채널의 최초 프레임을 취하고,

b) 예측되는 기준 프레임을 포함하여 각 채널의 차후 프레임을 예측하며,

c) 상기 최초 프레임 각각과 상기 상응하는 예측 프레임간의 채널-내 차이를 결정하고,

d) 상기 최초 기준 프레임과 다른 채널의 상기 최초 프레임 각각 간의 최초 채널-간 차이를 결정하며, 그리고

e) 상기 기준 예측 프레임과 다른 채널의 상기 예측 프레임 각각 간의 예측되는 채널-간 차이를 결정하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 암호화 단계는:

f) 상기 채널-내 차이 각각을 설정 한계값과 비교하고, 그리고

g) 상기 채널-내 차이중 하나가 상기 설정 한계값에 도달할 경우, 채널-내 차이와 연관된 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 암호화 단계는:

f) 상기 채널-내 차이 각각을 설정 한계값과 비교하고, 그리고

g) 상기 채널-내 차이 중 하나가 상기 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 암호화 단계는:

h) 상기 최초 채널-간 차이 각각을 제 2 설정 한계값에 비교하고,

i) 상기 예정된 채널-간 차이 각각을 제 3 설정 한계값에 비교하며, 그리고

j) 상기 최초 채널-간 차이 중 하나가 상기 제 2 설정 한계값에 도달할 경우, 또는 상기 예측된 채널-간 차이가 상기 제 3 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 4 항에 있어서, 상기 방법은 상기 다수의 프레임 그룹을 암호화하기 위해 상기 암호화 단계 b)-j)를 반복하는 단계를 추가로 포함하고, 상기 그룹은 서로 이어지는 것을 특징으로 하는 방법.
제 5 항에 있어서, '정해진 수의 일련의 프레임'에서 정해진 수는 4이며, 네번째 프레임이 상기 예측되는 프레임인 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 방법은:

- 상기 최초 기준 프레임을 나타내는 신호와, 상기 기준 채널에 대한 상기 채널-내 차이를 나타내는 신호를 생성하고,

- 상기 기준 채널을 제외한 각 채널에 대해 신호 집합을 생성하며, 이때 이 신호 집합은 상응하는 최초 채널-간 차이를 나타내는 신호와, 상응하는 채널-내 차이를 나타내는 신호, 그리고 상응하는 예측 채널-간 차이를 나타내는 신호를 포함하고, 그리고

- 상기 최초 기준 프레임 신호, 상기 기준 채널-내 차이 신호, 그리고 상기 각각의 신호 집합을 디코더로 전송하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 6 항에 있어서, 상기 전송 단계 이전에 상기 최초 기준 프레임 신호, 상기 기준 채널-내 차이 신호, 그리고 상기 각각의 신호 집합을 표준 MPEG 압축 기술로 압축하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 8 항에 있어서, 상기 예측되는 프레임은 상기 최초 기준 프레임보다 10배 이상 압축되는 것을 특징으로 하는 방법.
제 7 항에 있어서, 상기 방법은:

1) 상기 최초 기준 프레임 신호로부터, 상기 최초 기준 프레임,

2) 상기 최초 기준 프레임 및 상응하는 하나의 상기 최초 채널-간 차이 신호로부터, 상기 최초 기준 프레임을 제외한 각각의 상기 최초 프레임,

3) 상기 최초 기준 프레임 및 상기 기준 채널-내 차이 신호로부터, 상기 기준 예측 프레임, 그리고

4) 상기 재구축 기준 예측 프레임 및 상응하는 하나의 상기 예측된 채널-간 차이 신호로부터, 상기 기준 예측 프레임을 제외한 각각의 상기 예측되는 프레임의 이상 1)-4)을 상기 디코더에 재구축하는 것을 특징으로 하는 방법.
제 10 항에 있어서, 상기 방법은:

- 상기 최초 기준 프레임 및 각각의 상기 재구축 프레임을 디스플레이 장치에 전송하고, 그리고

상기 최초 기준 프레임과 상기 재구축 프레임을 디스플레이하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
제 4 항에 있어서, 상기 암호화 단계 a)-j)는 인공 지능 또는 퍼지 로직 소프트웨어로 구현되는 것을 특징으로 하는 방법.
제 10 항에 있어서, 상기 재구축 단계는 인공 지능이나 퍼지 로직 소프트웨어로 구현되는 것을 특징으로 하는 방법.
기준 채널을 포함하는 다수의 영상 채널을 압축하는 방법으로서,

상기 방법은 영상 프레임 그룹을 암호화하는 단계를 포함하고, 상기 그룹은 각 채널마다 정해진 수의 프레임을 포함하며, 상기 암호화 단계는:

a) 각 채널의 최초 프레임을 취하고,

b) 각 채널의 차후 프레임을 예측하며, 이때 각각의 상기 예측되는 프레임은 한 개의 상기 최초 프레임에 상응하며,

c) 각각의 상기 최초 프레임과 상기 상응하는 예측 프레임 간의 채널-내 차이를 결정하고,

d) 각각의 상기 채널-내 차이를 설정 한계값과 비교하며, 그리고

e) 상기 채널-내 차이 중 하나가 상기 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
제 14 항에 있어서, 각각의 상기 최초 프레임과 각각의 상기 상응하는 예측 프레임을 조사 블록으로 분절하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 15 항에 있어서, 상기 최초 프레임의 각각의 블록과 상기 상응하는 예측프레임의 상응하는 블록간의 블록 차이를 결정하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 16 항에 있어서, 상기 방법은:

- 각 채널에 상응하는 각각의 상기 블록 차이를 각 채널에 대해 누적시키고,

- 각각의 상기 누적된 블록 차이를 설정 한계값과 비교하며, 그리고

- 상기 누적된 블록 차이 중 어느 하나가 상기 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 16 항에 있어서, 각각의 상기 블록 차이에 가중된 값(weighted value)을 할당하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 18 항에 있어서, 상기 방법은:

- 각각의 상기 블록 차이와 관련된 상기 가중된 값(weighted value)을 바탕으로, 각각의 상기 블록 차이가 상당한 지를 결정하고,

- 각 채널에 대해 각각의 상기 상당한 블록 차이를 누적시키며,

- 각각의 상기 누적된 블록 차이를 설정 한계값과 비교하고, 그리고

- 누적된 블록 차이 중 어느 하나가 상기 설정 한계값에 도달할 경우, 그 해당 채널에 대한 다음 차후 프레임으로 I 프레임을 삽입하는, 이상의 단계를 추가로포함하는 것을 특징으로 하는 방법.
제 18 항에 있어서, 상기 방법은:

- 각각의 상기 블록 차이와 관련된 상기 가중된 값(weighted value)을 바탕으로, 각각의 상기 블록 차이가 상당한 지를 결정하고,

- 각 채널에 대해 각각의 상기 상당한 블록 차이를 누적시키며,

- 각각의 상기 누적된 블록 차이를 설정 한계값과 비교하고, 그리고

- 누적된 블록 차이 중 어느 하나가 상기 설정 한계값에 도달할 경우, 각각의 채널에 대한 다음 차후 프레임으로 I 프레임을 삽입하는, 이상의 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제 14 항에 있어서, 상기 '정해진 수'란 4이고, 네 번째 프레임이 상기 예측 프레임임을 특징으로 하는 방법.
제 14 항에 있어서, 상기 방법은 다수의 상기 프레임 그룹을 암호화하기 위해 상기 암호화 단계의 b)-e)를 반복하는 단계를 추가로 포함하고, 상기 그룹은 서로 이어지는 것을 특징으로 하는 방법.
다수의 영상 채널을 암호화하는 방법으로서, 이때 각각의 채널은 다수의 일련의 프레임을 가지며, 상기 방법은:

- 기준 채널을 포함하여 각 채널의 최초 프레임을 취하고,

- 각 채널의 차후 프레임을 예측하며, 이때 각각의 상기 예측 프레임은 상기 최초 프레임 중 하나에 상응하고,

- 각각의 상기 최초 프레임과 상기 상응하는 예측 프레임 간의 채널-내 차이를 결정하며,

- 상기 최초 기준 프레임과 다른 최초 프레임 각각 간의 최초 채널-간 차이를 결정하고,

- 상기 기준 채널의 기준 예측 프레임과 다른 채널의 각각의 상기 예측 프레임 간의 예측 채널-간 차이를 결정하며, 그리고

- 각각의 상기 채널-내 차이 및 각각의 상기 최초 채널-간 차이, 각각의 상기 예측 채널-간 차이, 그리고 상기 최초 기준 프레임을 디코더에 전송하여 영상을 재구축하게 하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
다수의 영상 채널을 압축하는 방법으로서, 상기 방법은:

- 각 채널의 현재 프레임과 예측되는 프레임 간의 채널-내 차이를 결정하고, 그리고

- 상기 채널-내 차이 중 어느 하나가 설정 한계값에 도달할 경우 각 채널의 현재 프레임 다음에 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
다수의 영상 채널에 대한 압축 영상 전송 방법으로서, 상기 방법은:

- 각 채널의 최초 프레임을 취하고,

- 각각의 상기 최초 프레임을 블록으로 분절화하며,

- 각각의 상기 최초 프레임에 이어지는 상응하는 프레임 P를 예측하고,

- 각각의 상기 상응하는 프레임 P를 블록으로 분절화하며,

- 각각의 상기 최초 프레임의 각각의 블록과, 각각의 상기 상응하는 예측 프레임 P의 각각의 블록간 채널-내 차이를 결정하고,

- 각 블록의 상기 채널-내 차이를 각 채널에 대해 누적시키며,

- 각각의 상기 누적된 채널-내 차이를 설정 한계값과 비교하고, 그리고

- 상기 누적된 채널-내 차이 중 어느 하나가 상기 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
모션 추정을 이용하여 다수의 영상 채널을 영상 압축하는 방법으로서, 상기 방법은:

a) 암호화될 현재 프레임의 세그먼트를 이전 프레임의 상응하는 세그먼트와 각 채널에 대해 비교하여 채널-내 차이를 얻고,

b) 상기 채널-내 차이가 각 채널의 상기 현재 프레임의 모든 세그먼트에 대해 결정될 때까지 상기 비교 단계 a)를 반복하며,

c) 상기 채널-내 차이를 각 채널에 대해 합산하여, 각 채널에 대해 누적식채널-내 차이를 얻고, 그리고

d) 암호화될 다음 차후 프레임으로 새로운 I-프레임이 삽입되어야하는 지를 결정하기 위해 각 채널의 상기 누적식 채널-내 차이를 설정 한계값과 비교하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.
기준 채널을 포함하여 다수의 영상 채널을 압축하는 방법으로서,

상기 방법은 프레임 그룹을 암호화하는 단계로 이루어지고, 이때 상기 그룹은 각 채널마다 정해진 수의 프레임을 포함하며, 상기 암호화 단계는:

a) 한쌍의 채널의 한쌍의 최초 프레임을 취하고,

b) 각각의 상기 채널 쌍의 이어지는 프레임 쌍을 예측하며, 이때 각각의 상기 예측 프레임 쌍은 한 개의 상기 최초 프레임 쌍에 상응하고,

c) 각각의 상기 최초 프레임과 상기 상응하는 예측 프레임 간의 채널-내 차이를 결정하며,

d) 각각의 상기 채널-내 차이를 설정 한계값과 비교하고, 그리고

e) 상기 채널-내 차이 중 어느 하나가 상기 설정 한계값에 도달할 경우, 각 채널의 다음 차후 프레임으로 I-프레임을 삽입하는, 이상의 단계를 포함하는 것을 특징으로 하는 방법.