KR100872732B1 - 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템 - Google Patents

모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템 Download PDF

Info

Publication number
KR100872732B1
KR100872732B1 KR1020037002035A KR20037002035A KR100872732B1 KR 100872732 B1 KR100872732 B1 KR 100872732B1 KR 1020037002035 A KR1020037002035 A KR 1020037002035A KR 20037002035 A KR20037002035 A KR 20037002035A KR 100872732 B1 KR100872732 B1 KR 100872732B1
Authority
KR
South Korea
Prior art keywords
objects
communication channel
video
model
image
Prior art date
Application number
KR1020037002035A
Other languages
English (en)
Other versions
KR20030027023A (ko
Inventor
피오트로우스키토니이.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030027023A publication Critical patent/KR20030027023A/ko
Application granted granted Critical
Publication of KR100872732B1 publication Critical patent/KR100872732B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

이미지/비디오 전송에서 계층화된 이미지 코딩 및 오브젝트 우선 순위화를 사용하는 방법 및 통신 시스템이 개시되어 있다. 이미지/비디오 내의 오브젝트들이 식별되고, 모델들이 오브젝트들을 나타내도록 할당된다. 우선 순위들이 미리 결정된 우선 순위 규칙들에 따라 오브젝트들에 대해 할당되어, 보다 더 높은 우선 순위 오브젝트가 보다 더 낮은 우선 순위 오브젝트보다 더 높은 신뢰도 인자를 갖는 통신 채널에 할당되도록 모델들에 관련된 데이터를 통신하도록 통신 채널들이 할당된다.
Figure R1020037002035
신뢰도 인자, 오브젝트 취득 유닛, 특징 추출 결정기, 특징 대응 매칭 유닛

Description

모델에 기초한 코딩 및 우선 순위화 기술들을 사용한 비디오 통신 시스템{Video communication system using model-based coding and prioritization techniques}
본 발명은 일반적으로, 비디오 통신 분야, 특히 이미지/비디오 전송에서 계층화된 이미지 코딩 및 오브젝트 우선 순위화를 사용하는 방법 및 시스템에 관한 것이다.
인터넷 또는 공중 전화 교환 네트워크(PSTN: Public Switch Telephone Network)와 같은 매우 낮은 비트레이트 채널들을 통한 비디오/이미지 통신 애플리케이션들이 대중성 및 사용도에 있어서 증가하고 있다. 예를 들어, JPEG 또는 GIF 포맷과 같은 종래의 이미지 통신 기술은 픽쳐의 크기(즉, 데이터의 양)때문에 큰 대역폭을 요구한다. 따라서, 낮은 비트레이트 채널의 경우에 있어서, 수신된 결과적 이미지 품질은 일반적으로 수용 가능하지 않다.
낮은 비트레이트 채널들에 대해 전송되도록 요구되는 정보의 양을 감소시키고/시키거나 비디오/이미지 통신을 향상시키기 위해 여러 방법들이 사용되어 왔다. 그러한 한가지 방법은 비디오폰 애플리케이션들에 사용되어 왔다. 이미지는 자신의 움직임, 모양, 및 표면 컬러를 규정하는 3가지 세트들의 파라미터들에 의해 인코딩된다. 시각적 통신의 오브젝트가 일반적으로 사람이기 때문에, 주요 초점은 대상의 머리 또는 얼굴에 관련될 수 있다.
오브젝트 (얼굴) 분할(segmentation)에 대한 한가지 공지된 방법은 파라미터화된 얼굴을 기술하는 데이터세트를 생성하는 것이다. 이 데이터세트는 얼굴 오브젝트의 3차원 기술을 규정한다. 파라미터화된 얼굴은 근육과 피부 액츄에이터들(muscle and skin actuator), 및 완력에 따른 변형들을 모델링함으로써 해부학에 기초한 구조로 제시된다. 그러한 파라미터화된 얼굴 모델들에서, 폴리곤들의 세트는 사람의 얼굴을 규정하기 위해 사용될 수 있다. 각각의 폴리곤들의 꼭지점들은 X, Y, 및 Z 좌표들로 규정된다. 각각의 꼭지점은 인덱스 숫자에 의해 식별된다. 특정 폴리곤은 폴리곤을 둘러싸는 인덱스들의 세트에 의해 규정된다. 코드는 또한, 특정 폴리곤에 대한 컬러를 규정하기 위한 인덱스들의 세트에 추가될 수 있다.
디지털 이미지들을 분석하고, 사람의 얼굴을 인식하고, 얼굴의 특징들을 추출하는 시스템들 및 방법들 또한 공지되어 있다. 종래의 얼굴 특징 검출 시스템들은 얼굴 컬러 톤 검출, 템플릿 매칭(template matching), 에지 검출 방법들(edge detection approaches), 또는 디스패리티 맵 방법들(disparity map method)과 같은 방법들을 사용한다.
종래의 얼굴 모델에 기초한 비디오 통신들에서, 일반적 얼굴 모델은 일반적으로, 통신 시퀀스의 시작에서 송신기로부터 수신기까지 전송되거나 수신기 측에 사전에 저장된다. 통신 동안, 일반적 모델은 특정 화자의 얼굴에 적응된다. 송신기 측으로부터 전체 이미지들을 보내는 대신에, 일반적 얼굴 모델을 수정하는 파라미터들만이 압축 요구들을 달성하도록 보내질 필요가 있다.
이미지 전송에서 사용되는 다른 코딩 방식은 계층화된 소스 코딩이다. 이 코딩 방식에서, 비디오 데이터 정보는 다수의 계층들로 분석되고, 각각은 비디오 소스의 서로 다른 지각력 있는 적절한 구성 요소들을 표현한다. 기초 계층은 소스의 실질적 정보를 포함하고, 수용 가능한 품질을 갖는 출력 비디오 신호를 생성하도록 사용될 수 있다. 향상 계층(enhancement layer)들을 통해, 보다 더 높은 품질의 비디오 신호가 획득될 수 있다.
도 2는 계층화된 코딩 및 전송 우선 순위를 갖는 일반적인 비디오 시스템(10)을 예시하는 도면이다. 계층화된 소스 인코더(11)는 입력 비디오 데이터를 인코딩한다. 복수의 채널들(12)은 인코딩된 데이터를 전달한다. 계층화된 소스 디코더(13)는 인코딩된 데이터를 디코딩한다.
계층화된 코딩을 구현하는 서로 다른 방식들이 존재한다. 예를 들어, 시간 도메인 계층화된 코딩에서, 기초 계층은 보다 더 낮은 프레임 레이트를 갖는 비트 스트림을 포함하고, 향상 계층들은 보다 더 높은 프레임 레이트들을 갖는 출력을 획득하기 위한 증분 정보를 포함한다. 공간 도메인 계층화된 코딩에서, 기초 계층은 원래의 비디오 시퀀스의 서브-샘플링된 버전을 코딩하고, 향상 계층들은 디코더에서 보다 더 높은 공간 해상도를 획득하기 위한 추가적인 정보를 포함한다.
일반적으로, 서로 다른 계층은 서로 다른 데이터 스트림을 사용하고, 채널 에러들에 대해 명확하게 서로 다른 허용 오차들을 갖는다. 채널 에러들을 제거하기 위해서, 계층화된 코딩은 일반적으로, 기초 계층이 보다 더 높은 정도의 에러 방지로 전송되도록, 전송 우선 순위와 결합된다. 기초 계층이 분실될 경우, 향상 계층들에 포함된 데이터는 쓸모없을 것이다.
본 발명자는 성능을 향상시키기 위한 모델에 기초한 코딩 및 계층화된 소스 코딩 기술들의 양태들을 사용하는데 특히 이미지/비디오 전송을 위해 오브젝트 코딩에서 우선 순위를 사용하는데 여러 이점들이 존재한다는 것을 발견하였다.
본 발명의 목적은 상술된 모델에 기초한 코딩 및 종래의 비디오/이미지 통신 시스템들의 제한들을 다루는 것이다.
본 발명의 일 양태는 이미지에서 식별된 오브젝트에 우선 순위를 부여하는 것에 관한 것이다.
본 발명의 다른 측면은 할당된 우선 순위에 기초하여 어떤 오브젝트들을 마스킹하고, 마스킹된 오브젝트들와 별도로 마스킹되지 않은 오브젝트들을 인코딩하는 것에 관한 것이다.
본 발명의 일 실시예는 이미지에서의 적어도 2개의 오브젝트들을 식별하는 단계, 상기 오브젝트들을 나타내는 모델들을 할당하는 단계, 및 미리 결정된 우선 순위화 규칙들에 따라 상기 오브젝트들에 우선 순위를 부여하는 단계를 포함하는 이미지/비디오 통신 시스템에서 데이터를 코딩하는 방법에 대한 방법에 관한 것이다. 통신 채널들은 보다 더 높은 우선 순위 오브젝트가 보다 더 낮은 우선 순위 오브젝트보다 더 높은 신뢰도 인자를 갖는 통신 채널에 할당되도록 두 개의 오브젝트들에 대한 모델들에 관련된 데이터를 통신하기 위해 할당된다.
이들 및 다른 실시예들 및 본 발명의 양태들은 다음의 상세한 설명들에 예시되어 있다.
본 발명의 특징들 및 장점들은 도면들을 참조로 설명된 양호한 실시예들의 상세한 기술을 참조하여 이해될 수 있다.
도 1은 본 발명의 양호한 실시예에 따른 비디오 통신 시스템을 도시하는 도면.
도 2는 계층화된 코딩을 사용한 종래의 비디오 전송 시스템을 도시하는 도면.
도 3은 본 발명의 일 양태에 따른 오브젝트 취득 및 데이터베이스 시스템의 블록도.
도 4는 오브젝트 코더/디코더의 블록도.
도 5는 본 발명의 일 양태에 따른 일반적인 뷰 및 오브젝트 식별을 예시하는 도면.
도 6은 본 발명의 일 양태에 따른 마스킹의 실시예를 예시하는 도면.
도 7은 도 1의 시스템을 지원할 수 있는 예시적인 컴퓨터 시스템의 블록도.
도 8은 도 7의 컴퓨터 시스템의 구조를 도시하는 블록도.
도 1을 참조하면, 예를 들어, 비디오 원격 회의 시스템과 같은 예시적인 비디오 통신 시스템(1)이 도시된다. 시스템(1)은 비디오 장치, 예를 들어, 비디오 회의 장치(2)(송신자 및 수신자 측들) 및 통신 매체(3)를 포함한다. 시스템(1)은 또한, 오브젝트 취득 유닛(10) 및 모델 데이터베이스(20)를 포함한다. 오브젝트 취득 유닛(10) 및 모델 데이터베이스(20)가 별개의 요소들로 도시되는 반면, 이러한 요소들이 비디오 회의 장치(2)와 집적될 수 있다는 것이 이해될 것이다.
오브젝트 취득 유닛(10)은 모델링될 수 있는 비디오 회의 장치(2)의 뷰에서 여러 일반적 오브젝트들을 식별한다. 이어서, 오브젝트 취득 유닛(10)은 모델 데이터베이스(20)로부터 각각의 오브젝트를 위한 일반적 모델을 할당한다. 예를 들어, 개인들의 얼굴(4 또는 5)은 상술된 바와 같이, 일반적 얼굴 모델을 사용하여 표현될 수 있다. 뷰를 통해 모델링될 수 있는 복수의 그러한 오브젝트들이 존재할 수 있다.
도 3은 오브젝트 취득 유닛(10)을 도시하는 블록도이다. 오브젝트 취득 유닛(10)은 하나 또는 그 이상의 특징 추출 결정기들(11, 12), 및 특징 대응 매칭 유닛(13)을 포함한다. 이러한 장치에서, 왼쪽 프레임(14) 및 오른쪽 프레임(15)은 취득 유닛(10)으로 입력된다. 왼쪽 및 오른쪽 프레임들은 디지털 또는 아날로그일 수 있는 이미지 데이터로 구성된다. 이미지 데이터가 아날로그로부터 변환된 디지털이 아닌 아날로그인 경우, 회로는 데이터를 디지털 포맷으로 변환하도록 사용될 수 있다
특징 추출 결정기(11)는 디지털 이미지에서 각각의 식별된 오브젝트를 위한 여러 독특한 특징들의 위치/장소를 결정한다. 예를 들어, 얼굴들(4, 5)에 대한 코, 눈들, 입, 머리카락, 및 다른 상세한 것들과 같은 얼굴 특징들의 위치들이 결정된다. 2개의 특징 추출 결정기들(11, 12)이 도 3에 도시되고, 하나의 결정기가 왼쪽 및 오른쪽 프레임들(14, 15) 모두로부터 위치 정보를 추출하기 위해 사용될 수 있다. 이 업데이트된 모델 정보는 또한, 장래의 사용을 위해 모델 데이터베이스(20)에 제공될 수 있다. 양호한 것으로, 특징 추출 결정기(11)를 포함하는, 본 명세서에 참조로 포함된, 1999년 8월 30일 출원된, 미국 특허 출원 제 08/385,280 호에 시스템들 및 방법들이 개시되어 있다.
복수의 일반적 모델들(21) 및 업데이트된 모델들(22)은 모델 데이터베이스(20)에 저장될 수 있다. 일반적 모델들(21)은 자동차들 및 회의실들의 3D 모델들과 같은 어떤 물리적 오브젝트들 및 장면들을 나타낼 수 있다. 일반적 모델들은 업데이트된 모델들을 생성하기 위해 특징 추출 결정기(11)로부터의 정보를 사용하여 업데이트된다. 업데이트된 모델들(22)은 개인들의 얼굴과 같은 특정 오브젝트를 보다 정확히 표현하기 위해 커스터마이징되거나 조정된다(customized or tailored). 일반적 모델 적응의 추가적인 세부 사항들은 본 명세서에 참조 문헌으로서 포함된, 1999년 10월 21일자로 출원된, 미국 특허 출원 제 09/422,735 호에 개시되어 있다
도 4는 본 발명의 실시예에 따른 코더/디코더를 도시하는 블록도이다. 네트워크(201)(또는 저장 장치)로부터 오는 오브젝트 데이터 스트림들(200)은 디멀티플렉서(202)에 의해 수신되고 기본적인 스트림들(ES)로 디멀티플렉스된다. ES들은 파싱되어(parsed) 적합한 디코더들(203)로 건네진다. 디코딩 단계(203)는 데이터를 자신의 인코딩된 형태로부터 AV(Audio-Visual) 오브젝트에서 복구하고, 적합한 장치상에 렌더링을 준비하는 원래의 AV 오브젝트를 재구성하기 위해 필요한 동작들을 수행한다. 재구성된 AV 오브젝트는 장면 렌더링 동안 잠재적 사용을 위해 합성 계층(204)에서 사용가능하게 된다. 장면 기술 정보(205)와 함께, 디코딩된 AV 오브젝트들은 장면(206)을 구성하도록 사용된다. 전송(인코딩 단계)에 대해, 역동작이 수행된다.
본 발명에 있어서, AV 오브젝트들은 계층화된 코딩 타입 방법을 사용하여 우선 순위 부여되어 전송된다. 예시적으로, 일 실시예에서, 다음의 단계들은 도 5와 관련하여 기술된 바와 같이 수행된다.
비디오 회의 장치(2)의 뷰(100)(송신자 및 수신자 측들)가 결정된다. 도 5의 실시예에 도시된 바와 같이, 비디오 원격 회의는 뷰(100)내에서 한 사람에 의해 제시되는 프리젠테이션과 관련하여 행해지고 있다. 프리젠터 뿐만 아니라, 뷰는 칠판, 청중들, 및 보통의 회의실 배경을 포함한다.
뷰(100)내의 특정 오브젝트들은 예를 들어, 얼굴들(101 내지 105), 프리젠테이션 보드(106), 및 회의실(107)로 식별된다. 식별은 종래의 이미지 인식 기술들을 사용하여 수행된다. 일반적 모델들은 이어서, 각각의 오브젝트에 할당된다. 그 결과, 일반적 모델들은 상술된 바와 같이 업데이트된다.
특정 오브젝트들은 전송을 위해 우선 순위가 부여된다. 우선 순위들은 미리 결정된 규칙들에 따라 결정될 수 있다. 정확한 규칙들은 예를 들어, 프리젠테이션, 일반적 미팅, 제품 설명과 같은 특정 애플리케이션에 적합하도록 선택될 수 있다. 우선 순위 레벨들의 세팅 단계는 비디오 회의 이전에 수동으로 이루어 지거나, 우선적으로 모든 얼굴들, 다음으로 프리젠테이션 자료들, 다음으로 청중들 등과 같은 미리 결정된 기준들에 기초하여 이루어진다. 우선 순위 레벨들은 또한, 예를 들어 프리젠터가 어떤 포인트를 변경할 수 있는 비디오 통신 세션 동안, 동적으로 변경될 수 있다. 최상위 우선 순위는 일반적으로 애플리케이션의 목적들에 부합하여 할당될 것이다. 이러한 예에 있어서, 다음의 우선 순위들은 각각의 오브젝트에 할당된다:
오브젝트 우선 순위
프리젠터 얼굴(101) 1(최상위)
얼굴들(102-105) 3
프리젠테이션 보드(106) 2
회의실(107) 4(최하위)
이어서, 특정 오브젝트들은 서로 다른 채널들에 그 채널 내의 대역폭 유용성 및 우선 순위의 순서에 따라 할당된다. 예를 들어, 1 및 2의 우선 순위를 갖는 오브젝트들은 기초 계층과 같은 채널 내에 보내질 수도 있고, 다른 보다 더 낮은 우선 순위 오브젝트들은 여러 향상 계층과 같은 계층들일 수 있다.
그 다음으로, 각각의 오브젝트에 관련된 데이터 및 파라미터들은 비디오 통신 세션 동안 할당된 채널들 상에 보내진다. 각각의 오브젝트에 관련된 데이터 및 파라미터들은 또한, 일반적 모델들(21)을 업데이트/커스터마이징하기 위해 비디오 통신 세션이 실제로 시작하기 전에(즉, 셋업 기간 동안) 보내질 수 있다.
이것은 가장 중요한 정보가 항상, 가능한 전송 에러들을 고려하여 우선으로 전송된다는 것을 보증한다. 예를 들어, 향상 계층 채널들 중 하나가 실패할 경우, 그 채널상에 전달된 오브젝트를 위한 일반적/업데이트된 모델이 이전 보내진 데이터에 기초하여 유지될 것이다. 또한, 본 발명은 모델에 기초한 코딩을 사용하여 감소될 전송을 위해 전체적인 대역폭을 허용한다.
다른 실시예에서, 뷰의 마스킹 기술이 사용될 수 있다. 도 6에 도시된 바와 같이, 높은 우선 순위를 갖는 오브젝트들을 제외한 모든 오브젝트가 우선적으로 마스크된다. 종래의 계층화된 소스 인코딩 단계는 결과적인 이미지를 위해 사용될 수 있다. 잔여 부분(즉, 마스크된 부분)은 이어서, 코딩되어 향상 계층들 중 하나를 통해 보내질 수 있다. 마스킹의 다중 계층들이 또한, 상기 실시예에서 사용될 수 있다.
양호한 실시예에서, 시스템(1)의 코딩 함수들은 데이터 처리 장치에 의해 실행되는 컴퓨터 판독가능 코드에 의해 구현된다. 코드는 데이터 처리 장치 내의 메모리에 저장되거나 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로드될 수 있다. 다른 실시예들에서, 하드웨어 회로는 본 발명을 구현하기 위한 소프트웨어 명령어들을 대신하여 또는 조합하여 사용될 수 있다. 이러한 함수들/소프트웨어/하드웨어는 비디오 회의 장치(2)의 일부로 또는 부가적 유닛으로 형성될 수 있다. 예를 들어, 본 발명은 또한, 도 7에 도시된 컴퓨터(30)상에서 구현될 수 있다.
컴퓨터(30)는 가변 대역폭 네트워크 또는 인터넷과 같은 데이터 네트워크에 인터페이싱하기 위한 네트워크 접속, 및 비디오 또는 디지털 카메라(도시되지 않음)와 같은 다른 원격 소스들과 인터페이싱하기 위한 팩스/모뎀 접속(32)을 포함할 수 있다. 컴퓨터(30)는 또한, 사용자에게 정보(비디오 데이터 포함)를 디스플레이하는 디스플레이, 텍스트 및 사용자 명령들을 입력하는 키보드, 디스플레이 상에 커서를 위치시키고 사용자 명령들을 입력하는 마우스, 디스크 드라이브에 설치된 플로피 디스크들에 쓰고 그로부터 읽는 디스크 드라이브, 및 CD-ROM상에 저장된 정보에 액세스하는 CD-ROM 드라이브를 포함한다. 컴퓨터(30)는 또한, 이미지들 또는 그와 유사한 것을 입력하는 한 쌍의 비디오 회의 카메라들, 및 이미지들, 텍스트, 또는 그와 유사한 것을 출력하는 프린터와 같은, 컴퓨터(30)에 장착된 하나 또는 그 이상의 병렬 장치들을 가질 수 있다.
도 8은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및 하드 디스크와 같은 컴퓨터 판독 매체를 포함할 수 있는 메모리(40)를 포함하는 컴퓨터(30)의 내부 구조를 도시하는 도면이다. 메모리(40)에 저장된 아이템들은 운영 체제(41), 데이터(42), 및 애플리케이션들(43)을 포함한다. 본 발명의 양호한 실시예들에서, 본 발명이 마이크로 소프트 윈도우 95 뿐만 아니라 다른 운영 체제들과 사용될 수 있지만, 운영 체제(41)는 UNIX와 같은 윈도우 운영 체제이다. 메모리(40)에 저장된 애플리케이션들 중에는 비디오 코더(44), 비디오 디코더(45), 및 프레임 그래버(frame grabber)(46)가 있다. 비디오 코더(44)는 종래의 방식으로 비디오 데이터를 인코딩하고, 비디오 디코더(45)는 종래의 방식으로 코딩된 비디오 데이터를 디코딩한다. 프레임 그래버(46)는 캡처되어 처리될 비디오 신호 스트림으로부터 단일 프레임들을 허용한다.
또한, 컴퓨터(30)에는 중앙 처리 장치(CPU)(50), 통신 인터페이스(51), 메모리 인터페이스(52), CD-ROM 드라이브 인터페이스(53), 비디오 인터페이스(54), 및 버스(55)가 포함된다. CPU(50)는 컴퓨터 판독용 코드, 즉 메모리(50) 외의 상술된 것들과 같은 애플리케이션들을 실행하는 마이크로프로세서 또는 그와 유사한 것을 포함한다. 그러한 애플리케이션들은 메모리(40)(상술된 바와 같음), 또는 대안적으 로 디스크 드라이브(36)에서의 플로피 디스크 또는 CD-ROM 드라이브(37)에서의 CD-ROM에 저장될 수 있다. CPU(50)는 메모리 인터페이스(52)를 통해 플로피 디스크상에 저장된 애플리케이션들(또는 다른 데이터)을 액세스하고, CD-ROM 드라이브 인터페이스(53)를 통해 CD-ROM 상에 저장된 애플리케이션들(또는 다른 데이터)을 액세스한다.
입력 비디오 데이터는 비디오 인터페이스(54) 또는 통신 인터페이스(51)를 통해 수신될 수 있다. 입력 비디오 데이터는 비디오 디코더(45)에 의해 디코딩될 수 있다. 출력 비디오 데이터는 비디오 인터페이스(54) 또는 통신 인터페이스(51)를 통해 전송을 위해 비디오 코더(44)에 의해 코딩될 수 있다.
비디오 통신 세션 동안, 업데이트된 모델(22)은 초기에 생성되면, 특징 대응 매칭 유닛(13) 및 특징 추출 결정기(11)에 의해 수행된 처리 및 정보는 움직임, 표현들, 및 동기 오디오(즉, 스피치)를 인에이블하기 위해 조정된 모델을 적응시키도록 사용된다. 실제로, 업데이트된 모델(22)은 비디오 통신 세션 동안 요구된 바와 같은 오브젝트를 표현하기 위해 동적으로 변환된다. 모델 파라미터들/데이터의 실시간 또는 비실시간 전송은 합성 모델의 낮은 비트레이트 애니매이션에 대비한다. 양호하게는, 데이터 레이트가 64 Kbit/sec 또는 그 이하이지만, 움직이는 이미지에 대해서 64 Kbit/sec 에서 4 Mbit/sec 사이의 데이터 레이트가 또한 수용 가능하다.
본 발명은 실제 오브젝트들의 애니매이션/시뮬레이션 및 비디오 회의와 같은 분야에서, 또는 오브젝트 모델링이 요구되는 어떤 애플리케이션에서 많은 애플리케이션들을 갖는다. 예를 들어, 일반적인 애플리케이션은 인터넷을 통한 향상된 네비케이션, 멀티미디어 생성, 및 비디오 게임들을 포함한다.
본 발명이 특정 실시예들과 관련하여 상술되는 동안, 본 명세서에 개시된 실시예들에 본 발명이 국한되거나 제한되지 않는다는 것을 이해해야 한다. 예를 들어, 본 발명은 필터링 또는 수학적 변환의 어떤 특정 타입, 또는 어떤 특정 입력 이미지 스케일 또는 오리엔테이션에 제한되지 않는다. 반대로, 본 발명은 첨부된 특허 청구 범위의 정신 및 범위내에 포함된 본 발명의 여러 구조들 및 수정들을 커버하도록 의도된다.

Claims (9)

  1. 이미지/비디오 통신 시스템에서 데이터를 코딩하는 방법에 있어서,
    이미지 내의 적어도 2개의 오브젝트들을 식별하는 단계;
    상기 적어도 2개의 오브젝트들을 나타내는 모델들을 할당하는 단계;
    미리 결정된 우선 순위 규칙들에 따라 상기 적어도 2개의 오브젝트들에 우선 순위를 부여하는 단계로서, 상기 적어도 2개의 오브젝트들 중 제1 오브젝트는 더 높은 우선순위 오브젝트이고 상기 적어도 2개의 오브젝트들 중 제2 오브젝트는 더 낮은 우선순위 오브젝트인, 상기 우선 순위를 부여하는 단계; 및
    상기 적어도 2개의 오브젝트들 중 상기 제1 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제1 통신 채널을 할당하고, 상기 적어도 2개의 오브젝트들 중 상기 제2 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제2 통신 채널을 할당하는 단계로서, 상기 제1 통신 채널은 상기 제2 통신 채널 보다 더 높은 신뢰도 인자를 갖는, 상기 채널을 할당하는 단계를 포함하는, 데이터 코딩 방법.
  2. 제 1 항에 있어서,
    상기 적어도 2개의 오브젝트들 각각에 관련된 상기 모델들을 정확하게 나타내기 위해 상기 적어도 2개의 오브젝트들에 할당된 상기 모델들을 업데이트하는 단계를 더 포함하는, 데이터 코딩 방법.
  3. 제 2 항에 있어서,
    상기 업데이트된 모델들을 데이터베이스에 저장하는 단계를 더 포함하는, 데이터 코딩 방법.
  4. 제 1 항에 있어서,
    상기 이미지/비디오 통신 시스템은 비디오 원격 회의 시스템(video teleconferencing system)을 포함하는, 데이터 코딩 방법.
  5. 제 1 항에 있어서,
    상기 적어도 2개의 오브젝트들 각각에 할당된 상기 우선 순위들은 통신 세션 기간 동안 동적으로 변경될 수 있는, 데이터 코딩 방법.
  6. 제 1 항에 있어서,
    상기 더 낮은 우선순위 오브젝트(도 6)를 마스킹하는 단계 및 전송을 위해 상기 더 높은 우선순위 오브젝트를 인코딩하는 단계를 더 포함하는, 데이터 코딩 방법.
  7. 제 6 항에 있어서,
    상기 더 높은 우선순위 오브젝트 인코딩 후에, 상기 더 높은 우선순위 오브젝트를 마스킹하는 단계 및 전송을 위해 상기 더 낮은 우선순위 오브젝트를 인코딩하는 단계를 더 포함하는, 데이터 코딩 방법.
  8. 통신 시스템에 있어서,
    이미지 내의 적어도 2개의 오브젝트들을 식별하는 수단;
    상기 적어도 2개의 오브젝트들을 나타내는 모델들을 할당하는 수단;
    미리 결정된 우선 순위 규칙들에 따라 상기 적어도 2개의 오브젝트들에 우선 순위를 부여하는 수단으로서, 상기 적어도 2개의 오브젝트들 중 제1 오브젝트는 더 높은 우선순위 오브젝트로, 그리고 상기 적어도 2개의 오브젝트들 중 제2 오브젝트는 더 낮은 우선순위 오브젝트로 우선순위를 부여하는, 상기 우선 순위를 부여하는 수단;
    상기 적어도 2개의 오브젝트들 중 상기 제1 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제1 통신 채널을 할당하고, 상기 적어도 2개의 오브젝트들 중 상기 제2 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제2 통신 채널을 할당하는 수단으로서, 상기 제1 통신 채널은 상기 제2 통신 채널 보다 더 높은 신뢰도 인자를 갖는, 상기 채널을 할당하는 수단을 포함하는, 통신 시스템.
  9. 이미지/비디오 통신을 위한 코드를 포함하는 메모리 매체에 있어서,
    상기 코드는,
    이미지 내의 적어도 2개의 오브젝트들을 식별하는 코드;
    상기 적어도 2개의 오브젝트들을 나타내는 모델들을 할당하는 코드;
    미리 결정된 우선 순위 규칙들에 따라 상기 적어도 2개의 오브젝트들에 우선 순위를 부여하는 코드로서, 우선순위를 부여하는 상기 코드의 실행은 상기 적어도 2개의 오브젝트들 중 제1 오브젝트는 더 높은 우선순위 오브젝트가 되도록, 그리고 상기 적어도 2개의 오브젝트들 중 제2 오브젝트는 더 낮은 우선순위 오브젝트가 되도록 하는, 상기 우선순위를 부여하는 코드;
    상기 적어도 2개의 오브젝트들 중 상기 제1 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제1 통신 채널을 할당하고, 상기 적어도 2개의 오브젝트들 중 상기 제2 오브젝트를 위한 모델과 관련된 데이터를 통신하도록 제2 통신 채널을 할당하는 코드로서, 상기 제1 통신 채널은 상기 제2 통신 채널 보다 더 높은 신뢰도 인자를 갖는, 상기 채널을 할당하는 코드;를 포함하는, 메모리 매체.
KR1020037002035A 2001-06-12 2002-06-06 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템 KR100872732B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/878,979 2001-06-12
US09/878,979 US6496217B1 (en) 2001-06-12 2001-06-12 Video communication system using model-based coding and prioritzation techniques
PCT/IB2002/002153 WO2002102084A1 (en) 2001-06-12 2002-06-06 Video communication system using model-based coding and prioritization techniques

Publications (2)

Publication Number Publication Date
KR20030027023A KR20030027023A (ko) 2003-04-03
KR100872732B1 true KR100872732B1 (ko) 2008-12-08

Family

ID=25373199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037002035A KR100872732B1 (ko) 2001-06-12 2002-06-06 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템

Country Status (5)

Country Link
US (1) US6496217B1 (ko)
EP (1) EP1459550A1 (ko)
JP (1) JP4436126B2 (ko)
KR (1) KR100872732B1 (ko)
WO (1) WO2002102084A1 (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
DE10321498A1 (de) * 2003-05-13 2004-12-02 Siemens Ag Verfahren zum Übertragen von Bilddaten
US7508990B2 (en) 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
FR2875974A1 (fr) 2004-09-28 2006-03-31 Thomson Licensing Sa Procede et dispositif de codage d'une sequence d'images sources
US7706576B1 (en) * 2004-12-28 2010-04-27 Avaya Inc. Dynamic video equalization of images using face-tracking
US7460150B1 (en) 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US7564476B1 (en) 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
AU2006346225B8 (en) * 2005-07-20 2010-03-25 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7933294B2 (en) * 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7593032B2 (en) 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
CA2796882A1 (en) * 2005-09-07 2007-01-20 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
JP5265383B2 (ja) * 2005-09-07 2013-08-14 ヴィドヨ，インコーポレーテッド 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法
AU2006330074B2 (en) 2005-09-07 2009-12-24 Vidyo, Inc. System and method for a high reliability base layer trunk
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US8165282B1 (en) 2006-05-25 2012-04-24 Avaya Inc. Exploiting facial characteristics for improved agent selection
WO2008091484A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
US7898950B2 (en) * 2006-08-18 2011-03-01 Microsoft Corporation Techniques to perform rate matching for multimedia conference calls
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
JP5155323B2 (ja) * 2006-09-29 2013-03-06 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化サーバ及びマルチキャストを用いる多地点会議のためのシステム及び方法
US20080101410A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Techniques for managing output bandwidth for a conferencing server
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP2010526455A (ja) 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
EP2151122B1 (en) * 2007-02-14 2014-01-22 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
KR101370290B1 (ko) 2007-07-31 2014-03-05 삼성전자주식회사 복호화 레벨을 구비하는 멀티미디어 데이터의 생성 방법과장치 및 복호화 레벨을 이용한 멀티미디어 데이터의 재구성방법과 장치
US8300792B2 (en) * 2008-05-14 2012-10-30 At&T Mobility Ii Llc Changing assigned priority of active voice or data session
AU2009257627B2 (en) * 2008-06-09 2014-05-01 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
US9532001B2 (en) * 2008-07-10 2016-12-27 Avaya Inc. Systems, methods, and media for providing selectable video using scalable video coding
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
US8355040B2 (en) * 2008-10-16 2013-01-15 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
AU2010238757A1 (en) * 2009-04-24 2011-11-03 Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
CA2766148A1 (en) * 2009-06-24 2011-01-13 Delta Vidyo, Inc. System and method for an active video electronic programming guide
WO2011066105A1 (en) * 2009-11-25 2011-06-03 Delta Vidyo, Inc. Iptv presence and interaction protocol
US8462797B2 (en) * 2009-11-30 2013-06-11 Alcatel Lucent Method of priority based transmission of wireless video
JP5740969B2 (ja) * 2010-12-22 2015-07-01 株式会社リコー Ｔｖ会議システム
AU2012225513B2 (en) 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US9191696B2 (en) * 2012-06-15 2015-11-17 Samsung Electronics Co., Ltd. Reception device and program for reception device
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN106664445B (zh) * 2014-08-07 2020-04-21 索尼公司 发送设备、发送方法和接收设备
US9998711B2 (en) * 2014-11-11 2018-06-12 Isee Vc Pty Ltd Reducing data content on a data system
WO2017164595A1 (ko) * 2016-03-21 2017-09-28 엘지전자(주) 방송 신호 송수신 장치 및 방법
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10582117B1 (en) * 2019-05-02 2020-03-03 Yamaha-United Communications Automatic camera control in a video conference system
US10999531B1 (en) 2020-01-27 2021-05-04 Plantronics, Inc. Detecting and framing a subject of interest in a teleconference
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US11496675B2 (en) 2021-04-13 2022-11-08 Plantronics, Inc. Region of interest based adjustment of camera parameters in a teleconferencing environment
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质
US11798204B2 (en) * 2022-03-02 2023-10-24 Qualcomm Incorporated Systems and methods of image processing based on gaze detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2132193T3 (es) * 1992-09-21 1999-08-16 Canon Kk Sistema de red y aparato terminal.
US5710590A (en) * 1994-04-15 1998-01-20 Hitachi, Ltd. Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
ATE331390T1 (de) * 1997-02-14 2006-07-15 Univ Columbia Objektbasiertes audiovisuelles endgerät und entsprechende bitstromstruktur
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
JP2001069502A (ja) * 1999-08-25 2001-03-16 Toshiba Corp 映像送信端末、及び映像受信端末

Also Published As

Publication number Publication date
WO2002102084A1 (en) 2002-12-19
KR20030027023A (ko) 2003-04-03
US6496217B1 (en) 2002-12-17
JP4436126B2 (ja) 2010-03-24
JP2004529597A (ja) 2004-09-24
US20020196328A1 (en) 2002-12-26
EP1459550A1 (en) 2004-09-22

Similar Documents

Publication Publication Date Title
KR100872732B1 (ko) 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템
US8798168B2 (en) Video telecommunication system for synthesizing a separated object with a new background picture
US5926575A (en) Model-based coding/decoding method and system
Pearson Developments in model-based video coding
JP4763312B2 (ja) 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
JP3023961B2 (ja) 符号化器及び復号化器
US20020164068A1 (en) Model switching in a communication system
Cox et al. On the applications of multimedia processing to communications
US6330023B1 (en) Video signal processing systems and methods utilizing automated speech analysis
EP0903698A2 (en) Recording and/or reproducing three-dimensional image data
US20060281064A1 (en) Image communication system for compositing an image according to emotion input
Ostermann Face Animation in MPEG‐4
KR950030647A (ko) 화상통신장치
KR20010072936A (ko) 정보 스트림의 포스트-동기화
JPH05153581A (ja) 顔画像符号化方式
Tao et al. Compression of MPEG-4 facial animation parameters for transmission of talking heads
CA2162199A1 (en) Acoustic-assisted image processing
ES2494926T3 (es) Procedimiento y sistema de video comunicación para el control en tiempo real basado en gestos de un avatar
Capin et al. Very low bit rate coding of virtual human animation in MPEG-4
Cox et al. Scanning the Technology
WO2001029767A2 (en) System and method for three-dimensional modeling
JP3854871B2 (ja) 画像処理装置、画像処理方法、記録媒体及びプログラム
JPH10215452A (ja) 顔面動き情報符号化／復号化装置
Chang et al. Virtual Talk: a model-based virtual phone using a layered audio-visual integration
WO2022006693A1 (en) Videoconferencing systems with facial image rectification

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20121127

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee