KR20230151465A - 인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법 - Google Patents

인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20230151465A
KR20230151465A KR1020230045318A KR20230045318A KR20230151465A KR 20230151465 A KR20230151465 A KR 20230151465A KR 1020230045318 A KR1020230045318 A KR 1020230045318A KR 20230045318 A KR20230045318 A KR 20230045318A KR 20230151465 A KR20230151465 A KR 20230151465A
Authority
KR
South Korea
Prior art keywords
image frame
additional image
stream
image frames
encoded
Prior art date
Application number
KR1020230045318A
Other languages
English (en)
Inventor
토레손 알렉산더
요한손 말테
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20230151465A publication Critical patent/KR20230151465A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44245—Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

인코딩된 이미지 프레임 스트림(인코딩된 이미지 프레임 스트림은 인코더에 의하여 인코딩된 이미지 프레임으로 이루어짐)에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 방법, 시스템, 및 비일시적 컴퓨터 판독 가능 저장 매체. i) 인코딩된 이미지 프레임 스트림의 송신기의 작동 상태 변경 및 ii) 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변경 중 적어도 하나의 유형과 관련된 이벤트가 감지된다. 감지된 이벤트의 유형에 따라, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임의 시퀀스가 제공된다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행 이미지 프레임에 대한 참조를 포함하며 선행 이미지 프레임에 대하여 기 설정된 시각적 변화를 코딩한다. 기 설정된 시각적 변화는 감지된 이벤트의 유형을 나타낸다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 인코딩된 이미지 프레임 스트림에 추가되어, 이미지 프레임의 결합된 스트림을 얻는다.

Description

인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법 {SYSTEM AND METHOD FOR ADDING ONE ADDITIONAL IMAGE FRAME OR A SEQUENCE OF ADDITIONAL IMAGE FRAMES TO A STREAM OF ENCODED IMAGE FRAMES}
본 발명은 인코딩된 이미지 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하는 것과 관련되며, 구체적으로는, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 기 설정된 시각 효과를 코딩하는 것과 관련된다.
카메라로 캡처한 비디오의 인코딩된 이미지 프레임 스트림이 수신 및 디코딩되어, 예를 들어 원격 위치(remote location)에서 디스플레이에 재생되고, 이때 카메라가 고의로 셧다운(shut down)되거나, 카메라가 고장으로 인해 셧다운되거나, 또는 카메라와 디스플레이 위치 간의 연결이 실패하는 시나리오에서, 스트림은 중단되고 디스플레이 위치에서는 더 이상 이미지 프레임이 수신되지 않는다. 그렇게 되면, 이미지 프레임이 전혀 재생되지 않거나 마지막으로 수신된 이미지 프레임이 계속 재생되는 등의 방식으로 비디오의 재생이 중단된다. 따라서 비디오를 시청하는 사람은 스트림이 중단되었다는 것을 알 수 있지만 그 이유는 알 수 없다. 마찬가지로, 카메라 재시작 또는 카메라와 디스플레이 위치 간의 연결 복원이 시작되고, 인코딩된 이미지 프레임의 새로운 스트림이 생성되어 디코딩 및 재생을 위해 디스플레이 위치에서 수신되기 전에, 디스플레이를 시청하는 사람은 비디오가 곧 재생될 것이라는 사실을 알지 못한다.
본 발명의 목적은, 인코딩된 이미지 프레임의 디코딩되고 재생되는 스트림에서 감지된 이벤트의 유형을 식별할 수 있도록 하는 것이며, 여기서 이벤트의 유형은, 인코딩된 이미지 프레임 스트림의 송신기(sender)의 작동 상태 변화 및 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변화 중 하나이다.
제1 양태에 따르면, 인코딩된 이미지 프레임 스트림(stream)에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스(sequence)를 추가하는 방법이 제공되며, 여기서 인코딩된 이미지 프레임 스트림은 인코더(encoder)에 의해 인코딩된 이미지 프레임으로 이루어진다. 본 방법은, 인코딩된 이미지 프레임 스트림의 송신기의 작동 상태 변화 및 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하는 단계를 포함한다. 감지된 이벤트의 유형에 따라, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 제공되며, 여기서 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행(preceding) 이미지 프레임에 대한 참조(reference)를 포함하며 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩한다. 기 설정된 시각적 변화는 감지된 이벤트의 유형을 나타낸다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 인코딩된 이미지 프레임 스트림에 추가되어, 이미지 프레임의 결합된 스트림을 얻는다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하며, 기 설정된 시각적 변화는 감지된 이벤트의 유형을 나타내므로, 이미지 프레임의 결합된 스트림은, 결합된 스트림이 디코딩되고 재생될 때 감지된 이벤트의 유형을 식별할 수 있도록 하는 정보를 포함할 것이다. 구체적으로, 이벤트의 유형이 인코딩된 이미지 프레임 스트림의 송신기 작동 상태 변화인지, 또는 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변화인지에 대한 식별을 가능하게 한다.
기 설정된 시각적 변화는 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 이용하여 코딩되므로, 감지된 이벤트의 유형을 식별할 수 있도록 하는 정보는 결합된 스트림 내에서 전송될 수 있으며, 디코더 및 디스플레이의 적응(adaptation) 없이, 인코딩된 이미지 프레임 스트림을 디코딩 및 재생하도록 구성된 디코더 및 디스플레이를 이용하여 디코딩되고 재생될 수 있다.
시각적 변화는 기 설정되며 선행 이미지 프레임과 연관되므로, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 사전에, 즉 이벤트 감지 전에 생성하고, 이벤트 감지 후의 제공 및 추가를 위해 저장하는 것이 가능하다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 이러한 시각적 변화를 코딩하는 데이터를 포함하는 것만을 필요로 하며, 인코딩된 이미지 프레임의 스트림과 연관된 실시간 데이터는 포함할 필요가 없다.
제1 양태에 따른 방법은, 블록 유형(예컨대, 블록이 P- 또는 B-블록과 같은 인터블록(interblock)인지, 인트라블록(intrablock)인지, 또는 스킵블록(skipblock)인지 여부), 및 기 설정된 모션 벡터 및/또는 기 설정된 주파수 영역 계수(frequency domain coefficients)만을 기반으로 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임을 생성하는 단계를 더 포함할 수 있다. 따라서 소프트웨어만을 사용하여 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 생성하는 것이 가능하다. 또한, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 사전에, 즉 이벤트 감지 전에 생성하고, 이벤트 감지 후에 인코딩된 이미지 프레임의 스트림에 제공 및 추가하기 위해 저장하는 것이 가능하다.
제1 양태의 방법에서, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스 각각은, 기 설정된 모션 벡터 및/또는 기 설정된 양자화(quantized) 주파수 영역 계수를 갖는 하나 이상의 인터블록 및 기 설정된 양자화 주파수 영역 계수를 갖는 하나 이상의 인트라블록 중 적어도 하나를 더 포함할 수 있다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 각각 하나 이상의 스킵블록을 더 포함할 수 있다.
본 명세서에서 사용되는 "기 설정된 모션 벡터" 및 "기 설정된 양자화 주파수 영역 계수"라는 표현은, 기 설정되며 단독으로 또는 조합되어 기 설정된 시각적 변화를 코딩하는 모션 벡터 및 양자화 주파수 영역 계수를 의미한다. 양자화 주파수 영역 계수는, 예를 들어 양자화된 이산 코사인 변환(Discrete Cosine Transform, DCT) 계수이거나, 또는 인코딩 표준에 따른 다른 대안일 수 있다. AV1에서 이러한 대안은, 양자화 비대칭(asymmetric) 이산 사인 변환(discrete sine transform, DST) 계수, 양자화 플립 ADST(FLIPADST) 계수, 양자화 아이덴티티 변환(identity transform) 계수, 및 양자화 월쉬-아다마르 변환(Walsh-Hadamard transform, WHT) 계수일 수 있다. 후자는 VP8에서도 사용할 수 있다.
제1 양태의 방법에서, 선행 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임, 시작 이미지를 인트라코딩(intracoding)하는 추가된 시작 이미지 프레임, 및 추가 이미지 프레임 시퀀스 내의 추가 이미지 프레임 중 하나일 수 있다. 선행 이미지 프레임은 또한 이미지 프레임의 결합된 스트림에서 바로 선행하는(directly preceding) 이미지 프레임일 수 있다. 또는, 바로 선행하는 이미지 프레임보다 더 선행하는 이미지 프레임일 수도 있다.
제1 양태의 방법에서, 추가 이미지 프레임 시퀀스는, 서로 상이한 참조 및 동일한 컨텐츠(content)를 갖는 추가 이미지 프레임, 서로 동일한 참조 및 상이한 컨텐츠를 갖는 추가 이미지 프레임, 및 서로 상이한 참조 및 상이한 컨텐츠를 갖는 추가 이미지 프레임 중 적어도 하나를 포함한다.
제1 양태의 방법은, 이미지 프레임의 결합된 스트림을 디코더로 전송하고, 이미지 프레임의 결합된 스트림을 디코딩하고, 디코딩된 이미지 프레임의 결합된 스트림을 디스플레이에 재생하여 이에 따라 감지된 이벤트를 나타내는 기 설정된 시각적 변화를 재생하는 단계를 더 포함할 수 있다.
제1 양태의 방법에서, 감지된 이벤트는, 인코딩된 이미지 프레임 스트림의 송신기의 셧다운, 인코딩된 이미지 프레임 스트림의 송신기와 수신기 사이의 연결 실패, 인코딩된 이미지 프레임 스트림의 송신기의 고장, 인코딩된 이미지 프레임 스트림의 송신기의 개시(start-up), 인코딩된 이미지 프레임 스트림의 송신기와 수신기 사이의 재연결, 및 인코딩된 이미지 프레임 스트림의 송신기의 재부팅 중 적어도 하나의 유형과 관련될 수 있다. 또한, 송신기의 셧다운은, 셧다운이 수신기에서 시작되는지 또는 송신기에서 시작되는지에 따라 두 가지 개별 유형의 이벤트로 구분될 수 있다.
제1 양태의 방법에서, 기 설정된 시각적 변화는 움직임, 색상의 변화, 및 밝기의 변화 중 하나일 수 있다.
제2 양태에 따르면, 적어도 하나의 프로세서를 갖는 시스템에서 실행될 때 제1 양태에 따른 방법을 구현하기 위한 인스트럭션을 저장한 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다.
제1 양태에 따른 방법의 상기 언급된 선택적 특징들은, 해당되는 경우, 제2 양태의 비일시적 컴퓨터 판독 가능 저장 매체에도 적용된다. 과도한 반복을 피하기 위해 상술한 내용이 참조된다.
제3 양태에 따르면, 인코딩된 이미지 프레임의 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템이 제공되며, 여기서 인코딩된 이미지 프레임의 스트림은 인코더에 의해 인코딩된 이미지 프레임으로 이루어진다. 시스템은, 인코딩된 이미지 프레임 스트림의 송신기의 작동 상태 변화 및 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하도록 구성된 감지 기능을 실행하도록 구성된 회로를 포함한다. 회로는, 감지 기능에 의해 감지된 이벤트의 유형에 따라 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 제공하도록 구성된 제공 기능을 실행하도록 더 구성되며, 여기서 하나의 추가 이미지 프레임, 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행 이미지 프레임에 대한 참조를 포함하고 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하며, 여기서 기 설정된 시각적 변화는 감지된 이벤트의 유형을 나타낸다. 회로는, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 인코딩된 이미지 프레임의 스트림에 추가하여 이미지 프레임의 결합된 스트림을 얻도록 구성된 추가 기능을 실행하도록 더 구성된다.
제1 양태에 따른 방법의 상술한 선택적 특징들은, 적용 가능한 경우, 제3 양태의 시스템에도 적용된다. 과도한 반복을 피하기 위해 상술한 내용이 참조된다.
본 발명의 추가적인 적용 범위는 아래의 상세한 설명에 따라 명백해질 것이다. 그러나, 본 발명의 범위 내의 다양한 변경 및 수정이 본 상세한 설명에 따라 당업자에게 명백해질 것이므로, 상세한 설명 및 구체적인 실시예는 본 발명의 바람직한 실시예를 나타내기는 하나 단지 예시적으로만 제공되었음이 이해되어야 한다.
따라서, 본 발명의 이러한 시스템 및 방법이 달라질 수 있음에 따라, 본 발명은 설명된 시스템의 특정 구성 요소 또는 설명된 방법의 행위에 의해 한정되지 않음이 이해되어야 한다. 또한, 본 명세서에 사용된 용어는 특정 실시예를 설명하기 위한 목적일 뿐이며, 한정의 의도로 사용된 것이 아님이 이해되어야 한다. 본 명세서 및 첨부된 청구범위에 사용된 바와 같이, 관사 "하나(a, an)" 및 "상기(the, said)"는 문맥에서 달리 명시되지 않는 한 하나 이상의 요소가 있다는 것을 의미하도록 의도되었다는 점에 유의해야 한다. 또한, "포함하는(comprising)", "포함하는(including)", "함유하는(containing)" 및 이와 유사한 표현은 다른 요소 또는 단계를 배제하지 않는다.
본 발명은, 인코딩된 이미지 프레임의 디코딩되고 재생되는 스트림에서 감지된 이벤트의 유형을 식별할 수 있도록 하는 효과가 있으며, 여기서 이벤트의 유형은, 인코딩된 이미지 프레임 스트림의 송신기(sender)의 작동 상태 변화 및 인코딩된 이미지 프레임 스트림의 송신기와 수신기 간의 연결 상태 변화 중 하나이다.
이제 첨부된 도면을 참조하여 본 발명의 상술한 양태 및 기타 양태가 보다 상세히 설명된다. 도면은 한정의 의미로 간주되어서는 안 되며, 설명 및 이해를 돕기 위해 사용된다.
도 1은, 본 발명의 방법의 실시예와 관련된 흐름도를 도시한다.
도 2는, 본 발명의 시스템의 실시예와 관련된 개략도를 도시한다.
도 3은, 본 발명의 실시예가 구현될 수 있는 시스템의 개략도를 도시한다.
이제 본 발명을 첨부된 도면을 참조하여 이하에서 설명할 것이며, 도면에는 본 발명의 현재 바람직한 실시예가 예시되어 있다. 그러나, 본 발명은 다양한 형태로 구현될 수 있으며, 본 명세서에 기재된 실시예에 한정되는 것으로 해석되어서는 안 된다. 도면에서 점선으로 표시된 상자는 선택적 특징을 나타낸다.
본 발명은, 도 3에 도시된 바와 같이 인코딩된 이미지 프레임의 스트림이 송신기(310)로부터 수신기(320)로 전송되는 시스템(300)에 적용될 수 있다. 송신기(310)는, 예를 들어 감시 카메라와 같은 카메라일 수 있으며, 또는 카메라 위치(camera location)에 있는 카메라를 포함하는 시스템일 수 있다. 수신기(320)는 디코더를 포함하고, 디스플레이 위치(display location)에 있는 디스플레이에 연결된 장치일 수 있다. 중간 장치(315)가 추가로 송신기(310)와 수신기(320) 사이에 위치할 수 있다. 송신기(310), 중간 장치(315), 및 수신기(320) 각각은, 송신기(310)의 작동 상태 변화 및 송신기(310)와 수신기(320) 사이의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지할 수 있다.
본 발명은, 인코딩된 이미지 프레임의 스트림이 디코딩 및 재생을 위해 송신기(310)로부터 수신기(320)로 전송되는 시나리오에 적용될 수 있다. 인코딩된 이미지 프레임의 스트림은, 예를 들어, 카메라에 의해 캡처되고 인코더에 의해 인코딩된 이미지로 이루어질 수 있다. 대안적으로, 인코딩된 프레임 스트림의 일부 또는 전부가 소프트웨어에서 생성된 이미지일 수도 있다. 인코딩된 프레임 스트림은 비디오일 수 있으며, 카메라는 사람이 비디오를 시청하는 디스플레이 위치로부터 원격 위치에 배치된 카메라일 수 있다. 인코딩된 이미지 프레임 스트림의 전송이 중단되어 수신기(320)가 더 이상 인코딩된 이미지 프레임을 수신하지 못하면, 비디오는 중단되고 비디오를 보는 사람은 비디오가 중단된 이유를 알 수 없게 된다. 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하는 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가함으로써, 결합된 스트림이 생성된다. 인코딩된 이미지 프레임의 스트림에 감지된 이벤트의 유형을 나타내는 기 설정된 시각적 변화가 일어난다. 예를 들어, 적어도 두 가지의 서로 다른 기 설정된 시각적 변화가 선택될 수 있으며, 각 시각적 변화는 두 가지 유형의 이벤트, 즉 i) 인코딩된 이미지 프레임 스트림의 송신기(310)의 작동 상태 변화 및 ii) 인코딩된 이미지 프레임 스트림의 송신기(310)와 수신기(320) 사이의 연결 상태 변화 중 각각 하나를 나타낸다. 결합된 스트림이 이어서 디코딩되고 재생되면, 시청자는 기 설정된 시각적 변화를 통해 어떤 유형의 이벤트가 발생했는지를 식별할 수 있다. 구체적으로, 시청자는 이벤트의 유형이 인코딩된 이미지 프레임 스트림의 송신기(310)의 작동 상태 변화인지 또는 인코딩된 이미지 프레임 스트림의 송신기(310)와 수신기(320) 사이의 연결 상태 변화인지를 식별할 수 있다.
인코딩된 이미지 프레임의 스트림에 추가되어 결합된 스트림에서 전송되는, 기 설정된 시각적 변화를 코딩하는 하나의 추가 이미지 프레임 또는 추가 프레임 시퀀스의 형태로 감지된 이벤트의 유형을 식별할 수 있게 하는 정보를 포함함으로써, 송신기(310)와 수신기(320) 사이의 인터페이스 적응이 필요하지 않다. 또한, 수신기(320)에 있는 디스플레이 및 디코더를 적응시킬 필요도 없다. 이들은 인코딩된 이미지 프레임의 스트림을 디코딩하고 재생하는 것과 동일한 방식으로 결합된 스트림을 디코딩하고 재생할 수 있다. 오직 필요한 것은, 어떤 기 설정된 시각적 변화가 어떤 유형의 이벤트를 나타내는지를 시청자가 인식하는 것뿐이다. 또한, 시각적 변화는 기 설정되며 선행 이미지 프레임과 연관되므로, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 사전에, 즉 이벤트의 감지 전에 생성하고 이벤트 감지 후의 제공 및 추가를 위해 저장하는 것이 가능하다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 이러한 시각적 변화를 코딩하는 데이터를 포함하는 것만을 필요로 하며, 인코딩된 이미지 프레임의 스트림과 연관된 실시간 데이터는 포함할 필요가 없다.
"하나의 추가 이미지 프레임" 및 "추가 이미지 프레임 시퀀스"라는 용어에 인코딩에 대한 언급이 없더라도, 두 용어는 모두 (인코딩된 이미지 프레임 스트림을 디코딩하는 디코더가 적응 없이 디코딩할 수 있도록 생성되며, 사용된 해당 코딩 표준에 따른 신택스(syntax)를 갖는) 하나 이상의 인코딩된 이미지 프레임과 관련된다는 점이 이해되어야 한다. 예를 들어, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 인코딩된 이미지 프레임의 스트림에 추가되어 이미지 프레임의 결합된 스트림을 얻기 전에, 하드웨어 및/또는 소프트웨어에 구성된 엔트로피 인코더(entropy encoder)를 사용하여 엔트로피 인코딩을 수행해야 한다.
이하에서, 인코딩된 이미지 프레임의 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하는 방법(100)의 실시예가 도 1 및 도 3을 참조하여 논의될 것이며, 여기서 인코딩된 이미지 프레임의 스트림은, 인코더에 의해 인코딩된 이미지 프레임으로 이루어진다.
일반적으로, 인코딩된 이미지 프레임 스트림의 이미지 프레임 중 일부는 인트라프레임(intraframe)이며, 일부는 인터프레임(interframe)이다. 인트라프레임은, 디코딩되기 위해 다른 프레임으로부터의 정보를 필요로 하지 않는 인코딩된 비디오 프레임이다. 따라서 인트라프레임은 해당 인트라프레임에 대응되도록 설정된 비디오 데이터의 이미지 프레임으로부터의 정보를 기반으로 인코딩된다. 일반적으로, 이미지 프레임 내의 유사성(similarities)이 이미지 프레임을 인트라프레임으로 인코딩하는 데 사용된다. 비디오 인코딩에서 인트라프레임은 종종 I-프레임이라고 지칭된다. 비디오 스트림에서 두 인트라프레임 사이에 있는 이미지 프레임은 인터프레임으로서 인코딩된다. 인터프레임은, 해당 인터프레임에 대응되도록 설정된 비디오 데이터의 이미지 프레임이 아닌 인코딩할 하나 이상의 다른 이미지 프레임으로부터의 정보를 기반으로 인코딩된다. 인터프레임은 일반적으로 인트라프레임보다 적은 데이터로 이루어진다. 인터프레임은 P-프레임 또는 B-프레임일 수 있다. P-프레임은 데이터 참조를 위해 이전 프레임을 참조한다. 따라서 P-프레임을 디코딩하려면 이전 프레임의 컨텐츠를 알고 있어야 한다. B-프레임은 데이터 참조를 위해 이전 프레임과 이후 프레임(forward frames)을 모두 참조할 수 있다. 따라서 B-프레임을 디코딩하려면 이전 프레임과 이후 프레임의 컨텐츠를 모두 알고 있어야 한다. 인터프레임을 인코딩할 때, 이미지 프레임은 다수의 픽셀 군(group)으로 나뉜다. 픽셀 군은, 예를 들어, 블록, 매크로블록, 또는 코딩 트리 단위로 지칭될 수 있다. 각 인터프레임은 인터블록으로서 인코딩된 하나 이상의 블록, 인트라블록으로서 인코딩된 하나 이상의 블록, 및 스킵블록으로서 인코딩된 하나 이상의 블록을 포함할 수 있다. 이미지 프레임은 참조 프레임(reference frame)과 비교된다. 예를 들어, P-프레임을 인코딩하기 위한 참조 프레임은 이전 이미지 프레임이다. 인코더에서 이미지 프레임의 시퀀스를 인코딩하기 위해, 인코딩할 이미지 프레임과 참조 프레임 간에 매칭(matching)되는 픽셀 군을 식별하기 위한 매칭 알고리즘이 사용될 수 있으며, 픽셀 군에 대한 매칭이 발견되면, 해당 픽셀 군은, 참조 프레임 이후에 이미지 프레임에서 픽셀 군이 어떻게 움직였는지를 특정하는 모션 벡터를 기반으로 인코딩될 수 있다.
방법(100)은, i) 인코딩된 이미지 프레임 스트림의 송신기(310)의 작동 상태 변화 및 ii) 인코딩된 이미지 프레임 스트림의 송신기(310)와 수신기(320) 사이의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하는 단계(S110)를 포함한다. 송신기(310)는, 예를 들어, 인코딩된 이미지 프레임 스트림을 전송하는 카메라이거나 카메라로 이루어진 시스템일 수 있다. 송신기(310)의 작동 상태의 변화는, 송신기(310)에서 인코딩된 이미지 프레임 스트림이 전송되지 않는 작동 상태로 변화되거나, 또는 인코딩된 이미지 프레임 스트림이 전송되는 작동 상태로 변화되는 것일 수 있다. 작동 상태의 변경은, 예를 들어, 송신기(310)의 의도적인 셧다운, 송신기(310)의 고장, 및 송신기(310)의 재부팅과 관련될 수 있다. 또한, 송신기의 의도적인 셧다운의 경우, 상기 셧다운이 수신기에서 시작되는지 또는 송신기에서 시작되는지에 따라 두 가지 개별 유형의 이벤트로 구분될 수 있다. 송신기(310)와 수신기(320) 사이의 연결 상태의 변화는, 송신기(310)와 수신기(320)간에 인코딩된 이미지 프레임 스트림이 전송될 수 없는 연결 상태로 변화되거나, 또는 인코딩된 이미지 프레임 스트림이 전송될 수 있는 연결 상태로 변화되는 것일 수 있다. 연결 상태의 변화는, 예를 들어, 송신기(310)와 수신기(320) 사이의 연결 실패 및 송신기(310)와 수신기(320) 사이의 재연결과 관련될 수 있다.
감지된 이벤트의 유형에 따라, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 제공된다(S120). 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행 이미지 프레임에 대한 참조를 포함하고 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하며, 여기서 기 설정된 시각적 변화는 감지된 이벤트의 유형을 나타낸다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임이 선행 프레임에 대한 참조를 포함한다는 것은, 선행 프레임이 참조 프레임으로 사용됨을 의미한다.
이벤트는 송신기(310) 또는 수신기(320) 또는 중간 장치(315)에 의해 감지될 수 있다. 이벤트의 종류가 송신기(310)의 의도적인 셧다운, 송신기(310)의 재부팅, 또는 송신기(310)의 고장과 같이 송신기의 작동 상태의 변화인 경우, 송신기(310)에 의해 이벤트가 감지될 수 있다. 이벤트의 종류가 송신기(310)와 수신기(320) 간의 연결 실패, 송신기(310)와 수신기(320) 간의 재연결 등 송신기(310)와 수신기(320) 간의 연결 상태의 변화인 경우, 수신기(320) 또는 중간 장치(315)에 의해 이벤트가 감지될 수 있다.
기 설정된 시각적 변화는, 인코딩될 수 있고, 시청자가 식별할 수 있으며, 다른 유형의 이벤트를 나타내도록 인코딩된 다른 기 설정된 시각적 변화와 구별될 수 있는 임의의 종류의 시각적 변화일 수 있다. 예를 들어, 기 설정된 시각적 변화는 움직임, 색상 변화, 또는 밝기 변화일 수 있다.
예를 들어, 기 설정된 시각적 변화가 선행 프레임에 대한 픽셀의 기 설정된 움직임, 예컨대 픽셀 블록의 기 설정된 움직임과 관련된 경우, 이러한 움직임은 블록에 대한 각각의 기 설정된 모션 벡터에 의해 달성될 수 있다. 움직임이 기 설정되어 있으므로, 모션 벡터도 기 설정된다. 픽셀의 움직임이 감지된 이벤트의 유형을 나타낼 수 있도록 기 설정되어 있으므로, 기 설정된 시각적 변화에 따라 달성되어야 하는 선행 프레임에 대한 픽셀의 기 설정된 움직임 외의 다른 추가적인 입력값(input) 없이 모션 벡터를 규정할 수 있다. 이는 인코더에서 이미지 프레임 시퀀스를 인코딩할 때 모션 벡터를 식별하는 것과는 다른데, 이러한 모션 벡터 식별 과정에서는 인코딩할 이미지 프레임과 참조 프레임 간에 매칭되는 블록을 식별하기 위한 매칭 알고리즘이 사용되고, 블록에 대한 매칭이 발견되면 참조 프레임 이후에 이미지 프레임에서 해당 블록이 어떻게 움직였는지를 특정하는 모션 벡터를 기반으로 블록이 인코딩될 수 있다.
마찬가지로, 기 설정된 시각적 변화가 선행 프레임에 대한 픽셀의 기 설정된 색상 또는 밝기의 변화, 예컨대 픽셀 블록의 기 설정된 색상 또는 밝기의 변화와 관련된 경우, 이러한 색상 또는 밝기의 변화는 블록에 대한 각각의 기 설정된 주파수 영역 계수에 의해 달성될 수 있다. 색상 또는 밝기의 변화가 기 설정되므로, 주파수 영역 계수도 기 설정된다. 픽셀의 색상 또는 밝기의 변화가 감지된 이벤트의 유형을 나타낼 수 있도록 기 설정되어 있으므로, 기 설정된 시각적 변화에 따라 달성되어야 하는 선행 프레임에 대한 픽셀의 색상 또는 밝기의 기 설정된 변화 외의 다른 추가적인 입력값 없이 주파수 영역 계수를 규정할 수 있다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는, 이벤트의 감지(S110) 이후에 생성(S115)될 수도 있고, 이벤트의 감지(S110) 전에 이미 생성(S115)되어, 이벤트의 감지(S110)이후 제공하기 위해 저장되어 있을 수도 있다. 도 1에서 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 생성(S115)하는 단계가 이벤트의 감지(S110) 다음에 위치하는 것이 방법(100)에서 해당 단계의 위치를 나타내는 것은 아님이 이해되어야 한다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 생성(S115)하는 것은 이벤트를 감지(S110)하기 전 또는 후에 수행될 수 있다. 또한, 이는 이벤트를 감지(S110)하기 전에 일정 정도만큼 수행되고 이벤트의 감지(S110) 후에 일정 정도만큼 수행될 수 있다. 예를 들어, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 엔트로피 인코딩 전까지 생성되어 이벤트 감지(S110) 전에 저장되고, 이어서 이벤트 감지(S110) 후에 엔트로피 인코딩이 수행될 수 있다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행 이미지 프레임(해당 선행 이미지 프레임에 대하여 기 설정된 시각적 변화가 인코딩됨)에 대한 참조를 포함한다. 기 설정된 시각적 변화를 인코딩하기 위해, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은 선행 이미지 프레임에 대하여 기 설정된 변화를 규정하는 데이터를 포함하도록 생성된다.
실시예들에서, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 기 설정된 모션 벡터 및/또는 기 설정된 양자화 주파수 영역 계수에만 기반하여 생성(S115)될 수 있다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은 인터프레임일 수 있고 모션 벡터 및/또는 양자화 주파수 영역 계수를 갖는 하나 이상의 인터블록을 포함할 수 있고/있거나, 양자화 주파수 영역 계수를 갖는 하나 이상의 인트라블록을 포함할 수 있다. 하나 이상의 인터블록 및/또는 하나 이상의 인트라블록은, 참조 이미지에 대한 기 설정된 움직임, 기 설정된 색상 변화, 및/또는 기 설정된 밝기 변화와 같은, 참조 이미지 프레임에 대한 기 설정된 시각적 변화를 인코딩한다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은 하나 이상의 스킵블록을 더 포함할 수 있다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임의 시퀀스를, 블록 유형(예컨대, 블록이 P- 또는 B- 블록과 같은 인터블록인지, 인트라블록 또는 스킵블록인지 여부) 및 기 설정된 모션 벡터 및/또는 기 설정된 양자화 주파수 영역 계수만을 기반으로 하여 생성(S115)하는 것은 엔트로피 인코딩 전까지 완전히 소프트웨어에서 수행될 수 있으며, 이어서 엔트로피 인코딩은 소프트웨어 또는 하드웨어 엔트로피 인코더에 의해 수행될 수 있다. 소프트웨어에서 완전히 수행되는 이러한 생성 작업을 절차적 생성(procedural generation)이라고 지칭할 수 있다. 생성(S115)에는 이미지 데이터가 필요하지 않다. 슬라이스 헤더(slice header)와 슬라이스 데이터를 별도로 인코딩할 수 있는 코딩 표준의 경우, 슬라이스 데이터를 엔트로피 인코딩하여 저장할 수 있으며 슬라이스 헤더는 추가하기 직전에 업데이트해야 한다. 예를 들어 H.265, 및 H.264 메인(main) 및 하이(high)의 CABAC이 이러한 경우에 해당한다. 슬라이스 헤더와 슬라이스 데이터를 별도로 인코딩할 수 없는 코딩 표준의 경우(예: 슬라이스 데이터를 엔트로피 인코딩하려면 슬라이스 헤더의 일부 비트(bits)가 입력값으로 필요함에 따라 모든 슬라이스 헤더가 업데이트되어 있어야 하는 경우), 슬라이스 헤더를 업데이트하고 이어서 슬라이스 데이터를 추가하기 직전에 엔트로피 인코딩해야 한다. 예를 들어 H.264의 CAVLC이 이러한 경우에 해당한다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는, 인코딩된 이미지 프레임의 스트림에 추가(S130)되어 이미지 프레임의 결합된 스트림을 얻는다.
하나의 추가 이미지 프레임이 제공되고 추가되는 시나리오는, 예를 들어, 디스플레이에 제공된 마지막 이미지 프레임이, 다음 이미지 프레임이 디스플레이에 제공될 때까지 연속적으로 재생되는 경우이다. 이러한 경우, 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 인코딩하기 위해서는 하나의 추가 이미지 프레임으로 충분하며, 이 기 설정된 시각적 변화는 시청자가 식별할 수 있다.
기 설정되며 시간이 지남에 따라 점진적으로 변화하는 기 설정된 시각적 변화를 코딩해야 하는 시나리오에서는, 이를 코딩하기 위해 추가 프레임의 시퀀스가 필요하다. 예를 들어, 동일한 유형의 복수의 추가 프레임이 시퀀스에 포함될 수 있으며, 각각의 추가 프레임은 동일한 기 설정된 모션 벡터 및/또는 기 설정된 양자화 주파수 영역 계수를 갖지만, 스트림에서 바로 앞의 프레임을 참조한다. 따라서 이러한 추가 프레임은 컨텐츠는 동일하지만 서로 다른 참조를 가지므로, 선행 프레임에 대한 동일한 시각적 변화를 코딩한다. 인코딩된 프레임 스트림 뒤에 이러한 추가 프레임 시퀀스가 추가되고, 이어서 디코딩되고 재생되면, 마지막으로 디코딩된 인코딩된 프레임은 점진적으로 변화하는 것으로 재생된다. 예를 들어, 10개의 추가 프레임이 각각 선행 프레임에 대하여 5도 회전을 코딩하는 경우, 이들이 인코딩된 프레임 스트림 뒤에 추가되면 마지막으로 디코딩된 인코딩된 프레임의 이미지가 0도에서 50도까지 5도씩 단계적으로 회전하도록 만들 것이다.
하나의 추가 이미지 프레임 또는 추가 프레임 시퀀스는 송신기(310), 수신기(320), 또는 중간 장치(315)에 의해 추가될 수 있다. 이벤트의 유형이 송신기(310)의 의도적인 셧다운, 송신기(310)의 재부팅, 또는 송신기(310)의 고장과 같은 송신기 작동 상태의 변화인 경우, 하나의 추가 이미지 프레임 또는 추가 프레임 시퀀스는 송신기(310) 또는 수신기(320) 또는 중간 장치(315)에 의해 추가될 수 있다. 이벤트의 종류가 송신기(310)와 수신기(320) 간의 연결 실패, 송신기(310)와 수신기(320) 간의 재연결과 같이 송신기(310)와 수신기(320) 간의 연결 상태의 변화인 경우, 하나의 추가 이미지 프레임 또는 추가 프레임 시퀀스는 송신기(310), 수신기(320), 또는 중간 장치(315)에 의해 추가될 수 있다.
하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는, 예를 들어, 인코딩된 이미지 프레임의 스트림 뒤에 추가되거나, 또는 인코딩된 이미지 프레임의 스트림 앞에 추가될 수 있다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는, 인코딩된 이미지 프레임 스트림의 다른 이미지 프레임을 기준으로 수신기(320)의 디코더에서 디코딩되어야 하는 스트림 내 위치 및 순서대로 추가되는 것이 바람직하다. 하나의 추가 이미지 프레임 또는 추가 프레임 시퀀스의 각각의 추가 이미지 프레임은, 이미지 프레임의 결합된 스트림 내 다른 이미지 프레임을 기준으로 언제 재생해야 하는지를 식별하기 위해 프레임 번호 및 픽처 순서 카운트(picture order count)를 포함한다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임의 스트림이 전송되지 않는 작동 상태로 변했음을 나타내는 시각적 변화를 코딩하거나, 또는 송신기(310)와 수신기(320) 간 연결 상태가 인코딩된 이미지 프레임 스트림이 전송될 수 없는 연결 상태로 변했음을 나타내는 시각적 변화를 코딩하는 경우, 기 설정된 시각적 변화는 인코딩된 이미지 프레임 스트림의 끝부분에 재생되어야 하므로, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 인코딩된 이미지 프레임 스트림에서 마지막 인코딩된 이미지 프레임 뒤에 추가되는 것이 바람직하다. 이러한 작동 상태의 변화는, 예를 들어, 송신기(310)의 의도적인 셧다운, 송신기(310)의 고장, 및 송신기(310)와 수신기(320) 사이의 연결 실패와 관련될 수 있다. 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임의 스트림이 전송되는 작동 상태로 변했음을 나타내는 시각적 변화를 코딩하거나, 또는 송신기(310)와 수신기(320) 사이의 연결 상태가 인코딩된 이미지 프레임의 스트림이 전송될 수 있는 연결 상태로 변했음을 나타내는 시각적 변화를 코딩하는 경우, 기 설정된 시각적 변화는 인코딩된 이미지 프레임의 스트림의 시작부분에 표시되어야 하므로, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스는 인코딩된 이미지 프레임 스트림의 첫 번째 인코딩된 이미지 프레임 앞에 추가된다. 이러한 작동 상태의 변경은, 예를 들어, 송신기(310)의 재부팅 및 송신기(310)와 수신기(320) 사이의 재연결과 관련될 수 있다. 이하에서 설명하는 바와 같이, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가 첫 번째 인코딩된 이미지 프레임 앞에 추가되는 경우, 시작 이미지 프레임이 되는 선행 이미지 프레임이 추가될 필요가 있다. 이러한 경우, 인코딩된 이미지 프레임 스트림의 첫 번째 인코딩된 이미지 프레임은 인트라 프레임이어야 한다.
선행 이미지 프레임은, 인코딩된 이미지 프레임의 스트림 내의 인코딩된 이미지 프레임일 수 있다. 예를 들어, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 마지막 인코딩된 이미지 프레임 뒤에 추가되어야 하는 경우, 예컨대 감지된 이벤트가 송신기(310)의 의도적인 셧다운, 송신기(310)의 고장, 또는 송신기(310)와 수신기(320) 간의 연결 실패인 경우, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 적어도 하나의 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임에 대한 참조를 포함한다. 예를 들어, 하나의 추가 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임(예: 인코딩된 이미지 프레임 스트림 내의 마지막 인코딩된 이미지 프레임)에 대한 참조를 포함할 수 있다. 마찬가지로, 예를 들어 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임(예: 인코딩된 이미지 프레임 스트림 내의 마지막 인코딩된 이미지 프레임)에 대한 참조를 포함할 수 있다. 이어서 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임 뒤의 추가 이미지 프레임들은, 추가 이미지 프레임 시퀀스 내의 선행 이미지 프레임(예: 추가 이미지 프레임 시퀀스 내의 바로 앞 이미지 프레임)에 대한 참조를 포함할 수 있다. 이러한 경우, 선행 이미지 프레임은 추가 이미지 프레임 시퀀스 내의 추가 이미지 프레임이다. 대안적으로, 추가 이미지 프레임 시퀀스의 모든 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임(예: 인코딩된 이미지 프레임 스트림 내의 마지막 인코딩된 이미지 프레임)에 대한 참조를 포함할 수 있다.
대안적으로, 선행 이미지 프레임은, 시작 이미지를 인트라코딩하는 추가 시작 이미지 프레임일 수 있다. 예를 들어, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 첫 번째 인코딩된 이미지 프레임 앞에 추가되어야 하는 경우, 예컨대 감지된 이벤트가 송신기(310)의 재부팅 또는 송신기(310)와 수신기(320) 간의 재연결인 경우, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 적어도 하나의 이미지 프레임은, 추가 시작 이미지 프레임에 대한 참조를 포함한다. 이어서 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임 뒤의 추가 이미지 프레임들은, 추가 이미지 프레임 시퀀스 내의 선행 이미지 프레임(예: 추가 이미지 프레임 시퀀스 내의 바로 앞 이미지 프레임)에 대한 참조를 포함할 수 있다. 이러한 경우, 선행 이미지 프레임은 추가 이미지 프레임 시퀀스 내의 추가 이미지 프레임이다. 대안적으로, 추가 이미지 프레임 시퀀스의 모든 이미지 프레임은, 추가 시작 이미지 프레임에 대한 참조를 포함할 수 있다.
추가 이미지 프레임 시퀀스의 이미지 프레임은 서로 다른 참조 및 픽처 순서 카운트를 갖지만 컨텐츠는 서로 동일할 수 있다. 예를 들어, 전술한 바와 같이, 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임은, 인코딩된 이미지 프레임 스트림의 마지막 인코딩된 이미지 프레임 또는 추가 시작 이미지에 대한 참조를 포함할 수 있고, 이어서 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임 뒤의 추가 이미지 프레임들은, 추가 이미지 프레임 시퀀스 내의 선행 이미지 프레임(예: 추가 이미지 프레임 시퀀스 내, 즉 이미지 프레임의 결합된 스트림 내의 바로 선행하는 이미지 프레임)에 대한 참조를 포함할 수 있다. 추가 이미지 프레임 시퀀스의 이미지 프레임들이 동일한 컨텐츠를 갖는 것은, 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임에서 선행 이미지 프레임에 대하여 기 설정된 동일한 시각적 변화가 인코딩됨을 의미할 수 있다. 예를 들어, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 동일한 움직임과 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 움직임을 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 동일한 색상의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 색상 변화를 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 동일한 밝기의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 밝기 변화를 인코딩할 수 있다.
추가 이미지 프레임 시퀀스의 이미지 프레임은 서로 다른 참조 및 서로 다른 컨텐츠를 가질 수 있다. 예를 들어, 전술한 바와 같이, 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임은, 인코딩된 이미지 프레임 스트림의 마지막 인코딩된 이미지 프레임 또는 추가 시작 이미지에 대한 참조를 포함할 수 있고, 이어서 추가 이미지 프레임 시퀀스의 첫 번째 이미지 프레임 뒤의 추가 이미지 프레임들은, 추가 이미지 프레임 시퀀스 내의 선행 이미지 프레임(예: 추가 이미지 프레임 시퀀스 내의 바로 선행하는 이미지 프레임)에 대한 참조를 포함할 수 있다. 추가 이미지 프레임 시퀀스의 이미지 프레임들이 서로 다른 컨텐츠를 갖는 것은, 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임에서 선행 이미지 프레임에 대하여 기 설정된 서로 상이한 시각적 변화가 인코딩됨을 의미할 수 있다. 예를 들어, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 증가하거나 감소하는 움직임과 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 각각 픽셀의 기 설정된 가속이나 감속 움직임을 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 증가하거나 감소하는 색상의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 각각 픽셀의 기 설정된 가속되거나 감속되는 색상 변화를 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 증가하거나 감소하는 밝기의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 각각 픽셀의 기 설정된 가속되거나 감속되는 밝기 변화를 인코딩할 수 있다.
추가 이미지 프레임 시퀀스의 이미지 프레임은 서로 동일한 참조 및 서로 상이한 컨텐츠를 가질 수 있다. 예를 들어, 전술한 바와 같이, 추가 이미지 프레임 시퀀스의 모든 이미지 프레임은, 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임(예: 인코딩된 이미지 프레임의 마지막 인코딩된 이미지 프레임 또는 추가 시작 이미지)에 대한 참조를 포함할 수 있다. 추가 이미지 프레임 시퀀스의 이미지 프레임들이 서로 상이한 컨텐츠를 갖는 것은, 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임에서, 동일한 선행 이미지 프레임(예: 인코딩된 이미지 프레임 스트림의 마지막 인코딩된 이미지 프레임 또는 추가 시작 이미지)에 대하여 각각 상이한 기 설정된 시각적 변화가 인코딩됨을 의미할 수 있다. 예를 들어, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 균일하게 더 큰 움직임과 관련되어, 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 움직임을 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 균일하게 더 큰 색상의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 색상 변화를 인코딩할 수 있다. 대안적으로, 또는 추가적으로, 추가 이미지 프레임 시퀀스 내의 각각의 연속적인 추가 이미지 프레임에서 기 설정된 시각적 변화는 기 설정된 균일하게 더 큰 밝기의 변화와 관련되어, 이에 따라 추가 이미지 프레임 시퀀스가 픽셀의 기 설정된 균일한 밝기 변화를 인코딩할 수 있다. 움직임, 색상, 및/또는 밝기의 변화는 또한 가속되도록(즉, 추가 이미지 프레임 시퀀스의 연속적인 추가 이미지 프레임 사이의 변화가 점점 더 커지도록) 또는 감속되도록(즉, 추가 이미지 프레임 시퀀스의 연속적인 추가 이미지 프레임 사이의 변화가 점점 더 작아지도록) 만들어질 수 있다.
일례로서, 서로 동일하거나 상이한 컨텐츠를 가진다는 것은, H.264 및 H.265 비디오 표준에서 슬라이스 데이터가 각각 동일하거나 상이한 것을 의미한다.
예를 들어 움직임, 색상 변화, 및 밝기 변화 중 어느 하나 또는 그 조합을 사용하여, 다양한 기 설정된 시각적 변화를 구상할 수 있다. 예를 들어, 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 이때 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 가로 방향으로만, 또는 세로 방향으로만, 또는 양방향으로 중심을 향해 주어진 거리만큼 모든 픽셀을 이동시키는 경우, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임이 각각 가로 선으로, 세로 선으로, 또는 점으로 점차 축소되는 시각적 변화가 이루어진다. 이렇게 하면 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 가장자리 픽셀이 중앙으로 이동하므로, 최종 결과물이 단일 색상 화면이 되려면, 다른 색상을 유지할 수 있는 중앙의 픽셀을 제외하고 이러한 가장자리 픽셀을 단일 색상으로 변경하거나 페이드(fade)해야 한다. 이러한 기 설정된 시각적 변화는, 기 설정된 모션 벡터 및 기 설정된 양자화 주파수 영역 계수를 포함하는 추가 이미지 프레임 시퀀스에서 인코딩될 수 있다.
다른 예에서, 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 이때 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 중심을 기준으로 주어진 각도만큼 픽셀 블록을 이동시키는 경우, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임이 중심을 기준으로 회전하는 시각적 변화가 이루어진다. 이러한 기 설정된 시각적 변화는 기 설정된 모션 벡터를 포함하는 추가 이미지 프레임 시퀀스에서 인코딩될 수 있으며, 각각의 연속적인 추가 이미지 프레임 내의 작은 회전 각도에 대해 작동한다. '작은' 회전 각도에 대해서만 작동하는 이유는, 움직임이 픽셀 블록을 이동하여 이루어짐에 따라 1픽셀보다 큰 픽셀 블록의 경우 이는 회전 움직임의 근사치일 뿐이기 때문이다. 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 회전 움직임의 근사치가 되는 보다 큰 움직임이 가능하지만, 회전 움직임과 연관된 아티팩트(artifacts)가 발생할 수 있다. 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 각도 이동의 크기는 픽셀 블록의 크기에 따라 달라진다. 예를 들어, 8×8 픽셀 크기의 픽셀 블록의 경우, 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임 내에서 7도에 해당하는 움직임은 최소한 충분히 작을 것이다. 또한, 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임 내에서 더 큰 각도에 해당하는 움직임도 가능하지만, 추가적인 아티팩트가 발생할 것이다. 추가 이미지 프레임 시퀀스에 충분한 개수의 추가 이미지 프레임을 제공하여, 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임 내에서 '작은' 각도에 해당하는 움직임이 추가 이미지 프레임 시퀀스 전체에 걸쳐 원하는 총 각도를 만들도록 함으로써, 원하는 총 회전 움직임에 해당되는 움직임을 얻을 수 있다. 따라서 원하는 임의의 크기의 각도를 달성할 수 있다.
다른 예에서, 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 이때 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 모든 픽셀의 밝기를 주어진 값만큼 감소시키거나 증가시키는 경우, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임이 각각 점차 검정색이 되거나 흰색이 되는 시각적 변화가 이루어진다. 이러한 기 설정된 시각적 변화는, 기 설정된 양자화 주파수 영역 계수를 포함하는 추가 이미지 프레임 시퀀스에서 인코딩될 수 있다.
다른 예에서, 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 이때 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 선택된 픽셀의 밝기를 주어진 값만큼 감소시키거나 증가시키는 경우, 인코딩된 이미지 프레임 스트림 내 인코딩된 이미지 프레임의 선택된 픽셀이 각각 점차 검정색이 되거나 흰색이 되는 시각적 변화가 이루어진다. 선택된 픽셀은, 예를 들어, 이미지 프레임에서 원하는 텍스트 메시지를 형성하기 위해 선택될 수 있다. 이러한 기 설정된 시각적 변화는, 기 설정된 주파수 영역 계수를 이용해 인코딩될 수 있다.
다른 예에서, 추가 이미지 프레임 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 이때 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각각의 연속적인 추가 이미지 프레임에서 모든 픽셀의 특정 색상은 주어진 값만큼 증가시키고 모든 픽셀의 다른 모든 색상을 각각 주어진 값만큼 감소시키는 경우, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임이 점차 특정 색상으로 변하는 시각적 변화가 이루어진다. 이러한 기 설정된 시각적 변화는, 기 설정된 양자화 주파수 영역 계수를 포함하는 추가 이미지 프레임 시퀀스에서 인코딩될 수 있다.
다른 예에서, 추가 이미지 프레임의 시퀀스가, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임에 대한 시각적 변화를 인코딩하고, 여기서 인코딩된 시각적 변화가 추가 이미지 프레임 시퀀스의 각 연속적인 추가 이미지 프레임에서 선택된 픽셀의 특정 색상이 주어진 양만큼 증가하는 경우, 인코딩된 이미지 프레임 스트림의 인코딩된 이미지 프레임의 선택된 픽셀이 점차 특정 색으로 변하는 시각적 변화가 달성된다. 선택된 픽셀은, 예를 들어, 이미지 프레임에서 원하는 텍스트 메시지를 형성하기 위해 선택된 픽셀일 수 있다. 이러한 기 설정된 시각적 변화는 기 설정된 양자화 주파수 영역 계수를 포함하는 추가 이미지 프레임 시퀀스에서 인코딩될 수 있다.
방법(100)은, 이미지 프레임의 결합된 스트림을 디코더(예를 들어, 수신기(320)에 구비된 디코더)로 전송하는 단계(S140), 이미지 프레임의 결합된 스트림을 디코딩하는 단계(S150), 및 디코딩된 이미지 프레임의 결합된 스트림을 디스플레이(예를 들어, 수신기(320)에 연결된 디스플레이)에 재생하는 단계(S160)를 더 포함할 수 있다. 결합된 스트림을 재생할 때, 감지된 이벤트를 나타내는 기 설정된 시각적 변화가 재생된다.
도 2는, 인코딩된 이미지 프레임의 스트림(인코딩된 이미지 프레임의 스트림은, 인코더에 의하여 인코딩된 이미지 프레임으로 이루어짐)에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 본 발명의 시스템(200)의 실시예와 관련된 개략도를 도시한다. 시스템(200)은 회로(210)를 포함한다. 회로(210)는 시스템(200)의 기능(functions)을 수행하도록 구성된다. 회로(210)는, 중앙 처리 장치(CPU), 마이크로 제어기, 또는 마이크로 프로세서와 같은 프로세서(212)를 포함할 수 있다. 프로세서(212)는 프로그램 코드를 실행하도록 구성된다. 프로그램 코드는, 예를 들어, 시스템(200)의 기능을 수행하도록 구성될 수 있다.
시스템(200)은 메모리(230)를 더 포함할 수 있다. 메모리(230)는, 버퍼, 플래시 메모리, 하드 드라이브, 이동식 미디어, 휘발성 메모리, 비휘발성 메모리, 랜덤 액세스 메모리(RAM), 또는 다른 적합한 장치 중 하나 이상일 수 있다. 일반적인 배열에서, 메모리(230)는 장기적인 데이터 저장을 위한 비휘발성 메모리 및 회로(210)를 위한 장치 메모리로서 기능하는 휘발성 메모리를 포함할 수 있다. 메모리(230)는 데이터 버스(data bus)를 통해 회로(210)와 데이터를 교환할 수 있다. 이와 함께 메모리(230)와 회로(210) 사이의 제어선(control lines) 및 주소 버스(address bus) 또한 존재할 수 있다.
시스템(200)의 기능은, 예를 들어 메모리(230)와 같은 비일시적 컴퓨터 판독 가능 매체에 저장되고 회로(210)에 의하여(예를 들면, 프로세서(212)를 사용하여) 실행되는, 실행 가능한 로직 루틴(예: 코드 라인, 소프트웨어 프로그램 등)의 형태로 구체화될 수 있다. 또한, 시스템(200)의 기능은 독립형 소프트웨어 애플리케이션이거나, 시스템(200)과 관련된 추가 작업을 수행하는 소프트웨어 애플리케이션의 일부를 형성할 수 있다. 설명된 기능들은, 처리 유닛, 예를 들어 회로(210)의 프로세서(212)가 수행하도록 구성되는 방법으로 간주될 수 있다. 또한, 설명된 기능들은 소프트웨어로 구현될 수 있지만, 이러한 기능은 전용 하드웨어 또는 펌웨어를 통하여 수행되거나, 하드웨어, 펌웨어, 및/또는 소프트웨어의 조합을 통해 수행될 수도 있다.
회로(210)는, 감지 기능(231), 제공 기능(233), 및 추가 기능(234)을 실행하도록 구성된다. 회로(210)는 선택적으로 생성 기능(232) 및 전송 기능(235)을 더 실행하도록 구성될 수 있다.
감지 기능(231)은, 인코딩된 이미지 프레임 스트림의 송신기(310)의 작동 상태 변화 및 인코딩된 이미지 프레임 스트림의 송신기(310)와 수신기(320) 사이의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하도록 구성된다.
제공 기능(233)은, 감지 기능(231)에 의해 감지된 이벤트의 유형에 따라 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 제공하도록 구성되는데, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은 선행 이미지 프레임에 대한 참조를 포함하고 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하며, 여기서 기 설정된 시각적 변화는 감지 기능(231)에 의해 감지된 이벤트의 유형을 나타낸다.
추가 기능(234)은, 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 인코딩된 이미지 프레임의 스트림에 추가하여, 이미지 프레임의 결합된 스트림을 얻도록 구성된다.
생성 기능(232)은, 기 설정된 모션 벡터 및/또는 기 설정된 주파수 영역 계수만을 기반으로 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스의 각각의 프레임을 생성하도록 구성된다.
전송 기능(235)은, 이미지 프레임의 결합된 스트림을 디코더로 전송하도록 구성된다.
시스템(200) 및 이에 포함된 부품들은 일반적으로 하나의 단일 위치에서 구현되지 않는다는 점이 이해되어야 한다. 예를 들어, 회로(210) 및 메모리(230)는 송신기(310)와 수신기(320) 간에 분배되거나 복제될 수 있다. 전형적으로, 송신기(310)에서 식별되는 유형의 이벤트는, 송신기(310)에 위치한 메모리(230) 내의 회로(210) 및 기능(231 내지 235)의 일부에 의해 처리되거나, 또는 송신기(310)에 위치한 메모리(230) 내의 복제된 회로(210) 및 기능(231 내지 235) 중 하나에 의해 처리될 것이다. 이에 대응하여, 수신기(320)에서 식별되는 유형의 이벤트는, 전형적으로 수신기(320)에 위치한 메모리(230) 내의 회로(210) 및 기능(231 내지 235)의 일부에 의해 처리되거나, 또는 수신기(320)에 위치한 메모리(230) 내의 복제된 회로(210) 및 기능(231 내지 235) 중 하나에 의해 처리될 것이다.
시스템(200)은 디코더(240)를 더 포함할 수 있다. 디코더(240)는 이미지 프레임의 결합된 스트림을 디코딩하도록 구성된다. 디코더(240)는 수신기(320)의 위치에 위치한다.
시스템(200)은 디스플레이(250)를 더 포함할 수 있다. 디스플레이(250)는 디코더(240)에 의해 디코딩된 이미지 프레임의 결합된 스트림을 재생하도록 구성된다. 이에 따라, 감지된 이벤트를 나타내는 기 설정된 시각적 변화가 디스플레이(250)에 재생된다. 디스플레이(250)는 수신기(320)의 위치에 위치한다.
회로(210)에 의해 수행되는 기능들은, 도 1 및 도 3과 관련하여 설명된 방법의 실시예에서 대응되는 단계들과 동일한 방식으로 더 적응될 수 있다.
당업자는 본 발명이 상술한 실시예에 한정되지 않는다는 것을 인식할 것이다. 오히려, 첨부된 청구범위의 범위 내에서 많은 수정 및 변형이 가능하다. 이러한 수정 및 변형은, 도면, 개시 내용, 및 첨부된 청구범위의 연구를 통해 청구된 발명을 실시하는 당업자에 의해 이해되고 시행될 수 있다.

Claims (13)

  1. 인코딩된 이미지 프레임 스트림(stream) - 상기 인코딩된 이미지 프레임 스트림은 인코더(encoder)에 의해 인코딩된 이미지 프레임으로 이루어짐 - 에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스(sequence)를 추가하는 방법에 있어서,
    (i) 상기 인코딩된 이미지 프레임 스트림의 송신기의 작동 상태 변화 및 (ii) 상기 인코딩된 이미지 프레임 스트림의 상기 송신기와 수신기 간의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하는 단계;
    상기 감지된 이벤트의 상기 유형에 따라, 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스를 제공하는 단계 - 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행(preceding) 이미지 프레임에 대한 참조(reference)를 포함하며 상기 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하고, 상기 기 설정된 시각적 변화는 상기 감지된 이벤트의 상기 유형을 나타냄-; 및
    상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스를 상기 인코딩된 이미지 프레임 스트림에 추가하여, 결합된(combined) 스트림을 얻는 단계; 를 포함하는,
    방법.
  2. 제1항에 있어서,
    (i) 기 설정된 모션 벡터 및 기 설정된 주파수 영역 계수(frequency domain coefficients) 중 적어도 하나, 및 (ii) 블록 유형 만을 기반으로 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스의 상기 각각의 추가 이미지 프레임을 생성하는 단계; 를 더 포함하는,
    방법.
  3. 제1항에 있어서,
    상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스 각각은,
    모션 벡터 및 양자화(quantized) 주파수 영역 계수 중 적어도 하나를 갖는 하나 이상의 인터블록(interblock); 및
    양자화 주파수 영역 계수를 갖는 하나 이상의 인트라블록(intrablock); 중 적어도 하나를 더 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 선행 이미지 프레임은,
    상기 인코딩된 이미지 프레임 스트림 내의 인코딩된 이미지 프레임;
    시작 이미지를 인트라코딩(intracoding)하는 추가된 시작 이미지 프레임; 및
    상기 추가 이미지 프레임 시퀀스 내의 추가 이미지 프레임; 중 어느 하나인,
    방법.
  5. 제4항에 있어서,
    상기 선행 이미지 프레임은, 상기 결합된 스트림에서 바로 선행하는(directly preceding) 이미지 프레임인,
    방법.
  6. 제1항에 있어서,
    상기 추가 이미지 프레임 시퀀스는,
    서로 상이한 참조 및 서로 동일한 컨텐츠(content)를 갖는 추가 이미지 프레임;
    서로 동일한 참조 및 서로 상이한 컨텐츠를 갖는 추가 이미지 프레임;
    서로 상이한 참조 및 서로 상이한 컨텐츠를 갖는 추가 이미지 프레임; 중 적어도 하나를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 결합된 스트림을 디코더(decoder)로 전송하는 단계;
    상기 결합된 스트림을 디코딩하는 단계; 및
    상기 디코딩된 결합된 스트림을 디스플레이(display)에서 재생하여, 이에 따라 상기 감지된 이벤트를 나타내는 상기 기 설정된 시각적 변화를 재생하는 단계; 를 더 포함하는,
    방법.
  8. 제1항에 있어서,
    상기 감지된 이벤트는,
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기의 셧다운;
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기와 상기 수신기 간의 연결 실패;
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기의 고장;
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기의 개시(start-up);
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기와 상기 수신기 간의 재연결; 및
    상기 인코딩된 이미지 프레임 스트림의 상기 송신기의 재부팅; 중 적어도 하나의 유형과 관련되는,
    방법.
  9. 제1항에 있어서,
    상기 기 설정된 시각적 변화는, 움직임, 색상의 변화, 및 밝기의 변화 중 어느 하나인,
    방법.
  10. 적어도 하나의 프로세서를 갖는 장치에서 실행될 때 제1항에 따른 방법을 구현하기 위한 인스트럭션이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  11. 인코딩된 이미지 프레임 스트림 - 상기 인코딩된 이미지 프레임 스트림은 인코더에 의해 인코딩된 이미지 프레임으로 이루어짐 - 에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템에 있어서,
    (i) 상기 인코딩된 이미지 프레임 스트림의 송신기의 작동 상태 변화 및 (ii) 상기 인코딩된 이미지 프레임 스트림의 상기 송신기와 수신기 간의 연결 상태 변화 중 적어도 하나의 유형과 관련된 이벤트를 감지하도록 구성되는 감지 기능;
    상기 감지 기능에 의하여 감지된 상기 이벤트의 상기 유형에 따라, 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스를 제공하도록 구성되는 제공 기능 - 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스의 각각의 추가 이미지 프레임은, 선행 이미지 프레임에 대한 참조를 포함하며 상기 선행 이미지 프레임에 대한 기 설정된 시각적 변화를 코딩하고, 상기 기 설정된 시각적 변화는 상기 감지된 이벤트의 상기 유형을 나타냄-; 및
    상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스를 상기 인코딩된 이미지 프레임 스트림에 추가하여, 결합된 스트림을 얻도록 구성되는 추가 기능;
    을 실행하도록 구성된 회로를 포함하는,
    시스템.
  12. 제11항에 있어서,
    상기 회로는,
    상기 결합된 스트림을 디코더로 전송하도록 구성되는 전송 기능; 을 실행하도록 더 구성되며,
    상기 결합된 스트림을 디코딩하도록 구성되는 디코더; 및
    상기 디코딩된 결합된 스트림을 재생하여, 이에 따라 상기 감지된 이벤트를 나타내는 상기 기 설정된 시각적 변화를 재생하도록 구성되는 디스플레이; 를 더 포함하는,
    시스템.
  13. 제11항에 있어서,
    상기 회로는,
    기 설정된 모션 벡터 및 기 설정된 주파수 영역 계수 중 적어도 하나만을 기반으로 상기 하나의 추가 이미지 프레임 또는 상기 추가 이미지 프레임 시퀀스의 상기 각각의 추가 이미지 프레임을 생성하도록 구성되는 생성 기능; 을 실행하도록 더 구성되는,
    시스템.
KR1020230045318A 2022-04-25 2023-04-06 인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법 KR20230151465A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22169707.1A EP4270939B1 (en) 2022-04-25 2022-04-25 System and method for adding one additional image frame or a sequence of additional image frames to a stream of encoded image frames
EP22169707.1 2022-04-25

Publications (1)

Publication Number Publication Date
KR20230151465A true KR20230151465A (ko) 2023-11-01

Family

ID=81386468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230045318A KR20230151465A (ko) 2022-04-25 2023-04-06 인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US20230345011A1 (ko)
EP (1) EP4270939B1 (ko)
JP (1) JP2023161567A (ko)
KR (1) KR20230151465A (ko)
CN (1) CN116962597A (ko)
TW (1) TW202344061A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034679B2 (en) 2001-12-31 2006-04-25 Ncr Corporation System and method for enhancing security at a self-checkout station
US20070296817A1 (en) 2004-07-09 2007-12-27 Touradj Ebrahimi Smart Video Surveillance System Ensuring Privacy
KR20200057346A (ko) * 2018-11-16 2020-05-26 한국남동발전 주식회사 Cctv 전송저장영상 감시를 통해 예외처리를 하는 관리시스템

Also Published As

Publication number Publication date
EP4270939C0 (en) 2024-03-27
EP4270939B1 (en) 2024-03-27
US20230345011A1 (en) 2023-10-26
JP2023161567A (ja) 2023-11-07
TW202344061A (zh) 2023-11-01
EP4270939A1 (en) 2023-11-01
CN116962597A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
JP7309478B2 (ja) オーバーレイを伴うビデオを符号化するための方法およびシステム
CN108737825B (zh) 视频数据编码方法、装置、计算机设备和存储介质
US10277901B2 (en) Encoding a video stream having a privacy mask
US10165290B2 (en) Method for encoding digital video data
CN109391846B (zh) 一种自适应模式选择的视频加扰方法及装置
US8811483B2 (en) Video processing apparatus and method
CN110113610B (zh) 数据传输方法及装置
US10834394B2 (en) Method and a controller for adding comfort noise to a video sequence
KR20230151465A (ko) 인코딩된 이미지 프레임 스트림에 하나의 추가 이미지 프레임 또는 추가 이미지 프레임 시퀀스를 추가하기 위한 시스템 및 방법
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
US9451288B2 (en) Inferred key frames for fast initiation of video coding sessions
JP4723486B2 (ja) グループオブピクチャへのランダム・アクセスを提供するためのグループオブピクチャの再構造化方法
CN110677672B (zh) 用于对具有叠加的视频进行编码的方法和系统
JP2004048311A (ja) Ｍｐｅｇデータ復号処理装置およびエラー検出方法
US8358694B2 (en) Effective error concealment in real-world transmission environment
JPH09312847A (ja) 動画像の符号化方法

Legal Events

Date Code Title Description
A201 Request for examination