KR101641716B1 - 통합 영상 부호화 방법 및 장치 - Google Patents

통합 영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR101641716B1
KR101641716B1 KR1020090082623A KR20090082623A KR101641716B1 KR 101641716 B1 KR101641716 B1 KR 101641716B1 KR 1020090082623 A KR1020090082623 A KR 1020090082623A KR 20090082623 A KR20090082623 A KR 20090082623A KR 101641716 B1 KR101641716 B1 KR 101641716B1
Authority
KR
South Korea
Prior art keywords
integrated image
integrated
image
encoding
bit amount
Prior art date
Application number
KR1020090082623A
Other languages
English (en)
Other versions
KR20110024574A (ko
Inventor
임정연
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090082623A priority Critical patent/KR101641716B1/ko
Publication of KR20110024574A publication Critical patent/KR20110024574A/ko
Application granted granted Critical
Publication of KR101641716B1 publication Critical patent/KR101641716B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 통합 영상 부호화 방법 및 장치에 관한 것이다.
본 발명은 통합 영상을 부호화하는 방법에 있어서, 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하여 저장하고, 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 저장하며, 복수 개의 영상을 통합하여 통합 영상을 생성하며, 복호화 분석 정보를 이용하여 통합 영상 부호화 정보를 결정하며, 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화하는 것을 특징으로 하는 통합 영상 부호화 방법을 제공한다.
본 발명에 의하면, 복수 개의 영상을 통합한 통합 영상을 예측 부호화하기 위한 다양한 부호화 정보를 결정하는 과정을 신속히 처리하여 부호화 처리 속도를 향상시킬 수 있을 뿐만 아니라, 효율적인 율 제어를 통해 비트량을 조절할 수 있고 통신 환경을 고려하여 비트량을 조절할 수 있기 때문에 더욱 좋은 영상 품질을 얻으면서도 부호화 데이터의 전송 효율도 향상시킬 수 있다.
통합 영상, 부호화 모드, 양자화 파라미터, 율 제어

Description

통합 영상 부호화 방법 및 장치{Integrated Video Encoding Method and Apparatus}
본 발명은 통합 영상 부호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하고 통합하여 하나의 통합 영상을 부호화하기 위한 방법 및 장치에 관한 것이다.
광대역 코드 분할 다중 접속(WCDMA: Wideband Coded Division Multiple Access) 시스템을 이용한 3 세대 이동통신 서비스가 제공되면서 이동통신 가입자 간에 서로 얼굴을 보면서 통화할 수 있는 휴대 영상 통화의 시대가 열렸고, 나아가 다자간에 참여가 가능한 영상 회의 시스템도 개발되었다.
통상적인 영상 회의 시스템에서는 컴퓨터를 소유한 개별 사용자들의 동영상 스트림을 모두 수신하여 하나의 통합된 동영상 스트림으로 다시 부호화(Encoding)한 후 각 사용자들에게 제공한다. 이 과정에서 영상 회의 시스템은 개별 사용자들의 컴퓨터에서 전송된 동영상 스트림을 수신하여 복호화(Decoding)하고, 복호화된 영상의 프레임의 크기를 하나의 통합된 프레임 크기에 맞도록 재조정(Re-scale)하여, 영상 회의 시스템에 이용되는 유선 또는 무선의 통신망에 적절한 전송 률(Bitrate)로 다시 부호화한다.
하지만, 이러한 통상적인 영상 회의 시스템은 개별 사용자들로부터 전송되는 동영상의 특성에 대해 특별하게 고려하지 않고 단순히 복호화하고 통합하여 다시 부호화하기 때문에, 다시 부호화하는 과정에서 개별 사용자들의 복호화된 동영상을 구성하는 프레임의 모든 매크로블록에 대해 움직임 예측 과정을 다시 수행해야 하므로, 부호화에 많은 시간이 소요되어 다시 부호화된 통합된 동영상의 스트림을 실시간으로 전송하기 어려운 문제점이 있으며, 통합된 동영상의 프레임에 대해 효율적으로 비트율 제어를 수행하기 어려운 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 정보를 통합된 동영상을 부호화하는 데 활용함으로써, 복수 개의 영상이 통합된 동영상을 부호화하기 위한 부호화 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 통합 영상을 부호화하는 장치에 있어서, 복수 개의 영상 스트림을 복호화하여 복원되는 복수 개의 영상과 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 출력하는 복호화기; 추출되는 복호화 분석 정보를 저장하는 정보 버퍼; 복원되는 복수 개의 영상을 저장하는 영상 버퍼; 및 복수 개의 영상을 통합하여 통합 영상을 생성하고, 복호화 분석 정보를 이용하여 통합 영상 부호화 정보를 결정하며, 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화하는 부호화기를 포함하는 것을 특징으로 하는 통합 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 통합 영상을 부호화하는 방법에 있어서, 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하여 저장하는 단계; 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 저장하는 단계; 복수 개의 영상을 통합하여 통합 영상을 생성하는 단계; 복호화 분석 정보를 이용하여 통합 영상 부호화 정보를 결정하는 단계; 및 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화하는 단계를 포함하는 것을 특징으로 하는 통합 영상 부호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 복수 개의 영상을 통합한 통합 영상을 예측 부호화하기 위한 다양한 부호화 정보를 결정하는 과정을 신속히 처리하여 부호화 처리 속도를 향상시킬 수 있을 뿐만 아니라, 효율적인 율 제어를 통해 비트량을 조절할 수 있고 통신 환경을 고려하여 비트량을 조절할 수 있기 때문에 더욱 좋은 영상 품질을 얻으면서도 부호화 데이터의 전송 효율도 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서 는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서는 영상 회의 시스템 등과 같은 영상 처리 시스템에서 4 명의 사용자의 사용자 단말기로부터 전송되는 4 개의 영상 스트림을 통합하여 하나의 통합된 영상 스트림으로 생성하는 경우를 예를 들어 본 발명의 일 실시예를 설명한다. 다만, 이러한 예는 설명의 편의를 위한 것일 뿐, 본 발명의 일 실시예는 이러한 영상 회의 시스템뿐만 아니라 2 개 이상 복수 개의 CCTV로부터 촬영되는 영상이 부호화된 복수 개의 영상 스트림을 통합된 영상 스트림으로 생성하는 경우 또는 복수 개의 TV 영상 스트림을 하나의 통합된 영상 스트림으로 생성하는 경우 등 다양한 응용에 적용될 수 있을 것이다.
또한, 통합 영상 부호화 장치에서 통합된 영상 스트림은 실시간 또는 비실시 간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 이동통신 단말기, 사용자 컴퓨터와 같은 통합 영상 복호화 장치로 전송되어 통합 영상 복호화 장치에서 복호화되어 통합 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할된다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
이하에서는 영상이 매크로블록과 같은 블록으로 분할되어 부호화되고 복호화되는 것으로 설명하지만, 반드시 이에 한정되지 않고 정형화되거나 비정형화된 다 양한 형태의 영역으로 분할되어 부호화되고 복호화될 수도 있다. 또한, 통상적으로 매크로블록이라 하면 16x16 화소를 가지는 블록이라고 인식될 수 있지만, 반드시 이에 한정되지 않고 64x64 화소, 128x128 화소, 32x64 화소 등과 같은 다양한 개수의 화소를 가지는 블록일 수 있다.
도 1은 본 발명의 일 실시예에 따른 통합 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 통합 영상 부호화 장치(100)는 복호화기(Decoder, 110), 영상 버퍼(Video Buffer, 130), 정보 버퍼(Information Buffer, 140) 및 부호화기(Encoder, 150)를 포함하여 구성될 수 있다. 이러한 통합 영상 부호화 장치(100)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등과 같은 사용자 단말기이거나 서버 컴퓨터 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화기(110)는 복수 개의 영상 스트림(Video Stream)을 복호화하여 복원되는 복수 개의 영상과 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보(Decoding Analysis Information)를 출력한다. 즉, 도 1을 참조하면, 복호화기(110)는 여러 사용자 단말기 등으로부터 전송되는 제 1 영상 스트림 내지 제 4 영상 스트림과 같은 4 개의 영상 스트림이 입력되면 각 영상 스트림을 복호화하여 제 1 영상 내지 제 4 영상을 복원하고, 각 영상 스트림을 복호화하는 과정에서 각 영상 스트림을 부호화할 때 이용한 다양한 정보 즉, 각 영상 스트림의 비트량, 각 영상(또는 각 영상의 모든 매크로블록)의 부호화 모드(Encoding Mode) 및/또는 움직임 벡터(Motion Vector), 양자화 파라미터(Quantization Parameter) 등과 같은 복호화 분석 정보를 추출하여 출력한다. 이를 위해, 복호화기(110)는 도 1에 도시한 바와 같이, 엔트로피 디코더(Entropy Decoder, 112), 역 양자화기(Inverse Quantizer, 114), 역 변환기(Inverse Transformer, 112), 인터 예측기(Inter Predictor, 118), 인트라 예측기(Intra Predictor, 120), 가산기(Adder, 122) 및 참조 픽처 버퍼(Reference Picture Buffer, 124)를 포함하여 구성될 수 있다.
영상 버퍼(130)는 복호화기(110)에 의해 복원되는 복수 개의 영상을 저장하고, 정보 버퍼(140)는 복호화기(110)에 의해 추출되는 복호화 분석 정보를 저장한다. 영상 버퍼(130)와 정보 버퍼(140)에 각각 저장되는 복원되는 복수 개의 영상과 복호화 분석 정보는 부호화기(150)에서 새로운 픽처 그룹(GOP: Group of Picture)의 구간에 대한 부호화가 시작되기 전까지 저장되며, 새로운 픽처 그룹에 대해 부호화가 시작되면 삭제되어 그 새로운 픽처 그룹의 부호화를 위해 복원되는 복수 개의 영상과 복호화 분석 정보를 저장한다.
부호화기(150)는 복수 개의 영상을 통합하여 통합 영상(Integrated Video)을 생성하고, 복호화 분석 정보를 이용하여 통합 영상 부호화 정보(Integrated Video Encoding Information)를 결정하며, 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화한다. 즉, 도 1을 참조하면, 부호화기(150)는 복원되어 영상 버퍼(130)에 저장된 제 1 영상 내지 제 4 영상을 하나의 영상으로 통합하여 통합 영상을 생성하고, 정보 버퍼(140)에 저장된 복호화 분석 정보를 이용하여 통합 영상을 부호화하기 위한 부호화 모드와 양자화 파라미터 등을 포함하는 통합 영상 부호화 정보를 결정하며, 결정된 부호화 모드와 양자화 파라미터 등을 이용하여 통합 영상을 부호화함으로써 부호화 데이터를 생성하고 출력한다. 이를 위해, 부호화기(150)는 도 1에 도시한 바와 같이, 율 제어기(Rate Controller, 152), 인터 예측기(Inter Predictor, 154), 인트라 예측기(Intra Predictor, 156), 감산기(Subtracter, 158), 변환기(Trnasformer, 160), 양자화기(Quantizer, 162), 엔트로피 인코더(Entropy Encoder, 164), 역 양자화기(Inverse Quantizer, 166), 역 변환기(Inverse Transformer, 168), 가산기(Adder, 170) 및 참조 픽처 버퍼(Reference Picture Buffer, 172)를 포함하여 구성될 수 있다.
여기서, 통합 영상 부호화 정보는 통합 영상에 대한 통합 영상 부호화 모드 및 통합 영상 양자화 파라미터를 포함할 수 있다. 통합 영상 부호화 모드란 통합 영상을 구성하는 매크로블록의 크기와 예측 방식 등을 식별하기 위한 부호화 모드를 말하며, 통합 영상의 각 프레임(Frame) 또는 픽처(Picture)을 구성하는 모든 매크로블록에 대한 부호화 모드를 포함할 수 있다. 통합 영상 양자화 파라미터란 통합 영상을 구성하는 각 프레임 또는 각 프레임의 매크로블록별로 할당되는 양자화 파라미터를 말한다.
또한, 부호화기(150)는 복호화 분석 정보를 이용하여 통합 영상의 관심 영역을 결정하고, 복호화 분석 정보 및 결정되는 관심 영역을 기초로 통합 영상 부호화 모드 및 통합 영상 양자화 파라미터를 결정할 수 있다. 이를 위해, 부호화기(150)는 통합 영상에서 복원되는 복수 개의 영상에 해당하는 복수 개의 영역에 대한 영상 스트림의 비트량의 비율에 따라 관심 영역을 결정할 수 있다. 예를 들어, 부호화기는(150)는 각 영역에 대한 비트량의 비율에 따른 복수 개의 영역에 대한 전체 움직임의 총 양으로 결정되는 각 영역에 대한 관심 영역 지수 중 가장 큰 관심 영역 지수를 가지는 영역을 관심 영역으로 결정할 수 있다. 여기서, 복수 개의 영역에 대한 전체 움직임의 총 양은 복원되는 복수 개의 영상의 각 매크로블록의 움직임 벡터의 각 원소별 절대치의 합일 수 있으며, 영역에 대한 비트량의 비율은 통합 영상에 대한 목표 비트량에 대한 각 영역에 대한 영상 스트림의 비트량의 비율일 수 있다.
또한, 부호화기(150)는 복수 개의 영역 중 관심 영역에 대한 비트량이 나머지 영역에 대한 비트량보다 크게 할당되도록 통합 영상 양자화 파라미터를 결정할 수 있다.
또한, 부호화기(150)는 복호화 분석 정보에 포함되는 부호화 모드에 의해, 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 부호화 모드가 인터 모드인 것으로 판단되는 경우, 부호화 모드를 결정하고자 하는 매크로블록의 부호화 모드를 인터 모드로 결정할 수 있다. 이 경우, 부호화기(150)는 복호화 분석 정보에 포함되는 움직임 벡터 중 부호화하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 움직임 벡터의 크기를 통합 영상의 프레임 크기에 대해 보간하고, 보간된 움직임 벡터를 이용하여 부호화하고자 하는 매크로블록을 움직임 예측 부호화할 수 있다. 이때, 부호화기(150)는 보간된 움직임 벡터의 크기를 소정 범위로 확대 또는 축소하여 움직임 예측 부호화할 수 있다.
또한, 부호화기(150)는 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 부호화 모드가 인트라 모드인 것으로 판단되는 경우 또는 부호화 모드를 결정하고자 하는 매크로블록이 관심 영역 내에 있는 경우, 부호화 모드를 결정하고자 하는 매크로블록의 부호화 모드를 율-왜곡 최적화를 이용하여 결정할 수 있다.
또한, 부호화기(150)는 통합 영상 부호화 정보를 이용하여 통합 영상의 부호화에 따라 발생되는 비트량인 통합 영상 비트량을 계산하고, 통신 환경을 고려한 예상 비트량을 계산하며, 통합 영상 비트량이 예상 비트량을 초과하는 경우에는 통합 영상 양자화 파라미터를 재조정할 수 있다.
이하에서는 도 1을 통해 전술한 본 발명의 일 실시예에 따른 통합 영상 부호화 장치(100)에 의해 수행되는 통합 영상 부호화 방법을 설명한다.
통합 영상 부호화 방법에 따르면, 통합 영상 부호화 장치(100)는 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하여 저장하고, 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 저장하며, 복수 개의 영상을 통합하여 통합 영상을 생성하며, 복호화 분석 정보를 이용하여 통합 영상 부호화 정보를 결정하며, 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화한다.
이때, 통합 영상 부호화 장치(100)는 통합 영상 부호화 정보를 결정하는데 있어서, 복호화 분석 정보를 이용하여 통합 영상의 관심 영역을 결정하고, 복호화 분석 정보와 관심 영역을 기초로 통합 영상 부호화 모드와 통합 영상 양자화 파라미터를 포함하는 통합 영상 부호화 정보를 결정할 수 있다.
또한, 통합 영상 부호화 장치(100)는 통합 영상을 부호화하는 데 있어서, 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화함에 따라 발생되는 비트량인 통합 영상 비트량을 계산하고, 통신 환경을 고려한 예상 비트량을 계산하며, 통합 영상 비트량이 예상 비트량보다 작거나 같은 경우에는 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화하고, 통합 영상 비트량이 예상 비트량을 초과하는 경우에는 통합 영상 양자화 파라미터를 재조정하고 재조정된 통합 영상 양자화 파라미터를 포함하는 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 통합 영상 부호화 방법을 도 2를 통해 더욱 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 통합 영상 부호화 방법을 설명하기 위한 순서도이다.
여러 사용자가 각자의 사용자 단말기로 각자의 영상을 부호화하여 영상 스트림을 생성하고 통합 영상 부호화 장치(100)로 전송하면, 통합 영상 부호화 장치(100)는 전송되어 입력되는 여러 사용자로부터의 복수 개의 영상 스트림을 복호 화하여 복수 개의 영상을 복원한다(S210). 즉, 통합 영상 부호화 장치(100)는 복수 개의 영상 스트림을 각각 복호화하여 복수 개의 영상을 복원하며, 복원되는 복수 개의 영상을 새로운 픽처 그룹을 부호화할 때까지 저장하여 유지한다.
통합 영상 부호화 장치(100)는 단계 S210과 같이 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 정보를 기초로 복호화 분석 정보를 생성한다(S220). 즉, 통합 영상 부호화 장치(100)는 복수 개의 영상 스트림을 복호화하는 과정에서 복수 개의 영상 스트림 각각의 비트량, 복원되는 복수 개의 영상 각각에 대한 부호화 모드와 양자화 파라미터를 포함하는 부호화 정보 및 복수 개의 영상 각각에 대한 움직임 벡터 등과 같은 정보들을 추출하고 추출되는 정보들을 포함하는 복호화 분석 정보를 생성하고 복호화 분석 정보를 새로운 픽처 그룹을 부호화할 때까지 저장하여 유지한다.
통합 영상 부호화 장치(100)는 복원되는 복수 개의 영상을 통합하여 통합 영상을 생성한다(S230). 즉, 통합 영상 부호화 장치(100)는 제 1 영상 스트림 내지 제 4 영상 스트림이 복호화되어 복원된 제 1 영상 내지 제 4 영상 등의 복수 개의 영상을 픽처 단위로 통합하여 하나의 통합 영상을 생성한다. 이때, 통합 영상 부호화 장치(100)는 각 복원된 영상의 크기를 프레임 단위로 조정하고 조정된 크기의 각 영상을 하나의 프레임으로 결합하여 통합 영상을 생성할 수 있다. 예를 들어, 제 1 영상 내지 제 4 영상이 각각 QCIF 영상이라고 가정할 때, 통합 영상 부호화 장치(100)는 각 QCIF 영상을 각 프레임별로 1/2 크기로 축소하고 축소된 각 프레임별 영상을 결합하여 통합 영상을 생성할 수 있다. 여기서, 영상을 축소하기 위한 축소 알고리즘으로서는 선형 보간법, 양방향 보간법 등을 이용할 수 있다.
통합 영상 부호화 장치(100)는 복호화 분석 정보를 이용하여 통합 영상의 관심 영역을 결정한다(S240). 즉, 통합 영상 부호화 장치(100)는 관심 영역에 대한 화질을 향상시킬 수 있도록 양자화 파라미터를 결정하기 위해, 정보 버퍼(140)에 저장된 복호화 분석 정보를 이용하여 통합 영상의 관심 영역을 결정한다. 이러한 통합 영상의 관심 영역은 해당 영역에 대한 화질을 향상시키고자 결정된다. 예를 들어, 영상 회의와 같은 복수 개의 영상을 부호화하여 전송하는 시스템에서는 한 명의 화자와 N(단, N은 정수) 명의 청자로 구성되는데, 통합 영상의 각 프레임에서 관심이 집중되는 영역은 주로 화자 영역이다. 따라서, 화자 영역이 관심 영역으로 결정되어야 한다.
이를 위해, 통합 영상 부호화 장치(100)는, 화자 영역은 다른 영역의 비해 움직임이 크다는 가정하에, 통합 영상에서 복원되는 복수 개의 영상에 해당하는 복수 개의 영역에 대한 영상 스트림의 비트량의 비율에 따라 관심 영역을 결정할 수 있다. 예를 들어, 복원된 제 1 영상 내지 제 4 영상이 각각 축소되어 하나의 통합 영상으로 생성된 경우, 통합 영상은 각 복원된 영상에 대응하는 4 개의 영역으로 구분될 수 있다. 따라서, 4 개의 영역 각각에 대한 영상 스트림의 비트량의 비율(즉, 정보 버퍼(140)에 저장된 제 1 영상 스트림 내지 제 4 영상 스트림의 비트량에 대한 비율)에 따라 관심 영역이 결정될 수 있다. 복수 개의 영역 각각에 대한 영상 스트림의 비트량의 비율은 수학식 1과 같이 계산될 수 있다.
Figure 112009054154046-pat00001
수학식 1에서, ERN은 N 번째 영역에 대응하는 영상 스트림의 비트량의 비율을 나타내고, IRN은 N 번째 영역에 대응하는 영상 스트림의 비트량을 나타내며, TR은 통합 영상에 대한 목표 비트량을 나타낸다. 특히, 관심 영역은 각 영역에 대한 비트량의 비율에 따른 각 영역에 대한 전체 움직임의 총 양으로 결정되는 각 영역에 대한 관심 영역 지수 중 가장 큰 관심 영역 지수를 가지는 영역으로 결정될 수 있다. 관심 영역 지수는 수학식 2와 같이 계산될 수 있다.
Figure 112009054154046-pat00002
수학식 2에서, RN은 N 번째 영역에 대한 관심 영역 지수를 나타내고, SUM(MVN)은 N 번째 영역에 대한 전체 움직임의 총 양을 나타내는데, SUM(MVN)은 N번째 영역에 대응되는 복원되는 영상 내의 각 매크로블록의 움직임 벡터의 각 원소별 절대치의 합으로 계산될 수 있다.
통합 영상 부호화 장치(100)는 복호화 분석 정보와 결정된 관심 영역을 기초로 통합 영상 부호화 모드와 통합 영상 양자화 파라미터 결정하고(S250), 통합 영상 부호화 모드와 통합 영상 양자화 파라미터를 포함하는 통합 영상 부호화 정보를 생성한다. 즉, 통합 영상 부호화 장치(100)는 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하는 과정에서 추출되는 정보들을 이용하여 생성되는 복호화 분석 정보를 이용하여 통합 영상을 부호화하기 위한 부호화 모드인 통합 영상 부호화 모드와 통합 영상을 부호화하기 위한 양자화 파라미터인 통합 영상 양자화 파라미터를 결정하고, 그를 포함하는 통합 영상 부호화 정보를 생성한다.
이를 위해, 통합 영상 부호화 장치(100)는 복호화 분석 정보에 포함되는 부호화 모드에 의해, 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 부호화 모드가 인터 모드인 것으로 판단되는 경우, 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록의 부호화 모드를 인터 모드로 결정할 수 있다. 즉, 통합 영상 부호화 장치(100)는 통합 영상을 매크로블록 단위로 부호화하기 위해, 부호화하고자 하는 매크로블록의 부호화 모드를 결정해야 하는데, 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 부호화 모드가 인터 모드인 경우, 통합 영상의 해당 매크로블록의 부호화 모드를 인터 모드로서 결정한다. 예를 들어, 통합 영상에서 부호화하고자 하는 프레임의 어느 매크로블록이 4 개의 복원된 영상에 대응하는 4 개의 영역 중 제 1 영상에 대응하는 제 1 영역에 포함되는 경우, 제 1 영상에서 부호화하고자 하는 매크로블록과 대응하는 매크로블록의 부호화 모드를 복호화 분석 정보에서 검색하여 검색된 부호화 모드가 인터 모드인 경우, 부호화하고자 하는 매크로블록의 부호화 모드도 인터 모드로서 결정할 수 있다.
또한, 통합 영상 부호화 장치(100)는 부호화하고자 하는 매크로블록의 부호화 모드가 인터 모드로서 결정되는 경우, 해당 매크로블록을 움직임 예측 부호화한다. 이때, 통합 영상 부호화 장치(100)는 복호화 분석 정보에 포함되는 움직임 벡 터 중 부호화하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 움직임 벡터의 크기를 통합 영상의 프레임 크기에 대해 보간하고, 보간된 움직임 벡터를 이용하여 부호화하고자 하는 매크로블록을 움직임 예측 부호화할 수 있다. 예를 들어, 통합 영상에서 부호화하고자 하는 매크로블록이 복원된 제 1 영상의 어느 매크로블록과 대응한다면, 복호화 분석 정보에 포함된 제 1 영상의 해당 매크로블록에 대한 움직임 벡터를 이용하여 통합 영상에서 부호화하고자 하는 매크로블록을 움직임 예측 부호화할 수 있다. 이때, 통합 영상 부호화 장치(100)는 제 1 영상의 해당 매크로블록에 대한 움직임 벡터를 그대로 이용하는 것이 아니라, 해당 움직임 벡터의 크기를 통합 영상의 프레임 크기에 대해 보간하고, 보간된 움직임 벡터를 이용한다.
통합 영상에서 부호화하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 움직임 벡터의 크기를 통합 영상의 프레임 크기에 대해 보간하기 위해서는 수학식 3이 이용될 수 있다.
Figure 112009054154046-pat00003
Figure 112009054154046-pat00004
수학식 3에서, MVx'은 통합 영상에서 부호화하고자 하는 매크로블록의 보간된 움직임 벡터의 가로(또는 x축) 방향 크기를 나타내고, MVy'은 통합 영상에서 부호화하고자 하는 매크로블록의 보간된 움직임 벡터의 세로(또는 y축) 방향 크기를 나타내며, Ix는 통합 영상에서 부호화하고자 하는 매크로블록이 포함되는 복원된 영상의 가로(또는 x축) 크기를 나타내며, Iy는 통합 영상에서 부호화하고자 하는 매크로블록이 포함되는 복원된 영상의 가로(또는 y축) 크기를 나타내며, Tx는 통합 영상의 가로(또는 x축) 크기를 나타내며, Ty는 통합 영상의 세로(또는 y축) 크기를 나타낸다.
따라서, 통합 영상 부호화 장치(100)는 통합 영상에서 부호화하고자 하는 매크로블록의 움직임 벡터가 복호화 분석 정보를 기초로 결정되면, 결정된 움직임 벡터의 크기를 수학식 3을 통해 전술한 바와 같이 통합 영상의 프레임 크기로 보간하고, 보간된 크기의 움직임 벡터를 이용하여 부호화하고자 하는 매크로블록을 움직임 예측 할 수 있다. 이때, 통합 영상 부호화 장치(100)는 보간된 움직임 벡터의 크기를 소정 범위로 확대 또는 축소하여 움직임 예측 부호화할 수도 있는데, 이는 복원되는 복수 개의 영상의 크기를 변환하고 결합하여 하나의 통합 영상을 생성하는 과정에서 위치 오차가 발생할 수 있기 때문에 이를 보상하기 위한 것이다. 여기서, 소정의 범위란 ±2 화소의 범위일 수 있지만, 반드시 이에 한정되지 않고 다양하게 설정될 수 있다.
또한, 통합 영상 부호화 장치(100)는 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 매크로블록의 부호화 모드가 인트라 모드인 것으로 판단되는 경우 또는 부호화 모드를 결정하고자 하는 매크로블록이 관심 영역 내에 있는 경우, 부호화 모드를 결정하고자 하는 매크로블 록의 부호화 모드를 율-왜곡 최적화를 이용하여 결정할 수 있다. 즉, 통합 영상 부호화 장치(100)는 통합 영상을 매크로블록 단위로 부호화하기 위해, 부호화하고자 하는 매크로블록의 부호화 모드를 결정해야 하는데, 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복수 개의 영상 내의 매크로블록의 부호화 모드가 인트라 모드이거나 부호화 모드를 결정하고자 하는 매크로블록이 관심 영역 내에 포함되는 경우, 통합 영상의 해당 매크로블록의 부호화 모드를 율-왜곡 최적화를 이용하여 최적의 모드로 결정할 수 있다.
예를 들어, 단계 S240에서 결정된 관심 영역이 복원된 제 2 영상과 대응하는 통합 영상의 제 2 영역이라고 가정할 때, 통합 영상 부호화 장치(100)는 통합 영상에서 부호화하고자 하는 프레임의 어느 매크로블록이 관심 영역인 제 2 영역 내에 포함되는 경우, 해당 매크로블록의 부호화 모드를 율-왜곡 최적화를 이용하여 결정할 수 있다. 또한, 통합 영상 부호화 장치(100)는 해당 매크로블록이 관심 영역 내에 포함되지 않지만 해당 매크로블록이 4 개의 복원된 영상에 대응하는 4 개의 영역 중 제 1 영상에 대응하는 제 1 영역에 포함되는 경우, 제 1 영상에서 부호화하고자 하는 매크로블록과 대응하는 매크로블록의 부호화 모드를 복호화 분석 정보에서 검색하여 검색된 부호화 모드가 인트라 모드이면, 부호화하고자 하는 매크로블록의 부호화 모드를 율-왜곡 최적화를 이용하여 결정할 수 있다.
통합 영상 부호화 장치(100)는 복호화 분석 정보에 포함된 복원된 각 영상에 대한 양자화 파라미터와 통합 영상에 대한 목표 비트량을 고려하여 통합 영상에 대한 양자화 파라미터인 통합 영상 양자화 파라미터를 결정한다. 이때, 통합 영상 부 호화 장치(100)는 통상 영상을 구성하는 복수 개의 영역 중 단계 S240에서 결정된 관심 영역에 대한 비트량이 나머지 영역에 대한 비트량보다 크게 할당되도록 통합 영상 양자화 파라미터를 결정할 수 있는데, 이는 전술한 바와 같이 화자 영역인 관심 영역의 화질을 더욱 향상시키기 위함이다.
이상에서 전술한 바와 같이, 통합 영상 부호화 장치(100)는 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하고 복원되는 복수 개의 영상을 통합하여 통합 영상을 생성하며 복호화 과정에서 생성되는 복호화 분석 정보를 이용하여 통합 영상의 관심 영역을 결정하고 복호화 분석 정보와 관심 영역을 기초로 통합 영상 부호화 정보를 생성하면, 생성되는 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화할 수 있다.
하지만, 전술한 바와 같이 결정되는 통합 영상 부호화 모드와 통합 영상 양자화 파라미터는 통신 환경을 고려한 부호화 정보가 아니므로 그를 이용하여 통합 영상을 부호화하여 부호화 데이터를 전송하는 경우, 통신 환경에 따라 지연이나 오류가 발생하여 영상 품질이 저하될 수 있다.
이러한 문제점을 해결하기 위해, 통합 영상 부호화 장치(100)는 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화함에 따라 발생되는 비트량인 통합 영상 비트량을 계산하고(S260), 통신 환경을 고려한 예상 비트량을 계산하며(S270), 통합 영상 비트량이 예상 비트량을 초과하는지 여부를 판단하여(S280), 통합 영상 비트량이 예상 비트량을 초과하는 경우에는 통합 영상 양자화 파라미터를 재조정하여 통합 영상 비트량을 다시 계산하고(S282), 다시 단계 S280과 같이 통합 영상 비 트량이 예상 비트량을 초과하는지 여부를 판단하며, 통합 영상 비트량이 예상 비트량보다 작거나 같은 경우에는 해당 통합 영상 양자화 파라미터와 통합 영상 부호화 모드를 포함하는 통합 영상 부호화 정보를 이용하여 통합 영상을 부호화할 수 있다(S290).
부호화기(150)에서 통합 영상을 부호화함에 따라 발생하는 비트량인 통합 영상 비트량은 통합 영상 부호화 모드와 통합 영상 양자화 파라미터 (또는 추가로 각 매크로블록에 대한 움직임 벡터의 크기를 나타내는 움직임 양)에 의해 결정될 수 있다. 예를 들어, 통상적으로 어느 매크로블록의 부호화 모드가 인트라 예측인 경우가 인터 예측인 경우보다 더욱 많은 비트량이 발생된다. 그리고 인터 예측의 경우 움직임 양이 많은 경우가 적은 경우보다 더욱 많은 비트량이 발생된다. 또한, 통합 영상 양자화 파라미터의 값에 따라 통합 영상 비트량도 조절될 수 있는데, 통신 환경을 고려한 예상 비트량을 고려하여 통합 영상 양자화 파라미터를 조정하여 통합 영상 비트량을 줄이면, 전송 지연은 줄 수 있는데 복원되는 영상의 품질이 저하될 수 있으므로, 통합 영상 양자화 파라미터를 적절히 조절하는 것이 바람직한다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하는 과정에서 추출되는 복호화 분석 정보를 이용하여 복수 개의 영상을 통합한 통합 영상을 부호화함으로써, 통합 영상을 예측 부호화하 위한 부호화 모드의 결정, 움직임 벡터 결정, 양자화 파라미터의 결정 등 다양한 부호화 정보를 결정하기 위한 과정을 신속히 처리할 수 있다. 또 한, 효율적인 율 제어를 통해 비트량을 조절할 수 있고 통신 환경을 고려하여 비트량을 조절할 수 있기 때문에 더욱 좋은 영상 품질을 얻으면서도 부호화 데이터의 전송 효율도 향상시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들 은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 복수 개의 영상을 통합하여 압축 전송하는 영상 압축 분야에 적용되어, 복수 개의 영상을 통합한 통합 영상을 예측 부호화하기 위한 다양한 부호화 정보를 결정하는 과정을 신속히 처리하여 부호화 처리 속도를 향상시킬 수 있을 뿐만 아니라, 효율적인 율 제어를 통해 비트량을 조절할 수 있고 통신 환경을 고려하여 비트량을 조절할 수 있기 때문에 더욱 좋은 영상 품질을 얻으면서도 부호화 데이터의 전송 효율도 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 통합 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 통합 영상 부호화 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 복호화기 130: 영상 버퍼
140: 정보 버퍼 150: 부호화기

Claims (17)

  1. 통합 영상을 부호화하는 장치에 있어서,
    복수 개의 영상 스트림을 복호화하여 복원되는 복수 개의 영상과 상기 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 출력하는 복호화기;
    상기 추출되는 복호화 분석 정보를 저장하는 정보 버퍼;
    상기 복원되는 복수 개의 영상을 저장하는 영상 버퍼; 및
    상기 복수 개의 영상을 통합하여 통합 영상을 생성하고, 상기 복호화 분석 정보를 이용하여 통합 영상 부호화 정보를 결정하며, 상기 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화하는 부호화기
    를 포함하고,
    상기 통합 영상은 상기 복수 개의 영상에 대응하는 복수 개의 영역을 포함하고,
    상기 부호화기는 상기 복수 개의 영역 중에서 관심 영역 지수가 가장 높은 영역을 관심 영역으로 결정하고, 관심영역이 나머지 영역보다 더 좋은 화질을 갖도록 상기 통합 영상을 부호화하며,
    상기 관심 영역 지수는 상기 통합 영상의 목표 비트량에서 해당 영역의 비트량이 차지하는 비율 및 해당 영역의 전체 움직임의 총량으로 결정되는 것을 특징으로 하는 통합 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 복호화 분석 정보는,
    상기 복수 개의 영상 스트림 각각에 대한 부호화 모드, 움직임 벡터, 양자화 파라미터 및 영상 스트림의 비트량인 것을 특징으로 하는 통합 영상 부호화 장치.
  3. 제 2 항에 있어서, 상기 통합 영상 부호화 정보는,
    상기 통합 영상에 대한 통합 영상 부호화 모드 및 통합 영상 양자화 파라미터를 포함하는 것을 특징으로 하는 통합 영상 부호화 장치.
  4. 제 3 항에 있어서, 상기 부호화기는,
    상기 복호화 분석 정보 및 상기 관심 영역을 기초로 상기 통합 영상 부호화 모드 및 상기 통합 영상 양자화 파라미터를 결정하는 것을 특징으로 하는 통합 영상 부호화 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서, 상기 해당 영역에 대한 전체 움직임의 총량은,
    해당 영역에 대응되는 복원되는 영상 내의 각 매크로블록의 움직임 벡터의 각 원소별 절대치의 합인 것을 특징으로 하는 통합 영상 부호화 장치.
  8. 삭제
  9. 제 4 항에 있어서, 상기 부호화기는,
    상기 복수 개의 영역 중 상기 관심 영역에 대한 비트량이 나머지 영역에 대한 비트량보다 크게 할당되도록 상기 통합 영상 양자화 파라미터를 결정하는 것을 특징으로 하는 통합 영상 부호화 장치.
  10. 제 3 항에 있어서, 상기 부호화기는,
    상기 복호화 분석 정보에 포함되는 부호화 모드에 의해, 상기 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 하나의 매크로블록의 부호화 모드가 인터 모드인 것으로 판단되는 경우, 상기 부호화 모드를 결정하고자 하는 매크로블록의 부호화 모드를 인터 모드로 결정하는 것을 특징으로 하는 통합 영상 부호화 장치.
  11. 제 10 항에 있어서, 상기 부호화기는,
    상기 복호화 분석 정보에 포함되는 움직임 벡터 중 부호화하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 하나의 매크로블록의 움직임 벡터의 크기를 상기 통합 영상의 프레임 크기에 대해 보간하고, 보간된 움직임 벡터를 이용하여 상기 부호화하고자 하는 매크로블록을 움직임 예측 부호화하는 것을 특징으로 하는 통합 영상 부호화 장치.
  12. 제 11 항에 있어서, 상기 부호화기는,
    상기 보간된 움직임 벡터의 크기를 소정 범위로 확대 또는 축소하여 움직임 예측 부호화하는 것을 특징으로 하는 통합 영상 부호화 장치.
  13. 제 3 항에 있어서, 상기 부호화기는,
    상기 통합 영상에서 부호화 모드를 결정하고자 하는 매크로블록과 대응하는 복원된 복수 개의 영상 내의 하나의 매크로블록의 부호화 모드가 인트라 모드인 것으로 판단되는 경우 또는 상기 부호화 모드를 결정하고자 하는 매크로블록이 관심 영역 내에 있는 경우, 상기 부호화 모드를 결정하고자 하는 매크로블록의 부호화 모드를 율-왜곡 최적화를 이용하여 결정하는 것을 특징으로 하는 통합 영상 부호화 장치.
  14. 제 3 항에 있어서, 상기 부호화기는,
    상기 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화함에 따라 발생되는 비트량인 통합 영상 비트량을 계산하고, 통신 환경을 고려한 예상 비트량을 계산하며, 상기 통합 영상 비트량이 상기 예상 비트량을 초과하는 경우에는 상 기 통합 영상 양자화 파라미터를 재조정하는 것을 특징으로 하는 통합 영상 부호화 장치.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    통합 영상을 부호화하는 방법에 있어서,
    복수 개의 영상 스트림을 복호화하여 복수 개의 영상을 복원하여 저장하는 단계;
    상기 복수 개의 영상 스트림을 복호화하는 과정에서 추출되는 복호화 분석 정보를 저장하는 단계;
    상기 복수 개의 영상을 통합하여 통합 영상을 생성하는 단계, 여기서 상기 통합 영상은 상기 복수 개의 영상에 대응하는 복수 개의 영역을 포함함;
    상기 복수 개의 영역 중에서 관심 영역 지수가 가장 높은 영역을 관심 영역으로 결정하는 단계, 여기서 상기 관심 영역 지수는 상기 통합 영상의 목표 비트량에서 해당 영역의 비트량이 차지하는 비율 및 해당 영역의 전체 움직임의 총량으로 결정됨;
    상기 복호화 분석 정보를 이용하여, 상기 관심 영역이 나머지 영역보다 더 좋은 화질을 갖도록, 통합 영상 부호화 정보를 결정하는 단계; 및
    상기 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화하는 단계
    를 포함하는 것을 특징으로 하는 통합 영상 부호화 방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제 15 항에 있어서, 상기 통합 영상 부호화 정보는,
    통합 영상 부호화 모드와 통합 영상 양자화 파라미터를 포함하는 것을 특징으로 하는 통합 영상 부호화 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제 16 항에 있어서, 상기 통합 영상을 부호화하는 단계는,
    상기 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화함에 따라 발생되는 비트량인 통합 영상 비트량을 계산하는 단계;
    통신 환경을 고려한 예상 비트량을 계산하는 단계;
    상기 통합 영상 비트량이 상기 예상 비트량보다 작거나 같은 경우에는 상기 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화하는 단계; 및
    상기 통합 영상 비트량이 상기 예상 비트량을 초과하는 경우에는 상기 통합 영상 양자화 파라미터를 재조정하고 상기 재조정된 통합 영상 양자화 파라미터를 포함하는 통합 영상 부호화 정보를 이용하여 상기 통합 영상을 부호화하는 단계
    를 포함하는 것을 특징으로 하는 통합 영상 부호화 방법.
KR1020090082623A 2009-09-02 2009-09-02 통합 영상 부호화 방법 및 장치 KR101641716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090082623A KR101641716B1 (ko) 2009-09-02 2009-09-02 통합 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090082623A KR101641716B1 (ko) 2009-09-02 2009-09-02 통합 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110024574A KR20110024574A (ko) 2011-03-09
KR101641716B1 true KR101641716B1 (ko) 2016-07-21

Family

ID=43932383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090082623A KR101641716B1 (ko) 2009-09-02 2009-09-02 통합 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101641716B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018160034A1 (ko) * 2017-03-03 2018-09-07 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10951916B2 (en) 2017-03-03 2021-03-16 Sk Telecom Co., Ltd. Apparatus and method for video encoding or decoding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101446074B1 (ko) * 2013-12-26 2014-10-06 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템
KR101446073B1 (ko) * 2013-12-26 2014-10-06 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071389A (ja) * 2007-09-10 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
JP2006067124A (ja) * 2004-08-25 2006-03-09 Nec Corp 画像符号化データの切り替え方法および装置、システムならびにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071389A (ja) * 2007-09-10 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ishfaq Ahmad, et al. Video transcoding: an overview of various techniques and research issues. IEEE Transactions on multimedia, 2005.10. Vol.7,No..5, pp.793-804.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018160034A1 (ko) * 2017-03-03 2018-09-07 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10951916B2 (en) 2017-03-03 2021-03-16 Sk Telecom Co., Ltd. Apparatus and method for video encoding or decoding

Also Published As

Publication number Publication date
KR20110024574A (ko) 2011-03-09

Similar Documents

Publication Publication Date Title
US9264731B2 (en) Method and an apparatus for decoding a video
KR101590511B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
KR20110081304A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
KR100843080B1 (ko) 비디오 트랜스코딩 방법 및 장치
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
KR101641716B1 (ko) 통합 영상 부호화 방법 및 장치
KR101582495B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101582493B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101422058B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
Corrales-Garcia et al. Variable and constant bitrate in a DVC to H. 264/AVC transcoder
US8340191B2 (en) Transcoder from first MPEG stream to second MPEG stream
JP2017038377A (ja) 復号化方法
JP6434172B2 (ja) 復号化方法
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101575616B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575645B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
JP5913474B2 (ja) 復号化方法
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right