KR100296145B1 - 분할영역기반동영상부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술 분야

본 발명은 분할 영역 기반 동영상 부호화 방법에 관한 것임.

2. 발명이 해결하고자 하는 기술적 과제

본 발명은 부호화하기 전에 미리 입력 영상의 화면 영역을 중요한 영역과 중요하지 않은 영역으로 분리하여, 분리된 영역이 서로 다른 영상 품질을 갖도록 부호화 처리함으로써, 부호화 효율을 높이기 위한 동영상 부호화 방법을 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은 부호화하기 전에 입력 영상의 화면 영역을 영역별 중요도에 따라 구분하여 사용자가 상대적으로 중요한 영역내에서 움직이도록 제한하며, 이후의 입력 영상에 대하여도 영역별 중요도에 따라 서로 다른 영상 품질을 갖도록 부호화 처리 가능하게 하여 부호화 효율을 높이고 실시간 처리를 가능하게 함.

4. 발명의 중요한 용도

본 발명은 영상 부호화 등에 이용됨.

Description

분할 영역 기반 동영상 부호화 방법{Segmented region based video encoding method}

본 발명은 동영상을 부호화함에 있어서, 화면내의 영역별 중요성에 따라 영역별로 서로 다른 부호화를 수행하여 부호화 효율을 높이는 동영상 부호화 방법에 관한 것이다.

종래 기술은 정보의 전달 측면에서 중요한 사람이나 움직이는 물체 등에 해당하는 영역을 자동적으로 찾아내어 영역별로 서로 다른 부호화를 행하는 것이었다. 하지만, 종래의 기술은 객체에 해당하는 영역을 찾아내기 위한 계산량이 지나치게 많고, 또한 찾아낸 영역의 경계의 정확도가 떨어져 실시간 동영상 부호화에는 적합하지 않은 문제점을 갖고 있었다.

그리고, 영역별 부호화 처리를 위해서는 영역 분할이 전제되어야 하는데 응용 분야에 따라서 자동 영역 분할이 필요한 경우와 그렇지 않은 경우가 있을 수 있으며, 인터넷과 같이 열악한 전송 환경에서 사용자가 일반적으로 보유하고 있는 퍼스널 컴퓨터(PC)를 이용하여 동영상 통신을 하는 경우에는 부호화 효율이 높으면서도 간단하게 부호화 처리가 가능한 방법이 요구된다. 그러나, 이런 경우에 퍼스널 컴퓨터를 이용하여 계산량이 많은 종래의 기술에 의해서 자동 영역 분할 처리를 수행한다는 것은 거의 불가능하다.

본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 부호화하기 전에 미리 입력 영상의 화면 영역을 중요한 영역과 중요하지 않은 영역으로 분리하여, 분리된 영역이 서로 다른 영상 품질을 갖도록 부호화 처리함으로써, 부호화 효율을 높이기 위한 동영상 부호화 방법을 제공하는데 그 목적이 있다.

도1 은 본 발명에 따른 동영상 부호화 방법에 대한 일실시예 흐름도.

도 2 는 본 발명의 실시예에 따라 적용한 실제 화면 예시도.

상기 목적을 달성하기 위한 본 발명은, 동영상 전송을 위한 동영상 부호화 방법에 있어서, 입력 영상의 화면 영역을 화면의 중요도에 따라 주화면 영역과 부화면 영역으로 임의적으로 구분하는 제 1 단계; 부호화 효율을 높이기 위하여, 상기 주화면 영역에 해당하는 입력 영상과 상기 부화면 영역에 해당하는 입력 영상을서로 다른 영상 품질을 갖도록 부호화하는 제 2 단계; 상기 주화면 영역에 해당하는 입력 영상의 부호화 결과 데이터와, 상기 부화면 영역에 해당하는 입력 영상의 부호화 결과 데이터를 조합하는 제 3 단계; 및 입력 영상 시퀀스의 부호화가 완료될 때까지, 상기 제 2 및 제 3 단계를 1을 포함하는 임의의 프레임 단위로 반복 수행하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.

자동 영역 분할을 사용하지 않고 부호화 수행 전에 미리 입력 영상의 화면 영역을 상대적으로 중요한 영역과 상대적으로 중요하지 않은 영역으로 구분한 후, 사용자가 상대적으로 중요한 영역내에서 움직이도록 제한을 하고, 이후 입력되는 영상에 대하여 상대적으로 중요한 영역과 상대적으로 중요하지 않은 영역에 대해서 서로 다른 영상 품질을 갖도록 부호화 처리를 할 수 있다면, 사용자의 자유도(degree of freedom)는 떨어지는 반면, 부호화 효율을 높이는 것과 함께 실시간 처리를 가능하게 할 수 있다.

또한, 원격 감시와 같이 화면내 특정한 영역을 감시하기를 원할 경우, 감시자가 감시를 원하는 영역이 상대적으로 중요한 영역에 포함되도록 하여 부호화를 수행시키면 더 좋은 영상 품질로 감시를 원하는 영역에 대해서 감시를 할 수 있다.

따라서, 본 발명은 입력 영상의 화면 구성에 따라 혹은 입력 영상에 상관없이, 입력 영상의 화면 영역을 상대적으로 중요한 영역에 해당하는 주화면 영역과 상대적으로 중요하지 않은 영역에 해당하는 부화면 영역으로 미리 구분하여 영역별로 서로 다른 영상 품질을 갖도록 부호화한다. 이때, 주화면과 부화면을 영상의 내용과 무관하게 사용자의 입력 혹은 시스템 설정 입력에 따라 부호화 시작 이전에설정하여 부호화가 진행되는 동안 주화면과 부화면의 경계를 변화시키지 않는다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 동영상 부호화 방법에 대한 일실시예 흐름도이다.

먼저, 화면 영역을 상대적으로 중요한 영역에 해당하는 주화면 영역과 상대적으로 중요하지 않은 영역에 해당하는 부화면 영역으로 미리 구분하기 위해서는 다음의 두가지 방법을 이용한다(1).

첫 번째 방법은, 입력 영상을 예상하여 주화면 영역과 부화면 영역을 구분하는 것이다.

두 번째 방법은, 입력 영상의 화면 구성에 따라 주화면 영역과 부화면 영역을 구분하는 것으로서, 이 경우 입력되는 영상의 종류에 따라 영역의 구분 모양이 다르게 된다. 이를 위해서는 입력 영상의 출력 화면을 보면서 컴퓨터 보조 입력 장치(예를 들면, 마우스, 입력 펜 등)를 이용하여 영역을 구분하는 데이터를 입력시킬 수 있다.

또한, 주화면 영역과 부화면 영역을 구분하는데 필요한 표시를 선택적으로 입력 영상의 출력 화면에 나타내기 위해, 상기 주화면 영역과 부화면 영역으로 구분한 결과에 따라 주화면 영역과 부화면 영역을 구분하는데 필요한 표시를 입력 영상의 출력 화면에 나타냄으로써 사용자가 입력 영상의 화면 배치를 조절할 수 있도록 한다(2).

도 2는 본 발명의 실시예에 따라 적용 예를 나타낸 도면으로서, 비디오폰의 경우에 사람의 얼굴과 상체를 포함하는 주화면 영역과 그외의 영역을 구분하기 위한 표시로서 경계선을 사용한 것이다.

예를 들면, 주화면 영역이 입력 영상의 출력 화면에 일단 표시되면, 사람의 얼굴을 포함하여 주요 신체의 움직임은 주화면 영역 내에서 이루어지는 것이 유리하다.

원격 감시와 같이 입력 영상의 출력 화면에 영역을 구분하는 표시를 굳이 나타낼 필요가 없는 경우에는 상기한 사용자가 입력 영상의 화면 배치를 조절하는 과정(2)을 생략할 수 있다.

주화면 영역과 부화면 영역을 구분하는데 필요한 표시를 입력 영상의 출력 화면에 나타내는 방법은 도 2와 같이 경계선을 표시하는 경우에 경계선을 이루는 화소(pixel element)에 해당하는 입력 영상의 출력 화면 메모리에 반복적으로 임의의 값을 써넣는 공지의 기술에 의해 가능하다.

상기 주화면 영역에 해당하는 입력 영상과 상기 부화면 영역에 해당하는 입력 영상을 서로 다르게 부호화하는 과정(3)에서는 다음의 두 가지 방법을 이용한다.

첫 번째는, 주화면 영역과 부화면 영역을 구분하는 경계에 관한 정보, 주화면 영역에 해당하는 영상 데이터, 부화면 영역에 해당하는 영상 데이터를 구분하여 부호화하는 방법이다. 이는 영역을 구분하는 임의 형태의 경계와 영역내의 영상 데이터에 대한 부호화 방법으로서, 엠펙-4(MPEG-4) 표준화 작업을 통해 발표된 공지의 방법을 이용하여 구성할 수 있다.

두 번째는, 화면 데이터를 구성하는 임의의 크기를 갖는 복수의 블록 데이터중에 상기 주화면 영역과 상기 경계를 포함하는 블록들의 데이터와 이를 제외한 블록들의 데이터를 구분하여 부호화한다. 이 방법은 임의의 형태의 경계에 대한 부호화를 하지 않기 때문에 처리가 간단한 장점을 갖는다.

상기한 첫 번째 방법에서 상기 주화면 영역과 부화면 영역을 구분하는 과정(1)중에 입력 영상을 예상하여 미리 주화면 영역과 부화면 영역을 구분하는 방법의 경우에는 경계에 관한 정보를 부호화기(encoder)와 복호화기(decoder)가 이미 알고 있기 때문에 경계에 관한 정보를 부호화하지 않아도 될 경우가 있다.

그리고, 입력 영상의 화면 구성에 따라 주화면 영역과 부화면 영역을 구분하는 과정(1)의 경우에는 경계에 관한 정보의 부호화는 처음에 한번만 수행되어도 충분하기 때문에, 아래 [수학식1] 및 [수학식2]와 같이 경계에 관한 정보의 부호화 프레임 개수(Fb)는 주화면 영역에 해당하는 입력 영상의 부호화 프레임 개수(Fm)나 부화면 영역에 해당하는 입력 영상의 부호화 프레임 개수(Fs)에 비하여 더 적은 횟수로 이루어질 수 있다. Wm과 Ws는 선택적으로 정할 수 있는 가중치로서 1보다 큰 값이다.

Fm = Wm x Fb (Fb 가 0이 아닌 경우)

Fs = Ws x Fb (Fb 가 0이 아닌 경우)

또한, 주화면 영역에 해당하는 영상 데이터는 상대적으로 중요하기 때문에 데이터 전송에 제약이 있을 경우 부화면 영역에 해당하는 영상 데이터에 비하여 의도적으로 더 자주 전송하는 것이 필요할 수 있기 때문에, 아래 [수학식3]과 같이 주화면 영역에 해당하는 영상 데이터는 부호화되는 프레임의 개수(Fm)가 부화면 영역에 해당하는 영상 데이터가 부호화되는 프레임 개수(Fs) 보다 더 많도록 부호화한다. Wf는 선택적으로 정할 수 있는 가중치로서 1보다 큰 값이다.

Fm = Wf x Fs (Fs 가 0이 아닌 경우)

주화면 영역에 해당하는 입력 영상의 부호화 결과 데이터와 부화면 영역에 해당하는 입력 영상의 부호화 결과 데이터를 조합하는 과정(4)은 미리 정한부호화 비트열 포맷에 맞추어 결과 데이터를 조합하는 것으로서 엠펙-4(MPEG-4) 표준화 작업을 통해 발표된 공지의 방법을 사용한다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 동영상을 부호화하는데 많은 계산을 필요로 하는 자동 영역 분할 처리를 하지 않으면서도 영역 분할 기반 부호화 방법이 갖고 있는 부호화 효율성에 관한 장점을 살릴 수 있기 때문에 열악한 전송 환경에서도 특정한 화면 영역에 대해서 전송 효율을 높이는 것이 가능하여, 인터넷을 이용한 비디오 폰이나 원격 감시 등의 분야에의 적용에도 효과적으로 사용할 수 있다.

Claims (8)

1. 동영상 전송을 위한 동영상 부호화 방법에 있어서,

   입력 영상의 화면 영역을 화면의 중요도에 따라 주화면 영역과 부화면 영역으로 임의적으로 구분하는 제 1 단계;

   부호화 효율을 높이기 위하여, 상기 주화면 영역에 해당하는 입력 영상과 상기 부화면 영역에 해당하는 입력 영상을 서로 다른 영상 품질을 갖도록 부호화하는 제 2 단계;

   상기 주화면 영역에 해당하는 입력 영상의 부호화 결과 데이터와, 상기 부화면 영역에 해당하는 입력 영상의 부호화 결과 데이터를 조합하는 제 3 단계; 및

   입력 영상 시퀀스의 부호화가 완료될 때까지, 상기 제 2 및 제 3 단계를 1을 포함하는 임의의 프레임 단위로 반복 수행하는 제 4 단계

   를 포함하는 분할 영역 기반 동영상 부호화 방법.
2. 제 1 항에 있어서,

   상기 제 1 단계는,

   입력 영상에 상관없이 입력 영상의 화면 영역을 주화면 영역과 부화면 영역으로 화면의 중요도에 따라 임의적으로 구분하는 것을 특징으로 하는 분할영역 기반 동영상 부호화 방법.
3. 제 2 항에 있어서,

   상기 제 2 단계에서,

   상기 주화면 영역에 해당하는 입력 영상과 상기 부화면 영역에 해당하는 입력 영상을 서로 다르게 부호화하기 위하여, 화면 데이터를 구성하는 임의의 크기를 갖는 복수의 블록 데이터중에 상기 주화면 영역과 상기 경계를 포함하는 블록들의 데이터와 이를 제외한 블록들의 데이터를 구분하여 부호화하는 것을 특징으로 하는 분할 영역 기반 동영상 부호화 방법.
4. 제 1 항에 있어서,

   상기 제 1 단계는,

   입력 영상의 화면 구성에 따라 입력 영상의 화면 영역을 주화면 영역과 부화면 영역으로 화면의 중요도에 따라 임의적으로 구분하는 것을 특징으로 하는 분할영역 기반 동영상 부호화 방법.
5. 제 4 항에 있어서,

   상기 제 2 단계는,

   상기 주화면 영역에 해당하는 입력 영상과 상기 부화면 영역에 해당하는 입력 영상을 서로 다르게 부호화하기 위하여, 상기 주화면 영역과 상기 부화면 영역을 구분하는 경계에 관한 정보, 상기 주화면 영역에 해당하는 영상 데이터, 상기 부화면 영역에 해당하는 영상 데이터를 구분하여 부호화하거나, 화면 데이터를 구성하는 임의의 크기를 갖는 복수의 블록 데이터중에 상기 주화면 영역과 상기 경계를 포함하는 블록들의 데이터와 이를 제외한 블록들의 데이터를 구분하여 부호화하는 것을 특징으로 하는 분할 영역 기반 동영상 부호화 방법.
6. 제 1 항에 있어서,

   상기 주화면 영역에 해당하는 영상 데이터가 부호화되는 프레임의 개수는 상기 부화면 영역에 해당하는 영상 데이터가 부호화되는 프레임 개수보다 더 많게 부호화되는 것을 특징으로 하는 분할 영역 기반 동영상 부호화 방법.
7. 제 3 항 또는 제 5 항에 있어서,

   상기 경계에 관한 정보가 부호화되는 프레임 개수는 상기 주화면 영역과 상기 부화면 영역에 해당하는 입력 영상을 부호화하는 프레임 개수에 비하여 단위 시간당 0(부호화를 행하지 않는 경우)을 포함하여 더 적은 개수로 부호화되는 것을 특징으로 하는 분할 영역 기반 동영상 부호화 방법.
8. 제 1 항 내지 제 6 항중 어느 한 항에 있어서,

   입력 영상의 화면 영역간에 상대적인 중요도에 따라 차별적인 부호화 및 전송이 이루어지는 것을 나타내기 위하여 상대적으로 중요한 영역과 상대적으로 중요하지 않은 영역을 구분하는데 필요한 표시를 입력 영상의 출력 화면에 나타내는 것을 특징으로 하는 분할 영역 기반 동영상 부호화 방법.