KR100493702B1 - 화상통신 시스템 및 그 운용방법 - Google Patents

화상통신 시스템 및 그 운용방법 Download PDF

Info

Publication number
KR100493702B1
KR100493702B1 KR10-2002-0061426A KR20020061426A KR100493702B1 KR 100493702 B1 KR100493702 B1 KR 100493702B1 KR 20020061426 A KR20020061426 A KR 20020061426A KR 100493702 B1 KR100493702 B1 KR 100493702B1
Authority
KR
South Korea
Prior art keywords
image
region
coding
roi
background
Prior art date
Application number
KR10-2002-0061426A
Other languages
English (en)
Other versions
KR20040032332A (ko
Inventor
이진수
김현준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0061426A priority Critical patent/KR100493702B1/ko
Publication of KR20040032332A publication Critical patent/KR20040032332A/ko
Application granted granted Critical
Publication of KR100493702B1 publication Critical patent/KR100493702B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 화상통신 시스템은, 입력된 영상으로부터 관심 영역(ROI)을 추출하는 수단과; 입력된 영상에 대하여, 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 수단; 및 일치된 배경 영역은 'Not-coded 블록'으로 설정하여 상기 보정된 영상을 코딩하는 수단; 을 포함한다.
또한 본 발명에 의하면, 코딩 수단은 'Not-coded 블록'으로 설정된 배경 영역에 대하여 코딩을 수행함에 있어, 움직임 추정(motion estimation) 과정을 거치지 않고 바로 'not-coded 블록'으로 강제 코딩한다.
또한 본 발명에 의하면, 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는 (smoothing) 후처리 수단을 더 포함한다.
또한, 본 발명에 따른 화상통신 시스템의 운용방법은, 입력된 영상이 첫 프레임이 아닌 경우, 입력된 영상으로부터 관심 영역(ROI)을 추출하는 단계와; 입력된 영상에 대하여, 추출된 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 단계; 및 일치된 배경 영역은 'not-coded 블록'으로 설정하여 보정된 영상을 코딩하는 단계; 를 포함한다.

Description

화상통신 시스템 및 그 운용방법{Image communication system and operating method thereof}
본 발명은 화상통신 시스템에 관한 것으로서, 특히 화상 전송이 가능한 이동통신 단말기를 이용하여 화상통신을 수행하거나 영상우편(Video Mail)을 송수신할 수 있는 화상통신 시스템 및 그 운용방법에 관한 것이다.
최근 IMT2000, CDMA2000 서비스 등 차세대 이동 통신 서비스가 자리를 잡으면서, 이동 통신은 더 이상 음성만이 아닌 멀티미디어 송수신을 위한 수단으로 사용되고 있다. 특히 화상통신 및 동화상을 이용한 비디오 메일 서비스는 이러한 멀티미디어 기능 중 핵심으로 자리잡고 있다. 화상통신 및 비디오 메일에서 가장 큰 문제점은 낮은 네트워크 환경에서 질 높은 데이터를 전송하기 위한 것이다. 화상통신의 경우 네트워크 환경이 조금이라도 낮아지면 화질이 낮아지기 쉽고, 비디오 메일의 경우 화질을 높여 코딩할 경우 데이터 양이 급격하게 증가하여 사용자의 요금 부담이 매우 커지게 된다.
이러한 이유로 최근에는 보다 적은 데이터 양으로 높은 화질을 선보이기 위한 연구가 활발히 이루어지고 있다. 그 중 얼굴 영역을 추출하여 얼굴 영역을 보다 높은 화질로 코딩하고 다른 배경 영역은 낮은 화질로 코딩함으로써, 적은 데이터 양으로 고화질 영상을 송수신할 수 있는 기술은 최근이 연구되고 있다. 얼굴 영역은 화상통신에서 주요관심영역(ROI:Region Of Interest)이므로 얼굴 영역만 고화질이라면 사용자가 화질상 불편함을 덜 느끼게 되는 것이다. 이 때 중요한 것은 얼굴 영역을 정확하게 추출하기 위한 얼굴 영역 추출 엔진인데, 얼굴 영역 추출 방법은 오래 전부터 많은 연구가 이루어져 왔다.
이와 같이 얼굴 영역을 제외한 배경영역의 화질 저하 방법은 부분적으로 적은 데이터 양으로 높은 화질을 제공하는데 크게 효과적이나, 여전히 넓은 배경 영역에 대해 코딩이 이루어지므로 비디오 메일 서비스 등을 이용할 때 사용자가 원하지 않더라도 높은 요금을 부담해야 할 수밖에 없다.
한편, 일반적으로 카메라의 이동이 많으면 전체적으로 코딩된 데이터 양이 많아지게 된다. 만일 움직임이 전혀 없다면 이전 프레임의 해당 블록을 사용하므로 코딩이 되지 않아 데이터 양이 줄게 된다. 따라서 사용자가 비디오 메일 취득이나 화상통신 시에, 많이 움직이지 않고 영상을 취득하게 되면 같은 시간을 촬영하더라도 상대적으로 적은 데이터로 코딩될 수 있다. 하지만 사용자가 아무리 카메라를 움직이지 않는다고 하여도, 고정되지 않는 이상 약간의 흔들림으로 인해 배경 영역도 움직임이 발생하여 코딩 양이 상당히 발생하게 된다. 이러한 불필요한 양의 데이터는 실시간 화상통신 시에 화질을 저하시키는 요인이 되며, 비디오 메일의 경우 매우 비싼 요금을 지불해야 하는 원인이 된다.
본 발명은, 화상통신을 지원하는 이동 통신 단말기를 이용하여 화상통신을 수행하거나 비디오 메일을 송수신할 때, 떨림이나 움직임 보정을 통해 배경을 정지영상화 함으로써, 화질을 개선함과 동시에 데이터 양을 감소시킬 수 있는 화상통신 시스템 및 그 운용방법을 제공함에 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 화상통신 시스템은,
입력된 영상으로부터 관심 영역(ROI:Region Of Interest)을 추출하는 수단과;
상기 입력된 영상에 대하여, 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 수단; 및
상기 일치된 배경 영역은 'Not-coded 블록'으로 설정하여 상기 보정된 영상을 코딩하는 수단; 을 포함하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 관심 영역 추출 수단에서 추출되는 관심 영역은 얼굴 영역인 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 코딩 수단은 'Not-coded 블록'으로 설정된 배경 영역에 대하여 코딩을 수행함에 있어, 움직임 추정(motion estimation) 과정을 거치지 않고 바로 'not-coded 블록'으로 강제 코딩하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 수단을 더 포함하는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 화상통신 시스템의 운용방법은,
입력된 영상이 첫 프레임이 아닌 경우, 상기 입력된 영상으로부터 관심 영역 (ROI:Region Of Interest)을 추출하는 단계와;
상기 입력된 영상에 대하여, 추출된 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 단계; 및
상기 일치된 배경 영역은 'not-coded 블록'으로 설정하여 상기 보정된 영상을 코딩하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 본 발명에 의하면 상기 코딩 단계에 있어, 'Not-coded 블록'으로 설정된 배경 영역에 대해서는 움직임 추정(motion estimation) 과정을 거치지 않고 바로 'not-coded 블록'으로 강제 코딩하는 점에 그 특징이 있다.
또한, 본 발명에 의하면 상기 코딩 단계 이전에, 상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 단계를 더 포함하는 점에 그 특징이 있다.
또한, 본 발명에 의하면 상기 영상을 보정하는 단계에 있어, 상기 추출된 관심 영역의 주변 배경 영역을 조금씩 이동시켜 반복적으로 매핑함으로써, 가장 유사하게 매핑되는 재위치 정보를 구하여 상기 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 영상을 보정하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 코딩 단계에서 보정된 영상에 대한 코딩을 수행함에 있어, 상기 입력된 영상에 대한 영상 보정이 수행된 후에 매 프레임마다 실시간으로 코딩이 수행되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 코딩 단계에서 보정된 영상에 대한 코딩을 수행함에 있어, 상기 입력되는 영상에 대한 영상 보정이 모두 수행된 이후에, 보정된 모든 영상 프레임에 대하여 일괄적으로 비실시간 코딩이 수행되는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 화상통신 시스템에서의 떨림/움직임 보정 방법은,
입력된 영상에서 관심 영역(ROI:Region Of Interest)을 추출하는 단계; 및
상기 추출된 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 본 발명에 의하면 상기 영상 보정 단계 이후에, 상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 단계를 더 포함하는 점에 그 특징이 있다.
또한, 본 발명에 의하면 상기 영상을 보정시키는 단계에 있어, 상기 추출된 관심 영역의 주변 배경 영역을 조금씩 이동시켜 반복적으로 매핑함으로써, 가장 유사하게 매핑되는 재위치 정보를 구하여 상기 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 영상을 보정시키는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 화상통신을 지원하는 이동 통신 단말기를 이용하여 화상통신을 수행하거나 비디오 메일을 송수신할 때, 떨림이나 움직임 보정을 통해 배경을 정지영상화 함으로써, 화질을 개선함과 동시에 데이터 양을 감소시킬 수 있는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
일반적으로 화상통신에서 사용되는 동영상 표준으로는 H.263, MPEG1, MPEG2, MPEG4 등이 사용된다. 이들 모두 유사한 방법으로 영상을 압축하게 되는데, 기본적인 압축 개념은 바로 이전 프레임을 참조하여 코딩 양을 최소화하는 것이다.
모든 프레임은 16*16 픽셀 크기의 매크로 블록단위로 코딩이 이루어진다. 코딩된 프레임은 크게 인트라(intra) 프레임과 인터(inter) 프레임으로 나뉜다. 인트라 프레임은 다른 프레임의 참조 없이 독자적으로 압축 코딩된 프레임이고, 인터 프레임은 이전 프레임을 참조하여 압축 코딩된 프레임이다. 모든 압축 표준에서 첫 프레임은, 참조할 프레임이 없으므로 인트라 프레임이 되고, 이후부터는 인터 프레임이 된다. 하지만 화질의 개선을 위해 주기적으로 인트라 프레임으로 코딩하기도 한다 (MPEG1,2,4).
인터 프레임의 경우, 매크로 블록 단위로 이전 프레임에서 가장 유사한 매크로 블록을 찾게 된다. 이를 움직임 추정(Motion Estimation)이라고 하는데, 유사한 이전 프레임에서의 매크로 블록과 현재 매크로 블록과의 차이 값을 구한 후 이를 코딩하게 된다. 두 매크로 블록이 유사할수록 그 차이 값은 0에 가깝게 될 것이고, 0에 가까운 값이 많을수록 압축 알고리즘 상 데이터 양이 작아지게 된다. 가장 데이터 양이 적을 때에는 이전 프레임에서의 같은 위치의 매크로 블록과 현재 매크로 블록이 같은 경우이다. 이때는 코딩을 따로 하지 않고, 디코더에서 바로 이전 프레임의 같은 위치의 매크로 블록을 가져오도록 하고 있다(이를 'Not-coded block'이라 함). 즉, 'Not-coded block'에 해당되는 매크로 블록에 대해서는 코딩 양이 발생되지 않게 된다. 때문에 움직임이 전혀 없는 고정된 카메라로 취득한 영상은 데이터 양이 매우 적게된다.
이러한 이유로 사용자가 낮은 네트워크 환경에서 좋은 화질을 원한다면 가급적 카메라를 움직이지 않고 통신을 수행하여야 하며, 비디오 메일의 경우에도 적은 양으로 영상을 취득하고 싶다면 카메라를 움직이지 않고 영상을 취득하여야 한다. 하지만 PC 카메라와 같이 카메라가 고정되어 있지 않는 이상, 사람이 손으로 움직이지 않고 카메라를 들고 있다고 하더라도 실제로는 미세한 움직임이 발생하여 배경 영역도 코딩이 되어 불필요한 코딩 양이 발생한다. 또한 경우에 따라서는 카메라를 고정시킨 경우조차 보이지 않는 조명의 변화(또는 떨림)로 인하여 코딩이 되는 경우도 있다.
본 발명에서는 이와 같이 떨림이나 약간의 이동으로 인하여 사용자가 의도하지 않은 움직임이 발생했을 때, 이를 감지하고 자동으로 움직인 배경을 제자리로 고정시킴으로써, 도 1에 나타낸 바와 같이, 정지 배경과 같은 효과를 주도록 한다. 도 1은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대하여 관심 영역과 배경 영역을 분리하고, 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 보정하는 것을 개념적으로 나타낸 도면이다.
이때, 배경의 움직임을 감지하기 위해서 기존에 사용된 대부분의 방법들은 영상 전체에 대해 움직임을 보정하는 방법을 사용하고 있다. 하지만 본 발명에서는 얼굴 영역을 제외한 배경 영역에 대해서만 이러한 움직임 보정이 일어나야 하므로, 움직임 보정 수단 뿐 아니라 얼굴 영역 추출 수단이 요구된다.
즉, 얼굴 영역을 먼저 추출한 후, 얼굴 영역을 제외한 나머지 영역에 대해 움직임 정보를 추출하여 전체 프레임에 대한 움직임 보정을 수행하여야 한다. 이러한 일련의 과정이 도 2에 기술되어 있다. 도 2는 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대한 인코딩이 수행되는 과정을 나타낸 순서도이다.
먼저, 영상 프레임이 입력되면 입력된 영상으로부터 얼굴 영역을 추출한다(단계 201~202). 다음 얼굴 영역을 제외한 배경 영역에 대해, 배경을 이전 프레임과 일치시키기 위한 재위치 정보를 구하고, 구해진 재위치 정보에 따라 얼굴 영역을 제외한 배경 영역을 이전 프레임과 일치시킨다(단계 203). 이후, 얼굴 영역을 포함된 프레임을 배경이 일치된 프레임 위에 재위치 시키고, 이전 프레임을 이용하여 연속된 두 프레임(이전 프레임과 현재 프레임)이 자연스럽도록 얼굴 영역과 배경 영역을 합성시킨다(단계 204).
여기서, 프레임을 재위치 시킨다는 것은 배경 영역은 이전 프레임의 배경 영역과 일치한다는 가정이므로 완전히 배경 영역만 있는 매크로 블록의 경우 이전 프레임의 매크로 블록을 그대로 사용할 수 있다. 도 3에서 회색(gray)으로 표시된 블록이 이에 해당된다. 대신 얼굴 영역이 포함된 영상은 이전 배경과 정확하게 일치하도록 재위치시킨 상태에서 현재 프레임의 해당 블록을 사용하게 된다. 도 3에서 회색(Gray)으로 표시되지 않은 나머지 블록이 이에 해당된다. 도 3은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대한 코딩을 수행하기 위하여 관심 영역과 배경 영역을 분리하는 것을 개념적으로 나타낸 도면이다.
그리고, 상기 배경을 일치시키는 방법으로는 얼굴 영역 주변 매크로 블록들을 조금씩 이동시켜 매핑하는 과정을 통하여 가장 유사하게 매핑되는 점을 찾아 평균 이동 정보를 구하여 재위치 정보를 구하는 방법이 사용될 수 있다.
일반적으로 카메라 움직임에 따라 배경을 일치시키더라도 정확히 일치되지 않는 경우가 있을 수 있다. 이 경우 상기와 같이 현재 프레임에서는 얼굴을 포함한 매크로 블록만을 일치시킨 후 사용하고 나머지 배경에 대해서는 이전 프레임의 매크로 블록을 사용하게 되면, 현재 프레임에서 가져온 블록과 이전 프레임에서 가져온 블록 간의 경계 부근에서 어긋남이 발생될 수도 있다. 이러한 약간의 어긋남을 보완하기 위해 후처리가 추가될 수도 있다(단계 205). 이와 같은 후처리의 예로서 블록 간의 경계 부근을 매끄럽게 만드는 방법(smoothing)을 이용할 수도 있다.
이와 같이 이전 프레임에 대하여 배경을 일치시킨 동영상을 인코더로 압축하게 되면 배경에 해당하는 블록은 자연스럽게 'Not-coded 블록'으로 코딩되게 된다(단계 206). 따라서 데이터 양은 자연스럽게 감소하게 되지만 움직임 추정(motion estimation) 과정은 수행하게 되므로 코딩 시간에는 크게 변함이 없다.
그런데, 본 발명의 경우 얼굴 영역을 포함하는 매크로 블록, 즉 'coded 블록'과 'not-coded 블록'에 대한 정보를 사전에 알고 있으므로, 'not-coded 블록'으로 코딩될 블록, 즉 배경 영역에 해당되는 블록의 경우에는 움직임 추정(motion estimation) 과정 없이 바로 'not-coded 블록'으로 세팅할 수 있다. 이 경우 인코딩 시간도 매우 감소시킬 수 있으므로 데이터 양 뿐 아니라 코딩 시간도 감소시킬 수 있는 장점이 있다.
지금까지 기술한 떨림 보정, 또는 움직임 보정을 통한 화상회의/비디오 메일 시스템은 다음과 같이 두 가지 응용이 가능하다. 먼저, 화상 회의와 같이 실시간 코딩 시스템에서는 도 4에 나타낸 바와 같이 입력된 영상을 일련의 과정으로 배경 일치를 시킨 후, 바로 현재 프레임을 코딩하여 전송 버퍼로 보내는 경우이고, 다른 하나는 도 5와 같이 취득된 영상의 모든 프레임을 일련의 과정으로 배경 일치시킨 후, 나중에 일괄적으로 전 프레임을 코딩하여 압축된 영상을 만들어서 전송하는 경우로서, 이는 비디오 메일에 적용될 수 있다. 도 4는 본 발명에 따른 화상통신 시스템의 운용방법이 적용된 예로서, 화상 회의와 같은 실시간 코딩 시스템에 적용되는 처리 과정을 나타낸 순서도이고, 도 5는 본 발명에 따른 화상통신 시스템의 운용방법이 적용된 예로서, 비디오 메일과 같은 비실시간 코딩 시스템에 적용되는 처리 과정을 나타낸 순서도이다.
한편, 얼굴 추출 알고리즘은 다양한 방법이 기존에 소개되어 있으며, 여기서는 한 예로서 살색 기반 얼굴 영역 추출 알고리즘을 사용하여 얼굴 영역을 추출하는 경우에 대하여 도 6을 참조하여 간략하게 설명해 보기로 한다. 도 6은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 관심 영역으로 얼굴 영역을 추출하는 과정의 한 예를 나타낸 도면이다.
도 6을 참조하여 설명하면, 먼저 영상이 입력되면(단계 601), 입력된 영상에서 살색 영역 조건에 만족하는 픽셀을 구하고(단계 602), 살색 픽셀을 유사한 색끼리 그룹화하는 과정을 수행한다(단계 603).
이후, 상기 단계 603에서 그룹화된 살색 그룹들 중 가장 중앙에 많이 분포되어 있는 그룹을 후보 색그룹으로 선정하여 이를 살색 영역으로 지정하고(단계 604), 살색 영역에서 연결 정보를 사용하여 가장 큰 살색 덩어리를 구하며(단계 605), 상기 단계 605에서 구해진 살색 덩어리 모양이 타원 모양인지를 검증하는 타원 검증 과정을 통해 얼굴 영역을 추출한다(단계 606).
이상의 설명에서와 같이 본 발명에 따른 화상통신 시스템 및 그 운용방법에 의하면, 화상통신을 지원하는 이동 통신 단말기를 이용하여 화상통신을 수행하거나 비디오 메일을 송수신할 때, 떨림이나 움직임 보정을 통해 배경을 정지영상화 함으로써, 화질을 개선함과 동시에 데이터 양을 감소시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대하여 관심 영역과 배경 영역을 분리하고, 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 보정하는 것을 개념적으로 나타낸 도면.
도 2는 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대한 인코딩이 수행되는 과정을 나타낸 순서도.
도 3은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 입력된 영상에 대한 코딩을 수행하기 위하여 관심 영역과 배경 영역을 분리하는 것을 개념적으로 나타낸 도면.
도 4는 본 발명에 따른 화상통신 시스템의 운용방법이 적용된 예로서, 화상 회의와 같은 실시간 코딩 시스템에 적용되는 처리 과정을 나타낸 순서도.
도 5는 본 발명에 따른 화상통신 시스템의 운용방법이 적용된 예로서, 비디오 메일과 같은 비실시간 코딩 시스템에 적용되는 처리 과정을 나타낸 순서도.
도 6은 본 발명에 따른 화상통신 시스템의 운용방법에 의하여, 관심 영역으로 얼굴 영역을 추출하는 과정의 한 예를 나타낸 도면.

Claims (13)

  1. 입력된 영상으로부터 관심 영역(ROI:Region Of Interest)을 추출하는 수단과;
    상기 입력된 영상에 대하여, 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 수단; 및
    상기 일치된 배경 영역은 'Not-coded 블록'으로 설정하여 상기 보정된 영상을 코딩하는 수단; 을 포함하는 것을 특징으로 하는 화상통신 시스템.
  2. 제 1항에 있어서,
    상기 관심 영역 추출 수단에서 추출되는 관심 영역은 얼굴 영역인 것을 특징으로 하는 화상통신 시스템.
  3. 제 1항에 있어서,
    상기 코딩 수단은 'Not-coded 블록'으로 설정된 배경 영역에 대하여 코딩을 수행함에 있어, 움직임 추정(motion estimation) 과정을 거치지 않고 바로 'not-coded 블록'으로 강제 코딩하는 것을 특징으로 하는 화상통신 시스템.
  4. 제 1항에 있어서,
    상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 수단을 더 포함하는 것을 특징으로 하는 화상통신 시스템.
  5. 입력된 영상이 첫 프레임이 아닌 경우, 상기 입력된 영상으로부터 관심 영역 (ROI:Region Of Interest)을 추출하는 단계와;
    상기 입력된 영상에 대하여, 추출된 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 단계; 및
    상기 일치된 배경 영역은 'not-coded 블록'으로 설정하여 상기 보정된 영상을 코딩하는 단계; 를 포함하는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  6. 제 5항에 있어서,
    상기 코딩 단계에 있어, 'Not-coded 블록'으로 설정된 배경 영역에 대해서는 움직임 추정(motion estimation) 과정을 거치지 않고 바로 'not-coded 블록'으로 강제 코딩하는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  7. 제 5항에 있어서,
    상기 코딩 단계 이전에,
    상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 단계를 더 포함하는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  8. 제 5항에 있어서,
    상기 영상을 보정하는 단계에 있어, 상기 추출된 관심 영역의 주변 배경 영역을 조금씩 이동시켜 반복적으로 매핑함으로써, 가장 유사하게 매핑되는 재위치 정보를 구하여 상기 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 영상을 보정하는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  9. 제 5항에 있어서,
    상기 코딩 단계에서 보정된 영상에 대한 코딩을 수행함에 있어, 상기 입력된 영상에 대한 영상 보정이 수행된 후에 매 프레임마다 실시간으로 코딩이 수행되는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  10. 제 5항에 있어서,
    상기 코딩 단계에서 보정된 영상에 대한 코딩을 수행함에 있어, 상기 입력되는 영상에 대한 영상 보정이 모두 수행된 이후에, 보정된 모든 영상 프레임에 대하여 일괄적으로 비실시간 코딩이 수행되는 것을 특징으로 하는 화상통신 시스템의 운용방법.
  11. 입력된 영상에서 관심 영역(ROI:Region Of Interest)을 추출하는 단계; 및
    상기 추출된 관심 영역을 제외한 배경 영역을 이전 프레임에서의 배경 영역과 일치시켜 영상을 보정하는 단계; 를 포함하는 것을 특징으로 하는 화상통신 시스템에서의 떨림/움직임 보정 방법
  12. 제 11항에 있어서,
    상기 영상 보정 단계 이후에, 상기 일치된 배경 영역과 관심 영역의 경계에서 발생될 수 있는, 영상 보정 과정에서의 오차를 보완하기 위하여, 배경 영역으로만 이루어진 매크로 블록과 관심 영역이 포함된 매크로 블록 간의 경계를 매끄럽게 처리하는(smoothing) 후처리 단계를 더 포함하는 것을 특징으로 하는 화상통신 시스템에서의 떨림/움직임 보정 방법.
  13. 제 11항에 있어서,
    상기 영상을 보정하는 단계에 있어, 상기 추출된 관심 영역의 주변 배경 영역을 조금씩 이동시켜 반복적으로 매핑함으로써, 가장 유사하게 매핑되는 재위치 정보를 구하여 상기 입력된 영상의 배경 영역을 이전 프레임의 배경 영역과 일치시켜 영상을 보정시키는 것을 특징으로 하는 화상통신 시스템에서의 떨림/움직임 보정 방법.
KR10-2002-0061426A 2002-10-09 2002-10-09 화상통신 시스템 및 그 운용방법 KR100493702B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0061426A KR100493702B1 (ko) 2002-10-09 2002-10-09 화상통신 시스템 및 그 운용방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0061426A KR100493702B1 (ko) 2002-10-09 2002-10-09 화상통신 시스템 및 그 운용방법

Publications (2)

Publication Number Publication Date
KR20040032332A KR20040032332A (ko) 2004-04-17
KR100493702B1 true KR100493702B1 (ko) 2005-06-02

Family

ID=37332242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0061426A KR100493702B1 (ko) 2002-10-09 2002-10-09 화상통신 시스템 및 그 운용방법

Country Status (1)

Country Link
KR (1) KR100493702B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101069182B1 (ko) * 2005-01-07 2011-09-30 엘지전자 주식회사 감시 영상 이미지 압축 녹화장치 및 방법
KR100970755B1 (ko) * 2008-06-19 2010-07-16 조완제 골프공 자동 공급장치
KR200452395Y1 (ko) * 2008-07-15 2011-02-22 조길연 골프공 자동공급장치
KR101201620B1 (ko) 2010-01-26 2012-11-14 삼성전자주식회사 휴대단말기의 영상 개선장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970073156A (ko) * 1996-04-26 1997-11-07 김광호 객체단위의 처리가 가능한 동영상 부호화/복호화방법 및 부호화/복호화장치
KR19980048654A (ko) * 1996-12-18 1998-09-15 김광호 선택적 부호화방법 및 그 장치
JP2001128173A (ja) * 1999-10-28 2001-05-11 Victor Co Of Japan Ltd オブジェクト符号化装置
KR20030040975A (ko) * 2001-11-17 2003-05-23 주식회사 엘지이아이 오브젝트 기반 비트율 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970073156A (ko) * 1996-04-26 1997-11-07 김광호 객체단위의 처리가 가능한 동영상 부호화/복호화방법 및 부호화/복호화장치
KR19980048654A (ko) * 1996-12-18 1998-09-15 김광호 선택적 부호화방법 및 그 장치
JP2001128173A (ja) * 1999-10-28 2001-05-11 Victor Co Of Japan Ltd オブジェクト符号化装置
KR20030040975A (ko) * 2001-11-17 2003-05-23 주식회사 엘지이아이 오브젝트 기반 비트율 제어방법

Also Published As

Publication number Publication date
KR20040032332A (ko) 2004-04-17

Similar Documents

Publication Publication Date Title
JP4369090B2 (ja) ビデオ情報を符号化し復号化する方法、動き補償ビデオ符号器及び対応する復号器
CA2574590C (en) Method and apparatus for motion vector prediction in temporal video compression
JP4485796B2 (ja) 画面がスライスに分割される前景および背景のビデオ符号化および復号
RU2377737C2 (ru) Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
US20060017843A1 (en) Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
JP2004248285A (ja) 画像通話時における話者の映像の差動的符号化可能のビデオエンコーダ及びこれを利用したビデオ信号圧縮方法
JP2003199102A (ja) 映像符号化装置
Hartung et al. Object-oriented H. 263 compatible video coding platform for conferencing applications
JPH04219089A (ja) 画像符号化装置
JP3316157B2 (ja) ポストフィルタリング方法並びにその装置
KR100493702B1 (ko) 화상통신 시스템 및 그 운용방법
KR20080005747A (ko) 관심영역 기반의 영상 화질개선장치 및 양자화기기 및 그동작 방법
WO2006134525A1 (en) Coding and decoding method and device for improving video error concealment
KR100885441B1 (ko) 블록 경계 영역 필터링 방법
JPH06233292A (ja) 画像信号伝送装置
KR100598368B1 (ko) 블록 경계 영역 필터링 방법
US11716470B2 (en) Encoder, decoder, encoding method, and decoding method
US11936893B2 (en) Encoder, decoder, encoding method, and decoding method
KR100524856B1 (ko) 블록 경계 영역 필터링 방법
KR100598369B1 (ko) 블록 경계 영역 필터링 방법
KR100839304B1 (ko) 동영상 디코딩 방법
KR100598367B1 (ko) 블록 경계 영역 필터링 방법
KR100298184B1 (ko) 동영상부호화장치에서눈동자영상처리방법
KR100917208B1 (ko) 블록 경계 영역 필터링 방법
KR100917207B1 (ko) 블록 경계 영역 필터링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090331

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee