KR20100095833A - Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 - Google Patents

Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 Download PDF

Info

Publication number
KR20100095833A
KR20100095833A KR1020090014840A KR20090014840A KR20100095833A KR 20100095833 A KR20100095833 A KR 20100095833A KR 1020090014840 A KR1020090014840 A KR 1020090014840A KR 20090014840 A KR20090014840 A KR 20090014840A KR 20100095833 A KR20100095833 A KR 20100095833A
Authority
KR
South Korea
Prior art keywords
image
roi
compression
parameter
region
Prior art date
Application number
KR1020090014840A
Other languages
English (en)
Inventor
정철
Original Assignee
주식회사 몬도시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 몬도시스템즈 filed Critical 주식회사 몬도시스템즈
Priority to KR1020090014840A priority Critical patent/KR20100095833A/ko
Priority to US12/711,164 priority patent/US10027966B2/en
Publication of KR20100095833A publication Critical patent/KR20100095833A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상을 압축함에 있어 영상의 압축 파라미터를 직접 제어하여 비트레이트를 낮추면서 사람이 주관적으로 인식하는 화질은 향상시키는 압축 방법 및 그 압축 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 ROI(region of interest, 관심영역) 의존형 압축 파라미터를 이용한 영상 압축 장치는 입력된 영상의 ROI 정보를 추정하는 ROI 추정부, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함한다.
본 발명에 의하면, 영상의 시각적으로 주목되는 영역에 비교적 높은 비트 레이트를 할당하고, 시각적으로 주목되지 않는 영역에 상당히 낮은 비트레이트를 할당함으로써 영상 압축 시 높은 압축률을 달성할 수 있다.
영상 압축, ROI(region of interest)

Description

ＲＯＩ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING PICTURES WITH ROI-DEPENDENT COMPRESSION PARAMETERS}
본 발명은 영상 처리에 관한 것이다. 보다 구체적으로는 영상 압축에 관한 것이다.
동영상 압축의 방법들은 인간 시각 시스템(HVS, Human Visual System)의 특성을 이용하여, 인간이 중요하게 느끼지 못하는 부분들을 많이 손실시킴으로써 압축률을 높이고, 동일한 비트레이트에서 화질을 향상시키는 것을 목적으로 한다. 영상 압축의 대표적인 예로 MPEG을 들 수 있다. MPEG 등의 기존 압축 방법에서는 사람이 동영상을 볼 때 밝기보다는 색상에 둔감하다는 사실을 이용하여 채도 서브샘플링(Chroma subsampling)을 통해 데이터 양을 획기적으로 줄였다.
획기적인 압축을 가능하게 해주는 다른 인간 시각 특성으로는 포비에이션(Foveation)을 들 수 있다. 픽세이션 포인트(Fixation Point: 인간이 주목하고 있는 부위) 주변으로 약 2도 정도만을 선명하게 볼 뿐이며, 나머지 부위는 선명하게 보지 못한다는 것을 들 수 있다.
이러한 특성을 이용한 영상 압축 방법 중 하나로서 포비에이티드 비디오 코딩(Foveated Video Coding)이 있다. 이 방법은 전술한 특성을 이용하여, 동영상에 대해 픽세이션 포인트를 추정하고, 이 포인트로부터 멀리 떨어진 부위에서는 화질을 많이 손상시켜 압축률을 높이려는 방법이다. 이 방법은 픽세이션 포인트로부터 멀어질수록 인간의 시각적인 해상도가 떨어진다는 성질을 이용한 것이다.
전술한 포비에이션 방법 중 하나로서 블러링(Blurring, 흐리게 하기)가 있다. 블러링의 구현 방법으로는 필터링(Filtering), 다중해상도 & 웨이블릿(Multiresolution & Wavelet)과 DCT 도메인에서의 서브밴드 압축(Subband suppression in DCT domain)을 들 수 있다. 필터링 방법은 공간적으로 변화하는 블러 필터(Blur Filter)를 사용하며 영상의 해상도는 원본과 동일하다. 다음으로 멀티레졸루션 & 웨이블릿 방법은 해상도를 연속적으로 반씩 줄인 영상 집합들로부터 영상을 재구성한다. 이 때, 각 위치에서 선택되는 영상의 해상도는 포비에이션 함수에 의해 결정된다. 웨이블릿 변환에 기반한 압축 방법들은 근본적으로 멀티레졸루션 방식에 기반하고 있으므로, 이 방법에 아주 적합하며, 압축 효율 또한 좋으므로, 가장 널리 사용되는 방법이다. 다음으로 대부분의 동영상 압축 표준이 사용하고 있는 DCT 기반의 압축방법은 블러 필터를 DCT 공간에서 구현하는 방법이다.
이와 같은 포비에이션 방법은 한계가 있다. 왜냐하면 영상의 비트레이트를 직접 조절하지 않고 비트레이트와는 무관하게 영상을 블러링하기 때문이다. 또한 이러한 포비에이션을 영상에 적용하더라도 의도한 바와 다르게 그 효과가 나타나지 않는 경우가 있을 수 있다. 예를 들어, 격투기 경기 화면의 주변부에 관중석과 로 프(Rope)가 있고, 중앙부의 선수 얼굴에 포비에이션이 있는 경우 블러를 많이 한다 해도 격투기 선수의 얼굴에 비트레이트가 많이 할당되지 않을 수 있다.
본 발명은 영상을 압축함에 있어 영상의 압축 파라미터를 직접 제어하여 비트레이트를 낮추면서 사람이 주관적으로 인식하는 화질은 향상시키는 압축 방법 및 그 압축 방법을 제공하는 것을 목적으로 한다.
본 발명의 청구항 제1항에 관련된 발명은 입력된 영상의 ROI 정보를 추정하는 ROI 추정부, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함하는 ROI 의존형 압축 파라미터를 이용한 영상 압축 장치에 관한 것이다.
여기서, 바람직하게는, 상기 ROI 추정부는 영상을 분석하여 ROI를 추정하거나 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정한다.
여기서, 바람직하게는, 상기 압축 파라미터는 비트레이트, QP, 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함한다.
여기서, 상기 압축부는 상기 입력된 영상의 전처리를 수행하는 전처리부 및 상기 전처리가 수행된 영상을 압축하는 인코더를 포함한다.
여기서, 상기 전처리는 비 ROI 영역에 대한 블러링(blurring, 흐리게 하기), ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나이다.
본 발명의 청구항 제6항에 관련된 발명은 입력된 영상의 ROI 정보를 추정하는 단계, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터를 할당하는 단계 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 단계를 포함하는 ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법에 관한 것이다.
여기서, 바람직하게는, 상기 ROI 정보를 추정하는 단계는 영상을 분석하여 ROI를 추정하는 단계 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는 단계를 포함한다.
여기서, 바람직하게는, 상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함한다.
여기서, 바람직하게는, 상기 영상을 압축하는 단계는 상기 입력된 영상의 전처리를 수행하는 단계 및 상기 전처리가 수행된 영상을 압축하는 단계를 포함한다.
여기서, 상기 전처리를 수행하는 단계는 비 ROI 영역을 블러링하는 단계, ROI 영역을 샤프닝하는 단계, 영상의 전체적인 또는 부분적인 해상도를 변경하는 단계 중 어느 하나 이상을 포함한다.
본 발명에 따른 영상 압축 방법은 컴퓨터 프로그램으로 제작될 수 있다.
본 발명에 의하면, 영상의 시각적으로 주목되는 영역에 비교적 높은 비트 레이트를 할당하고, 시각적으로 주목되지 않는 영역에 상당히 낮은 비트레이트를 할 당함으로써 영상 압축 시 높은 압축률을 달성할 수 있다.
본 발명의 착안점
본 발명이 주목하는 것은, HVS의 해상도에 맞추어 블러를 줌으로써 인간 시각을 시뮬레이션하는 것에 의하여 포비에이션의 효과가 반드시 얻어지는 것이 아니라는 점이다. 시각적으로 원본을 블러해서 보는 것이 포비에이션이기 때문에, 원본에 다른 방식의 손상을 가져온다 해도 포비에이션에 의해 그 손상이 보이지 않게 된다. 즉, 예를 들어 블록기반 압축에서 블록 경계, 양자화 결함(Quantization Artifact) 등의 다른 손상이 있다 해도, PAF(perceptual attention field, 지각적 주목 영역) 외의 영역에서는 HVS의 저해상도 속성 때문에 그런 손상이 보이지 않게 되는데, 본 발명은 이러한 성질을 이용하여 영상의 압축율을 높이면서도 영상의 인식화질을 높일 수 있는 영상 압축에 관한 것이다.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세 한 설명을 생략한다.
본 발명의 일 실시예에 따른 영상 압축 장치
도 1은 본 발명의 일 실시예에 따른 영상 압축 장치(100)를 나타낸 블록도이다. 영상 압축 장치(100)는 ROI 추정부(110), 파라미터 할당부(120) 및 압축부(130)를 포함한다. ROI 추정부(110)는 입력된 영상에 대하여 ROI를 추정하고, 파라미터 할당부(120)는 ROI 추정부(110)에 의하여 추정된 ROI 정보를 입력받아 그 정보에 기초하여 입력된 영상에 대하여 영역별로 압축 파라미터를 할당한다. 압축부(130)는 파라미터 할당부(120)에서 할당된 파라미터를 이용하여 입력된 영상을 압축한다. 이하 각 구성요소에 대하여 더욱 구체적으로 설명하도록 한다.
ROI 추정부(110)
ROI 추정부(110)는 입력된 영상의 ROI를 추정한다. ROI는 사람이 영상을 볼 때 더욱 주의를 가지고 보는 영역을 의미한다. 예를 들어 영상에 인물이 등장하는 경우 그 인물이 ROI 영역이 될 수 있으며, 영상에 자막이 있는 경우 그 자막 또한 ROI가 될 수 있다. 따라서 이 경우 영상에서 인물이나 자막을 자동적으로 감지하고 그 영역을 ROI로 추정할 수 있다. 이와 같이 ROI를 추정하는 한 방법으로 ROI를 추정하는 알고리즘을 이용하여 영상을 자동적으로 분석하여 ROI를 추정할 수 있다. 이와 같이 자동으로 ROI를 추정하는 방식은 실시간 영상 전송 시스템, 예를 들어 화상통화 시스템 등에서 이용될 수 있다. 이와 다르게 만약 영상을 실시간으로 전 송할 필요가 없는 경우에는 그 영상을 구체적으로 분석하여 ROI를 설정할 수 있다. 예를 들어 IPTV 시스템에서 영상(예를 들어 영화)을 전송하기 위하여 그 영상을 압축하는 경우에는, 그 영상을 미리 다수의 사람에게 보여주면서 그 사람들의 눈동자 움직임을 측정하여 영상의 ROI를 측정할 수도 있다.
구체적으로 컴퓨터 모델을 이용하여 ROI를 추정하는 방법은 다음과 같은 공지된 기술을 이용할 수도 있다.
1) L. Itti, C. Koch, E. Niebur, A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.
2) Automatic video region-of-interest determination based on user attention model
Wen-Huang Cheng; Wei-Ta Chu; Jin-Hau Kuo; Ja-Ling Wu
Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on
Volume , Issue , 23-26 May 2005 Page(s): 3219 - 3222 Vol. 4
3) Giuseppe Boccignone, Angelo Marcelli, Gaetano Somma, "Foveated Analysis of Video," iciap, p. 638, 12th International Conference on Image Analysis and Processing (ICIAP'03), 2003
측정을 통해 ROI를 추정하는 방법은 다음과 같은 공지된 기술을 이용할 수도 있다.
Komogortsev, O. and Khan, J. 2006. Perceptual attention focus prediction for multiple viewers in case of multimedia perceptual compression with feedback delay. In Proceedings of the 2006 Symposium on Eye Tracking Research &Amp; Applications (San Diego, California, March 27 - 29, 2006). ETRA '06. ACM, New York, NY, 101-108.
상기 문헌들에 개시된 방법을 이용하여 ROI를 추정할 수 있으므로 본 명세서에서는 ROI를 추정하는 구체적인 방법에 대해서는 설명을 생략하도록 한다.
또한 ROI 추정 방법으로서 전술한 saliency 기반 방법과 직접측정 방법 외에도 다양한 ROI 추정 방법을 사용하여도 무방하다. 예를 들어, 화면 중앙을 고정된 ROI로 설정할 수도 있으며, 사람이 영상을 보면서 장면별로 수동으로 ROI를 입력할 수도 있다.
ROI 추정부(120)는 영상에 대하여 ROI를 추정하고 그 결과를 출력한다. ROI 추정부(120)의 ROI 추정 결과는 영상의 각 화소가 ROI에 속할 확률 형태로 출력되거나, 영상의 각 매크로블록(macroblock)별로 ROI에 들어갈 최대확률 형태로 출력되거나, ROI에 속할 확률이 소정값 이상인 화소들의 영역 형태로 출력될 수도 있다.
파라미터 할당부(120)
파라미터 할당부(120)는 ROI 추정부(100)에서 추정된 영상의 ROI 정보에 기초하여 입력된 영상의 각 영역에 압축 파라미터를 할당한다.
압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준(예들 들어 MPEG-2, MPEG-4, h.264 등)별로 조절 가능한 파라미터들 중 임의의 어느 하나일 수 있다. 여기서 영상 표준별로 조절 가능한 파라미터란 종래의 영상 표준에서 이미 조절 가능한 파라미터로 정의되어 있는 것을 의미한다.
예를 들어 영상에 할당하는 파라미터가 비트레이트인 경우 ROI와 ROI가 아닌 영역에 서로 상이한 비트레이트를 할당할 수 있다. 예를 들어, ROI에는 1.2Mbps의 비트레이트를 할당하고 ROI가 아닌 영역에는 200kbps의 비트레이트를 할당할 수 있다.
또는, 예를 들어 H.264 영상의 경우, 한 프레임 내에 여러 개의 슬라이스(slice)를 둘 수 있는데, 각 슬라이스별로 다음과 같은 파라미터들을 조절하여 할당할 수 있다.
1) direct_spatial_mv_pred_flag : B slice에서 모션 벡터 추정 방식
2) slice_qp_delta : QP
3) disable_deblocking_filter_idc : deblocking filter 사용 여부
4) prediction weight table : explicit prediction weight를 사용할 경우, weight table의 변경
또한, 매크로 블록 별로 QP(Quantization Parameter)를 다르게 할당할 수 있다. 이때, H.264의 경우 매크로 블록 레이어에 mb_qp_delta 파라미터를 지정하여 각 매크로블록이 사용할 QP가 슬라이스의 기본 QP와 얼마나 다른지를 지정할 수 있다.
영상에 파라미터를 할당할 때, 기존의 압축 표준을 이용하여 영역을 별도로 지정하고 그 영역별로 별도의 파라미터를 지정할 수도 있고, 또는 기존의 압축 방식을 수정하여 영역별로 해상도를 변경할 수도 있다.
이상 제시한 압축 파라미터들은 예시적인 것에 불과하며 본 발명이 이로 한정되는 것은 아니다. 영상의 ROI 정보를 입력받아 그 정보에 기초하여 영상의 각 영역에 상이한 값의 압축 파라미터를 할당하기만 하면 본 발명의 권리범위에 포함되는 것으로 이해되어야 하며, 여기서 압축 파라미터는 종래 공지되었거나 앞으로 개발될 임의의 종류의 압축 파라미터를 의미하는 것이다.
압축부(130)
압축부(130)는 파라미터 할당부(120)에 의하여 영상의 각 영역 별로 할당된 압축 파라미터를 적용하여 입력된 영상을 압축한다. 이때 압축부(130)는 가장 단순하게는 종래의 영상 표준에서 제공되는 인코더(encoder)일 수 있다. 예를 들어, 압축부(130)는 H.264 인코더, MPEG-4 인코더 또는 MPEG-2 인코더를 포함하고, 입력되는 영상을 그러한 인코더를 이용하여 압축할 수 있다. 압축부(130)는 전술한 인코더 외에도 임의의 영상 압축을 위한 인코더를 포함할 수 있으며, 종래 공지된 영상 표준에서 이용되는 인코더뿐만 아니라 필요에 따라 시스템 설계자에 의해 변형된 인코더를 이용할 수도 있다. 즉, 본 발명에서 압축부(130)는 특정 인코더를 사용하 는 것으로 한정되는 것이 아니라, 영상을 압축하는 임의의 알고리즘을 사용하면 족한 것이다.
또한 도 2에 나타낸 바와 같이, 압축부(130)는 영상의 압축 이전에 영상의 전처리를 수행하기 위한 전처리부(131)를 포함할 수도 있다. 이때 영상의 전처리 이후에 영상의 압축이 인코더(132)에서 수행된다. 전처리부(131)가 수행하는 전처리 작업은 비 ROI 영역에 대해 블러링, ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나일 수 있다. 또는 종래의 영상 압축 방법에서 사용되는 임의의 전처리 과정이 전처리부(131)에 의해 수행될 수도 있다. 즉, 영상 압축 전 전처리의 수행은 선택적인 과정이므로 전처리부(131)가 어떤 전처리를 수행하는지에 의하여 본 발명이 한정되는 것이 아님을 유의할 필요가 있다.
본 발명의 효과의 설명
이하 본 발명에 따른 영상 압축 장치(100)의 효과에 관하여 설명한다. 본 발명의 효과를 보다 명확하게 이해할 수 있도록 종래의 포비에이티드 비디오 코딩과 비교하여 본 발명의 효과를 설명한다.
도 3은 본 발명에 따른 압축 효과를 설명하기 위한 도면으로서 압축 수행 전 원본 영상을 나타낸 도면이다.
도 4는 도 3에 나타낸 영상의 ROI를 추정하여 나타낸 화면이다.
도 5는 도 4에 나타낸 ROI를 마스크로 도 3의 영상의 각 영역에 서로 다른 압축 파라미터를 할당하여 압축한 영상을 예상하여 나타낸 것이다. 이때 영상 압축을 통해 비트레이트가 약 30% 감소될 수 있다.
도 6은 도 3에 나타낸 영상에 대해 종래 방법에 따라 전처리를 통한 블러링(blurring)을 수행하고 그 후 압축을 수행한 영상을 나타낸 것이다. 이 경우 블러링을 통한 영상의 복잡도 감소로 압축된 영상의 비트레이트가 30% 감소되었다.
그런데 도 4와 도 5를 비교해 보면 도 4의 영상의 품질이 도 5에 비하여 더욱 우수한 것을 알 수 있다. 특히, 영상에서 축구 골대의 선명도를 비교해 보면 이러한 차이를 명확하게 인식할 수 있을 것이다. 이러한 차이가 생기는 이유는 Blur가 심하게 된다고 해서 반드시 압축에 필요한 비트레이트가 낮아지는 것은 아니기 때문이다. 왜냐하면 블러가 심한 영상을 고화질로 압축한다면 비교적 많은 비트레이트가 필요할 수도 있기 때문이다.
본 발명의 일 실시예에 따른 영상 압축 방법
도 7은 본 발명의 일 실시예에 따른 영상 압축 방법의 순서도이다.
우선 영상에서 ROI를 추정한다 (S710). ROI 추정 결과는 영상의 각 화소가 ROI에 속할 확률 형태로 출력되거나, 영상의 각 매크로블록(macroblock)별로 ROI에 들어갈 최대확률 형태로 출력되거나, ROI에 속할 확률이 소정값 이상인 화소들의 영역 형태로 출력될 수도 있다.
다음으로 추정된 ROI에 기초하여 영상의 각 영역별로 압축 파라미터를 할당한다 (S720). 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준별로 조절 가능한 파라미터들 중 임의의 어느 하나일 수 있다. 여기서 영상 표준별로 조절 가능한 파라미터란 종래의 영상 표준에서 이미 조절 가능한 파라미터로 정의되어 있는 것을 의미한다.
다음으로 영상의 각 영역별로 할당된 압축 파라미터를 적용하여 영상을 압축한다 (S730). 이때 영상의 압축은 종래 공지된 임의의 영상 인코딩 방법을 이용하여 수행될 수 있다. 이와 다르게는, 영상에 대해 전처리를 수행한 뒤에 압축을 수행할 수도 있다.
이상 설명한 영상 압축 방법은 컴퓨터 프로그램으로 생성되어 플로피디스크, CD, DVD, RAM, ROM, 플래시 메모리, EEPROM 등의 컴퓨터로 판독 가능한 기록 매체에 저장되어, 컴퓨터, 영상기록장치, 영상압축장치 등에서 수행될 수도 있다.
이상 본 발명의 상세한 설명에서는 하나의 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 압축 장치(100)를 나타낸 블록도이다.
도 2는 압축부(130)의 세부구성을 나타낸 블록도이다.
도 3은 압축 수행 전 원본 영상을 나타낸 도면이다.
도 4는 도 3에 나타낸 영상의 ROI를 추정하여 나타낸 화면이다.
도 5는 본 발명에 따른 압축을 수행한 영상을 예상하여 나타낸 도면이다.
도 6은 종래 기술에 따른 압축을 수행한 영상을 예상하여 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 압축 방법의 순서도이다.

Claims (11)

  1. 입력된 영상의 ROI(region of interest, 관심영역) 정보를 추정하는 ROI 추정부;
    상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부; 및
    상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
  2. 제1항에 있어서,
    상기 ROI 추정부는 영상을 분석하여 ROI를 추정하거나 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
  3. 제1항에 있어서,
    상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
  4. 제1항에 있어서,
    상기 압축부는 상기 입력된 영상의 전처리를 수행하는 전처리부; 및
    상기 전처리가 수행된 영상을 압축하는 인코더를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
  5. 제4항에 있어서,
    상기 전처리는 비 ROI 영역에 대한 블러링(blurring, 흐리게 하기), ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나인, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
  6. 입력된 영상의 ROI 정보를 추정하는 단계;
    상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터를 할당하는 단계; 및
    상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
  7. 제6항에 있어서,
    상기 ROI 정보를 추정하는 단계는 영상을 분석하여 ROI를 추정하는 단계 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
  8. 제6항에 있어서,
    상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
  9. 제6항에 있어서,
    상기 영상을 압축하는 단계는 상기 입력된 영상의 전처리를 수행하는 단계; 및 상기 전처리가 수행된 영상을 압축하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
  10. 제9항에 있어서,
    상기 전처리를 수행하는 단계는 비 ROI 영역을 블러링하는 단계, ROI 영역을 샤프닝하는 단계, 영상의 전체적인 또는 부분적인 해상도를 변경하는 단계 중 어느 하나 이상을 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 따른 영상 압축 방법을 컴퓨터에서 실행시키기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020090014840A 2009-02-23 2009-02-23 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 KR20100095833A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090014840A KR20100095833A (ko) 2009-02-23 2009-02-23 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
US12/711,164 US10027966B2 (en) 2009-02-23 2010-02-23 Apparatus and method for compressing pictures with ROI-dependent compression parameters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090014840A KR20100095833A (ko) 2009-02-23 2009-02-23 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100095833A true KR20100095833A (ko) 2010-09-01

Family

ID=43003661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090014840A KR20100095833A (ko) 2009-02-23 2009-02-23 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법

Country Status (2)

Country Link
US (1) US10027966B2 (ko)
KR (1) KR20100095833A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2810602A4 (en) * 2012-02-02 2015-06-17 Hitachi Aloka Medical Ltd DIAGNOSTIC APPARATUS FOR MEDICAL IMAGES AND METHOD FOR SETTING A SPECIFIC REGION THEREFOR
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR20160037115A (ko) * 2014-09-26 2016-04-05 삼성전자주식회사 영상 처리 장치 및 방법
KR101704775B1 (ko) * 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법
US9681139B2 (en) 2013-03-07 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for ROI coding using variable block size coding information
WO2017217656A1 (ko) * 2016-06-15 2017-12-21 주식회사 에벤에셀케이 동영상 압축방법, 장치 및 이에 대한 컴퓨터 프로그램
KR20180079189A (ko) * 2016-12-30 2018-07-10 엑시스 에이비 시선 제어된 비트 레이트
US10205953B2 (en) 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
US11430156B2 (en) 2017-10-17 2022-08-30 Nokia Technologies Oy Apparatus, a method and a computer program for volumetric video
WO2024025160A1 (ko) * 2022-07-29 2024-02-01 삼성전자 주식회사 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186616A (ja) * 2011-03-04 2012-09-27 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
CN106550240A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 一种带宽节省方法和系统
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
US20210006835A1 (en) * 2019-07-01 2021-01-07 Microsoft Technology Licensing, Llc Blurring to improve visual quality in an area of interest in a frame
CN113630619A (zh) 2021-08-12 2021-11-09 三星电子（中国）研发中心 节目录制方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654417B1 (en) 1998-01-26 2003-11-25 Stmicroelectronics Asia Pacific Pte. Ltd. One-pass variable bit rate moving pictures encoding
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
US6212302B1 (en) 1998-12-29 2001-04-03 Eastman Kodak Company Method and apparatus for visually optimized rate control
US20060083428A1 (en) * 2004-01-22 2006-04-20 Jayati Ghosh Classification of pixels in a microarray image based on pixel intensities and a preview mode facilitated by pixel-intensity-based pixel classification
US7406123B2 (en) 2003-07-10 2008-07-29 Mitsubishi Electric Research Laboratories, Inc. Visual complexity measure for playing videos adaptively
US7231076B2 (en) * 2004-06-30 2007-06-12 Accuray, Inc. ROI selection in image registration
US7382417B2 (en) 2004-12-23 2008-06-03 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
EP1966648A4 (en) * 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
US8135061B1 (en) 2006-10-19 2012-03-13 Vudu, Inc. Variable bit rate encoding
WO2009023188A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Method and apparatus for improved video encoding using region of interest (roi) information
US8537409B2 (en) * 2008-10-13 2013-09-17 Xerox Corporation Image summarization by a learning approach
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10205953B2 (en) 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
EP2810602A4 (en) * 2012-02-02 2015-06-17 Hitachi Aloka Medical Ltd DIAGNOSTIC APPARATUS FOR MEDICAL IMAGES AND METHOD FOR SETTING A SPECIFIC REGION THEREFOR
US9514531B2 (en) 2012-02-02 2016-12-06 Hitachi, Ltd. Medical image diagnostic device and method for setting region of interest therefor
US9681139B2 (en) 2013-03-07 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for ROI coding using variable block size coding information
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR20160037115A (ko) * 2014-09-26 2016-04-05 삼성전자주식회사 영상 처리 장치 및 방법
US10229478B2 (en) 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
KR101704775B1 (ko) * 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법
WO2017217656A1 (ko) * 2016-06-15 2017-12-21 주식회사 에벤에셀케이 동영상 압축방법, 장치 및 이에 대한 컴퓨터 프로그램
KR20180079189A (ko) * 2016-12-30 2018-07-10 엑시스 에이비 시선 제어된 비트 레이트
US11430156B2 (en) 2017-10-17 2022-08-30 Nokia Technologies Oy Apparatus, a method and a computer program for volumetric video
WO2024025160A1 (ko) * 2022-07-29 2024-02-01 삼성전자 주식회사 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치

Also Published As

Publication number Publication date
US10027966B2 (en) 2018-07-17
US20100215098A1 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
KR20100095833A (ko) Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
Winkler Perceptual video quality metrics—A review
Xu et al. Region-of-interest based conversational HEVC coding with hierarchical perception model of face
Lee et al. Perceptual video compression: A survey
Li et al. Weight-based R-λ rate control for perceptual HEVC coding on conversational videos
Kim et al. An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels
Engelke et al. Perceptual-based quality metrics for image and video services: A survey
US20100021071A1 (en) Image coding apparatus and image decoding apparatus
Shen et al. A novel H. 264 rate control algorithm with consideration of visual attention
US8369417B2 (en) Optimal denoising for video coding
EP2514207A2 (en) Object-aware video encoding strategies
US20130156092A1 (en) Networked image/video processing system and network site therefor
US10735724B2 (en) Method and device for compressing image on basis of photography information
US8077773B2 (en) Systems and methods for highly efficient video compression using selective retention of relevant visual detail
CA2904613A1 (en) Improved method of bit allocation for image & video compression using perceptual guidance
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
KR20090068222A (ko) 공간 활동 메트릭과 그 평가 방법
Zaghetto et al. Segmentation-driven compound document coding based on H. 264/AVC-INTRA
US8023559B2 (en) Minimizing blocking artifacts in videos
US11153606B2 (en) Face region detection based light field video compression
Wang et al. Region-of-interest based dynamical parameter allocation for H. 264/AVC encoder
Massidda et al. No reference video quality estimation based on human visual system for 2.5/3G devices
Osberger et al. An MPEG encoder incorporating perceptually based quantisation
Moorthy et al. Image and video quality assessment: Perception, psychophysical models, and algorithms
Shang et al. Perceptual multiview video coding based on foveated just noticeable distortion profile in DCT domain

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application