KR20100095833A - Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 - Google Patents
Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20100095833A KR20100095833A KR1020090014840A KR20090014840A KR20100095833A KR 20100095833 A KR20100095833 A KR 20100095833A KR 1020090014840 A KR1020090014840 A KR 1020090014840A KR 20090014840 A KR20090014840 A KR 20090014840A KR 20100095833 A KR20100095833 A KR 20100095833A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- roi
- compression
- parameter
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 영상을 압축함에 있어 영상의 압축 파라미터를 직접 제어하여 비트레이트를 낮추면서 사람이 주관적으로 인식하는 화질은 향상시키는 압축 방법 및 그 압축 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 ROI(region of interest, 관심영역) 의존형 압축 파라미터를 이용한 영상 압축 장치는 입력된 영상의 ROI 정보를 추정하는 ROI 추정부, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함한다.
본 발명에 의하면, 영상의 시각적으로 주목되는 영역에 비교적 높은 비트 레이트를 할당하고, 시각적으로 주목되지 않는 영역에 상당히 낮은 비트레이트를 할당함으로써 영상 압축 시 높은 압축률을 달성할 수 있다.
영상 압축, ROI(region of interest)
Description
본 발명은 영상 처리에 관한 것이다. 보다 구체적으로는 영상 압축에 관한 것이다.
동영상 압축의 방법들은 인간 시각 시스템(HVS, Human Visual System)의 특성을 이용하여, 인간이 중요하게 느끼지 못하는 부분들을 많이 손실시킴으로써 압축률을 높이고, 동일한 비트레이트에서 화질을 향상시키는 것을 목적으로 한다. 영상 압축의 대표적인 예로 MPEG을 들 수 있다. MPEG 등의 기존 압축 방법에서는 사람이 동영상을 볼 때 밝기보다는 색상에 둔감하다는 사실을 이용하여 채도 서브샘플링(Chroma subsampling)을 통해 데이터 양을 획기적으로 줄였다.
획기적인 압축을 가능하게 해주는 다른 인간 시각 특성으로는 포비에이션(Foveation)을 들 수 있다. 픽세이션 포인트(Fixation Point: 인간이 주목하고 있는 부위) 주변으로 약 2도 정도만을 선명하게 볼 뿐이며, 나머지 부위는 선명하게 보지 못한다는 것을 들 수 있다.
이러한 특성을 이용한 영상 압축 방법 중 하나로서 포비에이티드 비디오 코딩(Foveated Video Coding)이 있다. 이 방법은 전술한 특성을 이용하여, 동영상에 대해 픽세이션 포인트를 추정하고, 이 포인트로부터 멀리 떨어진 부위에서는 화질을 많이 손상시켜 압축률을 높이려는 방법이다. 이 방법은 픽세이션 포인트로부터 멀어질수록 인간의 시각적인 해상도가 떨어진다는 성질을 이용한 것이다.
전술한 포비에이션 방법 중 하나로서 블러링(Blurring, 흐리게 하기)가 있다. 블러링의 구현 방법으로는 필터링(Filtering), 다중해상도 & 웨이블릿(Multiresolution & Wavelet)과 DCT 도메인에서의 서브밴드 압축(Subband suppression in DCT domain)을 들 수 있다. 필터링 방법은 공간적으로 변화하는 블러 필터(Blur Filter)를 사용하며 영상의 해상도는 원본과 동일하다. 다음으로 멀티레졸루션 & 웨이블릿 방법은 해상도를 연속적으로 반씩 줄인 영상 집합들로부터 영상을 재구성한다. 이 때, 각 위치에서 선택되는 영상의 해상도는 포비에이션 함수에 의해 결정된다. 웨이블릿 변환에 기반한 압축 방법들은 근본적으로 멀티레졸루션 방식에 기반하고 있으므로, 이 방법에 아주 적합하며, 압축 효율 또한 좋으므로, 가장 널리 사용되는 방법이다. 다음으로 대부분의 동영상 압축 표준이 사용하고 있는 DCT 기반의 압축방법은 블러 필터를 DCT 공간에서 구현하는 방법이다.
이와 같은 포비에이션 방법은 한계가 있다. 왜냐하면 영상의 비트레이트를 직접 조절하지 않고 비트레이트와는 무관하게 영상을 블러링하기 때문이다. 또한 이러한 포비에이션을 영상에 적용하더라도 의도한 바와 다르게 그 효과가 나타나지 않는 경우가 있을 수 있다. 예를 들어, 격투기 경기 화면의 주변부에 관중석과 로 프(Rope)가 있고, 중앙부의 선수 얼굴에 포비에이션이 있는 경우 블러를 많이 한다 해도 격투기 선수의 얼굴에 비트레이트가 많이 할당되지 않을 수 있다.
본 발명은 영상을 압축함에 있어 영상의 압축 파라미터를 직접 제어하여 비트레이트를 낮추면서 사람이 주관적으로 인식하는 화질은 향상시키는 압축 방법 및 그 압축 방법을 제공하는 것을 목적으로 한다.
본 발명의 청구항 제1항에 관련된 발명은 입력된 영상의 ROI 정보를 추정하는 ROI 추정부, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함하는 ROI 의존형 압축 파라미터를 이용한 영상 압축 장치에 관한 것이다.
여기서, 바람직하게는, 상기 ROI 추정부는 영상을 분석하여 ROI를 추정하거나 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정한다.
여기서, 바람직하게는, 상기 압축 파라미터는 비트레이트, QP, 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함한다.
여기서, 상기 압축부는 상기 입력된 영상의 전처리를 수행하는 전처리부 및 상기 전처리가 수행된 영상을 압축하는 인코더를 포함한다.
여기서, 상기 전처리는 비 ROI 영역에 대한 블러링(blurring, 흐리게 하기), ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나이다.
본 발명의 청구항 제6항에 관련된 발명은 입력된 영상의 ROI 정보를 추정하는 단계, 상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터를 할당하는 단계 및 상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 단계를 포함하는 ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법에 관한 것이다.
여기서, 바람직하게는, 상기 ROI 정보를 추정하는 단계는 영상을 분석하여 ROI를 추정하는 단계 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는 단계를 포함한다.
여기서, 바람직하게는, 상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함한다.
여기서, 바람직하게는, 상기 영상을 압축하는 단계는 상기 입력된 영상의 전처리를 수행하는 단계 및 상기 전처리가 수행된 영상을 압축하는 단계를 포함한다.
여기서, 상기 전처리를 수행하는 단계는 비 ROI 영역을 블러링하는 단계, ROI 영역을 샤프닝하는 단계, 영상의 전체적인 또는 부분적인 해상도를 변경하는 단계 중 어느 하나 이상을 포함한다.
본 발명에 따른 영상 압축 방법은 컴퓨터 프로그램으로 제작될 수 있다.
본 발명에 의하면, 영상의 시각적으로 주목되는 영역에 비교적 높은 비트 레이트를 할당하고, 시각적으로 주목되지 않는 영역에 상당히 낮은 비트레이트를 할 당함으로써 영상 압축 시 높은 압축률을 달성할 수 있다.
본 발명의 착안점
본 발명이 주목하는 것은, HVS의 해상도에 맞추어 블러를 줌으로써 인간 시각을 시뮬레이션하는 것에 의하여 포비에이션의 효과가 반드시 얻어지는 것이 아니라는 점이다. 시각적으로 원본을 블러해서 보는 것이 포비에이션이기 때문에, 원본에 다른 방식의 손상을 가져온다 해도 포비에이션에 의해 그 손상이 보이지 않게 된다. 즉, 예를 들어 블록기반 압축에서 블록 경계, 양자화 결함(Quantization Artifact) 등의 다른 손상이 있다 해도, PAF(perceptual attention field, 지각적 주목 영역) 외의 영역에서는 HVS의 저해상도 속성 때문에 그런 손상이 보이지 않게 되는데, 본 발명은 이러한 성질을 이용하여 영상의 압축율을 높이면서도 영상의 인식화질을 높일 수 있는 영상 압축에 관한 것이다.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세 한 설명을 생략한다.
본 발명의 일 실시예에 따른 영상 압축 장치
도 1은 본 발명의 일 실시예에 따른 영상 압축 장치(100)를 나타낸 블록도이다. 영상 압축 장치(100)는 ROI 추정부(110), 파라미터 할당부(120) 및 압축부(130)를 포함한다. ROI 추정부(110)는 입력된 영상에 대하여 ROI를 추정하고, 파라미터 할당부(120)는 ROI 추정부(110)에 의하여 추정된 ROI 정보를 입력받아 그 정보에 기초하여 입력된 영상에 대하여 영역별로 압축 파라미터를 할당한다. 압축부(130)는 파라미터 할당부(120)에서 할당된 파라미터를 이용하여 입력된 영상을 압축한다. 이하 각 구성요소에 대하여 더욱 구체적으로 설명하도록 한다.
ROI 추정부(110)
ROI 추정부(110)는 입력된 영상의 ROI를 추정한다. ROI는 사람이 영상을 볼 때 더욱 주의를 가지고 보는 영역을 의미한다. 예를 들어 영상에 인물이 등장하는 경우 그 인물이 ROI 영역이 될 수 있으며, 영상에 자막이 있는 경우 그 자막 또한 ROI가 될 수 있다. 따라서 이 경우 영상에서 인물이나 자막을 자동적으로 감지하고 그 영역을 ROI로 추정할 수 있다. 이와 같이 ROI를 추정하는 한 방법으로 ROI를 추정하는 알고리즘을 이용하여 영상을 자동적으로 분석하여 ROI를 추정할 수 있다. 이와 같이 자동으로 ROI를 추정하는 방식은 실시간 영상 전송 시스템, 예를 들어 화상통화 시스템 등에서 이용될 수 있다. 이와 다르게 만약 영상을 실시간으로 전 송할 필요가 없는 경우에는 그 영상을 구체적으로 분석하여 ROI를 설정할 수 있다. 예를 들어 IPTV 시스템에서 영상(예를 들어 영화)을 전송하기 위하여 그 영상을 압축하는 경우에는, 그 영상을 미리 다수의 사람에게 보여주면서 그 사람들의 눈동자 움직임을 측정하여 영상의 ROI를 측정할 수도 있다.
구체적으로 컴퓨터 모델을 이용하여 ROI를 추정하는 방법은 다음과 같은 공지된 기술을 이용할 수도 있다.
1) L. Itti, C. Koch, E. Niebur, A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.
2) Automatic video region-of-interest determination based on user attention model
Wen-Huang Cheng; Wei-Ta Chu; Jin-Hau Kuo; Ja-Ling Wu
Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on
Volume , Issue , 23-26 May 2005 Page(s): 3219 - 3222 Vol. 4
3) Giuseppe Boccignone, Angelo Marcelli, Gaetano Somma, "Foveated Analysis of Video," iciap, p. 638, 12th International Conference on Image Analysis and Processing (ICIAP'03), 2003
측정을 통해 ROI를 추정하는 방법은 다음과 같은 공지된 기술을 이용할 수도 있다.
Komogortsev, O. and Khan, J. 2006. Perceptual attention focus prediction for multiple viewers in case of multimedia perceptual compression with feedback delay. In Proceedings of the 2006 Symposium on Eye Tracking Research &Amp; Applications (San Diego, California, March 27 - 29, 2006). ETRA '06. ACM, New York, NY, 101-108.
상기 문헌들에 개시된 방법을 이용하여 ROI를 추정할 수 있으므로 본 명세서에서는 ROI를 추정하는 구체적인 방법에 대해서는 설명을 생략하도록 한다.
또한 ROI 추정 방법으로서 전술한 saliency 기반 방법과 직접측정 방법 외에도 다양한 ROI 추정 방법을 사용하여도 무방하다. 예를 들어, 화면 중앙을 고정된 ROI로 설정할 수도 있으며, 사람이 영상을 보면서 장면별로 수동으로 ROI를 입력할 수도 있다.
ROI 추정부(120)는 영상에 대하여 ROI를 추정하고 그 결과를 출력한다. ROI 추정부(120)의 ROI 추정 결과는 영상의 각 화소가 ROI에 속할 확률 형태로 출력되거나, 영상의 각 매크로블록(macroblock)별로 ROI에 들어갈 최대확률 형태로 출력되거나, ROI에 속할 확률이 소정값 이상인 화소들의 영역 형태로 출력될 수도 있다.
파라미터 할당부(120)
파라미터 할당부(120)는 ROI 추정부(100)에서 추정된 영상의 ROI 정보에 기초하여 입력된 영상의 각 영역에 압축 파라미터를 할당한다.
압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준(예들 들어 MPEG-2, MPEG-4, h.264 등)별로 조절 가능한 파라미터들 중 임의의 어느 하나일 수 있다. 여기서 영상 표준별로 조절 가능한 파라미터란 종래의 영상 표준에서 이미 조절 가능한 파라미터로 정의되어 있는 것을 의미한다.
예를 들어 영상에 할당하는 파라미터가 비트레이트인 경우 ROI와 ROI가 아닌 영역에 서로 상이한 비트레이트를 할당할 수 있다. 예를 들어, ROI에는 1.2Mbps의 비트레이트를 할당하고 ROI가 아닌 영역에는 200kbps의 비트레이트를 할당할 수 있다.
또는, 예를 들어 H.264 영상의 경우, 한 프레임 내에 여러 개의 슬라이스(slice)를 둘 수 있는데, 각 슬라이스별로 다음과 같은 파라미터들을 조절하여 할당할 수 있다.
1) direct_spatial_mv_pred_flag : B slice에서 모션 벡터 추정 방식
2) slice_qp_delta : QP
3) disable_deblocking_filter_idc : deblocking filter 사용 여부
4) prediction weight table : explicit prediction weight를 사용할 경우, weight table의 변경
또한, 매크로 블록 별로 QP(Quantization Parameter)를 다르게 할당할 수 있다. 이때, H.264의 경우 매크로 블록 레이어에 mb_qp_delta 파라미터를 지정하여 각 매크로블록이 사용할 QP가 슬라이스의 기본 QP와 얼마나 다른지를 지정할 수 있다.
영상에 파라미터를 할당할 때, 기존의 압축 표준을 이용하여 영역을 별도로 지정하고 그 영역별로 별도의 파라미터를 지정할 수도 있고, 또는 기존의 압축 방식을 수정하여 영역별로 해상도를 변경할 수도 있다.
이상 제시한 압축 파라미터들은 예시적인 것에 불과하며 본 발명이 이로 한정되는 것은 아니다. 영상의 ROI 정보를 입력받아 그 정보에 기초하여 영상의 각 영역에 상이한 값의 압축 파라미터를 할당하기만 하면 본 발명의 권리범위에 포함되는 것으로 이해되어야 하며, 여기서 압축 파라미터는 종래 공지되었거나 앞으로 개발될 임의의 종류의 압축 파라미터를 의미하는 것이다.
압축부(130)
압축부(130)는 파라미터 할당부(120)에 의하여 영상의 각 영역 별로 할당된 압축 파라미터를 적용하여 입력된 영상을 압축한다. 이때 압축부(130)는 가장 단순하게는 종래의 영상 표준에서 제공되는 인코더(encoder)일 수 있다. 예를 들어, 압축부(130)는 H.264 인코더, MPEG-4 인코더 또는 MPEG-2 인코더를 포함하고, 입력되는 영상을 그러한 인코더를 이용하여 압축할 수 있다. 압축부(130)는 전술한 인코더 외에도 임의의 영상 압축을 위한 인코더를 포함할 수 있으며, 종래 공지된 영상 표준에서 이용되는 인코더뿐만 아니라 필요에 따라 시스템 설계자에 의해 변형된 인코더를 이용할 수도 있다. 즉, 본 발명에서 압축부(130)는 특정 인코더를 사용하 는 것으로 한정되는 것이 아니라, 영상을 압축하는 임의의 알고리즘을 사용하면 족한 것이다.
또한 도 2에 나타낸 바와 같이, 압축부(130)는 영상의 압축 이전에 영상의 전처리를 수행하기 위한 전처리부(131)를 포함할 수도 있다. 이때 영상의 전처리 이후에 영상의 압축이 인코더(132)에서 수행된다. 전처리부(131)가 수행하는 전처리 작업은 비 ROI 영역에 대해 블러링, ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나일 수 있다. 또는 종래의 영상 압축 방법에서 사용되는 임의의 전처리 과정이 전처리부(131)에 의해 수행될 수도 있다. 즉, 영상 압축 전 전처리의 수행은 선택적인 과정이므로 전처리부(131)가 어떤 전처리를 수행하는지에 의하여 본 발명이 한정되는 것이 아님을 유의할 필요가 있다.
본 발명의 효과의 설명
이하 본 발명에 따른 영상 압축 장치(100)의 효과에 관하여 설명한다. 본 발명의 효과를 보다 명확하게 이해할 수 있도록 종래의 포비에이티드 비디오 코딩과 비교하여 본 발명의 효과를 설명한다.
도 3은 본 발명에 따른 압축 효과를 설명하기 위한 도면으로서 압축 수행 전 원본 영상을 나타낸 도면이다.
도 4는 도 3에 나타낸 영상의 ROI를 추정하여 나타낸 화면이다.
도 5는 도 4에 나타낸 ROI를 마스크로 도 3의 영상의 각 영역에 서로 다른 압축 파라미터를 할당하여 압축한 영상을 예상하여 나타낸 것이다. 이때 영상 압축을 통해 비트레이트가 약 30% 감소될 수 있다.
도 6은 도 3에 나타낸 영상에 대해 종래 방법에 따라 전처리를 통한 블러링(blurring)을 수행하고 그 후 압축을 수행한 영상을 나타낸 것이다. 이 경우 블러링을 통한 영상의 복잡도 감소로 압축된 영상의 비트레이트가 30% 감소되었다.
그런데 도 4와 도 5를 비교해 보면 도 4의 영상의 품질이 도 5에 비하여 더욱 우수한 것을 알 수 있다. 특히, 영상에서 축구 골대의 선명도를 비교해 보면 이러한 차이를 명확하게 인식할 수 있을 것이다. 이러한 차이가 생기는 이유는 Blur가 심하게 된다고 해서 반드시 압축에 필요한 비트레이트가 낮아지는 것은 아니기 때문이다. 왜냐하면 블러가 심한 영상을 고화질로 압축한다면 비교적 많은 비트레이트가 필요할 수도 있기 때문이다.
본 발명의 일 실시예에 따른 영상 압축 방법
도 7은 본 발명의 일 실시예에 따른 영상 압축 방법의 순서도이다.
우선 영상에서 ROI를 추정한다 (S710). ROI 추정 결과는 영상의 각 화소가 ROI에 속할 확률 형태로 출력되거나, 영상의 각 매크로블록(macroblock)별로 ROI에 들어갈 최대확률 형태로 출력되거나, ROI에 속할 확률이 소정값 이상인 화소들의 영역 형태로 출력될 수도 있다.
다음으로 추정된 ROI에 기초하여 영상의 각 영역별로 압축 파라미터를 할당한다 (S720). 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준별로 조절 가능한 파라미터들 중 임의의 어느 하나일 수 있다. 여기서 영상 표준별로 조절 가능한 파라미터란 종래의 영상 표준에서 이미 조절 가능한 파라미터로 정의되어 있는 것을 의미한다.
다음으로 영상의 각 영역별로 할당된 압축 파라미터를 적용하여 영상을 압축한다 (S730). 이때 영상의 압축은 종래 공지된 임의의 영상 인코딩 방법을 이용하여 수행될 수 있다. 이와 다르게는, 영상에 대해 전처리를 수행한 뒤에 압축을 수행할 수도 있다.
이상 설명한 영상 압축 방법은 컴퓨터 프로그램으로 생성되어 플로피디스크, CD, DVD, RAM, ROM, 플래시 메모리, EEPROM 등의 컴퓨터로 판독 가능한 기록 매체에 저장되어, 컴퓨터, 영상기록장치, 영상압축장치 등에서 수행될 수도 있다.
이상 본 발명의 상세한 설명에서는 하나의 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 압축 장치(100)를 나타낸 블록도이다.
도 2는 압축부(130)의 세부구성을 나타낸 블록도이다.
도 3은 압축 수행 전 원본 영상을 나타낸 도면이다.
도 4는 도 3에 나타낸 영상의 ROI를 추정하여 나타낸 화면이다.
도 5는 본 발명에 따른 압축을 수행한 영상을 예상하여 나타낸 도면이다.
도 6은 종래 기술에 따른 압축을 수행한 영상을 예상하여 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 압축 방법의 순서도이다.
Claims (11)
- 입력된 영상의 ROI(region of interest, 관심영역) 정보를 추정하는 ROI 추정부;상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터(parameter)를 할당하는 파라미터 할당부; 및상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 압축부를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
- 제1항에 있어서,상기 ROI 추정부는 영상을 분석하여 ROI를 추정하거나 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
- 제1항에 있어서,상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
- 제1항에 있어서,상기 압축부는 상기 입력된 영상의 전처리를 수행하는 전처리부; 및상기 전처리가 수행된 영상을 압축하는 인코더를 포함하는, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
- 제4항에 있어서,상기 전처리는 비 ROI 영역에 대한 블러링(blurring, 흐리게 하기), ROI 영역의 영상의 샤프닝(sharpening, 날카롭게 하기), 영상의 전체적인 또는 부분적인 해상도 변경 중 어느 하나인, ROI 의존형 압축 파라미터를 이용한 영상 압축 장치.
- 입력된 영상의 ROI 정보를 추정하는 단계;상기 추정된 ROI 정보에 기초하여 상기 입력된 영상의 각 영역에 압축 파라미터를 할당하는 단계; 및상기 각 영역에 할당된 파라미터를 적용하여 상기 입력된 영상을 압축하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
- 제6항에 있어서,상기 ROI 정보를 추정하는 단계는 영상을 분석하여 ROI를 추정하는 단계 또는 상기 영상을 시청하는 사람을 관측함으로써 ROI를 추정하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
- 제6항에 있어서,상기 압축 파라미터는 비트레이트, QP(Quantization parameter), 해상도 및 영상 표준에서 제공되는 파라미터 중 어느 하나를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
- 제6항에 있어서,상기 영상을 압축하는 단계는 상기 입력된 영상의 전처리를 수행하는 단계; 및 상기 전처리가 수행된 영상을 압축하는 단계를 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
- 제9항에 있어서,상기 전처리를 수행하는 단계는 비 ROI 영역을 블러링하는 단계, ROI 영역을 샤프닝하는 단계, 영상의 전체적인 또는 부분적인 해상도를 변경하는 단계 중 어느 하나 이상을 포함하는, ROI 의존형 압축 파라미터를 이용하여 영상을 압축하는 방법.
- 제6항 내지 제10항 중 어느 한 항에 따른 영상 압축 방법을 컴퓨터에서 실행시키기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090014840A KR20100095833A (ko) | 2009-02-23 | 2009-02-23 | Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 |
US12/711,164 US10027966B2 (en) | 2009-02-23 | 2010-02-23 | Apparatus and method for compressing pictures with ROI-dependent compression parameters |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090014840A KR20100095833A (ko) | 2009-02-23 | 2009-02-23 | Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100095833A true KR20100095833A (ko) | 2010-09-01 |
Family
ID=43003661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090014840A KR20100095833A (ko) | 2009-02-23 | 2009-02-23 | Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10027966B2 (ko) |
KR (1) | KR20100095833A (ko) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2810602A4 (en) * | 2012-02-02 | 2015-06-17 | Hitachi Aloka Medical Ltd | DIAGNOSTIC APPARATUS FOR MEDICAL IMAGES AND METHOD FOR SETTING A SPECIFIC REGION THEREFOR |
WO2016048108A1 (en) * | 2014-09-26 | 2016-03-31 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
KR20160037115A (ko) * | 2014-09-26 | 2016-04-05 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR101704775B1 (ko) * | 2016-02-03 | 2017-02-08 | (주)비상정보통신 | 다중해상도 영상 처리 장치 및 영상 처리 방법 |
US9681139B2 (en) | 2013-03-07 | 2017-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for ROI coding using variable block size coding information |
WO2017217656A1 (ko) * | 2016-06-15 | 2017-12-21 | 주식회사 에벤에셀케이 | 동영상 압축방법, 장치 및 이에 대한 컴퓨터 프로그램 |
KR20180079189A (ko) * | 2016-12-30 | 2018-07-10 | 엑시스 에이비 | 시선 제어된 비트 레이트 |
US10205953B2 (en) | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
US11430156B2 (en) | 2017-10-17 | 2022-08-30 | Nokia Technologies Oy | Apparatus, a method and a computer program for volumetric video |
WO2024025160A1 (ko) * | 2022-07-29 | 2024-02-01 | 삼성전자 주식회사 | 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012186616A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US20140321561A1 (en) * | 2013-04-26 | 2014-10-30 | DDD IP Ventures, Ltd. | System and method for depth based adaptive streaming of video information |
CN106550240A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法和系统 |
US10110802B2 (en) * | 2016-12-30 | 2018-10-23 | Axis Ab | Historical gaze heat map for a video stream |
US20210006835A1 (en) * | 2019-07-01 | 2021-01-07 | Microsoft Technology Licensing, Llc | Blurring to improve visual quality in an area of interest in a frame |
CN113630619A (zh) | 2021-08-12 | 2021-11-09 | 三星电子(中国)研发中心 | 节目录制方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69815720T2 (de) | 1998-01-26 | 2004-05-13 | Stmicroelectronics Asia Pacific Pte Ltd. | Kodierung von bewegten bildern mit variabler bitrate in einem durchgang |
US6496607B1 (en) * | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
US6212302B1 (en) | 1998-12-29 | 2001-04-03 | Eastman Kodak Company | Method and apparatus for visually optimized rate control |
US20060083428A1 (en) * | 2004-01-22 | 2006-04-20 | Jayati Ghosh | Classification of pixels in a microarray image based on pixel intensities and a preview mode facilitated by pixel-intensity-based pixel classification |
US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
US7231076B2 (en) * | 2004-06-30 | 2007-06-12 | Accuray, Inc. | ROI selection in image registration |
US7382417B2 (en) | 2004-12-23 | 2008-06-03 | Intel Corporation | Method and algorithm for detection of scene cuts or similar images in video images |
EP1966648A4 (en) * | 2005-12-30 | 2011-06-15 | Nokia Corp | METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST |
US8135061B1 (en) | 2006-10-19 | 2012-03-13 | Vudu, Inc. | Variable bit rate encoding |
BRPI0815510A2 (pt) * | 2007-08-15 | 2015-02-10 | Thomson Licensing | Método e aparelho para melhor codificação de vídeo usando informação da região de interesse (roi) |
US8537409B2 (en) * | 2008-10-13 | 2013-09-17 | Xerox Corporation | Image summarization by a learning approach |
US9036693B2 (en) * | 2009-01-08 | 2015-05-19 | Sri International | Method and system for providing region-of-interest video compression |
US8175376B2 (en) * | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
-
2009
- 2009-02-23 KR KR1020090014840A patent/KR20100095833A/ko not_active Application Discontinuation
-
2010
- 2010-02-23 US US12/711,164 patent/US10027966B2/en not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10205953B2 (en) | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
EP2810602A4 (en) * | 2012-02-02 | 2015-06-17 | Hitachi Aloka Medical Ltd | DIAGNOSTIC APPARATUS FOR MEDICAL IMAGES AND METHOD FOR SETTING A SPECIFIC REGION THEREFOR |
US9514531B2 (en) | 2012-02-02 | 2016-12-06 | Hitachi, Ltd. | Medical image diagnostic device and method for setting region of interest therefor |
US9681139B2 (en) | 2013-03-07 | 2017-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for ROI coding using variable block size coding information |
WO2016048108A1 (en) * | 2014-09-26 | 2016-03-31 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
KR20160037115A (ko) * | 2014-09-26 | 2016-04-05 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US10229478B2 (en) | 2014-09-26 | 2019-03-12 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
KR101704775B1 (ko) * | 2016-02-03 | 2017-02-08 | (주)비상정보통신 | 다중해상도 영상 처리 장치 및 영상 처리 방법 |
WO2017217656A1 (ko) * | 2016-06-15 | 2017-12-21 | 주식회사 에벤에셀케이 | 동영상 압축방법, 장치 및 이에 대한 컴퓨터 프로그램 |
KR20180079189A (ko) * | 2016-12-30 | 2018-07-10 | 엑시스 에이비 | 시선 제어된 비트 레이트 |
US11430156B2 (en) | 2017-10-17 | 2022-08-30 | Nokia Technologies Oy | Apparatus, a method and a computer program for volumetric video |
WO2024025160A1 (ko) * | 2022-07-29 | 2024-02-01 | 삼성전자 주식회사 | 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치 |
Also Published As
Publication number | Publication date |
---|---|
US10027966B2 (en) | 2018-07-17 |
US20100215098A1 (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20100095833A (ko) | Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 | |
Winkler | Perceptual video quality metrics—A review | |
Lee et al. | Perceptual video compression: A survey | |
Xu et al. | Region-of-interest based conversational HEVC coding with hierarchical perception model of face | |
Li et al. | Weight-based R-λ rate control for perceptual HEVC coding on conversational videos | |
Kim et al. | An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels | |
Engelke et al. | Perceptual-based quality metrics for image and video services: A survey | |
US20100021071A1 (en) | Image coding apparatus and image decoding apparatus | |
Shen et al. | A novel H. 264 rate control algorithm with consideration of visual attention | |
US8369417B2 (en) | Optimal denoising for video coding | |
US20130156092A1 (en) | Networked image/video processing system and network site therefor | |
US10735724B2 (en) | Method and device for compressing image on basis of photography information | |
US8077773B2 (en) | Systems and methods for highly efficient video compression using selective retention of relevant visual detail | |
CA2904613A1 (en) | Improved method of bit allocation for image & video compression using perceptual guidance | |
TWI421798B (zh) | 影像壓縮之位元率控制方法及其裝置 | |
KR20090068222A (ko) | 공간 활동 메트릭과 그 평가 방법 | |
Oh et al. | Advanced film grain noise extraction and synthesis for high-definition video coding | |
Zaghetto et al. | Segmentation-driven compound document coding based on H. 264/AVC-INTRA | |
US8023559B2 (en) | Minimizing blocking artifacts in videos | |
US11153606B2 (en) | Face region detection based light field video compression | |
Wang et al. | Region-of-interest based dynamical parameter allocation for H. 264/AVC encoder | |
Massidda et al. | No reference video quality estimation based on human visual system for 2.5/3G devices | |
Osberger et al. | An MPEG encoder incorporating perceptually based quantisation | |
Moorthy et al. | Image and video quality assessment: Perception, psychophysical models, and algorithms | |
Shang et al. | Perceptual multiview video coding based on foveated just noticeable distortion profile in DCT domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E601 | Decision to refuse application |