KR100819404B1 - 휴대용 단말기에서 부화면 디코딩 방법 및 장치 - Google Patents

휴대용 단말기에서 부화면 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR100819404B1
KR100819404B1 KR1020060105320A KR20060105320A KR100819404B1 KR 100819404 B1 KR100819404 B1 KR 100819404B1 KR 1020060105320 A KR1020060105320 A KR 1020060105320A KR 20060105320 A KR20060105320 A KR 20060105320A KR 100819404 B1 KR100819404 B1 KR 100819404B1
Authority
KR
South Korea
Prior art keywords
frame
decoding
average motion
motion vector
threshold value
Prior art date
Application number
KR1020060105320A
Other languages
English (en)
Inventor
이병희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060105320A priority Critical patent/KR100819404B1/ko
Priority to US11/925,523 priority patent/US20080101463A1/en
Application granted granted Critical
Publication of KR100819404B1 publication Critical patent/KR100819404B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 휴대용 단말기에서 부화면 디코딩 방법 및 장치에 관한 것으로서, 부화면을 위한 프레임이 I 프레임(Intra Frame)인지 B 프레임(Bi-directional Frame) 혹은 P 프레임(Predicted Frame)인지 검사하는 과정과, 상기 B 프레임 혹은 P 프레임으로 검사된 각 프레임의 평균 움직임 벡터를 측정하는 과정과, 상기 측정된 소정개수의 평균 움직임 벡터를 이용하여 유사도 판단을 위한 임계값을 결정하는 과정과, 상기 각 프레임의 평균 움직임 벡터를 상기 임계값과 비교하여 디코딩 여부를 결정하는 과정을 포함을 포함하여, 이전 혹은 이후 프레임과 유사한 프레임들을 디코딩 및 디스플레이하지 않음으로써, 디코더 및 표시부의 오버헤드를 감소시킬 수 있고, 이로 인해 주화면을 위한 디코딩 성능을 향상시킬 수 있다.
PIP, 부화면, 디코딩, 움직임 벡터, 디코더

Description

휴대용 단말기에서 부화면 디코딩 방법 및 장치{APPARATUS AND METHOD FOR DECODING SUBSCREEN IN PORTABLE TERMINAL}
도 1은 본 발명에 따른 휴대용 단말기의 블록 구성을 도시하는 도면,
도 2는 본 발명에 따른 휴대용 단말기에서 부화면 디코더의 상세 구성을 도시하는 도면, 및
도 3은 본 발명의 실시 예에 따른 휴대용 단말기에서 부화면 디코딩 절차를 도시하는 도면.
본 발명은 휴대용 단말기에서 부화면 디코딩 방법 및 장치에 관한 것으로서, 특히 PIP에 디스플레이될 각 프레임의 움직임벡터를 이용하여 디코딩 여부를 결정하는 방법 및 장치에 관한 것이다.
PIP(Picture In Picture)기능은 주화면 내에 또 다른 화면을 재생할 수 있는 멀티 디스플레이 기능으로서, 두 개 혹은 그 이상의 영상신호를 단일 디스플레이 장치에서 표현하여 사용자가 복수의 영상을 시청할 수 있도록 한다. 여기서, 상기 주화면 내의 또 다른 화면을 PIP 화면(혹은 부화면)이라 한다.
최근, 휴대용 단말기에서 상기 PIP 기능을 제공하기 위한 연구가 진행되고 있으나, 현재 상기 휴대용 단말기에서 상기 부화면을 처리하기 위한 방법이 제공되지 않고 있어 상기 부화면을 주화면과 동일한 방법으로 디코딩 및 디스플레이 처리해야한다. 따라서, 상기 휴대용 단말기는 상기 주화면과 부화면을 동시에 디스플레이하는 PIP 기능을 지원하기 위해서 주화면 하나만을 디스플레이하는 경우보다 두 배 이상의 성능을 가진 디코더를 필요로 한다. 예를 들어, PIP모드에서 QVGA(Quarter Video Graphics Array)를 초당 30프레임 디스플레이하기 위해서 디코더는 QVGA 60FPS(Frame Per Second)이상의 성능을 가져야 한다.
일반적으로 상기 부화면은 상기 주화면보다 작게 디스플레이되므로 사용자는 상기 주화면의 변화에 비해 상기 부화면의 변화를 인식하기 어렵다. 따라서, 상술한 바와 같이 상기 휴대용 단말기에서 상기 부화면을 주화면과 같이 동일한 방법으로 처리하는 것은 상기 디코더 및 디스플레이 모듈의 불필요한 오버헤드를 가져오게 된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 부화면 디코딩 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 휴대용 단말기에서 부화면의 유사도에 따라 디코딩 여부를 제어하여 오버헤드를 감소시키기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 움직임 벡터를 이용하여 부화면의 디코딩 및 디스플레이 여부를 결정하는 방법 및 장치를 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1견지에 따르면, 휴대용 단말기에서 부화면 디코딩 방법은, 부화면을 위한 프레임이 I 프레임(Intra Frame)인지 B 프레임(Bi-directional Frame) 혹은 P 프레임(Predicted Frame)인지 검사하는 과정과, 상기 B 프레임 혹은 P 프레임으로 검사된 각 프레임의 평균 움직임 벡터를 측정하는 과정과, 상기 측정된 소정개수의 평균 움직임 벡터를 이용하여 유사도 판단을 위한 임계값을 결정하는 과정과, 상기 각 프레임의 평균 움직임 벡터를 상기 임계값과 비교하여 디코딩 여부를 결정하는 과정을 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2견지에 따르면, 휴대용 단말기에서 부화면 디코딩 장치는, 부화면을 위한 프레임이 I 프레임(Intra Frame)인지 B 프레임(Bi-directional Frame) 혹은 P 프레임(Predicted Frame)인지 검사하는 프레임 판단부와, 상기 B 프레임 혹은 P 프레임으로 검사된 각 프레임의 평균 움직임 벡터를 측정하는 유사도 측정부와, 상기 측정된 소정 개수의 평균 움직임 벡터를 이용하여 유사도 판단을 위한 임계값을 결정하는 임계값 결정부와, 상기 각 프레임의 평균 움직임 벡터를 상기 임계값과 비교하여 디코딩 여부를 결정하는 디코딩 판단부를 포함하는 것을 특징으로 한다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 본 발명에서는 휴대용 단말기에서 PIP 모드 시, 움직임 벡터를 이용하여 부화면에 디스플레이될 각 프레임의 디코딩 및 디스플레이 여부를 결정하는 방법 및 장치에 관해 설명할 것이다.
도 1은 본 발명에 따른 휴대용 단말기의 블록 구성을 도시하고 있다. 여기서, 상기 휴대용 단말기는 제어부(100), 영상 처리부(102), 디코더(104), 부화면 디코더(106), 카메라(108), 표시부(110), 저장부(112)를 포함하여 구성된다.
먼저, 상기 도 1을 참조하면, 상기 제어부(100)는 상기 휴대용 단말기의 전반적인 동작, 즉, 음성 통화 및 데이터 통신을 위한 기능들을 처리 및 제어하며, 본 발명에 따라 PIP모드에서 부화면을 위한 프레임들의 유사도에 따라 상기 프레임들의 디코딩 및 디스플레이 여부를 결정하기 위한 기능들을 처리 및 제어한다.
상기 영상 처리부(102)는 영상 코덱(CODEC : Coder-Decoder)이라고 칭하기도 한다. 상기 영상 처리부(102)는 인코더(미도시)를 포함하여 상기 카메라(108)로부터 입력되는 영상 신호를 설정된 방식으로 코딩한 후, 상기 제어부(100)로 제공하며, 상기 디코더(104)를 포함하여 코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩한 후, 상기 제어부(100)로 제공한다.
상기 디코더(104)는 상기 PIP 기능을 지원하기 위해 주화면을 위한 프레임 영상데이터를 디코딩하는 주화면 디코더(미도시)와 상기 부화면을 위한 프레임 영상 데이터를 디코딩하는 부화면 디코더(106)를 포함하며, 상기 코딩된 프레임 영상데이터가 주화면을 위한 프레임인지 부화면을 위한 프레임인지 판단하여 상기 주화면 디코더 혹은 부화면 디코더(106)에 제공한다.
상기 부화면 디코더(106)는 상기 부화면을 위한 프레임을 입력받아 각 프레임의 유사도에 따라 디코딩 여부를 결정하고, 상기 결정된 디코딩 여부에 따라 각 프레임의 디코딩을 수행한다.
상기 표시부(110)는 상기 휴대용 단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들을 디스플레이한다. 특히, 본 발명에 따라 상기 표시부(110)는 상기 제어부(100)의 제어에 의해 부화면을 위한 디코딩된 프레임들을 소정 영역에 디스플레이한다.
상기 저장부(112)는 롬(ROM: Read Only Memory), 램(RAM: Random Access Memory), 플래쉬 롬(flash ROM)으로 구성되어 상기 제어부(200)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장하며, 각종 프로그램 수행중에 발생하는 일시적인 데이터 및 갱신 가능한 각종 보관용 데이터들을 저장한다. 특히, 본 발명에 따라 상기 저장부(112)는 코딩된 영상 프레임 데이터를 저장할 수 있다.
도 2는 본 발명에 따른 휴대용 단말기에서 부화면 디코더의 상세 구성을 도시하고 있다. 여기서, 상기 휴대용 단말기의 디코더(104)는 프레임 판단부(200), 유사도 계산부(202), 임계값 계산부(204), 디코딩 판단부(206), 디코딩부(208)를 포함하여 구성된다.
상기 도 2를 참조하면, 상기 프레임 판단부(200)는 움직임 보정작업이 수행된 프레임을 입력받아 상기 입력된 프레임이 I(Intra) 프레임인지 P(Predicted) 혹은 B(Bi-Directional) 프레임인지 검사한 후, 상기 I 프레임은 상기 디코딩부(208)로 출력하고, 상기 P 혹은 B 프레임은 상기 유사도 계산부(202)로 출력한다. 여기서, 상기 I 프레임은 한 프레임의 완전한 데이터를 가져 다른 프레임과 상관없이 압축된 프레임으로서, 상기 P 프레임과 B 프레임의 지표가 된다. 그리고 상기 P 프레임은 이전 프레임과 중첩되지 않은 데이터만을 부호화하여 압축된 프레임을 의미하고, 상기 B 프레임은 이전 프레임과 이후 프레임의 정보를 모두 사용하여 압축된 프레임을 의미한다.
상기 유사도 계산부(202)는 상기 프레임 판단부(200)로부터 프레임을 입력받아 상기 입력된 해당 프레임과 이전 프레임의 유사도를 나타내는 평균 움직임 벡터를 측정하여 상기 임계값 계산부(204)로 출력한다. 여기서, 상기 유사도 계산부(202)는 해당 프레임을 4*4 마크로 블록으로 분할한 후, 이전 프레임의 정보를 이용하여 상기 분할된 각 마크로 블록의 움직임 벡터를 계산하고, 상기 계산된 움직임 벡터의 평균을 구함으로써 해당 프레임의 평균 움직임 벡터를 측정할 수 있다. 이후, 상기 유사도 계산부(202)는 상기 프레임 판단부(200)로부터 입력되는 프레임 수를 카운트하여 첫 프레임부터 기 설정된 K번째 프레임까지 상기 디코딩부(208)로 출력하고, 상기 K번째 이후의 프레임을 상기 디코딩 판단부(206)로 출력한다. 여기서, 상기 유사도 계산부(202)는 상기 K번째 이후의 프레임을 상기 디코 딩 판단부(206)로 출력할 시, 해당 프레임의 평균 움직임 벡터를 상기 디코딩 판단부(206)로 함께 출력한다.
상기 임계값 계산부(204)는 상기 유사도 계산부(202)로부터 각 프레임의 평균 움직임 벡터를 입력받아 상기 K개의 프레임에 해당하는 평균 움직임 벡터들을 이용하여 유사도 판단을 위한 임계값을 설정한 후, 상기 설정된 임계값을 상기 디코딩 판단부(206)로 출력한다. 여기서, 상기 임계값은 해당 프레임이 이전 프레임들과 유사한 정도에 따라 디코딩 수행 여부를 판단하기 위한 임계값으로서, 전체 프레임들 중 디코딩이 수행되기를 원하는 프레임의 정도에 따라 설정할 수 있다. 예를 들어, 전체 프레임들 중 50%의 프레임을 디코딩하고 나머지 50% 프레임을 디코딩하지 않고 폐기시키고자 할 경우, 상기 평균 움직임 벡터들 중에서 중간에 위치한 평균 움직임 벡터를 임계값으로 설정할 수 있을 것이다. 여기서, 상기 임계값 계산부(204)는 가장 최근에 입력된 K 개의 평균 움직임 벡터를 이용하여 상기 임계값을 계속해서 갱신한다. 즉, 상기 임계값 계산부(204)는 첫 번째 프레임부터 K 번째 프레임의 평균 움직임 벡터들을 이용하여 임계값을 설정하고, 이후 K+1번째 프레임의 평균 움직임 벡터가 입력될 시, 두 번째 프레임부터 상기 K+1번째 프레임의 평균 움직임 벡터들을 이용하여 상기 설정된 임계값을 갱신한다. 이는, 상기 임계값이 최신 입력되는 프레임들에 적합하도록 하여 에러율을 낮추기 위함이다.
상기 디코딩 판단부(206)는 상기 유사도 계산부(202)로부터 입력되는 프레임의 평균 움직임 벡터와 상기 임계값 계산부(204)로부터 입력되는 임계값을 비교하여 해당 프레임의 디코딩 수행 여부를 결정한다. 상기 디코딩 판단부(206)는 상기 프레임의 평균 움직임 벡터가 상기 임계값보다 작을 시 상기 프레임이 이전 프레임과 유사하다고 판단하여 상기 프레임이 디코딩되지 않도록 처리하고, 상기 프레임의 평균 움직임 벡터가 상기 임계값보다 크거나 같을 시, 상기 프레임이 이전 프레임과 유사하지 않다고 판단하여 상기 프레임을 상기 디코딩부(208)로 출력한다. 여기서, 상기 디코딩 판단부(206)는 상기 디코딩되지 않은 프레임이 다른 프레임의 참조 프레임(이전 프레임)으로 사용될 수 있으므로 버퍼에 임시 저장하고 상기 디코딩 및 디스플레이가 수행되지 않도록 처리한다.
상기 디코딩부(208)는 상기 프레임 판단부(200) 혹은 상기 디코딩 판단부(206)로부터 입력되는 프레임을 디코딩하여 제어부(100)로 출력한다.
도 3은 본 발명의 실시 예에 따른 휴대용 단말기에서 부화면 디코딩 절차를 도시하고 있다.
상기 도 3을 참조하면, 먼저 단말은 301단계에서 부화면에 영상을 디스플레이하기 위하여 부화면 디코딩 이벤트가 발생되는지 검사한다. 상기 부화면 디코딩 이벤트가 발생될 시, 상기 단말은 303단계에서 디코더에 입력되는 프레임이 I 프레임인지 P 혹은 B 프레임인지 판단한다. 만일, 상기 입력된 프레임이 I 프레임일 시, 상기 단말은 313단계로 진행하여 상기 입력된 I 프레임을 디코딩하여 표시부(110)의 소정영역에 디스플레이한 후, 하기 315단계로 진행한다.
반면, 상기 입력된 프레임이 P 프레임 혹은 B 프레임일 시, 상기 단말은 305단계에서 이전 프레임(혹은 이전 및 이후 프레임)의 정보를 이용하여 상기 입력된 프레임의 평균 움직임 벡터를 계산 및 저장한다. 여기서, 상기 단말은 해당 프레임을 4*4 마크로 블록으로 분할한 후, 이전 프레임 정보를 이용하여 상기 분할된 각 마크로 블록의 움직임 벡터를 계산하고, 상기 계산된 움직임 벡터의 평균을 구함으로써 해당 프레임의 평균 움직임 벡터를 계산할 수 있다. 이후, 상기 단말은 307단계로 진행하여 현재까지 입력된 P 프레임 및 B 프레임의 수를 나타내는 T를 초기화시키고, 상기 T의 값을 +1씩 증가시킨다.
이후, 상기 단말은 309단계에서 상기 현재까지 입력된 P 프레임 및 B 프레임의 수를 나타내는 T와 임계값을 설정하기 위해 기 설정된 프레임 수 K를 비교한다. 만일, 현재까지 입력된 프레임 수가 기 설정된 프레임 수보다 작을 시(T<K), 상기 단말은 상기 313단계로 진행하여 상기 현재 입력된 프레임을 디코딩하여 상기 표시부(110)의 소정영역에 디스플레이 한 후, 하기 315단계로 진행한다. 반면, 현재까지 입력된 프레임 수가 기 설정된 프레임 수와 같을 시(T=K), 상기 단말은 311단계로 진행하여 상기 현재까지 입력된 K 개의 프레임에 대한 평균 움직임 벡터들을 이용하여 임계값을 결정하고, 상기 313단계에서 상기 현재 입력된 프레임을 디코딩하여 상기 표시부(110)의 소정영역에 디스플레이한 후, 하기 315단계로 진행한다.
반면, 상기 현재까지 입력된 프레임 수가 기 설정된 프레임 수보다 클 시(T>K), 상기 단말은 319단계로 진행하여 상기 현재 입력된 프레임의 평균 움직임 벡터가 상기 결정된 임계값보다 크거나 같은지 비교한다. 만일, 상기 현재 입력된 프레임의 평균 움직임 벡터가 상기 임계값보다 작을 시, 상기 단말은 상기 현재 프레임이 이전 프레임과 유사하다고 판단하여 325단계에서 해당 프레임이 디코딩되지 않도록 처리한 후, 하기 323단계로 진행한다.
반면, 상기 현재 입력된 프레임의 평균 움직임 벡터가 상기 임계값보다 크거나 같을 시, 상기 단말은 상기 현재 프레임이 이전 프레임과 유사하지 않다고 판단하고 상기 321단계에서 해당 프레임을 디코딩하여 상기 표시부(110)의 소정영역에 디스플레이한다 이후, 상기 단말은 323단계로 진행하여 상기 해당 프레임의 평균 움직임 벡터를 바탕으로 상기 임계값을 갱신한 후, 하기 315단계로 진행한다.
상기 단말은 315단계에서 부화면 디코딩 종료 이벤트가 발생되는지 검사한다. 만일, 상기 부화면 디코딩 종료 이벤트가 발생되지 않을 시 상기 단말은 상기 303단계로 되돌아가 이하 단계를 재수행하고, 그렇지 않을 시 317단계로 진행하여 상기 현재까지 입력된 프레임의 수를 나타내는 T를 초기화시킨다. 이후, 상기 단말은 본 발명에 따른 알고리즘을 종료한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같이 본 발명은 휴대용 단말기에서 PIP(Picture In Picture) 모 드 시, 움직임 벡터를 이용하여 부화면에 디스플레이될 각 프레임의 디코딩 및 디스플레이 여부를 결정하여 이전 혹은 이후 프레임과 유사한 프레임들을 디코딩 및 디스플레이하지 않음으로써, 디코더 및 표시부의 오버헤드를 감소시킬 수 있고, 이로 인해 주화면을 위한 디코딩 성능을 향상시킬 수 있는 효과가 있다.

Claims (9)

  1. 휴대용 단말기에서 부화면 디코딩 방법에 있어서,
    부화면을 위한 프레임이 I 프레임(Intra Frame)인지 B 프레임(Bi-directional Frame) 혹은 P 프레임(Predicted Frame)인지 검사하는 과정과,
    상기 B 프레임 혹은 P 프레임으로 검사된 각 프레임의 평균 움직임 벡터를 측정하는 과정과,
    상기 측정된 소정개수의 평균 움직임 벡터를 이용하여 유사도 판단을 위한 임계값을 결정하는 과정과,
    상기 각 프레임의 평균 움직임 벡터를 상기 임계값과 비교하여 디코딩 여부를 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 디코딩 여부를 결정하는 과정은,
    상기 비교 결과 해당 프레임의 평균 움직임 벡터가 상기 임계값보다 크거나 같을 시, 상기 해당 프레임을 디코딩하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 디코딩 여부를 결정하는 과정은,
    상기 비교 결과 해당 프레임의 평균 움직임 벡터가 상기 임계값보다 작을 시, 상기 해당 프레임을 디코딩하지 않는 과정을 포함하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 임계값은, 가장 최근에 측정된 소정 개수의 평균 움직임 벡터를 이용하여 갱신되는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 I 프레임은, 디코딩을 수행하는 것을 특징으로 하는 방법.
  6. 휴대용 단말기에서 부화면 디코딩 장치에 있어서,
    부화면을 위한 프레임이 I 프레임(Intra Frame)인지 B 프레임(Bi-directional Frame) 혹은 P 프레임(Predicted Frame)인지 검사하는 프레임 판단부와,
    상기 B 프레임 혹은 P 프레임으로 검사된 각 프레임의 평균 움직임 벡터를 측정하는 유사도 측정부와,
    상기 측정된 소정 개수의 평균 움직임 벡터를 이용하여 유사도 판단을 위한 임계값을 결정하는 임계값 결정부와,
    상기 각 프레임의 평균 움직임 벡터를 상기 임계값과 비교하여 디코딩 여부를 결정하는 디코딩 판단부를 포함하는 것을 특징으로 하는 장치.
  7. 제 6항에 있어서,
    상기 디코딩 판단부는,
    상기 비교 결과 해당 프레임의 평균 움직임 벡터가 상기 임계값보다 크거나 같을 시 상기 해당 프레임의 디코딩을 결정하고, 상기 비교 결과 해당 프레임의 평균 움직임 벡터가 상기 임계값보다 작을 시 상기 해당 프레임을 디코딩하지 않음을 결정하는 것을 특징으로 하는 장치.
  8. 제 6항에 있어서,
    상기 임계값은, 가장 최근에 측정된 소정 개수의 평균 움직임 벡터를 이용하여 갱신되는 것을 특징으로 하는 장치.
  9. 제 6항에 있어서,
    상기 I 프레임은, 디코딩을 수행하는 것을 특징으로 하는 장치.
KR1020060105320A 2006-10-27 2006-10-27 휴대용 단말기에서 부화면 디코딩 방법 및 장치 KR100819404B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060105320A KR100819404B1 (ko) 2006-10-27 2006-10-27 휴대용 단말기에서 부화면 디코딩 방법 및 장치
US11/925,523 US20080101463A1 (en) 2006-10-27 2007-10-26 Method and apparatus for decoding subscreen in portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060105320A KR100819404B1 (ko) 2006-10-27 2006-10-27 휴대용 단말기에서 부화면 디코딩 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100819404B1 true KR100819404B1 (ko) 2008-04-04

Family

ID=39330100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060105320A KR100819404B1 (ko) 2006-10-27 2006-10-27 휴대용 단말기에서 부화면 디코딩 방법 및 장치

Country Status (2)

Country Link
US (1) US20080101463A1 (ko)
KR (1) KR100819404B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US20100135417A1 (en) * 2008-12-02 2010-06-03 Asaf Hargil Processing of video data in resource contrained devices
US11889147B2 (en) * 2021-11-04 2024-01-30 Sony Group Corporation Display of signing video through an adjustable user interface (UI) element

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960043897A (ko) * 1995-05-04 1996-12-23 구자홍 디지탈 영상 데이타의 부호화 방법
KR19980020018A (ko) * 1996-09-05 1998-06-25 구자홍 Dvd용 부화면 복호기
US5847771A (en) 1996-08-14 1998-12-08 Bell Atlantic Network Services, Inc. Digital entertainment terminal providing multiple digital pictures
KR20010038985A (ko) * 1999-10-28 2001-05-15 박종섭 방송 수신 장치 및 비디오 디코딩 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US6078328A (en) * 1998-06-08 2000-06-20 Digital Video Express, Lp Compressed video graphics system and methodology
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
DE102004026597A1 (de) * 2004-06-01 2005-12-29 Micronas Gmbh Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960043897A (ko) * 1995-05-04 1996-12-23 구자홍 디지탈 영상 데이타의 부호화 방법
US5847771A (en) 1996-08-14 1998-12-08 Bell Atlantic Network Services, Inc. Digital entertainment terminal providing multiple digital pictures
KR19980020018A (ko) * 1996-09-05 1998-06-25 구자홍 Dvd용 부화면 복호기
KR20010038985A (ko) * 1999-10-28 2001-05-15 박종섭 방송 수신 장치 및 비디오 디코딩 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备

Also Published As

Publication number Publication date
US20080101463A1 (en) 2008-05-01

Similar Documents

Publication Publication Date Title
US20180077422A1 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program
TWI401962B (zh) 視訊解碼方法及系統
EP3253064A1 (en) Frame loss method for video frame and video sending apparatus
US20160029020A1 (en) Low latency video encoder
US8139647B2 (en) Moving image decoding apparatus and moving image decoding method
US20090257666A1 (en) Image decoding device, image decoding method, image decoding system, and system lsi
EP1701549A2 (en) Adaptive deblocking for a video decoder
US7447266B2 (en) Decoding device and decoding program for video image data
KR100819404B1 (ko) 휴대용 단말기에서 부화면 디코딩 방법 및 장치
JP2008011158A (ja) 動きベクトル探索方法及び動きベクトル探索装置
JPWO2008139721A1 (ja) 復号化装置及び復号化方法
US20110135285A1 (en) Image coding apparatus, method, integrated circuit, and program
CN112995679A (zh) 视频的运动适应性编码
CN110753231A (zh) 多通道视频处理系统的方法与装置
US20100061697A1 (en) Motion picture decoding method, motion picture decoding device, and electronic apparatus
CN113055744A (zh) 一种视频解码方法及装置
JP2003348594A (ja) 画像復号装置及び方法
KR20010051249A (ko) 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램기록 매체
US20090141792A1 (en) Image processing apparatus, mobile wireless terminal apparatus, and image display method
US7215375B2 (en) Method for line average differences based de-interlacing
JP5263967B2 (ja) 動画ストリーム処理装置及び動画ストリーム処理プログラム
KR101271738B1 (ko) 노이즈 저감 장치, 노이즈 저감 방법 및 노이즈 저감 방법을 기록한 기록매체
US10045028B2 (en) Media display system that evaluates and scores macro-blocks of media stream
CN115462086A (zh) 一种图像处理方法及装置
US7512325B2 (en) Method and apparatus for MPEG video processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee