KR100953247B1 - 부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법 - Google Patents

부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법 Download PDF

Info

Publication number
KR100953247B1
KR100953247B1 KR20070095804A KR20070095804A KR100953247B1 KR 100953247 B1 KR100953247 B1 KR 100953247B1 KR 20070095804 A KR20070095804 A KR 20070095804A KR 20070095804 A KR20070095804 A KR 20070095804A KR 100953247 B1 KR100953247 B1 KR 100953247B1
Authority
KR
South Korea
Prior art keywords
encoding
image
intra refresh
intra
region
Prior art date
Application number
KR20070095804A
Other languages
English (en)
Other versions
KR20080036515A (ko
Inventor
노리아끼 쯔꾸다
다까또 오하시
요우스께 야마구찌
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20080036515A publication Critical patent/KR20080036515A/ko
Application granted granted Critical
Publication of KR100953247B1 publication Critical patent/KR100953247B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 부호화 효율이 좋아, 화상 열화를 방지하기 위한 것으로서, 인트라 리프레시 주기를 6픽쳐로 한 경우, 즉, 1프레임을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 부호화 장치는, 1픽쳐를 6등분한 영역을 인트라 리프레시 영역으로서 삽입하여 부호화한다. 그리고, 부호화 장치는, 부호화에 관한 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시한다. 부호화 장치는, 화상이 대체 화상인 경우, 인트라 리프레시 주기에 준거하면서, 검출된 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상이 아닌 다음의 화상에 삽입되는 인트라 리프레시 영역과 합쳐서 다음의 화상에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어한다.
Figure R1020070095804
부호화 장치, 파라미터 설정부, 리프레시 영역 제어부, 인트라 리프레시 주기, 부호화 상황 감시부, CPU, HDD, 화상 입력부

Description

부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법{ENCODING APPARATUS, COMPUTER-READABLE RECORDING MEDIUM, AND ENCODING METHOD}
본 발명은, 입력된 화상의 부호화에서, 인트라 리프레시 주기에 기초하여 주기적으로 화상의 일부에 인트라 리프레시 영역을 삽입하여 화상을 부호화하는 것을 컴퓨터에 실행시키는 부호화 장치, 부호화 프로그램 및 부호화 방법에 관한 것이다.
종래부터, 도 12에 도시하는 바와 같이, 예를 들면, 카메라로 촬영한 영상을 리얼타임 화상으로서 모니터에 표시하는 부호화 장치를 포함하는 화상 전송 시스템에서는, 영상을 모니터로 표시할 때까지의 시간(지연 시간)을 짧게 하기 위해, 도 13에 도시하는 바와 같이, 화면을 분할하고, 분할한 픽쳐마다 인트라 리프레시 영역(Intra 리프레시 영역)을 삽입하여 부호화를 행하고 있다.
한편, 화상 전송 시스템 등의 처리 능력 부족에 의한 처리 시간 초과나, 발생 정보량 초과에 의한 버퍼 파탄 등에 의해, 픽쳐에 인트라 리프레시 영역이 삽입되지 않게 되어, 리프레시할 수 없는 영역이 발생한다. 그래서, 인트라 리프레시 영역의 누설을 없애기 위해 인트라 리프레시 영역을 제어하는 다양한 기술이 개시 되어 있다.
예를 들면, 특허 문헌 1(일본 특개 2003-87800호 공보)에서는, 외부 장치 등으로부터의 지시에 따라서, 픽쳐나 프레임에 따른 인트라 리프레시 폭을 수동으로 변경하는 기술이 개시되어 있다.
또한, 특허 문헌 2(일본 특개 2001-359102호 공보)에서는, 인트라 리프레시를 행할 때에, 지금까지 리프레시한 영역의 맵이나 발생 부호량 등을 이용하여, 인트라 리프레시 영역을 결정하는 기술이 개시되어 있다.
특허 문헌 1: 일본 특개 2003-87800호 공보
특허 문헌 2: 일본 특개 2001-359102호 공보
그런데, 상술한 종래의 기술인 특허 문헌 1에서는, 예를 들면, 처리 시간 초과나 정보량 초과에 의해 정상적인 부호화 데이터를 송출할 수 없어, 임의의 픽쳐를 대체 픽쳐로 치환한 경우, 인트라 리프레시를 할 수 없거나, 인트라 리프레시 주기가 무너지게 되어, 화면 전체의 화질이나 리프레시에 악영향이 있다고 하는 과제가 있었다.
구체적으로는, 부호화 장치는, 파탄한 픽쳐의 부호화 데이터의 대체로서, 미리 준비해 둔 데이터량이 적은 픽쳐 혹은 스킵 픽쳐로 치환한다. 그 경우, 도 14에 도시하는 바와 같이, 다음의 픽쳐에서 다시 인트라 리프레시 영역을 삽입하므로, 리프레시 영역이 1주기 증가하거나, 또한, 도 15에 도시하는 바와 같이, 본래 에는 인트라 리프레시할 영역을 건너뛰게 되어, 주기는 무너지지 않지만, 리프레시되지 않는 등의 영역이 발생하여, 화면 전체의 화질이나 리프레시에 악영향이 있다.
또한, 종래의 기술인 특허 문헌 2에서는, 과거의 정보에 의해 인트라 리프레시의 영역을 고정하므로, 부호화 난이도가 높고 발생 정보량이 많아질 우려가 있는 화상을 부호화하는 경우, 부호화 효율이 떨어져 화질이 열화한다고 하는 과제가 있었다.
구체적으로는, 상기한 화상 전송 시스템에서는, 저지연을 실현하기 위해, 도 16에 도시하는 바와 같이, 1픽쳐당의 발생 정보량을 일정하게 하여 각각의 정보량의 발생을 평활화하여, 수신측의 버퍼를 가능한 한 작게 하는 것이 이상적이지만, 부호화하는 화상의 도안에 따라 부호화 난이도가 변화되어 부호화 난이도가 높아진 경우에도, 수신측의 버퍼에 수용되도록 발생 정보량을 제한할 필요가 있다. 그 경우, 발생 정보량을 삭감하기 위해 양자화를 크게 하고, 이에 의해 씬마다 양자화값이 변화되기 때문에 화상이 변동하게 된다. 이것 때문에, 부호화 난이도가 높고 발생 정보량이 많아질 우려가 있는 화질의 부호화를 행할 때, 인트라 리프레시의 범위를 고정인 상태 그대로로 하면, 부호화 효율이 떨어져 화질을 열화시키게 된다.
이와 같이, 종래 기술(특허 문헌 1, 특허 문헌 2)에서는, 외부로부터의 지시 또는 과거의 정보에 따라서 리프레시 영역을 고정하고 있었기 때문에, 화상을 부호화함에 있어서, 입력 신호(예를 들면, 화상 등)에 따라서 적합한 인트라 리프레시 영역이나 인트라 리프레시 주기를 선택할 수 없어, 부호화 효율이 나빠서, 화상 열화가 발생하는 등 전체에 악영향이 있다.
그래서, 본 발명은, 상술한 종래 기술의 과제를 해결하기 위해 이루어진 것으로서, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능한 부호화 프로그램을 제공하는 것을 목적으로 한다.
상술한 과제를 해결하고, 목적을 달성하기 위해, 본 발명의 제1 양태에 따른 발명은, 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 컴퓨터에 실행시키는 부호화 프로그램으로서, 상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수순과, 상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어하는 리프레시 영역 제어 수순을 컴퓨터에 실행시키는 것을 특징으로 한다.
또한, 본 발명의 제2 양태에 따른 발명은, 상기한 발명에서, 상기 부호화 상황 감시 수단은, 감시하는 상기 부호화 상황에서, 상기 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시하고, 상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 인트라 리프레시 주기에 준거하면서, 상기 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 제3 양태에 따른 발명은, 상기한 발명에서, 상기 부호화 상황 감시 수단은, 상기 부호화 상황으로부터 상기 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고, 상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 난이도가 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 부호화 난이도가 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 제4 양태에 따른 발명은, 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 컴퓨터에 실행시키는 것을 특징으로 하는 부호화 프로그램으로서, 상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수순과, 상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어하는 리프레시 영역 제어 수순을 컴퓨터에 실행시키는 것을 특징으로 한다.
또한, 본 발명의 제5 양태에 따른 발명은, 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하기에 적합한 부호화 방법으로서, 상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 공정과, 상기 부호화 상황 감시 공정에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어하는 리프레시 영역 제어 공정을 포함한 것을 특징으로 한다.
본 발명에 따르면, 부호화에 관한 부호화 상황을 감시하고, 감시되는 부호화 상황에 기초하여, 인트라 리프레시 영역 및/또는 인트라 리프레시 주기를 변동하도록 제어하므로, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 대체 픽쳐(대체 화상) 등에서 인트라 리프레시 영역을 삽입할 수 없었던 픽쳐가 발생해도, 인트라 리프레시 주기가 변화되지 않도록 인트라 리프레시 영역을 변동하도록 제어하는 등, 입력되는 픽쳐(화상)마다 적합한 인트라 리프레시 영역을 선택할 수 있는 결과, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
또한, 픽쳐의 도안의 변동이 큰 경우, 인트라 리프레시 영역을 작게 하여, 인트라 리프레시 주기가 길어지도록 제어하거나 함으로써, 부호화 효율을 높여서 양자화를 작게 함으로써 화질을 향상시키는 등, 입력되는 픽쳐(화상)마다 적합한 인트라 리프레시 주기를 선택할 수 있는 결과, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
또한, 본 발명에 따르면, 감시하는 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시하고, 화상이 대체 화상이라고 판정된 경우, 인트라 리프레시 주기에 준거하면서, 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어하므로, 입력 화상에 대하여, 인트라 리프레시 주기를 변경하지 않고, 빠짐없이 인트라 리프레시 영역을 삽입하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 3번째의 픽쳐가 대체 화상으로 치환되면, 3번째의 픽쳐에 삽입해야 하였던 인트라 리프레시 영역이 삽입되지 않게 되므로, 4번째의 픽쳐에 대하여, 3번째와 4번째의 인트라 리프레시 영역을 삽입함으로써, 인트라 리프레시 주기를 변경하지 않고, 빠짐없이 인트라 리프레시 영역을 삽입하는 것이 가능하다.
또한, 본 발명에 따르면, 화상이 대체 화상이라고 판정된 경우, 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상에 이어지는 다음의 화상에 삽입되는 인트라 리프레시 영역과 합쳐서 다음의 화상에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어하므로, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 3번째와 4번째의 픽쳐가 대체 화상으로 치환되면, 3번째와 4번째의 픽쳐에 삽입해야 하였던 인트라 리프레시 영역이 삽입되지 않게 되므로, 5번째의 픽쳐에 대하여, 3번째와 4번째와 5번째의 인트라 리프레시 영역을 삽입함으로써, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
또한, 본 발명에 따르면, 부호화 상황으로부터 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고, 감시되는 부호화 난이도가 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 부호화 난이도가 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하므로, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
예를 들면, 부호화 난이도가 높은 경우, 인트라 리프레시 영역을 축소(감소)시키고, 부호화 난이도가 낮은 경우, 인트라 리프레시 영역을 확대(증가)시키는 등을 행할 수 있는 결과, 인트라 리프레시 영역의 강제적인 삽입을 방지하여, 화질 열화를 방지하는 것이 가능하다.
또한, 본 발명에 따르면, 부호화 난이도로서, 화상의 하나 전의 화상으로부터 화상의 화질의 변동을 나타내는 값을 감시하고, 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하므로, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
예를 들면, 입력된 화상과 그 하나 전의 화상의 화질의 변동을 부호화 난이 도(발생 정보량이나 양자화값 등)로서 검출하고, 변동이 큰 경우, 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다. 또한, 변동이 작은 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
이하에 첨부 도면을 참조하여, 본 발명에 따른 부호화 장치의 실시예를 상세하게 설명한다. 또한, 이하의 실시예에서 이용하는 주요한 용어, 실시예 1에 따른 부호화 장치의 개요 및 특징, 실시예 1에 따른 부호화 장치의 구성 및 처리의 수순, 실시예 1의 효과를 순서대로 설명하고, 계속해서, 다른 실시예에 대하여 설명한다.
<실시예 1>
[용어의 설명]
우선 최초로, 본 실시예에서 이용하는 주요한 용어를 설명한다. 본 실시예에서 이용하는 「인트라 리프레시」란, 데이터를 부호화함에 있어서, 저지연화를 실현시키기 위해 이용하는 방법의 하나이다. 구체적으로는, 인터(화면 간) 부호화 영역보다도 발생 정보량이 많은 인트라(화면 내) 부호화 영역을, 인트라 픽쳐로서 1매의 픽쳐에 집중시키지 않고, 인트라 부호화 영역을 시간 방향에서 복수매의 픽쳐에 분할 삽입하여 부호화하고, 픽쳐(화상)마다의 발생 정보량을 균일화함으로써 데이터 수신측의 버퍼를 축소하고, 부호화 데이터가 입력되고나서 표시될 때까지의 시간을 단축함으로써 저지연화를 행하는 방법이다. 이 인트라 리프레시 영역은, 다른 프레임과 독립하여 복호할 수 있으며, 다른 프레임이 혼입하거나, 데이터 오류나 데이터 누락이 발생해도, 그 영향을 받는 경우는 없다.
그리고, 부호화 효율의 저하나 화상 열화를 방지하기 위해서도, 한번에 1프레임 전부를 인트라 리프레시 영역으로서 리프레시하는 경우는 없고, 1프레임 모두를 리프레시하기 위해, 인트라 리프레시 영역을 복수로 나누어 화면에 삽입하고, 주기적으로 1프레임 모두를 리프레시한다. 이 1프레임(1픽쳐) 모두를 리프레시하기 위한 주기를 「인트라 리프레시 주기」라고 한다. 예를 들면, 6프레임을 인트라 리프레시 주기로 하면, 1프레임을 6등분한 영역을 인트라 리프레시 영역으로서 삽입하여 부호화한다.
[부호화 장치의 개요 및 특징]
다음으로, 도 1을 이용하여, 실시예 1에 따른 부호화 장치의 개요 및 특징을 설명한다. 도 1은, 실시예 1에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면이다.
도 1에 도시하는 바와 같이, 인트라 리프레시 주기를 6픽쳐로 한 경우, 즉, 1프레임을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 부호화 장치는, 1픽쳐를 6등분한 영역을 인트라 리프레시 영역으로서 삽입하여 부호화한다.
이러한 조건 하에서, 상기한 바와 같이, 실시예 1에 따른 부호화 장치는, 입 력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 화상의 일부에 인트라 리프레시 영역을 삽입하여 화상을 부호화하는 것을 개요로 하는 것으로서, 특히, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능한 점에 주된 특징이 있다.
이 주된 특징을 구체적으로 설명하면, 도 1에 도시하는 바와 같이, 부호화 장치는, 부호화에 관한 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시한다. 구체적으로 예를 들면, 부호화 장치는, 1번째의 화상(픽쳐)이 입력되면, 그 화상이 대체 화상인지의 여부를 감시하고, 그 1번째의 화상이 대체 화상이 아니므로, 통상과 같이, 인트라 리프레시 영역을 삽입하여 부호화한다. 이와 같이, 2번째의 화상, 3번째의 화상에 대해서도, 통상과 같이, 대체 화상이 아니므로 인트라 리프레시 영역을 삽입하여 부호화한다. 계속해서, 4번째의 화상이 입력되면, 부호화 장치는, 그 화상이 대체 화상이라고 판정한다.
그리고, 부호화 장치는, 화상이 대체 화상인 경우, 인트라 리프레시 주기에 준거하면서, 검출된 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상이 아닌 다음의 화상에 삽입되는 인트라 리프레시 영역과 합쳐서 다음의 화상에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어한다.
구체적으로 예를 들어 설명하면, 대체 화상인 4번째의 화상이 입력되어 부호화된 후에, 5번째의 화상이 입력되면, 부호화 장치는, 대체 화상이었던 4번째의 화상에 삽입되어야 하였던 인트라 리프레시 영역(A)을, 대체 화상이 아닌 5번째의 화 상에 삽입되는 인트라 리프레시 영역(B)과 합쳐서 삽입한다. 즉, 부호화 장치는, 대체 화상인 4번째의 화상에 대하여 인트라 리프레시 영역을 삽입하지 않고 그 대체 화상을 부호화하고, 5번째의 화상에 대하여 인트라 리프레시 영역을 2배로 하여 삽입한다.
또한, 대체 화상이 연속하여 복수매 검출된 경우, 부호화 장치는, 검출된 대체 화상분의 인트라 리프레시 영역을, 다음의 대체 화상이 아닌 통상의 화상에 통합하여 삽입한다. 예를 들면, 4번째와 5번째의 화상과 연속하여 대체 화상이었던 경우, 부호화 장치는, 4번째와 5번째의 화상의 각각 삽입되어야 하였던 인트라 리프레시 영역을 6번째의 화상에 통합하여 삽입하여 부호화한다.
이와 같이, 실시예 1에 따른 부호화 장치에 따르면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 대체 픽쳐(대체 화상) 등에서 인트라 리프레시 영역을 삽입할 수 없었던 픽쳐가 발생해도, 인트라 리프레시 주기가 변화되지 않도록 인트라 리프레시 영역을 변동하도록 제어하는 등, 입력되는 픽쳐(화상)마다 적합한 인트라 리프레시 영역을 선택할 수 있는 결과, 상기한 주된 특징과 같이, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
[부호화 장치를 포함하는 시스템의 구성]
도 2를 이용하여, 도 1에 도시한 부호화 장치의 구성을 설명한다. 도 2는, 실시예 1에 따른 부호화 장치의 구성을 도시하는 블록도이다. 도 2에 도시하는 바와 같이, 이 부호화 장치(20)는, 파라미터 설정부(21)와, 화상 입력부(22)와, 기억부(23)과, 제어부(24)로 구성된다.
파라미터 설정부(21)는, 인트라 리프레시 주기를 설정한다. 구체적으로 예를 들면, 키보드나 마우스, 마이크 등의 외부 장치로부터 입력된 인트라 리프레시 주기에 관한 각종 파라미터를 유지한다. 예를 들면, 「인트라 리프레시 주기」로서 「6픽쳐」 등으로 유지한다.
화상 입력부(22)는, 외부로부터 입력된 화상을 접수하는 입력 인터페이스이다. 구체적으로 예를 들면, 외부로부터 접수한 화상을 입력 화상으로서 후술하는 부호화부(27)에 출력한다. 기억부(23)는, 제어부(24)에 의한 각종 처리에 필요한 데이터 및 프로그램을 저장한다. 구체적으로 예를 들면, 부호화 장치의 IP 어드레스나 부호화 장치에 접속되는 각종 장치에 관한 정보 등을 기억한다.
제어부(24)는, OS(Operating System) 등의 제어 프로그램, 각종 처리 수순 등을 규정한 프로그램 및 소요 데이터를 저장하기 위한 내부 메모리를 가짐과 함께, 특히 본 발명에 밀접하게 관련되는 것으로서는, 부호화 상황 감시부(25)와, 리프레시 영역 제어부(26)와, 부호화부(27)를 구비하고, 이들에 의해 여러 가지의 처리를 실행한다.
부호화 상황 감시부(25)는, 부호화에 관한 부호화 상황에서, 입력된 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시한다. 구체적으로는, 부호화 상황 감시부(25)는, 입력된 화상이 대체 화상이 아닌 경우, 그 화상을 후술하는 리프레시 영역 제어부(26)에 출력한다. 한편, 입력된 화상이 대체 화상이었던 경우, 부호화 상황 감시부(25)는, 그 대체 화상을 후술하는 부호화부(27)에 출력함과 함께, 그 화상이 대체 화상이라는 취지를 리프레시 영 역 제어부(26)에 통지한다.
도 1을 이용하여, 상기한 예에서 구체적으로 설명하면, 부호화 상황 감시부(25)는, 1번째 내지 3번째의 화상에 대하여 대체 화상이 아니라고 판정하고, 그 화상을 리프레시 영역 제어부(26)에 출력한다. 한편, 4번째의 화상이 입력되면, 부호화 상황 감시부(25)는, 그 화상을 대체 화상이라고 판정하고, 그 화상을 후술하는 부호화부(27)에 출력함과 함께, 4번째로 입력된 화상이 대체 화상이라는 취지를 리프레시 영역 제어부(26)에 통지한다. 또한, 부호화 상황 감시부(25)는, 특허청구범위에 기재된 「부호화 상황 감시 수순」에 대응한다.
리프레시 영역 제어부(26)는, 화상이 대체 화상이라고 판정된 경우, 검출된 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어한다.
상기한 예에서 구체적으로 설명하면, 리프레시 영역 제어부(26)는, 대체 화상인 4번째의 화상이 입력되면, 부호화 상황 감시부(25)로부터 그 화상이 대체 화상이라는 취지의 통지를 수신한다. 그리고, 5번째의 화상이 입력되면, 리프레시 영역 제어부(26)는, 대체 화상이었던 4번째의 화상에 삽입되어야 하였던 인트라 리프레시 영역(A)을, 대체 화상이 아닌 5번째의 화상에 삽입되는 인트라 리프레시 영역(B)과 합쳐서 삽입한다. 즉, 리프레시 영역 제어부(26)는, 대체 화상인 4번째의 화상에 대하여 인트라 리프레시 영역을 삽입하지 않고 그 대체 화상을 부호화하고, 5번째의 화상에 대하여 인트라 리프레시 영역을 2배로 하여 삽입한다. 또한, 리프레시 영역 제어부(26)는, 특허청구범위에 기재된 「리프레시 영역 제어 수순」에 대응한다.
부호화부(27)는, 부호화 상황 감시부(25) 또는 리프레시 영역 제어부(26)로부터 입력된 화상을 부호화한다. 구체적으로 예를 들면, 부호화 상황 감시부(25)로부터 입력된 대체 화상이나 리프레시 영역 제어부(26)로부터 입력된 인트라 리프레시 영역이 삽입된 화상 등을 부호화하여, 부호화 데이터로서 외부에 전송한다.
[부호화 장치에 의한 처리]
다음으로, 도 3을 이용하여, 부호화 장치에 의한 처리를 설명한다. 도 3은, 실시예 1에 따른 부호화 장치에서의 부호화 처리의 흐름을 도시하는 플로우차트이다.
도 3에 도시하는 바와 같이, 화상을 수신하면(스텝 S301 긍정), 부호화 장치(20)의 리프레시 영역 제어부(26)는, 파라미터 설정부(21)로부터 인트라 리프레시 주기를 취득한다(스텝 S302). 계속해서, 부호화 상황 감시부(25)는, 부호화에 관한 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시한다(스텝 S303).
그리고, 대체 화상이었던 경우(스텝 S303 긍정), 부호화 상황 감시부(25)는, 그 화상을 부호화부(27)에 출력하고, 부호화부(27)는, 그 화상을 부호화한다(스텝 S304).
한편, 대체 화상이 아니었던 경우(스텝 S303 부정), 그 화상이 입력된 리프레시 영역 제어부(26)는, 그 화상의 앞에 대체 화상이 있었는지의 여부(부호화 상황 감시부(25)로부터 대체 화상이라는 취지의 통지를 수신하고 있는지의 여부)를 판정한다(스텝 S305).
그리고, 그 화상의 앞에 대체 화상이 있었던 경우(스텝 S305 긍정), 리프레시 영역 제어부(26)는, 전의 화상에서 삽입해야 하였던 인트라 리프레시 영역과, 금회의 화상(현재 입력되어 있는 화상)에 삽입할 인트라 리프레시 영역을, 통합하여 금회의 화상에 삽입한다(스텝 S306). 그 후, 그 화상이 입력된 부호화부(27)는, 그 화상을 부호화한다(스텝 S304).
한편, 그 화상의 앞에 대체 화상이 없었던 경우(스텝 S305 부정), 리프레시 영역 제어부(26)는, 금회의 화상에 삽입할 인트라 리프레시 영역만을 그 화상에 삽입한다(스텝 S307). 그 후, 그 화상이 입력된 부호화부(27)는, 그 화상을 부호화한다(스텝 S304).
[실시예 1에 따른 효과]
이와 같이, 실시예 1에 따르면, 부호화에 관한 부호화 상황을 감시하고, 감시되는 부호화 상황에 기초하여, 인트라 리프레시 영역 및/또는 인트라 리프레시 주기를 변동하도록 제어하므로, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다. 예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 대체 픽쳐(대체 화상) 등에서 인트라 리프레시 영역을 삽입할 수 없었던 픽쳐가 발생해도, 인트라 리프레시 주기가 변화되지 않도록 인트라 리프레시 영역을 변동하도록 제어하는 등, 입력되는 픽쳐(화상)마다 적합한 인트라 리프레시 영역을 선택할 수 있는 결과, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
또한, 픽쳐의 도안의 변동이 큰 경우, 인트라 리프레시 영역을 작게 하여, 인트라 리프레시 주기가 길어지도록 제어하거나 함으로써, 부호화 효율을 높여서 양자화를 작게 함으로써 화질을 향상시키는 등, 입력되는 픽쳐(화상)마다 적합한 인트라 리프레시 영역을 선택할 수 있는 결과, 부호화 효율이 좋아, 화상 열화를 방지하는 것이 가능하다.
또한, 실시예 1에 따르면, 감시하는 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시하고, 화상이 대체 화상인 경우, 인트라 리프레시 주기에 준거하면서, 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상의 다음의 화상 이후에 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어하므로, 입력 화상에 대하여, 인트라 리프레시 주기를 변경하지 않고, 빠짐없이 인트라 리프레시 영역을 삽입하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 3번째의 픽쳐가 대체 화상으로 치환되면, 3번째의 픽쳐에 삽입해야 하였던 인트라 리프레시 영역이 삽입되지 않게 되므로, 4번째의 픽쳐에 대하여, 3번째와 4번째의 인트라 리프레시 영역을 삽입함으로써, 인트라 리프레시 주기를 변경하지 않고, 빠짐없이 인트라 리프레시 영역을 삽입하는 것이 가능하다.
또한, 실시예 1에 따르면, 화상이 대체 화상이라고 판정된 경우, 검출된 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 대체 화상이 아닌 다음의 화상에 삽입되는 인트라 리프레시 영역과 합쳐서 다음의 화상에 삽입함으로써, 인 트라 리프레시 영역을 변동하도록 제어하므로, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 3번째와 4번째의 픽쳐가 대체 화상으로 치환되면, 3번째와 4번째의 픽쳐에 삽입해야 하였던 인트라 리프레시 영역이 삽입되지 않게 되므로, 5번째의 픽쳐에 대하여, 3번째와 4번째와 5번째의 인트라 리프레시 영역을 삽입함으로써, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
<실시예 2>
그런데, 지금까지 실시예 1에서는, 대체 화상이 검출된 경우에, 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을 다음의 화상에 삽입하는 경우에 대하여 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 다음의 화상 이후에 분할하여 삽입해도 된다.
그래서, 실시예 2에서는, 도 4~도 6을 이용하여, 대체 화상이 검출된 경우에, 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을 다음의 화상 이후에 분할하여 삽입하는 경우에 대하여 설명한다. 도 4는, 실시예 2에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면이고, 도 5는, 인트라 리프레시 영역을 산출하는 예를 도시하는 도면이며, 도 6은, 인트라 리프레시 영역의 확장예를 도시하는 도면이다. 또한, 실시예 2에서는, 부호화 장치의 개요와 특징, 실시예 2에 의한 효과를 순서대로 설명한다.
도 4에 도시하는 바와 같이, 부호화 장치는, 부호화에 관한 부호화 상황에서, 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시한다. 구체적으로 예를 들면, 부호화 장치는, 1번째의 화상(픽쳐)이 입력되면, 그 화상이 대체 화상인지의 여부를 감시하고, 대체 화상이 아닌 경우, 인트라 리프레시 영역을 삽입하여 부호화한다. 이와 같이, 2번째의 화상, 3번째의 화상에 대해서도, 대체 화상이 아니므로 인트라 리프레시 영역을 삽입하여 부호화한다. 계속해서, 4번째의 화상이 입력되면, 부호화 장치는, 그 화상이 대체 화상이라고 판정한다.
그리고, 부호화 장치는, 화상이 대체 화상이라고 판정된 경우, 대체 화상에 삽입되어야 하였던 리프레시 영역을, 대체 화상이 아닌 다음의 화상 이후의 복수의 화상에 분할하여 삽입한다. 상기한 예에서 구체적으로 설명하면, 대체 화상인 4번째의 화상이 입력되어 부호화된 후에, 5번째의 화상이 입력되면, 부호화 장치는, 도 5의 (1)에 도시한 바와 같이, 인트라 리프레시 영역의 발생 정보량이 차지하는 비율과, 화면 전체에 차지하는 기본의 인트라 리프레시 폭에 새롭게 추가한 영역을 부가한 것에 보정값을 승산한 것을 비교하고, 화면 전체에 차지하는 인트라 리프레시 영역의 값이 임계값을 초과하지 않도록 계산한다. 그리고, 본래의 인트라 리프레시 주기 이상으로 리프레시가 걸리지 않도록 도 5의 (2)에 도시한 바와 같은 식을 충족시키는 최대의 「w<2W」를 산출한다.
즉, 도 4에 도시한 바와 같이, 4번째의 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 4등분하여 5번째~8번째의 화상에 삽입하여 부호화함으로써, 1화면 당의 화질 열화를 방지하면서, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입한다. 또한, 이 예에서는 4등분하여, 5번째~8번째의 화상에 삽입하는 경우에 대하여 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 3등분하여, 5번째~7번째의 화상에 삽입해도 되며, 대체 화상이었던 4번째의 화상에 삽입할 인트라 리프레시 영역과 동일한 위치에 인트라 리프레시 영역을 삽입할 때까지, 즉, 10번째의 화상이 입력될 때까지 전체 영역이 리프레시되도록 하면 된다.
또한, 상기한 바와 같은 인트라 리프레시 영역을 산출하여, 다음의 화면 이후에 삽입할 때까지의 처리를 도 2에서 도시한 각 처리부에서 설명하면, 부호화 상황 감시부(25)는, 4번째의 화상이 대체 화상이라고 판정하고, 대체 화상이라는 취지를 리프레시 영역 제어부(26)에 통지한다. 그리고, 리프레시 영역 제어부(26)는, 4번째의 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 4등분하여 5번째~8번째의 화상에 삽입하고, 그 화상을 부호화부(27)에 출력한다. 그 후, 부호화부(27)는, 그 화상을 부호화한다.
또한, 분할하여 삽입하는 방법으로서, 상기한 바와 같이, 대체 화상이었던 4번째의 인트라 리프레시 영역을 분할하여 다음의 화상 이후에 삽입하는 방법과는 별도로, 도 6에 도시한 바와 같이, 5번째 이후에 삽입하는 인트라 리프레시 영역으로부터 대체 화상이었던 4번째의 화상에 삽입할 인트라 리프레시 영역과 동일한 위치의 인트라 리프레시 영역까지, 즉, 대체 화상 이후의 전체 인트라 리프레시 영역을, 5번째 이후의 화상에 인트라 리프레시 분할하여 삽입해도 된다.
[실시예 2에 따른 효과]
이와 같이, 실시예 2에 따르면, 화상이 대체 화상이라고 판정된 경우, 대체 화상에 삽입되어야 하였던 리프레시 영역을, 대체 화상이 아닌 다음의 화상 이후의 복수의 화상에 분할하여 삽입함으로써, 인트라 리프레시 영역을 변동하도록 제어하므로, 화질 열화를 방지하면서, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
예를 들면, 1화면을 6픽쳐(화상)로 분할하고, 순서대로 인트라 리프레시를 행하는 경우, 3번째의 픽쳐가 대체 화상으로 치환되면, 4번째의 픽쳐에 삽입해야 하였던 인트라 리프레시 영역이 삽입되지 않게 되므로, 5번째~6번째의 픽쳐에 대하여, 4번째의 인트라 리프레시 영역을 분할하여 삽입함으로써, 5번째의 화상에 통합하여 삽입하는 것에 비하여, 5번째 이후의 부호화 효율을 높일 수 있는 결과, 화질 열화를 방지하면서, 인트라 리프레시 주기를 변경하지 않고, 인트라 리프레시 영역을 보다 확실하게 삽입하는 것이 가능하다.
<실시예 3>
그런데, 지금까지 실시예 1과 2에서는, 인트라 리프레시 주기를 준거하면서, 인트라 리프레시 영역을 변동하도록 제어하는 경우에 대하여 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 인트라 리프레시 주기와 인트라 리프레시 영역의 양방을 변동하도록 제어하도록 해도 된다.
그래서, 실시예 3에서는, 도 7~도 10을 이용하여, 인트라 리프레시 주기와 인트라 리프레시 영역의 양방을 변동하도록 제어하는 경우에 대하여 설명한다. 도 7은, 실시예 3에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면이다. 도 8은, 실시예 3에 따른 부호화 장치의 구성을 도시하는 블록도이고, 도 9는, 실시예 3에 따른 부호화 장치에서의 부호화 처리의 흐름을 설명하는 플로우차트이며, 도 10은, 인트라 리프레시 영역을 확장하고, 인트라 리프레시 주기를 단축한 경우의 예를 도시하는 도면이다. 또한, 실시예 3에 따른 부호화 장치의 개요와 특징 및 구성, 처리의 수순, 실시예 3의 효과를 순서대로 설명한다.
도 7에 도시한 바와 같이, 부호화 장치는, 12픽쳐를 인트라 리프레시 주기로 하여, 입력되는 픽쳐(화상)에 대하여, 1화상을 12분할한 인트라 리프레시 영역을 삽입하여 부호화한다.
이러한 인트라 리프레시 주기 하에서, 부호화 장치는, 부호화 상황으로부터 화상을 부호화하는 난이도를 나타내는 부호화 난이도로서 화상의 하나 전의 화상으로부터의 화질의 변동을 나타내는 값을 감시한다. 구체적으로는, 부호화 장치는, 입력된 화상이 하나 전의 화상으로부터 어느 정도 화질이 변동하고 있는지를 나타내는 발생 정보량이나 양자화값 등을 취득하여, 부호화 난이도가 높은 화상으로부터 낮은 화상으로 변동하였는지의 여부를 감시한다. 또한, 감시하는 값으로서, 입력된 화상이 하나 전의 화상으로부터 어느 정도 움직임이 있는지를 나타내는 액티비티나 차분 절대값 등을 취득하여, 부호화 난이도를 감시해도 된다.
계속해서, 부호화 장치는, 부호화 난이도를 나타내는 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 축소하여, 인 트라 리프레시 주기가 길어지도록 제어한다. 구체적으로 예를 들어 설명하면, 부호화 장치는, 1번째의 화상이 입력되면, 1번째의 화상의 화질의 변동을 나타내는 값이 소정의 상한값 이상, 또는, 하한값 이하인지를 판정하고, 판정한 결과, 값이 상한값 내지 하한값인 것에 의해, 통상과 같이, 인트라 리프레시 영역을 삽입하여 부호화한다. 2번째의 화상~8번째의 화상에 대해서도 마찬가지로, 부호화 장치는, 1번째의 화상이 입력되면, 1번째의 화상의 화질의 변동을 나타내는 값이 소정의 임계값 이상인지의 여부를 판정하고, 값이 상한값 내지 하한값인 것에 의해, 통상과 같이, 인트라 리프레시 영역을 삽입하여 부호화한다.
계속해서, 9번째의 화상이 입력되면, 부호화 장치는, 8번째의 화상에 비하여 9번째의 화상의 화질의 변동을 나타내는 값이 하한값 이하라고 판정한다. 그리고, 통상적으로는, 1화면의 12분의 1이 인트라 리프레시 영역으로서 삽입되어야 하지만, 부호화 난이도를 나타내는 값이 하한값 이하, 즉, 부호화 난이도가 높은 화상으로부터 낮은 화상으로의 변화가 발생하게 되어, 부호화 장치는, 인트라 리프레시 영역을 2배로 하여 삽입하여, 인트라 리프레시 주기를 단축한다. 그 후, 부호화 장치는, 변경한 인트라 리프레시 영역과 인트라 리프레시 주기에서 부호화를 행한다. 또한, 인트라 리프레시의 영역은 반드시 2배일 필요는 없으며, 부호화 효율이 저하하지 않을 정도로 설정한다.
이와 같이, 실시예 3에 의한 부호화 장치에 따르면, 입력된 화상과 그 하나 전의 화상의 화질의 변동을 부호화 난이도(발생 정보량이나 양자화값 등)로서 검출하고, 변동이 큰 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 하는 결과, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
[부호화 장치의 구성]
다음으로, 도 8을 이용하여, 부호화 장치의 구성에 대하여 설명한다. 도 8은, 실시예 3에 따른 부호화 장치의 구성을 도시하는 블록도이다.
도 8에 도시하는 바와 같이, 부호화 장치(80)는, 파라미터 설정부(81)와, 화상 입력부(82)와, 기억부(83)와, 제어부(84)로 구성된다. 이 중, 부호화 장치(80)의 파라미터 설정부(81)와, 화상 입력부(82)와, 기억부(83)와, 제어부(84)의 부호화부(87)는, 도 2에서 설명한 실시예 1의 부호화 장치(20)의 파라미터 설정부(21)와, 화상 입력부(22)와, 기억부(23)와, 제어부(24)의 부호화부(27)와 마찬가지의 기능을 가지므로, 여기에서는 그 상세한 설명은 생략한다. 또한, 여기에서는, 실시예 1과는 다른 기능을 갖는 제어부(84)의 부호화 상황 감시부(85)와, 리프레시 영역 제어부(86)에 대하여 설명한다.
부호화 상황 감시부(85)는, 부호화 상황으로부터 화상을 부호화하는 난이도를 나타내는 부호화 난이도로서 화상의 하나 전의 화상으로부터의 화질의 변동을 나타내는 값을 감시한다. 구체적으로 예를 들면, 부호화 상황 감시부(85)는, 입력된 화상이 하나 전의 화상으로부터 어느 정도 화질이 변동하고 있는지를 나타내는 발생 정보량이나 양자화값 등을 취득하여, 부호화 난이도가 높은 화상으로부터 낮은 화상으로 변동하였는지의 여부를 감시한다. 또한, 감시하는 값으로서, 입력된 화상이 하나 전의 화상으로부터 어느 정도 움직임이 있는지를 나타내는 액티비티나 차분 절대값 등을 취득하여, 부호화 난이도를 감시해도 된다.
리프레시 영역 제어부(86)는, 부호화 난이도를 나타내는 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어한다. 구체적으로 예를 들면, 부호화 난이도를 나타내는 값이 소정의 하한값 이하로 된 경우, 도 7에 도시한 바와 같이, 리프레시 영역 제어부(86)는, 1화면에 삽입하는 인트라 리프레시 영역을 2배로 확대하여, 인트라 리프레시 주기가 짧아지도록 제어한다.
한편, 값이 소정의 상한값 이상인 경우, 리프레시 영역 제어부(86)는, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하거나 한다. 구체적으로 예를 들면, 도 10에 도시한 바와 같이, 4화면(4픽쳐)을 처음의 인트라 리프레시 주기로 하고 있고, 6번째의 화상에서, 부호화 난이도를 나타내는 값이 소정의 상한값 이상으로 된 경우, 리프레시 영역 제어부(86)는, 1화면에 삽입하는 인트라 리프레시 영역을 3분의 2로 축소하여, 인트라 리프레시 주기를 1.5배(6화면)로 되도록 제어하거나 한다. 또한, 인트라 리프레시의 영역을 반드시 3분의 2로 축소할 필요는 없이, 부호화 효율이 저하하지 않을 정도로 설정한다.
또한, 감시하는 값으로서, 입력된 화상이 하나 전의 화상으로부터 어느 정도 움직임이 있는지를 나타내는 액티비티나 차분 절대값 등을 감시한 경우, 리프레시 영역 제어부(86)는, 발생 정보량이나 양자화값 등을 감시한 경우와 달리, 부호화 난이도를 나타내는 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 확대 하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어한다.
[부호화 장치에 의한 처리]
다음으로, 도 9를 이용하여, 부호화 장치에 의한 처리를 설명한다. 도 9는, 부호화 장치에서의 부호화 처리의 흐름을 설명하는 플로우차트이다.
도 9에 도시하는 바와 같이, 화상이 입력(수신)되면(스텝 S901), 부호화 장치(80)의 부호화 상황 감시부(85)는, 부호화 상황으로부터 화상을 부호화하는 난이도를 나타내는 부호화 난이도로서 화상의 하나 전의 화상으로부터의 화질의 변동을 나타내는 값(발생 정보량이나 양자화값 등)을 감시(스텝 S902)하고, 리프레시 영역 제어부(86)는, 그 값이 소정의 하한값 이하인지의 여부를 판정한다(스텝 S903).
그리고, 그 값이 소정의 하한값 이하인 경우(스텝 S903 긍정), 리프레시 영역 제어부(86)는, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고(스텝 S904), 부호화 처리를 행한다(스텝 S905).
한편, 그 값이 소정의 하한값 이하가 아닌 경우(스텝 S903 부정), 리프레시 영역 제어부(86)는, 그 값이 소정의 상한값 이상인지의 여부를 판정한다(스텝 S906).
그리고, 그 값이 소정의 상한값 이상인 경우(스텝 S906 긍정), 리프레시 영역 제어부(86)는, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하고(스텝 S907), 부호화한다(스텝 S905).
한편, 그 값이 소정의 상한값 이상이 아닌 경우(스텝 S906 부정), 리프레시 영역 제어부(86)는, 인트라 리프레시 영역 및 인트라 리프레시 주기를 제어하지 않고 부호화한다(스텝 S905).
[실시예 3에 따른 효과]
이와 같이, 실시예 3에 따르면, 부호화 상황으로부터 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고, 감시되는 부호화 난이도가 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 부호화 난이도가 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하므로, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
예를 들면, 부호화 난이도가 높은 경우, 인트라 리프레시 영역을 축소(감소)시키고, 부호화 난이도가 낮은 경우, 인트라 리프레시 영역을 확대(증가)시키는 등을 행할 수 있는 결과, 인트라 리프레시 영역의 강제적인 삽입을 방지하고, 화질 열화를 방지하는 것이 가능하다.
또한, 실시예 3에 따르면, 부호화 난이도로서, 화상의 하나 전의 화상으로부터 화상의 화질의 변동을 나타내는 값을 감시하고, 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어하므로, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
예를 들면, 입력된 화상과 그 하나 전의 화상의 화질의 변동을 부호화 난이도(발생 정보량이나 양자화값 등)로서 검출하고, 변동이 큰 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다. 또한, 변동이 작은 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
<실시예 4>
그런데, 지금까지 본 발명의 실시예에 대하여 설명하였지만, 본 발명은 상술한 실시예 이외에도, 여러 가지의 서로 다른 형태로 실시되어도 되는 것이다. 그래서, 이하에 설명하는 바와 같이, (1) 대체 화상의 매수, (2) 부호화 난이도, (3) 시스템 등, (4) 프로그램으로 각각 구분하여 서로 다른 실시예를 설명한다.
(1) 대체 화상의 매수
예를 들면, 실시예 1에서는, 대체 화상이 1매 검출되는 경우에 대하여 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 대체 화상이 연속하여 복수매 검출되는 경우도 마찬가지로 처리해도 된다. 구체적으로는, 부호화 장치는, 검출된 복수매의 대체 화상분의 인트라 리프레시 영역을, 대체 화상에 이어지는 다음의 화상에 통합하여 삽입하도록, 인트라 리프레시 영역을 제어한다. 예를 들면, 4번째와 5번째의 화상과 연속하여 대체 화상이었던 경우, 부호화 장치는, 4번째와 5번째의 화상의 각각 삽입되어야 하였던 인트라 리프레시 영역을 6번째의 화상에 통합 하여 삽입하여 부호화한다. 즉, 6번째의 화상에는, 통상적으로, 삽입되는 인트라 리프레시 영역의 3배의 영역을 삽입한다.
(2) 부호화 난이도
또한, 실시예 3에서는, 부호화 난이도로서, 「발생 정보량」 또는 「양자화값」을 감시하는 경우에 대하여 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 「액티비티」 또는 「차분 절대값」 등을 감시하도록 해도 된다. 이 경우, 부호화 장치는, 화상의 하나 전의 화상과 화상의 움직임의 변동을 나타내는 값을 감시하고, 값이 소정의 상한값 이상인 경우, 인트라 리프레시 영역을 확대하여, 인트라 리프레시 주기가 짧아지도록 제어하고, 값이 소정의 하한값 이하인 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 제어한다. 즉, 실시예 3에서 설명한 「발생 정보량」 또는 「양자화값」을 감시한 경우의 인트라 리프레시 영역과 인트라 리프레시 주기의 제어가 상이하다.
이와 같이 함으로써, 부호화 후의 화질 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다. 예를 들면, 입력된 화상이 하나 전의 화상에 비하여 변동이 큰지의 여부(움직임이 큰지 작은지)를 부호화 난이도(액티비티나 차분 절대값 등)로서 검출하고, 변동이 큰 경우, 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다. 또한, 변동이 작은 경우, 인트라 리프레시 영역을 축소하여, 인트라 리프레시 주기가 길어지도록 함으로써, 화질의 열화를 방지하면서, 인트라 리프레시 영역을 확실하게 삽입하는 것이 가능하다.
(3) 시스템 구성 등
또한, 도시한 각 장치의 각 구성 요소는 기능 개념적인 것으로서, 반드시 물리적으로 도시하는 바와 같이 구성되어 있을 것을 필요로 하는 것은 아니다. 즉, 각 장치의 분산·통합(예를 들면, 리프레시 영역 제어부와 부호화부를 통합하는 등)의 구체적 형태는 도시하는 것에 한정되지 않고, 그 전부 또는 일부를, 각종 부하나 사용 상황 등에 따라서, 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다. 또한, 각 장치에서 행하여지는 각 처리 기능은, 그 전부 또는 임의의 일부가, CPU 및 그 CPU에서 해석 실행되는 프로그램에 의해 실현되거나, 혹은, 와이어드 로직에 의한 하드웨어로서 실현될 수 있다. 이밖에, 상기 문서 중이나 도면 중에서 도시한 처리 수순, 제어 수순, 구체적 명칭, 각종 데이터나 파라미터를 포함하는 정보에 대해서는, 특기하는 경우를 제외하고 임의로 변경할 수 있다.
(5) 프로그램
그런데, 상기한 실시예에서 설명한 각종 처리는, 미리 준비된 프로그램을 퍼스널 컴퓨터나 워크 스테이션 등의 컴퓨터 시스템에서 실행함으로써 실현할 수 있다. 그래서, 이하에서는, 상기한 실시예와 마찬가지의 기능을 갖는 프로그램을 실행하는 컴퓨터 시스템의 일례를 설명한다.
[부호화 프로그램을 실행하는 컴퓨터 시스템]
도 11은, 부호화 프로그램을 실행하는 컴퓨터 시스템(100)을 도시하는 도면 이다. 도 11에 도시하는 바와 같이, 컴퓨터 시스템(100)은, RAM(101)과 HDD(102)와, ROM(103)과, CPU(104)로 구성된다. 여기에서, ROM(103)에는, 상기한 실시예와 마찬가지의 기능을 발휘하는 프로그램, 즉, 도 11에 도시하는 바와 같이, 부호화 감시 프로그램(103a)과, 리프레시 영역 제어 프로그램(103b)이 미리 기억되어 있다.
그리고, CPU(104)에는, 이 프로그램(103a와 103b)을 읽어내어 실행함으로써, 도 11에 도시하는 바와 같이, 부호화 감시 프로세스(104a)와, 리프레시 영역 제어 프로세스(104b)로 된다. 또한, 부호화 감시 프로세스(104a)는, 도 2에 도시한, 부호화 상황 감시부(25)에 대응하고, 리프레시 영역 제어 프로세스(104b)는, 마찬가지로, 리프레시 영역 제어부(26)에 대응한다.
그런데, 상기한 프로그램(103a와 103b)은, 반드시 ROM(103)에 기억시켜 둘 필요는 없고, 예를 들면, 컴퓨터 시스템(100)에 삽입되는 플렉시블 디스크(FD), CD-ROM, MO 디스크, DVD 디스크, 광 자기 디스크, IC 카드 등의 「가반용의 물리 매체」 이외에, 컴퓨터 시스템(100)의 내외에 구비되는 하드디스크 드라이브(HDD) 등의 「고정용의 물리 매체」, 또한, 공중 회선, 인터넷, LAN, WAN 등을 통하여 컴퓨터 시스템(100)에 접속되는 「다른 컴퓨터 시스템」에 기억시켜 두고, 컴퓨터 시스템(100)이 이들로부터 프로그램을 읽어내어 실행하도록 해도 된다.
(부기 1) 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 부호화 장치로서,
상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수단과,
상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어하는 리프레시 영역 제어 수단
을 구비한 것을 특징으로 하는 부호화 장치.
(부기 2) 상기 부호화 상황 감시 수단은, 감시하는 상기 부호화 상황에서, 상기 화상이 데이터량이 적은 화상 또는 스킵 화상으로 치환된 대체 화상인지의 여부를 감시하고,
상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 인트라 리프레시 주기에 준거하면서, 상기 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부기 1에 기재된 부호화 장치.
(부기 3) 상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 대체 화상에 삽입되어야 하였던 상기 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 다음의 화상에 삽입되는 인트라 리프레시 영역과 합쳐서 상기 다음의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부기 2에 기재된 부호화 장치.
(부기 4) 상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 대체 화상에 삽입되어야 하였던 리프레시 영역을, 상기 대체 화상에 이어지는 복수의 화상에 분할하여 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부기 2에 기재된 부호화 장치.
(부기 5) 상기 부호화 상황 감시 수단은, 상기 부호화 상황으로부터 상기 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고,
상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 난이도가 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 부호화 난이도가 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부기 1에 기재된 부호화 장치.
(부기 6) 상기 부호화 상황 감시 수단은, 상기 부호화 난이도로서, 상기 화상의 하나 전의 화상으로부터 상기 화상의 화질의 변동을 나타내는 값을 감시하고,
상기 리프레시 영역 제어 수단은, 상기 값이 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 값이 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부기 5에 기재된 부호화 장치.
(부기 7) 상기 부호화 상황 감시 수단은, 상기 부호화 난이도로서, 상기 화 상의 하나 전의 화상과 상기 화상의 움직임의 변동을 나타내는 값을 감시하고,
상기 리프레시 영역 제어 수단은, 상기 값이 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 값이 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부기 5에 기재된 부호화 장치.
(부기 8) 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 컴퓨터에 실행시키는 부호화 프로그램으로서,
상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수순과,
상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어하는 리프레시 영역 제어 수순
을 컴퓨터에 실행시키는 것을 특징으로 하는 부호화 프로그램.
(부기 9) 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하기에 적합한 부호화 방법으로서,
상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 공정과,
상기 부호화 상황 감시 공정에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및/또는 상기 인트라 리프레시 주기를 변동하도록 제어 하는 리프레시 영역 제어 공정
을 포함한 것을 특징으로 하는 부호화 방법.
이상과 같이, 본 발명에 따른 부호화 장치, 부호화 프로그램 및 부호화 방법은, 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 화상의 일부에 인트라 리프레시 영역을 삽입하여 화상을 부호화하는 데에 유용하며, 특히, 부호화 효율이 좋아, 화상 열화를 방지하기에 바람직하다.
도 1은 실시예 1에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면.
도 2는 실시예 1에 따른 부호화 장치의 구성을 도시하는 블록도.
도 3은 실시예 1에 따른 부호화 장치에서의 부호화 처리의 흐름을 설명하는 플로우차트.
도 4는 실시예 2에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면.
도 5는 인트라 리프레시 영역을 산출하는 예를 도시하는 도면.
도 6은 인트라 리프레시 영역의 확장예를 도시하는 도면.
도 7은 실시예 3에 따른 부호화 장치의 개요와 특징을 설명하기 위한 도면.
도 8은 실시예 3에 따른 부호화 장치의 구성을 도시하는 블록도.
도 9는 실시예 3에 따른 부호화 장치에서의 부호화 처리의 흐름을 설명하는 플로우차트.
도 10은 인트라 리프레시 영역을 확장하고, 인트라 리프레시 주기를 단축한 경우의 예를 도시하는 도면.
도 11은 부호화 프로그램을 실행하는 컴퓨터 시스템의 예를 도시하는 도면.
도 12는 종래 기술을 설명하기 위한 도면.
도 13은 종래 기술을 설명하기 위한 도면.
도 14는 종래 기술을 설명하기 위한 도면.
도 15는 종래 기술을 설명하기 위한 도면.
도 16은 종래 기술을 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
20 : 부호화 장치
21 : 파라미터 설정부
22 : 화상 입력부
23 : 기억부
24 : 제어부
25 : 부호화 상황 감시부
26 : 리프레시 영역 제어부
27 : 부호화부
80 : 부호화 장치
81 : 파라미터 설정부
82 : 화상 입력부
83 : 기억부
84 : 제어부
85 : 부호화 상황 감시부
86 : 리프레시 영역 제어부
87 : 부호화부
100 : 컴퓨터 시스템
101 : RAM
102 : HDD
103 : ROM
103a : 부호화 감시 프로그램
103b : 리프레시 영역 제어 프로그램
104 : CPU
104a : 부호화 감시 프로세스
104b : 리프레시 영역 제어 프로세스

Claims (6)

  1. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 특징으로 하는 부호화 장치로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수단과,
    상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 수단
    을 구비하며,
    상기 부호화 상황 감시 수단은, 감시하는 상기 부호화 상황에서, 상기 화상이 대체 화상인지의 여부를 감시하고,
    상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 인트라 리프레시 주기에 따르면서, 상기 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부호화 장치.
  2. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 특징으로 하는 부호화 장치로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수단과,
    상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 수단
    을 구비하며,
    상기 부호화 상황 감시 수단은, 상기 부호화 상황으로부터 상기 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고,
    상기 리프레시 영역 제어 수단은, 상기 부호화 상황 감시 수단에 의해 감시되는 상기 부호화 난이도가 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 부호화 난이도가 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부호화 장치.
  3. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 컴퓨터에 실행시키는 것을 특징으로 하는 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수순과,
    상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 수순
    을 컴퓨터에 실행시키며,
    상기 부호화 상황 감시 수순에서는, 감시하는 상기 부호화 상황에서, 상기 화상이 대체 화상인지의 여부를 감시하고,
    상기 리프레시 영역 제어 수순에서는, 상기 부호화 상황 감시 수순에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 인트라 리프레시 주기에 따르면서, 상기 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
  4. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하기에 적합한 부호화 방법으로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 공정과,
    상기 부호화 상황 감시 공정에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 공정
    을 포함하며,
    상기 부호화 상황 감시 공정에서는, 감시하는 상기 부호화 상황에서, 상기 화상이 대체 화상인지의 여부를 감시하고,
    상기 리프레시 영역 제어 공정에서는, 상기 부호화 상황 감시 공정에 의해 상기 화상이 상기 대체 화상이라고 판정된 경우, 상기 인트라 리프레시 주기에 따르면서, 상기 대체 화상에 삽입되어야 하였던 인트라 리프레시 영역을, 상기 대체 화상에 이어지는 이후의 화상에 삽입함으로써, 상기 인트라 리프레시 영역을 변동하도록 제어하는 것을 특징으로 하는 부호화 방법.
  5. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하는 것을 컴퓨터에 실행시키는 것을 특징으로 하는 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 수순과,
    상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 수순
    을 컴퓨터에 실행시키며,
    상기 부호화 상황 감시 수순에서는, 상기 부호화 상황으로부터 상기 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고,
    상기 리프레시 영역 제어 수순에서는, 상기 부호화 상황 감시 수순에 의해 감시되는 상기 부호화 난이도가 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 부호화 난이도가 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
  6. 입력된 화상의 부호화 시에, 인트라 리프레시 주기에 기초하여 주기적으로 상기 화상의 일부에 인트라 리프레시 영역을 삽입하여 상기 화상을 부호화하기에 적합한 부호화 방법으로서,
    상기 부호화에 관한 부호화 상황을 감시하는 부호화 상황 감시 공정과,
    상기 부호화 상황 감시 공정에 의해 감시되는 상기 부호화 상황에 기초하여, 상기 인트라 리프레시 영역 및 상기 인트라 리프레시 주기 중 적어도 하나를 변동하도록 제어하는 리프레시 영역 제어 공정
    을 포함하며,
    상기 부호화 상황 감시 공정에서는, 상기 부호화 상황으로부터 상기 화상을 부호화하는 난이도를 나타내는 부호화 난이도를 감시하고,
    상기 리프레시 영역 제어 공정에서는, 상기 부호화 상황 감시 공정에 의해 감시되는 상기 부호화 난이도가 소정의 상한값 이상인 경우, 상기 인트라 리프레시 영역을 확대하여, 상기 인트라 리프레시 주기가 짧아지도록 제어하고, 상기 부호화 난이도가 소정의 하한값 이하인 경우, 상기 인트라 리프레시 영역을 축소하여, 상기 인트라 리프레시 주기가 길어지도록 제어하는 것을 특징으로 하는 부호화 방법.
KR20070095804A 2006-10-23 2007-09-20 부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법 KR100953247B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00287922 2006-10-23
JP2006287922A JP4851911B2 (ja) 2006-10-23 2006-10-23 符号化装置、符号化プログラムおよび符号化方法

Publications (2)

Publication Number Publication Date
KR20080036515A KR20080036515A (ko) 2008-04-28
KR100953247B1 true KR100953247B1 (ko) 2010-04-16

Family

ID=39391134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070095804A KR100953247B1 (ko) 2006-10-23 2007-09-20 부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법

Country Status (5)

Country Link
US (1) US7974479B2 (ko)
EP (1) EP1962512A3 (ko)
JP (1) JP4851911B2 (ko)
KR (1) KR100953247B1 (ko)
CN (1) CN101170699B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
JP5232114B2 (ja) * 2008-09-29 2013-07-10 パナソニック株式会社 画像符号化装置、及び画像符号化方法
JP2011233991A (ja) * 2010-04-26 2011-11-17 Hitachi Consumer Electronics Co Ltd 符号化装置および符号化方法
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
US20170013274A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Intra-refresh for video streaming
CN106470341B (zh) * 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
CN106488229B (zh) 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
JP2017069866A (ja) * 2015-10-01 2017-04-06 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10652572B2 (en) * 2016-04-29 2020-05-12 Ati Technologies Ulc Motion-adaptive intra-refresh for high-efficiency, low-delay video coding
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152024B1 (ko) * 1993-08-17 1998-12-15 김광호 로우 딜레이 코딩 방식의 부호화 및 복호화 장치
KR20040035012A (ko) * 2002-10-18 2004-04-29 엘지전자 주식회사 동영상 코덱 및 이를 이용한 동영상 코덱의 에러방지방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328330A (ja) 1992-05-15 1993-12-10 Toshiba Corp フレーム間符号化装置
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
JPH06217273A (ja) * 1993-01-13 1994-08-05 Fujitsu Ltd 画像データ符号化方法および装置
JPH06217282A (ja) * 1993-01-19 1994-08-05 Nec Corp 画像符号化装置
US6188729B1 (en) 1993-04-01 2001-02-13 Scientific-Atlanta, Inc. Method and apparatus for effecting seamless data rate changes in a video compression system
JPH07298272A (ja) * 1994-04-28 1995-11-10 Canon Inc 映像符号化装置
US6002802A (en) 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
JP3677101B2 (ja) * 1995-10-27 2005-07-27 株式会社東芝 動画像符号化装置
JP3207095B2 (ja) * 1995-12-13 2001-09-10 松下電器産業株式会社 動き補償フレーム間／フレーム内符号化装置
JP3157101B2 (ja) 1996-03-08 2001-04-16 沖電気工業株式会社 画像符号化方法及び画像符号化装置
JP3905969B2 (ja) 1998-01-30 2007-04-18 株式会社東芝 動画像符号化装置および動画像符号化方法
US6022802A (en) * 1999-03-18 2000-02-08 Taiwan Semiconductor Manufacturing Company Low dielectric constant intermetal dielectric (IMD) by formation of air gap between metal lines
JP2001359102A (ja) 2000-06-12 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化方法及び画像符号化装置
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
JP2004531925A (ja) * 2001-03-05 2004-10-14 インタービデオインコーポレイテッド 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法
JP3852838B2 (ja) * 2001-06-25 2006-12-06 松下電器産業株式会社 動画像送受信システム、動画像送信装置、及び動画像受信装置
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
JP2004015501A (ja) * 2002-06-07 2004-01-15 Nec Corp 動画像符号化装置および動画像符号化方法
US20060251177A1 (en) * 2005-05-09 2006-11-09 Webb Jennifer L H Error concealment and scene change detection
US20070030894A1 (en) * 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
KR20080089633A (ko) * 2006-01-09 2008-10-07 노키아 코포레이션 스케일러블 비디오 부호화에서 에러 회복 모드 결정
JP2009540636A (ja) * 2006-06-09 2009-11-19 トムソン ライセンシング ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法及び装置
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
KR101379537B1 (ko) * 2007-07-19 2014-03-28 삼성전자주식회사 무선망 채널 정보를 이용한 동영상 부호화 제어 방법
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152024B1 (ko) * 1993-08-17 1998-12-15 김광호 로우 딜레이 코딩 방식의 부호화 및 복호화 장치
KR20040035012A (ko) * 2002-10-18 2004-04-29 엘지전자 주식회사 동영상 코덱 및 이를 이용한 동영상 코덱의 에러방지방법

Also Published As

Publication number Publication date
CN101170699A (zh) 2008-04-30
CN101170699B (zh) 2011-03-23
JP2008109224A (ja) 2008-05-08
JP4851911B2 (ja) 2012-01-11
US7974479B2 (en) 2011-07-05
EP1962512A3 (en) 2015-03-04
US20080260266A1 (en) 2008-10-23
EP1962512A2 (en) 2008-08-27
KR20080036515A (ko) 2008-04-28

Similar Documents

Publication Publication Date Title
KR100953247B1 (ko) 부호화 장치, 부호화 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체, 및 부호화 방법
US6333948B1 (en) Video coding apparatus, video coding method and storage medium containing video coding program
JP4794386B2 (ja) 撮像装置
JP2007124564A (ja) 画像符号化装置、方法、及びプログラム
TW200826688A (en) Reproduction device, reproduction method, and program
JP2006148409A (ja) フレームレート変換方法
JP2005184419A (ja) 映像信号符号化装置および映像信号記録装置
JP2008035281A (ja) 画像符号化方法
JP5879555B2 (ja) 動画像符号化装置
JP5694674B2 (ja) 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP5759269B2 (ja) 映像符号化装置
JP2009218965A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2003032686A (ja) 復号装置、復号方法およびその方法をコンピュータに実行させるプログラム
JP2008258952A (ja) 符号化装置、符号化プログラムおよび符号化方法
JP2008109259A (ja) 動画像符号化装置及び動画像符号化プログラム
US20090003433A1 (en) Transcoder and transcoding method
KR101553926B1 (ko) 영상 스티칭을 위한 트랜스코딩에서의 비트율 조절 장치 및 그 방법
TW201338554A (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP3942611B2 (ja) 復号化装置及び伝送システム
JP2005151485A (ja) 映像信号符号化装置および映像信号記録装置
JP2009124547A (ja) 画像処理装置および画像録画再生装置
WO2013073422A1 (ja) 動画像符号化装置
JP2002077810A (ja) 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体
JP3942610B2 (ja) 復号化装置及び伝送システム
JP2005192013A (ja) 圧縮動画データデコード装置および圧縮動画データデコードプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130321

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140319

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee