KR100824161B1 - 화상 처리 장치 - Google Patents

화상 처리 장치 Download PDF

Info

Publication number
KR100824161B1
KR100824161B1 KR20060082101A KR20060082101A KR100824161B1 KR 100824161 B1 KR100824161 B1 KR 100824161B1 KR 20060082101 A KR20060082101 A KR 20060082101A KR 20060082101 A KR20060082101 A KR 20060082101A KR 100824161 B1 KR100824161 B1 KR 100824161B1
Authority
KR
South Korea
Prior art keywords
frame
child
image
frames
encoding
Prior art date
Application number
KR20060082101A
Other languages
English (en)
Other versions
KR20070035958A (ko
Inventor
마사또시 곤도
유이찌 오나미
Original Assignee
가부시키가이샤 히다치 고쿠사이 덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 고쿠사이 덴키 filed Critical 가부시키가이샤 히다치 고쿠사이 덴키
Publication of KR20070035958A publication Critical patent/KR20070035958A/ko
Application granted granted Critical
Publication of KR100824161B1 publication Critical patent/KR100824161B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상을 부호화 또는 복호화하는 화상 처리 장치로서, 예를 들면 고해상도의 동화상을 처리하도록 하는 경우에도, 예측용 프레임을 기억하기 위한 메모리에 필요하게 되는 용량을 작게 하는 화상 처리 장치. 화상을 부호화하는 화상 부호화 장치 또는 화상을 복호화하는 화상 복호화 장치라는 화상 처리 장치에서, 처리 수단이, 처리 대상으로 되는 화상의 프레임을 친 프레임으로 하고, 해당 친 프레임을 복수로 분할하여 생성되는 프레임을 자 프레임으로 하고, 각각의 자 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 혹은 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 화상을 부호화 또는 복호화한다.
화상 처리 장치, 부호화, 복호화, 동화상, 프레임 메모리

Description

화상 처리 장치{IMAGE PROCESSING APPARATUS}
도 1은 본 발명의 제1 실시예에 따른 화상 전송 시스템의 구성예를 도시한 도면.
도 2는 프레임 분할 방식의 일례를 도시한 도면.
도 3a는 프레임 부호화 시퀀스의 예를 도시한 도면.
도 3b는 프레임 부호화 시퀀스의 다른 예를 도시한 도면.
도 4는 프레임 부호화 시퀀스의 예를 도시한 도면.
도 5는 프레임 부호화 시퀀스의 예를 도시한 도면.
도 6은 부호화 스트림의 내부 구성의 일례를 도시한 도면.
도 7은 부호화 처리의 제어 방식의 일례를 도시한 도면.
도 8은 복호화 처리의 제어 방식의 일례를 도시한 도면.
도 9는 프레임 결합 방식의 일례를 도시한 도면.
도 10은 본 발명의 제2 실시예에 따른 자 프레임의 평균 화상의 작성의 일례를 도시한 도면.
도 11은 프레임 부호화 시퀀스의 일례를 도시한 도면.
도 12는 본 발명의 제3 실시예에 따른 프레임 분할 방식의 일례를 도시한 도면.
도 13은 프레임 부호화 시퀀스의 일례를 도시한 도면.
도 14는 종래 기술의 화상 전송 시스템의 일례를 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
11 : 화상 입력부
12 : A/D 변환기
13 : 프레임 메모리
14 : 프레임 분할부
15 : 부호화 처리부
16, 36 : 부호화 처리 제어부
17 : 복호화 처리부
18, 34 : 예측용 프레임 메모리
19, 32 : 스트림 버퍼
20, 31 : 통신 제어부
37 : 프레임 결합부
38 : D/A 변환기
39 : 영상 출력부
[특허 문헌 1] 일본 특개평8-242446호 공보
본 발명은, 프레임 사이의 상관에 기초하여 부호화를 행하는 예측 부호화 방식을 사용하여 화상을 처리하는 화상 부호화 장치 혹은 화상 복호화 장치라는 화상 처리 장치 등에 관한 것으로서, 특히, 예를 들면 고해상도의 동화상을 처리하도록 하는 경우에도, 예측용 프레임을 기억하기 위한 메모리에 필요하게 되는 용량을 작게 한 화상 처리 장치 등에 관한 것이다.
예를 들면, 화상 부호화 장치에 의해 화상을 압축 부호화하여 송신하고, 화상 복호화 장치에 의해 수신한 압축 부호화 화상을 복호화하는 화상 전송 시스템이 실시되고 있다.
일반적으로, 연속한 프레임으로 구성되는 동화상의 데이터 압축에서는, 전후하는 프레임의 상관을 이용하여 데이터의 압축을 행함으로써 압축 효율을 높이고 있다. 이와 같이 전후하는 프레임의 상관을 이용한 예측 부호화 방식으로서는, MPEG(Moving Picture Experts Group)-2나 MPEG-4 등이 잘 알려져 있다.
도 14에는, 종래 기술의 화상 전송 시스템의 일례를 도시하고 있다.
본 예의 화상 전송 시스템은, 동화상을 구성하는 전후하는 프레임의 상관을 이용하여 데이터의 압축을 행하는 화상 부호화 장치(381)와, 부호화된 스트림을 재생 가능한 화상 데이터로 복호화하는 화상 복호화 장치(382)를 네트워크(383)를 통해 접속하여 구성되어 있다.
화상 부호화 장치(381)에서는, 우선, 카메라 등의 영상 입력부(391)로부터 출력된 영상 신호를 A/D 변환기(382)에 의해 디지털화한다. A/D 변환기(392)로부 터 출력된 디지털 화상 데이터를 프레임 메모리(393)에 저장한다. 프레임 메모리(393)에서는, 예를 들면, MPEG-4나 AVC(Advanced Video Coding)에서는 매크로 블록이라고 불리는 16×16의 정방 블록으로 프레임을 분할하고, 이것을 매크로 블록 단위로 부호화 처리부(394)에 출력한다.
부호화 처리부(394)는, 예측용 프레임 메모리(396)에 예측용 프레임이 저장되어 있는 경우에는 전후의 프레임과의 상관을 이용한 부호화 처리를 행하고, 저장되어 있지 않은 경우에는 프레임 내의 인접 화소와의 상관을 이용한 부호화 처리를 행한다. 또한, 예측용 프레임이 저장되어 있더라도, 프레임 내 상관 부호화는 행할 수 있다.
이에 따라, 부호화 대상으로 되는 데이터를 입력한 부호화 처리부(394)는, 소정의 부호화 처리를 행하고, 부호화 스트림을 스트림 버퍼(397)에 출력한다. 또한, 부호화 처리부(394)는, 부호화 스트림을 복호화 처리부(395)에 출력한다. 부호화 스트림을 입력한 복호화 처리부(395)는, 부호화된 데이터를 복호화하고, 복호화된 화상 데이터를 예측용 프레임 메모리(396)에 저장한다.
부호화 스트림을 입력한 스트림 버퍼(397)는, 부호화 스트림을 통신 제어부(398)에 출력한다. 통신 제어부(398)는, TCP/IP 등의 소정의 통신 수순에 따라서, 네트워크(383)를 통해, 화상 복호화 장치(382)에 부호화 스트림을 송신한다.
화상 복호화 장치(382)에서는, 통신 제어부(401)가, 화상 부호화 장치(381)로부터 부호화 스트림을 송신하고, 수신한 부호화 스트림을 스트림 버퍼(402)에 출력한다. 스트림 버퍼(402)는, 부호화 스트림을 복호화 처리부(403)에 출력한다. 복호화 처리부(403)는, 입력한 부호화 스트림을 복호화하고, 복호화된 화상 데이터를 프레임 메모리(405)에 저장한다. 또한, 복호화 처리부(403)는, 복호화 데이터를 예측 프레임 메모리(404)에 저장한다. 여기에서, 복호화 처리부(403)는, 복호화하려는 프레임이 예측을 이용하여 부호화되어 있는 경우에는, 예측용 프레임 메모리(404)에 저장되어 있는 예측용 프레임 데이터를 이용하여 복호화를 행한다.
복호화된 화상 데이터를 입력한 프레임 메모리(405)로부터 출력된 화상 데이터를 D/A 변환기(406)에 의해 아날로그 신호로 변환한다. 이 아날로그 신호는 모니터 등의 영상 출력부(407)에 의해 재생된다.
이러한 종래예로서, 특허 문헌 1이 있다.
도 14에 도시된 바와 같은 예측 부호화 방식을 사용한 화상 부호화 장치(381)나 화상 복호화 장치(382)에서는, 예측용 프레임 메모리(396, 404)를 필요로 하고, 이것에 필요하게 되는 메모리 사이즈는 부호화 대상으로 하는 동화상의 화소 수와 예측용으로 축적하는 프레임 수에 의존한다.
그러나, 최근에는, 촬상 소자의 고성능화에 수반하여, HDTV(High Definition TeleVision) 등과 같이 100만 화소를 초과하는 매우 높은 화상도를 갖는 동화상이 증가하고 있다. 이에 수반하여, 화상 부호화 장치(381)에 의해 부호화 대상으로 하는 동화상에 대해서도, 고해상도화가 진행하고 있어, 예측용 프레임 메모리(396, 404)에 필요한 메모리량이 증대한다고 하는 문제가 있었다.
본 발명은, 이와 같은 종래의 사정을 감안하여 이루어진 것으로서, 예를 들 면 고해상도의 동화상을 처리하도록 하는 경우에도, 프레임 사이의 상관에 기초하여 부호화를 행하는 예측 부호화 방식을 사용하여 화상을 처리할 때에, 예측용 프레임을 기억하기 위한 메모리에 필요하게 되는 용량을 작게 할 수 있는 화상 부호화 장치 혹은 화상 복호화 장치라는 화상 처리 장치 등을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 화상 처리 장치에서는, 다음과 같은 구성에 의해, 화상을 부호화 또는 복호화한다.
즉, 처리 수단이, 처리 대상으로 되는 화상의 프레임을 친 프레임으로 하고, 해당 친 프레임을 복수로 분할하여 생성되는 프레임을 자 프레임으로 하고, 각각의 자 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 혹은 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 화상을 부호화 또는 복호화한다.
따라서, 자 프레임을 단위로 하여 화상의 부호화 또는 복호화가 행해지기 때문에, 자 프레임 사이의 상관을 이용하는 방식에 있어서, 참조 프레임으로서 기억하는 것이 필요한 데이터량을 자 프레임에 상당하는 작은 데이터량으로 할 수 있다. 이에 의해, 예를 들면 고해상도의 동화상을 처리하도록 하는 경우에도, 프레임 사이의 상관에 기초하여 부호화를 행하는 예측 부호화 방식을 사용하여 화상을 처리할 때에, 예측용 프레임을 기억하기 위한 메모리에 필요하게 되는 용량을 작게 할 수 있다.
여기에서, 화상 처리 장치로서는, 예를 들면, 화상을 부호화하는 화상 부호 화 장치나, 화상을 복호화하는 화상 복호화 장치나, 이들 양쪽의 기능을 구비한 장치 등으로서 구성하는 것이 가능하다.
또한, 처리 대상으로 되는 화상으로서는, 예를 들면, 연속한 복수의 프레임으로 구성되는 동화상이 이용되는데, 정지 화상이 이용되어도 된다.
또한, 1개의 친 프레임이 분할되어 생성되는 복수의 자 프레임의 수로서는, 다양한 수가 이용되어도 된다.
또한, 친 프레임을 복수의 자 프레임으로 분할하는 양태로서는, 여러 가지 양태가 이용되어도 되고, 예를 들면, 친 프레임 내에서 인접하는 화소 위치의 화소를 상이한 자 프레임에 포함시키도록, 해당 친 프레임을 구성하는 화소를 복수의 자 프레임에 분배하여, 생성되는 복수의 자 프레임 사이의 상관이 높아지도록 하는 것이 바람직하다.
또한, 자 프레임을 부호화하는 양태로서는, 예를 들면, 소정의 일부의 자 프레임에 대해서는 해당 자 프레임 내의 상관을 이용하는 방식에 의해 부호화하고, 다른 자 프레임에 대해서는 어느 별도의 소정의 자 프레임을 참조 프레임으로 하여 해당 별도의 소정의 자 프레임과의 사이의 상관을 이용하는 방식에 의해 부호화한다.
또한, 자 프레임 내의 상관으로서는, 예를 들면, 동일한 자 프레임 내에서 인접하는 화소 위치의 화소값의 상관 등이 이용된다.
또한, 자 프레임 사이의 상관으로서는, 예를 들면, 상이한 자 프레임 사이에서 대응하는 화소 위치의 화소값의 상관 등이 이용된다.
또한, 자 프레임을 복호화하는 방식으로서는, 해당 자 프레임이 부호화된 방식에 대응한 방식이 이용된다.
본 발명에 따른 화상 처리 장치에서는, 일 구성예로서, 다음과 같은 구성으로 하였다.
즉, 상기 처리 수단은, 연속한 복수의 친 프레임을 처리하는 경우에, 자 프레임 사이의 상관을 이용하는 방식으로서, 소정의 친 프레임에 속하는 복수의 자 프레임 중에서 1번째로 처리되는 자 프레임을 참조 프레임으로 하는 방식을 사용한다.
따라서, 예를 들면 도 3에 도시된 패턴 A나 도 4에 도시된 패턴 C와 같이, 친 프레임에 속하는 1번째로 처리되는 자 프레임이 참조 프레임으로 됨으로써, 참조 프레임에 이상이 발생하여 다른 자 프레임의 부호화나 복호화가 불가능하게 되는 것을 억제할 수 있다.
여기에서, 임의의 자 프레임의 참조 프레임으로서는, 예를 들면, 해당 임의의 자 프레임이 속하는 친 프레임에 속하는 다른 자 프레임이 이용되어도 되고, 혹은 다른 친 프레임에 속하는 자 프레임이 이용되어도 된다.
혹은, 상기 처리 수단은, 연속한 복수의 친 프레임을 처리하는 경우에, 자 프레임 사이의 상관을 이용하는 방식으로서, 각 친 프레임마다 독립적으로 자 프레임 사이의 상관을 이용하는 방식을 사용한다.
따라서, 예를 들면 도 3에 도시된 패턴 B와 같이, 각 친 프레임마다, 독립하여, 자 프레임 사이의 상관이 이용됨으로써, 임의의 친 프레임에 속하는 참조 프레 임에 이상이 발생하여도, 다른 친 프레임에 속하는 자 프레임의 부호화나 복호화가 불가능하게 되는 것을 방지할 수 있다.
본 발명에 따른 화상 처리 장치에서는, 일 구성예로서, 다음과 같은 구성으로 하였다.
즉, 상기 처리 수단은, 처리 대상으로 되는 화상의 친 프레임에 속하는 복수의 자 프레임에 대하여 평균 화상의 프레임을 생성하고, 해당 평균 화상의 프레임을 자 프레임으로 간주하여, 해당 평균 화상의 프레임에 대해서는 자 프레임 내의 상관을 이용하는 방식을 사용함과 함께, 다른 자 프레임에 대해서는 해당 평균 화상의 프레임 또는 1개 전의 프레임을 참조 프레임으로 하여 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 부호화 또는 복호화한다.
따라서, 임의의 친 프레임으로 생성된 복수의 자 프레임에 대하여, 이들 복수의 자 프레임의 평균 화상의 프레임 또는 1개 전의 프레임을 참조 프레임으로 하여, 그 이외의 자 프레임이 부호화 또는 복호화되기 때문에, 참조 프레임과 자 프레임의 상관성을 높여서, 프레임 사이 상관에서의 부호화 효율을 높일 수 있다. 또한, 평균 화상의 프레임에서는 프레임 내의 상관이 높아지기 때문에, 프레임 내 상관에서의 부호화 효율을 높일 수 있다.
여기에서, 임의의 친 프레임으로 생성된 복수의 자 프레임에 대하여, 평균 화상의 프레임을 이용하는 경우에는, 예를 들면, 이들 복수의 자 프레임 중 1개의 자 프레임에 대해서는 부호화나 복호화를 하지 않아도, 다른 자 프레임(평균 화상의 프레임을 포함함)으로부터 복원할 수 있다.
또한, 복수의 자 프레임의 평균 화상의 프레임으로서는, 다양한 평균화가 행해져도 되고, 예를 들면, 종횡(높이와 폭)의 화소 배치가 동일한 복수의 자 프레임에 대하여 각 화소 위치의 화소의 화소값의 평균값으로 구성되는 프레임을 이용할 수 있다.
본 발명에 따른 화상 처리 장치에서는, 일 구성예로서, 다음과 같은 구성으로 하였다.
즉, 상기 처리 수단은, 화상을 부호화하는 경우에, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중 1개 이상의 프레임을 더 분할하는 것을 1회 이상 반복해서 행하고, 자 프레임보다 작은 사이즈의 프레임을 생성하여 부호화한다.
따라서, 친 프레임 및 자 프레임 외에, 더욱 작은 사이즈의 프레임을 생성할 수 있다.
또는, 상기 처리 수단은, 화상을 복호화하는 경우에, 소정의 사이즈 이하의 프레임만을 복호화한다.
따라서, 친 프레임, 자 프레임, 및 더욱 작은 사이즈의 프레임이 존재하는 경우에, 필요한 사이즈의 프레임만을 복호화함으로써, 복화화 처리의 효율화를 도모할 수 있다. 일례로서, 화상 부호화 장치에 의해 다양한 사이즈의 프레임을 생성하여 부호화하고, 복수의 화상 복호화 장치의 각각이 자 장치에 적합한 사이즈의 프레임까지 복호화하고, 그보다 큰 사이즈의 프레임에 대해서는 복호화하지 않음으로써, 처리의 효율화를 도모할 수 있다.
여기에서, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중에서 적어도 1개의 프레임을 더 분할하면, 보다 작은 사이즈의 프레임을 생성할 수 있다.
또한, 프레임의 분할을 반복해서 행하는 횟수로서는, 다양한 횟수가 이용되어도 된다.
본 발명에 따른 화상 처리 시스템에서는, 다음과 같은 구성에 의해, 화상 부호화 장치에 의해 화상을 부호화하고, 해당 부호화된 화상을 화상 복호화 장치에 의해 복호화한다.
즉, 상기 화상 부호화 장치에서는, 부호화 입력 수단이, 처리 대상으로 되는 화상을 입력한다. 분할 수단이, 상기 부호화 입력 수단에 의해 입력된 화상의 프레임을 친 프레임으로 하고, 해당 친 프레임을 복수로 분할한 프레임을 자 프레임으로 하여 생성한다. 부호화 수단이, 상기 분할 수단에 의해 생성된 자 프레임을, 각각의 친 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 혹은 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 부호화한다. 부호화 기억 수단이, 자 프레임 사이의 상관을 이용하는 경우에서의 참조 프레임을 기억한다. 부호화 출력 수단이, 상기 부호화 수단에 의해 부호화된 화상을 출력한다.
또한, 상기 화상 복호화 장치에서는, 복호화 입력 수단이, 부호화된 화상을 입력한다. 복호화 수단이, 상기 복호화 입력 수단에 의해 입력된 부호화된 화상에 기초하여, 부호화에 사용된 방식에 대응한 방식에 의해, 자 프레임을 복호화한다. 복호화 기억 수단이, 자 프레임 사이의 상관을 이용하는 경우에서의 참조 프레임을 기억한다. 결합 수단이, 상기 복호화 수단에 의해 복호화된 자 프레임을 결합하여 친 프레임을 생성한다. 복호화 출력 수단이, 상기 결합 수단에 의해 생성된 친 프 레임의 화상을 출력한다.
따라서, 자 프레임 사이의 상관을 이용하여 자 프레임을 부호화 또는 복호화하는 경우에 해당 상관의 상대로서 참조되는 프레임인 참조 프레임으로서, 친 프레임이 이용되는 경우와 비교하여, 자 프레임을 이용함으로써, 참조 프레임의 사이즈를 작게 할 수 있어, 화상 부호화 장치나 화상 복호화 장치에서, 참조 프레임을 기억하기 위해서 필요하게 되는 기억 용량을 작게 할 수 있다.
여기에서, 부호화 기억 수단이나 복호화 기억 수단으로서는, 각각, 예를 들면, 메모리를 이용하여 구성할 수 있다.
또한, 화상을 입력하는 수단으로서는, 예를 들면, 화상을 촬상 입력하여 그 화상의 데이터를 취득하는 수단이나, 혹은, 다른 장치로부터 출력되는 화상의 데이터를 입력하는 수단 등을 이용할 수 있다.
또한, 화상을 출력하는 수단으로서는, 예를 들면, 화상을 표시 출력하는 수단이나, 혹은, 다른 장치에 화상의 데이터를 출력하는 수단 등을 이용할 수 있다.
또한, 화상 부호화 장치와 화상 복호화 장치의 사이에서는, 예를 들면, 부호화된 화상의 전송이 행해져도 되고, 혹은, 부호화된 화상이 기록 매체에 기록된 형태로 교환되어도 된다.
또, 본 발명은, 방법이나, 프로그램이나, 기록 매체 등으로서 제공하는 것도 가능하다.
본 발명에 따른 방법에서는, 장치에서 각 수단이 각종 처리를 실행한다.
본 발명에 따른 프로그램에서는, 장치를 구성하는 컴퓨터에 실행시키는 것으 로서, 각종 기능을 해당 컴퓨터에 의해 실현한다.
본 발명에 따른 기록 매체에서는, 장치를 구성하는 컴퓨터에 실행시키는 프로그램을 해당 컴퓨터의 입력 수단에 의해 판독 가능하게 기록한 것으로서, 해당 프로그램은 각종 처리를 해당 컴퓨터에 실행시킨다.
이상 설명한 바와 같이, 본 발명에 따른 화상 처리 장치 등에 따르면, 처리 대상으로 되는 화상의 프레임을 친 프레임으로 하고, 해당 친 프레임을 복수로 분할하여 생성되는 프레임을 자 프레임으로 하고, 각각의 자 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 혹은 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 화상을 부호화 또는 복호화하도록 하였기 때문에, 자 프레임 사이의 상관을 이용하는 방식에서, 참조 프레임으로서 기억하는 것이 필요한 데이터량을 작은 데이터량으로 할 수 있다.
본 발명에 따른 실시예를 도면을 참조하여 설명한다.
본 명세서에서는, 프레임 사이의 상관을 이용한 부호화를 예측 부호화라고 부르고 있다. 예측 부호화 방식에서는, 특히, 연속한 프레임을 갖는 동화상 등에서, 부호화 대상으로 되는 프레임과 그 전후의 프레임의 높은 상관성을 이용하여, 전후의 프레임으로부터 해당하는 프레임의 화소 정보를 예측한다. 이와 같은 부호화에 의해, 화상 정보의 압축을 행할 수 있다.
또한, 프레임 사이의 상관을 이용하여 부호화를 행한 프레임을 P(Prediction) 프레임이라고 부르고, 프레임 내의 화소 상관만을 이용하여 부호화를 행한 프레임을 I(Intra) 프레임이라고 부른다. 이들 I 프레임, P 프레임이라는 개념은, 예를 들면 본 실시예에서는 부호화 대상으로 하는 단위가 분할된 자 프레임 등의 단위라고 하는 점을 제외하고는, MPEG-2나 MPEG-4 등의 규격에서 일반적으로 사용되고 있는 I, P라는 개념과 마찬가지이다.
또한, 본 실시예에서는, 분할원으로 되는 원래의 프레임을 친 프레임이라고 부르고, 친 프레임이 분할된 프레임을 각각 자 프레임이라고 부른다. 또한, 자 프레임을 분할한 것을 각각 손자 프레임이라고 부르고, 이후도 마찬가지이다.
(제1 실시예)
본 발명의 제1 실시예를 설명한다.
도 1에는, 본 발명의 일 실시예에 따른 화상 전송 시스템의 일례를 도시하고 있다.
본 예의 화상 전송 시스템은, 영상 입력부(11)와 접속된 화상 부호화 장치(1)와, 영상 출력부(39)와 접속된 화상 복호화 장치(2)를 네트워크(3)를 통해 접속하여 구성되어 있다.
본 예의 화상 부호화 장치(1)는, A/D(Analog to Digital) 변환기(12)와, 프레임 메모리(13)와, 프레임 분할부(14)와, 부호화 처리부(15)와, 부호화 처리 제어부(16)와, 복호화 처리부(17)와, 예측용 프레임 메모리(18)와, 스트림 버퍼(19)와, 통신 제어부(20)를 구비하고 있다.
본 예의 화상 복호화 장치(2)는, 통신 제어부(31)와, 스트림 버퍼(32)와, 복호화 처리부(33)와, 예측용 프레임 메모리(34)와, 프레임 메모리(35)와, 복호화 처리 제어부(36)와, 프레임 결합부(37)와, D/A(Digital to Analog) 변환기(38)를 구 비하고 있다.
본 예의 화상 부호화 장치(1)에 의해 행해지는 동작의 개요를 기술한다.
카메라 등의 영상 입력부(11)에 의해 영상이 촬상되거나 하여 영상 신호(화상 신호)가 취득된다. 화상 부호화 장치(1)에서는, 영상 입력부(11)로부터 출력된 영상 신호를 입력하여 A/D 변환기(12)에 의해 디지털화하고, A/D 변환기(12)로부터 출력된 디지털 화상 데이터를 프레임 메모리(13)에 저장한다. 디지털 화상 데이터를 입력한 프레임 메모리(13)는, 프레임 분할부(14)에 디지털 화상 데이터를 출력한다. 디지털 화상 데이터를 입력한 프레임 분할부(14)는, 소정의 방식으로 친 프레임을 자 프레임으로 분할한다. 분할된 자 프레임의 데이터는, 다시 프레임 메모리(13)에 저장되고, 자 프레임마다 부호화 처리부(15)에 의해 부호화된다.
부호화 처리부(15)는, 예측용 프레임 메모리(18)에 예측용 프레임이 저장되어 있는 경우에는 예측 부호화 처리를 행하고, 저장되어 있지 않은 경우에는(부호화 처리의 개시 당초 등에서) 프레임 내의 인접 화소와의 상관을 이용한 부호화를 행한다. 부호화 처리를 행한 부호화 처리부(15)는, 부호화 스트림을 스트림 버퍼(19)에 출력하다. 또한, 부호화 처리부(15)는 부호화 스트림을 복호화 처리부(17)에 출력한다. 부호화 스트림을 입력한 복호화 처리부(17)는, 부호화된 데이터를 복호화하고, 복호화된 데이터를 예측용 프레임 메모리(18)에 저장한다.
부호화 처리 제어부(16)는, 부호화 처리부(15)에 의해 행해지는 부호화 처리의 상황에 따라, 주로, 부호화 처리의 중단 제어를 행한다.
부호화 스트림을 입력한 스트림 버퍼(19)는, 부호화 스트림을 통신 제어 부(20)에 출력한다. 통신 제어부(20)는, TCP/IP 등의 소정의 통신 수순에 따라서, 네트워크(3)를 통하여, 화상 복호화 장치(2)에 부호화 스트림을 송신한다.
본 예의 화상 복호화 장치(2)에 의해 행해지는 동작의 개요를 기술한다.
화상 복호화 장치(2)에서는, 통신 제어부(31)가, 네트워크(3)를 통해 화상 부호화 장치(1)로부터 부호화 스트림을 수신하고, 수신한 부호화 스트림을 스트림 버퍼(32)에 출력한다. 스트림 버퍼(32)는, 입력한 부호화 스트림을 복호화 처리부(33)에 출력한다. 복호화 처리부(33)는, 입력한 부호화 스트림을 복호화하고, 복호화된 화상 데이터를 프레임 메모리(35)에 저장한다. 또한, 복호화 처리부(33)는, 복호화 데이터를 예측용 프레임 메모리(34)에 저장한다. 여기에서, 복호화 처리부(33)는, 복호화하려는 프레임이 예측을 이용하여 부호화되어 있는 경우에는, 예측용 프레임 메모리(34)에 저장되어 있는 예측용 프레임 데이터를 이용하여 복호화를 행한다.
복호화 처리 제어부(36)는, 복호화 처리부(33)에 의해 행해지는 복호화 처리의 상황에 따라, 주로, 복호화 처리의 중단 제어를 행한다.
프레임 메모리(35)는, 해당 프레임의 자 프레임의 모두가 저장되면, 자 프레임의 화상 데이터를 프레임 결합부(37)에 출력한다. 자 프레임의 화상 데이터를 입력한 프레임 결합부(37)는, 소정의 방식으로 자 프레임을 결합하고, 결합된 화상 데이터를 D/A 변환기(38)에 출력한다. 이 화상 데이터는 D/A 변환기(38)로 아날로그화되고, 아날로그 신호로 변환된 영상 신호가 영상 출력부(39)에 출력된다.
이 영상 신호는, 모니터 등의 영상 출력부(39)에 의해 재생된다.
본 예의 부호화 처리나 복호화 처리에 대하여 상세하게 설명한다.
우선, 부호화 처리에 대하여 설명한다.
도 2에는, 프레임 분할부(14)에 의해 프레임을 분할하는 방식의 일례를 도시한다.
본 예에서는, 동화상을 구성하는 각 프레임(친 프레임)에 대하여, 1매의 친 프레임(41)을 4매의 자 프레임(61, 62, 63, 64)으로 분할한다.
도 2에서, 화소 위치(51)는, 친 프레임(41)의 (2n-1, 2m-1)의 화소 위치를 도시한다. 화소 위치(52)는, 친 프레임(41)의 (2n, 2m-1)의 화소 위치를 나타낸다. 화소 위치(53)는, 친 프레임(41)의 (2n-1, 2m)의 화소 위치를 나타낸다. 화소 위치(54)는, 친 프레임(41)의 (2n, 2m)의 화소 위치를 나타낸다.
여기에서, n, m은 각각 1 이상의 정수이고, 좌표는 (폭 방향의 화소 위치, 높이 방향의 화소 위치)를 나타낸다. 구체적으로는, 친 프레임(41)의 폭=W, 친 프레임(41)의 높이=H로 하여, n=1, 2, 3, …, W/2이고, m=1, 2, 3, …, H/2이다.
본 예의 프레임 분할 방식에서는, 도 2에 도시된 각 화소 위치(51∼54)마다 프레임을 분할하고, 4매의 자 프레임(61∼64)을 구성한다. 즉, 각 자 프레임(61∼64)은, 각 화소 위치(51∼54)에 해당하는 화소의 상하좌우의 위치 관계를 유지하면서 배열한 것으로 되어 있다.
여기에서, 예를 들면, 일반적으로 자연 화상에서는 인접 화소 사이에 강한 상관성이 있고, 해상도가 높아질수록 근방 화소와의 상관은 강해지는 경향이 있기 때문에, 본 예의 방식으로 프레임을 분할함으로써, 분할된 자 프레임(61∼64)끼리 는 근사성이 높아져서 강한 상관성을 갖는다. 본 예에서는, 이와 같은 자 프레임(61∼64)끼리의 강한 상관성을 이용하여, 자 프레임(61∼64) 사이에 예를 들면 종래의 예측 부호화 방식과 마찬가지의 부호화 처리를 행한다. 이 경우, 예측용 프레임 메모리(18, 34)로서는, 자 프레임분의 메모리 사이즈가 필요하게 된다.
따라서, 본 예에서는, 자 프레임마다 부호화 및 복호화를 행함으로써, 예측용 프레임 메모리(18, 34)에 필요한 메모리량을 자 프레임 1매분으로 삭감하는 것이 가능하다. 이와 같이, 예측용 프레임 메모리(18, 34)에 필요한 메모리량으로서, 예를 들면 종래에서는 친 프레임 1매분의 메모리 사이즈를 필요로 하였으나, 본 예에서는, 자 프레임 1매분, 즉 친 프레임에 대하여 (1/4)매분의 메모리 사이즈로 삭감할 수 있어, 예측용 프레임 메모리(18, 34)에 필요한 메모리량의 에너지 절약화를 실현할 수 있다.
도 3a, 도 3b, 도 4 및 도 5에는, 연속하는 2매 이상의 친 프레임을 부호화하는 경우에, 자 프레임을 부호화하는 시퀀스의 예를 도시하고 있다.
프레임 부호화 시퀀스로서, 도 3a, 도 3b에는 각각 패턴 A 및 패턴 B를 도시하고 있고, 도 4에는 패턴 C를 도시하고 있다. 본 예에서는, 이들 3개의 패턴 A, B, C 중 어느 하나를 고정적으로 혹은 가변으로 설정하여 사용한다.
또한, 도 5에는 패턴 D를 도시하고 있다. 또한, 본 예에서는, 패턴 D와 비교하여 패턴 A, B, C가 더 바람직하기 때문에 패턴 A, B, C를 사용하지만, 패턴 D를 사용하는 것도 가능하다.
도 3a에는, 패턴 A에 관하여, 1매의 친 프레임(71) 및 그로부터 생성된 4매 의 자 프레임(81∼84)과, 해당 친 프레임(71)의 다음에 이어지는 1매의 친 프레임(72) 및 그로부터 생성되는 4매의 자 프레임(85∼88)을 도시하고 있다. 또한, 화살표는 예측의 참조처(예측처)로 되는 프레임을 가리키고 있다.
본 예에서는, 2매의 친 프레임(71, 72)(또는, 3매 이상의 친 프레임)에서, 최초의 1매의 자 프레임(81)에 대해서는 프레임 내에서의 화소 상관을 이용하여 부호화되어 I 프레임(81)으로 되어 있고, 이어지는 7매(또는, 그 이상)의 자 프레임(82∼88)에 대해서는 자 프레임 사이의 상관을 이용하여 부호화되어 P 프레임으로 되어 있다.
또한, 친 프레임(72) 중 1번째의 자 프레임인 P 프레임의 예측처는 앞의 친 프레임(71)에 속하는 자 프레임 중에서 1번째로 부호화된 자 프레임으로 되어 있고, 친 프레임(72) 중에서 2번째 이후의 각각의 자 프레임인 P 프레임의 예측처는 해당 친 프레임(72)에 속하는 자 프레임 중에서 1번째로 부호화된 자 프레임으로 되어 있다. 즉, 친 프레임(71)에 포함되는 2, 3, 4번째의 자 프레임(82, 83, 84)과 친 프레임(72)에 포함되는 1번째의 자 프레임(85)은 친 프레임(71)에 포함되는 1번째의 자 프레임(81)과의 사이의 상관을 이용하여 부호화되고, 친 프레임(72)에 포함되는 2, 3, 4번째의 자 프레임(86, 87, 88)은 해당 친 프레임(72)에 포함되는 1번째의 자 프레임(85)과의 사이의 상관을 이용하여 부호화된다.
도 3b에는, 패턴 B에 관하여, 1매의 친 프레임(91) 및 그로부터 생성된 4매의 자 프레임(101∼104)과, 해당 친 프레임(91)의 다음에 이어지는 1매의 친 프레임(92) 및 그로부터 생성된 4매의 자 프레임(105∼108)을 나타내고 있다. 또한, 화살표는 예측의 참조처(예측처)로 되는 프레임을 가리키고 있다.
본 예에서는, 각 친 프레임(91, 92)에서, 최초의 1매의 자 프레임(101, 105)에 대해서는 프레임 내에서의 화소 상관을 이용하여 부호화되어 I 프레임으로 되어 있고, 이어지는 3매의 자 프레임(102∼104, 106∼108)에 대해서는 자 프레임 사이의 상관을 이용하여 부호화되어 P 프레임으로 되어 있다.
이와 같이, 각 친 프레임(91, 92)에 속하는 자 프레임 중에서 1번째로 부호화되는 자 프레임(101, 105)이 모두 I 프레임으로서 부호화된다.
또한, 각각의 P 프레임의 예측처로서는, 1프레임 전에 부호화한 자 프레임을 예측용 프레임으로서 이용한다. 구체적으로는, P 프레임인 자 프레임(102∼104)은, 각각, 1개 전에 부호화된 자 프레임(101∼103)과의 사이의 상관을 이용하여 부호화된다. 또한, P 프레임인 자 프레임(106∼108)은, 각각, 1개 전에 부호화된 자 프레임(105∼107)과의 사이의 상관을 이용하여 부호화된다.
또, 다른 패턴의 예로서, 각 친 프레임(91, 92)에서, 2번째 이후에 부호화되는 각각의 자 프레임(102∼104, 106∼108)은, 1번째로 부호화되는 자 프레임(101, 105)과의 사이의 상관을 이용하여 부호화되고, 해당 1번째로 부호화되는 자 프레임(101, 105)을 예측처로 하도록 하는 패턴을 이용할 수도 있다. 본 예에서는, 어느 패턴이 이용되어도 된다.
도 4에는, 패턴 C에 관하여, 1매의 친 프레임(111) 및 그로부터 생성된 4매의 자 프레임(121∼124)과, 해당 친 프레임(111)의 다음에 이어지는 1매의 친 프레임(112) 및 그로부터 생성된 4매의 자 프레임(125∼128)과, 해당 친 프레임(112)의 다음에 이어지는 1매의 친 프레임(113) 및 그로부터 생성된 4매의 자 프레임(129∼132)을 나타내고 있다. 또한, 화살표는 예측의 참조처(예측처)로 되는 프레임을 가리키고 있다.
본 예에서는, 3매의 친 프레임(111, 112, 113)(또는, 4매 이상의 친 프레임)에서, 최초의 1매의 자 프레임(121)에 대해서는 프레임 내에서의 화소 상관을 이용하여 부호화되어 I 프레임으로 되어 있고, 이어지는 11매(또는, 그 이상)의 자 프레임(122∼132)에 대해서는 자 프레임 사이의 상관을 이용하여 부호화되어 P 프레임으로 되어 있다.
또한, I 프레임을 갖는 친 프레임(111)에서는, 2번째 이후에 부호화된 각각의 자 프레임(122∼124)은, 1번째로 부호화된 자 프레임(121)과의 사이의 상관을 이용하여 부호화되고, 해당 1번째로 부호화된 자 프레임(121)을 예측처로 한다. 또한, I 프레임을 갖지 않는 각 친 프레임(112, 113)에 속하는 각각의 자 프레임(125∼128, 129∼132)의 예측처는, 1개 전의 친 프레임(111, 112)에 속하는 자 프레임 중에서 1번째로 부호화된 자 프레임(121, 125)으로 되어 있고, 구체적으로는, 자 프레임(125∼128)의 각각은 자 프레임(121)과의 사이의 상관을 이용하여 부호화되고, 자 프레임(129∼132)의 각각은 자 프레임(125)과의 사이의 상관을 이용하여 부호화된다.
도 5에는, 패턴 D에 관하여, 1매의 친 프레임(141) 및 그로부터 생성된 4매의 자 프레임(151∼154)과, 해당 친 프레임(141)의 다음에 이어지는 1매의 친 프레임(142) 및 그로부터 생성된 4매의 자 프레임(155∼158)을 도시하고 있다. 또한, 화살표는 예측의 참조처(예측처)로 되는 프레임을 가리키고 있다. 본 예에서는, 2매의 친 프레임(141, 142)(또는, 3매 이상의 친 프레임)에서, 최초로 부호화되는 1매의 자 프레임(151)에 대해서는 프레임 내에서의 화소 상관을 이용하여 부호화되어 I 프레임으로 되어 있고, 이어지는 7매(또는, 그 이상)의 자 프레임(152∼158)에 대해서는 자 프레임 사이의 상관을 이용하여 부호화되어 P 프레임으로 되어 있다.
또한, 각각의 P 프레임의 예측처로서는, 1프레임 전에 부호화한 자 프레임을 예측용 프레임으로서 이용한다. 구체적으로는, P 프레임인 자 프레임(152∼158)은, 각각, 1개 전에 부호화된 자 프레임(151∼157)과의 사이의 상관을 이용하여 부호화된다.
도 6에는, 부호화 스트림의 내부 구조인 데이터 신택스의 일례를 도시하고 있다.
본 예의 부호화 스트림은, 스트림 전체의 헤더 정보(Sequence Header)(161)에 이어서, 자 프레임마다의 헤더 정보(Picture Header)(162, 164, 166, 168)와 부호화된 화상 데이터(Video data)(163, 165, 167, 169)의 세트가 4매분 배치되어 구성된다. 마찬가지로, 다음의 헤더 정보(Sequence Header)(180)에는, 자 프레임의 헤더 정보(Picture Header)(181)와, 부호화된 화상 데이터(Video data)(182)가 이어진다.
스트림 전체의 헤더 정보(Sequence Header)(161)는 시퀀스 정보(Sequence Info)(174)와, 예측 패턴의 종류를 지정하는 정보(Sequence Type)(175)를 구비하 고, 이 예측 패턴의 종류를 지정하는 정보(175)에 따르면, 패턴 A, B, C, D이면 2bit로, 패턴 A, B 한정이라면 1bit로, 예측 패턴의 종류를 표현 가능하게 되어 있다.
자 프레임마다의 헤더 정보(162, 164, 166, 168)는, 각각, 소정의 헤더 정보부(Header Info)(171)와, 친 프레임의 일련 번호를 임의의 비트 수로 표현하는 프레임 번호의 정보(Frame_num)(172)와, 2비트로 표현되는 자 프레임 식별 정보의 자 프레임 번호의 정보(sub_frame_num)(173)로 구성되어 있다.
여기에서, 스트림 전체의 헤더 정보(161)는, 스트림 전체의 복호화에 필요한 파라미터 등의 정보를 포함한다.
자 프레임마다의 헤더 정보(162, 164, 166, 168, 181)는, 해당하는 자 프레임의 복호화에 필요한 파라미터 등의 정보를 포함한다.
자 프레임마다의 부호화 화상 데이터(163, 165, 167, 169, 182)는, 해당하는 자 프레임의 화상 데이터가 부호화된 데이터이다.
본 예에서는, 스트림 전체의 헤더 정보(161)에는, 예를 들면 종래의 부호화 방식에서 이용되고 있는 헤더 정보와 마찬가지의 정보(Sequence Info)(174)에 추가하여, 프레임 부호화 시퀀스의 패턴을 나타내는 헤더 정보(Sequence Type)(175)가 부가된다.
여기에서, 프레임 부호화 시퀀스의 패턴을 나타내는 헤더 정보(Sequence Type)(175)로서는, 예를 들면, 프레임 부호화 시퀀스에 패턴 A를 이용한 경우에는 00을 지정하고, 패턴 B를 이용한 경우에는 01을 지정하고, 패턴 C를 이용한 경우에 는 10을 지정한다. 또한, 프레임 부호화 시퀀스가 2종류이면 0과 1로 지정할 수 있다.
또한, 본 예에서는, 자 프레임마다의 헤더 정보(162, 164, 166, 168, 181)에는, 각각, 예를 들면 종래의 예측 부호화 방식으로 이용되고 있는 것과 마찬가지의 헤더 정보부(171)에 추가하여, 친 프레임의 프레임 번호의 정보(172)와 자 프레임의 프레임 번호의 정보(173)가 부가된다. 이에 의해, 자 프레임을 정상적으로 복호화할 수 있는 것을 가능하게 한다.
여기에서, 친 프레임의 프레임 번호의 정보(172)에 의해 특정되는 번호는, 전체의 스트림 중에서 재생된 순번을 나타내는 번호이다. 동일한 친 프레임에 속하는 자 프레임은, 각각, 친 프레임의 프레임 번호의 정보(172)로서 동일한 정보를 갖는다.
또한, 자 프레임의 프레임 번호의 정보(173)에 의해, 동일한 친 프레임에 속하는 각각의 자 프레임의 종류를 식별할 수 있다. 본 예에서는, 1매의 친 프레임을 4분할로 하고 있고, 자 프레임의 프레임 번호의 정보(173)로서는 0, 1, 2, 3의 4개의 값을 취한다. 예를 들면, 도 2에 도시된 예에서는, 자 프레임(61)의 프레임 번호의 정보를 0으로 하고, 자 프레임(62)의 프레임 번호의 정보를 1로 하고, 자 프레임(63)의 프레임 번호의 정보를 2로 하고, 자 프레임(64)의 프레임 번호의 정보를 3으로 함으로써, 각각의 복호화한 자 프레임(61∼64)이 친 프레임(41)에 대하여 어느 화소 위치(51∼54)에 해당하는지를 식별할 수 있다.
도 7에는, 본 예의 부호화 처리 제어부(16)에 의해 부호화 처리를 제어하는 상태의 일례를 도시하고 있다.
본 예의 화상 부호화 장치(1)에서는, 소정 길이의 시간인 프레임 리프레시 간격마다, 프레임 메모리(13) 내의 화상 데이터가 최신의 화상 데이터에 리프레시된다고 한다. 이 경우, 친 프레임 1매분, 즉 자 프레임 4매분의 부호화 처리를 프레임 리프레시 간격 내로 마칠 필요가 있다.
또, 본 예에서는, 부호화 처리 제어부(16)가 프레임 리프레시 간격마다 프레임 리프레시 신호를 프레임 메모리(13)에 출력함으로써, 프레임 메모리(13) 내의 화상 데이터를 다음 데이터에 리프레시시킨다.
도 7에서, 최초의 친 프레임(181)으로 생성된 4매의 자 프레임의 부호화 처리(191∼194)에 대해서는, 프레임 리프레시 간격 내에 부호화 처리를 마치고 있기 때문에 문제없다.
다음의 친 프레임(182)으로 생성된 4매의 자 프레임의 부호화 처리(195∼198)에 대해서는, 3매째의 자 프레임의 부호화 처리(197)가 종료한 시점에서 프레임 리프레시 간격을 초과하고 있다. 가령, 추가로 4매째의 자 프레임의 부호화 처리(198)를 행하면, 다음의 친 프레임(183)에 관한 1매째의 자 프레임의 부호화 처리(199) 이후의 부호화 처리에 영향이 생기기 때문에, 본 예의 부호화 처리 제어부(16)에서는 부호화 처리를 중단하기 위한 부호화 중단 제어 신호를 부호화 처리부(15)에 송신한다.
부호화 처리부(15)는, 부호화 중단 제어 신호를 입력하면, 이 때에 처리 중인 친 프레임(182)에 대하여 나머지 자 프레임의 부호화 처리(198)를 중지하고, 다 음의 친 프레임(183)에 해당하는 자 프레임의 부호화 처리(199∼202)를 개시한다.
다음으로, 복호화 처리에 대하여 설명한다.
도 8에는, 본 예의 복호화 처리 제어부(36)에 의해 복호화 처리를 제어하는 상태의 일례를 도시하고 있다.
본 예의 화상 신호화 장치(2)에서는, 소정 길이의 시간인 영상 출력 리프레시 간격마다, 프레임 메모리(35) 내의 화상 데이터가 최신의 화상 데이터에 리프레시된다고 한다. 이 경우, 친 프레임 1매분, 즉 자 프레임 4매분의 복호화 처리를 영상 출력 리프레시 간격 내에 마칠 필요가 있다.
또, 본 예에서는, 복호화 처리 제어부(36)가 영상 출력 리프레시 간격마다 영상 출력 리프레시 신호를 프레임 메모리(35)에 출력함으로써, 프레임 메모리(35) 내의 화상 데이터를 다음 데이터에 리프레시시킨다.
복호화 처리 제어부(36)는 부호화 처리 제어부(16)와 마찬가지로 친 프레임 1매분의 복호화 처리가 리프레시 간격 내에 종료하지 않는 경우에는, 또는, 화상 부호화 장치(1)와 화상 복호화 장치(2)의 사이의 데이터 통신 상황에 따라 리프레시 간격 내에 친 프레임 1매분의 부호화 스트림이 미치지 않도록 하는 경우에는, 부호화 중단 제어를 행한다.
도 8에서, 최초의 친 프레임(211)에 속하는 4매의 자 프레임의 복호화 처리(221∼224)에 대해서는, 영상 출력 리프레시 간격 내에 복호화 처리를 마치고 있기 때문에 문제없다.
다음의 친 프레임(212)에 속하는 4매의 자 프레임의 복호화 처리(225∼228) 에 대해서는, 3매째의 자 프레임의 복호화 처리(227)가 종료한 시점에서 영상 출력 리프레시 간격을 초과하고 있다. 가령, 추가로 4매째의 자 프레임의 복호화 처리(228)를 행하면, 다음의 친 프레임(213)에 관한 1매째의 자 프레임의 복호화 처리(229) 이후의 복호화 처리에 영향이 생기기 때문에, 본 예의 복호화 처리 제어부(36)에서는 복호화 처리를 중단하기 위한 복호화 중단 제어 신호를 복호화 처리부(33)에 송신한다.
복호화 처리부(33)는, 복호화 중단 제어 신호를 입력하면, 이 때에 처리 중인 친 프레임(212)에 대하여 나머지 자 프레임의 복호화 처리(228)를 중지하고, 다음의 친 프레임(213)에 속하는 자 프레임의 복호화 처리(229∼232)를 개시한다.
여기에서, 도 3a, 및 도 3b 각각에 도시된 패턴 A 및 패턴 B, 도 4에 도시된 패턴 C, 도 5에 도시된 패턴 D에 대하여, 복호화 처리의 중단 시에서의 상황을 고찰한다.
우선, 패턴 D의 프레임 부호화 시퀀스를 이용한 경우에는, 부호화된 스트림을 부호화된 순번으로 순차적으로 복호화할 필요가 있기 때문에, 복호화 처리에서 중단 제어가 이루어지면, 다음의 I 프레임이 나타날 때까지는, 중단된 자 프레임 이후의 자 프레임(P 프레임)의 복호화가 불가능하게 된다.
이에 대하여, 패턴 A, B, C에서는, 복호화 처리의 중단 제어가 발생하여도, 후속하는 자 프레임을 복호하는 것이 가능하다.
패턴 A의 프레임 부호화 시퀀스를 이용한 경우에는, 각 친 프레임(71, 72)의 1매째의 자 프레임(81, 85)이 예측처로 되어 있기 때문에, 부호화 처리나 복호화 처리가 도중에서 중단되어도, 후속하는 자 프레임을 처리하는 것이 가능하다. 예를 들면, 친 프레임(71)에 대하여, 복호화 처리부(33)에 의해 1매째의 자 프레임(81)의 복호화 처리를 행하여, 복호화된 화상 데이터를 예측용 프레임 메모리(34)에 저장하고, 그 후, 이어지는 자 프레임(82, 83, 84)의 복호화 처리가 중단되었을 때에도, 다음의 친 프레임(72)에 속하는 최초의 자 프레임(85)에 대해서는, 예측용 프레임 메모리(34)에 예측처로 되는 자 프레임(81)의 복호화된 화상 데이터가 존재하기 때문에, 정상적으로 복호화를 행하는 것이 가능하게 된다.
패턴 B의 프레임 부호화 시퀀스를 이용한 경우에는, 각 친 프레임(91, 92)의 1매째의 자 프레임(101, 105)이 예측처로 되어 있기 때문에, 부호화 처리나 복호화 처리가 도중에서 중단되더라도, 후속하는 프레임을 처리하는 것이 가능하다. 또한, 패턴 B에서는, 각 친 프레임(91, 92)이 독립적으로 부호화되어 있어서 독립적으로 복호화하는 것이 가능하기 때문에, 랜덤 액세스가 가능하다.
패턴 C의 프레임 부호화 시퀀스를 이용한 경우에는, 각 친 프레임(111, 112, 113)의 1매째의 자 프레임(121, 125, 129)이 예측처로 되어 있기 때문에, 예를 들면 패턴 A와 마찬가지로, 부호화 처리나 복호화 처리가 도중에서 중단되더라도, 후속하는 자 프레임을 처리하는 것이 가능하다.
도 9에는, 프레임 결합부(37)에 의해 복호화된 자 프레임의 화상 데이터를 결합하는 방식의 일례를 도시하고 있다.
본 예의 프레임 결합 방식은, 도 2에 도시된 프레임 분할 방식에 대응하고 있고, 개략적으로는 반대 방향의 처리를 행한다.
구체적으로는, 임의의 친 프레임(251)에 대하여, 분할된 4매의 자 프레임(241∼244)이 정상적으로 복호화되어 프레임 메모리(35)에 저장된 경우에는, 이들 자 프레임(241∼244)을 결합하여 1매의 친 프레임(251)을 구성한다.
또, 자 프레임(251)은 친 프레임(251) 중 (2n-1, 2m-1)에 상당하는 화소 위치(261)의 집합이고, 자 프레임(242)은 친 프레임(251) 중 (2n, 2m-1)에 상당하는 화소 위치(262)의 집합이고, 자 프레임(243)은 친 프레임(251) 중 (2n-1, 2m)에 상당하는 화소 위치(263)의 집합이고, 자 프레임(244)은 친 프레임(251) 중 (2n, 2m)에 상당하는 화소 위치(264)의 집합이다.
또한, 예를 들면, 1매의 친 프레임에 대하여, 부호화 중단 제어에 의해 부호화된 자 프레임이 4매 미만인 경우나, 혹은, 복호화 중단 제어에 의해 프레임 메모리(35)에 저장된 자 프레임이 4매 미만인 경우에는, 프레임 메모리(35)에 저장된 자 프레임에 대해서는 도 9에 도시된 것과 마찬가지의 결합 조작을 행하고, 부족한 화소 성분에 대해서는 보간 처리를 행한다. 보간 방법으로서는, 다양한 것이 사용되어도 되고, 예를 들면, 인접 화소의 평균값으로 보간하는 방법이나, 인접 화소로 보간하는 방법 등을 이용할 수 있다.
또, 본 예에서는, 리얼 타임성을 유지한 재생을 행할 수 있고, 즉 화상 부호화 장치(1)의 측에서 송출하는 자 프레임의 수를 제어할 수 있기 때문에, 부호량의 제어가 용이하고, 화상 복호화 장치(2)에서 수신한 스트림을 재생할 때까지 필요한 시간의 저지연화를 실현할 수 있다.
여기에서, 본 예에서는, 1매의 친 프레임을 4매의 자 프레임으로 분할하는 경우를 나타냈으나, 분할 수는 4로 한정되지 않고, 다양한 수가 이용되어도 된다.
또한, 도 3a, 도 3b, 도 4, 도 5에 도시된 각 패턴 A, B, C, D에서는, I 프레임이 생성되는 친 프레임에서, 도 2에 도시된 좌측 상단의 자 프레임(A1)(61)을 I 프레임으로 하였으나, 그 대신에, 다른 위치의 자 프레임(B1, C1, D1)(62, 63, 64)을 I 프레임으로 하는 것도 가능하다.
또한, 본 예의 부호화 방식 및 복호화 방식에서는, 예측용 프레임의 매수로서, 과거에 부호화한 1매를 이용하는 경우를 나타냈으나, 이에 한정되지 않고, 2매 이상의 예측용 프레임(예측처)이 이용되어도 된다.
또한, MPEG-2나 MPEG-4 등의 규격 중에는, 부호화 대상으로 하는 화상보다 시간축 상에서 미래에 해당하는 화상을 예측 프레임으로 하는 B 프레임이라고 하는 개념이 존재한다. 본 예에서는, 과거의 화상을 예측 프레임으로 하여, 이와 같은 B 프레임을 이용하고 있지 않지만, 본 예와 같이 자 프레임의 단위로 예측 부호화하는 경우에 B 프레임을 이용하는 것도 가능하다.
이상과 같이, 본 예의 화상 부호화 장치(1)나 화상 복호화 장치(2)에서는, 예를 들면, 연속하는 복수의 프레임(친 프레임)으로 구성되는 동화상 데이터를 처리하는 경우에, 부호화 대상으로 되는 화상 데이터의 프레임(친 프레임)을 복수의 자 프레임으로 분할하여, 전후의 프레임의 상관을 이용하여 부호화를 행하는 예측 부호화를 자 프레임에 적용함으로써, 예측용 프레임 메모리(18, 34)에는 자 프레임의 데이터를 저장하는 것으로 하였다.
따라서, 예를 들면, 친 프레임을 4매의 자 프레임으로 분할하는 경우에는, 친 프레임을 예측 부호화하는 경우와 비교하여, 예측용 프레임 메모리(18, 34)에는 (1/4)의 해상도의 자 프레임을 저장하면 되어, 예측용 프레임 메모리(18, 34)에 필요한 메모리 사이즈를 (1/4)배로 할 수 있다. 이에 의해, 예를 들면 고해상도의 동화상을 처리하도록 하는 경우에도, 예측용 프레임 메모리(18, 34)에 필요하게 되는 메모리량을 삭감하여 절약할 수 있어, 고능률의 처리를 실현할 수 있다.
또, 본 예의 화상 부호화 장치(1)에서는, 영상 입력부(11)로부터 화상을 입력하는 기능에 의해 부호화 입력 수단이 구성되어 있고, 프레임 분할부(14)의 기능에 의해 분할 수단이 구성되어 있고, 부호화 처리부(15)의 기능이나 부호화 처리 제어부(16)의 기능에 의해 부호화 수단이 구성되어 있고, 복호화 처리부(17)에 의해 복호화된 참조 프레임을 예측용 프레임 메모리(18)가 기억하는 기능에 의해 부호화 기억 수단이 구성되어 있고, 통신 제어부(20)의 기능에 의해 부호화 출력 수단이 구성되어 있다. 또한, 이들 각종 기능에 의해 처리 수단이 구성되어 있다.
또한, 본 예의 화상 부호화 장치(2)에서는, 통신 제어부(31)의 기능에 의해 복호화 입력 수단이 구성되어 있고, 복호화 처리부(33)의 기능이나 복호화 처리 제어부(36)의 기능에 의해 복호화 수단이 구성되어 있고, 예측용 프레임 메모리(34)의 기능에 의해 복호화 기억 수단이 구성되어 있고, 프레임 결합부(37)의 기능에 의해 결합 수단이 구성되어 있고, 영상 출력부(39)에 화상을 출력하는 기능에 의해 복호화 출력 수단이 구성되어 있다. 또한, 이들 각종 기능에 의해 처리 수단이 구성되어 있다.
<제2실시예>
본 발명의 제2 실시예를 설명한다. 또, 제1 실시예의 경우와 상이한 점에 대하여 상세하게 설명하고, 마찬가지의 부분에 대해서는 설명을 생략한다.
본 예에서는, 자 프레임의 평균 화상을 이용하여 예측 부호화를 행한다.
도 10에는, 자 프레임의 평균 화상을 작성하는 상태의 일례를 도시하고 있다.
구체적으로는, 동일한 친 프레임을 분할하여 생성된 4매의 자 프레임(281∼284)에 대하여, 평균화부(271)에 의해 각 화소 위치의 화소값의 평균값을 취득하고, 각 화소 위치의 화소값으로서 해당 평균값을 갖는 화상 프레임을 자 프레임(281∼284)의 평균 화상(291)으로서 작성한다.
또, 평균화부(271)의 기능은, 예를 들면, 화상 부호화 장치(1)의 프레임의 분할부(14) 혹은 부호화 처리부(15) 등에 구비된다.
도 11에는, 평균 화상을 이용한 프레임 부호화 시퀀스의 일례를 도시하고 있다.
본 예에서는, 1매의 친 프레임(301)에 대하여, 최초로 평균 화상(311)의 프레임을 I 프레임으로서 부호화하고, 계속해서, 평균 화상(311)의 프레임을 예측의 참조처(예측처)로 하여, 3매의 자 프레임(312, 313, 314)의 각각을 P 프레임으로서 부호화한다. 다른 예로서, 1매의 친 프레임(301)에 대하여, 최초로 평균 화상(311)의 프레임을 I 프레임으로서 부호화하고, 계속해서, 1개 전의 프레임(311, 312, 313)을 예측의 참조처(예측처)로 하여, 3매의 자 프레임(312, 313, 314)의 각각을 P 프레임으로서 부호화하는 구성으로 하는 것도 가능하다. 즉, 자 프레 임(312)에 대해서만 평균 화상(311)의 프레임을 예측처로 하고, 자 프레임(313)은 자 프레임(312)을 예측처로 하고, 자 프레임(314)은 자 프레임(313)을 예측처로 하여도 된다.
또한, 나머지 1매의 자 프레임(315)에 대해서는, 화상 복호화 장치(2)에서 복호화한 평균 화상(311)의 프레임 및 다른 3매의 자 프레임(312, 313, 314)을 이용하여 복원하는 것이 가능하기 때문에, 화상 부호화 장치(1)에서는 자 프레임(315)에 대해서는 부호화를 행하지 않고 화상 복호화 장치(2)에 대하여 송신하는 것도 행하지 않는다. 여기에서, 나머지 1매의 자 프레임(315)을 복원하는 기능은, 예를 들면, 화상 복호화 장치(2)의 복호화 처리부(33)에 구비된다.
또, 본 예에서도, 예를 들면, 도 3a, 도 3b, 도 4나 도 5에 도시된 것과 마찬가지의 프레임 부호화 시퀀스를 이용할 수 있어, 이 경우, I 프레임은 평균 화상의 프레임에 한정하는 것이 바람직하다.
본 예의 화상 부호화 장치(1)나 화상 복호화 장치(2)에서는, 평균 화상(Z1)은 원 화상의 각 화소 사이의 평균값을 산출함으로써 생성하기 때문에, 화소 사이의 엣지 성분이 적어져, 고주파 성분이 적은 화상이 생성된다. 이 때문에, 친 프레임 중 해당하는 화소 위치로부터 화소를 추출하여 구성한 자 프레임(A1, B1, C1, D1)보다 부호화하기 쉬운 화상으로 되어, 이와 같은 자 프레임(A1, B1, C1, D1)보다 높은 부호화 효율을 얻을 수 있다.
또한, 평균 화상(Z1)을 참조 프레임으로 하여 자 프레임(A1, B1, C1)을 부호화하는 경우에는, 예를 들면, H.264 부호화 방식(규격 ISO/IEC 14496-10) 등에서 이용되고 있는 소수 화소 정밀도의 움직임 벡터 탐색을 행함으로써, 자 프레임(A1, B1, C1)의 화소 위치의 화소를 평균 화상(Z1)으로부터 예측할 수 있기 때문에, 예측 정밀도가 향상되어, 높은 부호화 효율을 얻을 수 있다. 또한, 평균 화상을 만들지 않는 경우에도, 마찬가지로 소수 화소 정밀도의 움직임 탐색으로 자 프레임(A1, B1, C1)의 화소 위치의 화소를 예측하는 것이 가능하다.
<제3 실시예>
본 발명의 제3 실시예를 설명한다.
또, 제1 실시예의 경우와 상이한 점에 대하여 상세하게 설명하고, 마찬가지의 부분에 대해서는 설명을 생략한다.
본 예에서는, 부호화 대상으로 되는 프레임을 반복해서 분할하여 부호화한다.
도 12에는, 프레임 분할부(14)에 의해 프레임을 분할하는 방식의 일례를 도시하고 있다. 본 예에서는, 친 프레임(321)을 4매의 자 프레임(331, 332, 333, 334)으로 분할하고, 추가로, 그 중 1매의 자 프레임(331)을 4매의 손자 프레임(341, 342, 343, 344)으로 분할한다.
그리고, 부호화 처리에서는, 작게 분할한 손자 프레임(341∼344)을 최초로 부호화한다. 본 예에서는, 4매의 손자 프레임 중 좌측 상단의 손자 프레임(A2)(341)을 I 프레임으로서 부호화하고, 이 손자 프레임(341)을 참조 프레임으로 하여 다른 손자 프레임(B2, C2, D2)(342, 343, 344)을 부호화한다. 이들 4매의 손자 프레임(341∼344)의 복호화에 의해 자 프레임(331)을 재구성하는 것이 가능하 고, 이 자 프레임(A1)(331)을 참조 프레임으로 하여 다른 자 프레임(B1, C1, D1)(332, 333, 334)을 부호화한다. 화상 부호화 장치(1)에서는, 화상 부호화 장치(2)에 대하여, 1매의 자 프레임(331)을 분할한 4매의 손자 프레임(341∼344)의 부호화 화상과, 다른 자 프레임(332∼334)의 부호화 화상을 송신한다.
도 13에는, 친 프레임을 부호화하는 경우에, 자 프레임 및 손자 프레임을 부호화하는 시퀀스의 예를 도시하고 있다.
본 예에서는, 1매의 친 프레임(351)에 대하여, 1매째의 자 프레임(361)을 분할한 4매의 손자 프레임(371∼374) 중에서, 1매째의 손자 프레임(371)을 I 프레임으로 하여 부호화할 뿐만 아니라, 이 손자 프레임(371)을 예측처로 하여, 2, 3, 4매째의 손자 프레임(372, 373, 374)의 각각을 P 프레임으로서 부호화하고 있고, 또한, 1매째의 자 프레임(361)을 예측처로 하여 2, 3, 4매째의 자 프레임(362, 363, 364)의 각각을 P 프레임으로서 부호화하고 있다.
이와 같은 부호화 데이터를 복호화하는 경우에는, 우선, 손자 프레임군 중에서 예측처로 되어 있는 손자 프레임(371)을 복호화하고, 복호화된 해당 손자 프레임(371)을 참조 프레임으로 하여, 나머지 손자 프레임(372, 373, 374)을 복호화한다. 모든 손자 프레임(371∼374)을 복호화하면, 이들 손자 프레임(371∼374)으로부터 자 프레임(361)을 재구성하고, 이 자 프레임(361)을 참조 프레임으로 하여, 나머지 자 프레임(362, 363, 364)을 복호화한다.
본 예의 화상 부호화 장치(1)나 화상 복호화 장치(2)에서는, 다종 다양한 복호화 처리 능력을 갖는 화상 복호화 장치군(복수의 화상 복호화 장치)의 각각에 의 해, 각각에 최적의 화상 사이즈로 복호화 화상을 얻도록 할 수 있다.
예를 들면, 디지털 시네마와 같이 큰 화상 사이즈(예를 들면, 4096화소×2048화소)의 부호화를 행하는 경우에는, 친 프레임을 자 프레임으로 분할하더라도, 자 프레임의 화상 사이즈는 표준 텔레비전 화상의 해상도보다 높다. 이와 같은 경우에는, 처리 능력이 낮은 화상 복호화 장치에서는 자 프레임 1매조차 소정 처리 시간 내에 복호화할 수 없거나, 또는 화상 복호화 장치에서 자 프레임분의 프레임 메모리를 확보할 수 없는 경우도 있다.
이에 대하여, 본 예의 구성에서는, 화상 복호화 장치(2)에서는, 1매의 손자 프레임을 복호화하면, 종횡 (1/4)씩 원 화상을 서브 샘플링한 복호화 화상을 얻을 수 있다. 복호화 처리 능력이 낮은 화상 복호화 장치에서는, 손자 프레임만을 복호화함으로써, 해상도가 낮은 동화상을 재생하는 것이 가능하게 된다. 한편, 화상 복호화 장치의 능력에 여유가 있는 경우에는, 그 처리 능력에 따라, 나머지 손자 프레임이나 자 프레임을 더 복호화함으로써, 더 높은 해상도의 복호화 화상을 재생할 수 있다.
또한, 본 예와 같은 구성은, 예를 들면, 1개의 부호화 스트림에 대하여, 휴대 전화 단말 장치 등에서는 손자 프레임만을 복호화하여 재생하고, 고해상도 모니터 등에서는 원 화상과 동일한 해상도까지 복호화하여 재생하도록 하는 시스템에 적용하기에 적합한 것이다. 이 경우, 화상 부호화 장치(1)에서는, 예를 들면, 휴대 전화 단말 장치 등에 대해서는 1매의 손자 프레임(I 프레임)의 부호화 화상만을 송신하도록 하는 구성으로 할 수도 있다. 또한, 휴대 전화 단말 장치 등에서 복호 화 처리에서의 중단 제어를 행함으로써, 불필요한 부호화 화상의 수신을 하지 않도록 하는 구성으로 할 수도 있다.
여기에서, 본 예에서는, 친 프레임을 자 프레임으로 분할하여 다시 손자 프레임으로 분할한 경우를 설명했으나, 더욱 작게 분할을 반복하도록 하는 양태가 이용되어도 된다.
여기에서, 본 발명에 따른 시스템이나 장치 등의 구성으로 하여도, 반드시 이상에 설명한 것에 한하지 않고, 다양한 구성이 이용되어도 된다. 또한, 본 발명은, 예를 들면, 본 발명에 따른 처리를 실행하는 방법 혹은 방식이나, 이와 같은 방법이나 방식을 실현하기 위한 프로그램이나 해당 프로그램을 기록하는 기록 매체 등으로서 제공하는 것도 가능하고, 또한 다양한 장치나 시스템으로서 제공하는 것도 가능하다.
또한, 본 발명의 적용 분야로서는, 반드시 이상에 나타낸 것에 한하지 않고, 본 발명은, 다양한 분야에 적용하는 것이 가능한 것이다.
또한, 본 발명에 따른 시스템이나 장치 등에서 행해지는 각종 처리로서는, 예를 들면, 프로세서나 메모리 등을 구비한 하드웨어 자원에서 프로세서가 ROM(Read Only Memory)에 저장된 제어 프로그램을 실행함으로써 제어되는 구성이 이용되어도 되고, 또한, 예를 들면 해당 처리를 실행하기 위한 각 기능 수단이 독립된 하드웨어 회로로서 구성되어도 된다.
또한, 본 발명은 상기한 제어 프로그램을 저장한 플로피(등록 상표) 디스크나 CD(Compact Disc)-ROM 등의 컴퓨터에 의해 판독 가능한 기록 매체나 해당 프로 그램(자체)으로서 파악할 수도 있어, 해당 제어 프로그램을 해당 기록 매체로부터 컴퓨터에 입력하여 프로세서에 실행시킴으로써, 본 발명에 따른 처리를 수행시킬 수 있다.
본 발명에 따르면, 고해상도의 동화상을 처리하도록 하는 경우에도, 프레임 사이의 상관에 기초하여 부호화를 행하는 예측 부호화 방식을 사용하여 화상을 처리할 때에, 예측용 프레임을 기억하기 위한 메모리에 필요하게 되는 용량을 작게 할 수 있는 화상 부호화 장치 혹은 화상 복호화 장치라는 화상 처리 장치 등을 제공할 수 있다.

Claims (10)

  1. 화상을 부호화 또는 복호화하는 화상 처리 장치로서,
    처리 대상으로 되는 화상의 프레임을 친 프레임으로 하고, 상기 친 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 프레임 분할한 자 프레임으로 하고, 각각의 자 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 또는 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 화상을 부호화 또는 복호화하는 처리 수단을 포함한 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 처리 수단은, 연속한 복수의 친 프레임을 처리하는 경우에, 자 프레임 사이의 상관을 이용하는 방식으로서, 소정의 친 프레임에 속하는 복수의 자 프레임 중에서 1번째로 처리되는 자 프레임을 참조 프레임으로 하는 방식, 또는, 각 친 프레임마다 독립적으로 자 프레임 사이의 상관을 이용하는 방식을 사용하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 처리 수단은, 처리 대상으로 되는 화상의 친 프레임에 속하는 복수의 자 프레임에 대하여 평균 화상의 프레임을 생성하고, 상기 평균 화상의 프레임을 자 프레임으로 간주하여, 상기 평균 화상의 프레임에 대해서는 자 프레임 내의 상 관을 이용하는 방식을 사용함과 함께, 다른 자 프레임에 대해서는 상기 평균 화상의 프레임 또는 1개 전의 프레임을 참조 프레임으로 하여 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 부호화 또는 복호화하는 것을 특징으로 하는 화상 처리 장치.
  4. 제2항에 있어서,
    상기 처리 수단은, 처리 대상으로 되는 화상의 친 프레임에 속하는 복수의 자 프레임에 대하여 평균 화상의 프레임을 생성하고, 상기 평균 화상의 프레임을 자 프레임으로 간주하여, 상기 평균 화상의 프레임에 대해서는 자 프레임 내의 상관을 이용하는 방식을 사용함과 함께, 다른 자 프레임에 대해서는 상기 평균 화상의 프레임 또는 1개 전의 프레임을 참조 프레임으로 하여 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 부호화 또는 복호화하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 처리 수단은, 화상을 부호화하는 경우에, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중 1개 이상의 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 더 분할하는 것을 1회 이상 반복해서 행하고, 자 프레임보다 작은 화소 수의 프레임을 생성하여 부호화하거나, 또는, 화상을 복호화하는 경우에, 소정의 화소 수 이하의 프레임만을 복호화하는 것을 특징으로 하는 화상 처리 장치.
  6. 제2항에 있어서,
    상기 처리 수단은, 화상을 부호화하는 경우에, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중 1개 이상의 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 더 분할하는 것을 1회 이상 반복해서 행하고, 자 프레임보다 작은 화소 수의 프레임을 생성하여 부호화하거나, 또는, 화상을 복호화하는 경우에, 소정의 화소 수 이하의 프레임만을 복호화하는 것을 특징으로 하는 화상 처리 장치.
  7. 제3항에 있어서,
    상기 처리 수단은, 화상을 부호화하는 경우에, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중 1개 이상의 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 더 분할하는 것을 1회 이상 반복해서 행하고, 자 프레임보다 작은 화소 수의 프레임을 생성하여 부호화하거나, 또는, 화상을 복호화하는 경우에, 소정의 화소 수 이하의 프레임만을 복호화하는 것을 특징으로 하는 화상 처리 장치.
  8. 제4항에 있어서,
    상기 처리 수단은, 화상을 부호화하는 경우에, 1개의 프레임을 분할하여 생성되는 복수의 프레임 중 1개 이상의 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 더 분할하는 것을 1회 이상 반복해서 행하고, 자 프레임보다 작은 화소 수의 프레임을 생성하여 부호화하거나, 또는, 화상을 복호화하는 경우에, 소정의 화소 수 이하의 프레임만을 복호화하는 것을 특징으로 하는 화상 처리 장치.
  9. 화상 부호화 장치에 의해 화상을 부호화하고, 상기 부호화된 화상을 화상 복호화 장치에 의해 복호화하는 화상 처리 시스템으로서,
    상기 화상 부호화 장치는, 처리 대상으로 되는 화상을 입력하는 부호화 입력 수단과,
    상기 부호화 입력 수단에 의해 입력된 화상의 프레임을 친 프레임으로 하여 상기 친 프레임의 소정의 위치 관계에 있는 화소끼리를 추출하고, 각 화소 위치마다 프레임 분할한 자 프레임으로서 생성하는 분할 수단과,
    상기 분할 수단에 의해 생성된 자 프레임을, 각각의 친 프레임에 대하여, 자 프레임 내의 상관을 이용하는 방식 혹은 자 프레임 사이의 상관을 이용하는 방식을 사용하여, 부호화하는 부호화 수단과,
    자 프레임 사이의 상관을 이용하는 경우에서의 참조 프레임을 기억하는 부호화 기억 수단과,
    상기 부호화 수단에 의해 부호화된 화상을 출력하는 부호화 출력 수단을 포함하고,
    상기 화상 복호화 장치는, 부호화된 화상을 입력하는 복호화 입력 수단과,
    상기 복호화 입력 수단에 의해 입력된 부호화된 화상에 기초하여, 부호화에 사용된 방식에 대응한 방식에 의해, 자 프레임을 복호화하는 복호화 수단과,
    자 프레임 사이의 상관을 이용하는 경우에서의 참조 프레임을 기억하는 복호화 기억 수단과,
    상기 복호화 수단에 의해 복호화된 자 프레임을 결합하여 친 프레임을 생성하는 결합 수단과,
    상기 결합 수단에 의해 생성된 친 프레임의 화상을 출력하는 복호화 출력 수단을 포함한 것을 특징으로 하는 화상 처리 시스템.
  10. 제9항에 있어서,
    상기 부호화 수단은, 친 프레임마다의 자 프레임 부호화 처리에서, 친 프레임마다 할당된 소정의 프레임 리프레시 기간을 초과한 자 프레임의 부호화를 중단 제어하고, 상기 복호화 수단은 친 프레임마다의 자 프레임 복호화 처리에서, 친 프레임마다 할당된 소정의 영상 출력 리프레시 시간을 초과한 자 프레임의 복호화 처리를 중단 제어하는 것을 특징으로 하는 화상 처리 시스템.
KR20060082101A 2005-09-28 2006-08-29 화상 처리 장치 KR100824161B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00282501 2005-09-28
JP2005282501A JP4185086B2 (ja) 2005-09-28 2005-09-28 画像処理装置

Publications (2)

Publication Number Publication Date
KR20070035958A KR20070035958A (ko) 2007-04-02
KR100824161B1 true KR100824161B1 (ko) 2008-04-21

Family

ID=37830020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060082101A KR100824161B1 (ko) 2005-09-28 2006-08-29 화상 처리 장치

Country Status (3)

Country Link
US (1) US8594192B2 (ko)
JP (1) JP4185086B2 (ko)
KR (1) KR100824161B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5461419B2 (ja) * 2008-10-27 2014-04-02 日本電信電話株式会社 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体
KR101602871B1 (ko) * 2009-08-25 2016-03-11 삼성전자주식회사 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치
JP5578974B2 (ja) * 2010-07-16 2014-08-27 株式会社日立国際電気 画像符号化装置
JP5963540B2 (ja) * 2012-05-30 2016-08-03 キヤノン株式会社 情報処理装置、プログラム及び制御方法
US9679345B2 (en) * 2014-08-08 2017-06-13 Advanced Micro Devices, Inc. Method and system for frame pacing
US9749718B1 (en) * 2016-07-20 2017-08-29 Cisco Technology, Inc. Adaptive telemetry based on in-network cross domain intelligence
CN109561119B (zh) * 2017-09-26 2022-04-01 中国移动通信有限公司研究院 一种数据接收方法及设备
CN115550688A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 视频码流的处理方法、介质、程序产品和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000015558A (ko) * 1998-08-31 2000-03-15 전주범 공간 상관성을 이용한 영상 부호화 장치 및 그 방법
KR20050067083A (ko) * 2003-12-26 2005-06-30 가부시키가이샤 엔티티 도코모 화상 부호화 장치, 화상 부호화 방법, 화상 부호화프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호프로그램

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2789662A (en) * 1952-04-23 1957-04-23 Gen Motors Corp Air intake device for engines
JPH08205140A (ja) * 1995-01-31 1996-08-09 Canon Inc 画像圧縮装置
JPH08242446A (ja) 1995-03-03 1996-09-17 Kokusai Electric Co Ltd 画像処理方法及び画像処理装置
US6031940A (en) * 1996-11-27 2000-02-29 Teralogic, Inc. System and method for efficiently encoding video frame sequences
JP4163618B2 (ja) * 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
RU2322770C2 (ru) * 2002-04-23 2008-04-20 Нокиа Корпорейшн Способ и устройство для указания параметров квантователя в системе видеокодирования

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000015558A (ko) * 1998-08-31 2000-03-15 전주범 공간 상관성을 이용한 영상 부호화 장치 및 그 방법
KR20050067083A (ko) * 2003-12-26 2005-06-30 가부시키가이샤 엔티티 도코모 화상 부호화 장치, 화상 부호화 방법, 화상 부호화프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호프로그램

Also Published As

Publication number Publication date
US8594192B2 (en) 2013-11-26
KR20070035958A (ko) 2007-04-02
JP4185086B2 (ja) 2008-11-19
US20070053432A1 (en) 2007-03-08
JP2007096672A (ja) 2007-04-12

Similar Documents

Publication Publication Date Title
EP1853069B1 (en) Decoding macroblock type and coded block pattern information
US6421385B1 (en) Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
KR100824161B1 (ko) 화상 처리 장치
CN100502515C (zh) 一种解码数据结构的方法及视频解码器
US20040258162A1 (en) Systems and methods for encoding and decoding video data in parallel
US7212573B2 (en) Method and/or apparatus for determining minimum positive reference indices for a direct prediction mode
US8903188B2 (en) Method and device for processing components of an image for encoding or decoding
JPH0998429A (ja) ディジタル映像信号符号化装置および復号化装置
JP5760953B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
US5991445A (en) Image processing apparatus
CN114390289A (zh) 参考像素候选列表构建方法、装置、设备及存储介质
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
JP4264811B2 (ja) 画像復号化装置及び画像復号化方法
US7843997B2 (en) Context adaptive variable length code decoder for decoding macroblock adaptive field/frame coded video data
JP3240737B2 (ja) 画像信号符号化方法、装置、復号化方法及び装置
JP3147636B2 (ja) ビデオデータ配列方法並びにその符号化装置及び復号化装置
JP2007166555A (ja) 符号化装置及び方法
JP2004312689A (ja) Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器
JP2003179931A (ja) 動画符号化装置及びその方法並びに動画符号化プログラム
KR100928272B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
Buchanan et al. Motion Video Compression
Miura et al. A simple compression method using movion vector of video encoder in the destributed system
JPH09247687A (ja) 動きベクトルを生成するための方法および装置
JP2001268571A (ja) 動画像再符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130321

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140319

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee