KR101226877B1 - 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치 - Google Patents

부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치 Download PDF

Info

Publication number
KR101226877B1
KR101226877B1 KR1020077016461A KR20077016461A KR101226877B1 KR 101226877 B1 KR101226877 B1 KR 101226877B1 KR 1020077016461 A KR1020077016461 A KR 1020077016461A KR 20077016461 A KR20077016461 A KR 20077016461A KR 101226877 B1 KR101226877 B1 KR 101226877B1
Authority
KR
South Korea
Prior art keywords
image
unit
data
encoding
image processing
Prior art date
Application number
KR1020077016461A
Other languages
English (en)
Other versions
KR20070104358A (ko
Inventor
코지 오자키
후미아키 카토
켄이치 사카이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20070104358A publication Critical patent/KR20070104358A/ko
Application granted granted Critical
Publication of KR101226877B1 publication Critical patent/KR101226877B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

외부 메모리를 사용하지 않고 화상 처리부로부터 부호화부로 데이터를 전송할 수 있고, 또한, 외부 메모리보다 대역이 넓은 내부 전송에 의해 고속의 처리가 가능해진다. 원화상의 화상 전체(41)가 6개의 (64×4)화소의 블록으로 분할된다. 각 블록마다 확대 처리가 이루어진다. 1, 2, 3, …로 붙인 번호의 순서로 각 블록의 데이터가 판독된다. 제 1번째의 블록이 사이즈 변경부에 의해 처리되고, (128×8)화소의 블록(42)의 화상 데이터가 생성된다. 이 화상 데이터(42)로부터 (16×8)화소의 매크로블록(43)의 단위가 판독되고, 부호화되고, JPEG 데이터(44)가 얻어진다. 부호 재나열부에 의해 JPEG 데이터(46)의 순서를 블록을 단위로 하여 재나열하여, JPEG 데이터(48)를 생성한다. 이 순서의 JPEG 데이터(48)를 복호하면, 원화상의 영역(41)과 블록의 순서가 일치한 복호 화상(49)이 얻어진다.
Figure R1020077016461
부호화 장치, 부호화 방법, 부호화 프로그램, 촬상 장치

Description

부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상 장치{ENCODING DEVICE, ENCODING METHOD, ENCODING PROGRAM, AND IMAGING DEVICE}
본 발명은, 화상 신호의 압축을 위한 것 등에 적용 가능한 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상 장치에 관한 것이다.
화상의 왜곡을 보정하는 처리, 색수차를 보정하는 처리, 화상의 사이즈를 확대 또는 축소하는 처리 등의 화상 처리가 디지털 스틸 카메라 등의 촬상 장치에서 종종 이루어진다. 또한, 화상 처리에서 발생한 화상 데이터를 JPEG(Joint Photographic Experts Group), MPEG(Moving Picture Experts Group Phase) 등의 압축 부호화에 의해 압축하는 것이 통상 이루어지고 있다. 이들의 압축 부호화에서는, 매크로블록이라고 칭하여지는 화상의 단위로 부호화를 행하도록 하고 있다.
화상 처리를 위해서는, 메모리로부터의 화상 데이터를 판독하여 보간(補間) 등의 처리가 이루어진다. 부호화를 행하는 경우에는, 화상 사이즈의 변환 후의 영역의 사이즈가 매크로블록의 크기로 설정된다. 이와 같이, 화상 사이즈의 변경 처리에서, 화상 사이즈를 매크로블록과 같이 작은 단위로 하기 위해, 고속으로 화상 데이터를 판독할 필요가 생기는 문제가 있다.
또한, 화상 처리에 있어서는, 처리의 대상으로 하는 영역의 화상 데이터뿐만 아니라, 필터링 등을 위해, 그 영역에 인접하는 영역의 화상 데이터를 필요로 하는 것이 많다. 그 경우에는, 가능한한 큰 블록 사이즈를 단위로 하여 화상 처리를 행하는 편이 작은 블록 사이즈를 단위로 하는 것에 비하여 효율을 좋게 할 수 있다. 이 점에 관해, 도 1의 A, 도 1의 B 및 도 1의 C를 참조하여 설명한다.
도 1의 A는, 사선으로 도시하는 바와 같은 (8화소×8화소)를 단위로 하여 화상 처리를 행하는 예이다. 종횡의 각각에 2화소분의 영역을 처리에 필요로 하는 것이라고 가정하면, 처리 화소수가 64화소이고, 유효 처리 화소수가 (4화소×4화소=16화소)로 되고, 효율 (유효 처리 화소수/처리 화소수=25%)로 된다. 도 1의 B는, 블록 사이즈를(128화소×128화소=16384화소)로 한 경우를 도시한다. 이 경우에는, 처리 화소수가 16384이고, 유효 처리 화소수가 (124화소×124화소=15376화소)로 되고, 효율이 93%로 된다. 또한, 도 1의 C는, 가로로 길다란 블록 예를 들면 (2048화소×8화소=16384화소)로 하는 예를 도시한다. 이 경우에는, 유효 처리 화소수가 (2044화소×4화소=8176화소)로 되고, 효율이 49%로 된다. 또한, 도 1의 A, 도 1의 B 및 도 1의 C는, (3×3=9)개의 처리 단위에 의해 1장의 화상이 구성되는 예를 도시한다.
도 2는, 화상 처리 후의 데이터를 예를 들면 JPEG로 부호화하는 예를 도시한다. 모식적으로, 도 2에서는, (4×2)개의 매크로블록에 의해 1장의 화상이 구성되어 있다. 화상 처리가 수평 방향으로 나열하는 4개의 매크로블록을 단위로 하여 이 루어지면, 그 순서가 JPEG에서 규정되어 있는 부호화의 방향과 일치하고 있기 때문에, 화상 처리에서 얻어진 데이터가 그대로의 순서로 JPEG의 인코더에 전송되어 부호화된다.
도 2에서는, 화상의 처리 단위가 가로로 길다란 영역으로 되기 때문에, 도 3에 도시하는 바와 같이, (2×2)의 4개의 매크로블록(1 내지 4)으로 이루어지는 영역을 단위로 하여 화상 처리를 행하는 경우를 생각한다. 이 경우에는, 처리 후의 매크로블록(1 및 2)은, 그대로 인코더에 전송하여 JPEG의 부호화가 이루어진다. 매크로블록(3 및 4)은, 메모리에 일시적으로 보관된다. 다음의 처리 단위(매크로블록(5 내지 8)으로 이루어진다)에서, 처리 후의 매크로블록(5 및 6)은, 그대로 인코더에 전송하여 JPEG의 부호화가 이루어진다. 매크로블록(7 및 8)은, 메모리에 일시적으로 보관된다. 인코더에서, 처리 후의 데이터의 매크로블록(1, 2, 5 및 6)의 부호화의 후에, 메모리에 보관되어 있던 처리 후의 데이터의 매크로블록(3, 4, 7 및 8)이 판독되고, 판독된 데이터가 인코더에 대해 전송된다.
이와 같이, 화상 처리의 단위가 정수개의 매크로블록, 즉, 부호화 블록으로 이루어지고, 부호화 블록의 배열이 부호화에서 규정되어 있는 순서와 다른 경우에는, 후에 부호화하는 데이터분을 메모리에 보관하여 둘 필요가 있다. 그 결과, 일시 보관용의 메모리가 필요하게 되는 문제가 있다.
본 발명이 적용할 수 있는 화상 처리의 한 예로서, 도 4에 도시하는 바와 같은 색수차(色收差) 보정이 있다. 색수차를 갖는 촬영 화상(P)으로부터 적색 화상(Pr), 녹색 화상(Pg), 청색 화상(Pb)을 분리한다. 색수차는, 파장에 따라 렌즈의 굴절률이 다른 것에 기인하고, 원색(原色) 화상 사이에서 같은 피사체라도 배율이 변화하고, 화상의 크기가 변화한다. 각 원색 화상을 해상도 변환하여 같은 크기의 원색 화상(Pr', Pb', Pg')을 성형하고, 이들 원색 화상을 합성하여 색수차 보정이 이루어진 화상(P')이 얻어진다. 본 발명은, 해상도 변환의 처리에 대해 적용할 수 있다.
도 5는 본 발명을 적용할 수 있는 다른 화상 처리를 도시한다. 화상이 횡방향 및 종방향의 양방향으로 배럴형으로 왜곡되어 있는 화상(P1)에 대해 제 1 단계의 확대를 행하여 화상(P2)을 얻는다. 제 1 단계의 확대는, 횡방향으로 확대하는 것으로, 확대율이 중심으로부터 떨어진 위치일수록 큰 것으로 된다. 화상(P2)에 대해 제 2 단계의 확대가 이루어져서 화상(P3)이 얻어진다. 제 2 단계의 확대는, 화상(P2)을 종방향으로 확대하는 것이다. 확대율이 중심으로부터 떨어진 위치일수록 큰 것으로 된다.
본 발명에서는, 매크로블록과 같은 부호화 블록을 재나열하는 처리를 행하고 있지만, 종래에서는, 매크로블록 단위의 재나열 처리를 행하는 것이 특개평11-298878호 공보에 기재되어 있다. 이 문헌에서는, MPEG의 스트림을 생성한 후에, 매크로블록 단위로 재나열을 행함에 의해, 수신측에서는, MPEG 스트림을 그대로 복호하여도 화상을 볼 수 없도록 하는 것이다.
상술한 바와 같이, 화상 사이즈 변환과 같은 화상 처리를 행하는 경우에, 압축 부호화의 부호화 단위로 화상 데이터를 잘라내어 부호화할 때에, 메모리로부터의 판독을 고속으로 행할 필요가 생기거나, 대용량의 메모리를 필요로 하는 문제가 생긴다. 상술한 문헌에 기재된 것은, 일단 정상적인 MPEG 스트림을 생성한 후에 재나열 처리를 행하는 것임에 대해, 본 발명에서는, 정규의 순서와 다른 화상 처리부의 출력 순서로 부호화를 행한 후에 정규의 순서로 재나열을 행하는 것이고, 상술한 문헌에 기재된 것과 다른 것이다.
따라서, 본 발명의 목적은, 고속 판독 처리 및 대용량 메모리를 필요로 하는 문제점을 해결할 수 있는 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상 장치를 제공하는 데 있다.
상술한 과제를 해결하기 위해, 본 발명은, 화상 처리부에 의해 처리한 화상 데이터를 부호화부에서 소정의 부호화 단위로 부호화를 행하는 화상 처리 장치에 있어서, 부호화부가 화상 처리부로부터 출력되는 데이터 순으로 부호화를 행하고, 화상 처리부의 처리 방향으로부터 부호화부의 부호화 방법에서 규정된 정규의 처리 방향으로 재나열을 행하는 재나열부를 구비하는 화상 처리 장치이다.
본 발명은, 복수의 부호화 단위로 이루어지는 화상 처리 블록 내에서, 화상의 회전 또는 반전을 행하는 제 1 단계의 처리를 행하고, 제 1 단계의 처리 후의 데이터를 출력하는 화상 처리부와, 화상 처리부로부터 출력되는 데이터 순으로, 또한 소정의 부호화 단위로 부호화를 행하는 부호화부와, 화상 처리부의 처리 방향으로부터 부호화부의 부호화 방법에서 규정된 정규의 처리 방향으로 재나열을 행하는 제 2 단계의 처리를 행하는 제 1의 재나열부와, 화상 처리 단위를 1요소로 간주하여 제 2 단계의 처리 후의 데이터에 대해 소정의 회전 또는 반전을 행하는 제 3 단계의 처리를 행하는 제 2의 재나열부를 구비하는 화상 처리 장치이다.
본 발명은, 소정의 부호화 단위 내에서, 화상의 회전 또는 반전을 행하는 제 1 단계의 처리를 행하고, 제 1 단계의 처리 후의 데이터를 출력하는 화상 처리부와, 화상 처리부로부터 출력되는 데이터 순으로, 또한 부호화 단위로 부호화를 행하는 부호화부와, 화상 처리부의 처리 방향으로부터 부호화부의 부호화 방법에서 규정된 정규의 처리 방향으로 재나열을 행하는 제 2 단계의 처리를 행하는 제 1의 재나열부와, 부호화 단위를 1요소로 간주하여 제 2 단계의 처리 후의 데이터에 대해 소정의 회전 또는 반전을 행하는 제 3 단계의 처리를 행하는 제 2의 재나열부를 구비하는 화상 처리 장치이다.
본 발명은, 화상 처리부에 의해 처리한 화상 데이터를 부호화부에서 소정의 부호화 단위로 부호화를 행하는 화상 처리 방법에 있어서, 화상 처리부로부터 출력되는 데이터 순으로 부호화를 행하는 부호화 스텝과, 화상 처리부의 처리 방향으로부터 부호화에서 규정된 정규의 처리 방향으로 재나열을 행하는 재나열 스텝을 갖는 화상 처리 방법이다.
본 발명은, 화상 처리부에 의해 처리한 화상 데이터를 부호화부에서 소정의 부호화 단위로 부호화를 행하는 화상 처리 방법을 컴퓨터에 실행시키는 프로그램에 있어서, 화상 처리부로부터 출력되는 데이터 순으로 부호화를 행하는 부호화 스텝과, 화상 처리부의 처리 방향으로부터 부호화에서 규정된 정규의 처리 방향으로 재나열을 행하는 재나열 스텝을 갖는 화상 처리 방법의 프로그램이다.
본 발명은, 촬상 소자에 의해 촬영된 화상 데이터에 대해 화상 처리를 행하는 화상 처리부와, 화상 처리부에 의해 처리한 화상 데이터를 부호화부에서 소정의 부호화 단위로 부호화하는 부호화부를 갖는 촬상 장치에 있어서, 부호화부가 화상 처리부로부터 출력되는 데이터 순으로 부호화를 행하고, 화상 처리부의 처리 방향으로부터 부호화부의 부호화 방법에서 규정된 정규의 처리 방향으로 재나열을 행하는 재나열부를 구비하는 촬상 장치이다.
본 발명에서는, 화상 사이즈 변환을 행하는 화상 처리부로부터 압축 부호화의 부호화부에의 화상 데이터의 전송은, 화상 처리부의 단위이고, 작은 단위이다. 그 때문에 외부 메모리를 사용하지 않고 전송을 행할 수 있다. 또한, 외부 메모리를 사용하지 않고 전송할 수 있기 때문에 외부 메모리보다 대역(帶域)이 넓은 내부 전송으로 할 수 있고 고속의 처리가 가능해진다.
도 1의 A, 도 1의 B 및 도 1의 C는 화상 처리 블록의 크기와 처리의 효율의 관계를 설명하기 위한 약선도.
도 2는 화상 처리의 방향과 부호화의 방향이 일치하는 경우의 처리를 설명하기 위한 약선도.
도 3은 화상 처리의 방향과 부호화의 방향이 일치하지 않는 경우의 종래의 처리를 설명하기 위한 약선도.
도 4는 본 발명을 적용할 수 있는 화상 처리의 한 예를 설명하기 위한 약선 도.
도 5는 본 발명을 적용할 수 있는 화상 처리의 다른 예를 설명하기 위한 약선도.
도 6은 본 발명에 의한 처리의 한 예를 개략적으로 설명하기 위한 약선도.
도 7은 본 발명에 의한 처리의 다른 예를 개략적으로 설명하기 위한 약선도.
도 8은 본 발명에 의한 촬상 장치의 한 실시 형태의 블록도.
도 9는 종래의 화상 처리를 설명하기 위한 약선도.
도 10은 화상 처리의 참고예를 설명하기 위한 약선도.
도 11은 본 발명에 의한 화상 처리 장치의 한 실시 형태를 설명하기 위한 약선도.
도 12는 본 발명에 의한 화상 처리 장치와 다른 구성예와의 메모리 액세스량을 비교하여 도시하는 약선도.
도 13은 본 발명에 의한 화상 처리 장치의 한 실시 형태의 화상 처리를 설명하기 위한 약선도.
도 14는 본 발명의 한 실시 형태의 화상 처리의 흐름을 설명하기 위한 플로우 차트.
도 15의 A 및 도 15의 B는 본 발명의 한 실시 형태에서의 단락 코드의 삽입 처리를 설명하기 위한 약선도.
도 16의 A 및 도 16의 B는 본 발명의 한 실시 형태에서의 슬라이스 스타트 코드의 삽입 처리를 설명하기 위한 약선도.
도 17은 본 발명의 한 실시 형태에서의 단락 코드의 재기록 처리를 설명하기 위한 약선도.
도 18의 A 및 도 18의 B는 본 발명의 한 실시 형태에서의 단락 코드의 삭제 처리를 설명하기 위한 약선도.
도 19는 본 발명의 한 실시 형태에서의 단락 코드의 삭제 처리의 제 1의 방법을 설명하기 위한 약선도.
도 20은 본 발명의 한 실시 형태에서의 스테핑 비트의 삭제 처리의 방법을 설명하기 위한 약선도.
도 21은 본 발명의 한 실시 형태에서의 단락 코드의 삭제 처리의 제 2의 방법을 설명하기 위한 약선도.
도 22는 본 발명의 한 실시 형태에서의 단락 코드의 삭제 처리의 제 3의 방법을 설명하기 위한 약선도.
도 23의 A 및 도 23의 B는 본 발명의 한 실시 형태에서의 단락 코드의 삭제 처리에서 필요하게 되는 스테핑 비트수의 기록 방법의 한 예를 설명하기 위한 약선도.
도 24의 A, 도 24의 B 및 도 24의 C는 본 발명의 한 실시 형태에서의 재나열시의 처리의 효율화를 설명하기 위한 약선도.
도 25는 본 발명에 의한 화상 처리 장치의 다른 구성을 도시하는 블록도.
도 26은 본 발명을 2장의 화상의 처리에 적용한 경우를 설명하기 위한 약선도.
도 27은 본 발명을 2장의 화상의 처리에 적용한 경우의 변형예를 설명하기 위한 약선도.
도 28은 본 발명을 1장의 화상을 분할하여 처리하는 경우에 적용한 예를 설명하기 위한 약선도.
도 29는 본 발명을 1장의 화상을 분할하여 처리하는 경우에 적용한 예를 설명하기 위한 약선도.
도 30은 본 발명을 화상의 상하 좌우 반전 처리에 적용한 한 예를 설명하기 위한 약선도.
도 31은 본 발명을 화상의 상하 좌우 반전 처리에 적용한 다른 예를 설명하기 위한 약선도.
도 32는 복호측의 처리의 참고로 한 예를 설명하기 위한 약선도.
도 33은 본 발명에 의한 복호측의 처리를 설명하기 위한 약선도.
(도면의 주요부분에 대한 부호의 설명)
2 : 촬상 소자
4 : 카메라 신호 처리부
6, 24 : 사이즈 변경 처리부
7, 26 : 부호화부
8, 34 : 재나열부
11 : CPU
32A, 32B : 2뱅크 구성의 메모리
S1 : 화상을 블록 단위로 메모리로부터 판독한다
S2 : 화상 처리를 행한다
S3 : 부호화부에 데이터 입력
S4 : 입력 순서로 부호화
S5 : 부호화 데이터를 메모리에 기록
S6 : 블록을 처리하였는지?
S7 : 처리 완료인지?
S8 : 단락 코드 삽입
S9 : JPEG 데이터를 판독
S10 : JPEG 데이터를 재나열
S11 : JPEG 데이터를 메모리에 기록
S21 : MCU2의 선두 위치，종료 위치 또는 스테핑 피트수로부터 MCU3의 새로운 선두 위치를 계산
S22 : MCU3의 DC 성분을 복호
S23 : 미리 기록하여 둔 MCU2의 DC 성분과 MCU3의 DC 성분의 차분을 부호화
S24 : MCU3 이후를 새로운 선두 위치로부터 채운다
S31 : MCUX의 선두 위치로부터 MCU3의 새로운 선두 위치를 계산
S32 : MCUX와 MCU3의 DC 성분을 복호
S33 : MCUX의 DC 성분과 MCU3의 DC 성분의 차분을 부호화
S34 : MCU3 이후를 새로운 선두 위치로부터 채운다
S41 : MCU3의 선두 위치，종료 위치 또는 스테핑 비트수로부터 MCU4의 새로운 선두 위치를 계산
S42 : MCU4 이후를 새로운 선두 위치로부터 채운다
최초에, 본 발명의 처리의 개략에 관해 도 6을 참조하여 설명한다. 도 6에서, 참조 부호 16이 화상 처리의 대상으로 하는 원화상을 나타낸다. 이 화상(16)은, 6개의 부호화 단위(JPEG의 경우에는 매크로블록)로 된다. 6개의 매크로블록에 대해 각각 1 내지 6의 번호를 붙여서 나타낸다. 예를 들면 매크로블록(1 및 2)과 같이, 2개의 매크로블록마다 화상 처리가 이루어진다. 화상 처리 후의 데이터가 JPEG 인코더에서 부호화 처리되고, 부호화 후의 데이터(17)가 얻어진다. 화상 처리는, 상술한 바와 같이, 확대 축소 처리, 색수차 보정 처리, 화상 왜곡 보정 처리, 카메라 신호 처리, 흑백 반전 처리, 색 공간 변환 처리, 필터링 처리 등이다.
이 순서의 JPEG 데이터(17)를 그대로 복호하면, 대응 화상(18)이 얻어진다. 그러나, 복호 화상(18)은, 원화상의 영역(16)과 블록의 순서가 상위하여 있고, 원화상과 다른 화상으로 된다. 이 문제를 피하기 위해 재나열이 이루어진다.
부호 재나열부에 의해 JPEG 데이터(17)의 순서를 블록을 단위로 하여 재나열하여, JPEG 데이터(19)를 생성한다. 이 순서의 JPEG 데이터(19)를 복호하면, 원화상의 영역(16)과 블록의 순서가 일치한 대응 화상(20)을 얻을 수 있다.
도 6의 예에서는, 원화상의 가로폭과 3개의 매크로블록의 합계의 폭이 동등한 예이다. 그러나, 화상 처리의 단위의 가로폭이 복수 매크로블록으로 이루어지는 예에서는, 도 7에 도시하는 바와 같이, 화상 처리 단위의 가로폭으로서 복수종류가 존재하는 경우도 있다. 예를 들면 화상 처리 단위와 화상의 가로폭이 정수비가 아니기 때문에, 최후의 처리만 크기가 다른 것이 있다. 복수종류의 가로폭의 합계는, 화상의 가로폭과 동등하게 된다. 이 경우, 부호화시의 단락의 간격을 바꿈에 의해, 도 6과 마찬가지로 재나열을 할 수 있다. 즉, 화상(116)을 JPEG 부호화하고, JPEG 데이터(117)를 얻는다. 이 JPEG 데이터(117)에 대응하는 화상(118)은, 원화상과 상위하기 때문에, 재나열 후의 JPEG 데이터(119)를 생성한다. 이 JPEG(119)의 대응 화상(120)은, 원화상에 일치한 것으로 된다.
본 발명의 한 실시 형태에 관해 설명하면, 도 8은, 본 발명에 의한 촬상 장치 예를 들면 디지털 스틸 카메라의 한 실시 형태의 구성을 도시한다. 도 8에서, 참조 부호 1이 렌즈 장치를 나타내고, 참조 부호 2가 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 나타낸다. 촬상 소자(2)에 대해서는, 예를 들면 Bayer 배열의 삼원색 컬러 필터가 마련되어 있고, 촬상 소자(2)의 출력으로서 삼원색 신호가 얻어진다. 이 삼원색 신호가 A/D 컨버터(3)에 의해 디지털 신호로 변환된다.
A/D 컨버터(3)로부터의 디지털 촬상 신호가 LSI(Large Scale Integrated Circuit : 대규모 집적 회로)의 구성으로 된 디지털 처리의 카메라 신호 처리부(4)에 입력된다. 카메라 신호 처리부(4)에서는, 화이트 밸런스 보정 처리, 보간 처리, 필터링 처리, 매트릭스 연산 처리, 감마 보정 처리, 휘도 신호(Y) 생성 처리, 색차 신호(Cr, Cb) 생성 처리 등을 행한다. 카메라 신호 처리부(4)에 의해 생성된 화상 신호가 디스플레이(5)에 공급되어, 촬상 화상이 표시된다. 또한, 카메라 신호 처리부(4)로부터의 화상 데이터가 사이즈 변환, 압축 처리 등을 받아서 내부 또는 외부 기억 매체(9)에 기억된다.
화이트 밸런스 보정 처리는, 피사체의 색온도 환경의 차이, 컬러 필터에 의한 감도의 차이에 의한 각 색 사이의 언밸런스를 보정한다. 보간 처리는, 존재하지 않는 색 신호를 보간하는 처리이다. 필터링 처리는, 고역 주파수 보정 처리이고, 윤곽 강조를 위한 처리이다. 매트릭스 연산 처리는, 촬상 신호를 sRGB로 변환하는 처리이다. 감마 보정 처리에 의해, 표시 장치가 갖는 비선형 특성의 역(逆)보정을 미리 행함으로써, 최종적으로 리니어한 특성이 실현된다.
휘도 신호 생성 처리는, 감마 보정된 RGB 신호를 소정의 합성비로 합성함에 의해 휘도 신호를 생성한다. 색차 신호 생성 처리 블록은, 감마 보정된 RGB 신호를 소정의 합성비로 합성함에 의해 색차 신호를 생성한다. 생성된 색차 신호가 대역 제한의 처리를 받아서, 색차 신호(Cb 및 Cr)가 생성된다.
카메라 신호 처리부(4)의 출력(Y, Cr, Cb)이 사이즈 변경부(6)에 입력되고, 화상 사이즈가 등배, 확대 또는 축소된다. 사이즈 변경부(6)의 출력 데이터가 예를 들면 JPEG의 부호화부(7)에 입력된다. 부호화부(7)는, DCT(Discrete Cosine Transform : 이산 코사인 변환)과 양자화기와 가변 길이 부호화기로 구성되어 있다.
DCT에서는, (8×8)화소의 블록 단위로 DCT 연산이 이루어지고, DC(Direct Current : 직류) 계수 및 AC(Alternate Current : 교류) 계수로 이루어지는 DCT 계수가 얻어진다. DC 계수 및 AC 계수가 제각기 양자화된다. 양자화된 DC 계수는, 직전의 블록의 DC 계수와의 차분치가 부호화된다. 단, 단락을 나타내는 소정의 값의 코드인 단락 코드가 삽입된 직후는, DC 계수의 값 자체가 부호화된다. 양자화된 AC 계수의 경우에는, 블록 내에서 지그재그 스캔에 의해 재나열한 후에 가변 길이 부호화된다. 부호화부(7)에 의해 압축된 압축 화상 데이터가 재나열부(8)에 공급된다. 재나열부(8)는, JPEG에서 규정된 정규의 처리 방향으로 압축 화상 데이터를 재나열하는 것이다. 즉, 정규의 처리 방향이란, JPEG로 복호한 경우에 원래의 화상이 얻어지는 부호화의 순서를 의미한다. 부호화 화상 데이터가 스토리지(9)에 기억된다.
상술한 디지털 스틸 카메라의 신호 처리 등을 제어하기 위해, CPU(Central Processing Unit)(11)가 구비되어 있다. 카메라 신호 처리부(4), 사이즈 변경부(6), 부호화부(7), 재나열 회로(8), 스토리지(9)는, CPU 버스(12)를 통하여 CPU(11)와 접속되고, CPU(11)에 의해 제어 가능한 구성으로 되어 있다. CPU(11)에는, 유저가 조작하는 스위치, GUI(Graphical User Interface) 등의 키(13)의 출력이 입력된다. 또한, CPU 버스(12)에 대해 프로그램 등이 격납되어 있는 ROM(14) 및 CPU(11)의 작업용의 메모리로서의 RAM(15)이 접속되어 있다. RAM(15)에는, CPU(11)의 제어에 의해 화상 데이터가 축적 가능하게 되어 있다. 또한, 도 8의 구성에서는, 간단함을 위해, 스토리지(9)로부터 판독된 압축 화상 데이터를 디코드하여 디 스플레이(5)에 표시하기 위한 구성에 관해서는 생략되어 있다.
본 발명은, 상술한 디지털 스틸 카메라의 구성중에서, 사이즈 변경부(6), 부호화부(7), 재나열 블록(8)에서의 처리에 있어서, 고속의 처리 및 대용량 메모리를 불필요하게 하는 것이다. 또한, 이 한 실시 형태에서의 JPEG는, 부호화 단위로서의 매크로블록의 사이즈가 (16×8)화소이고, (8×8)화소의 휘도(Y) 블록의 2개와, 각각이 (8×8)화소의 색차(Cr, Cb) 블록으로 구성되어 있다. 색차 데이터의 수평 방향의 화소의 간격은, 휘도 데이터의 2배로 되어 있다. 따라서, 1화소당의 비트수는, (Y=8비트, Cr=4비트, Cb=4비트)의 16비트로 된다. 휘도 데이터 및 2개의 색차 데이터는, 분리하여 각각 처리의 대상이 된다. 색차 데이터의 처리는, 휘도 데이터와 마찬가지이기 때문에, 이하의 설명에서는, 휘도 데이터의 처리에 관해 설명한다.
본 발명의 이해를 용이하게 하기 위해, 최초에 도 9를 참조하여 종래의 구성에 관해 설명한다. 화상 처리의 예로서 화상의 확대에 관해 설명한다. 도 9에서, 참조 부호 21이 외부 메모리를 나타내고, 참조 부호 24가 사이즈 변경부를 나타낸다. 사이즈 변경부(24)는, 한 예로서, 사이즈를 2배로 확대하는 보간 디지털 필터를 갖는 구성으로 되어 있다. 종래의 구성에서는, 2배로 확대한 후에 부호화 단위인 매크로블록의 사이즈가 되도록, 외부 메모리(21)로부터 화상 데이터가 판독된다.
2배로 확대한 화상을 매크로블록의 크기와 동등한 것으로 하기 위해, 사이즈 변경부(24)는, 외부 메모리(21)의 음영을 붙인 (4×8)화소의 영역(22)을 확대하도 록 된다. 사이즈 변경부(24)는, FIR 필터와 같은 보간 필터를 사용하기 때문에, 예를 들면 영역(22)을 포함한 (16×12)화소의 영역(23)을 외부 메모리(21)로부터 판독하도록 된다. 즉, 보간 필터는, 본래의 영역에 대해 횡방향 및 종방향의 각각에서 (4+4)화소를 필요로 하기 때문에, 판독 화소수가 증가한다. 또한, 본 발명은, 확대뿐만 아니라, 축소 처리에 대해서도 적용할 수 있다.
사이즈 변경부(24)의 내부를 전송된 확대 후의 (8×16)의 매크로블록의 데이터(25)가 메모리를 통하지 않고 직접, 부호화부(26)에 전송되고, JPEG의 부호화가 이루어진다. 부호화 데이터로서의 JPEG 데이터가 외부 메모리(27)에 기록된다. JPEG의 규격에서는, 화상의 좌단(左端)부터 우단을 향하는 방향이 정규의 처리 방향이라고 규정되어 있고, 영역(22)을 판독하는 순서가 정규의 처리 방향과 동일하게 되어 있다. 외부 메모리(27)와 외부 메모리(21)는, 같은 RAM상에 다른 메모리 영역으로서 구성할 수 있다.
도 9에 도시되는 종래의 구성은, JPEG 데이터를 매크로블록 단위로 차례로 복호함에 의해 확대 화상을 복원할 수 있다. 그러나, 화상 처리의 단위의 블록이 확대 후에 매크로블록으로 되는 작은 사이즈로 되어 있기 때문에, 확대의 대상으로 하는 영역(22)의 횡방향의 화소수의 2배의 화소수와, 종방향의 화소수의 3배의 화소수의 합계 6배의 화소수를 외부 메모리(21)로부터 판독하는 것이 필요하고, 고속의 판독을 필요로 하기 때문에, 넓은 메모리 대역을 필요로 한다는 문제가 있다. 또한, 후술하는 바와 같이, 전체로서 메모리에 대한 액세스량이 많다는 문제를 갖고 있다.
도 9에 도시하는 종래의 구성은, 사이즈 변경부(24)가 (16×8)의 사이즈의 부호화 단위로 확대 처리를 행하는 것이다. 이에 대해, 확대 처리의 단위를 보다 큰 사이즈로 함에 의해, 상술한 메모리 대역이 필요한 것, 및 액세스량이 많다는 문제를 저감하도록 한 구성예를 도 10에 도시한다.
음영을 붙인 (64×64)화소의 영역(28)이 확대 처리의 대상으로 하는 영역이다. 사이즈 변경부(24)는, 외부 메모리(21)로부터 (72×72)화소의 영역(29)을 판독한다. 사이즈 변경부(24)는, 영역(28)을 2배로 한 (128×128)화소의 영역(30)의 화상 데이터를 생성한다. 이 영역(30)의 화상 데이터는, JPEG의 매크로블록의 사이즈와 다르기 때문에, 부호화부(26)에 대해 직접 전송할 수 없다. 즉, 확대 화상의 데이터는, 1장 예를 들면 1프레임분의 용량을 갖는 외부 메모리(31)에 기록되고, 외부 메모리(31)로부터 매크로블록 단위로 화상 데이터가 판독된다. 이와 같이, (64×64)의 영역(28)의 처리를 위해, (72×72)화소의 영역(29)이 필요해지기 때문에, 전송하여야 할 데이터는 약 1.27배가 된다. 이 비율은, 그다지 높은 전송 속도를 요구하는 것이 아니다. 단, 후술하는 바와 같이, 본 발명에 의한 처리와 비교하여 전체로서 액세스량이 많다는 문제가 있다.
외부 메모리(31)로부터는, JPEG의 매크로블록 (16×8)화소의 영역이 판독된다. 판독의 순서는, JPEG에서 규정된 정규의 처리 방향으로 된다. 판독된 매크로블록의 데이터가 부호화부(26)에 의해 JPEG로 부호화된다. 부호화부(26)로부터 외부 메모리(27)에 대해 부호화 데이터로서의 JPEG 데이터가 매크로블록 단위로 기록된다.
도 9의 구성에서는, 매크로블록 단위로 사이즈 변경을 행하고 있기 때문에, 사이즈 변경부(24) 내에 구비하는 것이 가능한 비교적 소용량의 내부 메모리(25)를 사용할 수 있다. 그러나, 도 10의 구성에서는, 매크로블록 단위로 잘라낸 화상 데이터를 부호화부(26)에 공급할 필요가 있기 때문에, 확대 화상 전체를 축적하는 것이 가능한 대용량의 외부 메모리(31)가 필요하게 된다.
도 11은 본 발명의 한 실시 형태의 구성을 도시한다. 도 10에 도시하는 구성예와 마찬가지로, 음영을 붙인 (64×64)화소의 영역(28)이 확대 처리의 대상으로 되기 때문에, 사이즈 변경부(24)는, 외부 메모리(21)로부터 블록에 주변의 화소를 부가한 (72×72)화소의 영역(29)을 사용하여 확대 처리를 행한다. 이 경우, 영역(28)이 (64×4)화소의 영역(블록이라고 적절히 칭한다)으로 분할되고, 블록마다 판독 및 확대의 처리가 이루어진다. 따라서 사이즈 변경부(24)는, 블록을 2배로 한 (128×8)화소의 데이터를 출력한다. 사이즈 변경부(24)의 출력하는 순서는, JPEG의 정규의 처리 방향과 다르다.
본 발명에서는, 사이즈 변경 처리의 순서를 변경하지 않고 JPEG의 부호화를 행하기 때문에, 화상 데이터를 직접 전송하는 것이 가능하다. 또는, 소용량의 메모리에 의해 블록을 복수의 매크로블록으로 분할하면 좋다. 한 실시 형태에서는, 사이즈 변경부(24)의 출력 데이터가 비교적 소용량의 내부의 메모리(32A 및 32B)에 내부 전송되고, 메모리(32A 및 32B)에 교대로 기록된다. 부호화의 단위인 매크로블록의 사이즈를 (16×8)화소로 하면, 2배 처리 후에 세로가 8화소이고, 가로가 16화소의 정수배가 되는 블록을 단위로 하여 확대 처리 후의 데이터가 처리된다. 블록 은, (64×4)화소의 사이즈이다. 확대 처리 후의 사이즈인 (128×8)화소의 영역도 블록이라고 칭한다.
메모리(32A 및 32B)는, 2뱅크의 구성으로 되고, 한쪽의 메모리에 대해 (128×8)화소의 블록의 화상 데이터가 기록되는 기간에는, 다른쪽의 메모리로부터 JPEG의 매크로블록 단위로 화상 데이터가 판독된다. (128×8)화소의 블록은, 원화상(28)의 (64×4)화소의 블록에 대응하고 있다. 도 9의 구성예와 마찬가지로, (64×64)의 영역(28)의 처리를 위해, (72×72)화소의 영역(29)이 필요해지기 때문에, 전송하여야 할 데이터는, 약 1.27배가 된다. 이 비율은, 그다지 높은 전송 속도를 요구하는 것은 아니다.
메모리(32A, 32B)로부터는, JPEG의 매크로블록 (16×8)화소의 단위로 데이터가 차례로 판독된다. 메모리(32A, 32B)에는, 각각 8개의 매크로블록분의 화상 데이터 (128×8)화소가 격납되어 있다. 판독된 매크로블록의 데이터가 부호화부(26)에 의해 JPEG로 부호화된다. 부호화부(26)로부터 외부 메모리(33)에 대해 JPEG 데이터가 매크로블록 단위로 기록된다.
외부 메모리(33)에 축적되는 JPEG 데이터는, 부호화의 순서가 JPEG의 규격에서 규정되어 있는 것이과 상위하고, 규격에 의거하여 구성되어 있는 디코더에 의해 복호하여도 올바르게 화상을 복원할 수 없다. JPEG의 규격에서 규정되어 있는 부호화의 순서는, 화상의 좌단부터 우단을 향하는 순서이다.
그래서, 외부 메모리(33)에 축적된 JPEG 데이터가 부호 재나열부(34)에서 처리되고, JPEG 데이터의 재나열이 이루어진다. 부호 재나열부(34)는, 예를 들면 외 부 메모리(33)의 판독 어드레스를 제어함에 의해 재나열을 행할 수 있다. 외부 메모리(33)는, 재나열을 위해 확대 화상 전체의 용량의 메모리를 구비하고 있는 것이 필요하게 된다. 그러나, JPEG로 데이터량이 몇분의 1로 압축되어 있기 때문에, 데이터 용량이 원화상 데이터를 축적하는 것과 비교하여 작아도 좋다.
부호 재나열부(34)로부터 외부 메모리(35)에 대해 처리 방향이 정규의 것으로 된 JPEG 데이터가 출력되고, 축적된다. 외부 메모리(35)에는, 정규의 처리 방향의 순서의 JPEG 데이터가 축적된다. 따라서 이 JPEG 데이터를 규격에 의거하여 구성된 디코더에 의해 복호함에 의해, 올바르게 화상을 복원할 수 있다.
도 12는, 도 9, 도 10 및 도 11의 구성에 관해 메모리 액세스(기록 또는 판독)량을 비교하여 표시하는 표이다. 예를 들면 원화상의 X바이트의 데이터를 JPEG에 의해 1/3로 압축 부호화한 경우를 상정하고 있다. 도 9의 구성에서는, (4×8)화소의 영역(22)을 확대하기 위해, 그 6배의 화소 수인 (16×12)화소의 영역(23)을 외부 메모리(21)로부터 판독하고, 판독 데이터를 직접 부호화부(26)에 대해 전송하기 위해, 화상의 액세스량이 6X바이트로 된다. 또한, JPEG 데이터의 메모리에의 액세스의 량은, 외부 메모리(27)에 대해 1회 기록을 행할 뿐이기 때문에 X/3바이트로 된다. 따라서, 합계의 메모리 액세스량(=화상 액세스량+부호 액세스량)이 19X/3바이트로 된다.
도 10에 도시하는 구성예에서는, 외부 메모리(21)에 대한 화상 액세스량은, 외부 메모리(21)로부터의 판독이 1.27배의 화소수의 영역의 판독을 필요로 하고, 외부 메모리(31)에 대해 2배로 확대된 영역(30)의 기록과 매크로블록의 화상 데이 터의 판독을 필요로 하기 때문에, 화상의 액세스량이 (1.27+2=3.27)X바이트로 된다. JPEG 데이터의 메모리에의 액세스의 량은, 외부 메모리(27)에 대해 1회 기록을 행할 뿐이기 때문에 X/3바이트로 된다. 따라서, 합계의 메모리 액세스량(=화상 액세스량+부호 액세스량)이 10.81X/3바이트로 된다.
본 발명의 한 실시 형태(도 11)의 구성에서는, 외부 메모리(21)에 대한 화상 액세스량은, 외부 메모리(21)로부터의 판독이 1.27배의 화소수의 영역의 판독을 필요로 한다. 부호화부(26)에 직접 화상 데이터를 전송하는 것을 상정하면, 화상의 액세스량이 1.27X바이트로 된다.
부호 재나열을 위해, 외부 메모리(33)에 대한 기록 및 판독이 필요하게 되고, 외부 메모리(35)에의 기록이 이루어지기 때문에, 3회의 액세스가 필요하게 된다. 기록 또는 판독되는 데이터는, JPEG 데이터이기 때문에, 부호 액세스량은, (3X/3바이트)로 된다. 따라서, 합계의 메모리 액세스량(=화상 액세스량+부호 액세스량)이 6.81X/3바이트로 되고, 가장 적은 것으로 된다. 또한, 한 실시 형태에서는, 메모리(32A, 32B)에 대한 액세스를 행하고 있기 때문에, 화상 액세스량이 증가한다. 그러나, 메모리(32A, 32B)를 마련하지 않고, 직접, 사이즈 변경부(24)의 출력을 부호화부(26)에 전송할 수 있다. 또한, 메모리(32A, 32B)로서, 내부의 메모리를 사용할 수 있기 때문에, 데이터 전송 속도를 높게 하는 것이 가능하기 때문에, 액세스량이 증가함에 의한 영향을 적게 할 수 있다.
본 발명의 한 실시 형태의 처리에 관해 도 13을 참조하여 설명한다. 도 13에서, 참조 부호 41이 확대 처리의 대상으로 하는 원화상의 화상 전체 예를 들면 (128×12)화소의 영역을 나타낸다. 이 영역(41)이 6개의 (64×4)화소의 블록으로 분할된다. 6개의 블록에 대해 각각 1 내지 6의 번호를 붙여서 나타낸다. 각 블록마다 확대 처리가 이루어진다. 또한, 도 13에서, 각 블록 내에 그려져 있는 화살표는, 그 영역에 대하는 처리의 순서를 나타내고, 도면을 향하여 각 영역의 좌상의 코너로부터 시작하여 우하의 코너에 이르는 순서로 처리가 이루어진다. 블록 내의 부호화의 순서는, JPEG의 정규의 처리 방향과 일치하고 있다. 단, 블록을 단위로 하는 처리의 방향은, 정규의 처리 방향과 다르기 때문에, 재나열이 필요하게 된다. 즉, 순번대로 블록 단위로 화소를 판독하면, 1, 2, 3, …로 붙인 번호의 순서로 각 블록의 데이터가 판독된다.
제 1번째의 (64×4)화소의 블록이 사이즈 변경부(24)에 의해 처리되고, 종횡의 각각이 2배인 (128×8)화소의 블록(42)의 화상 데이터가 생성된다. 이 화상 데이터(42)가 내부의 메모리(32A, 32B)의 한쪽에 기록된다. 메모리(32A, 32B)로부터의 데이터의 판독의 순서를 변경하고, (16×8)화소의 JPEG의 매크로블록(43)의 단위로 화상 데이터가 판독된다. 판독된 매크로블록의 데이터(43)가 부호화부(26)에서 부호화된다. 블록(42)의 화상 데이터에 대응하는 JPEG 데이터(44)가 얻어진다. JPEG 데이터의 데이터 블록(45)은, 매크로블록(43)에 대응하는 것이다.
원화상의 영역(41)이 상술한 바와 같이 처리되고, 6개의 블록과 각각 대응하는 JPEG 데이터(46)가 생성된다. 이 순서의 JPEG 데이터(46)를 그대로 복호하면, 복호 화상(47)이 얻어진다. 그러나, 복호 화상(47)은, 원화상의 영역(41)과 블록의 순서가 상위하여 있고, 원화상과 다른 화상으로 된다.
그래서, 부호 재나열부(34)에 의해 JPEG 데이터(46)의 순서를 블록을 단위로 하여 정규의 것으로 재나열하여, JPEG 데이터(48)를 생성한다. 이 순서의 JPEG 데이터(48)를 복호하면, 원화상의 영역(41)과 블록의 순서가 일치한 복호 화상(49)을 얻을 수 있다.
도 14는, 본 발명에 의한 화상 처리의 흐름을 도시하는 플로우 차트이다. 이 플로우 차트에서 도시하는 처리는, CPU(11)(도 8 참조)와 같은 신호 처리부를 제어하는 컴퓨터에 의한 제어에 의해 실현된다. 최초의 스텝 S1에서, 화상이 블록 단위로 메모리로부터 판독된다. 블록은, 도 13의 예에서는 (64×4)화소이다.
스텝 S2에서, 화상 처리 예를 들면 종횡 각각이 2배로 되는 확대 처리가 이루어진다. 스텝 S3에서, 확대 처리된 (128×8)화소의 데이터가 (16×8)화소의 매크로블록 단위로 부호화부(26)에 대해 입력된다. 스텝 S4에서, 부호화부(26)가 입력된 순서로 화상 데이터를 부호화한다.
스텝 S5에서, 부호화 데이터 예를 들면 JPEG 데이터가 메모리에 기록된다. 스텝 S6에서는, 블록 데이터 예를 들면 (128×8)화소의 데이터를 처리하였는지의 여부가 판정된다. 처리가 종료되지 않은 경우에는, 처리가 스텝 S3으로 되돌아와, 부호화 처리(스텝 S3 내지 S5)가 반복된다.
스텝 S6에서, 블록의 데이터를 처리가 종료된 것이라고 판정되면, 스텝 S7에서, 확대 화상의 전체의 처리가 완료되었는지의 여부가 판정된다. 완료하지 않은 경우에는, 스텝 S8에서, 미리 결정되어 있는 소정의 값의 단락 코드가 삽입된다. 즉, JPEG 데이터의 블록마다의 단락에 단락 코드가 삽입된다.
가변 길이 부호화되어 있는 1블록분의 JPEG 데이터가 바이트의 정수배의 길이로 되도록 스테핑 비트가 부가되고, 그 후에 단락 코드(16비트)가 부가된다. 도 15의 A는, JPEG 데이터의 한 예를 도시한다. 최소 부호화 단위로서의 JPEG MCU(Minimum Coded Unit)는, 매크로블록에 대응하여 발생한 데이터이다. 허프만 부호화가 이루어져 있기 때문에, JPEG MCU는, 가변 비트 길이를 갖는다.
최소 부호화 단위와 재나열의 단위가 일치한다고는 한하지 않는다. 예를 들면 (2×2)의 매크로블록이 화상 처리 단위로 되는 경우에는, JPEG의 부호화의 방향과 일치하는 방향, 즉, 횡방향의 매크로블록의 개수가 2개로 되고, 2개의 매크로블록이 재나열 단위로 된다. 도 15의 A 및 도 15의 B에서는, 1블록이 2개의 매크로블록으로 이루어지는 것으로 하고 있다. 도 15의 B에 도시하는 바와 같이, 2개의 매크로블록의 각각의 JPEG 데이터 JPEG MCU1 및 JPEG MCU2에 대해 6비트의 스테핑 비트가 부가된다. 그로 인해, (17+25+6=48비트=6바이트)와 블록의 JPEG 데이터가 바이트의 정수배로 할 수 있다. 스테핑 비트의 후에 16비트의 단락 코드가 삽입된다.
이와 같이, 단락 코드는, 재나열 단위의 단락을 나타내고 있다. 이 단락은, ECS(Entropy Coded Segment)라고 칭해진다. 따라서 재나열은, ECS 단위로 이루어진다. JPEG 데이터의 DC(직류) 계수는, 전(前)의 데이터 블록의 DC 계수와의 차분의 데이터를 전송하도록 하고 있고, 단락 코드의 다음의 DC 계수의 데이터는, 차분이 아니라, DC 계수의 값 그 자체로 되어 있다.
스텝 S7에서, 확대 화상의 전체의 처리가 완료되었다고 판정되면, 스텝 S9에서, JPEG 데이터가 메모리로부터 판독되고, 스텝 S10에서, JPEG 데이터가 블록 단 위로 재나열한다. 스텝 S11에서, 재나열이 된 JPEG 데이터가 메모리에 기록된다.
상술한 본 발명의 한 실시 형태는, JPEG에 대해 본 발명을 적용한 것이지만, 본 발명은, MPEG를 부호화 방법으로서 사용하는 경우에 대해서도 적용할 수 있다. 그 경우에는, 1블록의 화상에 대응하는 MPEG 데이터마다 단락으로서 미리 결정되어 있는 소정의 값의 슬라이스 스타트 코드가 삽입된다.
도 16의 A 및 도 16의 B를 참조하여 슬라이스 스타트 코드의 삽입에 관해 설명한다. 도 16의 A가 MPEG 데이터의 스트림을 도시한다. 간단함을 위해 2개의 매크로블록에 대응하는 2개의 데이터 블록이 1블록의 화상 데이터에 대응하는 것으로 하고 있다. 도 16의 B에 도시하는 바와 같이, 2개의 매크로블록의 각각의 MPEG 데이터에 대해 6비트의 스테핑 비트가 부가된다. 그로 인해, (17+25+6=48비트=6바이트)와 블록의 MPEG 데이터를 바이트의 정수배로 할 수 있다. 스테핑 비트의 후에 32비트의 슬라이스 스타트 코드 삽입된다.
상술한 블록의 가변 길이 데이터의 단락을 나타내는 단락 코드(JPEG) 및 슬라이스 스타트 코드(MPEG)는, 재나열 처리에 수반하여 값을 재기록하는 것이 필요하게 된다. 단락 코드는, H'FFDx(H'는 16진 표기를 의미한다)로 결정되어 있다. x는, 단락 코드의 회수를 8로 나눈 나머지의 값이다. 또한, 슬라이스 스타트 코드 H'000001xx(H'는 16진 표기를 의미한다)로 결정되어 있다. xx는, 슬라이스 화상에서의 매크로블록 단위의 수직 위치의 값이다. x 및 xx의 부분은, 재나열에 수반하여 규격에 맞도록 변경하는 것이 필요하게 된다.
도 17은, 단락 코드의 재기록 처리를 도시하는 것이다. 도 13을 참조하여 설 명한 바와 같이, 6개의 블록과 각각 대응하는 JPEG 데이터(46)가 생성된다. JPEG 데이터(46)의 블록의 데이터의 단락에는, 도 17에 도시하는 바와 같이, H'FFD0 내지 H'FFD5의 단락 코드가 각각 삽입되어 있다.
그리고, 도 17에서 화살표로 도시하는 바와 같이, 부호 재나열부(34)에 의해 JPEG 데이터(46)의 순서를 블록을 단위로 하여 재나열하여, JPEG 데이터(48)가 생성된다. 재나열의 결과에 대응하도록, 단락 코드가 재기록된다. 예를 들면 JPEG 데이터(46)에서 4번째의 블록(4)의 코드는, JPEG 데이터(48)에서 2번째의 블록의 코드로 재나열되기 때문에, 단락 코드 H'FFD3이 H'FFD1로 재기록된다.
도 17은, 단락 코드의 재기록의 처리를 도시하고 있지만, MPEG 스트림에 삽입되는 슬라이스 스타트 코드의 xx의 값도, 재나열 후의 배치에 대응하도록 재기록된다.
도 18의 A 및 도 18의 B는, 재나열부(34)에서 단락 코드를 삭제하는 처리의 예를 설명하는 것이다. 도 18의 A는, 도 16의 B에 도시하는 JPEG 데이터의 스트림과 마찬가지로 바이트 단위로 되고, 1블록의 JPEG MCU마다 단락 코드가 삽입된 것이다. 단락 코드를 삽입함에 의한 용장도의 증가의 영향을 적게 하기 위해, 도 18의 B에 도시하는 스트림과 같이, 단락 코드가 삭제된다. 단락 코드의 삭제는, JPEG의 규격에 반하는 것을 피하기 위해 필요하게 되는 경우도 있다.
그러나, 단락 코드의 후의 최초의 매크로블록에 대응하는 JPEG MCU3의 DC 계수 DC1은, 0과의 차, 즉, 값 그 자체로 되어 있기 때문에, 단락 코드의 삭제를 행한 도 18의 B에 도시하는 스트림에서는, JPEG MCU3의 최초의 매크로블록의 DC 계수 를 전의 JPEG MCU2의 최후의 매크로블록의 DC 계수와의 차분으로 할 필요가 있다.
단락 코드의 삭제의 처리의 3가지의 방법에 관해 설명한다. 도 19는, 제 1의 방법을 도시한다. 이 방법에서는, 부호화시에, JPEG MCU2(이하, 단지 MCU2라고 표기한다)의 시작 위치 또는 그 종료 위치, 또는 스테핑 비트수와, 단락 코드의 직전의 최소 부호화 단위인 MCU2의 DC 성분을 전송 또는 기록되는 데이터와 관련시켜서 기록 또는 보존하여 둘 필요가 있다. 그로 인해, 많은 부호를 복호하지 않고, DC 성분의 부호화 데이터를 재기록할 수 있다. 기록 또는 보존의 방법으로서는, 스트림중에 이들의 데이터를 삽입하거나, 메모리에 이들의 정보를 기억하는 방법을 채용할 수 있다.
스텝 S21에서, 기록되어 있는 MCU2의 시작 위치 또는 그 종료 위치, 또는 스테핑 비트의 비트수로부터, 단락 코드를 삭제한 후의 MCU3의 새로운 선두 위치(a)를 계산한다. 위치(a)는, MCU2의 종료 위치와 일치한다. MCU2의 시작 위치를 알면, 복호함에 의해, 1매크로블록의 데이터의 종단의 코드(EOB)가 검출되고, MCU2의 종료 위치를 알 수 있다. 또한, 단락 코드가 검출되면, 스테핑 비트의 비트수로부터 MCU2의 종료 위치를 알 수 있다.
스텝 S22에서, MCU3의 DC 성분을 복호한다. MCU3의 DC 성분은, 절대치를 부호화한 데이터가 전송되기 때문에, 복호하여 DC 성분을 얻을 수 있다. 그리고, 미리 기록하여 둔 MCU2의 DC 성분과 MCU3을 복호한 DC 성분과의 차분을 연산하고, 차분을 허프만 부호화하여, 새로운 MCU3의 DC 성분의 부호화 데이터가 얻어진다.
스텝 S24에서, 새로운 선두 위치(a)로부터 MCU3을 채운다. 따라서, 스테핑 비트 및 단락 코드가 삭제된다. MCU3에 배치되는 DC 성분의 부호화 데이터는, 차분을 부호화한 데이터로서, 원래 삽입되어 있던 DC 성분의 부호화 데이터(절대치)와는, 비트 길이가 다른 데이터이다.
또한, 도 20에 도시하는 바와 같이, 처음부터 단락 코드를 삽입하지 않고, 스테핑 비트의 삽입과, DC 성분의 차분 예측치를 0으로 하는, 즉, MCU3의 DC 성분의 부호화 데이터가 DC 성분 그 자체의 값의 부호화 데이터인 경우에도 제 1의 방법을 적용할 수 있고, MCU3에 배치되는 DC 성분의 부호화 데이터는, 차분을 부호화한 데이터로 된다. 또한, 단락 코드를 삽입하지 않는 예에 대해, 이하에 기술하는 제 2의 방법 및 제 3의 방법을 마찬가지로 적용할 수 있다.
도 21은 단락 코드의 삭제 처리의 제 2의 방법을 도시한다. 제 2의 방법에서는, 부호화시에 MCUX의 선두 위치(b)를 전송 또는 기록되는 데이터와 관련시켜서 기록, 보존하여 둔다. 단, 제 1의 방법과 달리, MCU2의 DC 성분은, 기록하지 않는다. MCUX는, 스테핑 비트의 직전에 배치된 더미의 최소 부호화 단위이다. 바람직하게는, 소정의 화소치의 DC만으로 이루어지는 매크로블록을 JPEG 부호화하여 얻어지는 최소 부호화 단위이다. 예를 들면 전면(全面) 흑색의 화상에서, DC 성분의 값이 0으로 되어 있다. 다른 예로서는, 휘도 데이터(Y), 2개의 색차 데이터(Cr, Cb)의 모든 값이 0인 데이터를 사용하여도 좋다.
스텝 S31에서, MCUX의 선두 위치와 일치하는 MCU3의 새로운 선두 위치(b)가 얻어진다. 다음에, 스텝 S32에서, MCUX의 DC 성분과 MCU3의 DC 성분이 복호된다. MCUX의 DC 성분에 대응하는 부호화 데이터는, 하기한 차분을 부호화한 데이터이기 때문에, MCUX의 DC 성분에 대응하는 부호화 데이터를 복호한 값은, MCU2의 DC 성분이다. 따라서 차분을 연산할 필요가 없다.
MCUX의 DC 성분에 대응하는 부호화 데이터=(MCUX의 DC 성분(예를 들면 0)-MCU2의 DC 성분)을 부호화한 데이터
스텝 S33에서, 복호하여 얻어진 MCUX의 DC 성분, 즉, 상술한 바와 같이, -(MCU2의 DC 성분)과 MCU3의 DC 성분과의 차분이 구해지고, 차분이 부호화되어, 새로운 MCU3의 DC 성분의 부호화 데이터가 얻어진다. 스텝 S34에서, MCU3 이후의 데이터를 새로운 선두 위치(b)로부터 채운다. 따라서 스테핑 비트 및 단락 코드가 삭제된다.
도 22는, 단락 코드의 삭제의 처리의 제 3의 방법을 도시한다. 제 3의 방법은, DC 성분의 부호화 데이터를 복호하는 것을 불필요하게 할 수 있다. 또한, 데이터를 MCU3의 후에 MCU4를 채우는 처리를 행하기 때문에, 처리가 간단하다.
제 3의 방법에서는, 부호화시에 MCU3의 선두 위치 또는 종료 위치, 또는 스테핑 비트수를 전송 또는 기록되는 데이터와 관련시켜서 기록하고, 또는 보존하여 둔다. 또한, 전송 또는 기록되는 데이터중에, MCU2의 후에 MCU3을 삽입함과 함께, 단락 코드의 직후에 MCU3'을 삽입한다. MCU3의 DC 성분의 부호화 데이터는, 전의 MCU2의 DC 성분과 MCU3의 DC 성분과의 차분을 부호화한 것이다. 이에 대해, MCU'3의 DC 성분의 부호화 데이터는, 단락 코드의 직후에 배치되어 있기 때문에, DC 성분 그 자체의 값이다.
스텝 S41에서는, MCU3의 선두 위치 또는 종료 위치, 또는 스테핑 비트수 이 들의 정보를 사용하여 MCU4의 새로운 선두 위치(c)가 계산된다. MCU3의 종료 위치와 MCU4의 선두 위치(c)가 일치한다. MCU3의 시작 위치로부터 복호를 시작하여 EOB를 검출한 위치를 MCU3의 종료 위치로서 검출하여도 좋다. 또한, 단락 코드의 위치를 알고 있기 때문에, 스테핑 비트수를 사용하여 위치(c)를 구하여도 좋다. 스텝 S42에서는, MCU3의 후에, MCU4 이후의 새로운 선두 위치로부터 채워진다.
도 19에 도시되는 제 1의 방법 또는 도 22에 도시되는 제 3의 방법에서는, 스테핑 비트수를 기록하여 둘 것이 필요하게 된다. 도 23의 A 및 도 23의 B는, 스테핑 비트의 비트수를 스트림중에 기록하는 방법을 도시한다. 도 23의 A에 도시하고, 상술한 바와 같이, 단락 코드는, H'FFDx(H'는 16진 표기를 의미한다)로 결정되어 있다. x는, 단락 코드의 회수를 8로 나눈 나머지의 값이다.
이 x의 값은, 0 내지 7로 된다. 따라서 도 23의 B에 스테핑 비트의 비트수가 5인 경우의 예를 도시하는 바와 같이, 스테핑 비트수를 x의 값으로서 스트림중에 기록할 수 있다. 이 처리는, 규격에 반하는 스트림을 작성한 것이 되지만, 상술한 바와 같이, 단락 코드가 삭제되고, 외부에 출력되는 스트림에는, 단락 코드가 포함되지 않기 때문에, 문제로 되지 않는다.
도 24의 A, 도 24의 B 및 도 24의 C는, JPEG 데이터의 스트림의 생성에서, 재나열 처리에서, 각 재나열 단위의 선두 위치를 알기 쉬운 것으로 하는 처리를 도시한다. 도 24의 A는 JPEG 데이터의 한 예와 그 데이터를 재나열한 후의 데이터를 도시한다. 각 블록의 화상 데이터에 대응하는 JPEG 데이터는, 가변 길이이기 때문에 재나열시에 선두 위치를 알기 어렵다는 문제가 있다. 도 24의 B는, 대응하는 원 화상의 블록의 배치를 도시한다. 재나열 후의 JPEG 데이터를 복호한 경우에, 도 24의 B에 도시하는 화상을 복호할 수 있다.
도 24의 C에 도시하는 바와 같이, 빈(空) 메모리 영역을 형성함에 의해, 메모리에 축적된 JPEG 데이터의 제 1번째, 제 3번째, 제 5번째의 각각의 데이터 블록의 선두 위치가 소정의 간격(L)으로 위치하도록 이루어진다. 재나열 처리시에, 제 3번째 및 제 5번째의 각각의 데이터 블록의 선두 위치를 알면, 재나열 처리를 간단하고 또한 고속으로 할 수 있다. 제 4번째 및 제 6번째의 데이터 블록의 선두 위치는, 재나열이지만 판정할 수 있다. 또한, 빈 영역은, 기록을 행하지 않아도 좋은 영역이기 때문에, 빈 영역에 임의의 데이터가 존재하고 있어도 좋다.
도 25는, 축소 화상(이른바 섬네일)의 생성을 고려한 구성예를 도시한다. 화상 메모리(51)에는, 처리의 대상의 화상이 격납되어 있다. 예를 들면 중복 부분을 갖는 2개의 영역이 존재한다. 화상 메모리(51)의 후에 화상 처리부(52)가 마련되어 있다. 화상 처리부(52)에서는, 전술한 바와 같이, 화상 사이즈 변경, 색수차 보정, 왜곡 보정 등의 처리가 이루어진다.
화상 처리부(52)가 처리 후의 화상 데이터를 출력하는 순서는, JPEG의 정규의 처리 방향과 다르다. 순서를 변경하지 않고, 부호화부(53)에 처리 후의 데이터가 공급되고, 부호화부(53)에서 예를 들면 JPEG의 부호화가 이루어진다. 부호화부(53)로부터 순번이 정규의 방향과 다른 부호화 화상(54)이 얻어진다.
부호화 화상(54)이 재나열부(55)에서 처리되어, JPEG 데이터의 재나열이 이루어진다. 부호 재나열부(55)로부터 외부 메모리(56)에 대해 처리 방향이 정규의 것으로 된 JPEG 데이터가 출력되고, 축적된다. 외부 메모리(56)에는, 정규의 처리 방향의 순서의 JPEG 데이터가 축적된다. 따라서, 이 JPEG 데이터를 규격에 의거하여 구성된 디코더에 의해 복호함에 의해, 올바르게 화상을 복원할 수 있다.
도시한 예에서는, 화상을 축소 처리할 수 있도록, 2개로 중복하여 분할하고, 화상 처리부(52)에 대해 입력한다. 처리 결과에는, 중복부가 존재한다. 부호화부(53)에 대해서는, 중복부를 삭제한 화상을 전송한다. 축소 화상을 생성하기 위해, 부호화 전의 데이터를 화상 처리부(52)의 출력측에서 취출하여 축소부(57)에 공급한다. 이 경우, 중복부가 삭제되지 않는 것이 축소 처리 예를 들면 솎아냄 필터를 사용한 필터링에서 필요하다. 축소부(57)에 의해, 2개의 영역이 각각 축소되고, 축소 화상(58)이 생성된다. 도 24의 A, 도 24의 B 및 도 24의 C의 구성에 의해, 화상 메모리(51)로부터 1회의 화상의 판독으로서, 부호화와 축소 화상 생성의 양쪽이 가능해진다.
도 26은, 복수 예를 들면 2장의 화상(61a 및 61b)을 하나의 부호화부에서 동시에 부호화하는 처리를 도시한다. 각 화상을 6분할함으로써 형성되는 블록 단위로 JPEG 부호화가 이루어진다. JPEG 부호화에서는, 교대로 각 화상의 블록이 부호화되어 부호화 데이터(62)가 얻어진다. 부호화 데이터(62)의 대응 화상을 화상(63)으로서 도시한다.
부호화 데이터(62)가 재나열된다. 대응 화상(65a 및 65b)으로 도시하는 바와 같이, 원화상의 블록의 순번과 일치하는 순번이 되도록, 블록 단위에서의 재나열과 화상 분리가 이루어진다. 재나열 및 분리 후의 부호화 데이터(64a 및 64b)가 형성 된다. 도 26의 구성은, 부호화부의 처리가 전단(前段)의 화상 처리부의 처리 속도에 비하여 빠른 경우, 또는 작은 사이즈의 화상을 복수개 동시에 작성한 경우 등에 유용하다.
2장의 화상(61a 및 61b)을 하나의 부호화부(66)에서 동시에 부호화하는 경우, 도 27에 도시하는 바와 같이, 부호화 특성 예를 들면 양자화 특성을 다르게 하여도 좋다. 화상(61a)에 대해서는, 사선을 부호화한 양자화 테이블(67a)을 사용하고, 화상(61b)에 대해서는, 양자화 테이블(67b)을 사용한다. 부호화부(66)로부터는, JPEG 데이터(68)가 얻어진다. 허프만 테이블을 다르게 하여도 좋다.
도 28은, 1장의 화상을 2개의 처리부(화상 처리부 및 부호화부)에서 처리하는 예를 도시한다. 여기서 설명하는 예에서, 화상 처리부(74a 및 74b)가 중복부를 필요로 하기 때문에, 화상 분할부(72)에서, 1장의 화상(71)이 소정 폭의 중복 부분을 갖도록, 화상(73a 및 73b)으로 분할한다. 중복부가 불필요한 경우에는, 중복시키는 것은 필요하게 되지 않는다.
화상 분할부(72)로부터 출력되는 분할 화상(73a 및 73b)이 각각 화상 처리부(74a 및 74b)에 공급된다. 화상 처리부(74a 및 74b)가 분할 화상(73a 및 73b)과 각각 대응하는 처리 결과 화상(75a 및 75b)을 출력한다. 처리 결과 화상(75a 및 75b)은, 중복 부분을 갖지 않는다.
처리 결과 화상(75a 및 75b)은, 도 29에 도시하는 바와 같이, 블록 단위로 A1, A2, A3, A4, B1, B2, B3, B4의 순서로 다른 부호화부에 대해 출력된다. 각 부호화부가 화상 처리부에서의 입력순으로서 부호화를 행한다. 각 부호화부로부터 JPEG 데이터(76a 및 76b)가 각각 얻어진다. 대응하는 화상(77a 및 77b)으로 도시하는 바와 같이, 순번은 정규의 것은 아니다.
재나열부에 의해 JPEG 데이터(76a 및 76b)가 하나의 JPEG 데이터로 합성됨과 함께, 재나열된다. 대응하는 화상(79 및 80)으로 도시하는 바와 같이, 원화상의 블록의 순번과 일치하는 순번으로 되고, 또한 2개의 화상이 원화상과 같은 배치 관계로 합성되도록, 블록 단위의 재나열이 이루어진다. 대응 화상(79)은, 부호화 전의 표기에 따른 화상이고, 대응 화상(80)은, 화상 처리 후의 표기에 따른 화상이다. 또한, 재나열에서, 단락 코드를 상술한 방법에 의해 삭제하여도 좋고, 단락 코드를 남겨 두어도 좋다.
도 28 및 도 29의 구성 또는 처리는, 화상 처리부 단체(單體)의 처리 성능이 부족한 경우에도, 복수의 화상 처리부를 이용함에 의해 처리의 성능을 향상시킬 수 있다. 이 예에서는, 좌우로 화상을 분할하였지만, 상하로 분할하거나, 상하 좌우로 분할하도록 하여도 좋다.
다음에, 화상을 회전시키는 처리와 재나열 처리를 단계적으로 행하는 예에 대해 본 발명을 적용한 실시 형태에 관해 설명한다. 최초에 화상의 회전, 반전 처리의 재나열의 정의에 관해 설명한다.
90도 회전이란, 하기의 n행 m열의 행렬(A)로부터 bij=a(n+1-j)i로 되는 m행 n열의 행렬(B)에의 재나열과 같은 재나열이라고 정의한다. 행렬(A 및 B)의 각 요소가 화상의 1화소, 또는 복수 화소로 이루어지는 블록에 대응하고 있다.
Figure 112007052197218-pct00001
Figure 112007052197218-pct00002
180도 회전이란, 상기한 n행 m열의 행렬(A)로부터 bij=a(n+1-i)(m+1-j)로 되는 m행 n열의 행렬(B)로의 재나열과 같은 재나열이라고 정의한다.
Figure 112007052197218-pct00003
270도 회전이란, 상기한 n행 m열의 행렬(A)로부터 bij=aj(m+1-i)로 되는 m행 n열의 행렬(B)로의 재나열과 같은 재나열이라고 정의한다.
Figure 112007052197218-pct00004
좌우 반전이란, 상기한 n행 m열의 행렬(A)로부터 bij=ai(m+1-j)로 되는 m행 n열의 행렬(B)에의 재나열과 같은 재나열이라고 정의한다.
Figure 112007052197218-pct00005
상하 반전이란, 상기한 n행 m열의 행렬(A)로부터 bij=a(n+1-i)j로 되는 m행 n열의 행렬(B)에의 재나열과 같은 재나열이라고 정의한다.
Figure 112007052197218-pct00006
화상의 회전 처리에 관해, 화상을 180도 회전, 즉, 상하 좌우 반전시키는 처리의 한 예에 관해 도 30을 참조하여 설명한다. 원화상(81)이 4개의 화상 처리 블록으로 이루어지고, 각 화상 처리 블록이 4개의 부호화 블록으로 이루어진다. 예를 들면 A1, A2, A3, A4, …가 각각 부호화 블록을 나타내고, A1 내지 A4에 의해 하나의 화상 처리 블록이 구성된다. 마찬가지로, B1 내지 B4, C1 내지 C4, D1 내지 D4에 의해 각각 화상 처리 블록이 구성된다.
제 1 단계의 처리로서, 원화상(81)의 각 화상 처리 블록 내에서 180도 회전이 이루어지고, 화상(82)이 형성된다. 예를 들면 부호화 블록(A1 내지 A4)으로 이루어지는 화상 처리 블록에서는, 대각 방향에 위치하는 2개의 부호화 블록(A1 및 A4, 및 A2 및 A3)의 위치가 교체되고, 상하 좌우에 화소의 위치가 교체된다. 이와 같은 재나열 처리는, 화상(81)을 메모리에 격납하고, 메모리로부터 화상(81)을 판독할 때의 어드레스를 제어함에 의해 실현할 수 있다. 또한, 화상 처리와 동시에 재나열 처리를 행할 수 있다.
화상 처리 블록 내에서 회전 처리를 받은 화상(82)이 (A4, A3, A2, A1, C4, C3, …)로 화상 처리 블록마다 부호화부에 입력되고, JPEG의 부호화 처리가 시행되고, JPEG 데이터(83)가 발생한다. 화상(84)은, JPEG 데이터(83)의 데이터 순서에 대응하는 화상을 나타낸다.
대응 화상(84)은, 화상(82)과 상위한 것이기 때문에, 제 2 단계의 처리로서 정규의 부호화순으로 JPEG 데이터(83)가 재나열되고, JPEG 데이터(85)가 얻어진다. 대응 화상(86)은, 화상(82)과 같은 데이터 배열을 갖고 있지만, 상하 좌우로 반전한 화상이 아니다.
그래서, 제 3 단계의 처리로서, 상하 좌우 반전한 화상이 되도록, 화상 처리 블록 단위로 부호의 재나열이 이루어지고, JPEG 데이터(87)가 얻어진다. 즉, 화상 처리 블록을 상술한 회전의 정의에서의 행렬의 1요소로 간주한다. JPEG 데이터(87)는, 정규의 부호화 순서에 따라 배열한 경우에, 대응 화상(88)으로 도시하는 바와 같이, 원화상(81)을 상하 좌우로 반전한 화상이 얻어진다.
도 31은, 화상을 상하 좌우 반전시키는 처리의 다른 예를 도시한다. 원화상(91)은, 도 30에서의 원화상(81)과 같은 것이다. 제 1 단계의 처리로서, 부호화 블록 내에서 상하 좌우 반전 처리를 행하고, 처리 결과의 화상(92)을 형성한다. 제 1 단계의 처리는, 화상 처리와 동시에 이루어진다.
처리 결과의 화상(92)이 부호화부에서 부호화되고, JPEG 데이터(93)가 얻어진다. 화상(94)은, JPEG 데이터(93)의 데이터 순서에 대응하는 화상을 나타낸다. 화상(94)은, 화상(92)과 상위한 것이기 때문에, 제 2 단계의 처리로서 정규의 부호화순으로 JPEG 데이터(93)가 재나열되고, JPEG 데이터(95)가 얻어진다. 대응 화상(96)은, 화상(92)과 같은 데이터 배열을 갖고 있지만, 상하 좌우로 반전한 화상은 아니다.
그래서, 제 3 단계의 처리로서, 상하 좌우 반전한 화상이 되도록, 부호화 블록 단위로 부호의 재나열이 이루어지고, JPEG 데이터(97)가 얻어진다. 즉, 부호화 블록을 상술한 회전의 정의에서의 행렬의 1요소로 간주한다. JPEG 데이터(97)는, 정규의 부호화 순서에 따라 배열한 경우에, 대응 화상(98)으로 도시하는 바와 같이, 원화상(91)을 상하 좌우로 반전한 화상이 얻어진다.
또한, 180도 회전의 예에 관해 구체적으로 설명하였지만, 90도 회전, 상하 반전 등의 다른 처리도 마찬가지로 행할 수 있다.
상술한 바와 같이, 재나열이 이루어진 부호화 데이터를 복호하는 경우에 관해 설명한다. 도 32는, 복호시에 재나열을 행하지 않는 경우의 처리를 도시한다. 원화상(101)을 (1→4→2→5→3→6)의 순서로 화상 처리하고, 처리 결과의 화상을 정규의 JPEG의 부호화의 순서(1→2→3→4→5→6)로 부호화하여 JPEG 데이터(102)가 얻어진다. JPEG 데이터(102)가 재나열이 되지 않고, 복호측으로 전송된다.
복호측에서는, 복호된 화상(103)을 출력 순서로 화상 처리한다. 그 결과, 복호 화상(104)이 얻어진다. 복호 화상(104)은, 원화상(101)과 불일치가 되는 문제가 생긴다.
도 33은, 복호측에서의 본 발명이 적용된 처리를 설명하는 것이다. 부호화측 으로부터 JPEG 데이터(106)를 수취한다. 화상(105)은, JPEG 데이터(106)의 대응 화상이다. JPEG 데이터(106)를 재나열한다. 부호화측에서 이루어지는 재나열의 처리와 역방향의 처리가 이루어지고, JPEG 데이터(107)가 얻어진다. 즉, 복호측에서의 재나열은, 부호화 방법에서 규정된 정규의 처리 방향으로부터 화상 처리 블록의 처리 방향으로의 부호화 데이터의 재나열이다. 화상(108)은, JPEG 데이터(107)의 대응 화상이다.
JPEG 데이터(107)가 복호부에 출력되고, 복호 화상(109)이 얻어진다. 복호 화상(109)의 블록이 (1→2→3→4→5→6)의 순서에 출력된다. 출력 순서로 화상 처리가 이루어지고, 처리 결과 화상(110)이 얻어진다. 처리 결과 화상(110)은, 원화상(화상(105)과 같은 배열)과 일치한 것으로 된다.
복호시의 재나열 처리에서는, 사전에 단락 코드가 삽입되어 있는 부호를 재나열하여 복호한다. 단락 코드가 없는 경우에는, 재나열 전에 단락 코드를 삽입하는 처리가 필요하게 된다. 또한, 복호시에 부호화시와 마찬가지로 상하 좌우 반전, 회전 등의 처리를 행하는 것이 가능하다.
이상, 본 발명의 실시의 형태에 관해 구체적으로 설명하였지만, 본 발명은, 상술한 실시의 형태로 한정되는 것이 아니고, 본 발명의 기술적 사상에 의거한 각종의 변형이 가능하다. 예를 들면 본 발명은, 디지털 스틸 카메라로 한하지 않고, JPEG 또는 MPEG의 부호화 장치를 구비하는 화상 기록 장치, 퍼스널 컴퓨터, PDA(Personal Digital Assistants), 화상 송신 장치, 휴대 단말, 휴대 전화 등에 적용할 수 있다.

Claims (15)

  1. 삭제
  2. 원화상을 복수의 화상 처리 단위로 분할하고, 상기 화상 처리 단위마다 처리하는 화상 처리부와,
    상기 화상 처리부의 출력이 공급되고, 상기 화상 처리부로부터 출력되는 데이터 순으로 최소 부호화 단위마다 부호화를 행하는 부호화부와,
    상기 화상 처리부의 처리 방향이 상기 부호화부의 부호화 방법에서 규정된 정규의 처리 방향과 다를 때에, 상기 원화상과 대응하는 복호 화상을 얻을 수 있도록, 상기 부호화부로부터 출력되는 부호화 데이터의 재나열을 행하는 재나열부를 구비하고,
    상기 재나열부는, 상기 화상 처리부로부터 출력되는 상기 화상 처리 단위와 대응하고, 또한 연속하는 정수개의 상기 최소 부호화 단위로 이루어지는 데이터 단위를 부호화한 부호화 데이터 단위로, 상기 부호화 데이터의 재나열을 행하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 2항에 있어서,
    상기 데이터 단위의 길이가 복수종류 존재하고, 상기 복수종류의 길이의 합계가 상기 원화상의 가로폭과 일치하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 2항에 있어서,
    상기 화상 처리부로부터 출력되는 상기 데이터 단위는, 종횡 모두 상기 부호화부의 상기 최소 부호화 단위의 정수배인 것을 특징으로 하는 화상 처리 장치.
  5. 제 2항에 있어서,
    상기 부호화부는, 데이터의 압축과 가변 길이 부호화를 행하는 부호기이고, 상기 데이터 단위를 부호화한 상기 부호화 데이터 단위마다 미리 규정된 값의 단락 코드를 삽입하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 5항에 있어서,
    상기 부호화부는, 상기 단락 코드의 뒤에서는, 상기 데이터 단위를 부호화한 부호화 데이터 단위의 다른 상기 부호화 데이터 단위를 출력하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 5항에 있어서,
    상기 재나열부는, 상기 단락 코드의 값을 재기록하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 5항에 있어서,
    상기 부호화부는, JPEG 부호기이고, 상기 재나열부는 단락 코드의 삭제와 그것에 계속되는 매크로블록의 DC 계수 부호를 변경하는 것을 특징으로 하는 화상 처 리 장치.
  9. 제 2항에 있어서,
    상기 화상 처리부의 처리 단위를 하나의 화상으로 간주하여 부호화를 행함에 의해 복수의 부호화 데이터를 생성하고, 상기 데이터 단위의 상기 부호화 데이터를 판독하고, 판독한 상기 부호화 데이터를 재나열하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 9항에 있어서,
    상기 복수의 부호화 데이터의 시작 위치를 등간격의 메모리 어드레스로 하는 것을 특징으로 하는 화상 처리 장치.
  11. 삭제
  12. 삭제
  13. 원화상을 복수의 화상 처리 단위로 분할하고, 상기 화상 처리 단위마다 처리하는 화상 처리 스텝과,
    상기 화상 처리 스텝의 출력이 공급되고, 상기 화상 처리 스텝으로부터 출력되는 데이터 순으로 최소 부호화 단위마다 부호화를 행하는 부호화 스텝과,
    상기 화상 처리 스텝의 처리 방향이 상기 부호화 스텝의 부호화 방법에서 규정된 정규의 처리 방향과 다를 때에, 상기 원화상과 대응하는 복호 화상을 얻을 수 있도록, 상기 부호화 스텝으로 생성되는 부호화 데이터의 재나열을 행하는 재나열 스텝을 구비하고,
    상기 재나열 스텝은, 상기 화상 처리 스텝으로부터 공급되는 상기 화상 처리 단위와 대응하고, 또한 연속하는 정수개의 상기 최소 부호화 단위로 이루어지는 데이터 단위를 부호화한 부호화 데이터 단위로, 상기 부호화 데이터의 재나열을 행하는 것을 특징으로 하는 화상 처리 방법.
  14. 원화상을 복수의 화상 처리 단위로 분할하고, 상기 화상 처리 단위마다 처리하는 화상 처리 스텝과,
    상기 화상 처리 스텝의 출력이 공급되고, 상기 화상 처리 스텝으로부터 출력되는 데이터 순으로 최소 부호화 단위마다 부호화를 행하는 부호화 스텝과,
    상기 화상 처리 스텝의 처리 방향이 상기 부호화 스텝의 부호화 방법에서 규정된 정규의 처리 방향과 다를 때에, 상기 원화상과 대응하는 복호 화상을 얻을 수 있도록, 상기 부호화 스텝에서 생성된 부호화 데이터의 재나열을 행하는 재나열 스텝을 구비하고,
    상기 재나열 스텝은, 상기 화상 처리 스텝으로부터 공급되는 상기 화상 처리 단위와 대응하고, 또한 연속하는 정수개의 상기 최소 부호화 단위로 이루어지는 데이터 단위를 부호화한 부호화 데이터 단위로, 상기 부호화 데이터의 재나열을 행하는 화상 처리 방법을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  15. 촬상 소자에 의해 촬영된 원화상을 복수의 화상 처리 단위로 분할하고, 상기 화상 처리 단위마다 처리하는 화상 처리부와,
    상기 화상 처리부의 출력이 공급되고, 상기 화상 처리부로부터 출력되는 데이터 순으로 최소 부호화 단위마다 부호화를 행하는 부호화부와,
    상기 화상 처리부의 처리 방향이 상기 부호화부의 부호화 방법에서 규정된 정규의 처리 방향과 다를 때에, 상기 원화상과 대응하는 복호 화상을 얻을 수 있도록, 상기 부호화부로부터 출력되는 부호화 데이터의 재나열을 행하는 재나열부를 구비하고,
    상기 재나열부는, 상기 화상 처리부로부터 출력되는 상기 화상 처리 단위와 대응하고, 또한 연속하는 정수개의 상기 최소 부호화 단위로 이루어지는 데이터 단위를 부호화한 부호화 데이터 단위로, 상기 부호화 데이터의 재나열을 행하는 것을 특징으로 하는 촬상 장치.
KR1020077016461A 2005-01-26 2006-01-12 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치 KR101226877B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00017588 2005-01-26
JP2005017588 2005-01-26
JP2005231784A JP4151684B2 (ja) 2005-01-26 2005-08-10 符号化装置、符号化方法および符号化プログラム、並びに撮像装置
JPJP-P-2005-00231784 2005-08-10
PCT/JP2006/300776 WO2006080240A1 (ja) 2005-01-26 2006-01-12 符号化装置、符号化方法および符号化プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
KR20070104358A KR20070104358A (ko) 2007-10-25
KR101226877B1 true KR101226877B1 (ko) 2013-01-25

Family

ID=36740274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077016461A KR101226877B1 (ko) 2005-01-26 2006-01-12 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치

Country Status (7)

Country Link
US (1) US8320685B2 (ko)
EP (1) EP1843571A4 (ko)
JP (1) JP4151684B2 (ko)
KR (1) KR101226877B1 (ko)
CN (1) CN101107838B (ko)
BR (1) BRPI0607074A2 (ko)
WO (1) WO2006080240A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932337A1 (fr) * 2008-06-05 2009-12-11 Sagem Comm Procede de production d'un flux jpeg
US8699760B2 (en) * 2008-09-16 2014-04-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
KR101037624B1 (ko) * 2009-06-19 2011-05-30 (주)실리콘화일 메모리를 사용하지 않고 구현되는 이미지 회전 방법 및 장치
WO2012082029A1 (en) * 2010-12-14 2012-06-21 Telefonaktiebolaget L M Ericsson (Publ) Method and device for storing a compression ratio indication in a pixel value buffer in tile encoding
JP5247793B2 (ja) * 2010-12-21 2013-07-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2012151593A (ja) * 2011-01-18 2012-08-09 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2013126182A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
JP2013126186A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
US10003803B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US10003802B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US9300984B1 (en) * 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
JP2014045341A (ja) * 2012-08-27 2014-03-13 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2015195526A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、および画像処理方法
US10284861B2 (en) 2016-12-09 2019-05-07 Advanced Micro Devices, Inc. Concurrent image compression and thumbnail generation
JP2020021989A (ja) 2018-07-30 2020-02-06 キヤノン株式会社 撮像装置
US11388401B2 (en) * 2020-06-26 2022-07-12 Google Llc Extended transform partitions for video compression
CN113706493B (zh) * 2021-08-20 2024-03-22 北京航空航天大学 基于dct频率自适应选择的数字病理全切片分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537790A (ja) * 1991-07-29 1993-02-12 Canon Inc 画像処理装置
JP2003189109A (ja) * 2001-10-09 2003-07-04 Canon Inc 画像処理装置及び方法、並びにコンピュータ・プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227527A (ja) * 1991-10-30 1993-09-03 G C Technol Kk インターレース画像符号化方法と装置
KR970006633B1 (ko) * 1993-12-29 1997-04-29 현대전자산업 주식회사 가변길이 복호기용 데이타 출력장치
US6009236A (en) * 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
JPH0983779A (ja) 1995-09-19 1997-03-28 Canon Inc 通信端末装置
EP0817494A3 (en) * 1996-06-28 1998-07-22 Oki Electric Industry Co., Ltd. Image coding method and apparatus
JPH10271529A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 画像処理装置及び静止画像撮像装置並びに画像処理方法
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
JPH11298878A (ja) 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
US6460061B1 (en) * 1999-10-29 2002-10-01 Xilinx Inc. 2-dimensional discrete cosine transform using a polynomial transform
KR100869657B1 (ko) * 2001-03-05 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호를 압축하는 장치 및 방법
WO2003034709A1 (en) * 2001-10-17 2003-04-24 Naltec Inc. Decompressing method and data processor
JP4179777B2 (ja) 2001-12-19 2008-11-12 オリンパス株式会社 画像処理装置
JP2003348355A (ja) 2002-05-29 2003-12-05 Canon Inc 画像処理装置及びその制御方法
KR20040063650A (ko) * 2003-01-08 2004-07-14 엘지전자 주식회사 비디오 코덱의 리사이징 시스템
JP3835416B2 (ja) 2003-03-04 2006-10-18 石川島播磨重工業株式会社 画像圧縮装置、画像圧縮方法及び画像圧縮プログラム
JP4074832B2 (ja) 2003-05-07 2008-04-16 ナルテック株式会社 データ処理方法およびデータ処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537790A (ja) * 1991-07-29 1993-02-12 Canon Inc 画像処理装置
JP2003189109A (ja) * 2001-10-09 2003-07-04 Canon Inc 画像処理装置及び方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
CN101107838B (zh) 2012-11-14
US8320685B2 (en) 2012-11-27
KR20070104358A (ko) 2007-10-25
JP2006238407A (ja) 2006-09-07
BRPI0607074A2 (pt) 2009-12-01
EP1843571A1 (en) 2007-10-10
CN101107838A (zh) 2008-01-16
JP4151684B2 (ja) 2008-09-17
EP1843571A4 (en) 2008-07-02
US20080123970A1 (en) 2008-05-29
WO2006080240A1 (ja) 2006-08-03

Similar Documents

Publication Publication Date Title
KR101226877B1 (ko) 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치
US7965776B2 (en) Apparatus and method for processing and displaying pictures
US8098959B2 (en) Method and system for frame rotation within a JPEG compressed pipeline
EP0665512B1 (en) An image processing method and apparatus
US8457428B2 (en) Image coding apparatus, control method thereof, and storage medium
JP5158096B2 (ja) 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
KR100793286B1 (ko) 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법
JP4209631B2 (ja) 符号化装置、復号化装置、及び、圧縮伸長システム
US20190289300A1 (en) Image compression system and image compression method using image compression system
US20090304073A1 (en) Systems and Methods for the Bandwidth Efficient Processing of Data
JPH1175183A (ja) 画像信号の処理方法及び装置、記録媒体
JP5199956B2 (ja) 画像復号装置及びその制御方法
US7787700B2 (en) Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium
JP4109151B2 (ja) 画像処理装置
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
US11765366B2 (en) Method for processing transform coefficients
JP2004165733A (ja) 画像変換装置及び画像変換方法並びに記録媒体
JP3559419B2 (ja) 画像圧縮データの伸張方法及び装置
JP3979020B2 (ja) 圧縮画像のサンプリングを実行する画像処理装置
JP4124686B2 (ja) 画像データ処理装置
JP4219079B2 (ja) 画像処理装置
JP2000078514A (ja) 画像高速表示装置及び画像高速表示方法
JP2009004878A (ja) 画像処理装置、画像処理方法および画像処理プログラム、並びに撮像装置
JP2003304403A (ja) 画像処理装置
JPH11103462A (ja) 符号化装置及び方法、復号化装置及び方法並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee