KR102012715B1

KR102012715B1 - 촬상 장치 및 화상처리 방법

Info

Publication number: KR102012715B1
Application number: KR1020120147517A
Authority: KR
Inventors: 미네키 타오카
Original assignee: 삼성전자주식회사
Priority date: 2011-12-15
Filing date: 2012-12-17
Publication date: 2019-08-22
Also published as: US20130182966A1; KR20130069521A; US8824818B2; JP2013126182A

Abstract

외부 메모리를 거치지 않고 화상처리후의 화상을 복수의 블록으로 분할하여 JPEG압축 부호화할 때에, 부호화 효율을 저하시키지 않고, 또 블록의 화상 사이즈의 제한이 없고, JPEG압축 부호화 및 압축후의 화상의 결합을 간단하게 행하는 것이 가능한 촬상 장치를 제공한다. 화상처리부는 생성한 화상 데이터를 가로방향으로 복수의 블록으로 분할하여 상기 저장부를 거치지 않고 상기 부호화부로 공급하고, 상기 부호화부는 상기 블록 단위로 화상 데이터를 부호화할 때에, 부호화하는 라인의 개시 어드레스 및 해당 라인의 부호화후의 데이터 길이를 상기 저장부에 기억시키는 동시에, 상기 블록에 있어서의 부호화하는 라인마다, 예측 부호화에서 이용되는 정보를 저장부에 기억시키는 것을 특징으로 하는, 촬상 장치가 제공된다.

Description

촬상 장치 및 화상처리 방법{IMAGING APPARATUS AND IMAGING PROCESSING METHOD}

본 발명은 디지털 화상 처리에 관한 것으로, 특히 빠르게 디지털 화상을 처리할 수 있는 촬상 장치 및 화상처리 방법에 관한다.

JPEG방식에 의한 화상의 압축 부호화에 있어서는, 한 화면전체를 하나의 단위로서 처리하는 것이 정해져 있다. 그러나 디지털 스틸 카메라 등에 구비되는 LSI(Large Scale Integration)의 내부에서는 라인 메모리의 용량 삭감을 위해 하나의 화상을 세로로 복수의 블록으로 분할하여 처리한다.

그 때문에, 하나의 화상모두를 처리하여, JPEG압축이 가능한 상태로 만들기 위해서는, 모든 블록의 처리를 종료하고, 그 결과를 SDRAM등의 외부 메모리에 기록하고, 결합 할 필요가 있다. 그리고 JPEG압축하기 위한 JPEG압축 부호화기는 외부 메모리에 구성된 화상을 독출하여 압축 부호화를 실행한다. 그 때문에, 디지털 스틸 카메라에서의 JPEG압축에 있어서는, 항상 1매의 화상을 SDRAM등의 외부 메모리에 기록하고, 또한 해당 외부 메모리로부터 독출하는 순서가 필요하게 된다.

종래에 디지털 스틸 카메라의 속도성능은 촬상 소자의 속도성능에 의해 정해져 있는 부분이 많았고, 또한 1초동안에 3매에서 7매정도의 연사성능밖에 필요하지 않았었다. 그러나 최근에는 촬상 소자의 고성능화가 진행하고, 그 해상도도 1200만 픽셀에서 2000만 픽셀 이상의 것이 이용되게 되었다. 또한, 최근에는 연사성능도 1초동안 10매에서 15매정도의 것이 요구되게 되고, 종래에 비해 디지털 스틸 카메라에 요구되는 처리 성능이 매우 높아지고 있다.

그 때문에, 화상의 JPEG압축 부호화를 위해, 화상의 외부 메모리로의 읽기 쓰기를 매회 반복하면, 소비 전력의 증대, 읽기 쓰기의 증가에 따르는 속도부족 해소를 위한 외부 메모리 탑재수의 증가에 의한 비용증가라고 하는 문제가 생긴다. 그 때문에, 외부 메모리로의 읽기 쓰기를 가능한 한 행하지 않고 화상의 JPEG압축 부호화를 실행할 필요성이 높아지고 있다.

외부 메모리를 가능한 한 사용하지 않고 화상의 JPEG압축 부호화를 실행하기 위해서, 하나의 화상을 세로로 분할한 복수의 블록 각각에 대하여 JPEG압축 부호화를 실행하고, 기록 미디어에 기록하는 단계에서 결합하는 방법이 있다. 이에 의해, 외부 메모리로의 액세스는 경감된다. 하나의 화상을 세로로 분할한 복수의 블록 각각에 대하여 JPEG압축 부호화를 실행하는 기술로서, 예를 들면 일본 특허 출원 특개2002-354364호 공보가 있다. 상기 특허 출원에 기재된 기술은 분할한 각 블록에 RST마커 코드를 붙이는 것으로 JPEG압축 부호화 및 압축후의 화상의 결합을 간단하게 행할 수 있는 기술이다.

그러나 일본 특허 출원 특개2002-354364호 공보에 기재된 기술은 분할한 블록의 경계에서 차분 부호화가 사용되지 않으므로, 부호화 효율이 낮고, 또한 분할하는 블록의 화상 사이즈에 제한이 있다는 문제가 있었다.

본 발명은 상기 문제를 해결하기 위한 것으로, 화상처리시 외부 메모리를 이용하지 않는 촬상 장치 및 화상처리 방법을 제공한다.

그리고 본 발명은 화상처리후의 화상을 복수의 블록으로 분할하여 JPEG압축 부호화할 때에, 부호화 효율을 저하시키지 않고, 또한 블록의 화상 사이즈의 제한이 없고, JPEG압축 부호화 및 압축후의 화상의 결합을 간단하게 행할 수 있는 촬상 장치 및 화상처리 방법을 제공한다.

한편, 본 발명은 촬상 장치가, 촬상 소자로의 입광에 의해 생성되는 데이터로부터 화상 데이터를 생성하는 화상처리부와, 상기 화상 데이터를 부호화하여 부호화 화상 데이터를 생성하는 부호화부와, 상기 부호화 화상 데이터를 기억하는 저장부를 포함하고,

상기 화상처리부는, 상기 화상 데이터를 가로방향으로 복수의 블록으로 분할하여 상기 저장부를 거치지 않고 상기 부호화부로 공급하고, 상기 부호화부는, 상기 블록 단위로 상기 화상 데이터를 부호화할 때에, 해당 블록의 부호화하는 해당 라인의 개시 어드레스 및 상기 해당 라인의 부호화후의 데이터 길이를 상기 저장부에 저장하는 동시에, 상기 해당 블록에서 부호화하는 상기 해당 라인마다 예측 부호화에서 이용되는 정보를 상기 저장부에 저장한다.

그리고 본 발명의 상기 부호화부는 상기 예측 부호화에서 이용되는 정보를, 해당 정보의 대상인 블록에 인접하는 블록의 예측 부호화 시에 상기 저장부에서 독출한다.

그리고 본 발명은 저장부에 저장된 상기 부호화 화상 데이터, 상기 개시 어드레스 및 상기 부호화후의 데이터 길이를 이용하여 상기 블록 단위로 부호화된 상기 부호화 화상 데이터를 결합하는 결합부를 더 포함한다.

그리고 본 발명에서 상기 부호화부는 상기 부호화 화상 데이터에 있어서의 특정한 데이터의 위치를 검색하고, 해당 위치의 정보를 상기 저장부에 저장한다.

본 발명에 따르면, 화상 처리시, 외부 메모리를 거치지 않고 화상처리후의 화상을 복수의 블록으로 분할하여 JPEG압축 부호화할 때에, 부호화 효율을 저하시키지 않고, 또한 블록의 화상 사이즈의 제한이 없고, JPEG압축 부호화 및 압축후의 화상의 결합을 간단하게 행할 수 있게 한다.

도1 내지 도3은 종래의 화상 처리 과정을 나타낸 도면,
도4는 본 발명의 일실시예에 따른 디지털 스틸 카메라의 구성을 나타내 도면,
도5는 본 발명의 일실시예에 따른 화상압축부의 구성을 나타낸 도면,
도6은 본 발명의 일실시예에 따른 디지털 스틸 카메라 100의 동작 과정을 나타낸 도면,
도7은 본 발명의 일 실시예에 따른 화상 데이터의 분할과, 분할한 화상 데이터의 부호화순 및 메모리 카드로의 기록순과의 관계를 나타낸 도면,
도8은 본 발명의 일 실시예에 따른 화상압축부에 의해 가변길이 부호화된 데이터의 결합 처리를 나타내 도면,
도9는 본 발명의 일실시예에 따른 디지털 스틸 카메라의 예측 부호화에 대해 나타낸 도면,
도10은 본 발명의 일실시예 따라 JPEG의 스트림에서 Bit "1"이 바이트 경계상에서 8개 계속되었을 경우에, "00"의 바이트를 삽입하는 예를 나타낸 도면,
도11 및 도12는 본 발명의 일실시예에 따라 RST마커 코드를 부가하는 과정을 나타낸 도면.

이하 첨부 도면을 참조하면서, 본 발명의 바람직한 실시의 형태에 대해서 상세히 설명한다. 또한, 본명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 구성 요소에 대해서는, 동일한 부호를 붙이고 중복 설명을 생략한다.

우선, 본 발명의 바람직한 실시의 형태에 대해서 상세히 설명하기 전에, 종래 기술의 설명 및 종래 기술의 문제점에 대해서 설명한다. 도1은 일본 특허 출원 특개2002-354364호 공보에 기재되어 있는, JPEG(Joint Photographic Expert Group)압축 부호화 시, 외부 메모리로의 액세스를 경감하기 위해서, 하나의 화상을 세로로 분할한 복수의 블록 각각에 대하여 RST마커 코드(RST(Restart) Marker Code)를 붙이는 기술의 개요를 나타내는 도면이다.

JPEG압축 부호화는 반드시 하나의 화상전체로 수행하지 않고, 아니라, 화상의 일부를 RST마커 코드로 구분하여 부호화하는 것이 가능하다. 도1은 하나의 화상을 4개의 블록(타일0, 타일1, 타일2, 타일3)으로 분할하고, 각각의 블록의 MCU라인의 가장 오른쪽에 RST마커 코드를 부가하여 압축 부호화하는 상태를 나타내고 있다. 이렇게, 하나의 화상을 복수의 블록으로 분할할 때에는, 각 블록의 MCU(Minimum Coded Unit)라인의 가장 끝에 RST마커 코드를 붙여서 부호화한다.

그러나 이렇게 부호화하면, 데이터의 보존 방향은 블록 단위가 되고, 타일0→타일1→타일2→타일3처럼은 되지 않는다. 따라서 부호화후의 화상 데이터를 보존하기 위해서는 타일0의 최상행의 MCU라인→타일1의 최상행의 MCU라인→…….이라고 하는 순번으로 재배열할 필요가 있다.

JPEG의 부호화에서는 가변길이 부호화를 이용하므로, 픽셀마다, MCU 마다의 부호량은 일정하지 않고, 게다가 바이트 단위로 부호화를 하는 것도 아니다. 단, RST마커 코드는 바이트 경계에 있을 필요가 있기 때문에, 각 MCU열은 바이트 단위가 되어, 외부 메모리에서의 취급은 간단해진다.

그러나 특개2002-354364호 공보에 기재되어 있는, RST마커 코드를 부가하여 압축하는 방법은 이하와 같은 문제가 있다.

우선, RST마커 코드를 부가하여 압축하면 부호화 효율이 낮아진다. JPEG에서는 좌측의 블록 정보를 근거로, 차분을 취하여 DC(Direct Current)예측을 행해서 부호화한다. 화상을 복수의 블록으로 분할하고, RST마커 코드로 구분하는 경우, 블록 단위로 차분이 리셋 되므로, 구성은 간단해지지만, 그 만큼 RST마커 코드의 부호를 부가할 필요성이 생기고, 또 블록간에서 차분 부호화가 사용되지 않으므로 부호화 효율이 저하된다.

도2는 종래에 블록간 차분 부호화가 사용되지 않는 경우를 나타내는 도면이다. 도2에 도시한 바와 같이, 동일한 블록내에서는 MCU간에서 DC예측을 행해서 부호화할 수 있다. 그러나 블록을 넘어버리면 차분 부호화가 사용되지 않으므로, 이 블록을 넘은 부분에서의 부호화 효율이 저하된다.

이어서, RST마커 코드를 부가한 압축에는 화상 사이즈의 제한이 있다. RST마커 코드간의 화상 사이즈는 일정할 필요가 있다. 보통, 디지털 스틸 카메라 JPEG에서는, 휘도성분을 기준으로 수평 16픽셀단위로 처리를 행하기 때문에, 각각의 블록은 16픽셀단위가 아니면 안 된다. 예를 들면 4개의 블록으로 세로길 이로 분할하는 구성이면, 64픽셀단위로밖에 화상 사이즈를 변경할 수 없다.

그러나 블록의 크기는 보통 수평 256픽셀이나, 512픽셀로 작지만, 화상전체는 5000∼8000픽셀 정도로 크기 때문에, 예를 들면 32블록으로 화상을 분할하여 처리하는 경우, 256픽셀 단위로밖에 화상 사이즈를 변경할 수 없다.

그러나 상태가 좋은 촬상 소자는 많지 않고, 블록 단위로 분할했을 때, 나눠떨어지지 않는 부분은 화상의 우측에 검정 데이터를 삽입해야 하는 경우가 있다. 도3은 이러한 경우의 일예를 나타낸 도면이다. 화상 사이즈가 가로 7952픽셀이고, 블록의 폭이 256픽셀일 경우, 가장 우측의 블록은 16픽셀만이 실제의 화상이며, 나머지의 픽셀에는 검정 데이터를 삽입하지 않으면 블록으로서 처리할 수 없다.

그래서 이하에서 설명하는 본 발명은, 외부 메모리를 거치지 않고 화상처리후의 화상을 복수의 블록으로 분할하여 JPEG압축 부호화할 때에, 부호화 효율을 저하시키지 않고, 또한 블록의 화상 사이즈의 제한이 없고, JPEG압축 부호화 및 압축후의 화상의 결합을 간단하게 행하는 것이 가능하게 한다.

[디지털 스틸 카메라의 기능 구성 예]

우선, 본 발명의 일실시예에 관한 디지털 스틸 카메라의 구성에 대해서 설명한다. 도4는 본 발명의 일일실시예에 관한 디지털 스틸 카메라의 구성을 나타낸 도면이다. 이하, 도4를 참조하여 본 발명의 일실시예에 따른 디지털 스틸 카메라(100)의 구성에 대해서 설명한다.

도4에 나타낸 디지털 스틸 카메라(100)는 본 발명의 촬상 장치의 일예이다. 도4에 도시한 바와 같이, 본 발명의 일실시예에 따른 디지털 스틸 카메라(100)는 카메라부(102)와, CPU(104)와, ROM(105)과, 멀티플렉서(MUX)(106)와, 현상부(110)와, 화상압축부(112)와, 왜곡보정 처리부(113)와, 메모리 카드(114)와, LCD(116)와, SDRAM I/F(Synchronous Dynamic Random Access Memory Interface)(118)와, SDRAM(120)을 포함하여 구성된다.

카메라부(102)는, 도4에 도시되어 있지 않지만, 줌렌즈, 포커스 렌즈, 베이어배열의 색 필터가 구비된 촬상 소자등으로 이루어지고, 피사체로부터의 빛을 촬상 소자에서 광전변환하고, 촬상 소자로부터의 베이어배열의 RGB화상 데이터를 출력한다. 여기에서, 촬상 소자로서는 CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용할 수 있다. 카메라부(102)에서 생성되어서 출력되는 베이어배열의 RGB화상 데이터(이하, 카메라부(102)로부터 출력되는 베이어배열의 RGB화상 데이터를 단순히 「데이터」라고도 칭한다)는 SDRAM I/F(118)를 통해서 SDRAM(120)으로 전송되거나, 또는 직접 멀티플렉서(106)로 전송된다.

CPU(Central Processing Unit)(104)는 디지털 스틸 카메라(104)의 각부의 동작을 제어한다. ROM(105)은 디지털 스틸 카메라(100)의 동작 제어에 이용하는 각종 프로그램이나 설정 정보가 격납된다. 멀티플렉서(106)는 카메라부(102)에서 생성되어서 출력되는 데이터와, SDRAM(120)에 격납된 화상 데이터를 입력 받아, 현상부(110)로 출력한다.

현상부(또는 화상 처리부)(110)는 카메라부(102)에서 생성된 데이터를 이용하여, 휘도신호와 색차신호를 포함하는 YCbCr정보로 이루어지는 화상 데이터를 생성한다(현상 처리에 상당하는 처리를 실행한다.). 현상부(110)가 생성하는 화상 데이터는 화상압축부(112)로 보내진다.

화상압축부(112)는 현상부(110)가 생성한 화상 데이터에 대하여 소정의 화상압축 처리를 실행하는 것이다. 소정의 화상압축 처리로서는 JPEG로의 압축 처리를 이용한다. CPU(104)의 제어에 의해 화상압축부(112)에서 압축 처리가 된 화상 데이터는 SDRAM I/F(120)를 통해서 SDRAM(120)으로 보내진다.

왜곡보정 처리부(113)는 SRAM으로의 클록 입력을 제어하여 소비 전력을 억제하면서, SDRAM(120)에 격납된 화상 데이터에 대하여 왜곡을 보정한다. 왜곡보정 처리부(113)에 의해 SDRAM(120)에 격납된 화상 데이터의 왜곡을 보정할 수 있다.

메모리 카드(114)는 화상압축부(112)에서 압축되어, SDRAM(120)에 격납된 화상 데이터를 보존하는 저장 장치이다. 메모리 카드(114)에 화상 데이터를 저장하는 것은 CPU(104)의 제어에 의해 실행된다.

LCD(Liquid Crystal Display)(116)는 디지털 스틸 카메라(100)의 각종 설정 화면을 표시하거나, 카메라부(102)가 생성한 데이터를 리얼타임으로 표시(라이브 뷰 표시)하거나, 메모리 카드(114)에 보존된 화상 데이터를 표시한다. 또한, 본 실시예에서는 LCD를 이용하고 있지만, 본 발명에 있어서는 LCD이외의 표시 디바이스, 예를 들면 유기 EL(Luminescence Display)을 이용한 표시 디바이스를 이용해도 된다.

SDRAM I/F(118)는 SDRAM(120)과의 사이의 인터페이스이며, SDRAM(120)으로의 데이터의 기록이나 SDRAM(120)으로부터의 데이터의 독출을 중개하는 것이다. SDRAM(Synchronous Dynamic Random Access Memory)(120)은 카메라부(102)가 생성한 데이터나, 현상부(110)에서 현상 처리가 된 데이터, 화상압축부(112)에서 압축된 화상 데이터 등을 일시적으로 격납하는 저장 장치이다. 또한, 도4에는 도시하지 않지만, 디지털 스틸 카메라(100)에는 유저의 입력 조작을 접수하는 입력부를 구비하고 있어도 되고, 입력부에는 촬영 처리를 실행하기 위한 셔터버튼이나, 디지털 스틸 카메라(100)를 조작하기 위한 조작 버튼이 구비될 수 있다.

본 실시예에 따라, 현상부(110)는 화상 데이터를 생성하면, 그 화상 데이터를 SDRAM(120)을 거치지 않고 화상압축부(112)로 직접 공급한다. 이것에 의해, 카메라부(102)에 의해 촬영이 행해지고 나서 화상압축부(112)에 의한 압축 처리가 완료될 때 까지 필요한 시간의 고속화를 도모할 수 있다.

이상, 도4를 이용하여 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)의 구성에 대해서 설명했다. 이어서, 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)의 구성에 대해서 설명한다.

도5는 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)의 구성을 나타내는 설명 도면이다. 이하, 도5를 이용하여 본 발명의 일 실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)의 구성에 대해서 설명한다.

도5에 도시한 바와 같이, 본 발명의 일 실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)는 비디오 I/F(131)와, DCT(Discrete Cosine Transform)부(132)와, 양자화부(133)와, IMC(Inverse Motion Compensation)부(134)와, 가변길이 부호화부(135)와, 스트림 I/F(136)와, DMA I/F(Direct Memory Access Interface)(137)를 포함하여 구성된다.

비디오 I/F(131)는 현상부(110)로부터 화상 데이터를 입력받는다. 비디오 I/F(131)는 현상부(110)로부터 입력된 화상 데이터를 DCT부(132)로 출력한다. DCT부(132)는 비디오 I/F(131)로부터 입력된 화상 데이터를 DCT변환(이산 푸리에 변환Discrete Cosine Transform) 한다. DCT부(132)는 DCT변환후의 데이터를 양자화부(133)로 보낸다. 양자화부(133)는 DCT변환후의 데이터를 양자화한다. IMC부(134)는 양자화후의 데이터에 대하여 역움직임 보상을 행한다.

가변길이 부호화부(135)는 역움직임 보상이 행해진 화상 데이터를 가변길이 부호화한다. 가변길이 부호화부(135)는 화상 데이터의 가변길이 부호화 시, Y, Cb, Cr각각의 DC값을 라이트(write out)한다. 가변길이 부호화부(135)는 Y, Cb, Cr 각각의 DC값을 라이트하면, 라이트한 DC값의 정보를 DMA I/F(137)로 출력한다. 또한, 가변길이 부호화부(135)는 화상 데이터를 가변길이 부호화하면, 부호화 데이터를 스트림 I/F(136)로 보낸다.

스트림 I/F(136)는 가변길이 부호화부(135)에 의해 가변길이 부호화된 데이터를 스트림으로서 출력한다. DMA I/F(137)는 가변길이 부호화부(135)가 라이트한 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 격납하고, 또한, SDRAM(120)에 격납된 Y, Cb, Cr 각각의 DC값을 필요에 따라서 독출하여 가변길이 부호화부(135)로 보낸다. 이 화상압축부(112)의 일련의 처리에 있어서, 필요에 따라서 SRAM(도시 생략)으로의 액세스가 수행된다.

본 발명의 일 실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)는 도4에 도시된 바와 같이 구성되며, 하나의 화상을 세로길이로 분할한 경우에도, 블록 넘어서의(bridging over) 예측 부호화가 가능하게 되어, 부호화 효율을 저하시키지 않고 완료한다.

또한, 화상압축부(112)의 구성은 이러한 예에 한정되는 것이 아니다. 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 기록하도록 구성될 수 도 있고, 이에 따라, 화상압축부(112)의 구성은 도4에 도시한 것에 한정되지 않는다.

이상, 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)에 포함되는 화상압축부(112)의 구성에 대해서 설명했다. 이어서, 본 발명의 일 실시예에 관한 디지털 스틸 카메라(100)의 동작에 대해서 설명한다.

도6은 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)의 동작을 나타내는 플로우챠트이다. 도6에 도시한 플로우챠트는 본 발명의 일 실시예에 따라 디지털 스틸 카메라(100)가 화상을 JPEG압축 부호화할 때의 동작 과정을 나타낸 것이다. 이하, 도6을 이용하여 본 발명의 일 실시예에 따른 디지털 스틸 카메라(100)의 동작에 대해서 설명한다.

현상부(110)는 휘도신호와 색차신호를 포함하는 YCbCr정보로 이루어지는 화상 데이터를 생성하면, 그 화상 데이터를 세로길이의 복수의 블록으로 분할한다(스텝S101). 여기에서는, 분할된 1개의 블록을 「타일(Tile)」이라고도 칭한다. 현상부(110)는 분할한 화상 데이터를 순차 SDRAM(120)을 거치지 않고 화상압축부(112)로 직접 공급한다.

도7은 화상 데이터의 분할과, 분할한 화상 데이터의 부호화 순서 및 메모리 카드로의 기록 순서와의 관계를 나타내는 설명 도면이다. 도7에는 하나의 화상 데이터를 타일0, 타일1, 타일2, 타일3의 4개의 타일로 분할한 경우를 나타내고 있다. 그리고 도7에 나타낸 예에서, 1개의 타일은 N개의 MCU열로 이루어지는 것으로 가정한다.

화상압축부(112)는 현상부(110)에서 생성되어, 복수의 블록으로 분할된 화상을, 블록 단위로 가변길이 부호화한다(스텝S102). 도7에 도시한 바와 같이, 화상압축부(112)는 우선 가장 왼쪽의 타일인 타일0에 대해서, 위에서 순서대로 MCU열 단위로 가변길이 부호화를 실행한다. 그리고 가장 아래의 MCU열의 가변길이 부호화가 완료되면, 다음 타일인 타일1에 대해서, 동일하게 위에서 순서대로 MCU열 단위로 가변길이 부호화를 실행한다.

여기에서 화상압축부(112)는 타일0에 대해서, 위에서 순서대로 MCU열 단위로 가변길이 부호화를 실행할 때에, MCU열의 가장 우측의 MCU의 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 기록한다. 후술하는 바와 같이, MCU열의 가장 우측의 MCU의 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 기록함에 따라, 인접하는 타일의 대응하는 MCU열의 가장 왼쪽의 MCU에 대해 예측 부호화가 가능해 진다.

화상압축부(112)는 복수의 블록으로 분할된 화상을, 블록 단위로 가변길이 부호화하면, 부호화후의 각 MCU열의 개시 어드레스의 정보를 SDRAM(120)에 기록하고(스텝S103), 부호화후의 각 MCU열의 비트량의 정보를 SDRAM(120)에 기록한다(스텝S104).

화상압축부(112)는 MCU열을 가변길이 부호화하므로, 부호화후의 각 MCU열의 길이는 일정하지 않다. 따라서 부호화후의 데이터를 도7에 도시한 바와 같이 재배열하여 결합하고 메모리 카드(114)에 기록할 때는, 각 MCU열의 데이터가 어디에 있는지를 알아야 한다. 따라서 부호화후의 각 MCU열의 개시 어드레스 정보를 SDRAM(120)에 기록하고, 각 MCU열의 데이터를 메모리 카드(114)에 기록할 때, SDRAM(120)에 기록한 개시 어드레스의 정보를 참조한다.

또한, 메모리 카드(114)에 MCU열의 데이터를 기록할 때에, SDRAM(120)에 기록된 각 MCU열의 데이터를 얼마만큼 독출하면 되는지, 또한 나머지 비트량이 몇개인지를 알기 위해서, 각 MCU열의 부호량을 알 필요가 있다. 따라서 부호화후의 각 MCU열의 비트량의 정보를 SDRAM(120)에 기록한다.

도8은 화상압축부(112)에 의해 가변길이 부호화된 데이터의 결합 처리에 대해서 나타내는 설명 도면이다. 도8에는 타일0의 최상부의 MCU열과 타일1의 최상부의 MCU열을 결합할 경우가 예시되어 있다. 그리고 도8에는 타일0의 최상부의 MCU열을 가변길이 부호화하면, 최후의 3비트가 남아 있어, 소정의 비트(Padding Bit)로 메워져 있는 상태가 예시되어 있다.

이 경우에 있어서, 타일0의 최상부의 MCU열의 개시 어드레스, 부호화후의 각 MCU열의 비트량의 정보, 나머지 비트량의 정보를 SDRAM(120)에 기억해 두고, 동일하게 타일1의 최상부의 MCU열의 개시 어드레스, 부호화후의 각 MCU열의 비트량의 정보, 나머지 비트량의 정보를 SDRAM(120)에 기록해 둔다.

하나의 화상 데이터의 JPEG부호화가 완료되어 부호화 데이터가 SDRAM(120)에 격납되면, SDRAM(120)에 격납된 부호화 데이터는, 상기 스텝S103 및 스텝S104에서 SDRAM(120)에 격납된 정보를 이용하여, 부호화 데이터를 재배열하여 1매의 JPEG화상에 결합된다(스텝S105). 결합된 JPEG화상은 메모리 카드(114)에 기록된다.

부호화 데이터를 재배열하여 메모리 카드(114)에 기록할 때에는, SDRAM(120)에 기록한 이들 정보를 독출하여 참조하는 것으로, 도8에 도시한 바와 같이 MCU열 단위로 데이터를 결합하는 것이 가능해 진다. 즉, 타일0의 가장 위의 MCU열의 개시 어드레스 및 부호화후의 각 MCU열의 비트량의 정보를 SDRAM(120)으로부터 독출하는 것으로, 타일0의 가장 위의 MCU열을 SDRAM(120)의 어디에서 얼마만큼 독출하면 되는지를 알 수 있다.

계속해서, 타일1의 가장 위의 MCU열의 개시 어드레스 및 부호화후의 각 MCU열의 비트량의 정보를 SDRAM(120)으로부터 독출하여, 타일1의 가장 위의 MCU열을 SDRAM(120)의 어디에서 얼마만큼 독출하면 되는지를 알 수 있어, 타일0의 가장 위의 MCU열의 뒤에 연결시킬 수 있다.

이상, 도6을 이용하여 본 발명의 일실시예에 관한 디지털 스틸 카메라(100)의 동작에 대해서 설명했다.

이상 설명한 바와 같이 본 발명의 일실시예에 따르면, 현상부(110)는 휘도신호와 색차신호를 포함하는 YCbCr정보로 이루어지는 화상 데이터를 생성하고, SDRAM(120)을 거치지 않고 그 화상 데이터를 화상압축부(112)에 공급할 경우에, 하나의 화상을 복수의 타일로 분할하여 현상부(110)로부터 화상압축부(112)에 공급한다. 화상압축부(112)에서는 타일 단위로 화상 데이터를 가변길이 부호화한다. 가변길이 부호화에 있어서는, 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr 각각의 DC값을, SDRAM(120)에 기록한다.

도9는 본 발명의 일 실시예에 따라 디지털 스틸 카메라(100)에서의 예측 부호화에 대해서 나타내는 설명 도면이다. 이렇게, 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 기록하는 것으로, 타일의 경계에 있어서 Y, Cb, Cr 각각의 DC값을 이용한 예측 부호화가 가능하게 된다.

가변길이 부호화에 있어서, 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr각각의 DC값을 SDRAM(120)에 기록함에 따라, RST마커 코드는 MCU열의 가장 오른쪽 끝에 하나만 있으면 되므로, 가변길이 부호화시의 부호화 효율을 종래 기술에 비하여 높일 수 있다. 또한 각 타일에 RST마커 코드를 삽입하지 않기 때문에 각 타일의 가로 폭을 자유롭게 설정할 수 있으므로, 화상의 다양한 가로 폭에 적용할 수 있다.

여기에서, 타일 단위로 가변길이 부호화된 데이터를 결합해서 JPEG화상을 생성하기 위해서 필요한 처리에 대해서 설명한다. 가변길이 부호화된 데이터를 결합해서 JPEG화상을 생성하는 DMA IF(137)(또는 결합부)의 DMA는 이하의 기능을 탑재 할 필요가 있다.

(1)Byte Aligned화

각 타일내의 MCU열은 Byte Aligned 되어 있지 않다. 따라서 DMA IF(137)는 상술한 바와 같이, 각 MCU열을 독출하고, Bit시프트를 행해서 가변길이 부호화된 데이터를 결합 할 필요가 있다.

(2) "FF"다음에 "00"Padding

JPEG의 스트림내에서는, Bit "1"이 바이트 경계상에서 8개 계속되었을 경우, 즉, JPEG의 스트림을 에디터 등의 화면에서 봤을 때, 16진수로 "FF"인 경우, 그 다음 바이트가 "00"이어야 한다. 따라서 Bit "1"이 바이트 경계상에서 8개 계속되었을 경우에는, 이 "00"의 바이트를 삽입 할 필요가 있다. 그러나 JPEG부호화를 실행하는 화상압축부(112)는 부호화하고 있는 데이터의 어디가 바이트 경계인지 알 수 없으므로, "00" 바이트의 삽입은 데이터의 재배열을 행하고 있는 DMA IF(137)에서 행할 필요가 있다. 도10은 JPEG의 스트림에서 Bit "1"이 바이트 경계상에서 8개 계속되었을 경우에, "00"의 바이트를 삽입하는 모양을 나타내는 설명 도면이다.

그 때문에, 화상압축부(112)는, 부호화하고 있는 화상의 스트림에서, 바이트 경계상에서 Bit "1"이 8개 계속되고 있는 부분을 검색하고, Bit "1"이 바이트 경계상에서 8개 계속되고 있는 부분이 있으면, 그 부분의 어드레스를 파일로서 SDRAM(120)에 기록한다. 그리고 JPEG 부호화후의 화상을 메모리 카드(114)에 기록하는 DMA IF(137)는, 화상압축부(112)가 SDRAM(120)에 라이트한, Bit "1"이 바이트 경계상에서 8개 계속되고 있는 부분의 어드레스를 참조하여, 해당 하는 부분에 대해서 상술한 "00"의 바이트를 삽입한다.

도10에서는 2개의 예가 제시되어 있다. 예 1은, "FF", 즉 Bit "1"이 바이트 경계상에서 8개 계속되고 있는 부분이 있으면, 그 후에 "00"의 바이트를 삽입하는 것을 나타낸다. 예 2는, "FF", 즉 Bit "1"이 바이트 경계상에서 16개 계속되고 있는 부분이 있으면, 각각의 "FF"의 뒤에 "00"의 바이트를 삽입하는 것을 나타낸다.

이렇게, 화상압축부(112)가, 부호화하고 있는 화상의 스트림에 있어서, Bit "1"이 바이트 경계상에서 8개 계속되고 있는 부분을 검색하고, 그 부분을 SDRAM(120)에 라이트하고, DMA IF(137)는 그 정보를 참조해서 "00"의 바이트를 삽입함에 따라, DMA IF(137)가 데이터를 검색하는 경우에 비하여, DMA IF(137)에 의한 데이터의 결합에 소요되는 시간을 단축할 수 있는 효과를 기대할 수 있다.

(3)RST마커 코드의 부가

RST마커 코드도 바이트 경계에 기록 할 필요가 있기 때문에, JPEG부호화후의 화상을 메모리 카드(114)에 기록하는 DMA IF(137)가 RST마커 코드를 삽입한다. 본 실시예는 하나의 화상을 복수의 타일로 분할하여 부호화하는 경우는, 할 수 있는 한 RST마커 코드의 수를 줄이는 것을 목적으로 하고 있다. 한편, 각 MCU라인의 가장 오른쪽 끝의 부분만큼은, RST마커 코드는 반드시 필요하게 된다.

통상의 JPEG부호화에서는, 왼쪽 끝의 MCU의 DC값은, 하나 위의 MCU열의 오른쪽 끝의 MCU의 정보를 이용하여 예측 부호화를 행한다. 그러나 본 실시예에서는, 왼쪽 끝의 타일은 최초로 부호화되기 때문에, 가장 오른쪽 끝의 MCU의 정보를 참조할 수는 없다. 도11은 왼쪽 끝의 타일을 최초로 부호화하기 때문에, 가장 오른쪽 끝의 MCU의 정보를 참조할 수는 없는 상태를 나타내는 설명 도면이다. 따라서 본 실시예에서 디지털 스틸 카메라(100)는 수평방향으로 하나씩의 RST마커 코드를 부가한다.

도12는 본 발명의 일 실시예에 따라 디지털 스틸 카메라(100)의 DMA IF(137)에 의한 데이터의 결합 시에, 오른쪽 끝 타일의 오른쪽 끝의 MCU 앞에 RST마커 코드를 삽입하는 모양을 나타내는 도면이다. 이렇게, DMA IF(137)에 의한 데이터의 결합 시에, 오른쪽 끝 타일의 오른쪽 끝의 MCU 앞에 RST마커 코드를 삽입하여, JPEG의 규격에 적합한 데이터를 생성하는 것이 가능해 진다.

도12에 나타낸 예에서는, 최상부의 타일3의 오른쪽 끝(Right Edge)부분의 데이터를 추출하고 있다. 도12에 도시한 것과 같은 경우, 최상부의 타일3의 오른쪽 끝의 데이터의 뒤에 RST마커 코드를 부가하지 않으면 안 된다. 그리고 도12의 예에서, 최상부의 타일3의 오른쪽 끝의 데이터가 유효 데이터로서 바이트 경계까지 5비트가 부족한 경우는, DMA IF(137)에 의한 데이터의 결합 시에 5비트를 "0"으로 메우고, 그 후에 RST마커 코드를 부가한다. 이것에 의해 본 실시예에 따른 디지털 스틸 카메라(100)는 JPEG의 규격에 적합한 데이터를 생성하는 것이 가능해 진다.

<3. 정리>

이상 설명한 바와 같이 본 발명의 일 실시예에 따른 디지털 스틸 카메라(100)에서, 현상부(110)가 휘도신호와 색차신호를 포함하는 YCbCr정보로 이루어지는 화상 데이터를 생성하고, SDRAM(120)을 거치지 않고 그 화상 데이터를 화상압축부(112)에 공급할 경우에, 하나의 화상을 복수의 타일로 분할하여 현상부(110)로부터 화상압축부(112)로 공급한다. 화상압축부(112)는 타일 단위로 화상 데이터를 가변길이 부호화한다. 가변길이 부호화시, 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr 각각의 DC값은 SDRAM(120)에 기록된다.

가변길이 부호화에 있어서, 부호화후의 각 MCU열의 개시 어드레스의 정보, 부호화후의 각 MCU열의 비트길이 및 Y, Cb, Cr 각각의 DC값을 SDRAM(120)에 저장함에 따라, RST마커 코드는 MCU열의 가장 오른쪽 끝에 하나 있으면 되므로, 가변길이 부호화시의 부호화 효율을 종래 기술에 비하여 높일 수 있다. 또한 각 타일에 RST마커 코드를 삽입하지 않기 때문에 각 타일의 가로 폭을 자유롭게 설정할 수 있으므로, 어떠한 가로 폭을 가지는 화상이라도 본 발명을 적용할 수 있다.

또한 본 발명의 일 실시예에 따라 디지털 스틸 카메라(100)는 타일 단위로 화상 데이터를 가변길이 부호화하고, 부호화 데이터를 결합해서 하나의 화상 파일을 작성할 때에, JPEG의 규격에 적합하도록, 데이터 Bit 시프트하고, "FF"의 뒤의 "00"패딩, 및 RST마커 코드를 부가한다. 이에 따라, 본 발명의 일 실시예에 따른 디지털 스틸 카메라(100)는 B2Y로 처리한 데이터를 SDRAM(120)에 일시 보유할 필요가 없어지기 때문에, 소비 전력과 SDRAM의 용량을 줄일 수 있고, JPEG의 규격에 적합한 화상 파일을 얻을 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 상세히 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술의 분야에 있어서의 통상의 지식을 가지는 자이면, 특허청구의 범위에 기재된 기술적 사상의 범주내에 있어서, 각종의 변경 예 또는 수정 예에 도달할 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.

Claims

촬상 장치에 있어서,
촬상 소자로의 입광에 의해 생성되는 데이터로부터 화상 데이터를 생성하는 화상처리부;
상기 화상 데이터를 부호화하여 부호화 화상 데이터를 생성하는 부호화부; 및
상기 부호화 화상 데이터를 기억하는 저장부;를 포함하고,
상기 화상처리부는, 상기 화상 데이터를 가로방향으로 복수의 블록들로 분할하고, 상기 복수의 블록들을 상기 부호화부로 공급하고,
상기 부호화부는, 상기 복수의 블록들 각각을 부호화할 때에, 상기 복수의 블록들 각각에 대응하여, 부호화되는 라인의 예측 부호화에 이용되는 정보, 부호화된 라인의 개시 어드레스 및 상기 부호화된 라인의 부호화 후의 데이터 길이를 상기 저장부에 기록함을 특징으로 하는 촬상 장치.
제1항에 있어서, 상기 부호화부는,
상기 예측 부호화에 이용되는 정보를, 해당 블록에 인접하는 블록의 예측 부호화 시에 상기 저장부로부터 독출함을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 개시 어드레스 및 상기 부호화 후의 데이터 길이를 이용하여 블록 단위로 부호화된 상기 부호화 화상 데이터를 결합하는 결합부(DMA);를 더 포함함을 특징으로 하는 촬상 장치.
제1항에 있어서, 상기 부호화부는,
상기 부호화 화상 데이터에 있어서의 특정한 데이터의 위치를 검색하고, 상기 특정한 데이터의 위치 정보를 상기 저장부에 저장함을 특징으로 하는 촬상 장치.
제1항에 있어서, 상기 예측 부호화에 이용되는 정보는,
상기 부호화되는 라인의 가장 우측 MCU의 Y, Cb, Cr 각각의 DC 값을 포함함을 특징으로 하는 촬상 장치
제1항에 있어서, 상기 부호화 화상 데이터의 바이트 경계 상에서 비트 "1"이 n개 연속하면, 그 뒤에 "00" 바이트가 삽입됨을 특징으로 하는 촬상 장치.
제1항에 있어서, 상기 부호화되는 라인의 가장 오른쪽 끝에 RST 마커 코드가 삽입됨을 특징으로 하는 촬상 장치.
촬상 장치의 화상 처리 방법에 있어서,
촬상 소자로의 입광에 의해 생성되는 데이터로부터 화상 데이터를 생성하는 동작;
상기 화상 데이터를 가로방향으로 복수의 블록들로 분할하는 동작; 및
상기 복수의 블록들로 분할된 화상 데이터를 부호화하여 부호화 화상 데이터를 생성하는 동작;을 포함하고,
상기 부호화 화상 데이터를 생성하는 동작은,
상기 복수의 블록들 각각을 부호화할 때에, 상기 복수의 블록들 각각에 대응하여, 부호화되는 라인의 예측 부호화에 이용되는 정보, 부호화된 라인의 개시 어드레스 및 상기 부호화된 라인의 부호화 후의 데이터 길이를 상기 촬상 장치의 저장부에 기록하는 동작; 및
상기 부호화 화상 데이터를 상기 저장부에 저장하는 동작;을 포함함을 특징으로 하는 화상 처리 방법.
제8항에 있어서, 상기 예측 부호화에서 이용되는 정보는,
해당 블록에 인접하는 블록의 예측 부호화 시에 상기 저장부로부터 독출됨을 특징으로 하는 화상 처리 방법.
제8항에 있어서,
상기 개시 어드레스 및 상기 부호화 후의 데이터 길이를 이용하여 블록 단위로 부호화된 상기 부호화 화상 데이터를 결합하는 동작;을 더 포함함을 특징으로 하는 화상 처리 방법.
제8항에 있어서, 상기 부호화 화상 데이터에 있어서의 특정한 데이터의 위치가 검색되고, 상기 특정한 데이터의 위치 정보가 상기 저장부에 저장됨을 특징으로 하는 화상 처리 방법.
제8항에 있어서, 상기 예측 부호화에 이용되는 정보는,
상기 부호화되는 라인의 가장 우측 MCU의 Y, Cb, Cr 각각의 DC 값을 포함함을 특징으로 하는 화상 처리 방법.
제8항에 있어서, 상기 부호화 화상 데이터의 바이트 경계 상에서 비트 "1"이 n개 연속하면, 그 뒤에 "00" 바이트가 삽입됨을 특징으로 하는 화상 처리 방법.
제8항에 있어서, 상기 부호화되는 라인의 가장 오른쪽 끝에 RST 마커 코드가 삽입됨을 특징으로 하는 화상 처리 방법.