KR101046012B1

KR101046012B1 - 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Info

Publication number: KR101046012B1
Application number: KR1020107024938A
Authority: KR
Inventors: 야스히로 사와다; 데츠야 모리즈미
Original assignee: 어큐트로직 가부시키가이샤
Priority date: 2008-04-07
Filing date: 2009-03-25
Publication date: 2011-07-01
Also published as: JP2009253667A; TW200943973A; TWI354497B; CN101557520A; CN101557520B; WO2009125673A1; JP4494490B2; KR20100124855A

Abstract

컬러 이미지 센서로부터 출력된 화상 데이터로부터, 디모자이크 처리 및 압축 스트림의 생성을 행할 때에, 프레임 재배열을 위한 기억 용량이나 대역을 절감하고, 저소비 전력화와 저비용화를 실현할 수 있는 동화상 처리 장치 및 동화상 처리 방법을 제공한다. 촬상부(110)로부터 출력되어 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 압축 스트림의 처리순에 대응시켜 바꿔 배열하는 프레임 재배열부(130)와, 프레임 재배열부(130)에서 바꿔 배열된 프레임 시퀀스에 있어서의 제1의 데이터 형식을, 컬러 화상으로 변환하는 컬러 화상 생성부(140)와, 컬러 화상으로 변환된 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하는 동화상 압축부(150)를 구비한다.

Description

동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체{DYNAMIC IMAGE PROCESSING DEVICE, DYNAMIC IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM HAVING RECORDED DYNAMIC IMAGE PROCESSING PROGRAM}

본 발명은, 컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 출력된 동화상의 프레임 시퀀스를, 부호화하여 압축 스트림을 생성하는 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체에 관한 것이다.

종래, 동화상을 촬영하는 비디오 카메라에서는, 렌즈를 통하여 촬상 소자에 피사체상을 결상하고, 이 촬상 소자에 의해 피사체상을 광전 변환하고, 시계열적으로 복수의 프레임 데이터를 생성하고, 이 복수의 프레임간의 움직임을 예측하여(소위, 프레임간 예측화 방식이다), 압축 스트림을 생성하는 동화상 처리 기술(MPEG)이 알려져 있다.

동화상 처리 기술에서는, 일반적으로, 현재 프레임의 화소가 이전 프레임의 화소에 비해 어느정도 움직였는지를 벡터로 나타낸 움직임 벡터를 추정(예측)하여, 전체의 화상을 전송하는 대신에, 이들 움직임 벡터의 차를 전송함으로써 전송 정보를 압축한다.

상세하게는, MPEG로 대표되는 동화상 처리 기술에서는, 프레임의 종류가, 프레임간 예측을 이용하지 않고 프레임 내의 화상 신호를 그대로 부호화하는 I프레임과, 시간적으로 선행하는 참조 프레임의 화상 신호로부터의 차분을 부호화하는 P프레임과, 시간적으로 선행하는 참조 프레임과 후행하는 참조 프레임의 차분을 부호화하는 B프레임에 의해 구성되고, 이들 프레임의 배열과 반복 주기가 설정되어 있다.

예를 들면, M＝3의 MPEG는, 도 2(b)에 나타낸 것처럼, GOP(Group of Pictures)가, I를 기준으로 I, B, B, P, B, B, P, B, B, P, B, B, I…, 등과 같이 시계열적으로 연속하는 프레임으로 구성된다.

한편, 이와 같이 입력되는 프레임 순서와 부호화되어 전송되는 순서가 다르므로, 부호화 시에 프레임의 순서를 재배열할 필요가 있다. 그리고, 재배열을 위해서, B프레임을 일시 기억하기 위한 프레임 버퍼 메모리가 필요하게 된다. 예를 들면, I와 P의 사이에 2매의 B프레임이 삽입되는 M＝3의 경우에는, 이를 기억하기 위해서 2프레임분의 메모리가 필요하게 된다(예를 들면, 특허 문헌 1 참조).

또한, 단판식의 촬상 소자로서, 매트릭스형상으로 복수의 광전 변환 소자가 구성됨과 더불어, 그 전면에 광전 변환 소자에 대응되어 R(적) G(녹) B(청)의 각 컬러 필터가 구비되고, 이 컬러 필터를 통하여 출력한 단일색의 화상 신호에 신호 처리를 추가하여 컬러 화상을 생성하는 기술이 있다.

단판식의 촬상 소자를 통하여 출력된 화상에서는, 각 화소가 단일색의 색 정보밖에 가지지 않는 색 모자이크 화상으로서, 컬러 화상을 생성하기 위해서, 각 화소에 적색(R), 녹색(G), 청색(B) 등의 복수의 색 정보를 구비할 필요가 있다.

여기서, 단판식 촬상 소자를 이용한 화상 처리에서는, 각 화소가 R, G, B성분 중 어느 하나만의 색 정보를 가지는 색 모자이크 화상에 의거하여, 디모자이크 처리(색 보간 처리라고도 한다)를 행하고, 색 모자이크 화상으로부터 컬러 화상을 생성한다. 여기서, 디모자이크 처리란, 색 모자이크 화상의 각 화소에 있어서 부족한 다른 색 정보를, 그 화소 주변의 다른 화소의 색 정보를 이용하여 보간 연산함으로써, 각 화소가 각각 R, G, B성분의 모든 색 정보를 가지는 컬러 화상을 생성하는 처리이다(소위, 색 보간 처리이다).

[선행기술문헌]

[특허문헌]

특허 문헌 1 : 일본국 특허공개 평10-056652호공보

그러나, 종래의 동화상 처리 기술에 의하면, 일반적으로, 프레임을 바꿔 배열할 때, 프레임 버퍼에 기억되는 화상 데이터가 화소마다 복수색의 색 정보를 구비한 컬러 화상으로서, 디모자이크 처리를 필요로 하는 화상 데이터에 관련되어, 메모리 용량의 절감에 효과적인 동화상 처리 기술이 개시되어 있지 않았다.

여기서, 본 발명은, 컬러 이미지 센서로부터 출력된 화상 데이터로부터, 디모자이크 처리(소위, 본 발명에 있어서의 컬러 화상 생성의 처리이다) 및 압축 스트림의 생성을 행할 때에, 프레임 재배열을 위한 기억 용량이나 대역을 절감하여, 저소비 전력화와 저비용화를 실현할 수 있는 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 제공하는 것을 목적으로 한다.

이러한 목적을 달성하기 위해서 이루어진 청구항 1에 기재된 발명은, 컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 압축 스트림을 생성하는 동화상 처리 장치에 있어서, 상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 구비하고, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 구비하고, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열부와, 상기 프레임 재배열부에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성부와, 상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축부를 구비하고 있는 것을 특징으로 한다.

청구항 1에 기재된 동화상 처리 장치에 의하면, 제1의 데이터 형식이 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 구비하고, 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열부와, 프레임 재배열부에서 바꿔 배열된 프레임 시퀀스에 있어서의 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성부와, 컬러 화상으로 변환된 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 압축 스트림을 생성하는 동화상 압축부를 구비함으로써, 동화상의 압축 스트림을 생성할 시의 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 저소비 전력화에 따른 당해 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다.

즉, 프레임 재배열에 이용되는 프레임 데이터가 컬러 화상을 생성하기 전의, 이미지 센서로부터 출력된 제1의 데이터 형식이고 화소마다 단일색 광의 색 정보만을 가지는 색 모자이크 화상의 데이터이기 때문에, 프레임 재배열 시에 화소마다 복수색 광의 색정보를 갖는 컬러 화상 데이터를 이용하는 것보다도, 프레임 재배열에 필요한 메모리 용량이나 대역을 절감할 수 있다.

삭제

또한, 청구항 1에 기재된 동화상 처리 장치는, 청구항 2에 기재된 발명과 같이, 상기 컬러 이미지 센서가, 상기 단판 컬러 이미지 센서에 대신하여, 분광 감도 분포가 상이한 복수의 컬러 이미지 센서에 의해 구성되고, 그 복수의 컬러 이미지 센서의 수광면이 화소 배치 방향으로 어긋나게 배치되고, 상기 제1의 데이터 형식이, 상기 복수의 컬러 이미지 센서 중의 각각으로부터 출력되어 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 상기 컬러 화상 생성부가, 상기 복수의 컬러 이미지 센서의 화상 데이터를 합성하여 상기 컬러 화상을 생성함과 더불어 해상도를 높이도록 구성되어 있으므로, 컬러 이미지 센서로부터 출력된 화상 데이터로부터, 컬러 화상의 생성 및 압축 스트림의 생성을 행할 때에, 해상도를 높이면서 프레임 재배치에 필요한 기억 용량이나 대역을 절감할 수 있다.

또한, 청구항 1 또는 청구항 2에 기재된 동화상 처리 장치는, 청구항 3에 기재된 발명과 같이, 상기 복수의 프레임이, 시간적으로 후행하는 프레임을 참조하지 않고 부호화하는 NonF 프레임과, 시간적으로 후행하는 프레임을 참조하여 부호화하는 F프레임에 의해 구성되고, 상기 프레임 재배열부가, 상기 입력되는 NonF 프레임, F프레임의 종별에 따라 지연을 부여하여 출력하도록 구성되어 있을 때에, 적용할 수 있다.

또한, 청구항 3에 기재된 동화상 처리 장치는, 청구항 4에 기재된 발명과 같이, 상기 NonF 프레임이, 또한, 상기 프레임간 예측을 이용하지 않고 프레임 내의 화상 신호를 그대로 부호화하는 I프레임과, 시간적으로 선행하는 참조 프레임의 화상 신호로부터의 차분을 부호화시키는 P프레임으로 이루어지고, 상기 F프레임이, 시간적으로 선행하는 참조 프레임과 후행하는 참조 프레임의 차분을 부호화하는 B프레임이며, 상기 프레임 재배열부가, 상기 입력되는 I프레임, P프레임, B프레임의 종별에 따라 지연을 부여하여 출력하도록 구성되어 있을 때에, 적용할 수 있다.

또한, 청구항 1 또는 2에 기재된 동화상 처리 장치는, 청구항 5에 기재된 발명과 같이, 상기 프레임 재배열부가, 상기 복수의 프레임 종별 중 일부 프레임 종별에 대해서 지연을 부여하여 출력하도록 구성되어 있으면 된다.

또한, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치는, 청구항 6에 기재된 발명과 같이, 상기 프레임 재배열부에는, 상기 제1의 데이터 형식의 화상 데이터에 있어서의, 적어도 2프레임분의 각각마다 화상 데이터를 저장하는 프레임 버퍼가 구비되어 있는 것이 바람직하다. 이에 따라, 일반적인 동화상 처리 기술인 M＝3의 MPEG에 있어서, I프레임 및 P프레임의 사이에 배열되는 2매의 B프레임을 기억할 수 있다.

또한, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치는, 청구항 7에 기재된 발명과 같이, 상기 컬러 화상 생성부에는, 상기 컬러 화상의 화상 변형을 행하는 화상 변형 처리부가 구비되어 있는 것이 바람직하다. 이에 따라, 컬러 화상의 변형 처리를 할 때에 필요한 프레임 버퍼로서, 프레임 재배열부의 프레임 버퍼를 이용할 수 있어, 별도 화상 변형에 필요한 기억 용량이나 대역을 절감할 수 있다.

또한, 청구항 7에 기재된 동화상 처리 장치는, 청구항 8에 기재된 발명과 같이, 상기 프레임 재배열부가, 상기 화상 변형 시에 프레임 내의 화상 데이터를 비(非)래스터 순차로 출력하도록 구성되어 있는 것이 바람직하다. 이에 따라, 별도 화상 변형용의 프레임 버퍼를 준비하지 않고, 프레임 재배열부의 프레임 버퍼를 이용하여 디지털 줌이나 손 떨림, 수차 보정 등의 화상 변형을 행할 수 있다.

또한, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치는, 청구항 9에 기재된 발명과 같이, 파인더에 출력하는 컬러 화상을 생성하는 제2의 컬러 화상 생성부를 구비하고, 그 제2의 컬러 화상 생성부에서는, 상기 프레임 재배열부에 있어서의 프레임 재배치를 행하지 않고, 컬러 화상을 생성함으로써, 파인더에 컬러 화상을 생성할 때에, 파인더에는 디스플레이순으로 화상이 표시되고, 프레임 재배치에 의한 지연이 없어, 컬러 이미지 센서로부터의 출력에 대한 추종성을 양호하게 유지할 수 있다.

또한, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치는, 청구항 10에 기재된 발명과 같이, 상기 컬러 이미지 센서로부터 출력되는 프레임 시퀀스를, 상기 프레임 재배열부를 통하지 않고 상기 컬러 화상 생성부에 출력하는 재배열부 우회 수단을 구비하고, 상기 컬러 화상 생성부에 입력되는 프레임 시퀀스의, 상기 컬러 이미지 센서로부터 출력되는 프레임순과 상기 프레임 재배열부로부터 출력되는 프레임순이 전환 가능하게 구성되어 있음으로써, 필요에 따라서 프레임 재배열의 유무를 선택할 수 있어 편리성을 향상시킬 수 있다.

또한, 청구항 11에 기재된 발명과 같이, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 압축부에서 압축된 동화상 정보를 기억하는 기록 장치를 이용하여, 캠코더를 구성하면 된다. 이에 따라, 캠코더에 있어서, 동화상의 프레임 시퀀스의 압축 스트림을 생성할 때에, 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다.

또한, 청구항 12에 기재된 발명과 같이, 청구항 1, 2 또는 4 중 어느 한 항에 기재된 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 압축부에서 압축된 동화상 정보를 외부 기기로 송신하는 송신 장치를 이용하여 원격 모니터용 카메라를 구성하면 된다. 이에 따라, 원격 모니터용 카메라에 있어서, 동화상의 프레임 시퀀스의 압축 스트림을 생성할 때에, 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다.

다음에, 청구항 13에 기재된 발명은, 컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 컬러 동화상의 압축 스트림을 생성하는 동화상 처리 방법에 있어서, 상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 이용하여, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열 단계와, 상기 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와, 상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축 단계를 이용하는 것을 특징으로 한다.

청구항 13에 기재된 동화상 처리 방법에 의하면, 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열 단계와, 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와, 상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축 단계를 이용함으로써, 청구항 1에 기재된 발명과 마찬가지로, 동화상의 압축 스트림을 생성할 시의 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 저소비 전력화에 따른 당해 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다. 즉, 프레임 재배열에 이용되는 프레임 데이터가 컬러 화상을 생성하기 전의, 이미지 센서로부터 출력된 제1의 데이터 형식이고, 이 제1의 데이터 형식이 화소마다 단일색 광의 색 정보만을 가지는 색 모자이크 화상의 데이터이기 때문에, 프레임 재배열 시에 화소마다 복수색 광의 색정보를 갖는 컬러 화상 데이터를 이용하는 것보다도, 프레임 재배열에 필요한 메모리 용량이나 대역을 절감할 수 있다.

다음에, 청구항 14에 기재된 발명은, 컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 컬러 동화상의 압축 스트림을 생성하는 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체로서, 상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 이용하여, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열 단계와, 상기 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와, 상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축 단계를 컴퓨터에 실행시키는 것을 특징으로 한다.

청구항 14에 기재된 동화상 처리 프로그램에 의하면, 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 프레임 재배열 단계와, 상기 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와, 컬러 화상으로 변환된 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 압축 스트림을 생성하는 동화상 압축 단계를 컴퓨터에 실행시킴으로써, 청구항 1에 기재된 발명과 마찬가지로, 동화상의 압축 스트림을 생성할 시의 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 저소비 전력화에 따른 당해 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다. 즉, 프레임 재배열에 이용되는 프레임 데이터가 컬러 화상을 생성하기 전의, 이미지 센서로부터 출력된 제1의 데이터 형식이고, 제1의 데이터 형식이 화소마다 단일색 광의 색 정보만을 가지는 색 모자이크 화상의 데이터이기 때문에, 프레임 재배열 시에 화소마다 복수색 광의 색정보를 갖는 컬러 화상 데이터를 이용하는 것보다도, 프레임 재배열에 필요한 메모리 용량이나 대역을 절감할 수 있다.

본 발명의 동화상 처리 장치, 동화상 처리 방법, 동화상 처리 프로그램은, 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고, 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를, 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하고, 이어서, 바꿔 배열된 프레임 시퀀스에 있어서의 제1의 데이터 형식을, 화소 마다 복수색 광의 색 정보를 갖는 컬러 화상으로 변환하고, 컬러 화상으로 변환된 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 압축 스트림을 생성함으로써, 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감 할 수 있어 저소비 전력화, 저비용화, 저소비 전력화에 따른 당해 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다. 즉, 프레임 재배열에 이용되는 프레임 데이터가 컬러 화상을 생성하기 전의, 이미지 센서로부터 출력된 제1의 데이터 형식이고 화소마다 단일색 광의 색 정보만을 가지는 색 모자이크 화상의 데이터이기 때문에, 동화상의 압축 스트림을 생성할 시의 프레임 재배열에 있어서, 화소마다 복수색 광의 색정보를 갖는 컬러 화상 데이터를 이용하는 것보다도, 프레임 재배열에 필요한 메모리 용량이나 대역을 절감할 수 있다.

또한, 본 발명에 있어서의 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 처리 장치의 동화상 압축부에서 압축된 동화상 정보를 기억하는 기록 장치를 이용하여, 캠코더를 구성함으로써, 캠코더에 있어서, 동화상의 프레임 시퀀스의 압축 스트림을 생성할 때에, 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감할 수 있어, 저소비 전력화, 저비용화, 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다.

또한, 본 발명에 있어서의 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 처리 장치의 동화상 압축부에서 압축된 동화상 정보를 외부 기기로 송신하는 송신 장치를 이용하여 원격 모니터용 카메라를 구성함으로써, 원격 모니터용 카메라에 있어서, 동화상의 프레임 시퀀스의 압축 스트림을 생성할 때에, 프레임 재배열에 필요한 메모리 용량 및 대역(프레임 버퍼의 메모리 용량 및 대역)을 절감 할 수 있어, 저소비 전력화, 저비용화, 동화상 처리 회로에 있어서의 발열량의 저감화를 실현할 수 있다.

도 1은 본 발명의 제1의 실시 형태에 있어서의, (a)가 본 발명의 동화상 처리 장치가 적용된 촬상 장치(1A)의 구성을 나타낸 블록도, (b)가 동 촬상 장치(1A)에 있어서의 촬상부의 설명도이다.
도 2는 동 제1의 실시 형태의 촬상 장치(1A)에 있어서의, 프레임 재배열부의 동작의 설명도이다.
도 3은 본 발명의 제2의 실시 형태에 있어서의, (a)가 본 발명의 동화상 처리 장치가 적용된 촬상 장치(1B)의 구성을 나타낸 블록도, (b)가 동 촬상 장치(1B)에 있어서의 촬상부의 설명도, (c)가 동 촬상 장치(1B)에 있어서의 화상 데이터 합성 처리의 설명도이다.
도 4는 동 제2의 실시 형태의 촬상 장치(1B)에 있어서의, 프레임 재배열부의 동작의 설명도이다.
도 5는 본 발명의 제3의 실시 형태에 있어서의, 본 발명의 동화상 처리 장치가 적용된 촬상 장치(1C)의 구성을 나타낸 블록도이다.
도 6은 본 발명의 제4의 실시 형태에 있어서의, 본 발명의 동화상 처리 장치가 적용된 촬상 장치(1D)의 구성을 나타낸 블록도이다.

(제1의 실시 형태)

다음에, 도 1, 도 2를 이용하여, 본 발명의 제1의 실시 형태를 설명한다.

도 1에 있어서, (a)가 본 발명의 동화상 처리 장치가 적용된 제1의 실시 형태의 촬상 장치(1A)의 구성을 나타낸 블록도, (b)가 동 촬상 장치(1A)에 있어서의 촬상부의 설명도이다. 또한, 도 2는, 동 제1의 실시 형태의 촬상 장치(1A)에 있어서의, 프레임 재배열부의 동작의 설명도이다.

도 1(a)에 나타낸 것처럼, 촬상 장치(1A)는, 예를 들면 비디오 캠코더로서, 촬영한 화상 신호를 순차적으로 아날로그 전기 신호로 변환하여 출력하는 촬상부(110), 촬상부(110)로부터 출력된 아날로그 전기 신호를 디지털 데이터로 변환하여 출력하는 AFE(120), AFE(120)로부터 출력된 디지털 데이터를 프레임마다 분할하고, 그 프레임 순서를 변경하여 출력하는(소위, 프레임을 재배열하는) 프레임 재배열부(130), 프레임 재배열부(130)로부터 출력된 각 프레임의 화상 데이터를 컬러 화상으로 변환하는 화상 생성부(140)(본 발명에 있어서의 컬러 화상 생성부이다), 화상 생성부(140)로부터 출력된 컬러 화상의 프레임 시퀀스를, 동화상으로서 압축하고, 압축 스트림을 출력하는 동화상 압축부(150), 동화상 압축부(150)로부터 출력된 압축 스트림을, 예를 들면 플래쉬 메모리나 광/자기 기록 매체에 기록하는 기록부(160) 등에 의해 구성되어 있다.

또한, 촬상 장치(1A)에는, 도시되지 않은 CPU(Central Processing Unit)나 ROM(Read Only Memory)이 구비되어 있고, CPU가 ROM에 저장된 제어용 프로그램에 따라, 당해 촬상 장치(1A)의 각 처리를 제어한다.

촬상부(110)는, 단판식의 컬러 촬상 소자(본 발명에 있어서의 단판 컬러 이미지 센서이다)로서, 복수의 광전 변환 소자가 매트릭스형상으로 배치되고, 그 전면에는, 광전 변환 소자에 대응되어, 도 1(b)에 나타낸 것처럼, R(적), G(녹), B(청)의 3원색의 베이어(Bayer) 배열로 이루어지는 컬러 필터를 구비하고, 각 색의 필터부를 통과한 단일색의 광량을 전기 신호로 변환하도록 구성되어 있다. 또한, 베이어 배열은, 도 1(b)에 나타낸 것처럼, G색의 필터가 체크무늬로 배치되고, G색 필터와 R색 필터가 교대로 배치된 열과, G색 필터와 B색 필터가 교대로 배치된 열이, 교대로 배치되어 있다.

AFE(120)는, 촬상부(110)로부터 출력된 아날로그 화상 신호에 대해서 상관 이중 샘플링하고, 노이즈를 제거하는 상관 이중 샘플링 회로(CDS:Corelated Double Sampling), 상관 이중 샘플링 회로를 통하여 입력된 아날로그 화상 신호를 증폭하는 가변 이득 증폭기(AGC:Automatic Gain Control), 가변 이득 증폭기를 통하여 입력된 아날로그 화상 신호를 디지털 화상 신호로 변환하는 A/D 변환기 등에 의해 구성되고, 촬상부(110)로부터 출력된 프레임의 아날로그 화상 신호를, 베이어 배열에 대응된 디지털 화상 신호로 변환하여 프레임 재배열부(130)에 출력한다.

여기서, 촬상부(110)가 2M 픽셀(화소)로 구성되고, AFE(120)에 있어서의 A/D 변환의 정밀도를 8bit로 하면, AFE(120)로부터 출력되는 1프레임당의 화상 신호는, 16Mbit(2M*8bit＝16Mbit)가 된다.

프레임 재배열부(130)는, 디스플레이 순서로 입력되는 디지털화된 베이어 데이터의 프레임 순서를, 동화상 압축부(150)의 처리순에 대응된 전송 순서로 변환한다.

예를 들면, 동화상 압축부(150)에 있어서, M＝3의 MPEG 스트림을 생성할 때는, 도 2(a)에 나타낸 것처럼, k번째에 입력되는 입력 프레임(k)에 대해서, k≡2(mod 3)이면, I프레임 또는 P프레임이 되고, k≡0 또는 1(mod 3)이면, B프레임이 된다. mod는, 소정의 수치(k)를 mod 넘버로 나누어 그 잉여를 구하는 연산자이다.

여기서, 프레임 재배열부(130)에서는, B프레임에 대해서, I프레임 또는 P프레임보다도 3프레임 많은 지연을 부여하여 화상 생성부(140)에 출력한다. 본 실시 형태에서는, 4프레임분의 프레임 버퍼(130a∼130d)를 구비하고, 입력과 출력에 적절한 프레임 버퍼(130a∼130d)를 할당함으로써 프레임의 재배열을 실현한다. 프레임 버퍼(130a∼130d)는, 각각 16Mbit의 용량을 가지고, 합계 64Mbit의 메모리를 가진다.

화상 생성부(140)는, 프레임 재배열부(130)로부터 출력된 프레임을, 순차적으로, 베이어 화상으로부터 컬러 화상으로 변환한다. 컬러 화상 신호를, YCrCb＝4:2:2로서 생성한다. 이 때, 베이어 화상에서는 1화소당 1개의 값＝8bit/pix로 나타내는데 대해, 컬러 화상에서는 1화소당 2개의 값＝16bit/pix로 배증하고, 1프레임당 컬러 화상 신호가, 32Mbit(16bit/pix*2Mpix＝32Mbit)가 된다. 또한, 전술의 컬러 화상 신호에 있어서, Y가 휘도, Cr이 Y에 대한 R의 색차, Cb가 Y에 대한 B의 색차이다.

본 실시예에서는, 어느 프레임에 대해서나, 프레임 재배열부(130)에 대해 프레임 버퍼(130a∼130d)를 참조할 수 있도록 구성되어 있다. 이 때문에, 화상 생성부(140)는, 베이어 화상에 대해서 비래스터 순차의 액세스를 행할 수 있다.

이에 따라, 본 실시 형태에 있어서의 촬상 장치(1A)는, 별도 화상 변형용의 버퍼를 준비하지 않고, 프레임 버퍼(130a∼130d)를 이용하여, 디지털 줌이나 손떨림, 색 수차 및 왜곡 수차 보정 등의 화상 변형도 행할 수 있다.

동화상 압축부(150)는, 화상 생성부(140)로부터 출력되는 컬러 화상의 프레임 시퀀스를 압축한다. 본 실시예에서는, I프레임 또는 P프레임이 나타나는 주기(M)가 3프레임 간격(M＝3)의 MPEG 압축을 행한다. 그리고, MPEG의 동화상 압축부(150)에서는, 프레임간 예측을 행하기 위한 2개의 예측 메모리(150a, 150b)가 구비되어 있다. 또한, 각 프레임의 압축 데이터는, 일련의 압축 스트림으로서 기록부(160)에 출력된다.

다음에, 압축 스트림을 생성하는 동작의 상세를 설명한다. 우선, 촬상부(110)에 있어서, 소정 시간(예를 들면,1/60초)마다 노광이 행해지고, 노광마다, 각 광전 변환 소자에 있어서의 노광량을 아날로그 전기 신호로 하여, 순차적으로 AFE(120)에 출력한다. 이 때, 각 광전 변환 소자로부터 출력된 아날로그 전기 신호의 집합은, 베이어 배열의 컬러 필터에 대응된 베이어 화상 신호가 된다. 또한, 동화상 촬영이기 때문에, 1회의 노광이 끝남과 동시에 다음 프레임의 노광이 개시되고, 순차적으로 연속하여 아날로그 화상 신호가 출력된다. 그리고, 각 화상을 프레임으로 하여, 그 프레임 시퀀스에 의해 동화상이 형성된다.

다음에, 촬상부(110)로부터 출력된 아날로그 전기 신호는, AFE(120)에 있어서 디지털 신호로 변환된다. 이 디지털 신호가, 촬상부의 베이어 배열에 대응된 베이어 화상 신호이며, 화소부에 단일색 광만의 색정보를 가지는 제1 데이터 형식이다. 또한, AFE(120)로부터 출력되는 베이어 화상 신호는, 촬상부(110)의 노광순으로 차례차례 출력된다(본 명세서에서는, 이 출력순을 디스플레이순이라고 한다).

다음에, 도 2(a)에 나타낸 것처럼, 각 프레임에 대해서, 디스플레이순으로 k＝0, 1, 2…, 로 프레임 번호를 부여하고, k≡2(mod 3)의 프레임을 I프레임 또는 P프레임으로 하고, k≡0(mod 3) 또는 k≡1(mod 3)의 프레임을 B프레임으로 하여, 각 프레임이 프레임 재배열부(130)에 입력된다. 또한, 이 때, 디스플레이순으로 출력되는 베이어 화상 신호는, 래스터 순차로 프레임 재배열부(130)에 입력된다.

다음에, 프레임 재배열부(130)에 있어서, AFE(120)로부터 입력된 입력 프레임(k)은, 프레임 버퍼(도 2(a)에 있어서의 입력 버퍼이다)(130a∼130d) 중 어느 하나에 저장되고, 저장된 순서와 다른 순서로 화상 생성부(140)에 출력된다(본 발명에 있어서의 프레임 재배열 단계이다).

상세하게는, 도 2(a), (b)에 나타낸 것처럼, I프레임 또는 P프레임에는 1프레임의 지연이 행해지고, B프레임에는 4프레임의 지연이 행해진다. 이 때, 본 발명에서는, 지연의 절대량에 상관없이, B프레임에 대해서, I프레임 또는 P프레임보다도 M(M은, MPEG 동화상 처리 기술에 있어서, I프레임 또는 P프레임이 나타나는 주기이다) 프레임분만큼 많은 지연을 부여하는 것이 중요하다. 이에 따라, 화상 생성부(140)에 입력되는 프레임 순서가, 전송 순서가 된다.

다음에, 화상 생성부(140)에 있어서, 프레임 재배열부(130)를 통하여 입력된 각 프레임을, 베이어 화상 신호로부터 컬러 화상 신호로 변환한다(본 발명에 있어서의 컬러 화상 생성 단계이다). 여기에서는, 일반적으로 알려져 있는 색보간 처리 혹은 디모자이크 처리 외에, 색변환이나, 화상의 엣지 강조, 노이즈 억제, 톤 커브 처리 등의 화상 처리를 행하고, 감상에 적합한 화질로 한다.

또한, 화상 생성부(140)에서는, 프레임 재배열부(130)의 프레임 버퍼(130a∼130d)에 저장되어 있는 베이어 화상 신호를 비래스터 순차로 읽어내, 확대, 축소, 회전 등의 화상 변형을 행할 수 있다. 화상 생성부(140)에서 변환된 컬러 화상 신호는, 동화상 압축부(150)에 출력된다.

다음에, 동화상 압축부(150)에 있어서, 화상 생성부(140)로부터 입력된 컬러 화상의 프레임 시퀀스의 압축 처리를 행한다(본 발명에 있어서의 동화상 압축 단계이다).

본 실시예에서는, M＝3의 MPEG 압축 처리를 행하고, I프레임, P프레임, B프레임의 3종류에 대해서 상이한 압축법을 이용한다. 또한, 본 발명에 있어서의 NonF 프레임이 I프레임 및 P프레임에 상당하고, 본 발명에 있어서의 F프레임이 B프레임에 상당한다.

상세하게는, I프레임에 대해서는, 예측 메모리를 이용하지 않는 프레임 내 부호화를 행하고, 기록부(160)에 출력함과 더불어, 예측 메모리(150a 또는 150b) 중의 갱신 이력이 오래된 쪽(즉, 먼저 갱신된 쪽)에 입력하여 갱신한다.

P프레임에 대해서는, 예측 메모리(150a 또는 150b) 중의 갱신 이력이 새로운 쪽에 저장되어 있는 프레임으로부터의 프레임간 예측을 이용하여 부호화를 행하고, 기록부(160)에 출력함과 더불어, 예측 메모리(150a 또는 150b) 중의 갱신 이력이 오래된 쪽에 입력하여 갱신한다. P프레임이 화상 생성부(140)에 입력될 때, 예측 메모리(150a 또는 150b)중 어느 한쪽의 새로운 쪽에는, 3프레임 직전에 입력된 I프레임 또는 P프레임이 저장되어 있다.

B프레임에 대해서는, 예측 메모리(150a 및 150b)에 저장되어 있는 2개의 프레임으로부터의 프레임간 예측을 이용하여 부호화를 행하여, 기록부(160)에 출력한다. B프레임이 동화상 압축부(150)에 입력될 때, 예측 메모리(150a 또는 150b)중 어느 한쪽의 새로운 쪽에는, 화상 생성부(140)에 직전에 입력된 I프레임 또는 P프레임이 저장되어 있고, 다른쪽에는(즉, 예측 메모리(150a 또는 150b)중 어느 한쪽의 오래된 쪽), 그 3프레임 직전에 입력된 I프레임 또는 P프레임이 더 저장되어 있다.

다만, 화상 생성부(140)에 입력되는 프레임의 순서가 프레임 재배열부(130)에서 재배열된 전송 순서로서, 디스플레이 순서로 말하면, 예측 메모리(150a 또는 150b)중 어느 한쪽의 오래된 쪽에는, 촬상부(110)에 있어서(처리 대상으로 하고 있는 B프레임의) 직전에 노광된 I프레임 또는 P프레임이 저장되고, 다른쪽에는, 촬상부(110)에 있어서(처리 대상으로 하고 있는 B프레임의) 직후에 노광된 I프레임 또는 P프레임이 저장되게 되어(소위, 본 발명에 있어서의 시간적으로 선행하는 참조 프레임과 시간적으로 후행하는 참조 프레임이 저장되어 있다), 이에 따라 B프레임에서는 쌍방향 예측이 실현된다.

다음에, 기록부(160)에 있어서, 동화상 압축부(150)에서 부호화된 화상 시퀀스의 압축 스트림이 기록된다.

또한, 촬상 장치(1A)에 있어서, 기록부(160)를 대신하여 송신부를 구비해도 된다. 이 때, 송신부는, 유선 혹은 무선의 통신 수단을 거쳐, 다른 영상 기기에 접속된다. 또한, 송신부는, 동화상 압축부(150)에 의해 부호화된 화상 시퀀스를, 압축 스트림으로서 다른 영상 기기에 송신한다. 이에 따라, 원격 모니터용 카메라를 구성할 수 있다.

이상과 같이, 제1의 실시 형태에 기재된 촬상 장치(1A)는, 일반적으로 MPEG 압축에 필요한 프레임 재배열 처리를, 컬러 화상이 아니라 베이어 화상에 대해서 행함으로써, 프레임 재배열에 필요한 메모리 용량 및 대역을 삭감할 수 있다. 또한, 화상 생성부(140)에 있어서, 프레임의 재배열에 이용한 프레임 버퍼(130a∼130d)를 이용하여 화상 변형을 행함으로써, 별도 화상 변형을 위한 메모리를 필요로 하지 않고 화상 변형을 행할 수 있다.

즉, 종래와 같이 화상 생성부의 뒤에 프레임 재배열부와 동화상 압축부를 구성하면, 프레임 재배열부에 있어서는, 컬러 화상을 바꿔 배열하기 위해서, 본 제1의 실시 형태에 비하여, 큰 메모리 용량의 프레임 버퍼가 필요하여, 소요 대역도 커진다. 또한, 종래예에 의하면, 일반적으로, 화상 생성부에 있어서 화상 변형용의 프레임 버퍼가 별도로 필요하게 된다. 또한, 본 실시 형태의 촬상부(110)에서는 100만 화소(1M 픽셀)의 PIA(Pixel Interleaved Array) 배열로 하고, 화상 생성부(140)에서는 디모자이크 처리에 추가하여 고화소화 처리를 행해도 된다. 이 경우, 본 발명의 적용에 의해, 프레임 재배열에 요하는 메모리 용량 및 대역을 더욱 반감시킬 수 있다. 여기서, PIA 배열은, 정방 격자를 45도 회전시킨 화소 배열이며, 베이어 배열과 비교하면, 집광 면적을 넓힐 수 있어, 1M 픽셀로 베이어 배열의 2M 픽셀에 가까운 해상도를 얻을 수 있다.

(제2의 실시 형태)

다음에, 도 3 및 도 4를 이용하여, 본 발명의 제2의 실시 형태를 설명한다. 도 3에 있어서, (a)가 본 발명의 동화상 처리 장치가 적용된 제2의 실시 형태의 촬상 장치(1B)의 구성을 나타낸 블록도, (b)가 동 촬상 장치(1B)에 있어서의 촬상부의 설명도, (c)가 동 촬상 장치(1B)에 있어서의 화상 데이터 합성 처리의 설명도이다. 또한, 도 4는, 동 실시 형태의 촬상 장치(1B)에 있어서의 프레임 재배열부의 동작 설명도이다.

또한, 제2의 실시 형태에 있어서의 촬상 장치(1B)는, 기본적으로 제1의 실시 형태에서 나타낸 촬상 장치(1A)와 동일한 구성이므로, 공통으로 이루어지는 구성 부분에 대해서는 동일한 부호를 붙여 상세한 설명을 생략하고, 특징이 되는 부분에 대해서 이하에 설명한다.

도 3(a)에 나타낸 것처럼, 촬상 장치(1B)는, 예를 들면 비디오 캠코더이며, 촬영한 화상 신호를 순차적으로 아날로그 전기 신호로 변환하여 출력하는 촬상부(111), 촬상부(111)로부터 출력된 아날로그 전기 신호를 디지털 데이터로 변환하여 출력하는 AFE(120), AFE(120)로부터 출력된 디지털 데이터를 프레임마다 분할하고, 그 프레임 순서를 변경하여 출력하는(소위, 프레임을 재배열하는) 프레임 재배열부(131), 프레임 재배열부(131)로부터 출력된 각 프레임 데이터를 컬러 화상에 대응된 컬러 데이터로 변환하는 화상 생성부(141)(본 발명에 있어서의 컬러 화상 생성부이다), 화상 생성부(141)로부터 출력된 컬러 화상의 프레임 시퀀스를, 동화상으로서 압축하고, 압축 스트림을 출력하는 동화상 압축부(150), 동화상 압축부(150)로부터 출력된 압축 스트림을, 예를 들면 플래쉬 메모리나 광 또는 자기 기록 매체에 기록하는 기록부(160) 등에 의해 구성되어 있다.

촬상부(111)는, 분광 감도 분포가 상이한 3매의 촬상 소자(111a, 111b, 111c)에 의해 구성되고, 각각의 수광면이 화소 배치 방향으로 어긋나게 배치되어 있다.

상세하게는, 촬상부(111)는, R, G, B의 색광을 분리하기 위한 색 분해 프리즘이 결상 광학계의 광로 상에 배치되고, 각 색광의 결상면에 촬상 소자(111a, 111b, 111c)가 배치되어 있는 3판 컬러 카메라이다.

그리고, 도 3(b)에 나타낸 것처럼, 촬상 소자(111a, 111b, 111c)의 위치를 서브 픽셀의 정밀도가 어긋나게 놓음으로써, 촬상 소자(111a, 111b, 111c)마다의 화소수보다도 높은 해상도를 얻도록 구성되어 있다.

즉, 촬상부(111)는, 분광 감도 분포가 상이한 복수의 촬상 소자(111a, 111b, 111c)로 이루어지는 컬러 이미지 센서에 의해 구성되고, 각각의 수광면이 화소 배치 방향으로 어긋나게 배치되어 있다.

본 제2의 실시 형태에서는, 풀 HD(full high definition)의 2M 화소의 해상도를 얻는 것으로 하여, 촬상 소자(111a, 111b, 111c)마다 0.5M픽셀(화소)로 구성되고, G에 대해서 R 및 B가 종횡으로 반화소((Py/2) 및 (Px/2))씩, 어긋나게 배치되어 있는 것으로 한다.

AFE(120)는, 제1의 실시 형태와 마찬가지로, 촬상부(111)로부터 출력된 아날로그 화상 신호를, R, G, B의 3개의 평면으로 이루어지는 디지털 화상 신호로 변환하여 프레임 재배열부(131)에 출력한다.

여기서, AFE(120)에 있어서의 A/D변환의 정밀도를 8bit로 하면, AFE(120)로부터 출력되는 1프레임당의 화상 신호는, 12Mbit(0.5M*8bit*3평면＝12Mbit)가 된다.

프레임 재배열부(131)는, 제1의 실시 형태와 마찬가지로, 디스플레이 순서로 입력되는 디지털화된 화소 어긋남 데이터의 프레임 순서를, 동화상 압축부(150)의 처리순에 대응된 전송 순서로 변환한다. 본 제2의 실시 형태에서는, 프레임 재배열부(131)에 2프레임분의 프레임 버퍼(131a, 131b)가 구비되고, 촬상부(111)로부터의 입력에 따라, 적절히, 프레임 버퍼(131a, 131b)를 할당하거나, 혹은 입력을 그대로 출력함으로써, 프레임의 재배열을 실현한다. 프레임 버퍼(131a, 131b)는, 각각 12Mbit의 용량을 가지고, 합계 24Mbit의 메모리를 가진다.

화상 생성부(141)는, 프레임 재배열부(131)로부터 출력된 프레임을, 순차적으로, 화소 어긋남 화상으로부터 고해상도화 처리를 행하고, 1프레임당의 화소수가 각 촬상 소자(111a, 111b, 111c)에 있어서의 화소수의 4배가 되는 2M 화소의 컬러 화상으로 변환한다. 즉, 도 3(c)에 나타낸 것처럼 G에 대해서 R 및 B가 종횡으로 반화소((Px/2) 및 (Py/2))씩, 어긋나게 배치된 화상 신호를 이용하여, 1프레임당 4배의 화소수를 보간 생성(고밀도 보간 처리)하고, 화소마다, 컬러 화상 신호를, YCrCb＝4:2:2로서 생성한다.

이 때, 화소 어긋남 화상에서는, 1프레임당의 화상 신호가 12Mbit로 나타내는데 대해, 컬러 화상에서는, 1프레임당의 컬러 화상 신호가, 32Mbit(16bit/pix*2Mpix＝32Mbit)가 된다.

다음에, 제1의 실시 형태와 마찬가지로, 동화상 압축부(150)에 있어서, 화상 생성부(141)로부터 출력되는 컬러 화상의 프레임 시퀀스를 압축하고, 각 프레임의 압축 데이터가, 일련의 압축 스트림으로서 기록부(160)에 출력된다.

다음에, 압축 스트림을 생성하는 동작의 상세를 설명한다. 우선, 촬상부(111)에 있어서, 소정 시간(예를 들면,1/60초)마다 노광이 행해지고, 노광마다, 각 광전 변환 소자에 있어서의 노광량을 아날로그 전기 신호로 하여, 순차적으로 AFE(120)에 출력한다.

이 때, 촬상부(111)가 3개의 촬상 소자(111a, 111b, 111c)로 이루어지므로, 각 광전 변환 소자로부터 출력된 아날로그 전기 신호의 집합은, 3평면의 아날로그 화상 신호가 된다. 또한, 각 평면에서는 0.5M 픽셀의 저해상도의 동화상 촬영이다. 1회의 노광이 끝남과 동시에 다음 프레임의 노광이 개시되고, 순차적으로 연속하여 화소 어긋남 3평면의 아날로그 화상 신호가 출력된다.

또한, 이 때, 1회의 노광에 대응하는 3평면의 화상 신호를 집합하여 1개의 프레임으로 하고, 그 프레임 시퀀스에 의해 동화상이 형성된다.

다음에, 촬상부(111)로부터 출력된 화소 어긋남 3평면의 아날로그 전기 신호(본 발명에 있어서의 제1의 데이터 형식이다)는, AFE(120)에 있어서 디지털 신호로 변환된다. 또한, AFE(120)로부터 출력되는 디지털의 화상 신호는, 촬상부(111)의 노광순으로 차례차례 출력된다(본 명세서에서는, 이 출력순을 디스플레이순이라고 한다).

다음에, 도 4(a)에 나타낸 것처럼, 각 프레임에 대해서, 디스플레이순으로 k＝0, 1, 2…, 로 프레임 번호를 부여하고, k≡2(mod 3)의 프레임을 I프레임 또는 P프레임으로 하고, k≡0(mod 3) 또는 k≡1(mod 3)의 프레임을 B프레임으로 하여, 프레임 재배열부(131)에 입력된다. 또한, 이 때, 디스플레이순으로 출력된 화소 어긋남 3평면의 화상 신호는, 프레임 재배열부(131)에 입력된다.

다음에, 도 4(a), (b)에 나타낸 것처럼, 프레임 재배열부(131)에 있어서, 입력된 입력 프레임(k)이 I프레임 또는 P프레임이면, 그대로 화상 생성부(141)에 출력한다. 또한, 프레임 재배열부(131)에 있어서, 입력된 입력 프레임(k)이 B프레임이면, 일단 그 데이터를 프레임 버퍼(131a, 131b)에 교대로 입력 신호를 기록함과 동시에, 원래 프레임 버퍼(131a, 131b) 내에 기록되어 있던 데이터를 화상 생성부(141)에 출력한다.

이에 따라, B프레임에는 3프레임분의 지연 처리가 행해지고, 화상 생성부(141)에 입력되는 프레임 순서가, 전송 순서가 된다.

다음에, 화상 생성부(141)에 있어서, 프레임 재배열부(131)를 통하여 입력된 각 프레임을, 3평면 화상 신호로부터 고해상도의 컬러 화상 신호로 변환한다. 여기서는, 일반적으로 알려져 있는 고해상화 처리(고밀도 보간 처리)라고 불리는 처리 외에, 색 변환이나, 화상의 엣지 강조, 노이즈 억제, 톤 커브 처리 등의 화상 처리를 행하여, 감상에 적합한 화질로 한다.

다음에, 화상 생성부(141)에서 변환된 컬러 화상 신호는, 동화상 압축부(150)에 출력된다. 동화상 압축부(150)에 있어서, 화상 생성부(140)로부터 입력된 컬러 화상의 프레임 시퀀스의 압축 처리가 행해지고, 기록부(160)에 있어서, 그 압축 데이터가 기록된다.

(제3의 실시 형태)

다음에, 도 5를 이용하여, 본 발명의 제3의 실시 형태를 설명한다. 도 3은, 본 발명의 동화상 처리 장치가 적용된 제3의 실시 형태의 촬상 장치(1C)의 구성을 나타낸 블록도이다.

또한, 제3의 실시 형태에 있어서의 촬상 장치(1C)는, 기본적으로 제1, 제2의 실시 형태에서 나타낸 촬상 장치(1A, 1B)와 동일한 구성이므로, 공통으로 이루어지는 구성 부분에 대해서는 동일한 부호를 부여하여 상세한 설명을 생략하고, 특징이 되는 부분에 대해서 이하에 설명한다.

도 5에 나타낸 것처럼, 촬상 장치(1C)는, 예를 들면 비디오 캠코더이며, 파인더(190)에의 화상 표시 기능이나, 모니터 출력부(220)에의 화상 출력 기능의 요구에 대응할 수 있도록 구성되어 있다.

상세하게는, 촬상 장치(1C)는, 파인더(190)로 출력하는 컬러 화상을 생성하기 위해서, AFE(120)와 프레임 재배열부(131)의 사이에 신호 분할 수단(170)이 구성되고, AFE(120)로부터의 출력을, 신호 분할 수단(170)에 의해, 프레임 재배열부(131)와 제2의 화상 생성부(180)(본 발명에 있어서의 제2의 컬러 화상 생성부이다)의 쌍방으로 출력할 수 있도록 구성되어 있다.

제2의 화상 생성부(180)에서는, 프레임 재배열부(131)에 있어서의 프레임 재배치를 행하지 않고, 컬러 화상을 생성하여 파인더(190)에 출력한다. 이 때, 제2의 화상 생성부(180)는, 화상 생성부(141)와 같은 고해상도의 화상 생성이 요구되지 않으므로, 화상 생성부(141)보다도 간편한 구성으로 되어 있다.

촬상 장치(1C)는, 파인더(190)에는, 디스플레이 순서로 화상이 표시되고, 프레임 재배열부(131)에 의한 프레임의 지연 처리가 행해지지 않으므로, 당해 촬상 장치의 사용자에 있어 추종성이 좋은 촬영을 행할 수 있다.

파인더(190)는, 예를 들면 소형의 브라운관이나 액정 화면과 같은 영상 표시 디바이스로 구성되고, 제2의 화상 생성부(180)에서 생성된 화상 신호를 표시한다.

또한, 촬상 장치(1C)는, 신호 분할 수단(170)으로부터 출력된 디스플레이 순서의 화상 신호를, 프레임 재배열부(131)를 우회하여 화상 생성부(141)에 입력하는 프레임 재배열 우회 수단(200), 화상 생성부(141)로부터 출력된 컬러 화상의 프레임 데이터의 입력처를 동화상 압축부(150)와 모니터 출력부(220) 중 어느 하나로 전환하는 출력 전환 수단(210), 출력 전환 수단(210)을 통하여 입력된 컬러 화상의 화상 신호를, 외부 고해상도 디스플레이(225)에 출력하는 모니터 출력부(220) 등을 구비하고 있다. 또한, 본 발명에 있어서의 재배열부 우회 수단은 프레임 재배열부 우회 수단(200)에 의해 그 기능이 발현된다.

프레임 재배열 우회 수단(200)은, 프레임 재배열부(131)와 평행하게 배치되고, 출력 전환 수단(210)에 연동하여 디스플레이 순서의 화상 신호를 화상 생성부(141)에 출력한다. 이 때, 프레임 재배열 우회 수단(200)을, 프레임 재배열부(131)를 제어하여 프레임 재배열부(131)로부터의 출력을 디스플레이 순서로 하도록 구성해도 된다.

출력 전환 수단(210)은, 화상 생성부(141)와 동화상 압축부(150)의 사이에 설치되고, 영상 기록 시에는 화상 생성부(141)의 출력을 동화상 압축부(150)에 입력하고, 모니터로의 출력 시에는 화상 생성부(141)의 출력을 모니터 출력부(220)에 입력한다.

모니터 출력부(220)는, 당해 촬상 장치(1C)로부터 외부로 화상 신호를 출력하는 영상 출력 단자로서 설치되고, 이 영상 출력 단자를 통하여 고해상도 디스플레이(225) 등이 접속되었을 때에, 영상 신호를 접속처에 출력하도록 구성되어 있다.

그리고, 촬상 장치(1C)는, 영상을 외부 고해상도 디스플레이(225)에 출력할 때에는, 출력 전환 수단(210)이 화상 생성부(141)의 출력을 모니터 출력부(220)에 입력하도록 설정됨과 더불어, 프레임 재배열부(131)의 출력을 멈추고, 프레임 재배열 우회 수단(190)이 동작하여 디스플레이 순서의 화상이 화상 생성부(141)에 입력되고, 고해상도의 디스플레이 순서의 영상 신호가, 외부 고해상도 디스플레이(225)에 출력되어 표시된다.

한편, 촬상 장치(1C)는, 영상을 기록할 때에는, 출력 전환 수단(210)이 화상 생성부(141)의 출력을 동화상 압축부(150)에 입력하도록 설정됨과 더불어, 프레임 재배열 우회 수단(200)이 동작하지 않고, 프레임 재배열부(131)를 경유한 전송 순서의 화상이 화상 생성부(141) 및 동화상 압축부(150)에 입력된다.

이에 따라, 촬상 장치(1C)는, 화상 생성부(141)를 통하여, 컬러 동화상의 모니터 출력과 압축 기록의 양자의 기능을 구비하고 있다.

다음에, 도 6을 이용하여, 본 발명의 제4의 실시 형태를 설명한다. 도 6(a)는, 본 발명의 동화상 처리 장치가 적용된 제4의 실시 형태의 촬상 장치(1D)의 구성을 나타낸 블록도, 도 6(b)는, 동 실시 형태에 있어서의 촬상부의 구성도이다.

또한, 제4의 실시 형태에 있어서의 촬상 장치(1D)는, 기본적으로 제1의 실시 형태에서 나타낸 촬상 장치(1A)와 동일한 구성이므로, 공통으로 이루어지는 구성 부분에 대해서는 동일한 부호를 부여하여 상세한 설명을 생략하고, 특징이 되는 부분에 대해서 이하에 설명한다.

도 6(a)에 나타낸 것처럼, 촬상 장치(1D)는, 촬상부(112), 촬상부(112)로부터 출력된 아날로그 신호에 대응한 프레임 재배열부(132), AFE(120), 화상 생성부(140), 동화상 압축부(150), 기록부(160) 등에 의해 구성되어 있다.

그리고, 촬상 장치(1D)는, 촬상부(112)로부터 출력된 아날로그 신호에 대해서 프레임 시퀀스를 바꿔 배열하도록, 촬상부(112)와 AFE(120)의 사이에 프레임 재배열부(132)가 설치되어 있다.

촬상부(112)는, 제1의 실시 형태와 마찬가지로, 단판식 컬러 촬상 소자에 의해 구성되어 있다. 또한, 프레임 재배열부(132)는, 프레임 버퍼로서 아날로그 메모리의 CCD(Charge Coupled Devices)를 이용하여 구성되어 있다.

그리고, 촬상부(112)가 프레임 재배열부(132)와 마찬가지로 CCD의 이미지 센서를 이용하여 구성됨으로써, 도 6(b)에 나타낸 것처럼, 촬상부(112)와 프레임 재배열부(132)를 일체의 CCD(135)에 의해 구성할 수 있다.

도 6(b)에 나타낸 것처럼, CCD(135)는, 촬상부로서의 수광 에어리어(135s)와, 2개의 버퍼 에어리어(135a, 135b)와, I/P 프레임용 수평 전송부(I프레임 및 P프레임용 수평 전송부), B프레임용 수평 전송부로 이루어진다.

I/P 프레임용 수평 전송부는, 수광 에어리어(135s)와 버퍼 에어리어(135a, 135b)의 사이에 구비되고, B프레임용 수평 전송부는, 버퍼 에어리어(135a)를 통하여 수광 에어리어(135s)의 반대측에 위치하는 버퍼 에어리어(135b)의 단부에 구비되어 있다.

그리고, 이 2개의 버퍼 에어리어(135a 및 135b)와, I/P 프레임용 수평 전송부 및 B프레임용 수평 전송부에 의해 프레임 재배열부(132)의 기능이 발현된다.

또한, 수광 에어리어(135s)에는, CCD(135)의 각 소자(소위, 각 화소에 대응하는 소자이다)에, 광전 변환 소자와 모자이크 컬러 필터(RGB 중의 단일색 광을 통과하는 필터이다)가 구비되어 있다.

다음에, CCD(135)에 있어서의 촬상 및 프레임 재배열의 동작을 설명한다. 우선, 수광 에어리어(135s)에 있어서 소정 시간의 노광을 행하고, 각 광전 변환 소자에 있어서의 노광량을 전하로서 축적한다(본 발명에 있어서의 제1의 데이터 형식이 이 전하량이 된다).

그리고, 노광한 화상 프레임이 I프레임 또는 P프레임이면, 수광 에어리어(135s)에 수직 전송을 행함과 더불어, I/P프레임용 수평 전송부를 동작시켜, 수광 에어리어(135s)에 있어서의 각 화소의 전하를 아날로그 신호로서 순차적으로 AFE(120)에 출력한다.

한편, 노광한 화상 프레임이 B프레임이면, CCD(135) 전체에 수직 전송을 행함과 더불어, B프레임용 수평 전송부를 동작시켜, 버퍼 에어리어(135b)에 축적된 전하를 아날로그 신호로서 AFE(120)에 출력한다. 이 때, 수광 에어리어(135s)에 축적된 전하가 버퍼 에어리어(135a)에 축적되고, 버퍼 에어리어(135a)에 축적되어 있던 전하가 버퍼 에어리어(135b)에 전송된다.

이에 따라, I프레임 또는 P프레임이 3프레임마다 배열되어 있으면, 제2의 실시 형태(도 3(b))와 마찬가지로, B프레임은, 노광의 3프레임 후에 AFE(120)에 출력되게 된다. 또한, I프레임 또는 P프레임이 노광 직후에 AFE(120)에 출력되기 때문에, 제2의 실시 형태에 있어서의 프레임 재배열부(131)와 마찬가지로, AFE(120) 및 화상 생성부(140)에 입력되는 프레임 순서가 전송 순서가 된다.

이상과 같이, 제4의 실시 형태의 촬상 장치(1D)에 의하면, 이미지 센서와 일체화한 CCD(135)에 프레임 재배열부(132)를 설치할 수 있어, 별도 디지털 처리로서의 프레임 재배열을 불필요로 할 수 있다.

이상, 본 발명의 일실시예에 대해서 설명했는데, 본 발명은, 상기 실시예에 한정되는 것은 아니고, 다양한 양태를 취할 수 있다.

[산업상 이용가능성]

컬러 이미지 센서로부터 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스를, 압축 스트림의 처리순에 대응시켜 바꿔 배열한 후, 컬러 화상으로 변환하는 용도에 이용할 수 있다.

1A, 1B, 1C, 1D : 촬상 장치 110,111,112 : 촬상부
111a, 111b, 111c : 촬상 소자 120 : AFE(Analog Front End)
130,131,132 : 프레임 재배열부
130a∼130d, 131a, 131b : 프레임 버퍼
135 : CCD(Charge Coupled Devices) 135s : 수광 에어리어
135a, 135b : 버퍼 에어리어 140,141 : 화상 생성부
150 : 동화상 압축부 150a, 150b : 예측 메모리
160 : 기록부 170 : 신호 분할 수단
180 : 제2의 화상 생성부 190 : 파인더
200 : 프레임 재배열 우회 수단 210 : 출력 전환 수단
220 : 모니터 출력부 225 : 외부 고해상도 디스플레이

Claims

컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 압축 스트림을 생성하는 동화상 처리 장치에 있어서,
상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 구비하고, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고,
상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 구비하고, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를 바꿔 배열하는 프레임 재배열부와,
상기 프레임 재배열부에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성부와,
상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축부를 구비하고 있고,
상기 프레임 재배열부가, 상기 동화상 압축부에 의한 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 것을 특징으로 하는 동화상 처리 장치.
청구항 1에 있어서,
상기 컬러 이미지 센서가,
상기 단판 컬러 이미지 센서를 대신하여, 분광 감도 분포가 상이한 복수의 컬러 이미지 센서에 의해 구성되고, 그 복수의 컬러 이미지 센서의 수광면이 화소 배치 방향으로 어긋나게 배치되고,
상기 제1의 데이터 형식이, 상기 복수의 컬러 이미지 센서 중의 각각으로부터 출력되어 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고,
상기 컬러 화상 생성부가, 상기 복수의 컬러 이미지 센서의 화상 데이터를 합성하여 상기 컬러 화상을 생성함과 더불어 해상도를 높이도록 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
상기 복수의 프레임이, 시간적으로 후행하는 프레임을 참조하지 않고 부호화하는 NonF 프레임과, 시간적으로 후행하는 프레임을 참조하여 부호화하는 F프레임에 의해 구성되고,
상기 프레임 재배열부가, 상기 입력되는 NonF 프레임, F프레임의 종별에 따라, 지연을 부여하여 출력하도록 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 3에 있어서,
상기 NonF 프레임이, 또한, 상기 프레임간 예측을 이용하지 않고 프레임 내의 화상 신호를 그대로 부호화하는 I프레임과, 시간적으로 선행하는 참조 프레임의 화상 신호로부터의 차분을 부호화하는 P프레임으로 이루어지고,
상기 F프레임이, 시간적으로 선행하는 참조 프레임과 후행하는 참조 프레임의 차분을 부호화하는 B프레임이며,
상기 프레임 재배열부가, 상기 입력되는 I프레임, P프레임, B프레임의 종별에 따라, 상기 지연을 부여하여 출력하도록 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
상기 프레임 재배열부가, 상기 복수의 프레임 종별 중 일부의 프레임 종별에 대해서 지연을 부여하여 출력하도록 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
상기 프레임 재배열부에는, 상기 제1의 데이터 형식의 화상 데이터에 있어서의, 적어도 2프레임분의 각각마다 화상 데이터를 저장하는 프레임 버퍼가 구비되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
상기 컬러 화상 생성부에는, 상기 컬러 화상의 화상 변형을 행하는 화상 변형 처리부가 구비되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 7에 있어서,
상기 프레임 재배열부가, 상기 화상 변형 시에 프레임 내의 화상 데이터를 비(非)래스터 순차로 출력하도록 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
파인더에 출력하는 컬러 화상을 생성하는 제2의 컬러 화상 생성부를 구비하고, 그 제2의 컬러 화상 생성부에서는, 상기 프레임 재배열부에 있어서의 프레임 재배치를 행하지 않고, 상기 색 모자이크 화상으로부터, 화소마다 복수색 광의 색 정보를 구비한 상기 컬러 화상을 생성하는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 있어서,
상기 컬러 이미지 센서로부터 출력되는 프레임 시퀀스를, 상기 프레임 재배열부를 통하지 않고 상기 컬러 화상 생성부에 출력하는 재배열부 우회 수단을 구비하고,
상기 컬러 화상 생성부에 입력되는 프레임 시퀀스의, 상기 컬러 이미지 센서로부터 출력되는 프레임순과 상기 프레임 재배열부로부터 출력되는 프레임순을 전환 가능하게 구성되어 있는 것을 특징으로 하는 동화상 처리 장치.
청구항 1 또는 2에 기재된 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 압축부에서 압축된 동화상 정보를 기억하는 기록 장치로 이루어지는 캠코더.
청구항 1 또는 2에 기재된 동화상 처리 장치 및 컬러 이미지 센서와, 상기 동화상 압축부에서 압축된 동화상 정보를 외부 기기로 송신하는 송신 장치로 이루어지는 원격 모니터용 카메라.
컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 컬러 동화상의 압축 스트림을 생성하는 동화상 처리 방법에 있어서,
상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 이용하여, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고,
상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를 바꿔 배열하는 프레임 재배열 단계와,
상기 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와,
상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축 단계를 이용하고,
상기 프레임 재배열 단계에 있어서, 상기 동화상 압축 단계에 있어서의 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는 것을 특징으로 하는 동화상 처리 방법.
컬러 이미지 센서로부터 시계열적으로 복수의 프레임으로 분할되어 제1의 데이터 형식으로 출력된 동화상의 프레임 시퀀스로부터, 프레임간 예측화 방식에 의해 부호화된 컬러 동화상의 압축 스트림을 생성하는 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체로서,
상기 컬러 이미지 센서가, 매트릭스형상으로 배치된 복수의 광전 변환 소자와, 그 광전 변환 소자의 각각에 대응된 복수색 광의 컬러 필터를 이용하여, 광전 변환 소자마다 복수색 광 중의 단일색 광의 색 정보를 출력하는 단판 컬러 이미지 센서이며, 상기 제1의 데이터 형식이, 화소마다 단일색 광의 색 정보를 가지는 색 모자이크 화상의 데이터이고,
상기 제1의 데이터 형식으로 이루어지는 프레임마다의 데이터를 기억하는 프레임 버퍼를 이용하여, 상기 제1의 데이터 형식으로 이루어지는 프레임 시퀀스를 바꿔 배열하는 프레임 재배열 단계와,
상기 프레임 재배열 단계에서 바꿔 배열된 프레임 시퀀스에 있어서의 상기 제1의 데이터 형식을, 화소마다 복수색 광의 색 정보를 가지는 컬러 화상으로 변환하는 컬러 화상 생성 단계와,
상기 컬러 화상으로 변환된 상기 프레임 시퀀스를, 시간적으로 전후의 복수의 프레임간의 차분에 의거하여 부호화하여 압축하여 상기 압축 스트림을 생성하는 동화상 압축 단계를 컴퓨터에 실행시킴과 함께,
상기 프레임 재배열 단계에 있어서, 상기 동화상 압축 단계에 있어서의 상기 압축 스트림의 생성 시의 프레임 데이터의 취득 순서에 대응시켜, 시간적으로 선행하는 프레임과 후행하는 프레임의 순서를 바꿔 배열하는, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
삭제