KR20070057961A

KR20070057961A - 손떨림 보정 장치

Info

Publication number: KR20070057961A
Application number: KR20077008867A
Authority: KR
Inventors: 히로유끼 하야시
Original assignee: 샤프 가부시키가이샤
Priority date: 2004-10-28
Filing date: 2005-09-20
Publication date: 2007-06-07
Also published as: WO2006054387A1; JP4079375B2; WO2006054387A8; EP1816866A1; CN101044751A; EP1816866A4; US20090046160A1; JP2006129074A; KR100864999B1

Abstract

영상 떨림 검출 기능을 실현하는 방법으로서는, 각속도 센서 등의 센서에 의해 검출하는 것이나, 센서와 동화상 부호화의 움직임 예측을 이용한 것이 제안되어 있다. 센서를 이용하면，코스트, 실장 체적 및 내충격의 면에서 불리하여, 휴대 전화와 같은 기기에 실장하는 것은 곤란했다. 또한，동화상 부호화의 움직임 예측만을 이용하여 손떨림 보정을 검출하는 경우에서는，화면을 구성하는 모든 부호화 단위의 움직임 예측을 이용하고, 그 전체의 평균이나 중간값을 이용하고 있었기 때문에 손떨림 검출의 정밀도가 나빴다.　따라서，영상 신호 취득부와, 영상 신호 부호화부와, 중간 정보 비교부와, 영상 떨림량 검출부와, 부호화 단위 가중값 부여 결정부를 갖는 영상 장치를 제공한다.

영상 복호 취득부, 영상 신호 부호화부, 중간 정보 비교부, 영상 떨림량 검출부

Description

손떨림 보정 장치{CAMERA SHAKE CORRECTING DEVICE}

본 발명은, 영상 떨림을 검출하는 장치 및 방법에 관한 것이다．

최근　비디오　카메라 등의 영상 장치의 보급이 가속되어, 가정 등에서도 빈번하게 사용되어 오고 있다.　 비디오　카메라 등의 영상 장치에는, 떨림이 적은 영상을 기록할 수 있도록 손떨림 보정 기능이 탑재되어 있는 것이 많아지고 있다. 손떨림 보정 기능은 통상적으로，손떨림을 검출하는 기능과, 검출한 손떨림을 보정하는 기능으로 이루어져 있다. 상기 검출 기능을 실현하는 방법으로서는, 각속도 센서 등의 센서에 의해 검출하는 방법이나, 특허 문헌 1에 개시되어 있는 바와 같이 센서와 동화상 부호화의 움직임 예측을 이용한 방법이 제안되어 있다.

[특허 문헌1] 일본 특개 2001-24932호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

그러나, 상기 종래의 기술에서는，영상 장치의 움직임을 검출하기 위해 센서를 필수 요건으로 하고 있다． 이 때문에, 코스트가 높게 된다고 하는 점이나, 혹은, 실장 체적의 증대화나 내충격성 등의 관점으로부터, 휴대 전화와 같은 기기에 실장하는 것은 곤란하다고 하는 과제가 있었다． 또한，동화상 부호화의 움직임 예 측만을 이용하여 손떨림 보정을 검출하는 경우에서는，화면을 구성하는 모든 부호화 단위의 움직임 예측을 이용하여, 그 전체의 평균이나 중간값을 이용하고 있었기 때문에 손떨림 검출의 정밀도가 나빴다.

<과제를 해결하기 위한 수단>

이러한 과제를 해결하기 위해, 영상 신호를 취득하는 영상 신호 취득부와, 상기 영상 신호를 부호화하는 영상 신호 부호화부와, 영상 신호로부터 생성되는 상기 부호화에 이용되는 각 부호화 단위마다의 중간 정보를 비교하는 중간 정보 비교부와, 상기 영상 신호 취득부에서 취득한 영상 신호의 떨림량을, 상기 중간 정보에 가중값 부여를 함으로써 검출하는 영상 떨림량 검출부와, 상기 중간 정보 비교부의 비교 결과에 기초해서 상기 영상 떨림량 검출부에서의 각 부호화 단위의 가중값 부여를 결정하는 부호화 단위 가중값 부여 결정부를 갖는 영상 장치를 제공한다. 또한，해당 영상 장치는 부호화된 영상 신호를 복호화하는 영상 신호 복호화부를 가지고 있어도 되고, 부호화 외에 복호화 시에서도 각 부호화 단위의 가중값 부여를 결정하는 것이 가능하게 되어 있다. 또한，해당 영상 장치는, 각 부호화 단위마다의 중간 정보를 비교하여 각 부호화 단위마다의 가중값 부여를 결정할 때에, 각 부호화 단위마다의 부호량으로부터 가중값을 결정해도 되고, 각 부호화 단위마다의 텍스쳐를 직교 변환하고, 변환된 성분을 고주파 현재화 적분함으로써 구한 평가값으로부터 가중값을 결정하여도 된다． 혹은, 동일한 가중 부여값을 이용하는 중간 정보의 값이, 상기 중간 정보가 프레임간 예측에 이용되는 경우와, 상기 중간 정보가 프레임내 예측에 이용되는 경우에서는，역수의 관계로 되도록 가중값을 결정하 여도 된다．

<발명의 효과>

본 발명의 영상 장치에서는，영상 장치의 움직임을 검출하기 위한 센서를 사용하지 않고, 영상 신호 부호화 시에 생성되는 각 부호화 단위마다의 중간 정보를 사용하여 영상 떨림 검출을 행하기 때문에, 휴대 전화와 같은 기기에 손떨림 보정 기능을 실장하는 것이 가능하게 된다． 또한，각 부호화 단위로 가중값 부여를 함으로써, 영상 떨림 보정에 최적의 부호화 단위를 선택할 수 있기 때문에, 정밀도가 높은 손떨림 보정 기능을 효율적으로 제공하는 것이 가능하게 된다．

<발명을 실시하기 위한 최량의 형태>

이하에, 각 발명의 실시예를 설명한다. 또한，본 발명은 이들 실시예에 한정되는 것은 아니며, 그 요지를 일탈하지 않는 범위에서，다양한 양태로 실시할 수 있다.

또한，이하의 실시예와 청구항의 관계는 다음과 같다． 실시예 1, 2 및 3은, 주로 청구항 1, 3, 6, 8 등에 대해서 설명한다. 실시예 4 및 5는, 주로 청구항 2, 4, 5, 7, 9, 10 등에 대해서 설명한다.

<<실시예 1>>

<실시예 1의 개요>

본 실시예에서의 영상 장치는, 영상 신호를 부호화할 때에 생성되는 각 부호화 단위마다의 정보로부터 영상 신호의 떨림량을 검출한다. 그리고，영상 신호의 떨림량을 검출할 때에 최적의 부호화 단위를 선택하기 위해 부호화 단위로 가중값 부여를 하는 것을 특징으로 한다.

<실시예 1의 구성>

도 1에 본 실시예에서의 기능 블록의 일례를 도시한다． 도 1에 도시하는 영상 장치(0100)는, 「영상 신호 취득부」(0110)와, 「영상 신호 부호화부」(0120)와, 「중간 정보 비교부」(0130)와, 「영상 떨림량 검출부」(0140)와, 「부호화 단위 가중값 부여 결정부」(0150)를 갖는다. 영상 신호 취득부(0110)는 영상 신호를 취득한다. 영상 신호란, 예를 들면, ＣＣＤ나 ＣＭＯＳ형 이미지 센서 등의 촬상 소자와, 촬상 소자 구동 회로로 구성되는 도면 밖의 영상 신호 입력부로부터 입력되는 신호를 의미한다． 영상 신호 부호화부(0120)는, 상기 영상 신호를 부호화한다. 여기에서, 영상 신호가 부호화되는 예로서는, 텔레비전 전화·텔레비전 회의 등의 통신 화상을 대상으로 한 H.263이나, ＣＤ-ＲＯＭ 등의 축적 미디어 화상을 대상으로 한 ＭＰＥＧ-1이나, ＤＶＤ나 디지털 텔레비전 방송용의 통신 화상을 대상으로 한 ＭＰＥＧ-2나, 아날로그 전화 회선이나 이동체 통신에서의 통신 화상을 대상으로 한 ＭＰＥＧ-4 등을 들 수 있다. 이들 부호화는 예를 들면 움직임 보상이나 직교 변환에 기초하여 행해진다. 「중간 정보 비교부」(0130)는, 영상 신호로부터 생성되는 상기 부호화에 이용되는 각 부호화 단위마다의 중간 정보를 비교한다. 부호화 단위란, N×M 화소의 블록의 경우이어도 되고, 혹은 휘도의 4블록과 색차의 2블록의 6블록을 통합한 매크로 블록이어도 된다． 중간 정보란, 예를 들면 움직임 벡터나, 프레임의 부호화 타입이나, 부호량이나, 각 부호화 단위에 포함되는 화상을 직교 변환한 계수나, 이들을 양자화한 것이나, 나아가서는 가변 길이 부 호화를 행한 후의 부호 등, 부호화에 이용되는 정보를 의미하는 것으로, 이들 중 1 또는 2 이상의 어느 하나의 임의의 조합이어도 된다. 이들 중간 정보는 영상 신호에 기초하여 생성되게 된다. 또한，각 부호화 단위마다의 중간 정보는 일반적으로는 부호화 타입에 의해 상이하다． 예를 들면 도 2의 Ｉ프레임(021, 025)과 같이 프레임내 예측의 경우에는, 부호화 단위에 포함되는 화상을 직교 변환하고, 직교 변환 후의 계수를 양자화한다. 그리고，양자화를 행한 계수를 부호화함으로써 부호화가 완결된다. 따라서, 이 경우의 중간 정보의 일례로서는 이상의 프로세스에서 얻어지는 것을 들 수 있다. 한편，도 2의 Ｐ프레임 (022, 023, 024, 026 및 027)과 같이 부호화 타입이 프레임간 예측인 경우에는, 우선 부호화 단위에 포함되는 화상과 유사한 N×M화소의 화상을 예측원의 프레임으로부터 선택하고, 해당 부호화 단위의 위치와, 예측원 프레임과 유사한 N×M 화소의 화상의 위치의 차를 움직임 벡터로서 취득한다. 다음으로，해당 부호화 단위에 포함되는 부호의 값과 예측원 프레임의 유사한 부호화 단위에 포함되는 부호의 값과의 차분을 구하고, 해당 차분값을 직교 변환하고, 직교 변환 후의 계수를 양자화한다. 그리고，양자화에 의해 얻어지는 계수를 가변 길이 부호화하고, 움직임 벡터와 다중화함으로써 부호화가 완결된다. 따라서, 프레임간 예측의 경우에서의 중간 정보의 일례로서는 이상의 프로세스에서 얻어지는 것을 들 수 있다. 프레임간 예측의 경우에는 프레임내 예측과 달리 부호화 단위의 차분값을 부호화하는 것이 특징으로 된다. 또한，부호화 타입이 프레임내 예측인 경우에는, 전후의 프레임을 이용하지 않기 때문에, 부호화 단위로 움직임 벡터를 부가하지 않는다． 이 경우에는, 전후의 프레임의 동 일 부호화 단위의 벡터를 이용하여 보간하는 등의 방법에 의해, 부호화 단위의 움직임 벡터를 결정한다.

다음에 각 부호화 단위마다의 중간 정보를 비교하는 일례를 도 ３∼도 5를 이용하여 설명한다. 본 실시예에서는，상기 중간 정보는, 각 부호화 단위마다의 부호량인 경우에 대해 설명한다. 우선，도 3과 같은 건물의 영상을 부호화하는 경우를 생각한다. 프레임내 예측의 부호화에서는，부호화 단위 0320은 건물(0300)의 창틀 부분으로, 윤곽을 표현하고 있기 때문에 부호량이 많다. 한편，부호화 단위 0310은 건물(0300)의 새하얀 벽 부분이기 때문에，부호량이 적다. 계속해서 표시되는 프레임에서는，영상 떨림량을 구할 때에, 부호화 단위 0320의 움직임 벡터쪽이 부호화 단위 0310의 움직임 벡터에 비교해서 신뢰성이 높게 된다. 왜냐하면, 부호화 단위 0320에 포함되는 화상은 창틀 부분이라고 하는 해당 프레임 내에서 특징적인 것으로, 도 ３의 영상 중에서 유사한 장소가 없기 때문이다. 이것에 대하여, 부호화 단위 0310은 건물(0300)의 벽의 일부분으로서 벽의 다른 부분과 유사하여, 해당 프레임 내에서 특징점이 적기 때문이다. 또한，본 실시예에서는 부호량이 많은 부호화 단위쪽이 특징점이 있는 것으로서 설명하지만, 반대로 부호량이 적은 부호화 단위쪽이 특징적인 경우도 있을 수 있다. 예를 들면, 격류의 용소를 배경으로 사람이 찍히고 있는 경우와 같이, 프레임 내에서의 대다수의 부호화 단위에 대해서는 부호량이 많이 포함되어 있고, 부호량이 적은 부호화 단위쪽이 희소한 경우에는, 후자쪽이 유사한 장소가 적어지기 때문에, 신뢰성이 높게 되는 경우도 있기 때문이다. 따라서, 부호화 단위의 부호량이 많은 쪽이 특징적인지, 적은 쪽이 특징적인지에 대해서는 상대적으로 판단하는 것도 가능하다. 가장 일반적인 자연 화상의 경우에는 프레임내 예측에서는 부호화 단위의 부호량이 많은 쪽이 특징적인 경우가 많기 때문에, 본 명세서에서는 부호량이 많은 부호화 단위쪽이 특징적인 것으로서 설명한다. 다음으로，도 4를 이용해서 보다 구체적으로 설명한다. 도 4의 건물은, 점선으로 나타낸 건물(0410)을 촬영한 다음 프레임에서는，영상 떨림에 의해 실선으로 나타낸 건물(0420)의 위치에 촬영되었다고 하자. 이 때, 부호화 단위 0421은, 전프레임의 유사 장소(0411)를 선택하고, 움직임 벡터(4A)가 취득되게 된다. 이것에 대하여, 부호화 단위 0422는 잘못하여 유사 장소(0424)를 선택하여 움직임 벡터(4C)를 취득하여, 전프레임의 유사 장소(0423)를 선택해서 움직임 벡터(4B)를 취득하지 않는 경우가 있다. 따라서, 부호화 타입이 프레임내 예측인 경우에는, 부호량이 많은 부호화 단위쪽이 영상 떨림량을 검출할 때에 신뢰성이 높게 된다. 한편，부호화 타입이 프레임간 예측인 경우에 대해 도 5를 이용하여 설명한다. 도 5의 건물은, 점선으로 나타낸 건물(0510)을 촬영한 프레임의 다음 프레임에서, 영상 떨림에 의해 실선으로 나타낸 건물(0520)의 위치에 촬영되었다고 하자. 이 때, 부호화 단위 0521에 대해서 생각하면, 전프레임의 유사 장소(0511)에 대해서 움직임 벡터(5A)가 취득된 경우에는, 부호화 단위에 포함되는 화상의 차이가 작기 때문에, 부호량도 적어진다. 이것에 대하여, 부호화 단위 0522에 대해서 생각하면, 전프레임의 유사 장소(0512)에 대해서 움직임 벡터(5B)가 취득된 경우에는, 창틀 부분의 화상의 차분이 발생하기 때문에, 부호화 단위에 포함되는 화상의 차이가 커져, 그 결과 부호량도 많아진다. 이렇게 프레임간 예측일 때에 부호량이 많 아지는 경우는, 영상 떨림이 아니라, 실제로 대상이 움직인 결과인 경우나, 움직임 예측에 실패한 경우가 많다. 따라서, 프레임내 예측과는 대조적으로, 부호량이 적은 부호화 단위쪽이 영상 떨림량을 검출할 때에 신뢰성이 높게 된다. 이렇게 각 부호화 타입의 차이에 의해, 부호화 단위에 포함되는 부호량에 대한 신뢰성이 상이한 것으로 된다.

영상 떨림량 검출부(0140)는, 상기 영상 신호 취득부에서 취득한 영상 신호의 떨림량을, 상기 중간 정보에 가중값 부여를 함으로써 검출한다. 영상 떨림량의 검출의 일례로서는, 각 부호화 단위의 움직임 벡터와 중간 정보의 가중값 부여를 사용하여 영상의 떨림량을 결정하는 것을 들 수 있다. 움직임 벡터 중에는, 영상 떨림에 의해 발생한 것도 있는가 하면, 피사체 등의 실제의 움직임을 나타내고 있는 것이나 움직임 예측에 실패한 것도 있기 때문에，어느 부호화 단위의 움직임 벡터를 사용하여 영상 떨림량을 결정할지를 명확히 하기 위해 상기 중간 정보의 가중값 부여를 이용하고 있다． 부호화 단위 가중값 부여 결정부(0150)는, 상기 중간 정보 비교부의 비교 결과에 기초하여 상기 영상 떨림량 검출부에서의 각 부호화 단위의 가중값 부여를 결정한다. 예를 들면, 부호화 타입이 프레임내 예측인 경우를 생각하면, 부호량이 많은 부호화 단위에 대해서는 영상 떨림량을 검출할 때의 신뢰성이 높기 때문에, 큰 가중값 부여를 하고, 부호량이 적은 부호화 단위에는 작은 가중값 부여를 한다. 가중값은 부호량을 바탕으로, 미리 준비되어 있는 테이블 등에 기초하여 결정해도 되고, 프레임 내에서의 부호화 단위의 부호량의 평균값 등으로부터 상대적으로 결정하여도 된다． 일례로서는, 일정한 부호량을 초과한 부호화 단위에는 「가중값=1」을 부여하고, 그 이외의 부호화 단위에는 「가중값=0」을 부여한다. 그리고 「가중값=1」의 부호화 단위만의 움직임 벡터의 평균값 등을 이용해서 영상 떨림량을 검출하는 경우가 있다. 한편，부호화 타입이 프레임간 예측인 경우를 생각하면, 부호량이 적은 부호화 단위에 대해서는 영상 떨림량을 검출할 때의 신뢰성이 높기 때문에, 큰 가중값 부여를 하고, 부호량이 많은 부호화 단위에는 작은 가중값 부여를 한다. 이와 같이, 프레임내 예측의 경우에도, 프레임간 예측의 경우에도, 영상 떨림량과 유사한 움직임 벡터를 갖는 부호화 단위일수록 가중값이 커지고, 영상 떨림량 검출의 정밀도가 높아지게 된다. 프레임내 예측의 가중값과 프레임내 예측의 가중값은, 한 쪽만, 혹은 양쪽을 이용해서 영상 떨림량을 검출하여도 된다． 양쪽의 가중값을 사용하는 경우에는, 프레임내 예측과 프레임간 예측의 가중값을 평균하여 사용하여도 된다． 영상 떨림량을 나타내는 정보의 일례로서는, 벡터와 같이 크기와 방향을 나타내는 정보와, 해당 벡터가 포함되어 있는 프레임을 나타내는 정보가 관련지어진 정보 등을 들 수 있다. 본건 발명의 구성 요소인 각 부는, 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 양자, 중 어느 하나에 의해 구성된다. 예를 들면, 이들을 실현하는 일례로서, 컴퓨터를 이용하는 경우에는, ＣＰＵ, 메모리, 버스, 인터페이스, 주변 장치 등으로 구성되는 하드웨어와, 이들 하드웨어 상에서 실행 가능한 소프트웨어를 예를 들 수 있다. 구체적으로는，메모리 상에 전개된 프로그램을 순차적으로 실행함으로써, 메모리 상의 데이터나, 인터페이스를 통해 입력되는 데이터의 가공, 축적, 출력 등에 의해 각 부의 기능이 실현된다(본 명세서의 전체를 통해 마찬가지임).

<실시예 1의 처리의 흐름과 효과>

도 6은 본 실시예에서의 처리의 흐름의 일례를 도시하는 것이다. 본 실시예의 영상 장치의 동작 방법은, 영상 신호를 취득하는 영상 신호 취득 스텝(S0610)과, 상기 영상 신호를 부호화하는 영상 신호 부호화 스텝(S0620)과, 영상 신호로부터 생성되는 상기 부호화에 이용되는 각 부호화 단위마다의 중간 정보를 비교하는 중간 정보 비교 스텝(S0630)과, 상기 중간 정보 비교 스텝의 비교 결과에 기초하여 각 부호화 단위의 가중값 부여를 결정하는 부호화 단위 가중값 부여 결정 스텝(S0640)과, 상기 영상 신호 취득 스텝에서 취득한 영상 신호의 떨림량을, 상기 중간 정보에 가중값 부여를 함으로써 검출하는 영상 떨림량 검출 스텝(S0650)로 이루어진다. 본 발명의 영상 장치에서는，영상 장치의 움직임을 검출하기 위한 센서를 사용하지 않고, 영상 신호 부호화 시에 생성되는 각 부호화 단위마다의 중간 정보를 사용하기 때문에, 휴대 전화와 같은 기기에 손떨림 보정 기능을 실장하는 것이 가능하게 되었다. 또한，각 부호화 단위로 가중값 부여를 함으로써, 영상 떨림 보정에 최적의 부호화 단위를 선택할 수 있기 때문에, 정밀도가 높은 손떨림 보정 기능을 효율적으로 제공하는 것이 가능하게 되었다.

<<실시예2>>

<실시예 2의 개요>

본 실시예는, 실시예 1과 마찬가지로 영상 신호의 떨림량을 검출할 때에 최적의 부호화 단위를 선택하기 위해 부호화 단위로 가중값 부여를 하는 영상 장치에 관한 것이지만, 실시예 1 외에 영상 신호 입력부와 데이터 보존부를 설치하고 있는 것이 특징이다.

<실시예 2의 구성>

도 ７에 본 실시예에서의 기능 블록도의 일례를 도시한다． 도 ７에 도시하는 영상 장치(0700)는, 「영상 신호 취득부」(0710)와, 「영상 신호 부호화부」(0720)와, 「중간 정보 비교부」(0730)와, 「영상 떨림량 검출부」(0740)와, 「부호화 단위 가중값 부여 결정부」(0750)와, 「영상 신호 입력부」(0760)와, 「데이터 보존부」(0770)를 갖는다. 「영상 신호 입력부」(0760)와, 「데이터 보존부」(0770)를 제외한 구성에 대해서는 실시예 1에서 설명한 것과 마찬가지이기 때문에，여기서의 설명은 생략한다. 또한，「영상 신호 입력부」(0760)에 대해서도 실시예 1에서 설명했기 때문에, 여기에서의 설명은 생략한다. 데이터 보존부(0770)는, 상기 영상 신호 부호화부에서 부호화된 영상 신호나, 상기 영상 떨림량 검출부에서 검출된 영상 떨림량을 보존한다. 데이터 보존부는, 영상 처리 장치와 분리 가능하게 구성되는 기록 매체이어도 되고, 자기 테이프나 카세트 테이프 등의 자기 디스크나 ＣＤ-ＲＯＭ, ＣＤ-R/ＲＷ, ＭＯ, ＭＤ, ＤＶＤ-ＲＯＭ, ＤＶＤ-ＲＡＭ, ＤＶＤ-ＲＷ 등의 광 디스크의 디스크계, ＰＣ 카드, 컴팩트 플래시(등록 상표), 스마트 미디어(등록 상표), ＩＣ 카드, ＳＤ 카드(등록 상표), 메모리 스틱(등록 상표) 등의 카드계, 혹은, ＲＡＭ, ＥＥＰＲＯＭ, 플래시 ＲＯＭ 등에 의한 반도체 메모리를 포함시킨 매체이어도 된다． 부호화된 영상 신호와, 영상 떨림량을 더불어서 보존함으로써, 영상 신호를 재생할 때에 떨림을 해소한 영상의 재생이 가능하게 된다． 또한，이러한 구성에 의해 이용자가 영상 신호를 재생할 때에, 보존되어 있는 영상 떨림량을 이용하여 영상 떨림 보정을 행할 것인지의 여부를 선택하는 것도 가능하게 된다． 또한，도 8은 데이터 보존부에 보존된 부호화된 영상 신호 및 영상 떨림량을 이용하여 영상 신호를 재생해서 표시하는 영상 장치의 일례를 도시하는 것으로, 데이터 판독부(0810)와, 영상 신호 복호화부(0820)와, 영상 떨림 보정부(0830)와, 영상 표시부(0840)와, 데이터 보존부(0850)로 이루어져 있다. 데이터 판독부(0810)는, 상기 데이터 보존부에 보존되어 있는 부호화된 영상 신호나 영상 떨림량을 판독한다. 영상 신호 복호화부(0820)는, 부호화된 영상 신호를 복호화한다. 영상 떨림 보정부(0830)는, 상기 데이터 판독부로부터 판독한 영상 떨림량에 기초하여, 상기 영상 신호의 영상 떨림을 보정한다. 영상 떨림을 보정하는 방법의 일례로서는, 영상의 소정 영역을 잘라내어, 화상을 평행 이동시켜 평행 이동 후의 영상을 영상 표시부에 보내는 것 등을 들 수 있다. 손떨림 보정을 행하는 영상 표시부(0840)는, 영상 떨림을 보정한 영상 신호를 표시한다. 영상 표시부의 구체예로서는, ＬＣＤ 모니터와 같은 디스플레이를 들 수 있다. 또한，도 8에 도시하는 각 부는 도 7에 도시하는 영상 장치와 일체로 되어 있어도 된다.

<실시예 2의 처리의 흐름과 효과>

도 9는 본 실시예의 처리의 흐름의 일례를 도시하는 도면이다. 본 실시예에서의 영상 장치의 동작 방법은, 영상 신호 취득 스텝(S0910)과, 영상 신호 부호화 스텝(S0920)과, 중간 정보 비교 스텝(S0930)과, 데이터 보존 스텝(S0921, S0951)과, 부호화 단위 가중값 부여 결정 스텝(S0940)과, 영상 떨림량 검출 스텝(S0950)으로 이루어진다. 본 실시예의 영상 처리 장치는, 부호화된 영상 신호와, 최적의 영상 떨림량을 더불어서 보존하기 때문에, 영상 신호를 재생할 때에 떨림을 해소한 영상의 재생이 가능하게 된다．

<<실시예3>>

<실시예 3의 개요>

본 실시예는, 실시예 2와 마찬가지로 영상 신호의 떨림량을 검출할 때에 최적의 부호화 단위를 선택하기 위해 부호화 단위로 가중값 부여를 하는 영상 장치에 관한 것이지만, 실시예 2 외에，입력되는 영상 신호의 영상 떨림량을 예측함으로써 리얼타임으로 보정하는 것이 특징이다.

<실시예 3의 구성>

도 10에 본 실시예에서의 기능 블록도의 일례를 도시한다． 도 10에 도시하는 영상 장치(1000)는, 「영상 신호 취득부」(1010)와, 「영상 신호 부호화부」(1020)와, 「중간 정보 비교부」(1030)와, 「영상 떨림량 검출부」(1040)와, 「부호화 단위 가중값 부여 결정부」(1050)와, 「영상 신호 입력부」(1060)와, 「데이터 보존부」(1070)와, 「영상 떨림 보정부」(1080)를 갖는다. 「영상 떨림 보정부」(1080)를 제외한 구성에 대해서는 실시예 2에서 설명한 것과 마찬가지이기 때문에，여기서의 설명은 생략한다. 본 실시예에서의 영상 떨림 보정부(1080)는, 상기 영상 떨림량 검출부에서 검출된 영상 떨림량에 기초하여 영상 떨림의 보정을 행한다. 본 실시예에서의 영상 떨림의 보정의 일례로서는, 영상 떨림량을 영상 신호 입력부에 송신하여, 촬상 소자와 피사체 사이에 있는 렌즈를 움직이게 하거나, 혹은 촬상 소자로부터의 판독 영역의 위치를 바꾸거나 해서 영상 떨림 보정을 행하는 것을 들 수 있다. 이렇게 하여 현재의 영상 떨림량에 기초하여 장래의 영상 떨림량을 예측함으로써, 영상 신호 입력부로부터 입력되는 영상 신호에 대하여 리얼타임으로 영상 떨림 보정을 행하는 것이 가능하게 된다． 이것은 예를 들면 강풍이 끊임없이 불어대고 있기 때문에，카메라가 항상 흔들려 영상 떨림이 계속해서 발생하는 해안 등에서 영상을 찍는 경우에 보다 효과적이다.

<실시예 3의 처리의 흐름과 효과>

도 11은 본 실시예의 처리의 흐름의 일례를 도시하는 것이다. 본 실시예에서의 영상 장치의 동작 방법은, 영상 신호 입력 스텝(S1110)과, 영상 신호 취득 스텝(S1120)과, 영상 신호 부호화 스텝(S1130)과, 데이터 보존 스텝(S1131)과, 중간 정보 비교 스텝(S1140)과, 부호화 단위 가중값 부여 결정 스텝(S1150)과, 영상 떨림량 예측 스텝(S1160)과, 영상 떨림 보정 스텝(S1170)으로 이루어진다. 본 실시예의 영상 장치에서는，영상 떨림 보정부를 설치하고 있기 때문에，영상 떨림량 검출부에서 검출된 영상 떨림량에 기초하여 영상 떨림 보정을 행하는 것이 가능하게 되어 있다. 또한，영상 떨림 보정부로부터의 정보가 영상 신호 입력부에 보내짐으로써, 영상 떨림량을 예측하여, 영상 신호 입력으로부터 입력되는 영상 신호에 대하여 리얼타임으로 영상 떨림 보정을 행하는 것이 가능하게 된다．

<<실시예4>>

<실시예 4의 개요>

본 실시예에서의 영상 장치는, 실시예 1과 달리 영상 신호를 복호화할 때에 생성되는 각 부호화 단위마다의 정보로부터 영상 신호의 떨림량을 검출한다. 그리 고，영상 신호의 떨림량을 검출할 때에 최적의 부호화 단위를 선택하기 위해 부호화 단위로 가중값 부여를 하는 것을 특징으로 한다.

<실시예 4의 구성>

도 12는 본 실시예에서의 기능 블록도의 일례를 도시한다． 본 실시예에서의 영상 장치(1200)는, 「영상 신호 복호화부」(1210)와, 「제2 중간 정보 비교부」(1220)와, 「제2 영상 떨림량 검출부」(1230)와, 「제2 부호화 단위 가중값 부여 결정부」(1240)를 갖는다. 영상 신호 복호화부(1210)는 부호화된 영상 신호를 복호화한다. 영상 신호를 복호화하기 위해서는, 영상 신호를 부호화한 반대의 처리를 행하면 된다. 예를 들면, 부호화된 영상 신호에 대하여 가변 길이 복호화를 행하고, 역양자화를 거쳐 역직교 변환 등에 의해, 영상 신호를 복호화한다. 제2 중간 정보 비교부(1220)는, 상기 복호화에 이용되는 각 부호화 단위마다의 제2 중간 정보인 제2 중간 정보를 비교한다. 상기 중간 정보는, 각 부호화 단위마다의 텍스쳐를 직교 변환하고, 변환된 성분을 고주파 현재화 적분함으로써 구한 평가값이어도 된다． 텍스쳐란 부호화를 오브젝트-베이스로 행하는 경우에서의 화상의 그림 정보를 의미한다． 변환된 성분이란, 예를 들면 직교 변환하여 얻어진 계수의 경우 등을 들 수 있다. 고주파 현재화 적분이란, 변환된 성분에 고주파가 많이 포함되어 있는 부호화 단위를 눈에 띄게 하기 위해서 행하는 것이다. 도 13은 고주파 현재화 적분에 사용하는 계수의 일례이다. 이하의 예에 대해서는 영상 신호를 부호화할 때의 처리에 대해서 설명하지만, 복호화 시에서도 가능한 것은 물론이다. 일반적인 부호화의 처리에서는，직교 변환하여 얻어진 성분에 대하여, 도 13에서 도 시한 바와 같은 계수를 이용하여 제산을 행하여, 고주파 성분을 사사오입하는 양자화가 행해지고 있다. 그러나, 본 실시예에서의 고주파 현재화 적분은, 양자화와는 반대로 도 13에 도시한 바와 같은 계수를 이용하여 승산을 행하는 것이다. 이에 의해，고주파 성분이 많은 부호화 단위를 보다 눈에 띄게 하는 것이 가능하게 된다． 평가값이란, 직교 변환된 성분에 대하여, 도 13과 같은 계수를 이용하여 승산을 행한 모든 합계값을 의미한다． 평가값이 높을수록 고주파 성분이 보다 많게 된다. 제2 영상 떨림량 검출부(1230)는, 부호화된 영상 신호의 떨림량을, 상기 제2 중간 정보에 가중값 부여를 함으로써 검출한다. 제2 부호화 단위 가중값 부여 결정부 (1240)는, 상기 제2 중간 정보 비교부의 비교 결과에 기초하여 상기 제2 영상 떨림량 검출부에서의 각 부호화 단위의 가중값 부여를 결정한다. 가중값 부여는 부호화 타입에 의해 상이하다． 프레임내 예측의 경우에는 특징적인 화상을 포함하고 있는 부호화 단위쪽이 신뢰성이 높기 때문에, 고주파 성분을 많이 포함하고 있는 부호화 단위, 즉 평가값이 높은 부호화 단위에는 큰 가중값 부여를 하고, 평가값이 낮은 부호화 단위에는 작은 가중값 부여를 행한다. 한편 프레임간 예측의 경우에는, 전프레임과의 차분이 작은 쪽이 신뢰성이 높기 때문에, 고주파 성분이 작은 부호화 단위, 즉 평가값이 낮은 부호화 단위에 큰 가중값 부여를 한다.

또한，상기 부호화 단위 가중값 부여 결정부는, 동일한 가중 부여값을 이용하는 중간 정보의 값이, 상기 중간 정보가 프레임간 예측에 이용되는 경우와, 상기 중간 정보가 프레임내 예측에 이용되는 경우에서는，역수의 관계로 되도록 가중 부여값을 결정하는 역수 결정 수단을 갖고 있어도 된다. 도 14는 중간 정보가 평가 값인 경우의 가중값 부여 테이블이다. 이에 의해，프레임내 예측과 프레임간 예측에서, 각각 따로 따로의 가중값 테이블을 참조할 필요가 없어져, 실장이 보다 용이하게 된다. 도 15는 「역수 결정 수단」(1500)의 일례이다. 역수 결정 수단(1500)은, 평가값을 평가값 입력기(1512)로부터 입력받고, 가중값 출력기(1530)로부터 가중값을 출력한다. 또한，부호화 타이핑 입력기(1511)로부터 프레임내 예측인지 프레임간 예측인지의 식별 신호를 입력받는다. 부호화 타이핑 입력기(1511)에의 입력이 프레임내 예측이면, 스위치(1510)는 출력단(1514)으로부터 출력을 행하여, 평가값 입력기(1512)로부터 들어간 평가값은 그대로 가중값 출력기(1530)로부터 출력된다. 이것에 대하여, 부호화 타이핑 입력기(1511)에의 입력이 프레임간 예측이면, 스위치(1510)는 출력단(1513)으로부터 출력을 행하여, 평가값은 역수 산출기(1520)에 출력된다. 역수 산출기(1520)에서는 평가값의 역수를 산출한 후, 가중값 출력기(1530)로부터 가중값이 출력된다. 이에 의해，프레임내 예측과 프레임간 예측에서, 각각 가중값 테이블을 참조할 필요가 없어진다. 이상, 본 실시예에서의 중간 정보는 평가값이라고 하여 설명을 행하였지만，각 부호화 단위마다의 부호량이어도 되는 것은 물론이다. 또한，실시예 1 내지 실시예 4 중 어느 하나의 중간 정보가 평가값이어도 되는 것은 물론이다.

<실시예 4의 처리의 흐름과 효과>

도 16에 본 실시예에서의 처리의 흐름의 일례를 도시한다． 본 실시예에서의 영상 장치의 동작 방법은, 영상 신호 복호화 스텝(S1610)과, 제2 중간 정보 비교 스텝(S1620)과, 제2 부호화 단위 가중값 부여 결정 스텝(S1630)과, 영상 떨림 검출 스텝(S1640)으로 이루어진다. 또한，도 17에 평가값을 결정하는 경우의 처리의 흐름의 일례를 도시한다． 도 17에 도시하는 평가값의 결정 방법은, 텍스쳐의 직교 변환 스텝(S1720)과, 고주파 현재화 적분 스텝(S1720)과, 평가값 결정 스텝(S1730)으로 이루어진다. 또한，도 18에 역수 결정 방법의 처리의 흐름의 일례를 도시한다． 도 18에 도시하는 역수 결정 방법은, 평가값 입력 스텝(S1810)과, 부호화 타입 판단 스텝(S1820)과, 부호화 타입 판단 스텝의 판단 결과에 따라 역수를 산출하는 역수 산출 스텝(S1830)으로 이루어진다. 본 실시예에서는 영상 신호를 복호화 할 때에 사용되는 중간 정보를 이용할 수 있기 때문에, 영상 신호에 영상 떨림량에 관한 정보가 부가되지 않은 경우에도, 최적의 영상 떨림량을 검출하는 것이 가능하다. 또한，동일한 가중 부여값을 이용하는 중간 정보의 값이, 프레임간 예측에 이용되는 경우와, 프레임내 예측에 이용되는 경우에서는 역수의 관계로 되도록 가중 부여값을 결정할 수 있기 때문에, 각각 가중값 테이블을 참조할 필요가 없어져, 실장이 보다 용이하게 된다.

<<실시예5>>

<실시예 5의 개요>

본 실시예에서의 영상 장치는, 실시예 4와 마찬가지로 영상 신호를 복호화 할 때에 생성되는 각 부호화 단위마다의 정보로부터 영상 신호의 떨림량을 검출할 때에 최적의 부호화 단위를 선택하기 위해 부호화 단위로 가중값 부여를 하지만, 실시예 4 외에 데이터 판독부와 영상 떨림 보정부와 영상 표시부를 구비한 것을 특징으로 한다.

<실시예 5의 구성>

도 19는 본 실시예에서의 기능 블록도의 일례를 도시한다． 본 실시예에서의 영상 장치(1900)는, 「영상 신호 복호화부」(1910)와, 「제2 중간 정보 비교부」(1920)와, 「제2 영상 떨림량 검출부」(1930)와, 「제2 부호화 단위 가중값 부여 결정부」(1940)와, 「데이터 판독부」(1950)와, 「영상 떨림 보정부」(1960)와, 「영상 표시부」(1970)를 갖는다. 데이터 판독부(1950)와, 영상 떨림 보정부(1960)와 영상 표시부(1970)를 제외한 구성은 실시예 4에서 설명한 것과 마찬가지이기 때문에，여기서의 설명은 생략한다. 또한，데이터 판독부(1950)와, 영상 떨림 보정부(1960)와, 영상 표시부(1970)에 대해서는 어느 것이나 이미 설명되어 있기 때문에，여기서의 설명은 생략한다. 본 실시예에서는 영상 신호를 복호화할 때에 최적의 영상 떨림량을 검출하고, 해당 검출한 영상 떨림량에 기초하여 영상 떨림 보정을 행하여 표시할 수 있다． 영상 신호를 복호화할 때에도 영상 떨림량을 검출하는 것이 가능하기 때문에，영상 떨림량에 관한 정보가 포함되어 있지 않은 영상 신호라도 떨림을 수정한 영상을 표시하는 것이 가능하게 된다．

<실시예 5의 처리의 흐름과 효과>

도 20은 본 실시예에서의 처리의 흐름의 일례를 도시하는 것이다. 본 실시예에서의 영상 장치의 동작 방법은, 데이터 판독 스텝(S2010)과, 영상 신호 복호화 스텝(S2020)과, 제2 중간 정보 비교 스텝(S2030)과, 제2 부호화 단위 가중값 부여 결정 스텝(S2040)과, 영상 떨림량 검출 스텝(S2050)과, 영상 표시 스텝(S2060)으로 이루어진다. 본 실시예에서의 영상 장치에서는，영상 신호를 복호화할 때에도 영 상 떨림량을 검출하는 것이 가능하기 때문에，영상 떨림량에 관한 정보가 포함되어 있지 않은 영상 신호라도 떨림을 수정한 영상을 표시하는 것이 가능하게 된다．

도 1은 실시예 1을 설명하기 위한 기능 블록도.

도 2는 프레임의 부호화 타입을 설명하기 위한 도면.

도 3은 부호화 단위마다 포함되는 화상의 상이점을 설명하기 위한 도면.

도 4는 움직임 벡터가 상이한 것을 설명하기 위한 도면.

도 5는 움직임 벡터의 차이에 의해 화상의 차분이 상이한 것을 설명하기 위한 도면.

도 6은 실시예 1의 처리의 흐름을 설명하기 위한 도면.

도 7은 실시예 2를 설명하기 위한 기능 블록도.

도 8은 실시예 2의 다른 예를 설명하기 위한 기능 블록도.

도 9는 실시예 2의 처리의 흐름을 설명하기 위한 도면.

도 10은 실시예 3을 설명하기 위한 기능 블록도.

도 11은 실시예 3의 처리의 흐름을 설명하기 위한 도면.

도 12는 실시예 4를 설명하기 위한 기능 블록도.

도 13은 부호화 단위에 포함되는 화상을 직교 변환한 성분에 대하여 곱하는 계수의 도면.

도 14는 역수 결정 수단의 기능 블록도.

도 15는 가중값 부여가 역수의 관계로 되어 있는 가중값 테이블도.

도 16은 실시예 4의 처리의 흐름을 설명하기 위한 도면.

도 17은 평가값 결정의 처리의 흐름을 설명하기 위한 도면.

도 18은 역수 산출의 처리의 흐름을 설명하기 위한 도면.

도 19는 실시예 5를 설명하기 위한 기능 블록도.

도 20은 실시예 5의 처리의 흐름을 설명하기 위한 도면.

<부호의 설명>

0100 : 영상 장치

0110 : 영상 신호 취득부

0120 : 영상 신호 부호화부

0130 : 중간 정보 비교부

0140 : 영상 떨림량 검출부

0150 : 부호화 단위 가중값 부여 결정부

Claims

영상 신호를 취득하는 영상 신호 취득부와,

상기 영상 신호를 부호화하는 영상 신호 부호화부와,

영상 신호로부터 생성되는 상기 부호화에 이용되는 각 부호화 단위마다의 중간 정보를 비교하는 중간 정보 비교부와,

상기 영상 신호 취득부에서 취득한 영상 신호의 떨림량을, 상기 중간 정보에 가중값 부여를 함으로써 검출하는 영상 떨림량 검출부와,

상기 중간 정보 비교부의 비교 결과에 기초해서 상기 영상 떨림량 검출부에서의 각 부호화 단위의 가중값 부여를 결정하는 부호화 단위 가중값 부여 결정부

를 갖는 영상 장치.
부호화된 영상 신호를 복호화하는 영상 신호 복호화부와,

상기 복호화에 이용되는 각 부호화 단위마다의 제2 중간 정보인 제2 중간 정보를 비교하는 제2 중간 정보 비교부와,

부호화된 영상 신호의 떨림량을, 상기 제2 중간 정보에 가중값 부여를 함으로써 검출하는 제2 영상 떨림량 검출부와,

상기 제2 중간 정보 비교부의 비교 결과에 기초해서 상기 제2 영상 떨림량 검출부에서의 각 부호화 단위의 가중값 부여를 결정하는 제2 부호화 단위 가중값 부여 결정부

를 갖는 영상 장치.
제1항 또는 제2항에 있어서,

상기 중간 정보는, 각 부호화 단위마다의 부호량인 것을 특징으로 하는 영상 장치.
제1항 또는 제2항에 있어서,

상기 중간 정보는, 각 부호화 단위마다의 텍스쳐를 직교 변환하고, 변환된 성분을 고주파 현재화 적분함으로써 구한 평가값인 것을 특징으로 하는 영상 장치.
제4항에 있어서,

상기 부호화 단위 가중값 부여 결정부는,

동일한 가중 부여값을 이용하는 중간 정보의 값이, 상기 중간 정보가 프레임간 예측에 이용되는 경우와, 상기 중간 정보가 프레임내 예측에 이용되는 경우에서는，역수의 관계로 되도록 가중 부여값을 결정하는 역수 결정 수단을 갖는 영상 장치.
영상 신호를 취득하는 영상 신호 취득 스텝과,

상기 영상 신호를 부호화하는 영상 신호 부호화 스텝과,

영상 신호로부터 생성되는 상기 부호화에 이용되는 각 부호화 단위마다의 중 간 정보를 비교하는 중간 정보 비교 스텝과,

상기 영상 신호 취득 스텝에서 취득한 영상 신호의 떨림량을, 상기 중간 정보에 가중값 부여를 함으로써 검출하는 영상 떨림량 검출 스텝과,

상기 중간 정보 비교 스텝의 비교 결과에 기초해서 상기 영상 떨림량 검출 스텝에서의 각 부호화 단위의 가중값 부여를 결정하는 부호화 단위 가중값 부여 결정 스텝

을 갖는 영상 장치의 동작 방법.
부호화된 영상 신호를 복호화하는 영상 신호 복호화 스텝과,

상기 복호화에 이용되는 각 부호화 단위마다의 제2 중간 정보인 제2 중간 정보를 비교하는 제2 중간 정보 비교 스텝과,

부호화된 영상 신호의 떨림량을, 상기 제2 중간 정보에 가중값 부여를 함으로써 검출하는 제2 영상 떨림량 검출 스텝과,

상기 제2 중간 정보 비교 스텝의 비교 결과에 기초해서 상기 제2 영상 떨림량 검출 스텝에서의 각 부호화 단위의 가중값 부여를 결정하는 제2 부호화 단위 가중값 부여 결정 스텝

을 갖는 영상 장치의 동작 방법.
제6항 또는 제7항에 있어서,

상기 중간 정보는, 각 부호화 단위마다의 부호량인 것을 특징으로 하는 영상 장치의 동작 방법.
제6항 또는 제7항에 있어서,

상기 중간 정보는, 각 부호화 단위마다의 텍스쳐를 직교 변환하고, 변환된 성분을 고주파 현재화 적분함으로써 구한 평가값인 것을 특징으로 하는 영상 장치의 동작 방법.
제9항에 있어서,

상기 부호화 단위 가중값 부여 결정 스텝은,

동일한 가중 부여값을 이용하는 중간 정보의 값이, 상기 중간 정보가 프레임간 예측에 이용되는 경우와, 상기 중간 정보가 프레임내 예측에 이용되는 경우에서는，역수의 관계로 되도록 가중 부여값을 결정하는 역수 결정 스텝을 갖는 영상 장치의 동작 방법.