KR101624450B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

Abstract

화상 처리 장치는, 촬상 장치에 의해 촬상된 프레임 화상 내에 상기 프레임 화상보다 작은 크기의 영역을 설정하고, 상기 촬상 장치의 움직임에 따라 상기 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성한다. 그 장치는, 입력부, 움직임 취득부, 행렬 연산부 및 묘화부를 구비한다. 입력부는, 제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력한다. 움직임 취득부는, 제 1 프레임 화상과 제 2 프레임 화상의 사이의 움직임 데이터를 취득한다. 행렬 연산부는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출한다. 묘화부는, 사영 행렬을 이용하여 제 2 프레임 화상으로부터 출력 프레임 화상을 생성한다. 행렬 연산부는, 제 1 산출부, 제 2 산출부 및 보조 행렬 산출부를 갖는다. 제 1 산출부는, 움직임 데이터를 이용하여, 사영 행렬의 제 1 행렬을 산출한다. 제 2 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 제 2 행렬을 이용하여, 사영 행렬의 제 2 행렬을 산출한다. 보조 행렬 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 보조 행렬을 이용하여, 사영 행렬의 보조 행렬을 산출한다.

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}

본 발명은, 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 관한 것이다.

종래, 화상 처리 장치로서, 동영상 촬상시의 손떨림 등의 영향을 배제하기 위해, 촬상된 프레임 화상으로부터 잘라내야 할 적절한 절취 영역을 결정하는 장치가 알려져 있다(예컨대, 특허 문헌 1 참조). 특허 문헌 1에 기재된 화상 처리 장치는, 프레임 화상이 기준 프레임 화상(예컨대 전회 입력한 프레임 화상)에 대하여 어느 정도 어긋나 있는지를 나타내는 움직임 데이터를 검출하고, 검출된 움직임 데이터에 따라 절취 영역을 이동 또는 변형시키는 것에 의해, 카메라의 움직임에 대하여 절취 영역이 정지하도록 보정하고 있다. 이 화상 처리 장치에서는, 회전ㆍ확대 축소ㆍ평행 이동의 4 자유도의 움직임 혹은 평행 이동ㆍ회전ㆍ확대 축소ㆍ전단의 6 자유도의 움직임을 고려하여 이동량 또는 변형량을 산출하여, 절취 영역을 조정하고 있다.

또한, 화상 처리 장치로서, 롤링 셔터 일그러짐 성분 및 카메라 모션 성분을 정확하게 산출하는 수법이 알려져 있다(예컨대, 특허 문헌 2 참조). 특허 문헌 2에 기재된 화상 처리 장치는, 미지의 성분 파라미터를 이용하여 롤링 셔터 일그러짐 성분 및 카메라 모션 성분을 분리하여 나타내는 성분 분리식에, 아핀 변환 행렬로서 나타내어진 글로벌 움직임 벡터를 대입하여 모델화한다. 그리고, 그 장치는, 모델화된 성분 분리식으로부터 얻어지는 방정식을 풀어서, 각 성문 파라미터를 산출하고, 롤링 셔터 일그러짐 성분 및 카메라 모션 성분을 개별적으로 정확하게 산출하고 있다.

(선행 기술 문헌)

(특허 문헌)

(특허 문헌 1) 일본 특허 공개 2007-226643호 공보

(특허 문헌 2) 일본 특허 공개 2010-193302호 공보

특허 문헌 1에 기재된 화상 처리 장치와 같이 프레임 화상으로부터 영역을 잘라내는 경우, 잘라내야 할 영역을 보다 적절한 영역으로 하기 위해서는, 프레임 화상 사이의 움직임 데이터에 근거하여 카메라의 움직임(카메라 모션 성분)을 보다 정확하게 산출할 필요가 있다. 여기서, 특허 문헌 2에 기재된 화상 처리 장치를 이용하여, 카메라의 움직임을 전부 모델화하는 것에 의해, 카메라 모션 성분을 정확하게 산출하는 것을 생각할 수 있다. 그리고, 특허 문헌 2에 기재된 화상 처리 장치와 같이, 화상의 변형의 자유도로서 예컨대 6 자유도의 움직임을 고려하는 것을 생각할 수 있다. 이것에 의해, 4 자유도의 움직임을 고려한 경우에 비하여, 실제의 카메라의 움직임에 가까운 정확한 움직임 데이터를 얻을 수 있다. 그렇지만, 사용자가 의도하지 않는 카메라의 움직임에 의한 문제만을 보정하고자 한 경우, 자유도가 증가할수록 손떨림 보정 등을 위한 보정 필터의 설계가 복잡하게 될 우려가 있다. 예컨대, 촬상 장치(카메라)가 팬 또는 틸트한 경우에는, 각 자유도의 보정의 정도를 변화시켜, 팬 또는 틸트에 대하여 절취 영역을 추종시키면서, 손떨림 등이 주는 영향을 제거할 필요가 있다.

또한, 특허 문헌 2에는, 움직임 벡터를 6 자유도의 아핀 변환으로 한정한 경우의 성분 분리식밖에 개시되어 있지 않기 때문에, 움직임 벡터를 투시 투영으로 표현하는 경우에는, 아핀 변환과는 상이한 성분 분리식을 모델화할 필요가 있다. 이와 같이, 특허 문헌 2에 기재된 화상 처리 장치는, 움직임 데이터의 형식에 따른 성분 분리식을 준비할 필요가 있기 때문에, 응용이 가능하지 않을 우려가 있다. 또한, 특허 문헌 2에 기재된 화상 처리 장치는, 부정확한 글로벌 움직임 벡터가 성분 분리식에 대입된 경우에는, 필연적으로 부정확한 롤링 셔터 일그러짐 성분 및 카메라 모션 성분이 도출되게 되기 때문에, 로버스트(robust)의 처리를 행할 수 없을 우려가 있다.

본 기술 분야에서는, 프레임 화상으로부터 잘라내야 할 영역을 간이하고 적절하게 결정함과 아울러, 손떨림 보정 등의 보정 필터의 설계가 간이하게 되는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 기대되고 있다.

즉, 본 발명의 일 측면과 관련되는 화상 처리 장치는, 촬상 장치에 의해 촬상된 프레임 화상 내에 상기 프레임 화상보다 작은 크기의 영역을 설정하고, 상기 촬상 장치의 움직임에 따라 상기 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하는 화상 처리 장치이다. 그 장치는, 입력부, 움직임 취득부, 행렬 연산부 및 묘화부를 구비한다. 입력부는, 제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력한다. 움직임 취득부는, 제 1 프레임 화상과 제 2 프레임 화상의 사이의 움직임 데이터를 취득한다. 행렬 연산부는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출한다. 묘화부는, 사영 행렬을 이용하여 제 2 프레임 화상으로부터 출력 프레임 화상을 생성한다. 행렬 연산부는, 제 1 산출부, 제 2 산출부 및 보조 행렬 산출부를 갖는다. 제 1 산출부는, 움직임 데이터를 이용하여, 사영 행렬의 제 1 행렬을 산출한다. 제 2 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 제 2 행렬을 이용하여, 사영 행렬의 제 2 행렬을 산출한다. 보조 행렬 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 보조 행렬을 이용하여, 사영 행렬의 보조 행렬을 산출한다.

이 화상 처리 장치에서는, 화상의 변형의 움직임을, 평행 이동 성분 또는 회전 성분의 적어도 한쪽과, 롤링 셔터 일그러짐 성분과, 그 외의 성분으로 나누어 다루고, 각각 별개로 산출한다. 제 1 산출부에 의해, 움직임 데이터를 이용하여, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬이 어느 정도 정확하게 산출된다. 제 2 산출부에 의해, 움직임 데이터, 제 1 행렬 및 과거의 제 2 행렬을 이용하여, 평행 이동 성분 및 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬이 산출된다. 보조 행렬 산출부에 의해, 움직임 데이터, 제 1 행렬 및 과거의 보조 행렬을 이용하여, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬이 산출된다. 이와 같이, 해당 화상 처리 장치는, 움직임 데이터를 3개로 분해하고, 계산 과정에 있어서 별개로 산출할 수 있기 때문에, 움직임 성분에 따른 처리가 가능하게 된다. 예컨대, 롤링 셔터 성분을 손떨림 제거 등을 행하는 보정 대상으로부터 제외하는 것이 가능하게 된다. 이것에 의해, 보정의 계산 비용이나 보정 필터의 설계를 용이하게 할 수 있다. 또한, 평행 이동 성분 또는 회전 성분과, 보조 행렬이 포함하는 성분을 각각 상이한 식으로 산출하고 있기 때문에, 인간의 의도가 강하게 반영되는 평행 이동 성분 또는 회전 성분과, 그 외의 나머지의 성분을 서로 관련시키는 일 없이 독립하여 보정하는 것이 가능하게 된다. 즉, 인간의 의도가 강하게 반영되는 움직임 성분과 그 이외의 움직임 성분을 상이한 필터로 보정할 수 있기 때문에, 카메라워크에 적절하게 추종하면서 사용자가 의도하지 않는 움직임에 의한 문제를 해소하는 것을 양립시키는 것이 가능하게 된다. 또한, 각 성분에 대한 보정은 독립하고 있기 때문에, 보정 필터를 용이하게 설계할 수 있다. 또한, 움직임 데이터의 형식이 변경되거나, 부정확한 데이터가 존재하거나 하는 경우에도, 움직임 데이터의 형식의 변경 부분이나 에러 부분을 보조 행렬에 포함시키는 것이 가능하기 때문에, 모든 움직임 데이터의 형식에 대응 가능하다. 또한, 제 2 산출부의 움직임의 산출 방법은 한정되지 않기 때문에, 예컨대, 정확하지 않지만 로버스트의 산출 방법을 제 2 산출부의 움직임의 산출 방법에 적용할 수 있다. 이 경우, 화상 처리 장치 전체적으로 로버스트의 처리를 행할 수 있다.

일 실시 형태에서는, 제 1 산출부는, 움직임 데이터에 포함되는 평행 이동 성분에 근거하여, 사영 행렬의 제 1 행렬을 산출하더라도 좋다. 이와 같이, 롤링 셔터 일그러짐 성분이 평행 이동 성분에만 기인한다고 가정하는 것에 의해, 거의 정확한 롤링 셔터 일그러짐 성분을 간이하고 신속하게 추정할 수 있다.

일 실시 형태에서는, 보조 행렬은, 사각형을 사다리꼴로 변환하는 성분을 포함하더라도 좋다. 이와 같이, 화상의 변형을 8 자유도로서 파악한 경우에는, 보조 행렬에 사각형을 사다리꼴로 변환하는 성분을 포함시키는 것에 의해, 사용자가 의도한 움직임에 추종하는 처리에는 영향을 주지 않고, 사용자가 의도하지 않는 움직임에 의한 문제를 보다 자연스럽게 해소하는 것이 가능하게 된다.

일 실시 형태에서는, 보조 행렬은, 확대 축소 성분을 포함하더라도 좋다. 예컨대 확대 축소 성분이 촬상 신에 있어서 이용되지 않는 경향에 있는 경우에는, 보조 행렬에 확대 축소 성분을 포함시키는 것에 의해, 사용자가 의도한 움직임에 추종하는 처리에는 영향을 주지 않고, 사용자가 의도하지 않는 움직임에 의한 문제를 보다 자연스럽게 해소하는 것이 가능하게 된다.

일 실시 형태에서는, 제 2 행렬은, 확대 축소 성분을 포함하더라도 좋다. 예컨대 확대 축소 성분이 촬상 신에 있어서 이용되는 경향에 있는 경우에는, 제 2 행렬에 확대 축소 성분을 포함시키는 것에 의해, 사용자가 의도한 움직임에 추종하는 처리를 보다 정확하게 행할 수 있다.

일 실시 형태에서는, 움직임 취득부는, 자이로 센서의 출력치를 입력하더라도 좋다. 이와 같이, 하드웨어와 협동시킨 경우에도 적절한 화상 처리를 행할 수 있다.

본 발명의 다른 측면과 관련되는 화상 처리 방법은, 촬상 장치에 의해 촬상된 프레임 화상 내에 프레임 화상보다 작은 크기의 영역을 설정하고, 촬상 장치의 움직임에 따라 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하는 화상 처리 방법이다. 그 방법은, 입력 단계, 움직임 취득 단계, 행렬 연산 단계 및 묘화 단계를 구비한다. 입력 단계는, 제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력한다. 움직임 취득 단계는, 제 1 프레임 화상과 제 2 프레임 화상의 사이의 움직임 데이터를 취득한다. 행렬 연산 단계는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출한다. 묘화 단계는, 사영 행렬을 이용하여 제 2 프레임 화상으로부터 출력 프레임 화상을 생성한다. 행렬 연산 단계는, 제 1 산출 단계, 제 2 산출 단계 및 보조 행렬 산출 단계를 갖는다. 제 1 산출 단계는, 움직임 데이터를 이용하여, 사영 행렬의 제 1 행렬을 산출한다. 제 2 산출 단계는, 움직임 데이터, 제 1 행렬 및 과거의 상기 제 2 행렬을 이용하여, 사영 행렬의 제 2 행렬을 산출한다. 보조 행렬 산출 단계는, 움직임 데이터, 제 1 행렬, 및, 과거의 보조 행렬을 이용하여, 사영 행렬의 보조 행렬을 산출한다.

본 발명의 다른 측면과 관련되는 화상 처리 프로그램은, 촬상 장치에 의해 촬상된 프레임 화상 내에 프레임 화상보다 작은 크기의 영역을 설정하고, 촬상 장치의 움직임에 따라 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램이다. 그 프로그램은, 컴퓨터를, 입력부, 움직임 취득부, 행렬 연산부 및 묘화부로서 기능시킨다. 입력부는, 제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력한다. 움직임 취득부는, 제 1 프레임 화상과 제 2 프레임 화상의 사이의 움직임 데이터를 취득한다. 행렬 연산부는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출한다. 묘화부는, 사영 행렬을 이용하여 제 2 프레임 화상으로부터 출력 프레임 화상을 생성한다. 행렬 연산부는, 제 1 산출부, 제 2 산출부 및 보조 행렬 산출부를 갖는다. 제 1 산출부는, 움직임 데이터를 이용하여, 사영 행렬의 제 1 행렬을 산출한다. 제 2 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 제 2 행렬을 이용하여, 사영 행렬의 제 2 행렬을 산출한다. 보조 행렬 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 보조 행렬을 이용하여, 사영 행렬의 보조 행렬을 산출한다.

본 발명의 다른 측면과 관련되는 기록 매체는, 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체이다. 화상 처리 프로그램은, 촬상 장치에 의해 촬상된 프레임 화상 내에 프레임 화상보다 작은 크기의 영역을 설정하고, 촬상 장치의 움직임에 따라 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하도록 컴퓨터를 기능시킨다. 그 프로그램은, 컴퓨터를, 입력부, 움직임 취득부, 행렬 연산부 및 묘화부로서 기능시킨다. 입력부는, 제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력한다. 움직임 취득부는, 제 1 프레임 화상과 제 2 프레임 화상의 사이의 움직임 데이터를 취득한다. 행렬 연산부는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 및 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출한다. 묘화부는, 사영 행렬을 이용하여 제 2 프레임 화상으로부터 출력 프레임 화상을 생성한다. 행렬 연산부는, 제 1 산출부, 제 2 산출부 및 보조 행렬 산출부를 갖는다. 제 1 산출부는, 움직임 데이터를 이용하여, 사영 행렬의 제 1 행렬을 산출한다. 제 2 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 제 2 행렬을 이용하여, 사영 행렬의 제 2 행렬을 산출한다. 보조 행렬 산출부는, 움직임 데이터, 제 1 행렬 및 과거의 보조 행렬을 이용하여, 사영 행렬의 보조 행렬을 산출한다.

상술한 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 의하면, 상술한 본 발명의 일 측면과 관련되는 화상 처리 장치와 같은 효과를 제공한다.

본 발명의 여러 가지의 측면 및 실시 형태에 의하면, 프레임 화상으로부터 잘라내야 할 영역을 간이하고 적절하게 결정함과 아울러, 손떨림 보정 등의 보정 필터의 설계가 간이하게 되는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체가 제공된다.

도 1은 실시 형태와 관련되는 화상 처리 장치를 탑재한 휴대 단말의 기능 블록도이다.
도 2는 실시 형태와 관련되는 화상 처리 장치가 탑재되는 휴대 단말의 하드웨어 구성도이다.
도 3은 손떨림 보정의 원리를 설명하는 개요도이다.
도 4는 화상의 움직임을 설명하는 개요도이다.
도 5는 기준 프레임 화상, 대상 프레임 화상 및 출력 프레임 화상의 관계를 설명하는 개요도이다.
도 6은 롤링 셔터 일그러짐을 설명하는 개요도이다. (a)는, X 방향의 라인 주사의 주사 순서가 Y 방향일 때에, 카메라 조작이 X 방향인 경우의 피사체의 일그러짐을 나타낸다. (b)는, X 방향의 라인 주사의 주사 순서가 Y 방향일 때에, 카메라 조작이 Y 방향인 경우의 피사체의 일그러짐을 나타낸다. (c)는, Y 방향의 라인 주사의 주사 순서가 X 방향일 때에, 카메라 조작이 X 방향인 경우의 피사체의 일그러짐을 나타낸다. (d)는, Y 방향의 라인 주사의 주사 순서가 X 방향일 때에, 카메라 조작이 Y 방향인 경우의 피사체의 일그러짐을 나타낸다.
도 7은 롤링 셔터 일그러짐이 없는 계(系)를 설명하는 개요도이다.
도 8은 일그러짐 계수의 산출 방법을 설명하는 개요도이다.
도 9는 움직임 프레임 화상과 일그러짐 계수의 관계를 나타내는 그래프이다.
도 10은 움직임 행렬 성분과 이동량의 관계를 나타내는 그래프이다.
도 11은 평행 이동 성분 및 회전 성분을 설명하는 개요도이다.
도 12는 입력 프레임 화상과 출력 프레임 화상의 관계를 나타내는 개념도이다.
도 13은 실시 형태와 관련되는 화상 처리 장치의 동작을 설명하는 플로차트이다.

이하, 첨부 도면을 참조하여 실시 형태에 대하여 설명한다. 또, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 붙이고, 중복되는 설명을 생략한다.

본 실시 형태와 관련되는 화상 처리 장치는, 화상의 손떨림이나 롤링 셔터 일그러짐 등의 문제를 배제하여 화상을 출력하는 장치이다. 본 실시 형태와 관련되는 화상 처리 장치는, 예컨대 복수의 화상의 연속 촬영이나 동영상 촬영의 경우에 채용된다. 본 실시 형태와 관련되는 화상 처리 장치는, 예컨대, 휴대 전화, 디지털 카메라, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말에 적합하게 탑재되는 것이지만, 이들로 한정되는 것이 아니고, 예컨대 통상의 컴퓨터 시스템에 탑재되더라도 좋다. 또, 이하에서는, 설명 이해의 용이성을 고려하여, 일례로서, 카메라 기능을 구비한 휴대 단말에 탑재되는 화상 처리 장치를 설명한다.

도 1은 본 실시 형태와 관련되는 화상 처리 장치(1)를 구비하는 휴대 단말(2)의 기능 블록도이다. 도 1에 나타내는 휴대 단말(2)은, 예컨대 사용자에 의해 휴대되는 이동 단말이고, 도 2에 나타내는 하드웨어 구성을 갖는다. 도 2는 휴대 단말(2)의 하드웨어 구성도이다. 도 2에 나타내는 바와 같이, 휴대 단말(2)은, 물리적으로는, CPU(Central Processing Unit)(100), ROM(Read Only Memory)(101) 및 RAM(Random Access Memory)(102) 등의 주 기억 장치, 카메라 또는 키보드 등의 입력 디바이스(103), 디스플레이 등의 출력 디바이스(104), 하드 디스크 등의 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성된다. 후술하는 휴대 단말(2) 및 화상 처리 장치(1)의 각 기능은, CPU(100), ROM(101), RAM(102) 등의 하드웨어상에 소정의 컴퓨터 소프트웨어를 읽어들이게 하는 것에 의해, CPU(100)의 제어의 아래에서 입력 디바이스(103) 및 출력 디바이스(104)를 동작시킴과 아울러, 주 기억 장치나 보조 기억 장치(105)에 있어서의 데이터의 읽어내기 및 기입을 행하는 것으로 실현된다. 또, 상기의 설명은 휴대 단말(2)의 하드웨어 구성으로서 설명했지만, 화상 처리 장치(1)가 CPU(100), ROM(101) 및 RAM(102) 등의 주 기억 장치, 입력 디바이스(103), 출력 디바이스(104), 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성되더라도 좋다. 또한, 휴대 단말(2)은, 통신 모듈 등을 구비하더라도 좋다.

도 1에 나타내는 바와 같이, 휴대 단말(2)은, 카메라(촬상 장치)(20), 화상 처리 장치(1), 화상 기록부(22), 전회 데이터 기록부(23) 및 표시부(21)를 구비하고 있다. 카메라(20)는, 화상을 촬상하는 기능을 갖고 있다. 카메라(20)로서, 예컨대 CMOS의 화소 센서 등이 이용되고, 포컬 플레인 셔터 방식으로 촬상된다. 즉, 카메라(20)는, 화상의 세로 방향 또는 가로 방향으로 주사하여 화소치를 입력한다. 카메라(20)는, 예컨대 사용자 조작 등에 의해 지정된 타이밍으로부터 소정의 간격으로 반복하여 촬상하는 연속 촬상 기능을 갖고 있다. 즉, 카메라(20)는, 정지 화상(정지 프레임 화상)뿐만이 아니라 동영상(연속하는 움직임 프레임 화상)을 취득하는 기능을 갖고 있다. 사용자는, 예컨대 카메라(20)를 슬라이드하거나, 소정 위치를 원점으로 하여 회전시키거나, 좌우 상하 방향으로 기울이거나, 상술한 동작을 조합하거나 하여, 자유롭게 촬영할 수 있다. 카메라(20)는, 예컨대 촬상된 프레임 화상을 촬상할 때마다 화상 처리 장치(1)에 출력하는 기능을 갖고 있다. 표시부(21)는, 화상 또는 영상을 표시 가능한 디스플레이 장치이다.

화상 처리 장치(1)는, 손떨림이나 롤링 셔터 일그러짐 등의 문제를 배제하여 프레임 화상을 출력하는 기능을 갖는다. 예컨대, 도 3의 (a), (b)에 나타내는 바와 같이, 카메라(20)에 의해 연속 촬상된 프레임 화상을 frame^{i -1}, frameⁱ로 하고, 그 중심 위치를 Cf^{i -1}, Cfⁱ로 한다. 화상 처리 장치(1)는, 프레임 화상 frame^{i -1}보다 작은 크기의 잘라내기 영역 K^{i -1}을 설정한다. 예컨대, 잘라내기 영역 K^{i -1}의 크기는, 프레임 화상 frame^{i -1}의 크기의 70~90%가 된다. 잘라내기 영역 K^{i -1}의 중심 위치는, Cr^i-1이다. 이 잘라내기 영역 K^{i -1}이 출력 프레임 화상이 된다. 다음으로, 카메라(20)가 (a)에서 나타내는 촬상 위치로부터 (b)에서 나타내는 촬상 위치로 변화한 것으로 한다(도 3의 (b)의 실선의 화살표로 나타내는 오른쪽 위 방향으로의 시프트). 이 경우, 프레임 화상 frame^{i -1}보다 오른쪽 위로 시프트한 프레임 화상 frameⁱ가 얻어진다. 여기서, 화상 처리 장치(1)는, 프레임 화상 frame^{i -1}과 프레임 화상 frameⁱ의 사이의 움직임을 상쇄하는 위치에, 잘라내기 영역 Kⁱ를 설정한다(도 3의 (b)의 점선의 화살표로 나타내는 왼쪽 아래 방향으로의 시프트). 이것에 의해, 전회의 잘라내기 영역 K^{i -1}의 중심 위치 Cr^{i -1}과 금회의 잘라내기 영역 Kⁱ의 중심 위치 Crⁱ가 동일한 정도의 위치가 되기 때문에, 마치 정지하고 있는 것 같은 출력 프레임 화상이 생성되어, 표시부(21)에 출력된다.

이하에서는, 화상 처리 장치(1)의 상세를 설명한다. 도 1에 나타내는 바와 같이, 화상 처리 장치(1)는, 입력부(10), 움직임 취득부(11), 산출부(행렬 연산부)(30) 및 묘화부(17)를 구비하고 있다.

입력부(10)는, 카메라(20)에 의해 촬상된 프레임 화상을 입력하는 기능을 갖고 있다. 입력부(10)는, 예컨대 카메라(20)에 의해 촬상된 프레임 화상을 촬상할 때마다 입력하는 기능을 갖고 있다. 또한, 입력부(10)는, 프레임 화상을, 휴대 단말(2)에 구비되는 화상 기록부(22)에 보존하는 기능을 갖고 있다. 또한, 입력부(10)는, 입력 프레임 화상을 움직임 취득부(11)에 출력하는 기능을 갖고 있다.

움직임 취득부(11)는, 입력 프레임 화상(제 2 프레임 화상)과 해당 입력 프레임 화상의 직전 또는 이전에 촬상된 프레임 화상(제 1 프레임 화상)을 이용하여, 프레임 화상 사이의 움직임을 취득하는 기능을 갖고 있다. 제 1 프레임 화상은, 예컨대 화상 기록부(22)에 저장되어 있다. 움직임 취득부(11)는, 화상 기록부(22)를 참조하여, 과거에 입력된 프레임 화상을 기준 프레임 화상으로 하고, 기준 프레임 화상과 입력 프레임 화상의 상대적인 움직임 데이터를 취득한다. 또, 기준 프레임 화상은, 처리 대상의 입력 프레임 화상과 일정 영역 이상의 겹침이 있으면 된다. 이 때문에, 움직임 취득부(11)는, 기준 프레임 화상을 입력 프레임 화상을 입력할 때마다 변경할 필요는 없고, 처리 대상의 입력 프레임 화상과 일정 영역 이상의 겹침이 없어진 경우에, 차회 이후의 기준 프레임 화상을 갱신하더라도 좋다. 또한, 2매의 프레임 화상이 아닌, 3매 이상의 프레임 화상을 참조하여 움직임을 취득하는 경우에는, 직전에 입력된 프레임 화상을 일시 기준 프레임 화상으로 하고, 설정이 끝난 기준 프레임 화상 및 일시 기준 프레임 화상과 처리 대상의 입력 프레임 화상을 비교하여 움직임을 취득하더라도 좋다. 움직임 취득부(11)는, 프레임 화상끼리 비교하여, 예컨대 8 자유도의 움직임 데이터 P(관측치)를 취득한다. 움직임 취득부(11)는, 움직임 데이터 P를 산출부(30)에 출력한다. 또, 움직임 취득부(11)는, 휴대 단말(2)에 구비되는 자이로 센서의 출력치를 입력하는 것에 의해, 움직임 데이터 P를 취득하더라도 좋다. 자이로 센서는, 기준 프레임 화상과 입력 프레임 화상의 사이의 움직임 데이터 P를 검출하여 출력하는 기능을 갖는다.

여기서, 8 자유도의 움직임에 대하여 대강 설명한다. 도 4는 8 자유도의 움직임을 설명하는 개요도이다. 도 4에 나타내는 바와 같이, 예컨대 변형 전의 화상이 정사각형인 경우, 카메라(20)의 움직임에 의해, 화상이 (a)~(h)로 변형한다. 여기서, (a)는 확대/축소, (b)는 평행사변형(가로 방향), (c)는 평행사변형(세로 방향), (d)는 회전, (e)는 평행 이동(가로 방향), (f)는 평행 이동(세로 방향), (g)는 사다리꼴(가로 방향), (h)는 사다리꼴(세로 방향)이다. 이 때문에, 화상 처리 장치(1)는, 상기 변형에 맞추어 잘라내기 영역 Kⁱ를 설정한다.

다음으로, 움직임 데이터 P, 잘라내기 영역 K^{i -1}, 잘라내기 영역 Kⁱ 및 사영 행렬의 관계를 설명한다. 도 5는 기준 프레임 화상 frame^{i -1}, 처리 대상의 프레임 화상 frameⁱ, 각각의 잘라내기 영역 K^{i -1}, Kⁱ, 출력 프레임 화상 out-frameⁱ의 관계를 나타내는 개요도이다. 도 5에서는, 기준 프레임 화상 frame^{i -1}과 처리 대상의 프레임 화상 frameⁱ의 움직임 데이터(움직임 벡터)를 P로 나타내고 있다. 움직임 데이터 P는, 움직임 취득부(11)에 의해 기지(旣知)이다. 또한, 기준 프레임 화상 frame^i-1의 잘라내기 영역 K^{i -1}과 출력 프레임 화상 out-frame^{i -1}을 관련시키는 변환식(사영 행렬)을 P_dst ^{i -1}로 나타내고 있다. 사영 행렬 P_dst ^{i -1}은, 이하에서는 전회의 사영 행렬, 또는, 제 1 사영 행렬이라고도 한다. 사영 행렬 P_dst ^{i -1}은, 전회의 연산에서 산출된 값이기 때문에, 기지의 값이다. 사영 행렬 P_dst ^{i -1}은, 예컨대 전회 데이터 기록부(23)에 저장되어 있다. 이 경우, 도 5에 나타내는 바와 같이, 프레임 화상 frameⁱ의 잘라내기 영역 Kⁱ와 출력 프레임 화상 out-frameⁱ를 관련시키는 변환식(사영 행렬) P_dst ⁱ는, 움직임 데이터 P와 제 1 사영 행렬 P_dst ^{i -1}을 이용하여, 이하의 수식 (1)로 산출할 수 있다.

[수학식 1]

또, 사영 행렬 P_dst ⁱ는, 이하에서는, 제 2 사영 행렬이라고도 한다.

여기서, 수식 (1)의 상태에서는, 완전하게 잘라내기 영역을 고정하는 모드가 된다. 그렇지만, 사용자가 의도하는 움직임(예컨대 카메라의 평행 이동이나 팬ㆍ틸트)에 대해서는 추종시켜, 손떨림 등의 문제는 제거할 필요가 있다. 예컨대, 하이 패스 필터를 이용하여, 사용자가 의도하는 움직임 및 문제가 되는 움직임을 필터링한다. 이 경우, 제 2 사영 행렬 P_dst ⁱ는, 이하의 수식 (2)가 된다.

[수학식 2]

여기서 HPF는, 하이 패스 필터이다. 즉, 손떨림 등의 고주파 성분은 패스시켜 화면을 고정시키고, 사용자가 의도하는 움직임인 저주파 성분에 대해서는 커트하여 화면을 사용자의 움직임에 추종시킨다.

그렇지만, 움직임 데이터 P에는, 롤링 셔터 일그러짐 성분이 포함되어 있다. 도 6은 롤링 셔터 일그러짐을 설명하는 개요도이다. 롤링 셔터 일그러짐이란, 도 6의 (a)와 같이, 카메라(20)가 피사체에 대하여 상대적으로 수평 방향으로 이동한 경우에, 피사체가 수평 방향으로 평행사변형 형상으로 일그러지는 것이다. 카메라(20)가 수직 방향으로 이동하는 경우에는, 롤링 셔터 일그러짐은, 도 6의 (b)와 같이, 피사체가 수직 방향으로 확대ㆍ축소되도록 발생한다. 이 롤링 셔터 일그러짐 성분에 대해서는, 항상 보정할 필요가 있기 때문에, 하이 패스 필터를 항상 패스시켜야 할 성분이다. 즉, 롤링 셔터 일그러짐 성분에 대해서는, 하이 패스 필터를 적용시킬 필요성이 없다. 따라서, 롤링 셔터 일그러짐 성분을 분리시킨 상태에서, 사용자가 의도하는 움직임에 대해서는 추종시키고, 손떨림 등의 문제는 제거하는 짜임새를 구축한다.

도 7은 상기 짜임새를 설명하기 위한 개요도이다. 도 7에 나타내는 바와 같이, 기준 프레임 화상 frame^{i -1}로부터 움직임 데이터 P만큼 이동한 처리 대상의 프레임 화상 frameⁱ가 존재하는 것으로 한다. 도 7에서는, 기지의 값은 실선의 화살표로 나타내고, 미지의 값은 점선의 화살표로 나타내고 있다. 화살표 P는 움직임 데이터(움직임 벡터)이고, 기지이다. 화살표 D_{i -1}은, 기준 프레임 화상 frame^{i -1}의 롤링 셔터 일그러짐 성분을 나타내는 연산자(제 1 행렬 D_{i -1})이다. 제 1 행렬 D_{i -1}은, 전회의 연산시에 구해지는 값이므로, 기지이다. 제 1 행렬 D_{i -1}은, 예컨대 전회 데이터 기록부(23)에 저장되어 있다. 제 1 행렬 D_{i -1}을 이용하는 것에 의해, 입력 화상계의 프레임 화상을 롤링 셔터 일그러짐이 없는 계의 프레임 화상으로 변환할 수 있다.

또, 도 7에서는, 「롤링 셔터 일그러짐이 없는 계」를 도시하고 있지만, 완전하게 롤링 셔터 일그러짐이 제거된 계로 할 필요는 없고, 롤링 셔터 일그러짐이 어느 정도 저감된 계라도 좋다. 예컨대, 제 1 행렬 D_{i -1}이 정확한 값인 경우에는, 입력 화상계의 프레임 화상을 롤링 셔터 일그러짐이 완전하게 존재하지 않는 계의 프레임 화상으로 변환하게 된다. 그러나, 제 1 행렬 D_{i -1}이 정확한 값이 아닌 경우에는, 입력 화상계의 프레임 화상을 롤링 셔터 일그러짐이 저감된 계의 프레임 화상으로 변환하게 된다. 이와 같이, 제 1 행렬 D_{i -1}의 정확성은, 롤링 셔터 일그러짐 성분을 어디까지 고려하지 않는 것인지라고 하는 정도에 영향을 준다. 이 때문에, 일단 확실한 것 같은 제 1 행렬 D_{i -1}을 이용한 경우에는, 롤링 셔터 일그러짐이 저감된 계로 변환시킬 수 있고, 이 경우, 롤링 셔터 일그러짐 성분을 어느 정도 분리시킨 상태로 하는 것이 가능하게 된다. 즉, 본 실시 형태의 짜임새에서는, 롤링 셔터 일그러짐의 제거에 대하여, 어느 정도의 오차가 포함되는 것을 허용하고 있다.

도 7에서는, 기준 프레임 화상 frame^{i -1}의 롤링 셔터 일그러짐이 저감된 화상을 RS_frame^{i -1}로 나타내고 있다. 화살표로 나타내는 행렬 S_{i -1}은, RS_frame^{i -1}의 잘라내기 영역과 출력 프레임 화상 out-frameⁱ를 관련시키는 벡터(사영 행렬)이다. 사영 행렬 S_{i -1}은, 전회의 연산시에 구해지는 값이므로, 기지이다. 사영 행렬 S_{i -1}은, 예컨대, 전회의 연산시에 구해지는 제 1 사영 행렬 P_dst ^{i -1}과 제 1 행렬 D_{i -1}을 이용하여 산출할 수 있다. 사영 행렬 S_{i -1}은, 예컨대 전회 데이터 기록부(23)에 저장되어 있다. 이하에서는, 사영 행렬 S_{i -1}을, 롤링 셔터 일그러짐 성분이 저감된 계의 제 1 사영 행렬이라고도 한다.

도 7에 나타내는 바와 같이, 처리 대상의 프레임 화상 frameⁱ에 대해서도, 롤링 셔터 일그러짐이 없는 계의 화상 RS_frameⁱ로 변환할 수 있으면, 롤링 셔터 일그러짐이 없는 계에 있어서의 움직임 데이터 N을 산출할 수 있다. 이하에서는, 움직임 데이터 N을 임시의 움직임 데이터라고도 한다. 롤링 셔터 일그러짐이 저감된 계에 있어서의 움직임 데이터 N이 구해지면, 수식 (2)와 마찬가지로, RS_frameⁱ의 잘라내기 영역과 출력 프레임 화상 out-frameⁱ를 관련시키는, 롤링 셔터 일그러짐이 저감된 계의 사영 행렬 S_i(롤링 셔터 일그러짐이 저감된 계의 제 2 사영 행렬)는, 이하의 수식 (3)으로 나타내어진다.

[수학식 3]

롤링 셔터 일그러짐이 저감된 계에 있어서의 사영 행렬 S_i를 이용하여, 제 2 사영 행렬 P_dst ⁱ는, 이하의 수식 (4)로 나타내어진다.

[수학식 4]

이와 같이, 롤링 셔터 일그러짐이 저감된 계로 변환하는 것에 의해, 롤링 셔터 일그러짐을 고려하지 않는 NㆍS_{i -1}에 관해서만 하이 패스 필터를 적용할 수 있다.

산출부(30)는, 상기 짜임새를 실현하기 위한 연산부이다. 즉, 산출부(30)가, 이미 산출되어 전회 데이터 기록부(23)에 기록되어 있는 전회 데이터와 측정치인 금회 데이터를 이용하여, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 제 2 사영 행렬 P_dst ⁱ를 산출한다.

이하에서는, 전회 데이터 기록부(23)에는, 롤링 셔터 일그러짐 성분을 나타내는 제 1 행렬 D_{i -1}, 제 2 프레임 화상을 입력하기 전에 입력된 프레임 화상 사이의 롤링 셔터 일그러짐이 저감된 계에 있어서의 전회의 움직임 데이터 N_PRE, 제 2 프레임 화상을 입력하기 전에 입력된 프레임 화상 사이의 전회의 제 2 행렬 및 전회의 보정 행렬, 및, 롤링 셔터 일그러짐이 저감된 계에 있어서의 사영 행렬 S_{i -1}이 저장되어 있는 경우를 설명한다. 또, 제 2 행렬 및 보정 행렬의 상세는 후술한다.

산출부(30)는, 출력 프레임 화상을 제 2 프레임 화상에 사영시키는 제 2 사영 행렬 P_dst ⁱ를, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 제 1 행렬 D_i 및 제 2 행렬에 포함되는 움직임 성분을 포함하지 않는 보조 행렬로부터 산출한다. 즉, 산출부(30)는, 제 2 사영 행렬 P_dst ⁱ를, 제 1 행렬 D_i, 제 2 행렬 및 보조 행렬로 분리시킨 상태에서 독립적으로 산출한다. 산출부(30)는, 제 1 산출부(12), 제 2 산출부(13) 및 보조 행렬 산출부(14)를 구비하고 있다.

제 1 산출부(12)는, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i를 산출한다. 제 1 산출부(12)는, 평행 이동 성분에 근거하여 롤링 셔터 일그러짐 성분을 산출하는 기능을 갖고 있다. 일그러짐의 양은, 카메라(20)의 이동의 속도가 빨라질수록 커진다. 이것으로부터, 롤링 셔터 일그러짐은, 카메라(20)의 이동의 속도를 이용하여 추정하는 것이 가능하다고 할 수 있다. 카메라(20)의 이동의 속도는 프레임 사이의 평행 이동량을 이용하여 추정할 수 있다. 따라서, 제 1 산출부(12)는, 예컨대 움직임 데이터 P에 포함되는 평행 이동량에 근거하여, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i를 산출한다. 여기서, 전회의 움직임 데이터를 P_{i -1}로 하고, 금회의 움직임 데이터를 P_i로 하면, 움직임 데이터 P_{i -1} 및 움직임 데이터 P_i에 포함되는 평행 이동량을 평균한 값을, 평행 이동량으로 하더라도 좋다. 롤링 셔터 일그러짐 성분은, 일그러짐이 있는 좌표계를 (xⁱ, yⁱ, 1)^t, 일그러짐이 없는 좌표계를 (Xⁱ, Yⁱ, 1)^t로 하면, 이하의 수식 (5)로 나타내어진다.

[수학식 5]

상기 수식 (5)에 나타내는 바와 같이, Y의 값이 일그러짐 성분에 영향을 준다. 여기서 롤링 셔터 일그러짐 성분에 포함되는 d_x ⁱ, d_y ⁱ는 화상의 평행 이동 성분이고, α는 일그러짐 계수이다. 일그러짐 계수 α는, 프레임 화상의 1라인을 읽어들이는 시간을, 프레임 화상 전체를 읽어들이는 시간과 다음의 프레임 화상을 읽어들일 때까지의 시간을 가산한 값으로 제산하여 산출되는 값이다. 바꿔 말하면, 일그러짐 계수 α는, 프레임 화상의 1라인을 읽어들이는 시간을, 해당 프레임 화상의 최초의 라인을 읽어들인 시각으로부터 다음의 프레임 화상의 최초의 라인을 읽어들이는 시각까지의 시간으로 제산하여 산출되는 값이다. 일그러짐 계수 α는, 카메라(20)에 구비되는 화소 센서의 사양이나 화소 센서의 구동의 설정에 따라 변화한다. 예컨대, 화소 센서 각각에 있어서, 스캔 스피드, 프레임 레이트, 노광 시간, 화상 사이즈, 주사선의 방향, 줌 배율, f값, 기계식 손떨림 보정 기구의 ON/OFF, 프레임의 촬상으로부터 출력까지의 시간, 읽기 속도, 읽기 방향 등의 설정 정보가 상이하다. 이 때문에, 일그러짐의 추정 전에, 미리 촬상 소자(화상 센서)의 여러 가지 설정, 촬상 모드 또는 환경 조건을 포함하는 촬상 조건에 대하여 산출하여 둘 필요가 있다. 또, 화상 센서에 있어서, 인접 라인 사이의 시간차를 t_L, 인접 프레임 사이의 시간차를 t_F라 하면, 일그러짐 계수 α는 이하의 식으로 산출할 수 있다. 또, 인접 프레임 사이의 시간차 t_F에 대해서는, 움직임 프레임 화상열의 프레임 레이트에 근거하여 도출할 수 있다.

[수학식 6]

여기서, 프레임 화상의 라인수(화상의 높이)를 N_L이라 하면, 이하의 부등식이 성립된다.

[수학식 7]

상기 부등식은 이하와 같이 변형할 수 있다.

[수학식 8]

이와 같이, 프레임 화상의 라인수 N_L이 기지인 경우에는, 일그러짐 계수 α의 상한치를 결정할 수 있다.

여기서, 일그러짐 계수 α의 산출 방법에 대하여 설명한다. 도 8은 일그러짐 계수 α의 산출 방법을 설명하는 개요도이다. 도 8에 나타내는 바와 같이, 일그러짐 계수 α는, 정지 프레임 화상 frame^b, 움직임 프레임 화상열 frameⁱ를 이용하여 산출된다. 정지 프레임 화상과 움직임 프레임 화상을 비교하여, 어느 정도의 일그러짐이 발생하는지를 구하고, 또한, 움직임 프레임 화상 사이에서 어느 정도의 평행 이동량이었는지를 구하는 것에 의해, 일그러짐과 평행 이동량의 상관을 구한다. 이 상관 관계로부터 일그러짐 계수 α를 산출한다.

구체적으로는, 우선, 피사체 및 카메라(20)를 정지시켜, 정지 프레임 화상 frame^b를 촬영한다. 다음으로 피사체 혹은 카메라(20)를 움직여, 움직임 프레임 화상열 : frame⁰, frame¹, frame², …, frame^{i -1}, frameⁱ를 촬영한다. 움직임 프레임 화상 frameⁱ에서의 일그러짐의 양은, 정지 프레임 화상 frame^b로부터 움직임 프레임 화상 frameⁱ로의 움직임 행렬 M^{b →i}를 계산하는 것에 의해 산출할 수 있다. 일그러짐의 양은, 정지 프레임 화상 frame^b의 좌표계를 (x^b, y^b, 1)로 하고, 움직임 프레임 화상 frameⁱ의 좌표계를 (xⁱ, yⁱ, 1)로 하면, 이하의 수식 (6)으로 나타내어진다.

[수학식 9]

여기서, 움직임 행렬 M^{b →i}가 평행 이동 성분 및 일그러짐 성분뿐이라고 가정하면, 일그러짐의 양은, 이하의 수식 (7)과 같이 근사할 수 있다.

[수학식 10]

수식 (5)와 수식 (7)을 비교한다. 수식 (7)에서는, 일그러짐 성분은 m₀₁ ^b→i 및 m₁₁ ^b→i이다. 한편, 수식 (5)에 있어서는, 일그러짐 성분의 근본이 되는 것은 연속하는 프레임 사이의 움직임 성분으로 한 평행 이동량 (d_x ⁱ, d_y ⁱ)^t이다. 평행 이동량을 구하기 위해, 움직임 프레임 화상 frameⁱ와, 그 하나 전의 움직임 프레임 화상 frame^i-1로부터, 움직임 행렬 M^{i -1→i}를 구한다. 움직임 프레임 화상 frameⁱ와, 그 하나 전의 움직임 프레임 화상 frame^{i -1}의 관계를 이하의 수식 (8)로 나타낼 수 있다.

[수학식 11]

상기 수식 (8)을 이용하여 프레임 사이의 움직임 성분 (m₀₂ ^i-1→i, m₁₂ ^i-1→i)^t를 평행 이동 성분 (d_x ⁱ, d_y ⁱ)^t로 하더라도 좋다. 또한, 움직임 프레임 화상 frameⁱ의 중심 좌표의 평행 이동량을 (d_x ⁱ, d_y ⁱ)^t로 하더라도 좋다. 또한, 연속하는 프레임 화상 중 프레임 화상 frameⁱ와 직전의 프레임 화상 frame^{i -1}을 이용하여 제 1 평행 이동량을 산출함과 아울러, 프레임 화상 frameⁱ와 직후의 프레임 화상 frame^{i +1}을 이용하여 제 2 평행 이동량을 산출하고, 제 1 평행 이동량 및 제 2 평행 이동량의 평균(가중 평균, 다항식 근사 등)을 이용하여 평행 이동량을 구하더라도 좋다. 평균의 평행 이동량을 이용하는 것에 의해 정확도를 향상시킬 수 있다. (d_x ⁱ, d_y ⁱ)^t를 산출하는 것에 의해, 일그러짐 계수 α는, 이하의 수식 (9), (10)으로 나타낼 수 있다.

[수학식 12]

[수학식 13]

여기서, 하나의 프레임 화상 frameⁱ에 있어서 m₀₁ ^b→i, m₁₁ ^b→i, d_x ⁱ, d_y ⁱ를 측정하고, 수식 (9), 수식 (10)을 이용하는 것에 의해, 일그러짐 계수 α를 구할 수 있다. 그러나, 일그러짐 계수 α를 구하기 위한 측정치인 m₀₁ ^b→i, m₁₁ ^b→i, d_x ⁱ, d_y ⁱ에는 오차가 포함되는 것이 상정된다. 이 때문에, 하나의 프레임 화상 frameⁱ에 대하여 구한 일그러짐 계수를 임시의 일그러짐 계수로 하고, 복수의 프레임 화상에 대하여 프레임 화상마다 임시의 일그러짐 계수를 구하여, 이들 임시의 일그러짐 계수를 이용하여 오차를 수속시킨 정확도가 좋은 일그러짐 계수 α를 산출하더라도 좋다. 도 9는 가로축이 frameⁱ, 세로축이 일그러짐 계수 αⁱ이다. 도 9에 나타내는 바와 같이, 여러 가지 frameⁱ에 대하여 임시의 일그러짐 계수 αⁱ를 구하고, 그들의 평균치(가중 평균치)를 일그러짐 계수 α로서 채용하더라도 좋다. 혹은, 여러 가지 frameⁱ에 대하여 임시의 일그러짐 계수 αⁱ를 구하고, 그들의 중앙치를 일그러짐 계수 α로서 채용하더라도 좋다. 도 10은 가로축이 이동량 d_x ⁱ이고, 세로축이 움직임 행렬 성분 m₀₁ ^b→i이다. 도 10에 나타내는 바와 같이, 평행 이동량 및 롤링 셔터 일그러짐 성분을 좌표축으로 하는 2차원 평면상에 플롯하고, 수식 (10)에 나타내는 회귀 직선의 기울기로부터 일그러짐 계수 α를 구하더라도 좋다. 측정치인 m₀₁ ^b→i, m₁₁ ^b→i, d_x ⁱ, d_y ⁱ의 값이 작고, 오차가 주는 영향이 큰 경우에도, 상술한 수법에 의해 정확하게 일그러짐 계수 α를 구할 수 있다. 또, 임시의 일그러짐 계수 αⁱ 및 일그러짐 계수 α는 상술한 상한치(프레임 화상의 라인수 N_L의 역수) 이하일 필요가 있다. 이 때문에, 소정의 프레임 화상 frame^k의 임시의 일그러짐 계수 α^k가 프레임 화상의 라인수 N_L의 역수보다 큰 경우에는, 해당 프레임 화상 frame^k에 대한 임시의 일그러짐 계수 α^k를 프레임 화상의 라인수 N_L의 역수로 하는 보정을 한 다음, 상술한 평균치, 중앙치, 또는 회귀 직선에 의한 수법에 의해 일그러짐 계수 α를 산출하더라도 좋다. 혹은, 소정의 프레임 화상 frame^k의 임시의 일그러짐 계수 α^k가 프레임 화상의 라인수 N_L의 역수보다 큰 경우에는, 해당 프레임 화상 frame^k의 임시의 일그러짐 계수 α^k를 제외하고 상술한 평균치, 중앙치, 또는 회귀 직선에 의한 수법에 의해 일그러짐 계수 α를 산출하더라도 좋다. 또한, 도출된 일그러짐 계수 α가 프레임 화상의 라인수 N_L의 역수보다 큰 경우에는, 일그러짐 계수 α를 프레임 화상의 라인수 N_L의 역수로 하는 보정을 하더라도 좋다. 롤링 셔터 일그러짐은 화소 센서의 사양이나 화소 센서의 구동의 설정에 따라 발생의 상황이 상이하다. 상술한 수법으로, 카메라(20), 즉 화소 센서의 설정에 대하여 각각 일그러짐 계수 α를 산출하는 것에 의해, 카메라(20) 고유의 조건을 반영시켜 정확하게 롤링 셔터 일그러짐을 추정할 수 있다. 또, 실제의 측정치를 이용하여 일그러짐 계수 α를 산출하는 경우에는, 어떠한 촬상 환경 조건에서 일그러짐 계수 α를 산출했는지에 대해서도 기록하여 두더라도 좋다. 촬상 환경 조건으로서는, 예컨대, 「밝기」 또는 「기온」 등이 포함된다.

제 1 산출부(12)는, 상기의 방법으로 산출된 일그러짐 계수 α를 기록한 카메라 정보 기록부를 참조 가능하게 구성되어 있다. 예컨대, 소자 설정치와 일그러짐 계수 α를 관련시킨 테이블을 구비하고 있다. 소자 설정치 및 촬상 환경과 일그러짐 계수 α를 관련시킨 테이블을 구비하고 있더라도 좋다. 제 1 산출부(12)는, 카메라 정보 기록부를 참조하여, 화소 센서의 설정에 따라 일그러짐 계수 α의 값을 취득하고, 카메라 모션 성분을 이용하여 롤링 셔터 일그러짐 성분을 추정한다. 화소 센서의 현재의 상태의 설정 정보나 촬상 환경에 관한 정보는, 예컨대, 카메라(20)로부터 취득하더라도 좋다. 또한, 카메라 정보 기록부에, 프레임 화상의 1라인을 읽어들이는 시간, 및, 프레임 화상 전체를 읽어들이는 시간과 다음의 프레임 화상을 읽어들일 때까지의 시간이, 설정 정보나 촬상 환경에 관한 정보에 관련되어 기록되어 있는 경우에는, 카메라 정보 기록부로부터 일그러짐 계수 α를 직접 취득하는 것이 아니라, 카메라 정보 기록부에 기록되어 있는 정보에 근거하여 일그러짐 계수 α를 연산하더라도 좋다.

제 1 산출부(12)는, 상기와 같이 평행 이동만을 고려하여 제 1 행렬 D_i를 도출하고 있기 때문에, 산출된 제 1 행렬 D_i는 참값은 아니지만, 대략 올바른 값을 얻을 수 있다. 제 1 산출부(12)는, 산출된 제 1 행렬 D_i를 제 2 산출부(13), 보조 행렬 산출부(14) 및 묘화부(17)에 출력한다.

제 1 행렬 D_i가 산출되면, 처리 대상의 프레임 화상 frameⁱ를 롤링 셔터 일그러짐이 없는 계의 화상 RS_frameⁱ로 변환할 수 있다. 이것에 의해, 도 7에 나타내는 관계를 이용하여, 움직임 데이터 P 및 제 1 행렬 D_i를 이용하여 롤링 셔터 일그러짐이 저감된 계에 있어서의 움직임 데이터 N도 도출할 수 있다.

움직임 데이터 N을 산출하는 것에 의해, 롤링 셔터 일그러짐이 고려되고 있지 않은 NㆍS_{i -1}에 관해서만 하이 패스 필터를 적용할 수 있다. 그러나, NㆍS_{i -1}은 행렬이기 때문에, NㆍS_{i -1}을 이대로의 상태로 하이 패스 필터를 적용하면 처리가 복잡하게 될 우려가 있다. 이 때문에, 산출부(30)는, 상술한 바와 같이, NㆍS_{i -1}의 움직임 성분을, 사용자의 의도가 반영된 카메라(20)의 움직임과, 그 이외의 움직임 성분으로 분할하여 다룬다. 제 2 산출부(13)는, 사용자의 의도가 반영된 카메라(20)의 움직임을 포함하는 제 2 행렬을 산출한다. 보조 행렬 산출부(14)는, 보조 행렬을 산출한다. 제 2 산출부(13) 및 보조 행렬 산출부(14)는, 산출된 제 1 행렬 D_i를 이용하여, 롤링 셔터 일그러짐이 없는 계에 있어서의 연산을 실행 가능하게 구성되어 있다.

제 2 산출부(13)는, 사용자의 의도가 반영된 카메라(20)의 움직임은 평행 이동 성분 및 회전 성분의 적어도 한쪽이라고 추정한다. 또, 제 2 산출부(13)는, 평행 이동 성분 및 회전 성분과 명확하게 성분으로서 나누어 움직임을 산출하더라도 좋고, 평행 이동 성분 및 회전 성분을 복합시킨 움직임 성분(콤비네이션으로 한 성분)을 산출하더라도 좋다. 예컨대, 제 2 산출부(13)는, 촬상 방향으로 연장되는 축을 z축, 촬상 방향에 직교하는 방향으로 연장되는 축을 x축 및 y축으로 한 경우, 평행 이동 성분 및 x축 및 y축의 회전 성분을 조합한 성분을 산출하더라도 좋다. 또한, 촬상 신에 따라, 제 2 산출부(13)는, 확대 축소 성분도 고려하여 추정하더라도 좋다. 즉, 제 2 행렬은, 평행 이동 성분만을 포함하더라도 좋고, 회전 성분만을 포함하더라도 좋고, 평행 이동 성분 및 회전 성분만을 포함하더라도 좋고, 평행 이동 성분 및 회전 성분에 더하여 확대 축소 성분을 포함하더라도 좋다.

도 11은 평행 이동 성분 및 회전 성분을 설명하는 개요도이다. 카메라(20)의 움직임은 촬상 신에 의존하지만, 카메라워크의 대부분은 평행 이동 성분 및 회전 성분이다. 도 11은 출력 프레임 화상 out-frame의 좌표계 (x, y)와, 처리 대상의 프레임 화상 frame의 좌표계 (X, Y)의 관계를 나타낸다. 도 11에 있어서, 촬상 방향으로 연장되는 축이 z축, 촬상 방향에 직교하는 방향으로 연장되는 축이 x축 및 y축이 된다. 촬상 방향으로 연장되는 축을 z축, 촬상 방향에 직교하는 방향으로 연장되는 축을 x축 및 y축으로 한 경우, 평행 이동 성분은, x축, y축 및 z축에 평행한 방향으로 이동하는 성분이다. 회전 성분은, x축, y축 및 z축의 적어도 1개의 회전 성분이고, 요(yaw) 성분, 롤 성분 및 피치 성분의 적어도 1개이다.

제 2 산출부(13)는, 제 2 행렬을 산출하기 위해 사용자 움직임 행렬 A_c를 산출한다. 사용자 움직임 행렬 A_c는, 제 2 행렬을 산출하기 위해 이용되는 행렬로서, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함한다. 예컨대, 도 11에 나타내는 바와 같이, 제 2 산출부(13)는, 출력 프레임 화상 out-frame의 중심 좌표 (0, 0)과 제 2 프레임 화상인 프레임 화상 frame의 중심 (0, 0)을 대응시키는 사용자 움직임 행렬 A_c를 산출한다. 제 2 산출부(13)는, 움직임 데이터 P로부터 사용자 움직임 행렬 A_c를 산출할 수 있다. 구체적으로는, 제 2 산출부(13)는, 예컨대, 출력 프레임 화상 out-frame를 제 1 프레임 화상에 사영시키는 기지의 제 1 사영 행렬 P_dst ^{i -1}과 움직임 데이터 P를 이용하여, 프레임 화상 frame의 중심 좌표를 특정한다. 그리고, 제 2 산출부(13)는, 출력 프레임 화상 out-frame의 좌표 (x, y)를 평행 이동 및 회전시켜, 프레임 화상 frame의 중심 (X, Y)에 사영하는 사용자 움직임 행렬 A_c를 산출한다. 요 성분, 롤 성분 및 피치 성분에 대해서는, 예컨대, 중심 부근의 이동량과 초점 거리로부터 어느 정도 정확하게 추측할 수 있다. 여기서는, 움직임을 평행 이동 및 회전으로 한정하고 있기 때문에, 얻어진 사용자 움직임 행렬 A_c는 참값은 아니지만, 대략 올바른 값을 얻을 수 있다. 제 2 산출부(13)는, 산출된 사용자 움직임 행렬 A_c를 보조 행렬 산출부(14)에 출력한다.

제 2 산출부(13)는, 사용자 움직임 행렬 A_c를 보정하여 제 2 행렬을 산출하는 기능을 갖고 있다. 제 2 산출부(13)는, 사용자가 의도했을 것인 카메라(20)의 움직임에 관하여, 손떨림에 의한 고주파 성분을 없애는 기능을 갖고 있다. 제 2 산출부(13)는, 제 1 필터를 이용하여 카메라워크에 기인하는 주파수 성분을 제거한다. 제 1 필터는 예컨대 하이 패스 필터이다. 또한, 제 2 산출부(13)는, 예컨대 도 12에 나타내는 바와 같이, 잘라내기 영역 Kⁱ가 프레임 화상 frameⁱ의 외연의 테두리에 가까워질수록, 중심 위치로 되돌리는 용수철 모델을 적용하여, 카메라워크로의 추종을 실현시키더라도 좋다. 예컨대, 제 2 산출부(13)는, 외연과의 거리의 제곱에 비례하여 중심 위치로 되돌리도록 작용시키는 제 1 필터를 사용자 움직임 행렬 A_c에 적용하여, 제 2 행렬로 하더라도 좋다. 또, 제 2 산출부(13)는, x축, y축 및 z축의 각각에서의 용수철 계수(비례 계수)를 조정하더라도 좋다. 또한, 제 2 산출부(13)는, 프레임 화상 frameⁱ의 중심 부근에서는 마찰이 높아지도록 설정하더라도 좋다. 이와 같이 설정하는 것에 의해, 추종의 안정성을 향상시킬 수 있다.

보조 행렬 산출부(14)는, 사용자 움직임 행렬 A_c를 이용하여 NㆍS_i-1의 「나머지의 움직임 행렬 B_c」를 산출한다. 행렬 B_c에 포함되는 성분은, 예컨대 도 4에 나타낸 8 성분 중, 제 1 행렬 D_i 및 사용자 움직임 행렬 A_c로 표현되어 있지 않은 나머지의 성분이나, 제 1 행렬 D_i 및 사용자 움직임 행렬 A_c로 정확하게 표현되어 있지 않은 오차 성분(예컨대, 롤링 셔터 성분의 오차 성분이나 회전 성분의 오차 성분 등)을 포함할 수 있다. 즉, 나머지의 움직임 행렬 B_c는, 설정된 자유도 및 사용자 움직임 행렬 A_c에 따라 변동하게 된다. 예컨대 8 자유도이고 또한 사용자 움직임 행렬 A_c가 확대 축소 성분을 포함하는 경우에는, 나머지의 움직임 행렬 B_c는, 사각형을 사다리꼴로 변환하는 성분(도 4에 나타내는 (g), (h)) 및 오차 성분을 포함한다. 예컨대 8 자유도이고 또한 사용자 움직임 행렬 A_c가 확대 축소 성분을 포함하지 않는 경우에는, 나머지의 움직임 행렬 B_c는, 확대 축소 성분, 사각형을 사다리꼴로 변환하는 성분(도 4에 나타내는 (g), (h)) 및 오차 성분을 포함한다. 예컨대 6 자유도이고 또한 사용자 움직임 행렬 A_c가 확대 축소 성분을 포함하지 않는 경우에는, 나머지의 움직임 행렬 B_c는, 확대 축소 성분 및 오차 성분을 포함한다. 예컨대 6 자유도이고 또한 사용자 움직임 행렬 A_c가 확대 축소 성분을 포함하는 경우에는, 나머지의 움직임 행렬 B_c는, 오차 성분만을 포함한다.

보조 행렬 산출부(14)는, 롤링 셔터 일그러짐 성분이 저감된 계에 있어서의 제 1 사영 행렬 S_{i -1} 및 움직임 데이터 N을 이용하여 산출된 NㆍS_{i -1}과, 사용자 움직임 행렬 A_c를 이용하여, 나머지의 움직임 성분을 포함하는 움직임 행렬 B_c를 산출한다. 이하에서는, 사용자 움직임 행렬 A_c가 회전 성분(요 성분 y_i, 피치 성분 p_i 및 롤 성분 r_i)을 주로 포함하는 경우를 설명한다. 이 경우, 보조 행렬 산출부(14)는, 이하의 수식 (11) 또는 (12)를 이용하여, 나머지의 움직임 성분을 포함하는 움직임 행렬 B_c를 산출한다.

[수학식 14]

즉, 보조 행렬 산출부(14)는, NㆍS_{i -1}의 움직임 성분을, 요 성분 y_i, 피치 성분 p_i 및 롤 성분 r_i를 포함하는 사용자 움직임 행렬 A_c와, 그 이외의 움직임 성분 l_i를 포함하는 나머지의 움직임 행렬 B_c로 분할하여 다루고, 사용자 움직임 행렬 A_c를 별개로 산출하여 상기 수식 (11) 또는 (12)에 대입하는 것에 의해, 성분 l_i를 얻는다. 또, 이하에서는 보조 행렬 산출부(14)가 수식 (11)을 이용한 경우를 설명한다.

보조 행렬 산출부(14)는, 산출된 「나머지의 움직임 행렬 B_c」를 보정하여 보조 행렬을 산출하는 기능을 갖고 있다. 나머지의 움직임 행렬 B_c는, 움직임에 대하여 보조적인 성분을 포함하는 행렬이고, 오차 또는 무시된 성분을 포함할 수 있다. 이 때문에, 이상적으로는, 나머지의 움직임 행렬 B_c는 항등 사상하는 단위 행렬이 된다. 따라서, 나머지의 움직임 행렬 B_c를 어느 타이밍에 단위 행렬로 할지가 문제가 된다. 제 2 보정부(16)는, 오차가 점점 없어지도록, 즉, 갑자기 단위 행렬로 보정하는 것이 아니라, 나머지의 움직임 행렬 B_c가 점점 단위 행렬이 되도록 보정한다. 예컨대, 단위 행렬과 나머지의 움직임 행렬 B_c의 차분을 산출하고, 그 차분이 80%가 되도록 보정하더라도 좋다. 예컨대 보조 행렬 산출부(14)는, 하이 패스 필터를 이용하여 상기 처리를 실현하더라도 좋다. 이와 같이, 갑자기 단위 행렬로 보정하는 것을 회피하는 것에 의해, 출력 프레임 화상이 최종적으로 부자연스러운 움직임이 되는 것을 회피하는 것이 가능하게 된다.

상술한 제 2 산출부(13) 및 보조 행렬 산출부(14)의 처리를 정리하면, 이하와 같이 된다.

[수학식 15]

즉, 제 2 행렬은, 요 성분 y_i, 피치 성분 p_i 및 롤 성분 r_i를 포함하는 사용자 움직임 행렬 A_c에 하이 패스 필터를 적용한 행렬이고, 보조 행렬은, 나머지의 움직임 행렬 B_c에 하이 패스 필터를 적용한 행렬이다. 또, 요 성분 y_i, 피치 성분 p_i 및 롤 성분 r_i에 적용하는 하이 패스 필터만, 복잡한 1 변수 필터가 설계되더라도 좋다. 즉, 사용자의 의도가 반영된 카메라(20)의 움직임만, 정확하게 필터를 설계한다. 여기서, 하이 패스 필터는, 예컨대 전회 데이터 기록부(23)에 기억된 데이터를 이용하여 설계되더라도 좋다. 제 2 산출부(13)는, 예컨대, 제 2 행렬을 산출할 때마다, 산출된 제 2 행렬을 전회 데이터 기록부(23)에 출력하여 기록시킨다. 이것에 의해, 제 2 행렬을 도출하는 하이 패스 필터는, 예컨대 전회 데이터 기록부(23)에 기억된 과거의 제 2 행렬을 이용하여 설계된다. 또한, 보조 행렬 산출부(14)는, 나머지의 움직임 성분 l_i에 하이 패스 필터를 적용한다. 여기서, 하이 패스 필터는, 예컨대 전회 데이터 기록부(23)에 기억된 데이터를 이용하여 설계되더라도 좋다. 보조 행렬 산출부(14)는, 예컨대, 보조 행렬을 산출할 때마다, 산출된 보조 행렬을 전회 데이터 기록부(23)에 출력하여 기록시킨다. 이것에 의해, 보조 행렬을 도출하는 하이 패스 필터는, 예컨대 전회 데이터 기록부(23)에 기억된 과거의 보조 행렬을 이용하여 설계된다. 또, 상기와 같이, 나머지의 움직임 성분 l_i에 적용시키는 하이 패스 필터는, 항등 행렬에 접근하는 단순한 설계로 하더라도 좋다. 이와 같이, 정확하게 설계하는 필터와 어느 정도의 정확한 필터를 구별할 수 있으므로, 전체의 필터 설계가 용이하게 된다.

산출부(30)는, 제 2 행렬 및 보조 행렬을 이용하여, 이하와 같이, 롤링 셔터 일그러짐이 없는 계에 있어서의 사영 행렬 S_i를 도출한다.

[수학식 16]

그리고, 산출부(30)는, 제 1 행렬 D_i, 제 2 행렬 및 보조 행렬을 이용하여, 출력 프레임 화상 out-frameⁱ와 입력 프레임 화상 frameⁱ를 대응시키는 제 2 사영 행렬 P_dst ⁱ를 도출한다.

[수학식 17]

묘화부(17)는, 제 2 사영 행렬 P_dst ⁱ를 이용하여, 입력 프레임 화상 frameⁱ의 잘라내기 영역 Kⁱ를 산출하고, 출력 프레임 화상 out-frameⁱ로서 표시부(21)에 출력한다.

다음으로, 본 실시 형태와 관련되는 화상 처리 장치(1)의 동작에 대하여 설명한다. 도 13은 본 실시 형태와 관련되는 화상 처리 장치(1)의 동작을 나타내는 플로차트이다. 도 13에 나타내는 제어 처리는, 예컨대 휴대 단말(2)의 촬상 기능을 ON으로 한 타이밍에 실행되고, 소정의 주기로 반복하여 실행된다. 또, 설명 이해의 용이성을 고려하여, 처리 대상의 입력 프레임 화상은, 2번째 이후의 입력 프레임 화상인 것으로 한다.

도 13에 나타내는 바와 같이, 최초로 화상 처리 장치(1)가 화상 입력 처리를 실행한다(S10 : 입력 단계). S10의 처리에서는, 입력부(10)가, 카메라(20)로부터 입력 프레임 화상 frameⁱ를 입력한다. S10의 처리가 종료되면, 움직임 데이터 취득 처리로 이행한다(S12 : 움직임 취득 단계).

S12의 처리에서는, 움직임 취득부(11)가, 입력 프레임 화상 frameⁱ와 프레임 화상 frame^{i -1}의 사이의 움직임 데이터 P를 취득한다. S12의 처리가 종료되면, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i의 산출 처리로 이행한다(S14 : 제 1 산출 단계).

S14의 처리에서는, 제 1 산출부(12)가, S12의 처리에서 취득된 움직임 데이터에 근거하여 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i를 산출한다. S14의 처리가 종료되면, 움직임 데이터 N의 산출 처리로 이행한다(S16).

S16의 처리에서는, 산출부(30)가, S12의 처리에서 얻어진 움직임 데이터 P, S14의 처리에서 얻어진 제 1 행렬 D_i를 이용하여, 임시의 움직임 데이터 N을 산출한다. S16의 처리가 종료되면, 회전 성분 산출 처리로 이행한다(S18).

S18의 처리에서는, 제 2 산출부(13)가, 회전 성분(사용자 움직임 행렬 A_c)을 산출한다. 예컨대, 입력 프레임 화상 frameⁱ의 중심 위치의 이동량과 초점 거리로부터 어느 정도 정확하게 추측할 수 있다. 일례로서 요 방향의 산출을 설명한다. x축 방향의 이동량을 dmx로 하고, 초점 거리를 dn으로 한 경우, 요 방향의 성분은, 이하의 수식으로 간이하게 산출할 수 있다.

[수학식 18]

S18의 처리가 종료되면, 사용자 움직임 행렬 A_c로의 필터 처리로 이행한다(S20 : 제 2 산출 단계).

S20의 처리에서는, 제 2 산출부(13)가, S18의 처리에서 얻어진 사용자 움직임 행렬 A_c를 하이 패스 필터로 보정하여 제 2 행렬을 얻는다. 즉, 제 2 산출부(13)는, 전회 데이터 기록부(23)를 참조하여, 과거의 제 2 행렬을 취득하고, 과거의 제 2 행렬과 움직임 행렬 A_c를 이용하여, 제 2 행렬을 얻는다. S20의 처리가 종료되면, 나머지의 움직임 행렬 B_c로의 필터 처리로 이행한다(S22 : 보조 행렬 산출 단계).

S22의 처리에서는, 보조 행렬 산출부(14)가, 나머지의 움직임 행렬 B_c를 산출하고, 나머지의 움직임 행렬 B_c에 대하여 필터 처리를 행하고, 보조 행렬을 얻는다. 우선, 보조 행렬 산출부(14)가, NㆍS_{i -1}의 움직임 성분을, 요 성분 y_i, 피치 성분 p_i 및 롤 성분 r_i를 포함하는 사용자 움직임 행렬 A_c와, 그 이외의 움직임 성분 l_i를 포함하는 나머지의 움직임 행렬 B_c로 분할하여 다루고, 사용자 움직임 행렬 A_c를 별개로 산출하여 상기 수식 (11)에 대입하는 것에 의해, 성분 l_i를 나머지의 움직임 행렬 B_c로서 얻는다. 또한, 보조 행렬 산출부(14)는, 전회 데이터 기록부(23)를 참조하여, 과거의 보조 행렬을 취득하고, 과거의 보조 행렬과 움직임 행렬 A_c를 이용하여, 보조 행렬을 얻더라도 좋다.

S24의 처리에서는, 산출부(30)가, S20의 처리에서 얻어진 제 2 행렬, 및, S22의 처리에서 얻어진 보조 행렬을 이용하여, 롤링 셔터 일그러짐이 없는 계에 있어서의 사영 행렬 S_i를 산출한다. S24의 처리가 종료되면, 묘화 행렬(사영 행렬)의 산출 처리로 이행한다(S26).

S26의 처리에서는, 산출부(30)가, 예컨대 상기 수식 (4)로 나타내는 바와 같이, S24의 처리에서 얻어진 사영 행렬 S_i를 이용하여, 입력 화상계에 있어서의 제 2 사영 행렬 P_dst ⁱ를 산출한다. S26의 처리가 종료되면, 묘화 처리로 이행한다(S28 : 묘화 단계).

S28의 처리에서는, 묘화부(17)가, S26의 처리에서 얻어진 제 2 사영 행렬 P_dst ⁱ를 이용하여 입력 프레임 화상 frameⁱ의 잘라내기 영역 Kⁱ를 산출하고, 출력 프레임 화상 out-frameⁱ로서 표시부(21)에 출력한다. S28의 처리가 종료되면, 판정 처리로 이행한다(S30).

S30의 처리에서는, 화상 처리 장치(1)가, 화상의 입력이 종료되었는지 여부를 판정한다. 화상 처리 장치(1)는, 예컨대, 소정의 입력 횟수에 도달했는지 여부, 혹은, 전회 입력으로부터 소정의 시간 경과했는지 여부에 근거하여, 화상의 입력이 종료되었는지 여부를 판정한다. S30의 처리에 있어서, 화상의 입력이 종료되어 있지 않다고 판정한 경우에는, S10의 처리로 재차 이행한다. 한편, S30의 처리에 있어서, 화상의 입력이 종료되었다고 판정한 경우에는, 도 13에 나타내는 제어 처리를 종료한다. 도 13에 나타내는 제어 처리를 실행하는 것에 의해, 인간의 의도가 강하게 반영되는 평행 이동 성분 및 회전 성분과, 그 외의 성분 및 오차 성분을 서로 관련시키는 일 없이 독립하여 보정하는 것이 가능하게 된다. 또, 제 1 산출 단계, 제 2 산출 단계 및 보조 행렬 산출 단계가 행렬 연산 단계에 상당한다.

다음으로, 휴대 단말(컴퓨터)(2)을 상기 화상 처리 장치(1)로서 기능시키기 위한 화상 처리 프로그램을 설명한다.

화상 처리 프로그램은, 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비하고 있다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은, 입력 화상을 취득하도록 휴대 단말(2)을 동작시킨다. 연산 처리 모듈은, 움직임 취득 모듈, 산출 모듈(제 1 산출 모듈, 제 2 산출 모듈 및 보조 행렬 산출 모듈) 및 묘화 모듈을 구비하고 있다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시키는 것에 의해 실현되는 기능은, 상술한 화상 처리 장치(1)의 입력부(10), 움직임 취득부(11), 산출부(30)(제 1 산출부(12), 제 2 산출부(13) 및 보조 행렬 산출부(14)) 및 묘화부(17)의 기능과 각각 동일하다.

화상 처리 프로그램은, 예컨대, ROM 등의 기록 매체 또는 반도체 메모리에 의해 제공된다. 또한, 화상 처리 프로그램은, 데이터 신호로서 네트워크를 거쳐서 제공되더라도 좋다.

이상, 본 실시 형태와 관련되는 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 화상의 변형의 움직임을, 평행 이동 성분 또는 회전 성분의 적어도 한쪽과, 롤링 셔터 일그러짐 성분과, 그 외의 성분으로 나누어 다루고, 각각 별개로 산출한다. 제 1 산출부(12)에 의해, 움직임 데이터를 이용하여, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬 D_i가 어느 정도 정확하게 산출된다. 제 2 산출부(13)에 의해, 출력 프레임 화상 out-frame^{i -1}을 기준 프레임 화상 frame^{i -1}에 사영시키는 기지의 제 1 사영 행렬 P_dst ^{i -1}과 움직임 데이터 P를 이용하여, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 사용자 움직임 행렬 A_c가 어느 정도 정확하게 산출된다. 보조 행렬 산출부(14)에 의해, 제 1 행렬 D_i, 사용자 움직임 행렬 A_c 및 제 1 사영 행렬 P_dst ^{i -1}을 이용하여, 제 1 행렬 D_i 및 사용자 움직임 행렬 A_c에 포함되는 움직임 성분을 포함하지 않는 나머지의 움직임 행렬 B_c가 산출된다. 그리고, 사용자 움직임 행렬 A_c 및 나머지의 움직임 행렬 B_c가 보정되어, 제 2 행렬 및 보조 행렬이 산출된다. 이와 같이, 해당 화상 처리 장치(1)는, 움직임 데이터를 3개로 분해하고, 계산 과정에 있어서 별개로 산출할 수 있기 때문에, 움직임 성분에 따른 처리가 가능하게 된다. 예컨대, 제거해야 할 롤링 셔터 성분을 손떨림 제거 등을 행하는 보정 대상으로부터 제외하는 것이 가능하게 된다. 이것에 의해, 보정의 계산 비용이나 보정 필터의 설계를 용이하게 할 수 있다. 또한, 평행 이동 성분 또는 회전 성분과, 보조 행렬이 포함하는 성분을 각각 상이한 식으로 산출하고 있기 때문에, 인간의 의도가 강하게 반영되는 평행 이동 성분 또는 회전 성분과, 그 외의 나머지의 성분을 서로 관련시키는 일 없이 독립하여 보정하는 것이 가능하게 된다. 즉, 인간의 의도가 강하게 반영되는 움직임 성분과 그 이외의 움직임 성분을 상이한 필터로 보정할 수 있기 때문에, 카메라워크에 적절하게 추종하면서 사용자가 의도하지 않는 움직임에 의한 문제를 해소하는 것을 양립시키는 것이 가능하게 된다. 또한, 각 성분에 대한 보정은 독립하고 있기 때문에, 보정 필터를 용이하게 설계할 수 있다. 또한, 움직임 데이터의 형식이 변경되거나, 부정확한 데이터가 존재하거나 하는 경우에도, 움직임 데이터의 형식의 변경 부분이나 에러 부분을 보조 행렬에 포함하게 하는 것이 가능하기 때문에, 모든 움직임 데이터의 형식에 대응 가능하다. 또한, 제 2 산출부의 움직임의 산출 방법은 한정되지 않기 때문에, 예컨대, 정확하지 않지만 로버스트의 산출 방법을 제 2 산출부의 움직임의 산출 방법에 적용할 수 있다. 이 경우, 화상 처리 장치(1) 전체적으로 로버스트의 처리를 행할 수 있다. 또한, 완전한 전자 손떨림 보정을 실현할 수 있다.

또한, 본 실시 형태와 관련되는 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 나머지의 움직임 행렬 B_c의 값을 살리면서, 이상적인 값(즉 항등 사상)이 되도록 보정할 수 있다. 이 때문에, 사용자가 의도하지 않는 움직임에 의한 문제를 보다 자연스럽게 해소하는 것이 가능하게 된다.

또한, 본 실시 형태와 관련되는 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 롤링 셔터 일그러짐 성분이 평행 이동 성분에만 기인한다고 가정하는 것에 의해, 거의 정확한 롤링 셔터 일그러짐 성분을 간이하고 신속하게 추정할 수 있다.

또, 상술한 실시 형태는 본 발명과 관련되는 화상 처리 장치의 일례를 나타내는 것이다. 본 발명과 관련되는 화상 처리 장치는, 실시 형태와 관련되는 화상 처리 장치(1)에 한정되는 것이 아니고, 각 청구항에 기재한 요지를 변경하지 않는 범위에서, 실시 형태와 관련되는 화상 처리 장치를 변형하거나, 또는 다른 것에 적용한 것이더라도 좋다.

예컨대, 상술한 실시 형태에서는, 카메라(20)가 동영상을 촬상하는 예를 설명했지만, 카메라(20)는, 정지 화상을 연속 촬상하는 것이더라도 좋다. 입력부(10)가 입력하는 화상은, 다른 기기로부터 네트워크를 거쳐서 송신된 화상이더라도 좋다.

또한, 상술한 실시 형태에서는, 카메라(20)에 의해 촬상된 화상의 크기는 동일한 것으로 하여 설명했지만, 촬상된 화상의 크기는 촬상할 때마다 상이한 크기이더라도 좋다.

또한, 상술한 실시 형태에서는, 화상을 도 4에 나타내는 8 자유도로 변형하는 경우를 설명했지만, 8 자유도로 한정되는 것이 아니고, 예컨대 도 4 중의 (a)~(f)에 나타내는 6 자유도이더라도 좋다.

또한, 상술한 실시 형태에서는, 제 1 산출부(12)가 롤링 셔터 일그러짐 성분을 추정하는 일례, 제 2 산출부(13)가 평행 이동 성분 및 회전 성분을 추정하는 일례를 설명했지만, 상기 수법으로 한정되는 것이 아니고, 공지의 여러 가지의 방법을 채용할 수 있다. 또한, 제 1 산출부(12)가, 제 2 산출부(13)에 의해 얻어진 평행 이동 성분을 이용하여 롤링 셔터 일그러짐 성분을 추정하더라도 좋다.

또한, 상술한 실시 형태에서 설명한 플로차트의 순번은 적당하게 변경 가능하다. 예컨대, S18의 처리 또는 S18 및 S20의 일련의 처리는, S14 또는 S16의 처리와 병렬로 실행하더라도 좋다.

또한, 상술한 실시 형태에서는, 제 1 프레임 화상과 제 2 프레임 화상을 이용하여 제 2 프레임 화상과 출력 프레임 화상을 관련시키는 사영 행렬을 산출하는 경우를 설명했지만, 이것으로 한정되는 것은 아니다. 즉, 입력 프레임 화상으로 출력 프레임 화상을 축차적으로 생성할 필요는 없고, 입력 프레임 화상과 출력 프레임 화상의 참조처가 되는 화상이 시간적으로 어긋나 있더라도 좋다. 예컨대, 제 1 프레임 화상과 제 2 프레임 화상의 사이에 존재하는 제 3 프레임 화상을, 출력 프레임 화상을 생성하기 위한 처리 대상으로 하고, 제 3 프레임 화상과 출력 프레임 화상을 관련시키는 사영 행렬을 산출하더라도 좋다. 제 3 프레임 화상은, 상기 실시 형태에서 설명한 제 2 프레임 화상과 마찬가지로 처리되더라도 좋고, 제 1 프레임 화상뿐만이 아니라, 제 2 프레임 화상을 이용하여, 제 3 프레임 화상으로의 사영 행렬을 산출하더라도 좋다. 즉, 제 3 프레임 화상으로부터 보아 과거의 데이터인 제 1 프레임 화상과, 제 3 프레임 화상으로부터 보아 미래의 데이터인 제 2 프레임 화상을 이용하여, 제 3 프레임 화상의 사영 행렬을 산출하더라도 좋다.

또한, 상술한 실시 형태에서는, 예컨대 수식 (2)에 나타내는 바와 같이, 움직임 데이터 P와 제 1 사영 행렬 P_dst ^{i -1}에 하이 패스 필터를 작용시키는 예를 설명했지만, 하이 패스 필터의 작용처를 적당하게 변경하더라도 좋다. 예컨대, 수식 (2)를 이하와 같이 변경하더라도 좋다.

[수학식 19]

이 경우, 하이 패스 필터는 움직임 데이터 N에 작용하게 된다. 이 경우, 수식 (13)은, 이하와 같이 변경된다.

[수학식 20]

이와 같이, 움직임 데이터 N이 분할되는 형태라도 좋다. 또한, 하이 패스 필터는 잘라내기 위치에 따라, 하이 패스 필터의 계수를 변경하더라도 좋다.

1 : 화상 처리 장치 10 : 입력부
11 : 움직임 취득부 12 : 제 1 산출부
13 : 제 2 산출부 14 : 보조 행렬 산출부
17 : 묘화부 20 : 카메라
21 : 표시부 22 : 화상 기록부
30 : 산출부(행렬 연산부)

Claims (9)

1. 촬상 장치에 의해 촬상된 프레임 화상 내에 상기 프레임 화상보다 작은 크기의 영역을 설정하고, 상기 촬상 장치의 움직임에 따라 상기 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하는 화상 처리 장치로서,
   제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력하는 입력부와,
   상기 제 1 프레임 화상과 상기 제 2 프레임 화상의 사이의 움직임 데이터를 취득하는 움직임 취득부와,
   상기 출력 프레임 화상을 상기 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 상기 제 1 행렬 및 상기 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출하는 행렬 연산부와,
   상기 사영 행렬을 이용하여 상기 제 2 프레임 화상으로부터 상기 출력 프레임 화상을 생성하는 묘화부
   를 구비하고,
   상기 행렬 연산부는,
   상기 움직임 데이터에 포함되는 평행 이동 성분을 이용하여 상기 롤링 셔터 일그러짐 성분을 산출하여, 상기 사영 행렬의 제 1 행렬을 산출하는 제 1 산출부와,
   출력 프레임 화상을 상기 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 상기 움직임 데이터를 이용하여 산출된 행렬인 임시 제 2 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 제 2 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 제 2 행렬을 산출하는 제 2 산출부와,
   롤링 셔터 일그러짐이 저감된 계(係)에 있어서, 상기 출력 프레임 화상을 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 롤링 셔터 일그러짐이 저감된 계의 움직임 데이터를 이용하여 산출된 행렬인 임시 사영 행렬이, 상기 임시 제 2 행렬과, 나머지의 움직임을 나타내는 임시 보조 행렬로 표현되는 것으로 하고, 상기 임시 사영 행렬과 상기 임시 제 2 행렬을 이용하여 도출된 상기 임시 보조 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 보조 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 보조 행렬을 산출하는 보조 행렬 산출부
   를 갖는
   화상 처리 장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 보조 행렬은, 사각형을 사다리꼴로 변환하는 성분을 포함하는 화상 처리 장치.
   
4. 제 1 항 또는 제 3 항에 있어서,
   상기 보조 행렬은, 확대 축소 성분을 포함하는 화상 처리 장치.
   
5. 제 1 항 또는 제 3 항에 있어서,
   상기 제 2 행렬은, 확대 축소 성분을 포함하는 화상 처리 장치.
   
6. 제 1 항 또는 제 3 항에 있어서,
   상기 움직임 취득부는, 자이로 센서의 출력치를 취득하는 화상 처리 장치.
   
7. 촬상 장치에 의해 촬상된 프레임 화상 내에 상기 프레임 화상보다 작은 크기의 영역을 설정하고, 상기 촬상 장치의 움직임에 따라 상기 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하는 화상 처리 방법으로서,
   제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력하는 입력 단계와,
   상기 제 1 프레임 화상과 상기 제 2 프레임 화상의 사이의 움직임 데이터를 취득하는 움직임 취득 단계와,
   상기 출력 프레임 화상을 상기 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 상기 제 1 행렬 및 상기 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출하는 행렬 연산 단계와,
   상기 사영 행렬을 이용하여 상기 제 2 프레임 화상으로부터 상기 출력 프레임 화상을 생성하는 묘화 단계
   를 구비하고,
   상기 행렬 연산 단계는,
   상기 움직임 데이터에 포함되는 평행 이동 성분을 이용하여 상기 롤링 셔터 일그러짐 성분을 산출하여, 상기 사영 행렬의 제 1 행렬을 산출하는 제 1 산출 단계와,
   출력 프레임 화상을 상기 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 상기 움직임 데이터를 이용하여 산출된 행렬인 임시 제 2 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 제 2 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 제 2 행렬을 산출하는 제 2 산출 단계와,
   롤링 셔터 일그러짐이 저감된 계에 있어서, 상기 출력 프레임 화상을 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 롤링 셔터 일그러짐이 저감된 계의 움직임 데이터를 이용하여 산출된 행렬인 임시 사영 행렬이, 상기 임시 제 2 행렬과, 나머지의 움직임을 나타내는 임시 보조 행렬로 표현되는 것으로 하고, 상기 임시 사영 행렬과 상기 임시 제 2 행렬을 이용하여 도출된 상기 임시 보조 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 보조 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 보조 행렬을 산출하는 보조 행렬 산출 단계
   를 갖는
   화상 처리 방법.
   
8. 삭제
9. 촬상 장치에 의해 촬상된 프레임 화상 내에 상기 프레임 화상보다 작은 크기의 영역을 설정하고, 상기 촬상 장치의 움직임에 따라 상기 영역의 위치 또는 형상을 보정하여 출력 프레임 화상을 생성하도록 컴퓨터를 기능시키는 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
   상기 컴퓨터를,
   제 1 프레임 화상 및 제 2 프레임 화상을 순차적으로 입력하는 입력부,
   상기 제 1 프레임 화상과 상기 제 2 프레임 화상의 사이의 움직임 데이터를 취득하는 움직임 취득부,
   상기 출력 프레임 화상을 상기 제 2 프레임 화상에 사영시키는 사영 행렬을, 롤링 셔터 일그러짐 성분을 포함하는 제 1 행렬, 촬상 방향에 직교하는 방향으로의 평행 이동 성분 및 촬상 방향을 기준으로 한 회전 성분의 적어도 한쪽을 포함하는 제 2 행렬, 및, 상기 제 1 행렬 및 상기 제 2 행렬에 포함되지 않는 움직임 성분을 포함하는 보조 행렬로부터 산출하는 행렬 연산부, 및,
   상기 사영 행렬을 이용하여 상기 제 2 프레임 화상으로부터 상기 출력 프레임 화상을 생성하는 묘화부
   로서 기능시키고,
   상기 행렬 연산부는,
   상기 움직임 데이터에 포함되는 평행 이동 성분을 이용하여 상기 롤링 셔터 일그러짐 성분을 산출하여, 상기 사영 행렬의 제 1 행렬을 산출하는 제 1 산출부와,
   출력 프레임 화상을 상기 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 상기 움직임 데이터를 이용하여 산출된 행렬인 임시 제 2 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 제 2 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 제 2 행렬을 산출하는 제 2 산출부와,
   롤링 셔터 일그러짐이 저감된 계에 있어서, 상기 출력 프레임 화상을 제 1 프레임 화상에 사영시키는 기지의 사영 행렬과 롤링 셔터 일그러짐이 저감된 계의 움직임 데이터를 이용하여 산출된 행렬인 임시 사영 행렬이, 상기 임시 제 2 행렬과, 나머지의 움직임을 나타내는 임시 보조 행렬로 표현되는 것으로 하고, 상기 임시 사영 행렬과 상기 임시 제 2 행렬을 이용하여 도출된 상기 임시 보조 행렬에, 전회 이전의 처리에서 도출된 과거의 상기 보조 행렬로부터 도출된 필터를 적용하여, 상기 사영 행렬의 보조 행렬을 산출하는 보조 행렬 산출부
   를 갖는
   컴퓨터 판독 가능한 기록 매체.

Images