KR20100052563A

KR20100052563A - 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체

Info

Publication number: KR20100052563A
Application number: KR1020107008060A
Authority: KR
Inventors: 히데아키 기마타; 신야 시미즈; 가즈토 가미쿠라; 요시유키 야시마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2007-10-15
Filing date: 2008-10-09
Publication date: 2010-05-19
Also published as: CN101821769B; KR101134668B1; TW201246124A; CA2702165C; RU2010115022A; BRPI0818589A2; JP2011118908A; US8363985B2; TW200926062A; WO2009051065A1; RU2454721C2; CA2702165A1; EP2202683A4; EP2202683A1; US20100209016A1; JP4658223B2; JPWO2009051065A1; TWI387935B; CN101821769A

Abstract

화상 A와, 화상 A보다도 해상도가 높은 화상 B로부터 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 화상 C를 작성하고, 화상 C의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하며, 대응점이 있다고 추정된 화상 C 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정한다. 대응점 추정에서 대응점이 없다고 추정된 화상 C 중의 화소 위치의 화상 정보를 대응점이 있다고 추정되어 설정된 화상 정보로부터 작성하도록 해도 된다.

Description

화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체{Image generation method, device, its program and recording medium with program recorded therein}

본 발명은 복수의 화상으로부터 높은 해상도의 화상을 생성하는 기술에 관한 것이다.

본원은 2007년 10월 15일에 출원된 일본국 특원 2007-267927호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

도 11은 직선 배열의 다시점 촬상계, 도 12는 평면 배열의 다시점 촬상계, 도 13은 아크형상 배열의 다시점 촬상계, 도 14는 구면 배열의 다시점 촬상계의 카메라 배치예를 도시하는 도면이다.

하나의 신(scene)을 다른 방향에서 촬영하는 다시점 촬상계가 개발되어 있다. 다시점 촬상계에 있어서, 카메라 배치는, 도 11에 도시된 바와 같이 직선상에 1차원 배열이거나, 도 12에 도시된 바와 같이 평면상에 2차원 배열이거나, 도 13에 도시된 바와 같이 아크형상으로 배열한 것이나, 도 14에 도시된 바와 같이 구면형상으로 배열한 것 등 다양하다. 이러한 다시점 촬상계를 이용하면, 다면적인 영상 신을 아카이브하는(하나로 모으는) 것이 가능하게 된다.

또, 다시점으로 촬영된 카메라 영상으로부터 촬영되지 않은 가상 카메라 위치의 화상 정보를 생성하는 기술이 있다. 이를 화상 합성 기술이라고 부른다. 화상 합성에서는, 원래의 카메라 영상은 공간 중의 어느 방향에서 촬영한 화상 정보인지를 나타내는 카메라 파라미터를 알 수 있다고 한다. 화상 합성에는 여러 가지의 방법이 있다.

예를 들면, 깊이 정보를 추정하여 합성하는 방법이 있다. 우선 원래의 카메라 영상 간에 화상 정보의 대응점 탐색을 하여 시차 정보를 구하고, 시차 정보로부터 신의 깊이 정보를 추정한다. 그리고, 가상 카메라 위치의 깊이 정보를 추정하여, 대응하는 화상 정보를 원래의 카메라의 화상 정보로부터 작성한다(비특허문헌 1 참조).

또한, 깊이 정보의 추정까지 하지 않고, 원화상의 시차 정보를 이용하여 직접 가상 카메라 위치의 화상 정보를 작성하는 방법도 있다(비특허문헌 2 참조).

혹은, 복수의 카메라 영상으로부터 신에 존재하는 오브젝트의 3차원 모델 정보를 추정해 두고, 가상 카메라 위치에서의 해당 모델의 투영 화상을 생성하는 방법도 있다(비특허문헌 3 참조).

이러한 촬상계에서는 통상 해상도가 같은 카메라를 이용하지만, 해상도가 다른 카메라를 이용해도 된다. 해상도가 높은 카메라와 해상도가 낮은 카메라를 조합하여 이용함으로써, 얻어지는 화상 정보의 정보량을 저감하는 것이 가능하다. 또한, 카메라의 포커스 위치나 시야각을 바꿔도 된다. 이 경우에는, 촬영되는 화상 신호의 해상도가 같아도 실제로 촬영되어 있는 영역 부분의 해상도가 다르다.

해상도가 낮은 화상으로부터 해상도가 높은 화상을 얻는 방법으로서, 저해상도의 화상 중의 화상 신호에 업샘플링 필터를 적용하는 확대 방법과 초해상을 이용하는 방법을 들 수 있다.

확대 방법에서는, 주변 근방의 화상 신호에 대해 적당한 필터를 적용하여 화상 신호를 얻는다. 한편, 초해상 방법에서는, 일반적으로 연속하여 촬영된 복수의 동일한 해상도의 화상 정보를 이용한다(비특허문헌 4 참조). 우선, 목적의 화상으로서 촬영된 화상보다도 큰 해상도의 화상을 정의해 둔다. 즉, 생성하는 대상의 화소 위치를 정의해 둔다. 그리고, 복수의 촬영된 화상 간에 대응 관계를 추정하고, 촬영하여 얻어진 화상 신호를 목적의 화소 위치에 메워 간다. 이에 의해, 높은 해상도의 화상 정보를 얻는다.

비특허문헌 1: Keita Takahashi and Takeshi Naemura, "Layered Light-Field Rendering with Focus Measurement", EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530(2006.7). 비특허문헌 2: M.Droese, T.Fujii and M.Tanimoto, "Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation", Proc. of IWSSIP 2004, pp.247-250, Poznan, Poland, Sept.2004. 비특허문헌 3: 마츠야마 다카시, 다카이 다케시, Wu Xiaojun, 노부하라 쇼헤이:「3차원 비디오 영상의 촬영·편집·표시」, 일본 버츄얼 리얼리티 학회 논문지, Vol.7, No.4, pp.521-532, 2002.12. 비특허문헌 4: 다나카 마사유키, 오쿠토미 마사토시, 「재구성형 초해상 처리의 고속화 알고리즘과 그 정밀도 평가」, 전자정보통신학회 논문지 D-II vol.J88-D-II, no.11, pp.2200-2209, 2005.

본 발명은 해상도가 다른 다시점 영상을 취급한다는 발명자가 착안한 신규 기술에 대해, 저해상도의 화상이 잃어버린 고주파 성분의 정보를 복원하고, 고해상도의 화상에 비해 주관적인 품질이 낮은 저해상도로 촬영한 화상을 품질 좋게 고해상도화하는 방식을 제공하는 것을 목적으로 한다.

해상도가 다른 다시점 영상을 취급한다는 것은 종래 이루어지지 않았다. 즉, 본 발명의 과제는 해상도가 다른 다시점 영상을 취급한다는 새로운 기술적 착상에서 생긴 과제이다.

다시점 촬상계에서 해상도가 다른 카메라를 이용한 경우에는, 저해상도의 화상과 고해상도의 화상이 혼재하게 된다. 또한, 같은 해상도의 카메라로 촬영한 경우이어도, 예를 들면 일부의 카메라 영상의 해상도를 저감함으로써 정보량을 삭감할 수 있기 때문에, 다시점 화상의 압축에는 적합한 경우가 있다. 이 경우에서도, 저해상도의 화상과 고해상도의 화상이 혼재하게 된다.

이상과 같은 경우에, 저해상도의 화상 정보에서는 고주파 성분이 누락되어 있다. 이 때문에, 저해상도로 촬영된 카메라 위치의 화상 정보는 고해상도로 촬영된 카메라 위치의 화상 정보에 비해 주관 품질이 열화되는 문제가 있다.

본 발명은 상기 문제점의 해결을 도모하여, 저해상도의 화상이 잃어버린 고주파 성분의 정보를 복원하고, 고해상도의 화상에 비해 주관적인 품질이 낮은 저해상도로 촬영한 화상을 품질 좋게 고해상도화하는 기술을 제공한다.

본 발명의 개요에 대해서 설명한다. 예를 들면, 해상도가 다른 복수의 카메라로 동일 신을 촬영함으로써 취급하는 화상 신호의 총량을 줄일 수 있다. 따라서, 이 경우, 다시점 영상의 부호량을 대폭으로 내릴 수 있다. 그러나, 저해상도로 촬영한 카메라의 영상은 고해상도의 화상에 비해 주관적인 품질이 낮은 문제가 있다.

본 발명은, 이 저해상도로 촬영한 영상을 품질 좋게 고해상도화하는 방식으로 이 문제를 해결한다. 애당초 해상도가 다른 다시점 영상을 취급한다는 것은 종래 이루어지지 않았다. 본 발명의 과제는, 해상도가 다른 다시점 영상을 취급한다는 새로운 기술적 착상에서 생긴 과제이다.

본 발명은, 구체적으로 실시예로서 후술하는 바와 같이 해상도가 다른 다시점 영상뿐만 아니라, 하나의 카메라 입력 영상 중의 프레임 간에 해상도가 다른 영상 등에 대해서도 적용할 수 있다.

본 발명은, 기본적으로 저해상도의 화상이 잃어버린 고주파 성분의 정보를 복원하는 수단을 제공함으로써, 해상도가 다른 다시점 영상을 취급하는 경우의 취급하는 화상 신호의 총량의 삭감, 즉 다시점 영상의 부호량의 대폭적인 삭감을 가능하게 한다.

저해상도의 화상의 화소 수를 늘리는, 즉 해상도를 올리는 종래 방법으로서는, 전술한 바와 같이 업샘플링 필터를 이용하여 화상 신호를 확대하는 방법, 혹은 다른 화상의 화상 신호를 이용하여 고해상도의 화상을 만드는 초해상 기술을 사용하는 방법을 들 수 있다. 그 중에서 화상 신호를 확대하는 방법에서는, 잃어버린 고주파 성분의 정보는 얻을 수 없다. 한편, 초해상 방법은 고주파 성분의 정보를 얻을 수 있지만, 방식과 취급하고 있는 대상이 본 발명과는 다르다.

초해상 방법에서는, 우선 복수의 저해상도의 화상 정보가 있는 것이 전제가 되어 있다. 그리고, 목적의 고해상도의 화상의 화소 위치를 설정하고, 이 화소 위치에 저해상도의 화상 정보를 메워 간다. 따라서, 초해상은 원래 존재하지 않은 화상 그 자체를 합성하여 작성하는 기술이라고 할 수 있다.

이에 대해, 본 발명은 초해상과는 본질적으로 취급하는 과제가 다르고, 저해상도의 화상 정보가 원래부터 있는 고주파 성분을 복원하는 것을 요지로 한다. 이 때 다른 고해상도의 화상의 대응하는 화상 정보를 이용하여 작성하지만, 원래의 저해상도의 화상 정보는 대응점 탐색에만 이용하고, 저해상도의 화상을 확대한 화상에 대해 대응하는 고해상도의 화상의 화상 정보를 이용하여 메우는 기술적 수단을 이용하는 점에서 초해상의 발상과는 근본적으로 다르다.

상기 과제를 해결하기 위해, 본 발명은, 화상 A와, 화상 A보다도 해상도가 높은 화상 B로부터 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 화상 C를 작성하는 화상 확대 단계; 화상 C의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계; 대응점 추정 단계에서 대응점이 있다고 추정된 화상 C 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계;를 실행하는 방법을 제공한다.

이 화상 생성 방법에 따르면, 다른 화상에 포함되는 고주파 성분의 정보를 사용하여 원하는 저해상도의 화상에 대한 고해상도의 화상을 생성할 수 있다. 이 때 생성하는 화소 위치에 대응하는 화상 신호가 다른 화상에 없는 경우에는, 원래의 저해상도를 확대한 화상 정보를 이용함으로써 화상 정보의 누락을 막을 수 있다.

대응점의 추정에서는, 대응점 정보를 별도 입력으로서 부여하는 경우와 대응점을 화상 정보를 사용하여 탐색하는 경우를 들 수 있다. 대응점 정보를 별도 부여하는 경우에는, 신의 깊이 정보나 기하 정보를 미리 추정해 두고, 거기에서 화상 간의 대응점을 추정하도록 해도 된다.

대응점의 탐색에서는, 대응하는 화소 간(화상 C의 각 화소에 대해, 화상 B의 1 내지 복수의 화소 후보)에 차분의 절대값을 구하여, 그 값의 최소값이 미리 설정한 문턱값 이하인 경우에는 그 최소값이 되는 점을 대응점으로 추정하고, 문턱값보다도 큰 경우에는 대응점은 없다고 추정해도 된다.

이 경우의 문턱값을 저해상도의 화상 정보와 함께 파일화해 두는 것도 적합하다. 파일화된 저해상도의 화상 정보로부터 고해상도의 화상 정보를 생성할 때에, 파일에 포함되는 문턱값을 사용함으로써 생성할 때에 항상 같은 화상을 얻을 수 있음을 보장할 수 있다.

어떤 신을 복수의 방향에서 촬영하는 경우에서, 해상도가 다른 카메라를 이용하는 경우에, 저해상도의 카메라의 화상에 대해 다른 고해상도의 카메라의 화상을 이용하여 높은 해상도의 화상을 생성할 수 있다. 이 방법은 다시점 화상뿐만 아니라, 단안 동영상에도 적용할 수 있다. 즉, 동영상 중의 각 프레임의 해상도가 다른 경우에, 저해상도의 프레임의 화상에 대해 다른 고해상도의 프레임의 화상을 이용하여 높은 해상도의 화상을 생성할 수 있다.

상기 방법에 있어서, 대응점 추정 단계에서 대응점이 없다고 추정된 화상 C 중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계를 더 마련해도 된다.

이 경우, 생성하는 화소 위치에 대응하는 화상 신호가 다른 화상에 없는 경우에는, 주위에 있는 생성한 고해상도의 화상 신호로부터 보간하여 작성함으로써 화상 정보의 누락을 막을 수 있다.

또한, 본 발명은, 화상 A와, 화상 A보다도 해상도가 높은 화상 B로부터 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 화상 D를 작성하는 화상 확대 단계; 화상 D의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계; 대응점 추정 단계에서 대응점이 있다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계; 대응점 추정 단계에서 대응점이 없다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계; 화상 E를 축소하여 화상 A와 같은 해상도를 가지는 화상 F를 작성하는 화상 축소 단계; 화상 A의 각 화소 위치에서 화상 A의 화상 정보와, 같은 화소 위치의 화상 F의 화상 정보의 차분을 구하는 차분 작성 단계; 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 작은 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 큰 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계;를 실행하는 방법을 제공한다.

전형예로서, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, (i) 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보를 설정하거나, 또는 (ii) 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보와 화상 E의 화상 정보를 가중 평균한 값을 설정하도록 한다.

이 화상 생성 방법에 따르면, 원하는 저해상도의 화상과 다른 화상의 대응점의 추정에 오차가 있는 경우에, 전술한 발명과 같이 생성한 고해상도의 화상을 이용하는 대신에 원래의 저해상도를 고해상도로 확대한 화상 정보를 이용하거나, 생성한 고해상도의 화상 정보와 원래의 저해상도를 고해상도로 확대한 화상 정보의 가중치 부여한 평균값을 이용함으로써, 추정 오차에 따른 화질의 열화를 저감할 수 있다.

또한, 본 발명은 같은 해상도를 가지는 화상 A와 화상 B로부터 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상 A를 축소하여 해상도가 작은 화상 G를 작성하는 기준 화상 축소 단계; 화상 G를 확대하여 화상 A와 같은 해상도를 가지는 화상 D를 작성하는 화상 확대 단계; 화상 D의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계; 대응점 추정 단계에서 대응점이 있다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계; 대응점 추정 단계에서 대응점이 없다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계; 화상 E를 축소하여 화상 G와 같은 해상도를 가지는 화상 F를 작성하는 화상 축소 단계; 화상 G의 각 화소 위치에서 화상 G의 화상 정보와, 같은 화소 위치의 화상 F의 화상 정보의 차분을 구하는 차분 작성 단계;를 실행하고, 또 미리 설정한 범위에서 문턱값을 설정하는 문턱값 설정 단계; 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계; 화상 선택 단계에서 얻어지는 화상 C와 화상 A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계 단계;를 문턱값을 바꾸면서 실행하며, 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정 단계를 실행하는 방법을 제공한다.

이 화상 생성 방법에 따르면, 화상을 저해상도화하여 고해상도화하는 경우에서 전술한 방법으로 고해상도의 화상을 생성할 때에, 대응점의 추정 오차에 의한 열화의 크기를 검출하고, 열화가 가장 작아지도록 생성한 높은 해상도의 화상을 선택하는 문턱값을 결정할 수 있다. 원래의 높은 해상도의 화상 정보도 존재하기 때문에, 열화의 크기를 검출할 수 있다.

이 문턱값 파라미터는 다음과 같이 이용할 수 있다. 우선, 이 문턱값을 추정해 두고, 문턱값 파라미터로서 저해상도의 화상 정보에 부수시켜 둔다. 예를 들면, 저해상도의 화상과 다른 화상과 함께 이 문턱값 파라미터도 파일화해 둔다. 이 파일에는 저해상도화하기 전의 화상 정보는 포함시키지 않는다. 따라서, 원래의 화상보다도 저해상도의 화상 정보를 파일화하기 때문에, 파일 크기를 작게 할 수 있다. 이 파일을 재생할 때는, 저해상도의 화상과 다른 화상으로부터 상기 문턱값 파라미터를 이용하여 고해상도 화상을 생성할 수 있다. 이때, 주관 품질의 열화를 최소화한 고해상도의 화상을 생성할 수 있다.

또한, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에, 상기 (ii)의 수법을 이용하는 경우에는 낮은 해상도의 화상을 확대한 화상을 생성한 화상의 신호로 이용하는 것이 아니라, 높은 해상도의 화상과 가중 평균한 값을 이용하므로, 저해상도의 화상을 확대하는 것에 따른 화상의 흐림을 저감할 수 있다.

본 발명은 또한, 상기 각 방법에 의해 화상을 생성하는 화상 생성 장치도 제공한다.

본 발명에 따르면, 저해상도로 촬영된 카메라 위치의 화상 정보에 대해 다른 고해상도로 촬영된 카메라 위치의 화상 정보를 이용하여 높은 해상도의 화상 정보를 생성할 수 있다. 이에 의해 주관 품질의 열화를 저감할 수 있다.

도 1은 본 발명의 제1 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 2는 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 3은 본 발명의 제2 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 4는 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 5는 본 발명의 제3 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 6은 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 7은 동 실시예의 변형예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 8은 본 발명의 제4 실시예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 9는 동 실시예의 화상 생성 장치의 동작을 도시하는 흐름도이다.
도 10은 동 실시예의 변형예인 화상 생성 장치의 구성을 도시하는 도면이다.
도 11은 직선 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 12는 평면 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 13은 아크형상 배열의 다시점 촬상계의 예를 도시하는 도면이다.
도 14는 구면 배열의 다시점 촬상계의 예를 도시하는 도면이다.

도면을 이용하여 본 발명의 화상 생성 장치의 실시예를 설명한다.

[제1 실시예]

제1 실시예로서, 다른 카메라로 촬영된 저해상도의 화상 A와 고해상도의 화상 B로부터 화상 A에 대응하는 고해상도(화상 B의 고해상에 대응)의 화상 C를 생성하는 경우의 예를 나타낸다. 여기서 카메라로 촬영되는 신호는 전부 YUV신호(휘도 Y, 색차 U, V)에 의해 색신호가 설정되어 있는 것으로 하고, 실시예에서는 Y신호만을 취급하는 것으로 한다.

도 1에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는, 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 화상 C를 작성하는 화상 확대부(101); 화상 C의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(102); 대응점 추정부(102)에서 대응점이 있다고 추정된 화상 C 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(103)를 구비한다.

여기서, 화상 확대부(101)에서는 분수 위치의 화상 정보를 쌍일차 보간에 의해 구하여 확대 화상을 작성하는 것으로 한다.

또한, 대응점 추정부(102)에서는, 카메라 파라미터 또는 기지의 매칭 기술을 이용하여 화상 C의 각 화소에 대해 (화상 B 중의) 대응하는 화소의 후보를 (1 내지 복수) 가정하고, 대응하는 화소 간에 차분의 절대값을 구하여 그들 절대값의 최소값이 미리 설정한 문턱값 이하인 경우에는, 그 최소값이 되는 점을 대응점으로 추정하고, 문턱값보다도 큰 경우에는, 화상 C의 해당 화소에 대해서는 대응점은 없다고 추정하는 것으로 한다.

이상을 전제로 하여 도 1에 도시된 화상 생성 장치는 다음과 같이 동작한다. 도 2에 그 흐름도를 도시한다.

우선, 화상 확대부(101)는 화상 A를 상술한 바와 같이 확대하여 화상 C를 작성한다(단계 S12). 그리고, 대응점 추정부(102)는 화상 C와 화상 B의 대응점의 유무와 위치를 상술한 바와 같은 방법으로 추정한다(단계 S11). 대응 화상 설정부(103)는, 대응점 추정부(102)에서 대응점이 있다고 추정된 화상 C의 각 화소에 대해 화상 B의 대응점의 화상 정보를 설정한다(단계 S12). 이상에 의해, 화상 C를 생성한다.

또, 화상 확대부(101)에서는 탭 수가 긴 필터를 적용해도 되고, 2차원 필터를 적용해도 되며, 1차원 필터를 가로세로의 순으로 적용해도 된다. 또한, 엣지 정보를 저장하는 필터를 적용해도 된다. 어떤 경우에서도, 화상 B을 이용하지 않고 확대하는 대상인 화상 A의 화상 정보를 사용하여 해상도를 확대하는 처리를 한다.

또한, 대응점 추정부(102)는 화소 간에 차분의 절대값을 구하였지만, 추정하는 대상의 화소를 중심으로 하는 복수 화소로 이루어지는 블록을 사용하여 추정해도 된다. 예를 들면, 화상 C의 각 화소에 대해 화상 B 중의 대응하는 화소의 후보를 (1 내지 복수) 가정하고, 각 후보를 중심으로 하는 복수 화소로 이루어지는 블록 내의 화소와의 차분의 절대값의 합계를 구하여 그 합계값이 최소가 되는 후보의 위치를 대응점으로서 추정해도 된다.

이상의 예에서는, 다른 카메라로 촬영된 저해상도의 화상 A와 고해상도의 화상 B로부터 고해상도의 화상 C를 생성하였지만, 같은 카메라로 촬영한 어떤 시각의 저해상도의 화상 A와 다른 시각의 고해상도의 화상 B로부터 고해상도의 화상 C를 생성해도 된다.

또한, 상술한 바와 같이, 화상 A와 화상 B로부터 화상 A에 대응하는 화상 C를 작성하였지만, 화상 B는 복수 개 있어도 된다. 화상 B가 2개(B1과 B2) 있는 경우의 예를 다음에 나타낸다. 구성은 같지만, 화상 생성 장치는 다음과 같이 동작한다.

우선, 화상 확대부(101)는 화상 A를 상술한 바와 같이 확대하여 화상 C를 작성한다. 그리고, 대응점 추정부(102)는 화상 C와 화상 B1의 대응점의 유무와 위치를 상기와 같은 방법으로 추정한다. 대응 화상 설정부(103)는, 대응점 추정부(102)에서 대응점이 있다고 추정된 각 위치에서의 화상 B1의 화상 정보를 화상 C에 설정한다.

다음에, 대응점 추정부(102)는, 화상 C와 화상 B2의 대응점의 유무와 위치를 동일하게 추정한다. 대응 화상 설정부(103)는, 대응점 추정부(102)에서 대응점이 있다고 추정된 각 위치에서의 화상 B2의 화상 정보를 화상 C에 설정한다.

이상에 의해, 화상 C를 생성한다.

화상 B1과 화상 B2의 쌍방에 대응점이 있다고 추정된 경우, 미리 정한 어느 쪽의 화상 정보를 우선시켜 화상 C에 설정해도 되고, 대응하는 화상 C의 화소와의 차분이 작은 쪽의 화상 B1 또는 화상 B2의 화상 정보를 화상 C에 설정해도 되며, 화상 B1과 화상 B2의 화상 정보의 평균값을 화상 C에 설정해도 된다.

화상 B가 3개 이상 있는 경우에도 마찬가지로 고해상도의 화상 C를 생성할 수 있다.

이하에 설명하는 다른 실시예에 대해서도 복수의 화상 B이 있는 경우에 마찬가지로 실시할 수 있다.

[제2 실시예]

다음에, 제2 실시예로서, 제1 실시예와 마찬가지로, 다른 카메라로 촬영된 저해상도의 화상 A와 고해상도의 화상 B로부터 화상 A에 대응하는 고해상도의 화상 C를 생성하는 경우의 예를 나타낸다. 단, 대응점이 없는 경우에는, 주위의 고해상도의 화상 정보로부터 보간하여 생성하는 경우의 예를 나타낸다.

도 3에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는, 화상 A의 해상도를 확대하여 화상 C를 작성하는 화상 확대부(201); 화상 C의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(202); 대응점 추정부(202)에서 대응점이 있다고 추정된 화상 C 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(203); 대응점 추정부(202)에서 대응점이 없다고 추정된 화상 C 중의 화소 위치의 화상 정보를 대응 화상 설정부(203)에서 설정된 화상 정보로부터 작성하는 화상 보간부(204);를 구비한다.

화상 보간부(204)에서는, 화상 C 중의 화소에서 대응점이 없다고 추정된 화소의 화상 정보를 대응점이 있다고 하여 화상 B로부터 화상 정보가 설정된 화소 위치의 해당 화상 정보로부터 작성한다. 이때, 화상 B로부터 화상 정보가 설정된 화소 위치로부터의 거리에 따라 선형 보간을 한다.

이상을 전제로 하여 화상 생성 장치는 다음과 같이 동작한다. 도 4에 그 흐름도를 도시한다.

우선, 화상 확대부(201)는 화상 A의 해상도를 확대하여 화상 C를 작성한다(단계 S20). 그리고, 대응점 추정부(202)는 화상 C와 화상 B의 대응점의 유무와 위치를 추정한다(단계 S21). 대응 화상 설정부(203)는, 대응점 추정부(202)에서 대응점이 있다고 추정된 화상 C의 각 화소에 대해 화상 B의 대응점의 화상 정보를 설정한다(단계 S22). 화상 보간부(204)는, 대응점 추정부(202)에서 대응점이 없다고 추정된 화소 위치에 대해 대응 화상 설정부(203)에서 이미 설정된 화상 정보로부터 보간하여 화상 정보를 작성한다(단계 S23). 이상에 의해, 화상 C를 생성한다.

화상 보간부(204)에서는 선형 보간에 의해 화상 정보를 생성하였지만, 비선형 처리를 이용하여 화상 정보를 생성해도 된다. 모두 대응 화상 설정부(203)에서 설정된 화상 정보를 이용하여 생성한다.

[제3 실시예]

다음에, 제3 실시예로서, 제1 실시예와 같이 다른 카메라로 촬영된 저해상도의 화상 A와 고해상도의 화상 B로부터 화상 A에 대응하는 고해상도(화상 B의 해상도에 대응)의 화상 C를 생성하는 경우의 예를 나타낸다. 단, 생성한 화상 정보의 축소 화상과 원래의 화상 A의 차이가 작은 화소 위치에만 생성한 화상 정보를 적용하는 경우의 예를 나타낸다.

이하의 설명에서, 화상 D는 화상 A를 처음으로 확대한(해상도를 올린) 화상, 화상 E는 화상 D와 같은 크기(같은 화소 구성)의 일시적인 처리용 화상이다.

또한, 화상 F는 화상 E를 축소하여 작성한 해상도가 작은 화상(화상 A와 같은 해상도를 가지는 일시적인 처리용 화상)이다.

도 5에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는, 화상 A를 확대하여(해상도를 올려) 화상 D를 작성하는 화상 확대부(301); 화상 D의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(302); 대응점 추정부(302)에서 대응점이 있다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(303); 대응점 추정부(302)에서 대응점이 없다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치의 화상 정보를 대응 화상 설정부(303)에서 설정된 화상 정보로부터 작성하는 화상 보간부(304); 화상 E를 축소하여(해상도를 내려) 화상 F를 작성하는 화상 축소부(305); 화상 A의 각 화소 위치에서 화상 A의 화상 정보와, 같은 화소 위치의 화상 F의 화상 정보의 차분을 구하는 차분 작성부(306); 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 작은 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 큰 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보를 설정하는 화상 선택부(307);를 구비한다.

화상 축소부(305)에서는 화소를 축소하여 축소 화상(즉, 화상 F)을 작성한다.

차분 작성부(306)에서는 각 화소 위치에서 차분을 작성하는 것으로 한다.

화상 선택부(307)에서는 미리 차분의 문턱값을 설정해 두고, 차분 작성부(306)에서 얻어지는 차분과의 비교를 하는 것으로 한다.

이상을 전제로 하여 화상 생성 장치는 다음과 같이 동작한다. 도 6에 그 흐름도를 도시한다.

우선, 화상 확대부(301)는 화상 A를 상술한 바와 같이 확대하여 화상 D를 작성한다(단계 S30). 그리고, 대응점 추정부(302)는 화상 D와 화상 B의 대응점의 유무와 위치를 추정한다(단계 S31).

대응 화상 설정부(303)는, 대응점 추정부(302)에서 대응점이 있다고 추정된 위치에서의 화상 B의 화상 정보를 화상 E에 설정한다(단계 S32). 화상 보간부(304)는, 대응점 추정부(302)에서 대응점이 없다고 추정된 위치에 대해 대응 화상 설정부(303)에서 이미 설정된 화상 정보로부터 보간하여 화상 E의 화상 정보를 작성한다(단계 S33).

화상 축소부(305)는 화상 E를 축소하여 화상 F를 작성한다(단계 S34). 차분 작성부(306)는 화상 A와 화상 F의 차분을 작성한다(단계 S35).

화상 선택부(307)에서는, 차분 작성부(306)에서 얻어지는 차분에 따라 각 화소 위치에 대해 화상 E 또는 화상 D를 선택하여 화상 C를 생성한다(단계 S36).

또, 화상 축소부(305)에서는 다른 수법을 사용하여 축소 화상을 작성해도 된다.

또한, 차분 작성부(306)에서는 대상 화소를 중심으로 하는 블록 간의 차분을 작성해도 된다(제1 실시예 참조).

이 실시예에서는, 화상 선택부(307)는, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 작은 경우에는 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보를 설정하였다. 이 화상 선택부(307) 대신에, 화상 생성부를 설치해도 된다.

도 7에 장치 개요를 도시한다. 도 7에 도시된 화상 생성부(308)에서는, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 작은 경우에는 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보와 화상 E의 화상 정보를 가중 평균한 값을 설정한다.

이에 따르면, 차분이 큰 경우에 확대한(고해상도의) 화상 D를 이용하는 것이 아니라, 확대한 화상 D와 다른 화상으로부터 생성한 화상 E의 가중치 부여한 평균을 이용할 수 있다. 본 수법은 확대한 화상 D의 고주파 성분이 적은 경우에 적합하다.

[제4 실시예]

다음에, 제4 실시예로서, 다른 카메라로 촬영된 같은 해상도의 화상 A와 화상 B가 있고, 화상 A의 축소 화상과 화상 B로부터 화상 A에 가까운 화상 C를 생성하는 경우의 예를 나타낸다. 여기서는, 생성한 화상 정보의 축소 화상과 원래의 화상 A의 축소 화상의 차이가 작은 화소 위치에만 생성한 화상 정보를 적용한다. 이 실시예에서는, 각 화소 위치에서의 2화상 간의 차분에 대한 문턱값도 추정하는 것이 특징이다.

도 8에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는,

화상 A를 축소하여 해상도가 작은 화상 G를 작성하는 기준 화상 축소부(412)와, 화상 G를 확대하여 화상(A, B)과 같은 해상도의 화상 D를 작성하는 화상 확대부(401);

화상 D의 각 화소 위치와 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부(402);

대응점 추정부(402)에서 대응점이 있다고 추정된 화상 D 중의 화소 위치와 같은 화상 E(같은 크기의 일시적인 처리 화상) 중의 화소 위치에 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(403);

대응점 추정부(402)에서 대응점이 없다고 추정된 화상 D 중의 화소 위치와 같은 화상 E 중의 화소 위치의 화상 정보를 대응 화상 설정부(403)에서 설정된 화상 정보로부터 작성하는 화상 보간부(404);

화상 E을 축소하여 (화상 G과 같은 해상도의) 화상 F를 작성하는 화상 축소부(405);

화상 G의 각 화소 위치에서 화상 G의 화상 정보와, 같은 화소 위치의 화상 F의 화상 정보의 차분을 구하는 차분 작성부(406);

미리 설정한 범위에서 복수의 문턱값을 설정하는 문턱값 설정부(410);

문턱값 설정부(410)에서 설정한 각 문턱값에 대해, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보를 설정하는 화상 선택부(407);

화상 선택부(407)에서 얻어지는 화상 C와 화상 A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계부(409);

생성 차분 합계부(409)에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정부(411);를 구비한다.

문턱값 설정부(410)에서는, 문턱값으로서 10부터 50까지 10씩 문턱값을 증가시키는 것으로 한다.

이상을 전제로 하여 화상 생성 장치는 다음과 같이 동작한다. 도 9에 그 흐름도를 도시한다.

우선, 기준 화상 축소부(412)는, 화상 A를 축소하여 해상도가 낮은 화상 G를 작성한다(단계 S40).

화상 확대부(401)는, 화상 G를 확대하여 해상도가 높은(화상(A, B)과 같은 해상도를 가지는) 화상 D를 작성한다(단계 S41).

그리고, 대응점 추정부(402)는, 화상 D와 화상 B의 대응점의 유무와 위치를 추정한다(단계 S42).

대응 화상 설정부(403)는, 대응점 추정부(402)에서 대응점이 있다고 추정된 위치에서의 화상 B의 화상 정보를 화상 E에 설정한다(단계 S43).

화상 보간부(404)는, 대응점 추정부(402)에서 대응점이 없다고 추정된 위치에 대해, 대응 화상 설정부(403)에서 이미 설정된 화상 정보로부터 보간하여 화상 E의 화상 정보를 작성한다(단계 S44).

화상 축소부(405)는, 화상 E를 축소하여 해상도가 낮은 화상 F를 작성한다(단계 S45).

차분 작성부(406)는 화상 G와 화상 F의 차분을 작성한다(단계 S46).

이어서, 문턱값 설정부(410)에서는 문턱값을 10으로 설정한다(단계 S47).

화상 선택부(407)에서는, 차분 작성부(406)에서 얻어지는 차분과 문턱값을 비교하고, 각 화소 위치마다 화상 E 또는 화상 D를 선택하여 화상 C를 생성한다(단계 S48).

생성 차분 합계부(409)는, 화상 C와 화상 A의 차분의 합계를 구한다(단계 S49).

이상의 문턱값 설정부(410)와 화상 선택부(407)와 생성 차분 합계부(409)의 처리를 문턱값을 10씩 늘리면서 50까지 반복하여 실행한다(단계 S50, S51).

이어서, 문턱값 결정부(411)는 생성 차분 합계부(409)에서 얻어지는 값이 최소가 되는 경우의 문턱값을 결정한다(단계 S52).

상기 구성에 있어서, 화상 선택부(407) 대신에 화상 생성부를 이용해도 된다. 도 10에 장치 개요를 도시한다.

도 10에 도시된 화상 생성부(408)에서는, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 작은 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 E의 화상 정보를 설정하고, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 큰 경우에는, 대응하는 화상 C의 각 화소 위치에 화상 D의 화상 정보와 화상 E의 화상 정보를 가중 평균한 값을 설정한다.

이상의 실시예에서는, 복수의 카메라 입력 영상에 대한 처리를 설명하였다. 이 방법은 이러한 다시점 화상뿐만 아니라, 단안 동영상에도 적용할 수 있다.

즉, 동영상 중의 각 프레임의 해상도가 다른 경우에, 저해상도의 프레임의 화상에 대해 다른 고해상도의 프레임의 화상을 이용하여 높은 해상도의 화상을 생성할 수 있다.

예를 들면, 저해상도의 프레임을 화상 A로 하고, 다른 고해상도의 프레임을 화상 B로 하여 고해상도의 화상 C를 생성하는 처리에 적용할 수 있다.

또한, 본 실시예에서는 취급하는 신호를 Y신호로 하였지만, 이는 RGB 등 다른 색신호이어도 된다.

또한, YUV신호가 있고 Y신호의 해상도가 같지만, UV신호의 해상도가 다른 경우에도 적용할 수 있다. 이 경우에는, 화상 확대부에서 UV신호만을 확대하고, Y신호는 그대로 복사한다. 그리고, 대응점 추정부에서의 대응점 추정 처리를 U 또는 V신호를 확대한 신호가 아니라, Y신호로 행해도 된다.

이상의 화상 생성 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하며, 네트워크를 통해 제공하는 것도 가능하다.

본 발명에 따르면, 저해상도로 촬영된 카메라 위치의 화상 정보에 대해, 다른 고해상도로 촬영된 카메라 위치의 화상 정보를 이용하여 높은 해상도의 화상 정보를 생성할 수 있다. 이에 의해, 주관 품질의 열화를 저감할 수 있다.

101, 201, 301, 401 화상 확대부
102, 202, 302, 402 대응점 추정부
103, 203, 303, 403 대응 화상 설정부
204, 304, 404 화상 보간부
305, 405 화상 축소부
306, 406 차분 작성부
307, 407 화상 선택부
308, 408 화상 생성부
409 생성 차분 합계부
410 문턱값 설정부
411 문턱값 결정부
412 기준 화상 축소부

Claims

제1 화상 A와, 화상 A보다도 해상도가 높은 제2 화상 B로부터 제3 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서,
제1 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 제3 화상 C를 작성하는 화상 확대 단계;
제3 화상 C의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계;
상기 대응점 추정 단계에서 대응점이 있다고 추정된 제3 화상 C 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계;를 실행하는 것을 특징으로 하는 화상 생성 방법.
제1항에 있어서,
상기 대응점 추정 단계에서 대응점이 없다고 추정된 제3 화상 C 중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계를 더 실행하는 것을 특징으로 하는 화상 생성 방법.
제1 화상 A와, 화상 A보다도 해상도가 높은 제2 화상 B로부터 제3 화상 C의 화상 정보를 생성하는 화상 생성 방법으로서,
제1 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 제4 화상 D를 작성하는 화상 확대 단계;
제4 화상 D의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계;
상기 대응점 추정 단계에서 대응점이 있다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계;
상기 대응점 추정 단계에서 대응점이 없다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계;
제5 화상 E을 축소하여 화상 A와 같은 해상도를 가지는 제6 화상 F을 작성하는 화상 축소 단계;
제1 화상 A의 각 화소 위치에서 제1 화상 A의 화상 정보와, 같은 화소 위치의 제6 화상 F의 화상 정보의 차분을 구하는 차분 작성 단계;
상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제5 화상 E의 화상 정보를 설정하고, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계;를 실행하는 것을 특징으로 하는 화상 생성 방법.
제3항에 있어서,
상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 방법.
제3항에 있어서,
상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보와 제5 화상 E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 방법.
같은 해상도를 가지는 제1 화상 A와 제2 화상 B로부터 제3 화상 C의 화상 정보를 제4 내지 제7 화상(D~G)을 이용하여 생성하는 화상 생성 방법으로서,
제1 화상 A를 축소하여 해상도가 작은 제7 화상 G를 작성하는 기준 화상 축소 단계;
제7 화상 G를 확대하여 화상 A와 같은 해상도를 가지는 제4 화상 D를 작성하는 화상 확대 단계;
제4 화상 D의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정 단계;
상기 대응점 추정 단계에서 대응점이 있다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계;
상기 대응점 추정 단계에서 대응점이 없다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계;
제5 화상 E을 축소하여 화상 G과 같은 해상도를 가지는 제6 화상 F를 작성하는 화상 축소 단계;
제7 화상 G의 각 화소 위치에서 제7 화상 G의 화상 정보와, 같은 화소 위치의 제6 화상 F의 화상 정보의 차분을 구하는 차분 작성 단계;
문턱값을 설정하는 문턱값 설정 단계;
상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제5 화상 E의 화상 정보를 설정하고, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계;
상기 화상 선택 단계에서 얻어지는 제3 화상 C와 제1 화상 A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계 단계;
상기 문턱값 설정 단계에서 설정한 문턱값을 미리 정해진 범위 내에서 바꾸면서 상기 화상 선택 단계와 상기 생성 차분 합계 단계를 반복한 결과로부터, 상기 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정 단계;를 실행하는 것을 특징으로 하는 화상 생성 방법.
제6항에 있어서,
상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 방법.
제6항에 있어서,
상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보와 제5 화상 E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 방법.
제1 화상 A, 화상 A보다도 해상도가 높은 제2 화상 B로부터 제3 화상 C의 화상 정보를 생성하는 화상 생성 장치로서,
제1 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 제3 화상 C를 작성하는 화상 확대부;
제3 화상 C의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부;
상기 대응점 추정부에서 대응점이 있다고 추정된 제3 화상 C 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부;를 구비하는 것을 특징으로 하는 화상 생성 장치.
제9항에 있어서,
상기 대응점 추정부에서 대응점이 없다고 추정된 제3 화상 C 중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부를 더 구비하는 것을 특징으로 하는 화상 생성 장치.
제1 화상 A와, 화상 A보다도 해상도가 높은 제2 화상 B로부터 제3 화상 C의 화상 정보를 생성하는 화상 생성 장치로서,
제1 화상 A를 확대하여 화상 B와 같은 해상도를 가지는 제4 화상 D를 작성하는 화상 확대부;
제4 화상 D의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부;
상기 대응점 추정부에서 대응점이 있다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부;
상기 대응점 추정부에서 대응점이 없다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부;
제5 화상 E을 축소하여 화상 A와 같은 해상도를 가지는 제6 화상 F을 작성하는 화상 축소부;
제1 화상 A의 각 화소 위치에서 제1 화상 A의 화상 정보와, 같은 화소 위치의 제6 화상 F의 화상 정보의 차분을 구하는 차분 작성부;
상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제5 화상 E의 화상 정보를 설정하고, 상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정부;를 구비하는 것을 특징으로 하는 화상 생성 장치.
제11항에 있어서,
상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 장치.
제11항에 있어서,
상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보와 제5 화상 E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 장치.
같은 해상도를 가지는 제1 화상 A와 제2 화상 B로부터 제3 화상 C의 화상 정보를 제4 내지 제7 화상(D~G)을 이용하여 생성하는 화상 생성 장치로서,
제1 화상 A를 축소하여 해상도가 작은 제7 화상 G를 작성하는 기준 화상 축소부;
제7 화상 G를 확대하여 화상 A와 같은 해상도를 가지는 제4 화상 D를 작성하는 화상 확대부;
제4 화상 D의 각 화소 위치와 제2 화상 B 중의 대응점의 유무 및 대응점 위치를 추정하는 대응점 추정부;
상기 대응점 추정부에서 대응점이 있다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치에 제2 화상 B 중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부;
상기 대응점 추정부에서 대응점이 없다고 추정된 제4 화상 D 중의 화소 위치와 같은 제5 화상 E 중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부;
제5 화상 E을 축소하여 화상 G과 같은 해상도를 가지는 제6 화상 F을 작성하는 화상 축소부;
제7 화상 G의 각 화소 위치에서 제7 화상 G의 화상 정보와, 같은 화소 위치의 제6 화상 F의 화상 정보의 차분을 구하는 차분 작성부;
문턱값을 설정하는 문턱값 설정부;
상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제5 화상 E의 화상 정보를 설정하고, 상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정부;
상기 화상 선택부에서 얻어지는 제3 화상 C와 제1 화상 A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계부;
상기 문턱값 설정부에서 설정한 문턱값을 미리 정해진 범위 내에서 바꾸면서 상기 화상 선택부와 상기 생성 차분 합계부에 의한 처리를 반복한 결과로부터, 상기 생성 차분 합계부에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정부;를 구비하는 것을 특징으로 하는 화상 생성 장치.
제14항에 있어서,
상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 장치.
제14항에 있어서,
상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는, 대응하는 제3 화상 C의 각 화소 위치에 제4 화상 D의 화상 정보와 제5 화상 E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 장치.
제1항, 제3항 및 제6항 중 어느 한 항에 기재된 화상 생성 방법을 컴퓨터에 실행시키기 위한 화상 생성 프로그램.
제1항, 제3항 및 제6항 중 어느 한 항에 기재된 화상 생성 방법을 컴퓨터에 실행시키기 위한 화상 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.