KR20150070258A

KR20150070258A - 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법, 프로그램 및 장치

Info

Publication number: KR20150070258A
Application number: KR1020157012240A
Authority: KR
Inventors: 테라니 메히르다드 파나히플; 아키오 이시카와; 마사히로 카와키타; 나오미 이노우에; 토시아키 후지이
Original assignee: 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코
Priority date: 2012-10-12
Filing date: 2013-10-09
Publication date: 2015-06-24
Also published as: JP2014082541A; US20150256819A1; WO2014057989A1; EP2908527A4; EP2908527A1; CN104737539A

Abstract

제1의 참조 화상 및 제2의 참조 화상에 의거하여, 대상 화상에 대응하는 합성 화상을 생성하는 스텝과, 대상 화상 및 합성 화상의 적어도 일방에 의거하여, 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 스텝과, 사이드 정보로부터 구배강도 화상을 생성하는 스텝과, 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 스텝과, 대상 화상, 제1의 참조 화상, 및 제2의 참조 화상을 표현하는 정보로서, 제1의 참조 화상, 제2의 참조 화상, 및 잉여 화상을 출력하는 스텝을 포함하는 방법이 제공된다.

Description

서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법, 프로그램 및 장치{DEVICE, PROGRAM, AND METHOD FOR REDUCING DATA SIZE OF MULTIPLE IMAGES CONTAINING SIMILAR INFORMATION}

본 발명은, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법, 프로그램 및 장치에 관한 것이다.

현재, 초임장감(超臨場感) 커뮤니케이션을 실현하는 각종의 기술에 관해 연구가 진행되고 있다. 이와 같은 기술의 하나로서, 다시점(多視點) 화상을 이용하여 고정밀한 입체 영상을 제공하는 3차원 영상 기술이 있다. 이와 같은 입체 영상은, 매우 다수의 시점(視點)(예를 들면, 200시점)으로부터 피사체를 촬상하여 얻어지는 시차(視差) 화상에 의해 실현된다.

이와 같은 입체 영상을 실용화하기 위한 하나의 과제로서, 다시점 화상의 데이터 사이즈의 저감화가 있다. 다시점 화상은, 다수의 시점에서 피사체를 각각 관찰한 정보를 포함하기 때문에, 데이터 사이즈가 커진다. 이와 같은 과제에 대해, 각종의 제안이 이루어져 있다.

예를 들면, 비특허 문헌 1은, 다시점 화상의 적응형 분산 코딩이라고 칭하여지는 방법을 개시한다. 보다 구체적으로는, 이 방법은, 모듈로(modulo) 연산기에 의거한 것이고, 각각의 시점에서 얻어진 화상을, 서로의 정보를 교환하는 일 없이 인코드함과 함께, 디코드할 때에는, 시점 사이에서의 정보 교환을 허용한다. 환언하면, 비특허 문헌 1에 개시된 방법은, 주로, 분산 소스 코딩이나 분산 영상 프레임 코딩 등에의 응용을 상정하여 있기 때문에, 인코드 처리에서, 시점 사이의 연휴는 고려되어 있지 않다. 이것은, 비특허 문헌 1에 개시된 방법은, 주로, 처리 능력이 그다지 높지 않은, 저소비 전력의 장치(예를 들면, 휴대 단말 등)를 대상으로 하고 있기 때문이다.

또한, 비특허 문헌 1에 개시된 방법에서는, 인코드 처리 및 디코드 처리에서, 사이드 정보(side information)를 이용한다. 이 사이드 정보로서는, 인코더(부호화기)에서는 오리지널 화상이 사용되고, 디코더에서는, 축소 화상 또는 가상 화상(virtual image), 또는 그들의 조합이 이용된다.

비특허 문헌 1 : Mehrdad Panahpour Tehrani, Toshiaki Fujⅱ, Masayuki Tanimoto, "The Adaptive Distributed Source Coding of Multi-View Images in Camera Sensor Networks," IEICE Trans, E88-A(10), 2835-2843, (2005) 비특허 문헌 2 : R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen and C. Rother, "A comparative study of energy minimization methods for Markov random fields with smoothness-based priors," IEEE Trans. Pattern Anal. Machine Intell., 30(6), 1068-1080, (2008) 비특허 문헌 3 : Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimization via graph cuts," IEEE Trans. Pattern Anal. Machine Intell., 23, 1222-1239, (Nov. 2001) 비특허 문헌 4 : Y. Mori, N. Fukushima, T. Yendo, T. Fujⅱ and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Process. : Image Commun., 24, 65-72, (Jan. 2009) 비특허 문헌 5 : L. Yang, T. Yendo, M. Panahpour Tehrani, T. Fujⅱ and M. Tanimoto, "Probabilistic reliability based view synthesis for FTV," in Proc. ICIP, 1785-1788, (Sep. 2010) 비특허 문헌 6 : N. Fukushima, T. Fujⅱ, Y. Ishibashi, T. Yendo, and M. Tanimoto, "Real-time free viewpoint image rendering by using fast multi-pass dynamic programming," in Proc. 3DTV-CON, (June 2010) 비특허 문헌 7 : A. Smolic, P. Kauff, S. Knorr, A. Hornung, M. Kunter, M. Muller, and M. Lang, "Three-Dimensional Video Postproduction and Processing," in Proc. IEEE, 99(4), 607-625, (Apr. 2011)

본원 발명자들은, 서로 유사한 화상 사이에서 정보 교환함으로써, 디코드 후의 화상 품질을 향상할 수 있음과 함께, 응용 범위를 보다 넓힐 수 있다는 새로운 지견을 얻었다. 그러나, 종래 제안되어 있는 방법에서는, 디코더 및 인코더에 있어서, 서로 유사한 화상 사이에서 정보를 교환한다는 것은 행하여지고 있지 않고, 그 결과, 어떻게 처리를 최적화하면 좋은지 라는 것도 전혀 알려져 있지 않다.

본 발명은, 상기한 바와 같은 문제를 해결하기 위해 이루어진 것으로, 그 목적은, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 보다 효율적으로 저감하는 방법, 프로그램 및 장치를 제공하는 것이다.

본 발명의 어느 국면에 따르면, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법이 제공된다. 본 방법은, 복수 화상을 취득함과 함께, 복수 화상 중 대상 화상 및 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과, 제1의 참조 화상 및 제2의 참조 화상에 의거하여, 대상 화상에 대응하는 합성 화상을 생성하는 스텝과, 대상 화상 및 합성 화상의 적어도 일방에 의거하여, 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 스텝과, 사이드 정보로부터 구배강도(句配强度, gradient) 화상을 생성하는 스텝과, 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법(法, modulus)으로 하는 모듈로(modulo) 연산을 행함으로써, 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여(剩餘)로 이루어지는 잉여 화상을 생성하는 스텝과, 대상 화상, 제1의 참조 화상, 및 제2의 참조 화상을 표현하는 정보로서, 제1의 참조 화상, 제2의 참조 화상, 및 잉여 화상을 출력하는 스텝을 포함한다.

바람직하게는, 사이드 정보를 생성하는 스텝은, 대상 화상의 축소 화상과 합성 화상을 조합하여 사이드 정보를 생성하는 스텝을 포함한다.

더욱 바람직하게는, 사이드 정보를 생성하는 스텝은, 축소 화상을 업샘플링하여 얻어진 화상과 합성 화상과의 차(差)에 의거하여 오차 분포를 결정하는 스텝과, 오차가 상대적으로 높은 영역에 축소 화상을 업샘플링하여 얻어진 화상의 정보를 할당함과 함께, 오차가 상대적으로 낮은 영역에 합성 화상의 정보를 할당하는 스텝을 포함한다.

또는 더욱 바람직하게는, 사이드 정보를 생성하는 스텝은, 축소 화상을 업샘플링하여 얻어진 화상과 합성 화상과의 차에 의거하여 오차 분포를 결정하는 스텝과, 오차가 상대적으로 높은 영역에 축소 화상을 업샘플링하여 얻어진 화상의 정보를 보다 많이 할당함과 함께, 오차가 상대적으로 낮은 영역에 합성 화상의 정보를 보다 많이 할당하는 스텝을 포함한다.

바람직하게는, 구배강도 화상을 생성하는 스텝은, 사이드 정보 내의 텍스처 변화가 보다 큰 영역이 보다 큰 휘도를 갖는 화상을 생성하는 스텝을 포함한다.

바람직하게는, 구배강도 화상을 생성하는 스텝은, 사이드 정보를 구성하는 컬러 컴포넌트별(別)로 구배강도 화상을 생성하는 스텝을 포함한다.

더욱 바람직하게는, 구배강도 화상을 생성하는 스텝은, 사이드 정보를 구성하는 각 컬러 컴포넌트의 그레이 스케일 화상에 대해, 에지 검출 처리, 스무딩 처리, 일련의 몰포로지컬(morphological) 처리, 및, 스무딩 처리를 차례로 적용하는 스텝을 포함한다.

바람직하게는, 잉여 화상을 생성하는 스텝은, 미리 정하여진 대응 관계를 참조하여, 구배강도에 대응하는 계수를 선택하는 스텝을 포함한다.

바람직하게는, 잉여 화상을 생성하는 스텝은, 구배강도 화상의 각 화소 위치에 관해, 컬러 컴포넌트별로 계수를 결정한다.

바람직하게는, 선택하는 스텝은, 복수 화상이 다시점 화상인 경우에, 베이스 라인 거리에 의거하여, 대상 화상 및 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과, 복수 화상이 영상 프레임열(列)인 경우에, 프레임 레이트에 의거하여, 대상 화상 및 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝을 포함한다.

바람직하게는, 본 방법은, 출력된 제1의 참조 화상, 제2의 참조 화상, 및 잉여 화상을 취득하는 스텝과, 제1의 참조 화상 및 제2의 참조 화상에 의거하여, 대상 화상에 대응하는 합성 화상을 생성하는 스텝과, 취득된 정보로부터 사이드 정보를 생성함과 함께, 사이드 정보로부터 구배강도 화상을 생성하는 스텝과, 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 결정한 계수를 법으로 하고, 잉여 화상의 대응하는 화소 위치의 값을 잉여로 하는 역(逆)모듈로 연산에 의해 산출되는 후보치 중, 사이드 정보의 대응하는 화소 위치의 값에 대한 차가 가장 작은 것을, 대상 화상의 대응하는 화소 위치의 휘도치로서 결정하는 스텝을 또한 포함한다.

본 발명의 다른 국면에 따르면, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 프로그램이 제공된다. 본 프로그램은, 컴퓨터에, 복수 화상을 취득함과 함께, 복수 화상 중 대상 화상 및 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과, 제1의 참조 화상 및 제2의 참조 화상에 의거하여, 대상 화상에 대응하는 합성 화상을 생성하는 스텝과, 대상 화상 및 합성 화상의 적어도 일방에 의거하여, 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 스텝과, 사이드 정보로부터 구배강도 화상을 생성하는 스텝과, 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 스텝과, 대상 화상, 제1의 참조 화상, 및 제2의 참조 화상을 표현하는 정보로서, 제1의 참조 화상, 제2의 참조 화상, 및 잉여 화상을 출력하는 스텝을 실행시킨다.

본 발명의 또 다른 국면에 따르면, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 장치가 제공된다. 본 장치는, 복수 화상을 취득함과 함께, 복수 화상 중 대상 화상 및 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 수단과, 제1의 참조 화상 및 제2의 참조 화상에 의거하여, 대상 화상에 대응하는 합성 화상을 생성하는 수단과, 대상 화상 및 합성 화상의 적어도 일방에 의거하여, 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 수단과, 사이드 정보로부터 구배강도 화상을 생성하는 수단과, 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 수단과, 대상 화상, 제1의 참조 화상, 및 제2의 참조 화상을 표현하는 정보로서, 제1의 참조 화상, 제2의 참조 화상, 및 잉여 화상을 출력하는 수단을 포함한다.

본 발명에 의하면, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 보다 효율적으로 저감할 수 있다.

도 1은 본 실시의 형태에 관한 데이터 사이즈 저감 방법이 응용되는 입체 영상 재생 시스템(1)을 도시하는 도면.
도 2는 본 실시의 형태에 관한 서로 유사한 정보를 포함하는 복수 화상(다시점 화상)의 한 예를 도시하는 모식도.
도 3은 본 실시의 형태에 관한 서로 유사한 정보를 포함하는 복수 화상(영상 프레임열)의 한 예를 도시하는 모식도.
도 4는 도 1에 도시하는 인코더로서 기능하는 정보 처리 장치의 하드웨어 구성을 도시하는 모식도.
도 5는 도 1에 도시하는 디코더로서 기능하는 정보 처리 장치의 하드웨어 구성을 도시하는 모식도.
도 6은 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 전체 처리 순서를 도시하는 플로 차트.
도 7은 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리에 관한 기능 구성을 도시하는 블록도.
도 8은 본 실시의 형태에 관한 합성 화상의 생성 처리의 결과를 도시하는 도면.
도 9는 본 실시의 형태에 관한 데이터 사이즈 저감 방법에서 사이드 정보 선택에 이용되는 오차 분포의 산출 처리를 설명하기 위한 모식도.
도 10은 본 실시의 형태에 관한 잉여 화상의 생성에 이용되는 Lookup 테이블의 한 예를 도시하는 도면.
도 11은 본 실시의 형태에 관한 잉여 화상의 생성 처리의 결과를 도시하는 도면.
도 12는 본 실시의 형태에 관한 잉여 화상의 생성 처리의 결과를 도시하는 도면.
도 13은 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리에 입력된 대상 화상의 한 예를 도시하는 도면.
도 14는 도 13에 도시하는 대상 화상으로부터 생성된 잉여 화상의 한 예를 도시하는 도면.
도 15는 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 디코드 처리에 관한 기능 구성을 도시하는 블록도.
도 16은 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 디코드 처리의 개요를 설명하기 위한 모식도.

본 발명의 실시의 형태에 관해, 도면을 참조하면서 상세히 설명한다. 또한, 도면 중의 동일 또는 상당 부분에 관해서는, 동일 부호를 붙이고 그 설명은 반복하지 않는다.

[A. 응용례]

우선, 본 실시의 형태에 관한 데이터 사이즈 저감 방법에 관해 이해를 용이하게 하기 위해, 전형적인 응용례에 관해 설명한다. 또한, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 응용 범위는, 이하에 나타내는 구성으로 한정되는 것이 아니고, 임의의 구성에 응용할 수 있다.

도 1은, 본 실시의 형태에 관한 데이터 사이즈 저감 방법이 응용되는 입체 영상 재생 시스템(1)을 도시하는 도면이다. 도 1을 참조하면, 입체 영상 재생 시스템(1)에서는, 복수의 카메라(10)(카메라 어레이)를 이용하여 서로 다른 복수의 시점에서 피사체(2)를 촬상함으로써 다시점 화상을 생성하고, 이 생성한 다시점 화상을 이용하여 입체표시 장치(300)에서 입체 영상을 표시한다.

보다 구체적으로는, 입체 영상 재생 시스템(1)은, 복수의 카메라(10)로부터 각각의 화상(시차 화상)이 입력되는 인코더로서 기능하는 정보 처리 장치(100)와, 정보 처리 장치(100)로부터 전송되는 데이터를 디코드하여 다시점 화상을 입체표시 장치(300)에 출력하는 디코더로서 기능하는 정보 처리 장치(200)를 포함한다. 정보 처리 장치(100)는, 인코드 처리와 함께, 후술하는 바와 같은 데이터 압축 처리를 행함으로써, 보존 및/또는 전송에 적합한 데이터를 생성한다. 한 예로서, 정보 처리 장치(100)는, 접속된 무선 전송 장치(102)를 이용하여, 생성한 다시점 화상의 정보를 포함하는 데이터(압축 데이터)를 무선 전송한다. 이 무선 전송된 데이터는, 무선 기지국(400) 등을 통하여, 정보 처리 장치(200)에 접속된 무선 전송 장치(202)에서 수신된다.

입체표시 장치(300)는, 주로 확산 필름(306) 및 집광 렌즈(308)로 구성되는 표시 스크린과, 표시 스크린에 다시점 화상을 투영하는 프로젝터 어레이(304)와, 프로젝터 어레이(304)의 각 프로젝터에 의한 투영 화상을 제어하기 위한 컨트롤러(302)를 포함한다. 컨트롤러(302)는, 정보 처리 장치(200)로부터 출력되는 다시점 화상에 포함되는 각 시차 화상을 대응하는 프로젝터에 투영시킨다.

이와 같은 장치 구성에 의해, 표시 스크린의 앞에 있는 관찰자에게는 피사체(2)의 재생 입체상이 제공된다. 이때, 표시 스크린과 관찰자와의 상대적인 위치에 응하여, 관찰자의 시야에 들어가는 시차 화상이 변화하도록 되어 있고, 관찰자는, 마치 피사체(2)의 앞에 있는 것 같은 체험을 얻을 수 있다.

이와 같은 입체 영상 재생 시스템(1)은, 일반 용도로서는, 영화관이나 어뮤즈먼트(amusement) 시설 등에서 이용되고, 산업용도로서는, 원격 의료 시스템, 공업 디자인 설계 시스템, 퍼블릭 뷰잉(public viewing) 등의 전자 광고 시스템으로서 이용되는 것이 기대되고 있다.

[B. 개요]

도 1에 도시하는 바와 같은 카메라 어레이로 피사체(2)를 촬상함으로써 생성되는 다시점 화상이나 동화 등을 생각하면, 그것을 구성하는 화상 사이는 용장(冗長)한 정보를 포함할 수 있다. 본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 이와 같은 용장한 정보를 고려하여, 그것을 배제한 데이터를 생성한다. 즉, 본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하려고 하는 것이다.

본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 상술한 바와 같은 다시점 데이터 표현(multi-view data representation)에 응용할 수 있음과 함께, 분산 소스 코딩(distributed source coding)에도 응용할 수 있다. 또는, 본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 영상 프레임 표현(video frames representation)에 응용할 수 있음과 함께, 분산 영상 프레임 코딩(distributed video frames coding)에도 응용할 수 있다. 또한, 본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 그 단체(單體)로도 이용되고, 데이터 전송 전의 전처리의 일부로서 이용되는 일도 있다.

도 1에 도시하는 바와 같은 카메라 어레이로 촬상된 다시점 화상을 상정하면, 그 중 몇 개의 화상에 관해서는 원래인 채로 유지됨과 함께, 다른 몇 개의 화상은 후술하는 잉여 화상으로 변환된다. 촬상된 모든 화상을 이용하는 경우에는, 원래인 채로 유지되는 화상에 관한 거리 화상이 취득(추정)된다.

원래인 채로 유지되는 화상 및 거리 화상을 이용하여, 잉여 화상으로 변환되는 화상의 위치에서의 가상적인 시야(視野)가 합성(추정)된다. 이 거리 화상은, 디코드 처리(변환된 화상을 역변환하는 처리/본래의 화상 형식으로 되돌리는 처리)에서도 이용 가능하다. 원래인 채로 유지되는 화상에 관한 거리 화상은, 역변환 처리에서, 그 원래인 채로 유지되는 화상을 이용하여 재구성되어도 좋다.

본 실시의 형태에서는, 잉여 화상의 생성에 있어서, 변환의 대상이 되는 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보가 이용된다. 입력되는 화상이 다시점 화상인 경우에는, 합성된 가상 화상(가상적인 시야)이 사이드 정보로서 이용된다. 또는, 원래인 채로 유지되는 화상 및 거리 화상을 이용하여 가상 화상을 합성하고, 이 합성한 가상 화상을 사이드 정보로서 이용하여도 좋다.

또한, 잉여 화상으로의 변환 전에 있어서, 잉여 화상으로 변환되는 것으로 되어 있는 대상의 화상 그 자체를 사이드 정보로서 이용하여도 좋다. 이 경우에는, 디코드 처리에서 대상의 화상을 그대로 이용할 수가 없기 때문에, 합성한 가상 화상 및/또는 대상의 화상을 축소한 화상을 사이드 정보로서 이용하게 된다.

한편, 입력되는 화상이 영상 프레임열인 경우에는, 프레임끼리를 내삽 또는 외삽한 프레임을 사이드 정보로서 이용할 수 있다.

사이드 정보로부터 잉여 화상을 생성할 때에는, 구배강도 화상(gradient image)이 생성된다. 각각의 구배강도의 값은 정수치(整數値)로 되어 있고, 이 정수치를 이용하여, 모듈로(modulo) 연산 또는 역모듈로(inverse modulo) 연산이 실행된다.

도 2 및 도 3은, 본 실시의 형태에 관한 서로 유사한 정보를 포함하는 복수 화상의 한 예를 도시하는 모식도이다. 도 2(a)를 참조하면, 예를 들면, 도 1에 도시하는 바와 같이 서로 근접 배치된 복수의 카메라(카메라 어레이)를 이용하여 피사체를 촬상함으로써, 대응하는 카메라 위치에 응한 시차를 갖는 시차 화상군이 생성된다. 이들의 시차 화상군 중, 어느 대상 화상(170)에 주목하면, 그 시야는, 근접한 카메라 위치에 있는 카메라를 이용하여 촬상된 다른 화상(이하 「참조 화상」이라고도 칭한다.)의 시야와 적어도 부분적으로는 중복되어 있는 경우가 많고, 이와 같은 시야의 중복에 의해, 대상 화상(170) 및 참조 화상(172, 182)의 사이에서는 용장한 정보가 존재한다. 역으로 말하면, 이와 같은 상황하에서는, 참조 화상(172, 182)이 갖는 정보와 어떠한 부가 정보로부터, 대상 화상(170)에 포함되는 정보를 재구성할 수 있다.

본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 대상 화상(170)의 정보를 근접하는 참조 화상(172, 182)의 정보로부터 재구성하는 잉여 화상(194)을 생성하고, 대상 화상(170)에 대신하여 이 잉여 화상(194)을 출력한다. 기본적으로, 잉여 화상(194)은, 대상 화상(170)이 갖는 정보 중, 참조 화상(172, 182)이 포함하는 정보에서는 부족한 정보를 보간하는 것이고, 대상 화상(170)을 그대로 출력하는 경우에 비교하여 용장성을 배제할 수 있다. 그 때문에, 대상 화상(170) 및 참조 화상(172, 182)을 그대로 출력하는 경우에 비교하여, 데이터 사이즈를 저감할 수 있다.

후술하는 바와 같이 대상 화상(170) 및 참조 화상(172, 182)은, 서로 유사한 정보를 포함하는 한, 임의의 간격으로 선택할 수 있고, 예를 들면, 도 2(b)에 도시하는 바와 같이, 동일한 참조 화상(172 및 182)에 대해, 대상 화상(170-1, 170-2, 170-3)의 각각에 관해 잉여 화상(194-1, 194-2, 194-3)을 생성하여도 좋다. 즉, 한 쌍의 참조 화상에 관해, 1 또는 복수의 대상 화상을 잉여 화상으로 변환할 수 있다.

또한, 도 3(a)에 도시하는 바와 같이, 영상 프레임열에 관해서도 같은 로직을 적용할 수 있다. 즉, 통상의 동화상의 프레임 주기는 충분히 짧기 때문에, 근접한 프레임을 적절하게 선택하면, 그것에 포함되는 정보의 일부가 서로 중복될 수 있다. 그래서, 어느 프레임의 화상을 대상 화상(170)으로 하고, 근접한 프레임에 있는 참조 화상(172, 182)을 참조하여 잉여 화상(194)을 생성함으로써, 데이터 사이즈를 저감할 수 있다.

영상 프레임열에 관해서도 마찬가지로, 대상 화상(170) 및 참조 화상(172, 182)은, 서로 유사한 정보를 포함하는 한, 임의의 프레임 간격으로 선택할 수 있고, 예를 들면, 도 3(b)에 도시하는 바와 같이, 동일한 참조 화상(172 및 182)에 대해, 대상 화상(170-1, 170-2, 170-3)의 각각에 관해 잉여 화상(194-1, 194-2, 194-3)을 생성하여도 좋다. 즉, 한 쌍의 참조 화상에 관해, 1 또는 복수의 대상 화상을 잉여 화상으로 변환할 수 있다.

본 실시의 형태에 관한 데이터 사이즈 저감 방법은, 그 단체로도 이용되고, 데이터 전송 전의 전처리의 일부로서 이용되는 일도 있다.

또한, 본 명세서에서, 「촬상」은, 현실의 카메라를 이용하여 피사체의 화상을 취득하는 처리에 더하여, 예를 들면, 컴퓨터 그래픽스와 같이, 가상 공간상에 어떠한 오브젝트를 배치하고, 이 배치된 오브젝트에 대해 임의로 설정된 시점에서 화상을 렌더링하는 처리(즉, 가상 공간상에서의 가상적인 촬상)를 포함할 수 있다.

본 실시의 형태에서, 피사체를 촬상하는 카메라 어레이에서 카메라는 임의로 배치할 수 있다. 예를 들면, 1차원 배열(카메라를 직선상에 배치), 2차원 배열(카메라를 행렬형상으로 배치), 원형상 배열(카메라를 원주의 전부 또는 일부에 따라 배치), 나선 배열(카메라를 나선형상으로 배치), 랜덤 배치(아무런 규칙 없이 카메라를 배치)라는 임의의 배치를 채용할 수 있다.

[C. 하드웨어 구성]

다음에, 본 실시의 형태에 관한 데이터 사이즈 저감 방법을 실현하기 위한 하드웨어의 구성례에 관해 설명한다. 도 4는, 도 1에 도시하는 인코더로서 기능하는 정보 처리 장치(100)의 하드웨어 구성을 도시하는 모식도이다. 도 5는, 도 1에 도시하는 디코더로서 기능하는 정보 처리 장치(200)의 하드웨어 구성을 도시하는 모식도이다.

도 4를 참조하면, 정보 처리 장치(100)는, 프로세서(104)와, 메모리(106)와, 카메라 인터페이스(108)와, 하드 디스크(110)와, 입력부(116)와, 표시부(118)와, 통신 인터페이스(120)를 포함한다. 이들의 각 컴포넌트는, 버스(122)를 통하여 서로 데이터 통신 가능하게 구성되어 있다.

프로세서(104)는, 하드 디스크(110) 등에 격납되어 있는 프로그램을 판독하여 메모리(106)에 전개하여 실행함으로써, 본 실시의 형태에 관한 인코드 처리를 실현한다. 메모리(106)는, 프로세서(104)가 처리를 실행하기 위한 워킹 메모리로서 기능한다.

카메라 인터페이스(108)는, 복수의 카메라(10)와 접속되고, 각각의 카메라(10)가 촬상한 화상을 취득한다. 취득된 화상은, 하드 디스크(110)나 메모리(106)에 격납되어도 좋다. 하드 디스크(110)는, 취득된 화상을 포함하는 화상 데이터(112)와, 인코드 처리 및 데이터 압축 처리를 실현하기 위한 인코드 프로그램(114)을 불휘발적으로 유지하고 있다. 인코드 프로그램(114)이 프로세서(104)에 의해 판독되어 실행됨으로써, 후술하는 인코드 처리가 실현된다.

입력부(116)는, 전형적으로는, 마우스나 키보드 등을 포함하고, 유저로부터의 조작을 접수한다. 표시부(118)는, 처리 결과 등을 유저에게 통지한다.

통신 인터페이스(120)는, 무선 전송 장치(102) 등과 접속되고, 프로세서(104)에 의한 처리의 결과 출력되는 데이터를 무선 전송 장치(102)에 출력한다.

도 5를 참조하면, 정보 처리 장치(200)는, 프로세서(204)와, 메모리(206)와, 프로젝터 인터페이스(208)와, 하드 디스크(210)와, 입력부(216)와, 표시부(218)와, 통신 인터페이스(220)를 포함한다. 이들의 각 컴포넌트는, 버스(222)를 통하여 서로 데이터 통신 가능하게 구성되어 있다.

프로세서(204), 메모리(206)와, 입력부(216), 및, 표시부(218)는, 도 4에 도시하는 프로세서(104), 메모리(106)와, 입력부(116), 및, 표시부(118)와 각각 마찬가지이기 때문에, 상세한 설명은 반복하지 않는다.

프로젝터 인터페이스(208)는, 입체표시 장치(300)와 접속되고, 프로세서(204)에 의해 디코드된 다시점 화상을 입체표시 장치(300)에 출력한다.

통신 인터페이스(220)는, 무선 전송 장치(202) 등과 접속되고, 정보 처리 장치(100)로부터 송신된 화상 데이터를 수신하고, 프로세서(204)에 출력한다.

하드 디스크(210)는, 디코드된 화상을 포함하는 화상 데이터(212)와, 디코드 처리를 실현하기 위한 디코드 프로그램(214)을 불휘발적으로 유지하고 있다. 디코드 프로그램(214)이 프로세서(204)에 의해 판독되어 실행됨으로써, 후술하는 디코드 처리가 실현된다.

도 4 및 도 5에 도시하는 정보 처리 장치(100 및 200)의 하드웨어 자체 및 그 동작 원리는 일반적인 것이고, 본 실시의 형태에 관한 인코드 처리/디코드 처리를 실현하기 위한 본질적인 부분은, 하드 디스크 등의 기억 매체에 격납된 인코드 프로그램(114)이나 디코드 프로그램(214) 등의 소프트웨어(명령 코드)이다. 인코드 프로그램(114) 및/또는 디코드 프로그램(214)은, OS(Operating System)가 제공하는 모듈을 이용하여 처리를 실행하도록 구성하여도 좋다. 이 경우에는, 인코드 프로그램(114) 및/또는 디코드 프로그램(214)은, 일부의 모듈을 포함하지 않게 되지만, 이와 같은 경우라도, 본원 발명의 기술적 범위에 포함된다.

정보 처리 장치(100) 및/또는 정보 처리 장치(200)의 전부 또는 일부의 기능을 ASIC(Application Specific Integrated Circuit) 등의 전용의 집적 회로를 이용하여 실현하여도 좋고, FPGA(Field-Programmable Gate Array)나 DSP(Digital Signal Processor) 등의 프로그램 가능한 하드웨어를 이용하여 실현하여도 좋다.

또한, 후술하는 바와 같이, 화상을 관리하는 데이터 서버 등에서는, 인코드 처리 및 디코드 처리를 단일한 정보 처리 장치가 실행하게 된다.

[D. 전체 처리 순서]

다음에, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 전체 처리 순서에 관해 설명한다. 도 6은, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 전체 처리 순서를 도시하는 플로 차트이다. 도 6에 도시하는 데이터 사이즈 저감 방법은, 주로 인코드 처리로 이루어지지만, 실용적으로는, 인코드된 데이터로부터 원래의 화상을 재구성하기 위한 디코드 처리를 포함한다. 도 1에 도시하는 바와 같은 입체 영상 재생 시스템(1)에서는, 인코드 처리 및 디코드 처리는 각각 다른 정보 처리 장치에 의해 실행된다. 한편, 화상을 격납하기 위한 서버 시스템 등에서는, 단일한 정보 처리 장치가 인코드 처리 및 디코드 처리를 실행하게 된다. 즉, 데이터 격납 전의 전처리로서 인코드 처리가 실행되고, 데이터 재구성시에 디코드 처리가 실행된다. 어느 경우라도, 전형적으로는, 프로세서가 프로그램을 실행함으로써, 각 스텝의 처리가 실현된다.

도 6을 참조하면, 인코드 처리로서, 스텝 S100 내지 S110의 처리가 실행된다. 구체적으로는, 프로세서(104)는, 서로 유사한 정보를 포함하는 복수의 화상을 취득하고, 그 취득한 화상을 소정의 기억 영역에 격납함과 함께, 취득한 복수의 화상 중 하나의 화상을 대상 화상으로 설정하고, 당해 대상 화상에 유사한 적어도 2개의 화상을 참조 화상으로 설정한다(스텝 S100). 즉, 프로세서(104)는, 서로 유사한 정보를 포함하는 복수 화상을 취득함과 함께, 복수 화상 중, 대상 화상 및 대상 화상에 유사한 2개의 참조 화상을 선택한다. 계속해서, 프로세서(104)는, 설정한 2개의 참조 화상으로부터 대상 화상에 대응하는 합성 화상을 생성한다(스텝 S102).

계속해서, 프로세서(104)는, 대상 화상 및 합성 화상의 일부 또는 전부에 의거하여, 사이드 정보를 생성한다(스텝 S104). 즉, 프로세서(104)는, 대상 화상 및 합성 화상의 적어도 일방에 의거하여, 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성한다. 사이드 정보는, 잉여 화상 및 참조 화상으로부터 대상 화상을 재구성하기 위해 필요한 정보를 포함한다.

계속해서, 프로세서(104)는, 생성한 사이드 정보로부터 구배강도 화상을 생성한다(스텝 S106). 그리고, 프로세서(104)는, 생성한 구배강도 화상으로부터 대상 화상의 잉여 화상을 생성한다(스텝 S108).

최종적으로, 프로세서(104)는, 대상 화상 및 참조 화상에 대응하는 정보로서, 적어도, 잉여 화상 및 참조 화상을 출력한다(스텝 S110). 즉, 프로세서(104)는, 대상 화상 및 2개의 참조 화상을 표현하는 정보로서, 2개의 참조 화상 및 잉여 화상을 출력한다.

디코드 처리로서, 스텝 S200 내지 S210의 처리가 실행된다. 구체적으로는, 프로세서(204)는, 인코드 처리의 결과 출력되는 정보를 취득한다(스텝 S200). 즉, 프로세서(204)는, 적어도 출력된 2개의 참조 화상 및 잉여 화상을 취득한다.

계속해서, 프로세서(204)는, 취득한 정보에 포함되는 참조 화상으로부터 대상 화상에 대응하는 합성 화상을 생성한다(스텝 S202).

계속해서, 프로세서(204)는, 취득한 정보로부터 사이드 정보를 생성한다(스텝 S204). 그리고, 프로세서(204)는, 생성한 사이드 정보로부터 구배강도 화상을 생성한다(스텝 S206).

그리고, 프로세서(204)는, 사이드 정보, 구배강도 화상, 및 잉여 화상으로부터 대상 화상을 재구성한다(스텝 S208). 최종적으로, 프로세서(104)는, 재구성한 대상 화상 및 참조 화상을 출력한다(스텝 S210).

[E. 인코드 처리]

다음에, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리(도 6의 스텝 S100 내지 S110)의 상세에 관해 설명한다.

(e1 : 기능 구성)

도 7은, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리에 관한 기능 구성을 도시하는 블록도이다. 도 7을 참조하면, 정보 처리 장치(100)는, 그 기능 구성으로서, 입력 화상 버퍼(150)와, 거리 정보 추정부(152)와, 거리 정보 버퍼(154)와, 서브 샘플링부(156)와, 화상 합성부(158)와, 사이드 정보 선택부(160)와, 구배강도 화상 생성부(162)와, 계수 선택부(164)와, Lookup 테이블(166)과, 모듈로 연산부(168)를 포함한다.

(e2 : 입력 화상 및 거리 화상의 취득)

도 6의 스텝 S100에 나타내는 화상 취득 처리는, 도 7의 입력 화상 버퍼(150), 거리 정보 추정부(152), 및 거리 정보 버퍼(154)에 의해 실현된다. 구체적으로는, 정보 처리 장치(100)는, 복수의 카메라(10)(카메라 어레이)에 의해 촬상된 복수의 시차 화상으로 이루어지는 다시점 화상을 수신하고, 입력 화상 버퍼(150)에 격납한다. 또는, 정보 처리 장치(100)는, 프레임 순서로 배치된 화상으로 이루어지는 일련의 영상을 수신하고, 입력 화상 버퍼(150)에 격납하여도 좋다. 이들의 입력 화상이 처리 대상이 된다. 설명의 간략화를 위해, 하나의 대상 화상(170)과 2개의 참조 화상(172, 182)과의 세트에 주목하여 설명하지만, 요구되는 데이터 사이즈의 저감률이나 정보 처리 장치(100)의 처리 능력 등에 응하여, 임의의 수의 세트에 대해, 본 실시의 형태에 관한 데이터 사이즈 저감 방법을 적용하면 좋다.

또한, 대상 화상(170) 및 참조 화상(172, 182)은, 서로 유사한 정보를 포함하여야 하기 때문에, 다시점 화상에 관해서는, 대상 화상(170) 및 참조 화상(172, 182)은, 그 베이스 라인 거리에 의거하여 선택되는 것이 바람직하다. 즉, 그 사이에 생기는 시차에 응하여, 대상 화상(170) 및 참조 화상(172, 182)이 선택된다. 또한, 영상 프레임열(동화상)에 관해서는, 프레임 레이트에 의거하여, 대상이 되는 프레임이 선택된다. 즉, 도 6의 스텝 S100의 처리는, 복수 화상이 다시점 화상인 경우(도 2 참조)에, 베이스 라인 거리에 의거하여, 대상 화상(170) 및 참조 화상(172, 182)을 선택하는 처리와, 복수 화상이 영상 프레임열인 경우(도 3 참조)에, 프레임 레이트에 의거하여, 대상 화상(170) 및 참조 화상(172, 182)을 선택하는 처리를 포함한다.

도 7에서, 대상 화상(170)에 관해서는, 대상 화상(170)이 표현하는 대상 시야(target view for representation)를 의미하는 「VT」로 표시하고, 대상 화상(170)의 우측에 위치하는 참조 화상(172)에 관해서는, 대상 화상(170)의 우측에 있는 오리지널 시야(original view at the right side of VT)를 의미하는 「VR」로 표시하고, 대상 화상(170)의 좌측에 위치하는 참조 화상(182)에 관해서는, 대상 화상(170)의 좌측에 있는 오리지널 시야(original view at the left side of VT)를 의미하는 「VL」로 표시한다. 또한, 우측 및 좌측이라는 표현은, 설명의 편의상의 것이고, 현실의 카메라 배치와는 반드시 일치하지 않는 경우도 있다.

본 실시의 형태에 관한 데이터 사이즈 저감 방법에서는, 후술하는 바와 같이, 참조 화상(172 및 182)의 거리 화상을 이용하여, 대상 화상에 대응하는 합성 화상(176)을 생성하는 경우도 있다. 그 때문에, 임의의 방법을 이용하여, 참조 화상(172)의 거리 화상(174) 및 참조 화상(182)의 거리 화상(184)이 취득된다.

예를 들면, 도 1에 도시하는 바와 같은 카메라 어레이를 이용하는 경우에는, 피사체를 나타내는 화상의 취득에 더하여, 거리 화상을 동시에 취득할 수 있는 경우가 있다. 인코드 처리에서의 대상 화상(170)의 재구성 처리를 고려하면, 참조 화상과 대응하는 거리 화상과의 사이에서 시야가 불변인 것이 바람직하다. 그 때문에, 가능하면, 이와 같은 카메라 어레이를 이용하여 각각의 거리 화상을 취득하는 것이 바람직하다. 이 경우, 참조 화상 및 대응하는 거리 화상이 동시에 정보 처리 장치에 입력된다. 그 때문에, 참조 화상에 대응하는 거리 화상을 취득할 수 있는 경우에는, 도 7에 도시하는 거리 정보 추정부(152)를 반드시 실장할 필요는 없다.

도 7에서, 참조 화상(172)에 대응하는 거리 화상(174)에 관해서는, 그 위치에서의 거리 화상(depth map at the location of VR)을 의미하는 「DR」로 표시하고, 참조 화상(182)에 대응하는 거리 화상(184)에 관해서는, 그 위치에서의 거리 화상(depth map at the location of VL)을 의미하는 「DL」로 표시한다.

입력되는 복수 화상이 다시점 화상인 경우로서, 시야에 관한 거리 화상을 이용할 수 없는 때나, 거리 카메라를 이용할 수 없는 때에는, 거리 정보 추정부(152)가 참조 화상(172 및 182)에 각각 대응하는 거리 화상(174 및 184)을 생성한다. 거리 정보 추정부(152)에 의한 거리 화상의 추정 방법으로서는, 비특허 문헌 2에 개시되는 바와 같은 에너지 최적화를 병용한, 스테레오 매칭에 의거한 각종의 방법을 채용할 수 있다. 예를 들면, 비특허 문헌 3에 개시되는 바와 같은 그래프 컷트를 이용하여 최적화할 수도 있다.

거리 정보 추정부(152)에 의해 생성된 거리 화상(174 및 184)은, 거리 정보 버퍼(154)에 격납된다.

또한, 입력되는 복수 화상이 영상 프레임열(동화상)인 경우에는, 반드시 거리 화상을 취득할 필요는 없다.

이하의 설명에서는, 전형례로서, 입력 데이터의 하나의 세트가 대상 화상(170), 참조 화상(172) 및 대응하는 거리 화상(174), 및 참조 화상(182) 및 대응하는 거리 화상(184)을 포함하는 경우에 관해 주로 설명한다.

(e3 : 합성 화상의 생성)

도 6의 스텝 S102에 나타내는 합성 화상의 생성 처리는, 도 7의 화상 합성부(158)에 의해 실현된다. 보다 구체적으로는, 화상 합성부(158)는, 참조 화상(172) 및 대응하는 거리 화상(174), 및, 참조 화상(182) 및 대응하는 거리 화상(184)을 이용하여, 대상 화상(170)의 위치에서의 가상적인 시야를 나타내는 합성 화상(176)을 생성한다. 도 7에서, 이 합성 화상(176)에 관해서는, 대상 시야의 가상 시야를 의미하는 「VT(virtual)」로 표시한다. 이와 같은 화상 합성으로서는, 예를 들면, 비특허 문헌 4 및 비특허 문헌 5에 개시되는 바와 같은 방법을 채용할 수 있다. 또한, 거리 화상의 정밀도가 낮은 경우에는, 비특허 문헌 6 및 비특허 문헌 7에 개시되는 바와 같은, 내삽 처리를 이용함으로써, 합성 화상(176)을 생성할 수 있다.

도 8은, 본 실시의 형태에 관한 합성 화상의 생성 처리의 결과를 도시하는 도면이다. 도 8에 도시하는 바와 같이, 참조 화상(172) 및 대응하는 거리 화상(174), 및, 참조 화상(182) 및 대응하는 거리 화상(184)으로부터, 대상 화상(170)에 대응하는 합성 화상(176)이 생성된다.

또한, 입력되는 복수 화상이 영상 프레임열(동화상)인 경우에는, 2개의 참조 화상(172 및 182)에 대응하는 프레임의 정보로부터 내삽 처리 또는 외삽 처리를 행함으로써, 대상 화상(170)에 대응하는 프레임의 정보를 생성하고, 합성 화상(176)으로서 사용할 수 있다.

(e4 : 사이드 정보의 생성)

도 6의 스텝 S104에 나타내는 사이드 정보의 생성 처리는, 도 7의 서브 샘플링부(156) 및 사이드 정보 선택부(160)에 의해 실현된다. 상술한 바와 같이, 사이드 정보(190)는, 대상 화상(170)의 위치에서의 가상적인 시야의 정보이고, 대상 화상(170), 대상 화상(170)의 축소 화상, 합성 화상(176), 및, 대상 화상(170)의 축소 화상과 합성 화상(176)을 조합한 화상 등을 이용하여 생성된다. 사이드 정보 선택부(160)는, 입력되는 정보(화상)을 적절히 선택하여 사이드 정보(190)를 출력한다. 도 7에서, 사이드 정보(190)를 「VT(side information)」로 표시한다.

서브 샘플링부(156)는, 대상 화상(170)으로부터 축소 화상(178)을 생성한다. 도 7에서, 이 축소 화상(178)에 관해서는, 대상 화상(170)을 서브 샘플링하여 얻어진 것을 의미하는 「VT(sub-sampled)」로 표시한다.

서브 샘플링부(156)에서의 축소 화상(178)의 생성 처리는, 임의의 방법을 채용할 수 있다. 예를 들면, 대상 화상(170)으로부터 소정 간격마다 화소 정보를 추출함으로써, 축소 화상(178)으로서 출력할 수 있다.

또는, 임의의 필터링 처리(예를 들면, 최근방법, 내삽법, 바이큐빅법, 바이레터럴 필터를 이용하여 축소 화상(178)을 생성하여도 좋다. 예를 들면, 대상 화상(170)을 소정 사이즈의 영역(예를 들면, 2×2화소, 3×3화소 등)으로 분할하고, 각 영역에서, 그 영역에 포함되는 복수의 화소의 정보에 대해 선형 또는 비선형의 보간 처리를 함으로써, 임의의 사이즈의 축소 화상(178)을 생성할 수 있다.

사이드 정보(190)를 생성하는 방법으로서는, 전형적으로는,

이하에 나타내는 (a)-(d)의 4개의 방법 중에서 임의로 선택할 수 있다.

(a) 사이드 정보(190)로서 대상 화상(170) 그 자체가 이용되는 경우 :

사이드 정보 선택부(160)는, 입력된 대상 화상(170)을 그대로 사이드 정보(190)로서 출력한다. 또한, 디코드 처리에서 대상 화상(170) 그 자체를 이용할 수 없기 때문에, 참조 화상으로부터 생성된 합성 화상이 사이드 정보로서 이용된다.

(b) 사이드 정보(190)로서 대상 화상(170)의 축소 화상(178)이 이용되는 경우 :

사이드 정보 선택부(160)는, 서브 샘플링부(156)에 의해 생성된 축소 화상(178)을 그대로 출력한다.

(c) 사이드 정보(190)로서 합성 화상(176)이 이용되는 경우 :

사이드 정보 선택부(160)는, 화상 합성부(158)에 의해 생성된 합성 화상(176)을 그대로 출력한다.

(d) 사이드 정보(190)로서 축소 화상(178)과 합성 화상(176)과의 조합이 이용되는 경우 :

사이드 정보 선택부(160)는, 후술하는 바와 같은 방법에 따라, 사이드 정보(190)를 생성한다. 즉, 도 6의 스텝 S104에 나타내는 사이드 정보의 생성 처리는, 대상 화상(170)의 축소 화상(178)과 합성 화상(176)을 조합하여 사이드 정보(190)를 생성하는 처리를 포함한다.

보다 구체적으로는, 사이드 정보 선택부(160)는, 우선, 조합에 이용하는 무게 계수를 산출한다. 이 무게 계수는, 대상 화상(170)의 축소 화상(178)에 대한 합성 화상(176)의 신뢰도 분포에 관련시켜진다. 즉, 합성 화상(176)과 축소 화상(178)(대상 화상(170)) 사이의 오차(또는, 양자의 일치 정도)에 의거하여, 무게 계수가 결정된다. 산출되는 오차 분포는, 신뢰도 분포를 반전시킨 것에 상당하고, 오차가 작을수록 신뢰도가 높다고 생각할 수 있다. 즉, 오차가 큰 영역일수록, 합성 화상(176)의 신뢰성이 낮다고 생각되기 때문에, 이와 같은 영역에 관해서는, 축소 화상(178)(대상 화상(170))의 정보가 보다 많이 할당된다. 한편, 오차가 작은 영역일수록, 합성 화상(176)의 신뢰성이 높다고 생각되기 때문에, 보다 용장성이 낮은 합성 화상(176)의 정보가 보다 많이 할당된다.

도 9는, 본 실시의 형태에 관한 데이터 사이즈 저감 방법에서 사이드 정보 선택에 이용되는 오차 분포의 산출 처리를 설명하기 위한 모식도이다. 도 9를 참조하면, 사이드 정보 선택부(160)는, 대상 화상(170)의 축소 화상(178)(VT(sub-sampled))을 업샘플링하여 얻어진 확대 화상(179)과, 합성 화상(176)(VT(virtual))과의 사이에서, 대응하는 화소 사이에서 휘도치의 절대치의 차분을 취함으로써, 오차 분포(R)를 결정한다. 축소 화상(178)을 업샘플링 한 것은, 합성 화상(176)과 사이즈를 일치시키기 위해, 및 대상 화상(170)을 재구성하는 처리에서의 처리를 상정하여 오차를 산출하기 때문이다.

이와 같이, 사이드 정보 선택부(160)는, (d)의 방식을 선택한 경우에는, 축소 화상(178)을 업샘플링하여 얻어진 확대 화상(179)과 합성 화상(176)과의 차에 의거하여 오차 분포를 결정한다. 사이드 정보 선택부(160)는, 결정한 오차 분포(R)에 의거하여, 축소 화상(178)(또는, 확대 화상(179))과 합성 화상(176)을 조합하여 사이드 정보(190)를 생성한다. 산출된 오차 분포(R)를 이용하여 사이드 정보(190)를 생성하는 방법으로서는, 여러 가지의 방법이 생각되는데, 예를 들면, 이하와 같은 처리례가 채용될 수 있다.

(i) 처리례 1 : 2치화 무게 부여 조합법(binary weighted combination)

본 처리례에서는, 산출된 오차 분포(R)를 임의의 임계치를 이용하여 2개의 영역으로 분류한다. 전형적으로는, 그 오차가 임계치보다 높은 영역을 Hi 영역으로 하고, 그 오차가 임계치보다 낮은 영역을 Lo 영역으로 한다. 그리고, 사이드 정보(190)의 각 화소에는, 오차 분포(R)의 Hi 영역 및 Lo 영역에 대응하여, 축소 화상(178)(실질적으로는, 확대 화상(179)) 또는 합성 화상(176)의 정보가 할당된다. 보다 구체적으로는, 오차 분포(R)의 Hi 영역에 대응하는 사이드 정보(190)의 화소 위치에는, 축소 화상(178)을 업샘플링하여 얻어진 확대 화상(179)의 대응하는 화소 위치의 값이 할당되고, 오차 분포(R)의 Lo 영역에 대응하는 화소 위치에는, 합성 화상(176)의 대응하는 화소 위치의 값이 할당된다.

즉, 확대 화상(179)(축소 화상(178)을 업샘플링 한 화상)을 SS, 합성 화상(176)을 SY로 표시하면, 사이드 정보(190)(「SI」로 표시한다)의 화소 위치(x, y)에서의 값은, 소정의 임계치(TH)를 이용하여, 이하와 같이 된다.

SI(x, y) = SS(x, y){if R(x, y) ≥ TH}

= SY(x, y){if R(x, y) < TH}

이와 같이, 본 처리례에서, 사이드 정보 선택부(160)는, 오차가 상대적으로 높은 영역에 축소 화상(178)을 업샘플링하여 얻어진 확대 화상(179)의 정보를 할당함과 함께, 오차가 상대적으로 낮은 영역에 합성 화상(176)의 정보를 할당한다.

(ⅱ) 처리례 2 : 이산화 무게 부여 조합법(discrete weighted combination)

본 처리례에서는, 산출된 오차 분포(R)를 (n-1)개의 임계치를 이용하여, n종류의 영역으로 분류한다. 분류된 영역의 번호(k)를 오차가 낮은 쪽부터 1, 2, …, n으로 하면, 사이드 정보(190)(SI)의 화소 위치(x, y)에서의 값은, 분류된 영역의 번호(k)를 이용하여, 이하와 같이 된다.

SI(x, y) = (k/n) × SY(x, y) + (1-k/n) × SS(x, y)

(ⅲ) 처리례 3 : 연속 무게 부여 조합법(continuous weighted combination)

본 처리례에서는, 화소 위치의 오차의 역수를 무게 부여 계수로 간주하고, 이것을 이용하여, 사이드 정보(190)를 산출한다. 구체적으로는, 사이드 정보(190)의 화소 위치(x, y)에서의 값(SI(x, y))은 이하와 같이 된다.

SI(x, y) = (1/R(x, y)) × SY(x, y) + (1-1/R(x, y)) × SS(x, y)

이와 같이, 본 처리례에서, 사이드 정보 선택부(160)는, 오차가 상대적으로 높은 영역에 축소 화상(178)을 업샘플링하여 얻어진 확대 화상(179)의 정보를 할당함과 함께, 오차가 상대적으로 낮은 영역에 합성 화상(176)의 정보를 할당한다. 본 처리례에서는, 오차가 높을수록 확대 화상(179)(축소 화상(178))이 우위가 되고, 오차가 낮을수록 합성 화상(176)이 우위가 된다.

(e5 : 구배강도 화상의 생성)

도 6의 스텝 S106에 나타내는 구배강도 화상의 생성 처리는, 도 7의 구배강도 화상 생성부(162)에 의해 실현된다. 보다 구체적으로는, 구배강도 화상 생성부(162)는, 사이드 정보(190)로부터 화상 공간상의 변화를 나타내는 구배강도 화상(192)을 생성한다. 구배강도 화상(192)은, 사이드 정보(190) 내의 텍스처 변화가 보다 큰 영역이 보다 큰 휘도를 갖는 화상을 의미한다. 도 7에서, 구배강도 화상(192)을 「VT(gradient)」로 표시한다. 구배강도 화상(192)의 생성 처리로서는, 임의의 필터링 처리를 이용할 수 있다. 또한, 구배강도 화상(192)의 각 화소의 값은 소정 범위 내(예를 들면, 0 내지 255)의 어느 하나의 정수치를 취하도록 정규화된다.

전형적으로는, 이하와 같은 처리 순서로 구배강도 화상(192)이 생성된다.

(a) 사이드 정보(190)를 출력되는 잉여 화상의 화상 사이즈에 리사이즈한다.

(b) 리사이즈 후의 사이드 정보에 대해 노이즈 제거를 위해 가우스 필터를 적용한다(가우시안 스무딩 처리).

(c) 필터 후의 사이드 정보를 컬러 컴포넌트별(別)로 분리한다(즉, 컬러 컴포넌트별로 그레이 스케일 화상을 생성한다).

(d) 각 컬러 컴포넌트의 그레이 스케일 화상에 관해, (d1) 내지 (d4)의 처리를 실행한다.

(d1) 에지 검출 처리

(d2) (1회 이상의) 가우시안 스무딩 처리(또는, 미디언 필터 처리)

(d3) 일련의 몰포로지컬 처리(예를 들면, (1회 이상의) 팽창 처리, (1회 이상의) 수축 처리, (1회 이상의) 팽창 처리)

(d4) (1회 이상의) 가우시안 스무딩 처리

이상과 같은 처리에 의해, 사이드 정보(190)를 구성하는 컬러 컴포넌트별로 구배강도 화상이 생성된다. 즉, 도 6의 스텝 S106에 나타내는 구배강도 화상(192)의 생성 처리는, 사이드 정보(190)를 구성하는 각 컬러 컴포넌트의 그레이 스케일 화상에 대해, 에지 검출 처리, 스무딩 처리, 일련의 몰포로지컬 처리, 및, 스무딩 처리를 차례로 적용하는 처리를 포함한다. 이와 같은 처리에 의해, 사이드 정보(190)에 포함되는 컬러 컴포넌트의 수만큼 그레이 스케일 화상이 생성되고, 각각의 그레이 스케일 화상에 관해 구배강도 화상이 생성된다.

여기에 나타낸 처리 순서는 한 예이고, 가우시안 스무딩 처리나 몰포로지컬 처리의 처리 내용이나 처리 순서 등은 적절히 설계할 수 있다.

또한, 의사적인 구배강도 화상을 생성하는 처리를 채용하여도 좋다. 즉, 사이드 정보(190) 내의 텍스처 변화가 보다 큰 영역이 보다 큰 휘도를 갖는 화상을 생성할 수 있다면, 어떤 필터링 처리를 채용하여도 좋다.

(e6 : 잉여 화상의 생성)

도 6의 스텝 S108에 나타내는 잉여 화상의 생성 처리는, 도 7의 계수 선택부(164), Lookup 테이블(166), 및 모듈로 연산부(168)에 의해 실현된다. 잉여 화상(194)은, 구배강도 화상(192)의 각 화소 위치에서의 값을 모듈로 연산하여 얻어지는 잉여를 나타낸다. 이 모듈로 연산에 있어서, 구배강도 화상(192)의 각 화소 위치의 값에 응하여, 법(法, modulus)이 되는 계수(D)가 선택된다. 계수 선택부(164)는, 구배강도 화상(192)의 각 화소 위치의 값에 응하여 계수(D)를 선택한다.

이와 같이, 도 6의 스텝 S108에 나타내는 잉여 화상의 생성 처리는, 구배강도 화상(192)의 각 화소 위치에 관해 구배강도에 응한 계수(D)를 결정함과 함께, 대상 화상(170)의 각 화소 위치의 휘도치에 대해 대응하는 계수(D)를 법으로 하는 모듈로 연산을 행함으로써, 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상(194)을 생성하는 처리를 포함한다.

계수(D)의 선택 방법으로서는 임의의 방법을 채용할 수 있다. 예를 들면, 구배강도 화상(192)의 값 그 자체를 계수(D)로서 선택하여도 좋다. 단, 디코드 후의 화상 품질을 향상시키기 위해, 본 실시의 형태에서는, 구배강도 화상(192)에 대해 비선형으로 계수(D)를 결정한다. 구체적으로는, Lookup 테이블(166)을 참조하여, 구배강도 화상(192)의 각 화소 위치에 대응하는 계수(D)를 선택한다. 여기서, 계수(D)는, 구배강도 화상(192)에 포함되는 각 컬러 컴포넌트의 각 화소 위치에 관해 결정된다.

이와 같이 도 6의 스텝 S108에 나타내는 잉여 화상의 생성 처리는, 미리 정하여진 대응 관계를 참조하여, 구배강도에 대응하는 계수(D)를 선택하는 처리를 포함한다. 이때, 구배강도 화상(192)의 각 화소 위치에 관해, 컬러 컴포넌트별로 계수(D)가 결정된다.

도 10은, 본 실시의 형태에 관한 잉여 화상의 생성에 이용되는 Lookup 테이블(166)의 한 예를 도시하는 도면이다. 도 10(a)에 도시하는 바와 같이, 복수의 단계로 이산화되어 있고, 구배강도 화상(192)의 각 화소 위치의 값에 대응하는 계수(D)가 선택된다. 도 10(a)에 도시하는 Lookup 테이블(166)에서는, 모듈로 연산의 법이 되는 값이 2의 멱승(冪乘)이 되도록 설계된다. 이와 같이 계수(D)의 할당을 행함으로써, 모듈로 연산을 고속화할 수 있다. Lookup 테이블(166)은, 임의로 설계할 수 있고, 예를 들면, 도 10(b)에 도시하는 바와 같은, 단계수를 보다 적게 한 Lookup 테이블(166)을 채용하여도 좋다. 또한, Lookup 테이블을 반드시 사용할 필요는 없고, 미리 정하여진 함수 등을 이용하여, 계수(D)를 결정하여도 좋다.

도 7로 되돌아와, 계수 선택부(164)는, 구배강도 화상(192)의 각 화소 위치에 관해, 컬러 컴포넌트별로 계수(D)를 선택한다. 구배강도 화상(192)에 응하여 결정되는 계수(D)를 이용하여, 모듈로 연산부(168)는, 대상 화상(170)에 대해 모듈로 연산을 행하고, 잉여 화상(194)을 생성한다.

모듈로 연산부(168)는, 대응하는 계수(D)를 법으로 하여 각 화소 위치의 휘도치에 대한 모듈로 연산을 행한다. 보다 구체적으로는, 각 화소 위치의 휘도치 P=q×D+m(단, q≥0, D>0)가 성립하는 최소의 m이 결정된다. 여기서, q는 상(商)이고, m은 잉여이다.

후술하는 대상 화상(170)의 재구성 처리(디코드 처리)에서는, 「휘도치 P=k×D+m」가 산출되기 때문에, 각 화소 위치에서 산출되는 컬러 컴포넌트별의 잉여(m)가 잉여 화상(194)으로서 보존된다. 즉, 각 화소 위치의 잉여(m)가 잉여 화상(194)을 구성한다. 도 7에서, 잉여 화상(194)을 「VT(Remainder)」 또는 「Rem」으로 표시한다.

잉여 화상(194)은, 공지의 다운샘플링 방법 또는 업샘플링 방법을 이용하여, 임의의 크기로 리사이즈되어도 좋다.

도 11 및 도 12는, 본 실시의 형태에 관한 잉여 화상의 생성 처리의 결과를 도시하는 도면이다. 도 11에는, 합성 화상(176)으로부터 구배강도 화상(192)을 생성한 예를 도시하고, 이 구배강도 화상(192)에 의거하여, Lookup 테이블(166)을 참조하여, 컬러 컴포넌트마다의 각 화소 위치의 계수(D)가 선택된다. 그리고, 도 12에 도시하는 바와 같이, 선택된 계수를 법으로 하는 모듈로 연산이 대상 화상(170)에 대해 실행된다. 이에 의해, 잉여 화상(194)이 생성된다.

본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리의 최종 출력으로서, 적어도, 입력된 채로의 참조 화상(172 및 182)과, 처리 결과인 잉여 화상(194)이 보존된다. 옵션으로서, 참조 화상(172)의 거리 화상(174), 및 참조 화상(182)의 거리 화상(184)이 출력되어도 좋다. 또한, 옵션으로서, 잉여 화상(194)과 함께 축소 화상(178)이 출력되어도 좋다. 이들의 옵션으로서 부가되는 정보(화상)는, 디코드 처리에서의 처리 내용에 응하여 적절히 선택된다.

상술한 설명에서는, 하나의 대상 화상(170)과 2개의 참조 화상(172, 182)과의 세트에 주목하여 설명하였지만, 입력되는 복수의 화상(다시점 화상 또는 영상 프레임열)에 대해 설정되는 모든 대상 화상 및 각각 대응하는 참조 화상에 대해, 같은 처리가 실행된다.

(e7 : 처리례)

이하, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리의 처리례를 나타낸다.

도 13은, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 인코드 처리에 입력된 대상 화상(170)의 한 예를 도시한다. 도 14는, 도 13에 도시하는 대상 화상(170)으로부터 생성된 잉여 화상(194)의 한 예를 도시한다. 도 13에 도시하는 바와 같은 고정밀 대상 화상(170)이라도, 도 14에 도시하는 바와 같이, 잉여 화상(194)의 대부분의 부분이 흑색으로 되어 있고, 정보량이 저감되어 있음을 알 수 있다.

[F. 디코드 처리]

다음에, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 디코드 처리(도 6의 스텝 S200 내지 S210)의 상세에 관해 설명한다. 기본적으로는, 인코드 처리의 역처리(逆處理)이기 때문에, 같은 처리에 관한 상세한 설명은 반복하지 않는다.

(f1 : 기능 구성)

도 15는, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 디코드 처리에 관한 기능 구성을 도시하는 블록도이다. 도 16은, 본 실시의 형태에 관한 데이터 사이즈 저감 방법의 디코드 처리의 개요를 설명하기 위한 모식도이다. 도 15에 있어서 표기는, 도 7에서의 표기에 준하고 있다.

도 15를 참조하면, 정보 처리 장치(200)는, 그 기능 구성으로서, 입력 데이터 버퍼(250)와, 거리 정보 추정부(252)와, 거리 정보 버퍼(254)와, 화상 합성부(258)와, 사이드 정보 선택부(260)와, 구배강도 화상 생성부(262)와, 계수 선택부(264)와, Lookup 테이블(266)과, 역모듈로 연산부(268)를 포함한다.

정보 처리 장치(200)는, 인코드 처리된 정보(참조 화상(172 및 182), 및 잉여 화상(194))를 이용하여, 원래의 대상 화상(170)을 재구성한다. 예를 들면, 도 16에 도시하는 바와 같이, 참조 화상(172, 182)과 잉여 화상(194)이 교대로 배치되어 있고, 정보 처리 장치(200)는, 잉여 화상(194)의 각각에 대해, 대응하는 참조 화상(172, 182)을 이용하여 디코드 처리를 행함으로써, 원래의 대상 화상에 대응하는 재구성 화상(294)을 복원한다. 도 16에 도시하는 바와 같이, 하나의 참조 화상이 복수의 대상 화상에 관련시켜지는 경우도 있다.

(f2 : 입력 데이터 및 거리 화상의 취득)

도 6의 스텝 S200에 나타내는 인코드 처리의 취득 처리는, 도 15의 입력 데이터 버퍼(250)와, 거리 정보 추정부(252)와, 거리 정보 버퍼(254)에 의해 실현된다. 구체적으로는, 정보 처리 장치(200)는, 상술한 디코드 처리에 의해 생성된, 참조 화상(172 및 182) 및 잉여 화상(194)을 적어도 수신한다. 상술한 바와 같이, 참조 화상(172 및 182)에 각각 대응하는 거리 화상(174 및 184)이 아울러서 송신된 경우에는, 이들의 거리 화상도 디코드 처리에 이용된다.

한편, 거리 화상(174 및 184)이 입력되지 않는 경우에는, 거리 정보 추정부(252)가 참조 화상(172 및 182)에 각각 대응하는 거리 화상(174 및 184)을 생성한다. 거리 정보 추정부(252)에서의 거리 화상의 추정 방법은, 상술한 거리 정보 추정부(152)(도 7)에서의 거리 화상의 추정 방법과 마찬가지이기 때문에, 상세한 설명은 반복하지 않는다. 거리 정보 추정부(252)에 의해 생성된 거리 화상(174 및 184)은, 거리 정보 버퍼(254)에 격납된다.

(f3 : 합성 화상의 생성)

도 6의 스텝 S202에 나타내는 합성 화상의 생성 처리는, 도 15의 화상 합성부(258)에 의해 실현된다. 보다 구체적으로는, 화상 합성부(258)는, 참조 화상(172) 및 대응하는 거리 화상(174), 및, 참조 화상(182) 및 대응하는 거리 화상(184)을 이용하여, 대상 화상(170)의 위치에서의 가상적인 시야를 나타내는 합성 화상(276)을 생성한다. 화상 합성부(258)에서의 합성 화상의 생성 방법은, 상술한 화상 합성부(158)(도 7)에서의 합성 화상의 생성 방법과 마찬가지이기 때문에, 상세한 설명은 반복하지 않는다. 또한, 수신된 복수 화상이 영상 프레임열(동화상)인 경우에는, 2개의 참조 화상(172 및 182)에 대응하는 프레임의 정보로부터 내삽 처리 또는 외삽 처리를 행함으로써, 대상 화상(170)에 대응하는 프레임의 정보를 생성할 수 있다.

(f4 : 사이드 정보의 생성)

도 6의 스텝 S204에 나타내는 사이드 정보의 생성 처리는, 도 15의 사이드 정보 선택부(260)에 의해 실현된다. 보다 구체적으로는, 사이드 정보 선택부(260)는, 축소 화상(178)(입력 데이터에 포함되어 있는 경우), 합성 화상(276), 및 이들의 조합에 의거하여, 사이드 정보(290)를 생성한다.

상술한 바와 같이, 입력 데이터에 축소 화상(178)이 포함되지 않는 경우도 있고, 이 경우에는, 사이드 정보 선택부(160)는, 화상 합성부(258)에 의해 생성된 합성 화상(276)에 의거하여 사이드 정보(290)를 생성한다.

한편, 입력 데이터에 축소 화상(178)이 포함되어 있는 경우에는, 사이드 정보 선택부(160)는, 축소 화상(178)을 사이드 정보(290)로서 이용하여도 좋고, 축소 화상(178)과 합성 화상(276)과의 조합에 의해 사이드 정보(290)를 생성하여도 좋다. 이와 같은 축소 화상(178)과 합성 화상(276)과의 조합에 의한 사이드 정보의 생성 처리로서는, 상술한 바와 같은 오차 분포를 이용하여, 2치화 무게 부여 조합법, 이산화 무게 부여 조합법, 및 연속 무게 부여 조합법 등을 채용할 수 있다. 이들의 처리에 관해서는, 상술하였기 때문에, 상세한 설명은 반복하지 않는다.

(f5 : 구배강도 화상의 생성)

도 6의 스텝 S206에 나타내는 구배강도 화상의 생성 처리는, 도 15의 구배강도 화상 생성부(262)에 의해 실현된다. 보다 구체적으로는, 구배강도 화상 생성부(262)는, 사이드 정보(290)로부터 화상 공간상의 변화를 나타내는 구배강도 화상(292)을 생성한다. 구배강도 화상 생성부(262)에서의 구배강도 화상의 생성 방법은, 상술한 구배강도 화상 생성부(162)(도 7)에서의 구배강도 화상의 생성 방법과 마찬가지이기 때문에, 상세한 설명은 반복하지 않는다.

(f6 : 대상 화상의 재구성)

도 6의 스텝 S208에 나타내는 대상 화상의 재구성 처리는, 도 15의 계수 선택부(264), Lookup 테이블(266), 및 역모듈로 연산부(268)에 의해 실현된다. 대상 화상의 각 화소 위치의 휘도치는, 입력 데이터에 포함되는 잉여 화상(194)의 대응하는 화소 위치의 값(잉여(m))와, 잉여 화상(194)을 생성할 때에 이용된 계수(D)로부터, 역모듈로 연산에 의해 추정된다.

이 역모듈로 연산에 있어서, 인코드 처리에서 잉여 화상(194)을 생성할 때에 이용된 계수(D)가, 구배강도 화상(292)에 의거하여 추정(선택)된다. 즉, 계수 선택부(264)는, 구배강도 화상(292)의 각 화소 위치의 값에 응하여 계수(D)를 선택한다. 이 계수(D)의 선택 방법으로서는 임의의 방법을 채용할 수 있는데, 본 실시의 형태에서는, Lookup 테이블(266)을 참조하여, 각 화소 위치의 계수(D)를 선택한다. Lookup 테이블(266)은, 인코드 처리에서 이용되는 Lookup 테이블(166)(도 10)과 마찬가지이다. 계수 선택부(264)는, Lookup 테이블(266)을 참조하여, 구배강도 화상(292)의 각 화소 위치에 관해, 컬러 컴포넌트별로 계수(D)를 선택한다.

역모듈로 연산부(268)는, 각 화소 위치에 관해서의 선택된 계수(D) 및 잉여(m), 및 사이드 정보(290)의 대응하는 값(SI)를 이용하여, 역모듈로 연산을 행한다. 보다 구체적으로는, 역모듈로 연산부(268)는, 재구성 화상(294)의 휘도치에 관해서의 후보치(C(q'))의 리스트를 C(q')=q'×D+m(단, q'≥0, C(q')<256)에 따라 산출하고, 이 산출된 후보치(C(q')) 중, 사이드 정보(290)의 대응하는 값(SI)에 대한 차가 가장 작은 것이, 재구성 화상(294)의 대응하는 휘도치로서 결정된다.

예를 들면, 계수(D) = 8, 잉여(m) = 3, 사이드 정보(290)의 대응하는 값(SI) = 8의 경우를 생각하면, 후보치(C(q'))로서는, 이하와 같이 된다.

후보치 C(0) = 0×8+3 = 3 (SI와의 차 = 5)

후보치 C(1) = 1×8+3 = 11 (SI와의 차 = 3)

후보치 C(2) = 2×8+3 = 19 (SI와의 차 = 11)

…

이들의 후보치(C(q')) 중, 사이드 정보(290)의 대응하는 값(SI)과의 차가 가장 작아지는 후보치(C(1))가 선택되고, 재구성 화상(294)의 대응하는 휘도치는 「11」로 결정된다. 이와 같이 하여, 재구성 화상(294)의 각 화소 위치의 휘도치가 컬러 컴포넌트별로 각각 결정된다.

이와 같이 도 6의 스텝 S208에 나타내는 대상 화상의 재구성 처리는, 구배강도 화상(292)의 각 화소 위치에 관해 구배강도에 응한 계수(D)를 결정함과 함께, 결정한 계수(D)를 법으로 하고, 잉여 화상(194)의 대응하는 화소 위치의 값을 잉여(m)로 하는 역모듈로 연산에 의해 산출되는 후보치(C(q')) 중, 사이드 정보(290)의 대응하는 화소 위치의 값에 대한 차가 가장 작은 것을, 대상 화상(170)의 대응하는 화소 위치의 휘도치로서 결정하는 처리를 포함한다.

본 실시의 형태에 관한 디코드 처리의 최종 출력으로서, 적어도, 처리의 결과 얻어진 재구성 화상(294)과, 입력된 채로의 참조 화상(172 및 182)이 출력 및/또는 보존된다. 옵션으로서, 참조 화상(172)의 거리 화상(174), 및 참조 화상(182)의 거리 화상(184)이 출력되어도 좋다. 또한, 재구성 화상(294)은, 원래의 대상 화상(170) 및/또는 잉여 화상(194)과의 크기의 차이에 응하여, 임의의 크기로 리사이즈되어도 좋다.

[G. 이점]

본 실시의 형태에 의하면, 종래에 비교하여 보다 적절한 사이드 정보를 생성할 수 있음과 함께, 본 실시의 형태에 관한 사이드 정보를 이용함으로써, 재구성 화상의 품질을 높일 수 있다.

본 실시의 형태는, 다시점 화상의 데이터 표현, 화상 압축 전의 새로운 데이터 포맷이라는, 화상 처리 시스템이 다양한 어플리케이션에 응용할 수 있다.

본 실시의 형태에 의하면, 대규모의 다시점 화상을 위한, 잉여 베이스의 데이터 포맷을 이용함으로써, 보다 효율적인 표현이 가능해진다. 또한, 변환된 데이터 포맷은, 모바일 기기와 같은 전력 용량이 작은 장치에 대해 이용할 수 있다. 그 때문에, 본 실시의 형태에 의하면, 모바일 기기나 저소비 전력의 기기상에서 3차원상을 보다 간단하게 제공하는 가능성을 높일 수 있다.

금회 개시된 실시의 형태는, 모든 점에서 예시이고 제한적인 것이 아니라고 생각되어야 할 것이다. 본 발명의 범위는, 상기한 실시의 형태의 설명이 아니라 청구의 범위에 의해 나타나고, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

10 : 카메라
100, 200 : 정보 처리 장치
102, 202 : 무선 전송 장치
104, 204 : 프로세서
106, 206 : 메모리
108 : 카메라 인터페이스
110, 210 : 하드 디스크
112, 212 : 화상 데이터
114 : 인코드 프로그램
116, 216 : 입력부
118, 218 : 표시부
120, 220 : 통신 인터페이스
122, 222 : 버스
150 : 입력 화상 버퍼
152, 252 : 거리 정보 추정부
154, 254 : 거리 정보 버퍼
156 : 서브 샘플링부
158, 258 : 화상 합성부
160, 260 : 사이드 정보 선택부
162, 262 : 구배강도 화상 생성부
164, 264 : 계수 선택부
166, 266 : Lookup 테이블
168 : 모듈로 연산부
170 : 대상 화상
172, 182 : 참조 화상
174, 184 : 거리 화상
176, 276 : 합성 화상
178 : 축소 화상
179 : 확대 화상
190, 290 : 사이드 정보
192, 292 : 구배강도 화상
194 : 잉여 화상
208 : 프로젝터 인터페이스
214 : 디코드 프로그램
250 : 입력 데이터 버퍼
268 : 역모듈로 연산부
294 : 재구성 화상
300 : 입체표시 장치
302 : 컨트롤러
304 : 프로젝터 어레이
306 : 확산 필름
308 : 집광 렌즈
400 : 무선 기지국

Claims

서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법으로서,
상기 복수 화상을 취득함과 함께, 상기 복수 화상 중 대상 화상 및 상기 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과,
상기 제1의 참조 화상 및 상기 제2의 참조 화상에 의거하여, 상기 대상 화상에 대응하는 합성 화상을 생성하는 스텝과,
상기 대상 화상 및 상기 합성 화상의 적어도 일방에 의거하여, 상기 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 스텝과,
상기 사이드 정보로부터 구배강도 화상을 생성하는 스텝과,
상기 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 상기 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 상기 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 스텝과,
상기 대상 화상, 상기 제1의 참조 화상, 및 상기 제2의 참조 화상을 표현하는 정보로서, 상기 제1의 참조 화상, 상기 제2의 참조 화상, 및 상기 잉여 화상을 출력하는 스텝을 구비하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 사이드 정보를 생성하는 스텝은, 상기 대상 화상의 축소 화상과 상기 합성 화상을 조합하여 상기 사이드 정보를 생성하는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항 또는 제2항에 있어서,
상기 구배강도 화상을 생성하는 스텝은, 상기 사이드 정보 내의 텍스처 변화가 보다 큰 영역이 보다 큰 휘도를 갖는 화상을 생성하는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 잉여 화상을 생성하는 스텝은, 미리 정하여진 대응 관계를 참조하여, 구배강도에 대응하는 계수를 선택하는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 선택하는 스텝은,
상기 복수 화상이 다시점 화상인 경우에, 베이스 라인 거리에 의거하여, 상기 대상 화상 및 상기 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과,
상기 복수 화상이 영상 프레임열인 경우에, 프레임 레이트에 의거하여, 상기 대상 화상 및 상기 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
출력된 상기 제1의 참조 화상, 상기 제2의 참조 화상, 및 상기 잉여 화상을 취득하는 스텝과,
상기 제1의 참조 화상 및 상기 제2의 참조 화상에 의거하여, 상기 대상 화상에 대응하는 합성 화상을 생성하는 스텝과,
취득된 정보로부터 사이드 정보를 생성함과 함께, 상기 사이드 정보로부터 구배강도 화상을 생성하는 스텝과,
상기 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 결정한 계수를 법으로 하고, 상기 잉여 화상의 대응하는 화소 위치의 값을 잉여로 하는 역모듈로 연산에 의해 산출되는 후보치 중, 상기 사이드 정보의 대응하는 화소 위치의 값에 대한 차가 가장 작은 것을, 상기 대상 화상의 대응하는 화소 위치의 휘도치로서 결정하는 스텝을 또한 구비하는 것을 특징으로 하는 방법.
서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 프로그램으로서, 당해 프로그램은, 컴퓨터에,
상기 복수 화상을 취득함과 함께, 상기 복수 화상 중 대상 화상 및 상기 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 스텝과,
상기 제1의 참조 화상 및 상기 제2의 참조 화상에 의거하여, 상기 대상 화상에 대응하는 합성 화상을 생성하는 스텝과,
상기 대상 화상 및 상기 합성 화상의 적어도 일방에 의거하여, 상기 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 스텝과,
상기 사이드 정보로부터 구배강도 화상을 생성하는 스텝과,
상기 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 상기 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 상기 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 스텝과,
상기 대상 화상, 상기 제1의 참조 화상, 및 상기 제2의 참조 화상을 표현하는 정보로서, 상기 제1의 참조 화상, 상기 제2의 참조 화상, 및 상기 잉여 화상을 출력하는 스텝을 실행시키는 것을 특징으로 하는 프로그램.
서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 장치로서,
상기 복수 화상을 취득함과 함께, 상기 복수 화상 중 대상 화상 및 상기 대상 화상에 유사한 제1의 참조 화상 및 제2의 참조 화상을 선택하는 수단과,
상기 제1의 참조 화상 및 상기 제2의 참조 화상에 의거하여, 상기 대상 화상에 대응하는 합성 화상을 생성하는 수단과,
상기 대상 화상 및 상기 합성 화상의 적어도 일방에 의거하여, 상기 대상 화상의 위치에서의 가상적인 시야의 정보인 사이드 정보를 생성하는 수단과,
상기 사이드 정보로부터 구배강도 화상을 생성하는 수단과,
상기 구배강도 화상의 각 화소 위치에 관해 구배강도에 응한 계수를 결정함과 함께, 상기 대상 화상의 각 화소 위치의 휘도치에 대해 대응하는 계수를 법으로 하는 모듈로 연산을 행함으로써, 상기 모듈로 연산에 의해 산출되는 각 화소 위치의 잉여로 이루어지는 잉여 화상을 생성하는 수단과,
상기 대상 화상, 상기 제1의 참조 화상, 및 상기 제2의 참조 화상을 표현하는 정보로서, 상기 제1의 참조 화상, 상기 제2의 참조 화상, 및 상기 잉여 화상을 출력하는 수단을 구비하는 것을 특징으로 하는 장치.