KR20160057382A - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 개시는, 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있도록 하는 화상 처리 장치 및 방법에 관한 것이다. 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는 가상 촬상 화상 생성부를 구비한다. 본 개시는, 예를 들어, 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법 {IMAGE PROCESSING DEVICE AND METHOD}

본 개시는 화상 처리 장치 및 방법에 관한 것이며, 특히 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.

시점이 상이한 복수의 화상을 이용하여 측정 대상(피사체)까지의 거리를 측정하는 기술이 알려져 있다. 예를 들어, 스테레오 매칭이라고 불리는 방법을 이용한 거리 산출 방법이 제안되어 있다(예를 들어, 특허문헌 1 참조).

그리고 이러한 스테레오 매칭의 방법을 이용하여, 시점이 서로 다른 복수의 화상을 포함하는 다시점 화상으로부터 그 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터를 구하고, 그 뎁스 데이터를 이용하여 다시점 화상을 중첩시켜 화상을 생성하고, 그 화상을 유저에게 제공하는 것이 생각되었다.

일본 특허 공개 제2011-171858호 공보

그러나 이러한 다시점 화상을 이용한 서비스로서 한층 더 높은 편리성의 향상이 요망되었다.

본 개시는 이러한 상황을 감안하여 이루어진 것이며, 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있도록 하는 것이다.

본 기술의 화상 처리 장치는, 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는 가상 촬상 화상 생성부를 구비하는 화상 처리 장치이다.

상기 가상 촬상 화상 생성부는, 상기 다시점 화상에 대하여, 상기 프로파일 정보에 지정되는 수의 보간 화상을 생성하고, 상기 다시점 화상 및 상기 보간 화상을 이용하여 상기 가상의 촬상 화상을 생성할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 다시점 화상의 각 시점의 상대 위치 관계를 나타내는 배열 정보와, 상기 다시점 화상의 시점 수를 나타내는 눈 수 정보와, 상기 뎁스 데이터에 따라, 상기 보간 화상을 생성할 수 있다.

상기 배열 정보는, 기준으로 되는 시점으로부터 각 시점까지의 거리를 나타내는 정보와, 상기 기준으로 되는 시점으로부터 각 시점의 방향을 나타내는 정보를 포함하도록 할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 배열 정보 및 상기 눈 수 정보에 기초하여, 기준으로 하는 화상과, 매칭 축과, 보간 방법을 결정할 수 있다.

상기 가상 촬상 화상 생성부는, 결정된 상기 기준으로 하는 화상과 상기 매칭 축을 이용하여, 상기 보간 방법에 의하여 지정되는 화상을 상기 뎁스 데이터에 따라 중첩시킴으로써 상기 보간 화상을 생성할 수 있다.

상기 가상 촬상 화상 생성부는, 생성할 보간 화상의 위치에 따라, 중첩시킬 각 화상의 혼합비를 결정할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킴으로써 상기 가상의 촬상 화상을 생성할 수 있다.

상기 프로파일 정보는, 상기 가상의 광학계에 포함되는 가상의 렌즈의 PSF 데이터와, 상기 가상의 광학계에 포함되는 가상의 조리개의 형상을 나타내는 조리개 형상 정보와, 상기 보간 화상의 수를 나타내는 보간 화상 수 정보를 포함하도록 할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 뎁스 데이터에 따른 상기 가상의 렌즈의 PSF 데이터를 반영시킬 수 있다.

상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 다시점 화상 및 상기 보간 화상에, 상기 조리개 형상 정보에 의하여 나타나는 상기 가상의 조리개 형상을 반영시킬 수 있다.

상기 가상 촬상 화상 생성부는, 유저에 의하여 지정되는 상기 가상의 광학계에 관한 파라미터인 유저 지정 파라미터에 따라 상기 가상의 촬상 화상을 생성할 수 있다.

상기 유저 지정 파라미터는, 상기 가상의 촬상 화상 내에 있어서의 포커싱 위치를 지정하는 포커싱 위치 지정 정보와, 상기 가상의 촬상 화상의 피사계 심도를 지정하는 피사계 심도 지정 정보와, 상기 가상의 촬상 화상을 생성할 때의 초해상 처리에 관한 지정을 행하는 초해상 지정 정보를 포함하도록 할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 뎁스 데이터에 기초하여, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값을 구하고, 상기 가상의 촬상 화상의 포커싱 거리를 상기 뎁스값에 설정할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의 피사계 심도를, 상기 피사계 심도 지정 정보에 의하여 지정되는 피사계 심도에 설정할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 초해상 지정 정보의 지정에 따라, 상기 가상의 촬상 화상에 대하여 초해상 처리를 행할 수 있다.

상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의, 뎁스값이, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값과 동일 또는 근방인 부분에 대해서만 초해상 처리를 행할 수 있다.

상기 가상 촬상 화상 생성부는, 유저에 의하여 선택된 가상의 광학계 고유의 프로파일 정보를 기억부로부터 취득할 수 있다.

상기 가상 촬상 화상 생성부는, 다른 장치로부터 상기 프로파일 정보를 취득할 수 있다.

본 기술의 화상 처리 방법은, 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는 화상 처리 방법이다.

본 기술에 있어서는, 다시점 화상 데이터와, 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 가상의 광학계를 이용하여 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상이 생성된다.

본 기술에 의하면 화상을 처리할 수 있다. 또한 본 기술에 의하면 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

도 1은 다시점 화상 이용 서비스 플랫폼의 예를 설명하는 도면이다.
도 2는 다시점 화상을 이용하는 애플리케이션의 예를 설명하는 도면이다.
도 3은 다시점 화상 이용 서비스 제공 시스템의 주된 구성예를 도시하는 도면이다.
도 4는 단말 장치의 주된 구성예를 도시하는 도면이다.
도 5는 촬상부의 개요를 설명하는 도면이다.
도 6은 서버의 주된 구성예를 도시하는 도면이다.
도 7은 단말 장치 및 서버가 갖는 기능을 설명하는 기능 블록도이다.
도 8은 서버에서 관리되는 정보의 예를 나타내는 도면이다.
도 9는 다시점 화상 이용 서비스 제공 처리의 흐름의 예를 도시하는 흐름도이다.
도 10은 다시점 화상 및 뎁스 데이터의 예를 도시하는 도면이다.
도 11은 다시점 화상 파일의 주된 구성예를 나타내는 도면이다.
도 12는 카메라 배열의 예를 설명하는 도면이다.
도 13은 메타데이터의 예를 설명하는 도면이다.
도 14는 뎁스 검출 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 다시점 화상 이용 서비스 제공 시스템의 다른 구성예를 도시하는 도면이다.
도 16은 애플리케이션 제공 서버의 주된 구성예를 도시하는 도면이다.
도 17은 단말 장치, 서버, 애플리케이션 제공 서버가 갖는 기능을 설명하는 기능 블록도이다.
도 18은 다시점 화상 이용 서비스 제공 처리의 흐름의 다른 예를 도시하는 흐름도이다.
도 19는 정보 표시예를 도시하는 도면이다.
도 20은 다시점 화상 이용 서비스 제공 시스템의 또 다른 구성예를 도시하는 도면이다.
도 21은 가상 렌즈 처리의 흐름의 모습의 예를 설명하는 도면이다.
도 22는 단말 장치 및 서버가 갖는 기능을 설명하는 기능 블록도이다.
도 23은 다시점 화상 이용 서비스 제공 처리의 흐름의 또 다른 예를 도시하는 흐름도이다.
도 24는 가상 렌즈 선택의 모습의 예를 설명하는 도면이다.
도 25는 가상 렌즈 처리의 흐름의 예를 설명하는 흐름도이다.
도 26은 렌즈 프로파일의 예를 설명하는 도면이다.
도 27은 다시점 화상 이용 서비스 제공 시스템의 또 다른 구성예를 도시하는 도면이다.
도 28은 가구의 레이아웃의 모습의 예를 설명하는 도면이다.
도 29는 레이아웃의 다른 예를 설명하는 도면이다.
도 30은 단말 장치, 서버, 가구 판매 서버가 갖는 기능을 설명하는 기능 블록도이다.
도 31은 다시점 화상 이용 서비스 제공 처리의 흐름의 또 다른 예를 도시하는 흐름도이다.
도 32는 다시점 화상 이용 서비스 제공 처리의 흐름의 또 다른 예를 도시하는, 도 31에서 이어지는 흐름도이다.
도 33은 다시점 화상 이용 서비스 제공 처리의 흐름의 또 다른 예를 도시하는, 도 32에서 이어지는 흐름도이다.
도 34는 가구 화상 배치 처리의 흐름의 예를 설명하는 흐름도이다.
도 35는 가구 배치 갱신의 모습의 예를 설명하는 도면이다.
도 36은 가구 배치 갱신 처리의 흐름의 예를 설명하는 흐름도이다.
도 37은 접지 판정의 모습의 예를 설명하는 도면이다.
도 38은 접지 판정 처리의 흐름의 예를 설명하는 흐름도이다.
도 39는 계측의 모습의 예를 설명하는 도면이다.
도 40은 계측 처리의 흐름의 예를 설명하는 흐름도이다.
도 41은 조명의 시뮬레이션의 모습의 예를 설명하는 도면이다.
도 42는 조명 처리의 흐름의 예를 설명하는 흐름도이다.
도 43은 동선 안내의 모습의 예를 설명하는 도면이다.
도 44는 동선 안내 처리의 흐름의 예를 설명하는 흐름도이다.
도 45는 인물 화상 배치의 예를 설명하는 도면이다.
도 46은 인물 화상 배치 처리의 흐름의 예를 설명하는 흐름도이다.
도 47은 가구 리스트 제한 처리의 흐름의 예를 설명하는 흐름도이다.

이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라 함)에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.

1. 제1 실시 형태(다시점 화상 이용 서비스 플랫폼)

2. 제2 실시 형태(다시점 화상의 관리)

3. 제3 실시 형태(애플리케이션 판매)

4. 제4 실시 형태(가상 렌즈 처리)

5. 제5 실시 형태(판매 지원)

6. 기타

<1. 제1 실시 형태>

<다시점 화상 이용 서비스 플랫폼>

도 1은 다시점 화상 이용 서비스 플랫폼의 예를 설명하는 도면이다. 도 1에 도시되는 다시점 화상 이용 서비스 플랫폼(100)은, 시점이 서로 다른 복수의 화상을 포함하는 다시점 화상을 이용한 서비스를 유저에게 제공하는 기초적인 구조·환경이다. 다시점 화상 이용 서비스 플랫폼(100)은, 예를 들어, 클라우드 스토리지(101), 애플리케이션 마켓(102) 등의 기능을 갖는다.

클라우드 스토리지(101)는, 다시점 화상의 데이터인 다시점 화상 데이터(111)를 기억하고 관리하는 서비스이다. 예를 들어, 다시점 화상 이용 서비스 플랫폼에 등록 완료된 유저가 다시점 촬상 장치(121)를 조작하여, 피사체를 촬상하고, 시점이 서로 다른 복수의 촬상 화상을 다시점 화상으로서 얻는다. 그리고 그 유저가 다시점 촬상 장치(121)를 조작하여, 그 다시점 화상 데이터를 다시점 화상 이용 서비스 플랫폼(100)에 공급한다. 클라우드 스토리지(101)는 공급된 그 다시점 화상 데이터를 기억하고 유저마다 관리한다.

또한 클라우드 스토리지(101)는, 필요에 따라, 다시점 화상 데이터 등에 기초하여, 그 다시점 화상 데이터에 관련된 데이터를 생성할 수도 있다. 또한 클라우드 스토리지(101)는 유저 등으로부터의 요구에 따라, 그 관리하고 있는 다시점 화상 데이터를, 유저가 조작하는 단말 장치나 후술하는 애플리케이션에 제공할 수도 있다.

애플리케이션 마켓(102)은, 다시점 화상 데이터를 이용하여 어떠한 처리를 행하고, 다시점 화상을 이용한 서비스를 유저에게 제공할 애플리케이션(112)을 유저에게 제공하거나 판매하거나 실행하거나 하는 서비스이다. 즉, 이 애플리케이션(112)은 다시점 화상 이용 서비스 플랫폼(100)에 의하여 실행되어도 되고, 단말 장치에 있어서 실행되어도 된다.

이러한 애플리케이션(112)이 실행됨으로써, 유저에게는 다시점 화상을 이용한 게임, 공간 합성, 렌즈 시뮬레이션, 공간 인식, 판매 지원 등의, 편리성이 높은 다양한 서비스가 제공된다.

애플리케이션(112)이 제공하는 서비스는 다시점 화상을 이용하는 것이면 어떠한 것이어도 된다. 예를 들어, 렌즈 시뮬레이션은, 가상의 광학계를 시뮬레이션(모의적으로 현출)하고 다시점 화상을 이용하여, 그 가상의 광학계를 이용하여 피사체를 촬상한 가상의 촬상 화상을 생성하는 서비스이다. 그 경우, 애플리케이션(112)은, 예를 들어, 도 2의 A에 도시된 바와 같은, 가상의 렌즈(150)를 설정하고, 그 가상의 렌즈(150)에 입사되는 피사체로부터의 입사광인 광선 벡터(151), 가상의 렌즈(150)를 투과한 후의 입사광인 광선 벡터(152), 및 광선 벡터(152)로부터 가상의 촬상 화상을 얻는 가상의 이미지 센서(153) 등을 시뮬레이션한다(모의적으로 현출함). 그리고 애플리케이션(112)은 이상과 같은 시뮬레이션에 기초하여 다시점 화상으로부터 가상의 촬상 화상을 생성하여 유저에게 제공한다. 또한 애플리케이션(112)은 설정하는 가상의 렌즈(150)의 선택이나 판매 등을 행할 수도 있다.

렌즈 시뮬레이션은 가상의 렌즈를 설정할 수 있으므로, 임의의 사양의 광학계를 시뮬레이션할 수 있다. 즉, 렌즈 시뮬레이션은 실재하는 광학계여도, 비현실적인 광학계여도 시뮬레이션할 수 있다. 따라서 이러한 서비스가 제공됨으로써, 유저는 다양한 광학계에 의하여 얻어지는 촬상 화상을 재현할 수 있다. 예를 들어, 유저는 이러한 렌즈 시뮬레이션에 의하여, 다시점 화상을 구성하는 각 촬상 화상을 얻은 광학계보다도 대구경의 광학계를 이용한 촬상 화상을 용이하게 얻을 수 있다. 예를 들어, 유저는 이러한 렌즈 시뮬레이션에 의하여, 다시점 화상의 각 화상보다도 고해상도의 화상, 광각의 화상, 화각이 좁아 초점 거리가 먼 화상 등을 보다 용이하게 얻을 수 있다. 또한, 예를 들어, 유저는 이러한 렌즈 시뮬레이션에 의하여, 고급 렌즈를 이용한 촬상 화상이나 비현실적인 광학계를 이용한 촬상 화상을 용이하게 얻을 수도 있다. 즉, 유저는 저렴하게 다양한 촬상 화상을 얻을 수 있다.

또한, 예를 들어, 판매 지원은 다시점 화상을 이용하여 물품의 판매를 지원하는 서비스이다. 판매할 물품이나 지원의 방법은 어떠한 것이어도 된다. 예를 들어, 판매할 물품이 가구인 것으로 하고, 도 2의 B에 도시된 바와 같이 촬상 화상에 가구의 화상을 가상적으로 배치하는 서비스여도 된다. 그 경우, 애플리케이션(112)은 다시점 화상의 각 촬상 화상을 중첩시켜 촬상 화상을 생성하고, 그 촬상 화상 상에 가구의 화상을, 그 3차원 모델링 데이터(3D 모델링 데이터라고도 칭함)와, 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터를 이용하여 배치하고, 그 합성 화상을 유저에게 제공한다. 또한 애플리케이션(112)은 배치할 가구나 그 위치를 유저의 조작에 기초하여 설정한다.

이러한 서비스에 의하여 유저는, 예를 들어, 자신의 방을 촬상하고 그 촬상 화상(즉, 자신의 방의 화상) 상의 원하는 위치에 가구의 화상을 배치할 수 있다. 따라서 유저는 구입 전에 레이아웃을 보다 정확히 상정할 수 있다. 즉, 이러한 서비스에 의하여, 「구입한 가구를 자신의 방에 설치할 수 없는 것은 아닌지」, 「구입한 가구가 자신의 방에 맞지 않는 것은 아닐지」 등과 같은, 유저의 구입 전의 불안을 저감시킬 수 있어 유저의 구매 의욕을 향상시킬 수 있다. 즉, 애플리케이션(112)은 가구의 판매를 지원할 수 있다.

이상과 같이, 다시점 화상 이용 서비스 플랫폼(100)은 단순히 다시점 화상으로부터 1매의 화상을 생성하여 제공할 뿐만 아니라, 유저나 다시점 화상에 관한 데이터를 관리함과 함께 애플리케이션의 판매나 애플리케이션을 이용한 서비스의 제공을 행할 수 있으므로, 유저에게 있어 보다 편리성이 높은 다양한 서비스를 제공할 수 있다. 즉, 다시점 화상 이용 서비스 플랫폼(100)은 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

이상에 있어서, 다시점 화상은 복수의 촬상 화상을 포함하는 것으로 설명했는데, 다시점 화상을 구성하는 화상 수는 임의이다. 또한 다시점 화상을 구성하는 화상의 일부 혹은 전부, 또는 각 화상의 일부 혹은 전부가, 인공적으로 그려진 컴퓨터 그래픽 화상과 같은 비현실의 화상이어도 된다(즉, 다시점 화상이 촬상 화상 이외의 화상을 포함하도록 해도 됨).

또한 다시점 화상 이용 서비스 플랫폼(100)이 서비스를 제공하는 단말 장치는, 다시점 화상의 소유자인 유저가 조작하는 다시점 촬상 장치(121)여도 되고, 그 유저가 조작하는 다시점 촬상 장치(121) 이외의 단말 장치여도 되며, 그 유저가 다시점 화상의 사용을 허가한 다른 유저가 조작하는 단말 장치여도 된다.

또한 다시점 화상 이용 서비스 플랫폼(100)의 물리적 구성은 임의이다. 예를 들어, 1대의 서버에 의하여 구성되어도 되고, 복수의 서버에 의하여 구성되어도 된다. 또한, 예를 들어, 다시점 화상 이용 서비스 플랫폼(100)의 기능의 일부 또는 전부를 네트워크를 통하여 복수의 장치에서 분담하여 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취하도록 해도 된다. 또한 다시점 화상 이용 서비스 플랫폼(100)의 기능 일부 또는 전부를 단말 장치에 있어서 실행하도록 해도 된다.

이하에, 다시점 화상 이용 서비스 플랫폼(100)이 제공하는 서비스의 예의 상세에 대하여 설명한다.

<2. 제2 실시 형태>

<다시점 화상의 관리>

제1 실시 형태에 있어서 설명한 바와 같이 다시점 화상 이용 서비스 플랫폼(100)은, 예를 들어, 클라우드 스토리지(101)의 기능을 가지며, 다시점 화상 데이터를 기억하고 관리하는 서비스를 제공할 수 있다. 본 실시 형태에 있어서, 이 다시점 화상의 관리에 대하여 설명한다.

<다시점 화상 이용 서비스 제공 시스템>

도 3은 다시점 화상 이용 서비스 제공 시스템의 주된 구성예를 도시하는 도면이다. 도 3에 도시되는 다시점 화상 이용 서비스 제공 시스템(200)은 본 기술을 적용한 시스템의 일례이며, 서버(202)가 네트워크(210)를 통하여 접속되는 단말 장치(201)에 대하여, 다시점 화상을 이용한 서비스를 제공하는 시스템이다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)은 다시점 화상 이용 서비스 플랫폼(100)을 실현하는 구성의 일례이다.

도 3에는, 다시점 화상 이용 서비스 플랫폼(100)이 제공하는 서비스 중, 다시점 화상의 관리에 관한 서비스의 제공에 관한 구성의 예를 도시하고 있다. 도 3에 있어서, 다시점 화상 이용 서비스 제공 시스템(200)은 네트워크(210)에 접속되는 단말 장치(201) 및 서버(202)를 갖는다.

네트워크(210)는, 예를 들어, 인터넷이나 로컬 에리어 네트워크 등의 임의의 네트워크이다. 네트워크(210)는 유선 혹은 무선, 또는 그 양쪽에 의하여 구성되는 하나 또는 복수의 네트워크를 포함한다. 단말 장치(201) 및 서버(202)는 각각 유선 또는 무선에 의하여 그 네트워크(210)에 접속된다.

단말 장치(201)는, 피사체를 촬상함으로써, 시점이 서로 다른 복수의 촬상 화상을 포함하는 다시점 화상을 얻는 다시점 촬상을 행한다. 그리고 단말 장치(201)는 그 다시점 화상 데이터를 부호화하여 다시점 부호화 데이터를 생성한다. 단말 장치(201)는 생성한 다시점 부호화 데이터를 서버(202)에 전송한다.

서버(202)는, 미리 등록된 유저를 관리한다. 또한 서버(202)는 전송된 다시점 화상 부호화 데이터를 취득하고 그 다시점 화상의 뎁스를 검출하여 뎁스 데이터를 생성한다. 또한 서버(202)는 그들 다시점 화상에 관한 데이터를 파일화하여 다시점 화상 파일을 생성한다. 그리고 서버(202)는 생성한 다시점 화상 파일을 기억(보존)하고 관리한다. 이 서버(202)에 의하여 관리되는 다시점 화상 파일은 필요에 따라 단말 장치(201)나 실행되는 애플리케이션에 제공된다.

<단말 장치>

도 4는 단말 장치(201)의 주된 구성예를 도시하는 블록도이다. 도 4에 도시된 바와 같이 단말 장치(201)에 있어서, CPU(Central Processing Unit)(221), ROM(Read Only Memory)(222), RAM(Random Access Memory)(223)은 버스(224)를 통하여 서로 접속되어 있다.

버스(224)에는 또한 입출력 인터페이스(230)도 접속되어 있다. 입출력 인터페이스(230)에는 입력부(231), 출력부(232), 기억부(233), 통신부(234) 및 드라이브(235)가 접속되어 있다.

입력부(231)는, 유저 입력 등의 외부의 정보를 접수하는 입력 디바이스를 포함한다. 예를 들어, 입력부(231)에는 조작 버튼, 터치 패널, 마이크로폰, 입력 단자 등이 포함된다. 또한 가속도 센서, 광 센서, 온도 센서 등의 각종 센서가 입력부(231)에 포함되도록 해도 된다. 출력부(232)는 화상이나 음성 등의 정보를 출력하는 출력 디바이스를 포함한다. 예를 들어, 출력부(232)에는 디스플레이, 스피커, 출력 단자 등이 포함된다.

기억부(233)는, 예를 들어, 하드 디스크, RAM 디스크, 불휘발성 메모리 등을 포함한다. 통신부(234)는, 예를 들어, 네트워크 인터페이스를 포함한다. 드라이브(235)는, 예를 들어, 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(241)를 구동한다.

CPU(221)는, 예를 들어, 기억부(233)에 기억되어 있는 프로그램을 입출력 인터페이스(230) 및 버스(224)를 통하여 RAM(223)에 로드하여 실행함으로써 각종 처리를 행한다. RAM(223)에는 또한 CPU(221)가 각종 처리를 실행하는 데 있어 필요한 데이터 등도 적절히 기억된다.

CPU(221)가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(241)에 기록하여 단말 장치(201)에 제공할 수 있다. 그 경우, 프로그램은 리무버블 미디어(241)를 드라이브(235)에 장착함으로써 입출력 인터페이스(230)를 통하여 기억부(233)에 인스톨할 수 있다.

또한 이 프로그램은, LAN, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 단말 장치(201)에 제공할 수도 있다. 그 경우, 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(234)에서 수신하여 기억부(233)에 인스톨할 수 있다.

그 외에, 이 프로그램은 ROM(222)이나 기억부(233)에 미리 인스톨해 둘 수도 있다.

입출력 인터페이스(230)에는 또한 촬상부(236)가 접속된다. 촬상부(236)는, 예를 들어, CPU(221)에 제어되어, 피사체를 촬상하여 시점이 서로 다른 복수의 촬상 화상을 포함하는 다시점 화상을 얻는 다시점 촬상을 행한다. 촬상부(236)는 카메라 모듈(242-1) 내지 카메라 모듈(242-N)을 갖는다. N은 2 이상의 임의의 정수이다. 카메라 모듈(242-1) 내지 카메라 모듈(242-N)은 서로 마찬가지의 구성을 갖고 마찬가지의 처리를 행하는 모듈이다. 이하에 있어서, 카메라 모듈(242-1) 내지 카메라 모듈(242-N)을 서로 구별하여 설명할 필요가 없는 경우, 간단히 카메라 모듈(242)이라 칭한다.

카메라 모듈(242)은, 이미지 센서(촬상 소자)를 포함하는 광학계를 갖고 피사체를 촬상함으로써 촬상 화상을 얻는 모듈이다. 각 카메라 모듈(242)은 도 5에 도시되는 C11, C12, C13, C21, C22, C23, C31, C32, C33과 같이 평면 또는 곡면 상의 서로 다른 위치에 배치되어 있어, 서로 다른 시점을 갖는다. 즉, 카메라 모듈(242-1) 내지 카메라 모듈(242-N)은 피사체를 촬상하여 서로 다른 시점의 촬상 화상을 얻는다.

촬상부(236)는, CPU(221)에 제어되거나 하여, 이러한 카메라 모듈(242-1) 내지 카메라 모듈(242-N)을 이용하여 피사체를 촬상하여, 서로 다른 시점의 N매의(복수의) 촬상 화상을 얻는다. 촬상부(236)는 그 복수의 촬상 화상을 다시점 화상(다시점 화상 데이터)으로서 얻는다. 즉, 촬상부(236)는 각 카메라 모듈(242)을 이용하여 다시점 촬상을 행한다.

촬상부(236)는, CPU(221)에 제어되거나 하여, 얻어진 다시점 화상 데이터를 입출력 인터페이스(260)나 버스(224) 등을 통하여 CPU(221)나 RAM(223)에 공급하거나, 입출력 인터페이스(260)를 통하여 기억부(233)에 공급하여 기억시키거나, 출력부(232)에 공급하여 출력시키거나, 통신부(234)에 공급하여 외부에 공급시키거나 한다.

각 카메라 모듈(242)의 화각이나 촬상 방향은 서로 동일해도 되고 동일하지 않아도 된다. 예를 들어, 일부의 카메라 모듈(242)에 있어서, 화각 혹은 촬상 방향, 또는 그 양쪽이 다른 카메라 모듈(242)의 그것과 상이하도록 해도 된다. 또한, 예를 들어, 모든 카메라 모듈(242)의 화각이나 촬상 방향이 서로 상이하도록 해도 된다. 단, 후술하는 바와 같이 다시점 촬상 화상은 서로 중첩시켜 화상을 생성하는 데 이용되거나 하므로, 각 카메라 모듈(242)의 촬상 범위(즉, 각 카메라 모듈(242)의 피사체)는 적어도 그 일부가 서로 중복되도록 하는 것이 바람직하다.

또한 다시점 촬상에 있어서, 각 카메라 모듈(242)의 촬상 타이밍, 노광, 조리개 등의 촬상 조건은 서로 동일해도 되고 동일하지 않아도 된다. 또한 다시점 촬상에 의하여 얻어지는 다시점 화상(다시점 화상을 구성하는 각 촬상 화상)은 정지 화상이어도 되고 동화상이어도 된다.

또한 촬상부(236)는, 단말 장치(201)의 하우징에, 그 구성의 하나로서 제조 시에 설치되는 것이어도 되고, 단말 장치(201)와는 별체의, 단말 장치(201)에 접속 가능한 모듈로서 구성되도록 해도 된다. 예를 들어, 촬상부(236)가 단말 장치(201)의 외부 단자 등에 접속하여, 단말 장치(201)의 제어에 의하여 동작하는 외장형 부속 부품이어도 된다. 또한 촬상부(236)는 단말 장치(201)와는 별체의 독립된 장치로 해도 된다. 예를 들어, 촬상부(236)가 카메라 등의 단말 장치(201)와는 별개의 촬상 장치이고, 유선 또는 무선의 통신에 의하여 단말 장치(201)에 접속되어, 다시점 촬상에 의하여 얻어진 다시점 화상을 단말 장치(201)에 공급하도록 해도 된다.

<서버>

도 6은 서버(202)의 주된 구성예를 도시하는 블록도이다. 도 6에 도시된 바와 같이 서버(202)에 있어서, CPU(251), ROM(252), RAM(253)은 버스(254)를 통하여 서로 접속되어 있다.

버스(254)에는 또한 입출력 인터페이스(260)도 접속되어 있다. 입출력 인터페이스(260)에는 입력부(261), 출력부(262), 기억부(263), 통신부(264) 및 드라이브(265)가 접속되어 있다.

입력부(261)는, 유저 입력 등의 외부의 정보를 접수하는 입력 디바이스를 포함한다. 예를 들어, 입력부(261)에는 조작 버튼, 터치 패널, 마이크로폰, 카메라, 입력 단자 등이 포함된다. 또한 가속도 센서, 광 센서, 온도 센서 등의 각종 센서가 입력부(261)에 포함되도록 해도 된다. 출력부(262)는 화상이나 음성 등의 정보를 출력하는 출력 디바이스를 포함한다. 예를 들어, 출력부(262)에는 디스플레이, 스피커, 출력 단자 등이 포함된다.

기억부(263)는, 예를 들어, 하드 디스크, RAM 디스크, 불휘발성 메모리 등을 포함한다. 통신부(264)는, 예를 들어, 네트워크 인터페이스를 포함한다. 드라이브(265)는, 예를 들어, 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(271)를 구동한다.

CPU(251)는, 예를 들어, 기억부(263)에 기억되어 있는 프로그램을 입출력 인터페이스(260) 및 버스(254)를 통하여 RAM(253)에 로드하여 실행함으로써 각종 처리를 행한다. RAM(253)에는 또한 CPU(251)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(251)가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(271)에 기록하여 서버(202)에 제공할 수 있다. 그 경우, 프로그램은 리무버블 미디어(271)를 드라이브(265)에 장착함으로써 입출력 인터페이스(260)를 통하여 기억부(263)에 인스톨할 수 있다.

또한 이 프로그램은, LAN, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 서버(202)에 제공할 수도 있다. 그 경우, 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(264)에서 수신하여 기억부(263)에 인스톨할 수 있다.

그 외에, 이 프로그램은 ROM(252)이나 기억부(263)에 미리 인스톨해 둘 수도 있다.

<기능 블록>

단말 장치(201)는, CPU(221)가 소정의 프로그램을 실행함으로써, 도 7의 A에 기능 블록으로서 도시되는 기능을 갖는다. 도 7의 A에 도시된 바와 같이 CPU(221)는, 촬상 제어부(281), 메타데이터 생성부(282), 부호화부(283) 및 전송 제어부(284) 등의 기능 블록을 갖는다.

촬상 제어부(281)는, 다시점 촬상의 제어에 관한 처리를 행한다. 메타데이터 생성부(282)는 다시점 촬상에 의하여 얻어진 다시점 화상의 메타데이터 생성에 관한 처리를 행한다. 부호화부(283)는 다시점 화상의 부호화에 관한 처리를 행한다. 전송 제어부(284)는 다시점 화상 데이터 등의 전송 제어에 관한 처리를 행한다.

또한 서버(202)는, CPU(251)가 소정의 프로그램을 실행함으로써, 도 7의 B에 기능 블록으로서 도시되는 기능을 갖는다. 도 7의 B에 도시된 바와 같이 CPU(251)는, 유저 관리부(291), 취득 제어부(292), 뎁스 검출부(293), 파일 생성부(294) 및 데이터 관리부(295) 등의 기능 블록을 갖는다.

유저 관리부(291)는, 다시점 화상 이용 서비스를 제공할 유저의 관리에 관한 처리를 행한다. 예를 들어, 유저 관리부(291)는 각 유저에 대하여, 도 8의 A에 나타난 바와 같은 유저 관리 정보(301)를 기억부(263)에 기억시키고 관리한다. 도 8의 A에 나타난 바와 같이 이 유저 관리 정보(301)에는, 예를 들어, 유저의 식별 정보인 유저 ID, 유저의 구입 이력, 유저에 매칭된(유저에 등록된) 파일 관리 정보의 식별 정보인 파일 관리 정보 식별 정보, 예를 들어, 통계 분석 등에 의하여 유저가 선호하는 세팅을 예상한 정보인 선호 세팅 예상, 유저가 가진 포인트(또는 돈), 및 다른 유저에 대하여 보냈거나, 혹은 다른 유저가 보내온 코멘트 등이 포함된다. 물론 유저 관리 정보(301)의 내용은 임의이며, 상술한 정보의 일부가 생략되어도 되고 상술한 것 이외의 정보가 포함되어 있어도 된다.

취득 제어부(292)는, 단말 장치(201)로부터 전송되는 다시점 화상 데이터 등의 정보의 취득 제어에 관한 처리를 행한다. 뎁스 검출부(293)는 다시점 화상의 뎁스값의 검출에 관한 처리를 행한다. 파일 생성부(294)는 다시점 화상 데이터를 포함하는 각종 데이터를 파일화한 다시점 화상 파일의 생성에 관한 처리를 행한다.

데이터 관리부(295)는, 다시점 화상 파일 등의 데이터의 관리에 관한 처리를 행한다. 예를 들어, 데이터 관리부(295)는 각 다시점 화상 파일에 대하여, 도 8의 B에 나타난 바와 같은 파일 관리 정보(302)를 기억부(263)에 기억시키고 관리한다. 도 8의 B에 나타난 바와 같이 이 파일 관리 정보(302)에는, 예를 들어, 다시점 화상 파일의 식별 정보인 다시점 화상 파일 식별 정보, 다시점 화상 파일에 매칭된, 다시점 화상의 편집 결과인 편집 결과 화상의 식별 정보인 편집 결과 화상 식별 정보, 및 다시점 화상 파일에 매칭된, 다시점 화상을 이용한 애플리케이션의 동작 등의 이력인 애플리케이션 파라미터의 식별 정보인 애플리케이션 파라미터 식별 정보 등이 포함된다. 물론 파일 관리 정보(302)의 내용은 임의이며, 상술한 정보의 일부가 생략되어도 되고 상술한 것 이외의 정보가 포함되어 있어도 된다.

<다시점 화상 이용 서비스 제공 처리의 흐름>

이상과 같은 구성의 다시점 화상 이용 서비스 제공 시스템의 단말 장치(201) 및 서버(202)는 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 다시점 화상을 이용하는 서비스의 제공, 본 실시 형태의 경우, 다시점 화상의 관리 등의 서비스의 제공을 행한다. 도 9의 흐름도를 참조하여, 이들 장치가 실행하는 다시점 화상 이용 서비스 제공 처리의 흐름의 예를 설명한다.

스텝 S101에 있어서, 단말 장치(201)의 촬상 제어부(281)는, 촬상부(236)를 제어하여, 피사체를 다시점 촬상하여 다시점 화상을 얻는다. 예를 들어, 촬상 제어부(281)는 다시점 촬상에 의하여, 도 10의 A에 도시된 바와 같은, 시점이 서로 다른 복수의 촬상 화상을 포함하는 다시점 화상(311)을 얻는다.

도 9로 되돌아가, 다시점 촬상에 의하여 다시점 화상 데이터가 얻어지면, 스텝 S102에 있어서, 메타데이터 생성부(282)는 다시점 화상 데이터의 메타데이터를 생성한다. 메타데이터의 상세에 대해서는 후술하겠지만, 메타데이터에는, 예를 들어, 다시점 화상의 각 시점의 상대 위치 관계를 나타내는 배열 정보와, 다시점 화상의 시점 수를 나타내는 눈 수 정보가 포함된다. 즉, 메타데이터 생성부(282)는 이들 배열 정보나 눈 수 정보를 포함하는 메타데이터를 생성하고, 그것을 다시점 화상 데이터에 매칭시킨다.

스텝 S103에 있어서, 부호화부(283)는, 다시점 화상 데이터를 소정의 부호화 방법으로 부호화하여 다시점 화상 부호화 데이터를 생성한다. 이 부호화 방법은 화상 데이터를 부호화하는 방법이면 어떠한 방법이어도 된다. 예를 들어, JPEG(Joint Photographic Experts Group)나 MPEG(Moving Picture Experts Group) 등과 같은 기존의 부호화 방법이어도 되고, 새로운 다시점 화상 전용의 부호화 방법이어도 된다. 또한 상술한 다시점 화상 데이터의 메타데이터(예를 들어, 배열 정보나 눈 수 정보 등)는 다시점 화상 데이터의 부호화 후, 메타데이터 생성부(282)에 의하여 이 다시점 화상 부호화 데이터에 매칭된다(다시점 화상 부호화 데이터의 메타데이터가 됨).

스텝 S104에 있어서, 전송 제어부(284)는, 통신부(234)를 제어하여, 스텝 S103에 있어서 생성된 다시점 화상 부호화 데이터를, 스텝 S102에 있어서 생성된 메타데이터와 함께 서버(202)에 전송시킨다. 예를 들어, 전송 제어부(284)는 다시점 화상 부호화 데이터나 메타데이터를 비트 스트림 또는 비트 스트림의 보조 정보로서 전송한다.

스텝 S111에 있어서, 서버(202)의 취득 제어부(292)는, 통신부(264)를 제어하여, 스텝 S104에 있어서 단말 장치(201)로부터 전송된 다시점 화상 부호화 데이터 및 그 메타데이터를 취득한다.

스텝 S112에 있어서 뎁스 검출부(293)는, 스텝 S111에 있어서 취득된 다시점 화상 부호화 데이터를, 스텝 S103의 부호화 방법에 대응하는 복호 방법으로 복호한다.

스텝 S113에 있어서 뎁스 검출부(293)는, 스텝 S112에 있어서 다시점 화상 부호화 데이터가 복호되어 얻어진 다시점 화상 데이터를 이용하여, 그 다시점 화상의 뎁스를 검출하여 뎁스 데이터를 생성한다. 예를 들어, 뎁스 검출부(293)는 뎁스 데이터로서, 도 10의 B에 도시된 바와 같은, 피사체까지의 거리를 화소마다 휘도나 색으로 나타낸 뎁스 맵(312)을 생성한다. 또한 뎁스의 검출의 상세에 대해서는 후술한다.

도 9로 되돌아가, 뎁스 데이터가 생성되면, 뎁스 검출부(293)는 스텝 S114에 있어서, 뎁스가 검출된 다시점 화상 데이터를 부호화하여 다시점 화상 부호화 데이터를 생성한다. 이 부호화 방법은 화상 데이터를 부호화하는 방법이면 어떠한 방법이어도 된다. 예를 들어, JPEG이나 MPEG 등과 같은 기존의 부호화 방법이어도 되고, 새로운 다시점 화상 전용의 부호화 방법이어도 된다. 스텝 S103의 부호화 방법과 동일해도 되고 동일하지 않아도 된다. 뎁스 검출부(293)는 생성한 뎁스 데이터를 이 다시점 화상 부호화 데이터에 매칭시킨다.

또한 이 뎁스 검출(뎁스 데이터의 생성)은 서버(202) 이외의 임의의 장치에 있어서 행해지도록 해도 된다. 예를 들어, 단말 장치(201)에 있어서 행해지도록 해도 된다. 그 경우, 단말 장치(201)의 CPU(221)가 뎁스 검출부(293) 등의 필요한 기능 블록을 적절히 갖도록 하면 된다. 그 경우, 뎁스 검출부(293)는 부호화부(283)에 의하여 다시점 화상 데이터가 부호화되기 전(스텝 S103의 처리가 실행되기 전)에 뎁스를 검출하도록 하면 된다. 그리고 스텝 S103에 있어서, 상술한 바와 같이 부호화부(283)가 다시점 화상 데이터를 부호화하고, 뎁스 검출부(293)가 다시점 화상 부호화 데이터에 뎁스 데이터를 매칭시키고, 메타데이터 생성부(282)가 다시점 화상 부호화 데이터에 메타데이터(예를 들어, 배열 정보나 눈 수 정보 등)를 매칭시키도록 하면 된다.

스텝 S115에 있어서 파일 생성부(294)는, 스텝 S114에 있어서 생성된 다시점 화상 부호화 데이터, 그 메타데이터, 및 스텝 S113에 있어서 생성된 뎁스 데이터를 포함하는 다시점 화상 파일을 생성한다. 또한 이 다시점 화상 파일의 포맷 형식은 임의이다. 예를 들어, 다시점 화상이 정지 화상인 경우, EXIF(Exchangeable Image File Format) 파일 포맷으로 파일화되도록 해도 된다. 또한, 예를 들어, 다시점 화상이 동화상인 경우, MP4(MPEG-4 Part 14) 파일 포맷으로 파일화되도록 해도 된다. 물론 이들 이외의 포맷 형식으로 파일화되도록 해도 된다.

예를 들어, 파일 생성부(294)는 도 11에 나타난 바와 같은 구성의 다시점 화상 파일(321)을 생성한다. 도 11의 예의 경우, 다시점 화상 파일(321)에는 다시점 화상 부호화 데이터(331), 뎁스 데이터(332) 및 메타데이터(333)가 포함된다.

다시점 화상 부호화 데이터(331)는 스텝 S114에 있어서 생성된 다시점 화상 부호화 데이터이다. 뎁스 데이터(332)는 스텝 S113에 있어서 생성된 뎁스 데이터이고, 다시점 화상 부호화 데이터(331)의 다시점 화상의 뎁스 데이터이다. 메타데이터(333)는 스텝 S102에 있어서 생성된 메타데이터이고, 다시점 화상 부호화 데이터(331)의 메타데이터이다.

메타데이터(333)에는, 예를 들어, 도 11에 나타난 바와 같이 카메라 모듈 정보(341), 카메라 배열 정보(342), 눈 수 정보(343), 캘리브레이션 정보(344) 및 기준선 길이 정보(345)가 포함된다.

카메라 모듈 정보(341)는 다시점 화상을 얻는 촬상에 관한 정보, 즉, 촬상부(236)의 각 카메라 모듈(242)에 관한 정보이다. 예를 들어, 촬상부(236)에 카메라 모듈(242)이 N개 설치되어 있는 경우, 메타데이터(333)에는 N개의 카메라 모듈 정보(341)가 포함된다. 카메라 모듈 정보(341)에는, 예를 들어, 도 11에 나타난 바와 같이 해상도, 초점 거리, ISO 감도, 촬상 방향, 셔터 스피드, F값 및 화각 등의 정보가 포함된다. 물론 카메라 모듈 정보(341)의 구성은 임의이며, 이들 정보 중 일부가 생략되도록 해도 되고 이들 이외의 정보가 포함되도록 해도 된다.

카메라 배열 정보(342)는 각 카메라 모듈(242)의 상대 위치 관계를 나타내는 정보이다. 즉, 카메라 배열 정보(342)는 다시점 화상의 각 시점의 상대 위치 관계를 나타내는 정보이다. 예를 들어, 카메라 배열 정보(342)는 도 12에 도시된 바와 같이, 기준으로 하는 카메라 모듈 C₀으로부터 그 외의 카메라 모듈 C_x(도 12의 예의 경우, x=1 내지 8)까지의 거리 L_x(기준으로 되는 시점으로부터 각 시점까지의 거리 L_x)와, 기준으로 하는 카메라 모듈 C₀으로부터 그 외의 카메라 모듈 C_x의 방향 R_x(기준으로 되는 시점으로부터 각 시점의 방향 R_x)를 포함한다.

눈 수 정보(343)는 각 카메라 모듈(242)의 수(시점 수)를 나타내는 정보이다. 캘리브레이션 정보(344)는 각 카메라 모듈(242)의 편차를 나타내는 정보이다. 기준선 길이 정보(345)는 다시점 화상에 있어서의 길이의 기준으로 되는 정보이다.

또한 메타데이터(333)의 구성은 임의이며, 이들 정보 중 일부가 생략되도록 해도 되고 이들 이외의 정보가 포함되도록 해도 된다.

도 13은, 이러한 메타데이터의 각 데이터의 구성예를 나타내는 도면이다. 도 13의 A에 나타난 바와 같이 카메라 모듈 정보(341)는, 해상도, 초점 거리, ISO 감도, 촬상 방향, 셔터 스피드, F값 및 화각 등의 정보가, 카메라 모듈(242)마다 나타난 바와 같이 해도 된다.

각 카메라 모듈(242)의 이들 파라미터를 서로 다른 값으로 하면, 예를 들어, 다시점 화상의 각 촬상 화상을 중첩시킬 때, 파라미터의 값에 따라, 중첩시키는 촬상 화상의 선택이나 그 혼합비 등을 제어함으로써, 보다 고화질의 화상을 얻을 수 있다. 예를 들어, 이들 파라미터가 원하는 값에 가까운 촬상 화상만을 중첩시키거나, 또는 그 파라미터가 그 원하는 값에 가까운 촬상 화상을 보다 강하게 중첩시킴으로써(그 촬상 화상의 혼합비를 높게 함으로써), 그 파라미터가 그 원하는 값에 가까운 화상을 얻기 쉬워진다. 그 때문에, 파라미터를 변경하기 위한 불필요한 화상 처리를 저감시킬 수 있으므로, 화상 처리에 의한 화질의 저감을 억제할 수 있다(보다 고화질의 화상을 얻을 수 있음).

또한 각 촬상 화상이, 이들 파라미터에 대하여 다양한 값을 취하게 되기 때문에, 중첩 결과 얻어지는 화상의 파라미터를 어떠한 값으로 한다고 하더라도 그 원하는 값에 가까운 촬상 화상이 얻어진다. 즉, 파라미터의 값에 관계없이 보다 고화질의 화상을 얻을 수 있다.

카메라 배열 정보(342)는, 상술한 바와 같이 각 카메라 모듈(242)의 배열을, 도 11의 예와 같이 상대 위치 관계(C_N·L_N·R_N)로 나타내도록 해도 되고, 도 13의 A의 예와 같이 「X형」과 같은, 미리 정해진 배열의 형태로 나타내도록 해도 된다. 도 11의 예와 같이 함으로써 배열의 자유도를 향상시킬 수 있고, 도 13의 예와 같이 함으로써 메타데이터의 정보량의 증대를 억제할 수 있다.

또한 눈 수 정보(343)는 도 13의 A에 나타나는 예와 같이 숫자로 표시된다.

캘리브레이션 정보(344)는, 예를 들어, 다시점 화상의 각 시점의 위치를 나타내는 정보에 의하여 구성되도록 해도 된다. 도 13의 A의 예의 경우, 캘리브레이션 정보(344)는 각 카메라 모듈(242)의 좌표 정보(각 카메라 모듈의 중심 좌표를 나타내는 정보)에 의하여 구성된다. 또한 캘리브레이션 정보(344)는, 예를 들어, 다시점 화상의 각 화상의 휘도를 보정하는 정보에 의하여 구성되도록 해도 된다. 도 13의 B의 예의 경우, 캘리브레이션 정보(344)는 각 카메라 모듈(242)의 휘도 보정 데이터 정보에 의하여 구성된다.

기준선 길이 정보(345)는, 예를 들어, 다시점 화상의 기준으로 되는 시점으로부터 각 시점까지의 거리를 나타내는 정보를 포함하도록 해도 된다. 도 13의 C의 예의 경우, 기준선 길이 정보(345)는 기준으로 되는 카메라 모듈(242)로부터 다른 카메라 모듈(242)까지의 거리를 나타내는 정보를 포함한다.

도 9로 되돌아가, 스텝 S116에 있어서 데이터 관리부(295)는, 스텝 S115에 있어서 생성된 다시점 화상 파일을 기억부(263)에 공급하여 기억시키고, 그 다시점 화상 파일의 파일 관리 정보(302)를 생성하여 관리한다. 또한 유저 관리부(291)는 기억부(263)에 기억되어 있는, 당해 유저의 유저 관리 정보(301)를 갱신하고, 그 다시점 화상 파일을 유저에 등록한다.

스텝 S116의 처리가 종료되면, 다시점 화상 이용 서비스 제공 처리가 종료된다.

이러한 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 유저는 다시점 촬상에 의하여 얻어진 다시점 화상 데이터의 서버(202)에의 등록을 보다 용이하게 행할 수 있다. 또한 다시점 화상 데이터가, 그 다시점 화상에 관한 관련 데이터(뎁스 데이터나 메타데이터 등)와 함께 파일화되어 관리되므로, 유저는 자신이 등록한 다시점 화상 데이터를 보다 용이하게 이용할 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)(다시점 화상 이용 서비스 플랫폼(100))은 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

또한 이상에 있어서는, 복수의 카메라 모듈(242)을 갖는 촬상부(236)를 이용하여 다시점 촬상을 행하여 다시점 화상(다시점 화상 데이터)을 생성하는 것으로 설명했지만, 다시점 화상(다시점 화상 데이터)의 생성 방법은 임의이다. 예를 들어, 단일의 촬상 소자와 광학계를 갖는 촬상부(즉, 단일의 카메라 모듈(242)을 갖는 촬상부)를 이용하여 촬상 위치나 촬상 방향(즉, 시점)을 이동시키면서 촬상(동화상 촬상이어도 되고 복수의 정지 화상 촬상이어도 됨)을 행함으로써, 다시점 화상을 생성하도록 해도 된다. 그 경우, 촬상 위치나 촬상 방향(시점)의 변위에 관한 정보를 메타데이터로서 다시점 화상 데이터(다시점 화상 부호화 데이터)에 매칭시키는 것이 바람직하다.

또한 이상에 있어서는, 파일 생성부(294)가 생성한 다시점 화상 파일이 서버(202)의 기억부(263)에 기억되고 관리되는 것으로 설명했지만, 다시점 화상 파일이 관리되는 장소는 임의이다. 예를 들어, 다시점 화상 파일이 서버(202) 이외의 장치(예를 들어, 도시하지 않은 파일 관리 서버 등)에 있어서 기억되고 관리되도록 해도 된다. 그 경우, 파일 생성부(294)는 생성한 다시점 화상 파일을 통신부(264)를 통하여, 예를 들어, 비트 스트림 또는 비트 스트림의 보조 정보로서 그 장치에 전송한다. 그 경우, 그 장치가, 서버(202)와 통신하여 다시점 화상 파일을 취득하는 통신부와, 취득한 다시점 화상 파일을 기억하는 기억부와, 그 기억부에 기억된 다시점 화상 파일을 관리하고, 필요에 따라 그 다시점 화상 파일을 갱신하거나 단말 장치(201)나 서버(202) 등의 다른 장치에 공급하거나 하는 기능 블록인 데이터 관리부를 갖도록 하면 된다.

또한 이상에 있어서는, 서버(202)에 있어서 다시점 화상 파일이 생성되는 것으로 설명했지만, 다시점 화상 파일의 생성은 임의의 장치에 있어서 행해지도록 해도 된다. 예를 들어, 단말 장치(201)에 있어서 행해지도록 해도 된다. 그 경우, 단말 장치(201)의 CPU(221)가 파일 생성부(294) 등의 필요한 기능 블록을 적절히 갖도록 하면 된다. 그 경우, 파일 생성부(294)는, 부호화부(283)에 의하여 다시점 화상 데이터가 부호화된 후(스텝 S103의 처리 후), 다시점 화상 파일을 생성하도록 하면 된다. 그리고 스텝 S104에 있어서, 전송 제어부(284)가 다시점 화상 파일을, 예를 들어, 비트 스트림 또는 비트 스트림의 보조 정보로서 서버(202)에 전송하고, 스텝 S111에 있어서, 취득 제어부(292)가 통신부(264)를 제어하여 그 다시점 화상 파일을 취득하도록 하면 된다.

<뎁스 검출 처리의 흐름>

다음으로, 도 14의 흐름도를 참조하여, 도 9의 스텝 S113에 있어서 실행되는 뎁스 검출 처리의 흐름의 예를 설명한다.

뎁스 검출 처리가 개시되면 뎁스 검출부(293)는, 스텝 S131에 있어서 메타데이터(333)를 취득한다. 스텝 S132에 있어서, 뎁스 검출부(293)는 각 카메라 모듈(242)의 해상도 등에 따라 각 촬상 화상의 해상도를 보정한다.

스텝 S133에 있어서, 뎁스 검출부(293)는, 각 카메라 모듈의 셔터 스피드 등에 따라 각 촬상 화상의 휘도를 보정한다. 스텝 S134에 있어서, 뎁스 검출부(293)는 각 카메라 모듈의 화각 등에 따라, 뎁스 연산에 이용할 영역을 설정한다.

스텝 S135에 있어서, 뎁스 검출부(293)는 기준선 길이 정보(345) 등에 기초하여 디스패리티 평가 시의 어긋남양을 보정한다. 스텝 S136에 있어서, 뎁스 검출부(293)는 카메라 배열이나 눈 수 등에 기초하여 기준 카메라, 매칭 축 및 화상 보관 방법 등을 결정한다.

스텝 S137에 있어서, 뎁스 검출부(293)는, 캘리브레이션 정보(344)에 기초하여 각 촬상 화상을 교정한다. 스텝 S138에 있어서, 뎁스 검출부(293)는 스테레오 매칭의 반복 등에 의하여 뎁스 추정을 행하여 뎁스 데이터를 검출한다.

뎁스 데이터가 검출되면 처리는 도 9로 되돌아간다.

이상과 같이 뎁스 검출 처리가 행해짐으로써, 유저는 보다 용이하게 뎁스 데이터를 생성하여 이용할 수 있다.

<3. 제3 실시 형태>

<애플리케이션 판매>

제1 실시 형태에 있어서 설명한 바와 같이 다시점 화상 이용 서비스 플랫폼(100)은, 예를 들어, 애플리케이션 마켓(102)에 있어서, 애플리케이션(112)을 판매하는 서비스를 제공할 수 있다. 본 실시 형태에 있어서, 이 애플리케이션의 판매에 대하여 설명한다.

<다시점 화상 이용 서비스 제공 시스템>

도 15는, 다시점 화상 이용 서비스 제공 시스템의 주된 구성예를 도시하는 도면이다. 도 15에 도시되는 다시점 화상 이용 서비스 제공 시스템(200)은 본 기술을 적용한 시스템의 일례이며, 서버(202)가, 네트워크(210)를 통하여 접속되는 단말 장치(201)에 대하여, 다시점 화상을 이용한 서비스를 제공하는 시스템이다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)은 다시점 화상 이용 서비스 플랫폼(100)을 실현하는 구성의 일례이다.

도 15에는, 다시점 화상 이용 서비스 플랫폼(100)이 제공하는 서비스 중, 애플리케이션(112)의 판매 또는 제공에 관한 서비스의 제공에 관한 구성의 예를 도시하고 있다. 도 15에 있어서, 다시점 화상 이용 서비스 제공 시스템(200)은, 네트워크(210)에 접속되는 단말 장치(401), 서버(202) 및 애플리케이션 제공 서버(402)를 갖는다.

네트워크(210)에 유선 또는 무선에 의하여 접속되는 단말 장치(401)는, 서버(202)와 통신을 행함으로써, 애플리케이션(112)의 구입에 관한 절차를 행한다. 단말 장치(401)는, 단말 장치(201)여도 되고, 단말 장치(201)와 상이한 단말 장치여도 된다. 단말 장치(401)는, 기본적으로 단말 장치(201)와 마찬가지의 구성을 갖는다. 따라서 도 4에 도시되는 구성은 단말 장치(401)에도 적용할 수 있다. 단, 단말 장치(401)의 경우, 촬상에 관한 기능은 불필요하므로 촬상부(236)는 생략할 수 있다.

애플리케이션 제공 서버(402)는 애플리케이션(112)을 다시점 화상 이용 서비스 플랫폼(100)(애플리케이션 마켓(102))에 제공하는 서버이다. 서버(202)는, 애플리케이션 제공 서버(402)가 제공할 애플리케이션을 단말 장치(401)(의 유저)에게 판매 또는 제공한다.

<서버>

도 16은, 애플리케이션 제공 서버(402)의 주된 구성예를 도시하는 블록도이다. 도 16에 도시된 바와 같이, 애플리케이션 제공 서버(402)에 있어서, CPU(411), ROM(412), RAM(413)은, 버스(414)를 통하여 서로 접속되어 있다.

버스(414)에는 또한, 입출력 인터페이스(420)도 접속되어 있다. 입출력 인터페이스(420)에는 입력부(421), 출력부(422), 기억부(423), 통신부(424) 및 드라이브(425)가 접속되어 있다.

입력부(421)는, 유저 입력 등의 외부의 정보를 접수하는 입력 디바이스를 포함한다. 예를 들어, 입력부(421)에는 조작 버튼, 터치 패널, 마이크로폰, 카메라, 입력 단자 등이 포함된다. 또한 가속도 센서, 광 센서, 온도 센서 등의 각종 센서가 입력부(421)에 포함되도록 해도 된다. 출력부(422)는 화상이나 음성 등의 정보를 출력하는 출력 디바이스를 포함한다. 예를 들어, 출력부(422)에는 디스플레이, 스피커, 출력 단자 등이 포함된다.

기억부(423)는, 예를 들어, 하드 디스크, RAM 디스크, 불휘발성 메모리 등을 포함한다. 통신부(424)는, 예를 들어, 네트워크 인터페이스를 포함한다. 드라이브(425)는, 예를 들어, 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(431)를 구동한다.

CPU(411)는, 예를 들어, 기억부(423)에 기억되어 있는 프로그램을 입출력 인터페이스(420) 및 버스(414)를 통하여 RAM(413)에 로드하여 실행함으로써 각종 처리를 행한다. RAM(413)에는 또한, CPU(411)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(411)가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(431)에 기록하여 애플리케이션 제공 서버(402)에 제공할 수 있다. 그 경우, 프로그램은 리무버블 미디어(431)를 드라이브(425)에 장착함으로써 입출력 인터페이스(420)를 통하여 기억부(423)에 인스톨할 수 있다.

또한 이 프로그램은, LAN, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 애플리케이션 제공 서버(402)에 제공할 수도 있다. 그 경우, 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(424)에서 수신하여 기억부(423)에 인스톨할 수 있다.

그 외에, 이 프로그램은 ROM(412)이나 기억부(423)에 미리 인스톨해 둘 수도 있다.

<기능 블록>

단말 장치(401)는, CPU(221)가 소정의 프로그램을 실행함으로써, 도 17의 A에 기능 블록으로서 도시되는 기능을 갖는다. 도 17의 A에 도시된 바와 같이 CPU(221)는 애플리케이션 구입 처리부(441) 등의 기능 블록을 갖는다.

애플리케이션 구입 처리부(441)는, 입력부(231), 출력부(232), 기억부(233) 및 통신부(234) 등의 각 부를 제어하여, 서버(202)와 통신을 행하여 화상을 표시하거나 유저의 지시를 접수하거나 하여, 애플리케이션의 구입에 관한 처리를 행한다.

또한 서버(202)는, CPU(251)가 소정의 프로그램을 실행함으로써, 도 17의 B에 기능 블록으로서 도시되는 기능을 갖는다. 도 17의 B에 도시된 바와 같이 CPU(251)는, 유저 관리부(451), 애플리케이션 판매 처리부(452) 및 데이터 관리부(453) 등의 기능 블록을 갖는다.

유저 관리부(451)는, 유저 관리부(291)와 마찬가지로, 다시점 화상 이용 서비스를 제공할 유저의 관리에 관한 처리를 행한다. 애플리케이션 판매 처리부(452)는, 통신부(264)를 제어하여 단말 장치(401)와 통신을 행하거나 하여, 애플리케이션의 판매에 관한 처리를 행한다. 데이터 관리부(453)는, 데이터 관리부(295)와 마찬가지로, 다시점 화상 파일 등의 데이터의 관리에 관한 처리를 행한다. 또한, 예를 들어, 데이터 관리부(295)는, 애플리케이션 제공 서버(402)로부터 공급되는 애플리케이션의 관리에 관한 처리를 행한다.

또한 애플리케이션 제공 서버(402)는, CPU(411)가 소정의 프로그램을 실행함으로써, 도 17의 C에 기능 블록으로서 도시되는 기능을 갖는다. 도 17의 C에 도시된 바와 같이 CPU(411)는 애플리케이션 제공 처리부(461) 등의 기능 블록을 갖는다.

애플리케이션 제공 처리부(461)는, 통신부(424)를 제어하여 서버(202)와 통신을 행하거나 하여, 애플리케이션의 서버(202)에의 제공에 관한 처리를 행한다.

<다시점 화상 이용 서비스 제공 처리의 흐름>

이상과 같은 구성의 다시점 화상 이용 서비스 제공 시스템의 단말 장치(401), 서버(202) 및 애플리케이션 제공 서버(402)는 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 다시점 화상을 이용하는 서비스의 제공, 본 실시 형태의 경우, 애플리케이션의 판매 등의 서비스의 제공을 행한다. 도 18의 흐름도를 참조하여, 이 장치가 실행하는 다시점 화상 이용 서비스 제공 처리의 흐름의 예를 설명한다.

스텝 S171에 있어서, 애플리케이션 제공 서버(402)의 애플리케이션 제공 처리부(461)는, 통신부(424)를 제어하거나 하여 제공할 애플리케이션을 서버(202)에 공급하여 등록한다.

스텝 S161에 있어서, 서버(202)의 데이터 관리부(453)는, 통신부(264) 등을 제어하여, 애플리케이션 제공 서버(402)로부터 공급되는 애플리케이션을 취득하여 그것을 기억부(263)에 기억시키고, 그 애플리케이션을 단말 장치(401)에 대하여 판매할 수 있도록 관리한다.

스텝 S151에 있어서, 단말 장치(401)의 애플리케이션 구입 처리부(441)는, 통신부(234)를 제어하여, 서버(202)에 대하여 애플리케이션의 구입을 요구한다.

스텝 S162에 있어서, 서버(202)의 애플리케이션 판매 처리부(452)는 통신부(264)를 제어하거나 하여 그 요구를 취득한다.

스텝 S163에 있어서, 애플리케이션 판매 처리부(452)는 유저 관리부(451)나 데이터 관리부(453)와 제휴하여, 그 유저에게 판매할 수 있는 애플리케이션의 리스트를 작성한다. 그리고 애플리케이션 판매 처리부(452)는 통신부(264)를 제어하거나 하여 그 애플리케이션의 리스트를 단말 장치(401)에 제공한다.

단말 장치(401)의 애플리케이션 구입 처리부(441)는, 스텝 S152에 있어서 그 애플리케이션의 리스트를 취득한다. 애플리케이션 구입 처리부(441)는 출력부(232)를 제어하거나 하여, 그 애플리케이션의 리스트를 모니터에 표시하거나 하여 유저에게 제시하고 유저로부터의 지시를 접수한다.

예를 들어, 단말 장치(401)의 모니터에는, 도 19의 A에 도시하는 GUI(Graphical User Interface)(471)가 표시된다. 유저는 이러한 GUI에 기초하여, 원하는 애플리케이션을 다수 중에서 좁혀 간다. 예를 들어, 렌즈 시뮬레이션의 애플리케이션이 선택되었을 경우, 또한 도 19의 B에 도시한 바와 같은 GUI(472)가 표시되고 가상 렌즈의 선택이 행해진다. 또한, 예를 들어, 화상을 편집할 애플리케이션이 선택되었을 경우, 또한 도 19의 C에 도시한 바와 같은 GUI(473)가 표시되고, 데코레이션 스탬프 등과 같은 그 편집 기능의 선택이 행해진다.

도 18로 되돌아가, 스텝 S153에 있어서, 유저가, 그 리스트 중에서 구입할 애플리케이션을 선택하면, 애플리케이션 구입 처리부(441)는, 그 선택 지시를 접수하고 통신부(234)를 제어하거나 하여, 구입할 애플리케이션을 선택하는 제어 정보를 서버(202)에 공급한다.

서버(202)의 애플리케이션 판매 처리부(452)는 스텝 S164에 있어서, 통신부(264)를 제어하거나 하여 그 제어 정보를 취득한다. 스텝 S165에 있어서, 애플리케이션 판매 처리부(452)는 유저 관리부(451)나 데이터 관리부(453)와 제휴하여, 선택된 애플리케이션(유저에 의하여 구입이 지시된 애플리케이션)을 그 유저의 유저 관리 정보(301)에 매칭하거나 하여 그 유저에 등록한다.

스텝 S166에 있어서, 애플리케이션 판매 처리부(452)는 애플리케이션의 판매에 관한 결제 처리를 행한다. 유저 관리부(451)는, 그 결제 정보를 그 유저의 유저 관리 정보(301)에 반영시킨다(예를 들어, 그 유저가 소유하는 포인트나 돈으로부터 대금 또는 대금에 상당하는 포인트를 감산함. 또한 애플리케이션의 구입 이력에 금회의 판매를 추가 기록함).

스텝 S166의 처리가 종료되면, 다시점 화상 이용 서비스 제공 처리가 종료된다.

이러한 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 유저는, 다시점 화상을 이용하여 처리를 행하는 애플리케이션의 구입을 보다 용이하게 행할 수 있다. 또한 구입한 애플리케이션이 서버(202)에 있어서 유저에 등록되어 관리되므로, 유저는 자신이 구입한 애플리케이션을 보다 용이하게 이용할 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)(다시점 화상 이용 서비스 플랫폼(100))은 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

또한 애플리케이션은 판매가 아니어도 되며 무료로 제공되도록 해도 된다. 그 경우, 결제 처리는 생략할 수 있다.

<4. 제4 실시 형태>

<가상 렌즈 처리>

이상과 같이 유저에게 제공되는 애플리케이션을 실행함으로써, 다시점 화상 이용 서비스 플랫폼(100)은 다양한 다시점 화상을 이용하는 서비스를 유저에게 제공할 수 있다.

본 실시 형태에 있어서는 그 애플리케이션의 일례로서, 제1 실시 형태에 있어서 설명한 렌즈 시뮬레이션(가상 렌즈 처리)을 행하는 애플리케이션의 실행의 모습에 대하여 설명한다.

<다시점 화상 이용 서비스 제공 시스템>

도 20은 다시점 화상 이용 서비스 제공 시스템의 주된 구성예를 도시하는 도면이다. 도 20에 도시하는 다시점 화상 이용 서비스 제공 시스템(200)은 본 기술을 적용한 시스템의 일례이며, 서버(202)가, 네트워크(210)를 통하여 접속되는 단말 장치(201)에 대하여, 다시점 화상을 이용한 서비스를 제공하는 시스템이다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)은 다시점 화상 이용 서비스 플랫폼(100)을 실현하는 구성의 일례이다.

도 20에는 다시점 화상 이용 서비스 플랫폼(100)이 제공하는 서비스 중, 렌즈 시뮬레이션(가상 렌즈 처리)에 관한 서비스의 제공에 관한 구성의 예를 도시하고 있다. 도 20에 있어서, 다시점 화상 이용 서비스 제공 시스템(200)은, 네트워크(210)에 접속되는 단말 장치(401) 및 서버(202)를 갖는다.

네트워크(210)에 유선 또는 무선에 의하여 접속되는 단말 장치(401)는, 서버(202)와 통신을 행하여, 렌즈 시뮬레이션에 이용할 다시점 화상의 선택, 시뮬레이션할 가상의 렌즈의 선택, 포커싱 위치나 피사계 심도 등의, 유저가 값을 지정하는 촬상에 관한 파라미터인 유저 지정 파라미터의 설정 등을 행한다.

서버(202)는, 그들 처리에 기초하여, 가상의 렌즈를 시뮬레이션하는 가상 렌즈 처리를 실행하여, 가상 렌즈를 이용한 촬상에 의하여 얻어지는 가상의 촬상 화상 데이터인 가상 촬상 화상 데이터를 생성한다. 또한 서버(202)는 그 가상 촬상 화상 데이터를 보존한다(기억하고 관리함). 또한 서버(202)는 이상의 렌즈 시뮬레이션에 있어서, 어떠한 파라미터에 대하여 어떠한 값이 설정되고, 유저에 의하여 어떠한 조작(지시)이 행해졌고 어떠한 처리가 행해졌는지 등을 나타내는 이력 정보를, 이 렌즈 시뮬레이션을 행하는 애플리케이션의 애플리케이션 파라미터로서 생성하여 보존한다(기억하고 관리함).

<가상 렌즈 처리의 개요>

다음으로, 가상 렌즈 처리의 개요에 대하여 설명한다. 가상 렌즈 처리에 있어서는, 도 2의 A에 도시한 바와 같은, 유저에 의하여 지정된 가상의 렌즈(150)가 설정되고 그 가상의 렌즈(150)에 입사되는 피사체로부터의 입사광인 광선 벡터(151), 가상의 렌즈(150)를 투과한 후의 입사광인 광선 벡터(152), 및 광선 벡터(152)로부터 가상의 촬상 화상을 얻는 가상의 이미지 센서(153) 등이 시뮬레이션(모의적으로 현출)되고, 그 시뮬레이션에 기초하여 다시점 화상으로부터 가상의 촬상 화상이 생성된다.

예를 들어, 도 21의 A에 도시한 바와 같은 다시점 화상(501)으로부터, 도 21의 B에 도시한 바와 같은 보간 화상(502)이나 뎁스 데이터(503)가 생성되고, 그들을 이용하여, 도 21의 C에 도시한 바와 같은, 가상의 렌즈(150)(도 2의 A에 도시한 가상의 광학계)를 이용한 촬상에 의하여 얻어지는 가상의 촬상 화상(504)이 생성된다.

이와 같이 함으로써, 다시점 화상(501)의 각 촬상 화상보다도 큰, 가상의 렌즈(150)가 부여하는 광학적 효과를 반영시킨 가상의 촬상 화상(504)이 얻어진다. 가상의 렌즈(150) 등의 광학계는, 그 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는, 그 가상의 광학계 고유의 프로파일 정보를 이용하여 시뮬레이션된다. 따라서 서버(202)는 실재하는 것부터 비현실적인 것까지 다양한 광학계를 용이하게 재현할 수 있다. 즉, 유저는 이 서비스에 의하여 보다 저렴하게 보다 다양한 촬상 화상을 얻을 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)(다시점 화상 이용 서비스 플랫폼(100))은 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

<기능 블록>

단말 장치(401)는, CPU(221)가 소정의 프로그램을 실행함으로써, 도 22의 A에 기능 블록으로서 도시되는 기능을 갖는다. 도 22의 A에 도시된 바와 같이 CPU(221)는, 유저 지시 접수 처리부(511), 표시 제어부(512) 및 전송 제어부(513) 등의 기능 블록을 갖는다.

유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여 유저 지시의 접수에 관한 처리를 행한다. 표시 제어부(512)는 출력부(232) 등을 제어하여, GUI나 안내 등의 화상을 모니터에 표시시키는 등의 표시 제어에 관한 처리를 행한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 유저 지시 접수 처리부(511)에 있어서 접수된 유저 지시 등의 각종 정보의 전송에 관한 처리를 행한다.

또한 서버(202)는, CPU(251)가 소정의 프로그램을 실행함으로써, 도 22의 B에 기능 블록으로서 도시되는 기능을 갖는다. 도 22의 B에 도시된 바와 같이 CPU(251)는, 유저 관리부(521), 애플리케이션 선택 처리부(522), 화상 선택 처리부(523), 렌즈 선택 처리부(524), 유저 지정 파라미터 설정 처리부(525), 가상 렌즈 처리부(526) 및 데이터 관리부(527) 등의 기능 블록을 갖는다.

유저 관리부(521)는, 유저 관리부(291)와 마찬가지로, 다시점 화상 이용 서비스를 제공할 유저의 관리에 관한 처리를 행한다. 애플리케이션 선택 처리부(522)는 통신부(264)를 제어하여 단말 장치(401)와 통신을 행하거나 하여, 실행할 애플리케이션의 선택에 관한 처리를 행한다. 화상 선택 처리부(523)는, 통신부(264)를 제어하여 단말 장치(401)와 통신을 행하거나 하여, 렌즈 시뮬레이션(가상 렌즈 처리)의 처리 대상으로 하는 다시점 화상의 선택에 관한 처리를 행한다. 렌즈 선택 처리부(524)는 통신부(264)를 제어하여 단말 장치(401)와 통신을 행하거나 하여, 시뮬레이션할 가상의 렌즈 프로파일 정보의 선택에 관한 처리를 행한다. 유저 지정 파라미터 설정 처리부(525)는, 통신부(264)를 제어하여 단말 장치(401)와 통신을 행하거나 하여, 단말 장치(401)로부터 전송되는 유저 지정 파라미터의 설정에 관한 처리를 행한다. 가상 렌즈 처리부(526)는, 가상의 광학계 시뮬레이션(모의적인 현출)에 관한 처리를 행한다. 데이터 관리부(527)는, 데이터 관리부(295)와 마찬가지로, 다시점 화상 파일 등의 데이터의 관리나, 애플리케이션 및 그 애플리케이션에 관한 데이터 등의 관리에 관한 처리를 행한다.

<다시점 화상 이용 서비스 제공 처리의 흐름>

이상과 같은 구성의 다시점 화상 이용 서비스 제공 시스템의 단말 장치(401) 및 서버(202), 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 다시점 화상을 이용하는 서비스의 제공, 본 실시 형태의 경우, 렌즈 시뮬레이션의 서비스 제공을 행한다. 도 23의 흐름도를 참조하여, 이들 장치가 실행하는 다시점 화상 이용 서비스 제공 처리의 흐름의 예를 설명한다.

스텝 S201에 있어서, 단말 장치(401)의 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여, 유저로부터 애플리케이션의 기동을 요구하는 지시를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된 애플리케이션의 기동 요구를 서버(202)에 공급한다.

서버(202)의 애플리케이션 선택 처리부(522)는, 스텝 S221에 있어서, 통신부(264) 등을 제어하여 그 요구를 취득한다. 그 요구에 따라, 애플리케이션 선택 처리부(522)는 스텝 S222에 있어서, 유저 관리부(521)가 관리하는 유저 관리 정보에 기초하여, 그 유저가 사용 가능한 애플리케이션의 리스트를 생성하고, 통신부(264) 등을 제어하여 그 리스트를 단말 장치(401)에 공급한다.

단말 장치(401)의 전송 제어부(513)는, 스텝 S202에 있어서, 통신부(234) 등을 제어하여 그 리스트를 취득한다. 표시 제어부(512)는 출력부(232)를 제어하여, 취득된 그 리스트를 화상으로서 모니터에 표시한다. 유저는 그 리스트에 기초하여 기동할 애플리케이션을 선택한다.

스텝 S203에 있어서, 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여, 유저로부터, 기동할 애플리케이션의 선택 지시를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된, 기동할 애플리케이션의 선택 지시를 서버(202)에 공급한다.

서버(202)의 애플리케이션 선택 처리부(522)는, 스텝 S223에 있어서, 통신부(264) 등을 제어하여 그 선택 지시를 취득한다. 다음으로, 화상 선택 처리부(523)는 스텝 S224에 있어서, 유저 관리부(521)가 관리하는 유저 관리 정보에 기초하여 그 유저의 다시점 화상의 리스트를 생성하고, 통신부(264) 등을 제어하여 그 리스트를 단말 장치(401)에 공급한다.

단말 장치(401)의 전송 제어부(513)는, 스텝 S204에 있어서, 통신부(234) 등을 제어하여 그 리스트를 취득한다. 표시 제어부(512)는 출력부(232)를 제어하여, 취득된 그 리스트를 화상으로서 모니터에 표시한다. 유저는 그 리스트에 기초하여 처리 대상으로 하는 다시점 화상을 선택한다.

스텝 S205에 있어서, 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여 유저로부터 처리 대상 화상의 선택 지시를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된 처리 대상 화상의 선택 지시를 서버(202)에 공급한다.

서버(202)의 화상 선택 처리부(523)는, 스텝 S225에 있어서, 통신부(264) 등을 제어하여 그 선택 지시를 취득한다. 다음으로, 렌즈 선택 처리부(524)는 스텝 S226에 있어서, 유저 관리부(521)가 관리하는 유저 관리 정보에 기초하여, 그 유저에 등록된 렌즈의 리스트를 생성하고, 통신부(264) 등을 제어하여 그 리스트를 단말 장치(401)에 공급한다.

단말 장치(401)의 전송 제어부(513)는, 스텝 S206에 있어서, 통신부(234) 등을 제어하여 그 리스트를 취득한다. 표시 제어부(512)는 출력부(232)를 제어하여, 취득된 그 리스트를 화상으로서 모니터에 표시한다. 유저는 그 리스트에 기초하여 시뮬레이션할 가상의 렌즈를 선택한다.

스텝 S207에 있어서, 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여 유저로부터 렌즈의 선택 지시를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된 렌즈의 선택 지시를 서버(202)에 공급한다.

서버(202)의 렌즈 선택 처리부(524)는, 스텝 S227에 있어서, 통신부(264) 등을 제어하여 그 선택 지시를 취득한다.

또한 스텝 S208에 있어서, 단말 장치(401)의 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여, 예를 들어, 촬상 조건 등의, 유저가 값을 지정하는 촬상에 관한 파라미터인 유저 지정 파라미터를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된 유저 지정 파라미터를 서버(202)에 공급한다.

서버(202)의 유저 지정 파라미터 설정 처리부(525)는, 스텝 S228에 있어서, 통신부(264) 등을 제어하여 그 유저 지정 파라미터를 취득한다.

스텝 S229에 있어서, 가상 렌즈 처리부(526)는, 가상 렌즈 처리를 실행하고, 다시점 화상 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 스텝 S227에 있어서 선택된 가상의 렌즈를 이용하여 스텝 S225에 있어서 선택된 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성한다. 그때, 가상 렌즈 처리부(526)는 스텝 S228에 있어서 취득된 유저 지정 파라미터를 이용하여, 가상의 렌즈에 의한 광학적 영향을 보다 정확히 재현한다. 또한 그때, 가상 렌즈 처리부(526)는, 스텝 S225에 있어서 선택된 다시점 화상의 다시점 화상 파일에 포함되는 카메라 배열 정보(342)와, 눈 수 정보(343)와, 뎁스 데이터(332)에 따라, 다시점 화상의 보간 화상을 생성한다. 가상 렌즈 처리의 상세에 대해서는 후술한다.

스텝 S230에 있어서, 가상 렌즈 처리부(526)는, 통신부(264) 등을 제어하여, 스텝 S229의 처리에 의하여 생성된 가상의 촬상 화상(가상 촬상 화상)의 데이터를 단말 장치(401)에 공급한다.

단말 장치(401)의 전송 제어부(513)는, 스텝 S209에 있어서, 그 가상 촬상 화상의 데이터를 취득한다. 표시 제어부(512)는 출력부(232)를 제어하여, 취득된 그 가상 촬상 화상을 모니터에 표시한다. 유저는 그 가상 촬상 화상에 기초하여, 그 가상 촬상 화상을 보존할지 여부를 선택한다.

스텝 S210에 있어서, 유저 지시 접수 처리부(511)는, 입력부(231) 등을 제어하여 유저로부터 가상 촬상 화상의 데이터의 보존 지시를 접수한다. 전송 제어부(513)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(511)에 의하여 접수된 가상 촬상 화상의 데이터의 보존 지시를 서버(202)에 공급한다.

서버(202)의 데이터 관리부(527)는, 스텝 S231에 있어서, 통신부(264) 등을 제어하여 그 가상 화상의 데이터의 보존 지시를 취득한다. 스텝 S232에 있어서, 데이터 관리부(527)는 이 렌즈 시뮬레이션에 관한 애플리케이션 파라미터를 생성한다. 데이터 관리부(527)는 스텝 S229의 처리에 의하여 생성된 가상 촬상 화상의 데이터와, 그 애플리케이션 파라미터를 기억하여 관리하고, 또한 당해 유저에 등록한다(당해 유저의 유저 관리 정보를 갱신함).

스텝 S232의 처리가 종료되면, 다시점 화상 이용 서비스 제공 처리가 종료된다.

이러한 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 유저는 다시점 화상을 이용하여 가상의 렌즈 시뮬레이션(즉, 가상의 렌즈를 이용한 촬상에 의하여 얻어지는 가상의 촬상 화상의 생성)을 보다 용이하게 행할 수 있다. 또한 생성된 가상 촬상 화상 데이터가 서버(202)에 있어서 유저에 등록되어 관리되므로, 유저는 그 가상 촬상 화상 데이터를 보다 용이하게 이용할 수 있다. 또한 그 가상 촬상 화상 데이터가, 그 가상 촬상 화상의 생성에 이용된 다시점 화상이나 애플리케이션 파라미터 등과 매칭되어 관리되므로, 유저는 보다 용이하게 그 가상 촬상 화상 데이터를 관련된 다른 데이터와 함께 이용할 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)(다시점 화상 이용 서비스 플랫폼(100))은 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

<화면의 예>

도 24는 표시부(531)에 표시되는 설정 GUI의 예를 도시하는 모식도이다.

도 24의 화면에서는, 프리뷰 화상 Pv와 함께 설정 GUI가 표시되어 있다. 도 24의 예에서는, 현상 파라미터는 렌즈의 설계 정보, 조리개 형상 및 포커스 위치에 의하여 구성된다.

이 경우, 표시부(531)에는, 프리뷰 화상 Pv에 중첩되어, 설정 GUI로서, 렌즈 유닛 선택부 DL, 조리개 형상 선택부 DA 및 포커스 위치 선택부 DF가 표시된다.

렌즈 유닛 선택부 DL에는, 현상 파라미터의 렌즈의 설계 정보의 선택 후보에 기초하는 렌즈 유닛을 나타내는 도형이 표시된다. 조리개 형상 선택부 DA에는, 현상 파라미터의 조리개 형상의 선택 후보를 나타내는 도형이 표시된다. 포커스 위치 선택부 DF에는, 포커스 위치의 선택 후보를 위치로 나타내는 설정 바 Fb가 표시된다.

유저는, 렌즈 유닛 선택부 DL에 표시되는, 원하는 렌즈 유닛을 나타내는 도형을 손가락 U로 터치 조작함으로써, 그 렌즈 유닛에 대응하는 렌즈의 설계 정보의 선택 후보를 선택한다. 또한 유저는 조리개 형상 선택부 DA에 표시되는, 원하는 조리개 형상을 나타내는 도형을 손가락 U로 터치 조작함으로써, 그 조리개 형상의 선택 후보를 선택한다.

또한 유저는, 포커스 위치 선택부 DF의 설정 바 Fb를 손가락 U로 터치 조작하여 손가락 U를 상하 방향으로 이동시킴으로써, 설정 바 Fb를 원하는 포커스 위치에 대응하는 위치로 이동시킨다. 이것에 의하여 유저는 원하는 포커스 위치의 선택 후보를 선택할 수 있다.

또한 설정 바 Fb는, 유저가 설정 바 Fb를 손가락 U로 터치 조작한 후 손가락 U를 이동시킴으로써 이동하는 것이 아니라, 유저가 포커스 위치 선택부 DF 상의 원하는 위치를 터치 조작함으로써 그 위치로 이동하도록 해도 된다. 또한 포커스 위치의 선택 후보는 표시되지 않고, 화면 내에 있어서의 손가락 U의 터치 위치의 피사체에 가장 가까운 포커스 위치의 선택 후보가 선택되도록 해도 된다.

또한 도 24의 예에서는, 프리뷰 화상 Pv의 좌측 상단에 렌즈 유닛 선택부 DL이 배치되고, 좌측 하방에 조리개 형상 선택부 DA가 배치되며, 우측에 포커스 위치 선택부 DF가 배치되어 있지만, 배치 위치는 이에 한정되지 않는다.

도시는 생략하지만, 화이트 밸런스나 노출 보정값 등의 다른 현상 파라미터의 선택 후보도 렌즈 유닛 선택부 DL, 조리개 형상 선택부 DA, 포커스 위치 선택부 DF 등과 마찬가지로 표시할 수 있다.

또한 제2 실시 형태에서는, 표시부(531)가 터치 패널과 일체화되어 있지만, 터치 패널과 일체화되지 않은 경우, 유저는, 도시하지 않은 마우스 등의 조작에 의하여, 화면 내에 표시되는 포인터를 이동시켜, 터치 조작에 상당하는 선택 조작을 행한다.

<가상 렌즈 처리의 흐름>

다음으로, 도 25의 흐름도를 참조하여, 도 23의 스텝 S229에 있어서 실행되는 가상 렌즈 처리의 상세한 흐름의 예에 대하여 설명한다.

가상 렌즈 처리가 개시되면, 가상 렌즈 처리부(526)는 스텝 S251에 있어서, 선택된 다시점 화상 파일을 기억부(263)로부터 취득한다. 스텝 S252에 있어서, 가상 렌즈 처리부(526)는 선택된 렌즈의 프로파일 정보를 기억부(263)로부터 취득한다.

또한 다시점 화상 파일이나 프로파일 정보가 기억되고 관리되는 장소는 임의이며, 기억부(263) 이외여도 된다. 예를 들어, 다시점 화상 파일이나 프로파일 정보가 단말 장치(401) 등과 같이 서버(202) 이외의 장치에 기억되고 관리되도록 해도 된다. 그 경우, 가상 렌즈 처리부(526)는, 예를 들어, 통신부(264)를 제어하여 다시점 화상 파일이나 프로파일 정보를, 그들이 기억되는 장치로부터 취득한다. 또한 다시점 화상 파일이 기억되는 장소와 프로파일 정보가 기억되는 장소가 서로 달라도 된다.

프로파일 정보는, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는, 그 가상의 광학계 고유의 정보이다. 프로파일 정보에는, 예를 들어, RGB마다의 PSF(Point spread function) 데이터, 조리개 형상 및 보간 매수 지정 정보 등이 포함된다.

PSF 데이터는, 점 확산 함수 또는 점상 분포 함수라고도 칭하며, 가상의 광학계에 포함되는 가상의 렌즈의 점광원에 대한 응답을 나타내는 함수이다. 즉, PSF 데이터는 RGB마다, 가상의 렌즈를 투과하는 광선에 대한 가상의 렌즈의 영향을 나타내는 데이터이다. 도 26의 A에 그 PSF 데이터의 예를 도시한다. 이 예의 경우, 포커싱부(즉, 점광원)까지의 거리에 따른 PSF 데이터가 색마다(각 행에) 나타나 있다.

조리개 형상은, 가상의 광학계에 포함되는 가상의 조리개의 형상을 나타내는 정보이다. 이 조리개 형상은 실제로 존재하는 조리개의 형상이어도 되며, 예를 들어, 도 26의 B의 좌측에 도시되는 원형, 별형, X형 등과 같이, 실제로는 존재하지 않는 임의의 형상이어도 된다. 또한 이 조리개 형상은 임의의 방법에 의하여 지정할 수 있다. 예를 들어, 미리 정해진 형상을 식별 정보(ID) 등에 의하여 지정하도록 해도 된다. 또한, 예를 들어, 도 26의 B의 우측에 나타난 바와 같이 강도 분포(542)에 의하여 표현되도록 해도 된다. 이 강도 분포의 크기(강도의 수)는 보간 매수 지정 정보에 의하여 지정되는 보간 화상의 매수(보간 매수)에 의존한다. 예를 들어, 보간 매수가 N매라 하면, 조리개 형상은 NxN의 강도 분포(542)에 의하여 표현된다.

보간 매수 지정 정보는, 가상의 촬상 화상을 작성할 때 생성되는 보간 화상의 매수를 지정하는 정보이다. 즉, 가상 렌즈 처리부(526)는 가상 렌즈 처리에 있어서, 이 보간 매수 지정 정보에 의하여 지정되는 매수의 보간 화상을 생성한다. 보간 화상의 매수가 많을수록 보다 고정밀의 가상의 촬상 화상을 얻을 수 있다. 일반적으로는 가상의 렌즈가 고급의(고성능) 렌즈일수록 보간 화상의 매수는 많아진다.

이상과 같이 렌즈 프로파일 정보는, 가상의 렌즈 특징을 나타내는 정보에 의하여 구성된다. 또한 렌즈 프로파일 정보의 내용은 임의이며, 상술한 각 정보 중 일부가 생략되도록 해도 되고, 상술한 정보 이외의 정보가 포함되도록 해도 된다. 예를 들어, 가상의 렌즈를 에뮬레이션하기 위하여 이용되는 렌즈의 물리적인 설계 정보가 렌즈 프로파일 정보에 포함되도록 해도 된다.

도 25로 되돌아가, 스텝 S253에 있어서, 가상 렌즈 처리부(526)는 도 23의 스텝 S228에 있어서 취득된 유저 지정 파라미터를 설정한다.

유저 지정 파라미터는, 유저가 값을 지정하는 촬상에 관한 파라미터이다. 가상 렌즈 처리부(526)는 이 유저 지정 파라미터에 따라 가상의 촬상 화상을 생성한다. 예를 들어, 유저 지정 파라미터에는 포커싱 위치 지정 정보, 피사계 심도 지정 정보, 초해상 처리 실행 지시 정보 등이 포함된다.

포커싱 위치 지정 정보(포커스 위치 지정 정보)는, 촬상 화상 내에 있어서 포커싱시키는 피사체가 위치하는 영역(또는 점)을 지정하는 정보이다. 즉, 유저가 촬상 화상의 임의의 위치를 포커싱 위치로서 지정하면, 그 포커싱 위치의 피사체(의 거리)에 초점이 포커싱되도록 가상의 촬상 화상이 생성된다.

또한 피사계 심도 지정 정보는, 피사계 심도(조리개의 크기)를 지정하는 정보이다. 또한 초해상 처리 실행 지시 정보는, 가상의 촬상 화상을 생성하기 위하여 다시점 화상의 각 촬상 화상을 중첩시킬 때 초해상 처리를 행할지 여부, 행할 경우, 어느 범위에 어느 정도의 처리를 행할지 등의, 초해상 처리에 관한 지시를 포함하는 정보이다. 다시점 화상의 각 촬상 화상의 중첩 시의 초해상 처리는 이 초해상 처리 실행 지시 정보에 기초하여 행해진다.

물론 유저 지정 파라미터의 내용은 임의이며, 상술한 각 정보 중 일부가 생략되도록 해도 되고, 상술한 정보 이외의 정보가 포함되도록 해도 된다.

스텝 S254에 있어서, 가상 렌즈 처리부(526)는 처리 대상의 다시점 화상 데이터에 매칭된 메타데이터에 포함되는 카메라 배열 정보나 눈 수 정보 등에 기초하여 기준 카메라(기준으로 하는 시점의 화상), 매칭 축, 화상 보간 방법 등을 결정한다.

스텝 S255에 있어서, 가상 렌즈 처리부(526)는 생성되는 보간 화상의 위치에 따라, 화상의 보간에 이용할 각 화상(즉, 중첩시킬 각 화상)의 혼합 비율을 결정한다.

스텝 S256에 있어서, 가상 렌즈 처리부(526)는, 뎁스 데이터나 이상과 같이 설정한 각종 파라미터에 따라 보간 화상을 생성한다. 예를 들어, 가상 렌즈 처리부(526)는, 스텝 S254에 있어서 결정된, 기준으로 하는 시점의 화상과, 스텝 S254에 있어서 결정된 매칭 축을 이용하여, 스텝 S254에 있어서 결정된 보간 방법에 의하여 지정되는 화상을, 뎁스 데이터에 따라 중첩시킴으로써 보간 화상을 생성한다. 가상 렌즈 처리부(526)는, 프로파일 정보의 보간 매수 지정 정보에 의하여 지정되는 매수 분의 보간 화상을 생성한다.

스텝 S257에 있어서, 가상 렌즈 처리부(526)는, 각 보간 화상에 대하여 프로파일 정보의 조리개 형상 데이터를 반영한다.

스텝 S258에 있어서, 가상 렌즈 처리부(526)는, 뎁스 데이터에 기초하여, 유저에 의하여 지정된 포커싱 위치(포커스 위치)의 뎁스값을 구한다. 즉, 가상 렌즈 처리부(526)는, 생성되는 가상 촬상 화상의, 예를 들어, 스텝 S228에 있어서 취득된 유저 지정 파라미터에 포함되는 포커싱 위치 지정 정보(포커스 위치 지정 정보)에 있어서 지정되는 위치(좌표)의 피사체의 뎁스값(피사체까지의 거리)을 구한다.

스텝 S259에 있어서, 가상 렌즈 처리부(526)는, 유저 지정 파라미터의 피사계 심도 지정 정보에 의하여 지정되는 피사계 심도를 설정한다.

스텝 S260에 있어서, 가상 렌즈 처리부(526)는, 스테레오 매칭의 반복 등에 의하여 다시점 화상이나 보간 화상을 중첩시켜 가상 촬상 화상을 생성한다. 그때, 가상 렌즈 처리부(526)는, 가상의 렌즈, 뎁스 데이터(피사체의 뎁스값)에 따른 PSF 데이터를 반영시킨다. 또한 가상 렌즈 처리부(526)는 스텝 S258에 있어서 구한 뎁스값(거리)에 포커싱시키도록 가상 촬상 화상을 생성한다. 또한 가상 렌즈 처리부(526)는, 스텝 S257에 있어서, 각 보간 화상에 대하여 조리개 형상 데이터를 반영시킴으로써, 가상 촬상 화상에 가상의 조리개의 형상을 반영시킬 수 있다. 또한 가상 렌즈 처리부(526)는, 스텝 S259에 있어서 설정한 피사계 심도로 되도록 가상 촬상 화상을 생성한다.

스텝 S261에 있어서, 가상 렌즈 처리부(526)는, 유저 지정 파라미터의 초해상 처리 실행 지시 정보에 따라, 가상 촬상 화상에 초해상 처리를 행한다. 예를 들어, 초해상 처리 실행 지시 정보에 의하여 초해상 처리를 행하지 않도록 지시되어 있는 경우, 가상 렌즈 처리부(526)는 초해상 처리를 행하지 않는다. 또한, 예를 들어, 초해상 처리 실행 지시 정보에 의하여 초해상 처리를 행하도록 지시되어 있는 경우, 가상 렌즈 처리부(526)는 초해상 처리를 행한다.

또한 초해상 처리는, 가상 촬상 화상 전체에 대하여 행하도록 해도 되고, 포커싱 위치의 뎁스값을 포함하는 소정의 범위의 뎁스값의 부분만 행하도록 해도 된다. 포커싱되지 않은 피사체의 부분에 대하여 초해상 처리를 행하더라도 얻어지는 효과(화질의 향상)는 적다. 따라서, 이와 같이 포커싱 위치와 뎁스값이 일치 또는 근사하는 부분에 대해서만 초해상 처리를 행함으로써, 화질의 저감을 억제하면서 처리의 부하를 저감시킬 수 있다. 또한, 이와 같이 초해상 처리를 행할 부분을 초해상 처리 실행 지시 정보에 의하여 지시할 수 있도록 해도 된다.

스텝 S261의 처리가 종료되면, 가상 렌즈 처리가 종료되고, 처리는 도 23으로 되돌아간다.

이상과 같이 가상 렌즈 처리를 행함으로써, 유저는 보다 용이하게 가상 촬상 화상을 얻을 수 있다.

또한, 이상에서 설명한 가상 렌즈 처리는, 서버(202)에 한정되지 않으며, 임의의 장치에 있어서 실행되도록 해도 된다. 예를 들어, 단말 장치(401)의 CPU(221)가 가상 렌즈 처리부(526) 등을 갖고, 단말 장치(401)에 있어서 가상 렌즈 처리가 행해지도록 해도 된다. 그 경우에도, 가상 렌즈 처리는 상술한 예와 기본적으로 마찬가지로 실행할 수 있다. 또한 다시점 화상 파일이나 가상의 렌즈 프로파일 정보 등, 가상 렌즈 처리에 이용되는 정보이며 서버(202)에 있어서 기억(관리)되는 정보는, 필요에 따라 적절히 단말 장치(401)에 전송되도록 하면 된다.

<5. 제5 실시 형태>

<판매 지원>

본 실시 형태에 있어서는 그 애플리케이션의 다른 예로서, 제1 실시 형태에 있어서 설명한 판매 지원을 행하는 애플리케이션의 실행의 모습에 대하여 설명한다. 또한 본 실시 형태에 있어서는 판매 지원의 일례로서, 제1 실시 형태에 있어서 설명한 바와 같은, 가구의 판매를 지원하는 애플리케이션에 대하여 설명한다.

<다시점 화상 이용 서비스 제공 시스템>

도 27은 다시점 화상 이용 서비스 제공 시스템의 주된 구성예를 도시하는 도면이다. 도 27에 도시되는 다시점 화상 이용 서비스 제공 시스템(200)은, 본 기술을 적용한 시스템의 일례이며, 서버(202)가 네트워크(210)를 통하여 접속되는 단말 장치(201)에 대하여, 다시점 화상을 이용한 서비스를 제공하는 시스템이다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)은, 다시점 화상 이용 서비스 플랫폼(100)을 실현하는 구성의 일례이다.

도 27에는, 다시점 화상 이용 서비스 플랫폼(100)이 제공하는 서비스 중, 판매 지원(가구 판매 지원)에 관한 서비스의 제공에 관한 구성의 예를 도시하고 있다. 도 27에 있어서, 다시점 화상 이용 서비스 제공 시스템(200)은, 네트워크(210)에 접속되는 단말 장치(201), 서버(202) 및 가구 판매 서버(601)를 갖는다.

단말 장치(201)는, 피사체를 촬상하여 다시점 화상을 얻는 다시점 촬상을 행한다. 또한 단말 장치(201)는, 다시점 촬상에 의하여 얻어진 다시점 화상의 뎁스를 검출한다. 또한 단말 장치(201)는, 다시점 촬상을 이용하여 1매의 가상 촬상 화상을 생성한다. 또한 단말 장치(201)는, 가상 촬상 화상에의 가구 화상의 배치에 관한 처리를 행한다. 또한 단말 장치(201)는, 다시점 화상 데이터 등을 파일화하여 다시점 화상 파일을 생성한다.

또한 네트워크(210)에 유선 또는 무선에 의하여 접속되는 단말 장치(201)와 서버(202)는, 서로 통신을 행함으로써, 가구 데이터의 선택, 3차원 모델링 데이터(3D 모델링 데이터)의 전송, 가구 구입 절차 및 각종 데이터의 전송 등의 처리를 행한다.

서버(202)는, 단말 장치(201)로부터 공급되는 각종 데이터의 보존 등의 처리를 행한다.

네트워크(210)에 유선 또는 무선에 의하여 접속되는 서버(202)와 가구 판매 서버(601)는, 서로 통신을 행함으로써, 3차원 모델링 데이터(3D 모델링 데이터)의 제공이나 가구 구입 절차 등의 처리를 행한다.

가구 판매 서버(601)는, 가구의 판매 또는 판매의 지원에 관한 처리를 행하는 서버이다. 구체적으로는, 가구 판매 서버(601)는, 상술한 바와 같이 가구 판매의 결제나, 판매 지원에 이용되는 가구 화상이나 그 3D 모델링 데이터의 제공 등을 행한다. 가구 판매 서버(601)는, 기본적으로 애플리케이션 제공 서버(402)와 마찬가지의 구성을 갖는다. 따라서, 도 15에 도시되는 구성은 가구 판매 서버(601)에도 적용할 수 있다.

<가구 판매 지원>

다음으로, 이상과 같은 다시점 화상 이용 서비스 제공 시스템(200)에 의하여 제공되는 가구 판매 지원 서비스에 있어서의 판매의 지원 방법에 대하여 보다 구체적으로 설명한다. 본 기술을 적용한 다시점 화상 이용 서비스 플랫폼(100)에 의하여 제공되는 판매 지원 서비스는, 판매 지원 대상의 물품 화상인 오브젝트를 원하는 배경 화상에 가상적으로 배치시킴으로써, 유저에게 그 물품을 사용했을 때의 상태를 상정시키는 서비스이다. 도 27의 다시점 화상 이용 서비스 제공 시스템(200)에 의하여 제공되는 가구 판매 지원 서비스는, 판매 지원 대상의 가구 화상(가구 화상)을 오브젝트의 일례로서 채용하고, 가상 촬상 화상을 배경 화상의 일례로서 채용한다. 즉, 이 가구 판매 지원 서비스는, 가상 촬상 화상에 가구 화상을 배치함으로써, 유저에게 그 가구를 방 등에 배치했을 때의 상태를 상정시키는 서비스이다. 또한, 그때, 가구 판매 지원 서비스는, 단순히 가상 촬상 화상에 가구 화상을 합성할 뿐만 아니라, 가상 촬상 화상의 뎁스 데이터를 이용하여 가구 화상의 크기나 방향을 그 가구 화상의 배치 위치에 따라 설정한다. 이것에 의하여 유저에게 보다 정확한 상태를 상정시킬 수 있다.

보다 구체적으로는, 단말 장치(201)가, 다시점 촬상에 의하여 얻어진 다시점 화상으로부터, 도 28의 A에 도시한 바와 같은 가상 촬상 화상(611)을 생성한다. 예를 들어, 유저는, 구입할 가구를 설치하고자 하는 방을 다시점 촬상하여, 그 방의 가상 촬상 화상(611)을 생성한다. 또한 단말 장치(201)는, 다시점 촬상에 의하여 얻어진 다시점 화상으로부터, 도 28의 B에 도시한 바와 같은 가상 촬상 화상(611)의 뎁스 데이터(뎁스 맵)(612)를 생성한다.

그리고 단말 장치(201)는, 가구 판매 서버(601)가 판매하는 가구의 화상(가구 화상)과 그 3D 모델링 데이터를 서버(202)로부터 취득하여, 도 28의 C에 도시하는 합성 화상(613)과 같이 그 가구 화상을 가상 촬상 화상(611)(방의 화상)에 배치한다. 가구 화상의 배치는 뎁스 데이터(612)을 이용하여 행해지며, 그 배치 위치의 깊이 방향의 거리 등에 따라 가구 화상의 크기나 방향이 적절히 설정된다.

또한, 도 29의 A에 도시하는 화상의 인물 뒤에, 도 29의 B에 도시하는 화상처럼 크리스마스 트리를 배치하는 등, 배치 위치의 깊이 방향의 거리에 따라, 화상 내의 다른 피사체와의 전후 관계(중첩 상태)가 정확히 재현된다.

또한, 배치 위치는 유저가 지정할 수 있으며, 유저는 그 가상 촬상 화상(611)으로서 표시되는 방 안에서 가구 화상을 자유로이 이동시킬 수 있다. 또한 배치할 가구 화상은, 가구 판매 서버(601)(서버(202))가 유저에게 제공하는 가구 화상 중에서 유저가 임의로 선택할 수 있다. 예를 들어, 유저는 가구의 색이나 크기를 변경할 수 있다. 또한, 예를 들어, 의자에서 소파로 변경하는 등, 가구의 종류를 변경할 수도 있다.

합성할 가구의 수는 임의이며, 단수여도 되고 복수여도 된다. 또한 단말 장치(201)는 가구 화상의 배치 결과를 나타내는 합성 화상의 화상 데이터를 서버(202) 등에 기록시킬 수도 있다. 따라서 유저는 용이하게, 나중에 가구 화상의 배치 결과를 다시 확인할 수 있다.

예를 들어, 단말 장치(201)에 있어서, 가구 판매 지원의 애플리케이션을 실행함으로써, 유저는 이러한 가구 판매 지원 서비스를 받을 수 있다. 즉, 유저는 가구를 구입하기 전에, 가구를 배치할 예정인 장소(방 등)에 가상의 가구(가구 화상)를 가상적으로 배치할 수 있다(가구 배치의 시뮬레이션을 행할 수 있음). 따라서 유저는 가구 구입 전에 가구 구입에 관한 불안을 해소할 수 있어 구매 의욕을 증대시킬 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)은 이상과 같은 가구 판매 지원 서비스를 제공함으로써 가구의 판매를 지원할 수 있다.

<기능 블록>

단말 장치(201)는, CPU(221)가 소정의 프로그램을 실행함으로써, 도 30의 A에 기능 블록으로서 도시되는 기능을 갖는다. 도 30의 A에 도시된 바와 같이 CPU(221)는, 유저 지시 접수 처리부(651), 표시 제어부(652), 촬상 제어부(653), 메타데이터 생성부(654), 뎁스 검출부(655), 가상 촬상 화상 생성부(656), 가구 화상 배치 처리부(657), 구입 처리부(658), 파일 생성부(659), 합성 화상 데이터 생성부(660), 애플리케이션 파라미터 생성부(661) 및 전송 제어부(662) 등의 기능 블록을 갖는다.

유저 지시 접수 처리부(651)는, 입력부(231) 등을 제어하여 유저 지시의 접수에 관한 처리를 행한다. 표시 제어부(652)는, 출력부(232) 등을 제어하여, GUI나 안내 등의 화상을 모니터에 표시시키는 등의, 표시 제어에 관한 처리를 행한다. 촬상 제어부(653)는 다시점 촬상의 제어에 관한 처리를 행한다. 메타데이터 생성부(654)는 다시점 촬상에 의하여 얻어진 다시점 화상의 메타데이터 생성에 관한 처리를 행한다. 뎁스 검출부(655)는 다시점 화상의 뎁스 검출에 관한 처리를 행한다. 가상 촬상 화상 생성부(656)는 가상 촬상 화상의 생성에 관한 처리를 행한다. 가구 화상 배치 처리부(657)는 가상 촬상 화상에의 가구 화상의 배치에 관한 처리를 행한다. 구입 처리부(658)는 가구의 구입에 관한 처리를 행한다. 파일 생성부(659)는 다시점 화상 파일의 생성에 관한 처리를 행한다. 합성 화상 데이터 생성부(660)는 가상 촬상 화상에 가구 화상이 합성된 합성 화상 데이터의 생성에 관한 처리를 행한다. 애플리케이션 파라미터 생성부(661)는 당해 애플리케이션에 관한 애플리케이션 파라미터의 생성에 관한 처리를 행한다. 전송 제어부(662)는 통신부(234) 등을 제어하여 각종 정보의 전송에 관한 처리를 행한다.

또한 서버(202)는, CPU(251)가 소정의 프로그램을 실행함으로써, 도 30의 B에 기능 블록으로서 도시되는 기능을 갖는다. 도 30의 B에 도시된 바와 같이 CPU(251)는, 유저 관리부(671), 애플리케이션 선택부(672), 가구 데이터 선택부(673), 구입 처리부(674), 취득 제어부(675) 및 데이터 관리부(676) 등의 기능 블록을 갖는다.

유저 관리부(521)는, 유저 관리부(291)와 마찬가지로, 다시점 화상 이용 서비스를 제공할 유저의 관리에 관한 처리를 행한다. 애플리케이션 선택부(672)는, 통신부(264)를 제어하여 단말 장치(201)와 통신을 행하거나 하여, 실행할 애플리케이션의 선택에 관한 처리를 행한다. 가구 데이터 선택부(673)는, 통신부(264) 등을 제어하여 단말 장치(201)와 통신을 행하여, 가상 촬상 화상에 배치할 가구(가구 화상)의 선택에 관한 처리를 행한다. 구입 처리부(674)는, 통신부(264) 등을 제어하여 단말 장치(201)나 가구 판매 서버(601)와 통신을 행하여, 가구의 구입에 관한 처리를 행한다. 취득 제어부(675)는, 통신부(264) 등을 제어하여, 단말 장치(201) 등으로부터 전송되는 각종 데이터의 취득에 관한 처리를 행한다. 데이터 관리부(676)는, 데이터 관리부(295)와 마찬가지로, 다시점 화상 파일 등의 데이터의 관리나, 애플리케이션 및 그 애플리케이션에 관한 데이터 등의 관리에 관한 처리를 행한다.

또한 가구 판매 서버(601)는, CPU(411)가 소정의 프로그램을 실행함으로써, 도 30의 C에 기능 블록으로서 도시되는 기능을 갖는다. 도 30의 C에 도시된 바와 같이 CPU(411)는 가구 데이터 제공부(681) 및 구입 처리부(682) 등의 기능 블록을 갖는다.

가구 데이터 제공부(681)는, 예를 들어, 가구 화상이나 그 3D 모델링 데이터 등의, 가구의 판매 지원에 이용할 데이터의 제공에 관한 처리를 행한다. 구입 처리부(682)는 통신부(424) 등을 제어하여 서버(202)와 통신을 행하여, 가구 구입의 절차에 관한 처리를 행한다.

<다시점 화상 이용 서비스 제공 처리의 흐름>

이상과 같은 구성의 다시점 화상 이용 서비스 제공 시스템의 단말 장치(201), 서버(202) 및 가구 판매 서버(601)는, 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 다시점 화상을 이용하는 서비스의 제공, 본 실시 형태의 경우, 판매 지원의 서비스 제공을 행한다. 도 31 내지 도 33의 흐름도를 참조하여, 이 장치가 실행하는 다시점 화상 이용 서비스 제공 처리의 흐름의 예를 설명한다.

스텝 S321에 있어서, 가구 판매 서버(601)의 가구 데이터 제공부(681)는, 가구 화상의 화상 데이터나 그 3D 모델링 데이터를 서버(202)에 공급하여 등록시킨다. 서버(202)의 데이터 관리부(676)는 스텝 S311에 있어서, 그들 데이터를 취득하여, 판매를 지원할 가구로서 등록하고 관리한다.

스텝 S301에 있어서, 단말 장치(201)의 유저 지시 접수 처리부(651)는, 입력부(231) 등을 제어하여, 유저로부터 애플리케이션의 기동을 요구하는 지시를 접수한다. 전송 제어부(662)는 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(651)에 의하여 접수된 애플리케이션의 기동 요구를 서버(202)에 공급한다.

서버(202)의 애플리케이션 선택부(672)는, 스텝 S312에 있어서, 통신부(264) 등을 제어하여 그 요구를 취득한다. 그 요구에 따라, 애플리케이션 선택부(672)는 스텝 S313에 있어서, 유저 관리부(671)가 관리하는 유저 관리 정보에 기초하여, 그 유저가 사용 가능한 애플리케이션의 리스트를 생성하고, 통신부(264) 등을 제어하여 그 리스트를 단말 장치(201)에 공급한다.

단말 장치(201)의 전송 제어부(662)는, 스텝 S302에 있어서, 통신부(234) 등을 제어하여 그 리스트를 취득한다. 표시 제어부(652)는, 출력부(232)를 제어하여, 취득된 그 리스트를 화상으로서 모니터에 표시한다. 유저는 그 리스트에 기초하여 기동할 애플리케이션을 선택한다.

스텝 S303에 있어서, 유저 지시 접수 처리부(651)는, 입력부(231) 등을 제어하여, 유저로부터, 기동할 애플리케이션의 선택 지시를 접수한다. 전송 제어부(662)는, 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(651)에 의하여 접수된, 기동할 애플리케이션의 선택 지시를 서버(202)에 공급한다.

서버(202)의 애플리케이션 선택부(672)는, 스텝 S314에 있어서, 통신부(264) 등을 제어하여 그 선택 지시를 취득한다. 다음으로, 가구 데이터 선택부(673)는, 스텝 S315에 있어서, 유저 관리부(521)가 관리하는 유저 관리 정보에 기초하여, 그 유저에 판매 가능한 가구의 리스트인 판매 리스트를 생성하고, 통신부(264) 등을 제어하여 그 리스트를 단말 장치(401)에 공급한다.

단말 장치(401)의 전송 제어부(662)는, 스텝 S304에 있어서, 통신부(234) 등을 제어하여 그 리스트를 취득한다. 표시 제어부(652)는, 출력부(232)를 제어하여, 취득된 그 리스트를 화상으로서 모니터에 표시한다. 유저는 그 리스트에 기초하여 처리 대상으로 하는 가구(가구 데이터)를 선택한다.

스텝 S305에 있어서, 유저 지시 접수 처리부(651)는, 입력부(231) 등을 제어하여 유저로부터 가구 데이터의 선택 지시를 접수한다. 전송 제어부(662)는, 통신부(234) 등을 제어하여, 그 유저 지시 접수 처리부(651)에 의하여 접수된 가구 데이터의 선택 지시를 서버(202)에 공급한다.

서버(202)의 가구 데이터 선택부(673)는, 스텝 S316에 있어서, 통신부(264) 등을 제어하여 그 선택 지시를 취득한다.

그런데, 가구 데이터의 선택 지시를 공급한 단말 장치(201)의 촬상 제어부(653)는, 스텝 S306에 있어서, 촬상부(236)를 제어하여 다시점 촬상을 행한다. 스텝 S307에 있어서, 메타데이터 생성부(654)는, 스텝 S306에 있어서 생성된 다시점 화상에 매칭되는 메타데이터를 생성한다. 메타데이터의 내용은 임의이지만, 예를 들어, 도 11을 참조하여 설명한 바와 같은 카메라 배열 정보(342)나 눈 수 정보(343) 등의 정보를 포함하도록 해도 된다.

스텝 S308에 있어서, 뎁스 검출부(655)는, 다시점 화상에 대하여 뎁스값을 검출하여 뎁스 데이터(뎁스 맵)을 생성한다. 예를 들어, 뎁스 검출부(655)는, 도 14를 참조하여 설명한 뎁스 검출 처리를 행하거나 하여 뎁스 데이터를 생성한다. 스텝 S309에 있어서, 가상 촬상 화상 생성부(656)는, 다시점 화상을 이용하여 가상 촬상 화상을 생성한다.

도 32로 나아가, 가구 판매 서버(601)의 가구 데이터 제공부(681)는, 스텝 S351에 있어서, 가구 화상의 화상 데이터나 그 3D 모델링 데이터가 갱신되었을 경우, 통신부(424) 등을 제어하여 그들 데이터를 서버(202)에 백그라운드 전송에 의하여 적절히 공급한다. 서버(202)의 데이터 관리부(676)는, 스텝 S341에 있어서, 그들 데이터를 취득하여 등록 정보를 갱신한다.

스텝 S342에 있어서, 서버(202)의 가구 데이터 선택부(673)는, 스텝 S316에 있어서 취득한 가구 데이터의 선택 지시에 기초하여, 통신부(264) 등을 제어하여, 선택된 가구의 화상 데이터와 3D 모델링 데이터를 단말 장치(201)에 제공한다. 단말 장치(201)의 전송 제어부(662)는, 스텝 S331에 있어서, 통신부(234)를 제어하여, 그 가구의 화상 데이터 및 3D 모델링 데이터를 취득한다.

또한 서버(202)의 가구 데이터 선택부(673)는, 스텝 S343에 있어서, 스텝 S342에 있어서 제공한 가구 데이터의 가구와 관련성이 높은 가구(예를 들어, 색만 다른 가구나 크기만 다른 가구 등)를 선택하고, 통신부(264) 등을 제어하여, 그 가구 화상이나 3D 모델링 데이터 등을 단말 장치(201)에 백그라운드 전송에 의하여 적절히 공급한다. 단말 장치(201)의 전송 제어부(662)는, 스텝 S332에 있어서, 통신부(234)를 제어하여 그 가구의 화상 데이터 및 3D 모델링 데이터를 취득한다.

이와 같이, 관련 가구의 데이터를, 단말 장치(201)로부터의 요구 없이 백그라운드 처리로 단말 장치(201)에 전송시킴으로써, 단말 장치(201)의 유저는, 데이터 취득에 관한 통신의 타임 래그 없이, 가상 촬상 화상에 배치할 가구 화상을, 관련성이 높은 다른 가구의 화상으로 치환할 수 있다.

스텝 S333에 있어서, 단말 장치(201)의 가구 화상 배치 처리부(657)는, 가구 화상 배치 처리를 실행하여, 배경 화상의 일례인 가상 촬상 화상에 오브젝트의 일례인 가구 화상을 배치한다. 그때, 가구 화상 배치 처리부(657)는, 가구 화상의 배치 위치에 따라 가구 화상의 크기나 방향을 적절히 설정하여 배치한다. 가구 화상 배치 처리의 결과, 가구 화상이나 3D 모델링 데이터의 변경이나 추가가 필요하게 되었을 경우, 가구 화상 배치 처리부(657)는, 스텝 S334에 있어서, 통신부(234) 등을 제어하여 가구 화상이나 3D 모델링 데이터의 변경·추가를 서버(202)에 요구한다.

서버(202)의 가구 데이터 선택부(673)는, 스텝 S344에 있어서 통신부(264) 등을 제어하여, 그 요구를 취득하면, 그 요구에 따라, 스텝 S345에 있어서 통신부(264) 등을 제어하여, 선택된 가구의 화상 데이터와 3D 모델링 데이터를 단말 장치(201)에 제공한다. 단말 장치(201)의 전송 제어부(662)는, 스텝 S335에 있어서, 통신부(234)를 제어하여 그 가구의 화상 데이터 및 3D 모델링 데이터를 취득한다.

또한 서버(202)의 가구 데이터 선택부(673)는, 스텝 S345에 있어서, 스텝 S344에 있어서 제공한 가구 데이터의 가구와 관련성이 높은 가구(예를 들어, 색만 다른 가구나 크기만 다른 가구 등)를 선택하고, 통신부(264) 등을 제어하여, 그 가구 화상이나 3D 모델링 데이터 등을 단말 장치(201)에 백그라운드 전송에 의하여 적절히 공급한다. 단말 장치(201)의 전송 제어부(662)는, 스텝 S336에 있어서, 통신부(234)를 제어하여 그 가구의 화상 데이터 및 3D 모델링 데이터를 취득한다.

이와 같이 관련 가구의 데이터를, 단말 장치(201)로부터의 요구 없이 백그라운드 처리로 단말 장치(201)에 전송시킴으로써, 단말 장치(201)의 유저는, 데이터 취득에 관한 통신의 타임 래그 없이, 가상 촬상 화상에 배치할 가구 화상을, 관련성이 높은 다른 가구의 화상으로 치환할 수 있다.

도 33으로 나아가, 단말 장치(201)의 유저는, 이상과 같은 가구 배치의 시뮬레이션에 의하여, 가구를 구입할지 여부를 결정한다. 유저 지시 접수 처리부(651)는, 스텝 S361에 있어서, 입력부(231) 등을 제어하여, 유저 지시를 접수하고 그 지시에 따라 구입할 가구를 결정한다.

스텝 S362에 있어서, 단말 장치(201)의 구입 처리부(658)는, 통신부(234) 등을 제어하여 서버(202)와 통신을 행하여, 결제 처리 등의, 구입에 관한 처리를 행한다. 서버(202)의 구입 처리부(674)는, 스텝 S371에 있어서, 통신부(264) 등을 제어하여 단말 장치(201)나 가구 판매 서버(601)와 통신을 행하여, 결제 처리 등의, 구입에 관한 처리를 행한다. 가구 판매 서버(601)의 구입 처리부(682)는, 스텝 S381에 있어서, 통신부(424) 등을 제어하여 단말 장치(201)나 서버(202)와 통신을 행하여, 결제 처리 등의, 구입에 관한 처리를 행한다.

스텝 S363에 있어서, 단말 장치(201)의 파일 생성부(659)는, 다시점 화상 파일을 생성한다. 또한 이 다시점 화상 파일의 포맷 형식은 임의이다. 예를 들어, 다시점 화상이 정지 화상인 경우, EXIF 파일 포맷으로 파일화되도록 해도 된다. 또한, 예를 들어, 다시점 화상이 동화상인 경우, MP4 파일 포맷으로 파일화되도록 해도 된다. 물론 이들 이외의 포맷 형식으로 파일화되도록 해도 된다.

스텝 S364에 있어서, 합성 화상 데이터 생성부(660)는, 가상 촬상 화상에 가구 화상을 유저의 지시대로 배치하여 합성한 합성 화상의 데이터(합성 화상 데이터)를 생성한다.

스텝 S365에 있어서, 애플리케이션 파라미터 생성부(661)는, 이 가구 판매 지원에 있어서, 어떠한 파라미터에 대하여 어떠한 값이 설정되고, 유저에 의하여 어떠한 조작(지시)이 행해졌고 어떠한 처리가 행해졌는지 등을 나타내는 이력 정보를, 이 판매 지원을 행하는 애플리케이션의 애플리케이션 파라미터로서 생성한다.

스텝 S366에 있어서, 전송 제어부(662)는, 통신부(234)를 제어하여, 이상과 같이 생성된 각종 데이터(다시점 화상 파일(다시점 화상 데이터, 뎁스 데이터, 메타데이터 등), 합성 화상 데이터, 애플리케이션 파라미터 등)를 서버(202)에 공급한다.

서버(202)의 취득 제어부(675)는, 스텝 S372에 있어서, 통신부(264)를 제어하여 그 각종 데이터를 취득한다.

스텝 S373에 있어서, 데이터 관리부(676)는, 스텝 S372에 있어서 취득된 각종 데이터를 기억하고 유저에 등록한다(유저 관리 정보에 반영시킴).

스텝 S373의 처리가 종료되면, 다시점 화상 이용 서비스 제공 처리가 종료된다.

이러한 다시점 화상 이용 서비스 제공 처리를 실행함으로써, 유저는, 다시점 화상을 이용하여 가구 배치의 렌즈 시뮬레이션을 보다 용이하게 행할 수 있다. 또한, 생성된 합성 화상 데이터가 서버(202)에 있어서 유저에 등록되어 관리되므로, 유저는 가구의 배치 결과를 용이하게 재확인할 수 있다. 즉, 다시점 화상 이용 서비스 제공 시스템(200)(다시점 화상 이용 서비스 플랫폼(100))은, 다시점 화상을 이용한 서비스의 편리성을 향상시킬 수 있다.

<가구 화상 배치 처리의 흐름>

다음으로, 도 34의 흐름도를 참조하여, 도 32의 스텝 S333에 있어서 실행되는 가구 화상 배치 처리의 상세한 흐름의 예에 대하여 설명한다.

가구 화상 배치 처리가 개시되면, 가구 화상 배치 처리부(657)는 스텝 S391에 있어서, 예를 들어, 입력부(231) 등을 제어하여 유저 등으로부터 배치 위치 지정을 접수한다.

스텝 S392에 있어서, 가구 화상 배치 처리부(657)는, 배경 화상의 일례인 가상 촬상 화상(다시점 화상)의 뎁스 데이터 및 기준선 길이 정보, 그리고 오브젝트의 일례인 가구 화상의 3D 모델링 데이터에 기초하여, 가상 촬상 화상에 가구 화상을 배치할 위치에 있어서의 가구 화상의 방향이나 크기를 설정한다.

스텝 S393에 있어서, 가구 화상 배치 처리부(657)는, 가상 촬상 화상에 대하여(예를 들어, 스텝 S391에 있어서 접수된 배치 위치 지정에 의하여), 지정되는 위치에, 스텝 S392에 있어서 설정한 방향이나 크기로 가구 화상을 배치하여 합성한다.

스텝 S393의 처리가 종료되면, 가구 화상 배치 처리가 종료되고, 처리는 도 32로 되돌아간다.

이상과 같이 가구 화상 배치 처리를 행함으로써 유저는 보다 용이하게 가구 배치의 시뮬레이션을 행할 수 있다.

또한, 이상에서 설명한 가구 화상 배치 처리는, 단말 장치(201)에 한하지 않으며, 임의의 장치에 있어서 실행되도록 해도 된다. 예를 들어, 서버(202)에 있어서 가구 화상 배치 처리가 행해지도록 해도 된다. 그 경우, 서버(202)의 CPU(251)가 가구 화상 배치 처리부(657) 등 필요한 기능 블록을 적절히 갖도록 하면 된다. 그 경우에도 가구 화상 배치 처리는 상술한 예와 기본적으로 마찬가지로 실행할 수 있다. 또한, 다시점 화상 파일 등의 가구 화상 배치 처리에 이용되는 정보이며 단말 장치(201)에 있어서 얻어지는 정보는, 전송 제어부(662)의 제어 하에서 필요에 따라 적절히 서버(202)에 전송되도록 하면 된다.

마찬가지로 이 가구 화상 배치 처리는, 예를 들어, 다시점 촬상을 행하는 단말 장치(201)나 서버(202) 이외의 장치(예를 들어, 단말 장치(401)) 등에 있어서 행해지도록 해도 물론 된다. 그 경우, 그 장치의 CPU가 가구 화상 배치 처리부(657) 등의 필요한 기능 블록을 적절히 갖도록 하면 된다. 그 경우에도 가구 화상 배치 처리는 상술한 예와 기본적으로 마찬가지로 실행할 수 있다. 또한 다시점 화상 파일이나 가구 데이터 등의 가구 화상 배치 처리에 이용되는 정보이며 단말 장치(201)나 서버(202)에 있어서 얻어지는 정보는, 전송 제어부(662)나 가구 데이터 선택부(673) 등의 제어 하에서 필요에 따라 적절히 그 장치에 전송되도록 하면 된다.

<가구 배치 갱신 처리>

이상과 같은 판매 지원의 애플리케이션에 있어서, 배치 위치 지정이 갱신되면, 그 갱신에 따라 가구 화상의 합성 위치를 변경하도록 해도 된다. 예를 들어, 도 35의 A에 도시된 바와 같이, 가상 촬상 화상(701)에 배치된 가구 화상(702A)의 배치 위치 지정을 점선 화살표(703)와 같이 갱신했을 경우, 가구 화상(702A)은 그 갱신 후의 배치 위치에 따라 크기나 방향이 재설정된다(가구 화상(702B)).

또한, 가상 촬상 화상의 시점을 갱신했을 경우, 배치된 가구 화상의 위치는 갱신되지 않도록 하고, 새로운 시점의 가상 촬상 화상에 있어서, 그 가구 화상을 원래의 위치에 적절한 크기와 방향으로 재배치하도록 해도 된다. 예를 들어, 도 35의 B에 도시된 바와 같이, 방(704)을 시점(705A)으로부터 촬상한 가상 촬상 화상에 있어서, 소파(706)를 도 35의 B와 같이 배치했다고 하자. 그 후, 가상 촬상 화상의 시점을 시점(705B)으로 이동시켰을 경우, 그 시점 갱신 후의 가상 촬상 화상에도 소파(706)은 들어갈 것이다. 따라서, 시점 갱신 후의 가상 촬상 화상에 있어서, 소파(706)를 그 위치에 배치하도록 한다. 그때, 소파(706)의 방향과 크기를, 시점 갱신 후의 가상 촬상 화상에 대하여 적절히 조정하도록 한다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는, 가구 배치 갱신 처리를 실행한다. 이 가구 배치 갱신 처리의 흐름의 예를, 도 36의 흐름도를 참조하여 설명한다. 가구 배치 갱신 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S401에 있어서, 배치 지정 위치가 변경되었는지 여부를 판정한다. 예를 들어, 입력부(231)를 통하여 유저로부터의 새로운 배치 위치 지정이 접수되어 배치 위치 지정이 변경되었다고 판정되었을 경우, 처리는 스텝 S402로 나아간다.

스텝 S402에 있어서, 가구 화상 배치 처리부(657)는, 뎁스 데이터 및 기준선 길이 정보, 그리고 3D 모델링 데이터에 기초하여, 가구 화상의 방향이나 크기를 설정한다. 스텝 S403에 있어서, 가구 화상 배치 처리부(657)는 가구 화상을 가상 촬상 화상의 갱신 후의 지정 위치에 합성한다.

스텝 S403의 처리가 종료되면, 처리는 스텝 S404로 나아간다. 또한 스텝 S401에 있어서, 배치 지정 위치가 변경되지 않았다고 판정되었을 경우, 처리는 스텝 S404로 나아간다.

스텝 S404에 있어서, 가구 화상 배치 처리부(657)는, 촬상의 위치나 방향이 변경되었는지 여부를 판정한다. 예를 들어, 새로운 다시점 촬상이 행해져 새로운 가상 촬상 화상이 생성되는 경우나, 동화상의 다시점 촬상을 이동하면서 행하는 경우 등과 같이 촬상의 위치나 방향이 변경되었다고 판정되었을 경우, 처리는 스텝 S405로 나아간다.

스텝 S405에 있어서, 가구 화상 배치 처리부(657)는, 새로운 다시점 화상에 의하여 가상 촬상 화상을 다시 작성함으로써 가상 촬상 화상을 갱신한다. 스텝 S406에 있어서, 가구 화상 배치 처리부(657)는, 그 갱신된 가상 촬상 화상에 있어서, 가상 촬상 화상 갱신 전에 배치된 가구 화상의 위치를 특정한다. 스텝 S407에 있어서, 가구 화상 배치 처리부(657)는, 갱신된 가상 촬상 화상의, 스텝 S406에 있어서 특정된 위치에 있어서의 가구 화상의 크기나 방향을 설정한다. 스텝 S408에 있어서, 가구 화상 배치 처리부(657)는, 갱신된 가상 촬상 화상의, 스텝 S406에 있어서 특정된 위치에, 스텝 S407에 있어서 설정된 크기나 방향으로 가구 화상을 재배치한다.

스텝 S408의 처리가 종료되면, 가구 배치 갱신 처리가 종료된다. 또한 스텝 S404에 있어서, 촬상의 위치나 방향이 변경되지 않았다고 판정되었을 경우, 가구 배치 갱신 처리가 종료된다.

가구 화상이 가상 촬상 화상에 배치된 후, 가구 배치의 시뮬레이션이 종료되기까지 이 가구 배치 갱신 처리가 반복 실행된다. 이것에 의하여, 가구 화상이 항상 적절한 위치에 적절한 크기와 방향으로 가상 촬상 화상에 합성되도록 할 수 있다.

<접지 판정>

또한 가구 화상의 배치에 있어서, 가구 화상이 가상 촬상 화상의 바닥 등에 접지하고 있는지 여부를 판정하도록 해도 된다. 예를 들어, 도 37의 A에 도시되는 가상 촬상 화상(711)에 있어서, 라이트 스탠드(712)가 도 37의 A에 도시되는 위치에 배치 지정되었다고 하자. 이 경우, 라이트 스탠드(712)는, 점선 양쪽 화살표(713)로 나타낸 바와 같이 바닥(714)으로부터 이격되어 있어 공중에 뜬 상태로 배치되게 되며, 현실적인 배치 위치가 아니에서 가구 배치의 시뮬레이션으로서는 부적절하며, 바람직하지 않다.

따라서 이러한 경우, 도 37의 B에 도시된 바와 같이, 라이트 스탠드(712)가 가상 촬상 화상(711)의 바닥(714)에 접지하도록 라이트 스탠드(712)의 배치 위치를 변경하도록 해도 된다. 또한 위치는 변경하지 않고 유저 등에 대하여 경고를 행하도록 해도 된다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는 접지 판정 처리를 실행한다. 도 38의 흐름도를 참조하여, 이 접지 판정 처리의 흐름의 예를 설명한다.

접지 판정 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S421에 있어서, 가구의 배치 지정 위치의, 바닥 등의, 가구의 배치가 가능한 장소로부터의 높이를 특정한다. 스텝 S422에 있어서, 가구 화상 배치 처리부(657)는, 배치되는 가구 화상의 3D 모델링 데이터로부터, 그 가구 화상이 바닥 등의, 가구의 배치가 가능한 장소에 접지하고 있는지 여부를 판정한다. 접지하고 있지 않다고 판단되었을 경우, 처리는 스텝 S423으로 나아간다.

스텝 S423에 있어서, 가구 화상 배치 처리부(657)는 에러 처리를 행한다. 이 에러 처리의 내용은 임의이며, 어떠한 처리가 행해지도록 해도 된다. 예를 들어, 상술한 바와 같이, 가구 화상이 접지하도록 가구 화상을 이동시켜도 되고, 가구 화상의 배치 위치는 갱신하지 않고 유저 등에 대하여 경고를 행하도록 해도 된다.

스텝 S423의 처리가 종료되면, 접지 판정 처리가 종료된다. 또한 스텝 S422에 있어서, 가구 화상이 바닥 등의 가구의 배치가 가능한 장소에 접지하고 있다고 판정되었을 경우, 접지 판정 처리가 종료된다.

가구의 배치가 행해질 때마다 이 접지 판정 처리가 실행된다. 이것에 의하여 유저는 보다 현실감 있는 가구 배치의 시뮬레이션을 행할 수 있다.

또한, 상술한 바와 같이, 오브젝트의 배치 위치의 높이 방향의 조정뿐만 아니라, 배경 화상의 내용(배경 화상에 포함되는 물체의 위치 등)에 기초하여, 오브젝트의 수평 방향(좌우 방향이나 전후(안쪽) 방향)의 배치 위치를 적절히 조정하도록 해도 된다.

예를 들어, 배경 화상(가상 촬상 화상)이, 큰 기둥이 맨 앞쪽에 있고, 그 기둥 뒤에 공간이 있으며, 그 공간 뒤에 벽이 있는 방의 화상이라고 하자. 이 벽의 앞쪽(방 안)에 있어서, 기둥 부분을 오브젝트(가구 화상)의 배치 불가능 영역으로 하고, 기둥 뒤와 벽 사이의 공간을 오브젝트(가구 화상)의 배치 가능 영역으로 하도록 한다. 그리고, 가구 화상이 그 배치 불가능 영역에 배치되도록 지시되었을 경우, 그 가구 화상이, 배치 가능 영역인 기둥 뒤와 벽 사이의 공간으로 이동되어 배치되도록 한다. 그때, 가구 화상이, 그 이동 후의 배치 위치에 따라 크기나 방향이 설정될 뿐만 아니라, 필요에 따라 가구 화상의 일부 또는 전부가 기둥 뒤에 가려지도록 가공되어 가상 촬상 화상에 합성되도록 한다.

이와 같이 함으로써 유저는 보다 현실감 있는 가구 배치의 시뮬레이션을 행할 수 있다.

<길이 계측>

또한, 가상 촬상 화상 상에서 길이를 계측할 수 있도록 해도 된다. 예를 들어, 도 39에 도시된 바와 같이, 가상 촬상 화상(721)에 있어서 점선 양쪽 화살표(722)와 같이 창의 가로 폭을 계측한다고 하자. 가상 촬상 화상(721) 내에서, 창의 크기는, 그 창의 깊이 방향의 거리 등에 따라 변화된다. 따라서 다시점 화상의 뎁스 데이터나 기준선 길이 정보 등을 이용하여, 계측된 길이를 그 깊이 방향의 거리에 따라 보정하도록 해도 된다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는, 계측 처리를 실행한다. 도 40의 흐름도를 참조하여, 이 계측 처리의 흐름의 예를 설명한다.

계측 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S441에 있어서, 가상 촬상 화상 상에서 범위 지정을 접수한다. 범위 지정이 되면, 가구 화상 배치 처리부(657)는, 스텝 S442에 있어서, 가상 촬상 화상의 생성에 이용된 다시점 화상의 뎁스 데이터나 기준선 길이 정보에 기초하여, 지정된 범위의 길이를 계측한다. 스텝 S442의 처리가 종료되면, 계측 처리가 종료된다.

이것에 의하여, 예를 들어, 도 39의 가상 촬상 화상(721)에 있어서, 창의 가로 폭 길이(점선 양쪽 화살표(722))를 보다 정확히 계측할 수 있다. 따라서, 예를 들어, 이 창에 다는 커튼을 구입하거나 할 때, 커튼의 치수를 잘못 재거나 하는 등의 실수의 발생을 억제할 수 있어, 유저의 구매 의욕의 저감을 억제할 수 있다. 즉, 이러한 서비스에 의하여 판매를 지원할 수 있다.

<조명 처리>

또한, 가상 촬상 화상 상에서 조명(광선)이 드는 방식을 재현하도록 해도 된다. 예를 들어, 도 41에 도시된 바와 같이, 가상 촬상 화상(731)에 라이트 스탠드(732)를 배치했을 때, 이 라이트 스탠드(732)의 조명을 점등시킨 상태를 재현하도록 해도 된다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는 조명 처리를 실행한다. 도 42의 흐름도를 참조하여 이 조명 처리의 흐름의 예를 설명한다.

조명 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S461에 있어서, 색, 밝기, 방향 등, 광원에 관한 파라미터를 포함하는 광원 파라미터의 지정을 접수한다. 이 광원 파라미터에 포함되는 각 파라미터의 값은 유저에 의하여 지정되도록 해도 되고, 가구(조명 기구) 화상에 매칭된 가구 데이터로서 제공되도록 해도 된다. 스텝 S462에 있어서, 가구 화상 배치 처리부(657)는, 그 지정되는 광원 파라미터에 기초하여, 가상 촬상 화상에 있어서의 조명(광원으로부터의 광)이 드는 방식을 시뮬레이션한다(모의적으로 현출함). 스텝 S463에 있어서, 가구 화상 배치 처리부(657)는, 그 시뮬레이션 결과를 가상 촬상 화상에 반영시킨다. 예를 들어, 조명이 드는 부분은 밝게 하거나, 들지 않는 부분은 어둡게 하거나 그림자를 형성하거나 한다.

이와 같이 함으로써 유저는 보다 현실감 있는 조명 기구의 배치 시뮬레이션을 행할 수 있다. 따라서 조명 기구 구입 시에, 실제로 구입한 조명 기구의 조명의 색이나 밝기가, 매장이나 카탈로그 등을 보고 한 추정과 대폭 상이한 등의 문제의 발생을 억제할 수 있어, 유저의 구매 의욕의 저감을 억제할 수 있다. 즉, 이러한 서비스에 의하여 판매를 지원할 수 있다.

<동선 안내 처리>

또한 가상 촬상 화상 상에 있어서, 동선으로 되는 부분을 강조 표시하도록 해도 된다. 예를 들어, 도 43에 도시된 바와 같이, 가상 촬상 화상(741) 상에 테이블(742)을 배치한 상태에 있어서, 동선으로서의 조건을 만족시키는 부분(743)을 특정하고, 그 부분을 안내하도록 해도 된다. 도 43의 예의 경우, 그 동선으로서의 조건을 만족시키는 부분(743)이 빗금무늬 등으로 강조되도록 표시되어 있다. 동선으로서의 조건은 임의이지만, 예를 들어, 바닥 등의, 사람이 설 수 있을 것, 사람이 통과할 수 있을 정도의 폭이 확보되어 있을 것 등이 생각된다.

동선으로서의 조건을 만족시키는 부분(743)을 나타내는 표시 방법은 색이나 휘도에 의한 것이어도 되고, 화살표나 별표 등의 기호나 도형을 이용한 것이어도 된다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는 동선 안내 처리를 실행한다. 도 44의 흐름도를 참조하여 이 동선 안내 처리의 흐름의 예를 설명한다.

동선 안내 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S481에 있어서, 기준선 길이 정보에 기초하여, 가상 촬상 화상에 있어서의 소정의 폭 이상의 바닥의 부분, 즉, 동선으로서의 조건을 만족시키는 부분을 특정한다. 스텝 S482에 있어서, 가구 화상 배치 처리부(657)는, 그 특정된 부분을 모양, 색 또는 휘도 등에 의하여 강조 표시한다. 스텝 S482의 처리가 종료되면, 동선 안내 처리가 종료된다.

이와 같이 함으로써, 유저는, 가구 배치 시에 동선을 확보하도록 가구의 배치를 시뮬레이션할 수 있다. 따라서, 예를 들어, 가구가 너무 커서 사람이 통과하지 못하는 간극밖에 형성되지 않는 등의 문제의 발생을 억제할 수 있다. 또한, 예를 들어, 휠체어가 통과할 수 있는 동선을 확보할 수 있는지 여부 등의 확인을 가구 구입 전에 행할 수 있다. 따라서 이러한 서비스에 의하여 유저의 구매 의욕을 향상시켜 판매를 지원할 수 있다.

<인물 화상 배치>

또한, 가구를 배치할 때, 가상 촬상 화상 상에 인물 화상을 배치하도록 해도 된다. 예를 들어, 도 45에 도시된 바와 같이, 가상 촬상 화상(751)에 의자(752)를 배치하고, 그 근방에 인물 화상(753)을 배치할 수 있도록 해도 된다. 이 인물 화상은, 실제의 인물 촬상 화상이어도 되고 가공의 인물의 화상이어도 된다. 어쨌든 이 인물 화상에는 가구 화상과 마찬가지의 3D 모델링 데이터가 매칭되어 있다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는, 인물 화상 배치 처리를 실행한다. 도 46의 흐름도를 참조하여, 이 인물 화상 배치 처리의 흐름의 예를 설명한다.

인물 화상 배치 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S501에 있어서, 입력부(231) 등을 통하여 유저 등으로부터의 인물 화상의 배치 위치의 위치 지정을 접수한다. 스텝 S502에 있어서, 가구 화상 배치 처리부(657)는, 가구 화상의 경우와 마찬가지로, 가상 촬상 화상을 생성하기 위하여 이용되는 촬상 화상의 기준선 길이 정보나 뎁스 데이터 등에 기초하여, 지정된 위치에 있어서의 인물 화상의 크기나 방향을 설정한다. 스텝 S503에 있어서, 가구 화상 배치 처리부(657)는, (예를 들어, 스텝 S501에 있어서)지정된 위치에, 스텝 S502에 있어서 설정된 크기나 방향으로 인물 화상을 배치한다. 스텝 S503의 처리가 종료되면, 인물 화상 배치 처리가 종료된다.

이와 같이 함으로써, 유저는, 가구 화상뿐만 아니라, 인물 화상도 가상 촬상 화상에 배치할 수 있다. 따라서, 배치한 가구와 인물 화상을 비교할 수 있어, 배치한 가구의 크기나 분위기를 보다 정확히 표현할 수 있다. 따라서, 예를 들어, 구입한 가구가 생각보다 크거나, 생각했던 인상과 상이한 등의 문제의 발생을 억제할 수 있다. 따라서, 이러한 서비스에 의하여, 유저의 구매 의욕을 향상시켜 판매를 지원할 수 있다.

또한 인물 화상의 위치 설정 방법은 임의이다. 예를 들어, 배치된 가구 화상상이나 근방 등, 가구 화상의 위치에 따라 인물 화상의 배치 위치가 결정되도록 해도 된다. 또한, 예를 들어, 유저가 가구 화상을 지정하도록 하고, 그 지정된 가구 화상에 따른 위치에 인물 화상이 배치되도록 해도 된다. 또한 배치할 인물 화상은 1명의 화상이어도 되고 복수 명의 화상이어도 된다.

또한, 여기서 인물 화상이란, 판매를 지원하는 대상인 오브젝트(예를 들어, 가구 화상)가 아닌, 배경 화상(예를 들어, 가상 촬상 화상)에 합성(배치)할 화상의 일례이다. 즉, 상술한 인물 화상의 경우와 마찬가지의 방법으로 인물 화상 이외의 임의의 화상을 배치하도록 해도 된다. 예를 들어, 개나 고양이 등의 동물의 화상(동물 화상)이어도 되고, 판매(지원) 대상이 아닌 물품의 화상(물품 화상)이어도 되며, 인물과 동물의 양쪽을 포함하는 화상처럼 그들을 조합한 화상(혼재 화상)이어도 된다.

또한 이상과 같이 화상을 배치할 때, 배치할 화상을 유저 등이 선택할 수 있도록 해도 된다. 예를 들어, 인물 화상을 배치할지, 동물 화상을 배치할지, 물품 화상을 배치할지, 혼재 화상을 배치할지 등을 선택할 수 있도록 해도 된다. 더욱 상세한 선택을 행할 수 있도록 해도 된다. 예를 들어, 인물 화상의 경우, 남성, 여성, 어른, 어린이, 자세(서 있는지 앉아 있는지 등), 복장, 인원 수 등을 선택할 수 있도록 해도 된다. 동물 화상, 물품 화상, 혼재 화상의 경우도 마찬가지로 종류, 성별, 연령, 크기, 색 등, 임의의 파라미터에 대하여 선택할 수 있도록 해도 된다. 또한 이러한 화상의 선택 방법은 임의이다. 예를 들어, 미리 준비된 복수의 후보 중에서 유저 등이 원하는 화상을 선택하도록 해도 된다. 또한 유저 등이 화상을 작성하거나 가공하거나 합성하거나 하여, 이 인물 화상처럼 합성할 화상을 작성하도록 해도 된다.

<가구 리스트 제한>

또한, 상술한 바와 같이 유저가 배치할 가구를 선택할 때, 가구의 리스트가 제시되지만, 그때, 가상 촬상 화상 내에 배치 가능한 가구만을 리스트로서 유저에게 제시하도록 해도 된다. 즉, 배치 불가능한 가구를 리스트로부터 생략하도록 하고, 유저 등이 배치 가능한 가구 화상(오브젝트) 중에서 가상 촬상 화상(배경 화상)에 배치할 가구 화상을 선택하도록 해도 된다.

이러한 기능을 실현하기 위하여, 가구 화상 배치 처리부(657)는 가구 리스트 제한 처리를 실행한다. 도 47의 흐름도를 참조하여, 이 가구 리스트 제한 처리의 흐름의 예를 설명한다.

가구 리스트 제한 처리가 개시되면, 가구 화상 배치 처리부(657)는, 스텝 S521에 있어서, 가상 촬상 공간의 생성에 이용되는 다시점 화상의 기준선 길이 정보로부터, 가상 촬상 화상 내에 배치 가능한 가구의 크기를 판정한다. 스텝 S522에 있어서, 가구 화상 배치 처리부(657)는, 서버(202)로부터 공급된 리스트의 가구 화상의 3D 모델링 데이터로부터, 가상 촬상 화상 내에 배치 가능한 가구를 특정한다. 스텝 S523에 있어서, 가구 화상 배치 처리부(657)는, 스텝 S522에 있어서 특정된 가구만의 리스트를 작성한다. 표시 제어부(652)는, 출력부(232)를 제어하여, 가구 화상 배치 처리부(657)에 의하여 작성된 그 리스트를 화상으로서 모니터에 표시한다. 스텝 S523의 처리가 종료되면, 가구 리스트 제한 처리가 종료된다.

이와 같이 함으로써, 유저에게 제시되는 리스트로부터 불필요한 가구를 제거할 수 있다. 따라서 유저는 보다 유용한 리스트를 참조하여 가구를 선택할 수 있다. 특히 판매할 가구의 수나 종류가 다수 존재하는 경우, 유저에 의한, 리스트로부터의 가구의 선택이 곤란해질 우려가 있으므로, 가능한 한 불필요한 정보는 리스트로부터 제외하는 것이 바람직하다. 따라서, 이러한 서비스에 의하여 유저의 가구 선택을 쉽게 하고, 구매 의욕의 저감을 억제할 수 있어, 판매를 지원할 수 있다.

또한 이상에 있어서, 화상 합성의 예로서, 다시점 촬상에 의하여 얻어진 가상 촬상 화상과 가구 화상을 합성하는 예를 설명했지만, 합성할 화상은 어떠한 것이어도 된다. 예를 들어, 촬상 화상끼리를 합성하도록 해도 되고, 컴퓨터 그래픽 화상과 같은 인공적인 화상끼리를 합성하도록 해도 되며, 촬상 화상과 인공적인 화상을 합성하도록 해도 된다. 또한, 촬상 화상의 일부가 인공적인 화상으로 되어 있는 화상을 합성하도록 해도 된다. 또한, 동화상끼리를 합성하도록 해도 되고, 정지 화상끼리를 합성하도록 해도 되며, 동화상과 정지 화상을 합성하도록 해도 된다.

또한 이상에 있어서, 판매 지원 서비스로서, 배경 화상에 오브젝트를 합성하는 것으로 설명했지만, 이 오브젝트는 판매 지원의 대상으로 되는 물품의 화상이면 어떠한 것이어도 되며, 3D 모델링 데이터를 갖고 있지 않아도 된다. 예를 들어, 3D 모델링 데이터는 오브젝트와는 다른 장소로부터 제공되도록 해도 된다. 또한, 예를 들어, 3D 모델링 데이터가 아니라, 크기 등을 나타내는 간이적인 정보여도 된다.

또한, 배경 화상은, 오브젝트가 배치될 화상임을 나타내는 것이며, 오브젝트와의 중첩 관계(위치 관계)를 나타내는 것은 아니다. 예를 들어, 배경 화상에는, 오브젝트 앞에 중첩되는 전경이 포함되어 있어도 된다. 또한 배경 화상이 그 전경에 의해서만 구성되도록(즉, 모든 배경 화상이 오브젝트 앞에 위치하게 중첩되도록) 해도 된다. 또한 오브젝트를 배치할 위치에 따라, 배경 화상이 오브젝트의 앞쪽 경치로 되거나 배경으로 되거나 하도록 해도 된다. 즉, 배경 화상이 복수의 화상에 의하여 구성되도록 해도 된다(복수의 화상이 중첩된 것이어도 됨). 또한 상술한 바와 같이, 배경 화상이 1매의 촬상 화상(가상 촬상 화상)을 포함하기는 하지만, 오브젝트(가구 화상)의 배치 위치(특히 깊이 방향의 위치)에 따라, 그 배경 화상의 일부가 오브젝트 앞에 위치하도록 오브젝트와 배경 화상이 적절히 가공되어 합성되도록 해도 된다.

<6. 기타>

상술한 일련의 처리는, 하드웨어에 의하여 실행시킬 수도 있고, 소프트웨어에 의하여 실행시킬 수도 있다. 상술한 일련의 처리를 소프트웨어에 의하여 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 네트워크나 기록 매체로부터 인스톨된다.

이 기록 매체는, 예를 들어, 도 4, 도 6 및 도 16에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위하여 배포되는, 프로그램이 기록되어 있는 리무버블 미디어(예를 들어, 리무버블 미디어(241), 리무버블 미디어(271), 리무버블 미디어(431))에 의하여 구성된다. 이 리무버블 미디어에는 자기 디스크(플렉시블 디스크를 포함함)나 광 디스크(CD-ROM이나 DVD를 포함함)가 포함된다. 또한 광 자기 디스크(MD(Mini Disc)를 포함함)나 반도체 메모리 등도 포함된다.

그 경우, 프로그램은, 그들 리무버블 미디어를 드라이브에 장착함으로써 입출력 인터페이스를 통하여 기억부에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은, 각 장치의 통신부(예를 들어, 통신부(234), 통신부(264), 통신부(424))에서 수신하여 기억부(예를 들어, 기억부(233), 기억부(263), 기억부(423))에 인스톨할 수 있다.

그 외에, 이 프로그램은, 각 장치의 ROM(예를 들어, ROM(222), ROM(252), ROM(412))이나 기억부(예를 들어, 기억부(233), 기억부(263), 기억부(423))에 미리 인스톨해 둘 수도 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지는 않더라도 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또한, 상술한 각 스텝의 처리는 상술한 각 장치, 또는 상술한 각 장치 이외의 임의의 장치에 있어서 실행할 수 있다. 그 경우, 그 처리를 실행하는 장치가 상술한, 그 처리를 실행하는 데 필요한 기능(기능 블록 등)을 갖도록 하면 된다. 또한, 처리에 필요한 정보를 적절히 그 장치에 전송하도록 하면 된다.

또한, 본 명세서에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일한 하우징 중에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.

또한, 이상에 있어서, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떠한 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이면, 청구 범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예에 상도할 수 있음은 명확하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

상술한 실시 형태에 따른 화상 처리 장치는, 예를 들어, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신, 및 셀룰러 통신에 의한 단말기에의 배신 등에 있어서의 송신기 혹은 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다.

또한, 본 기술은 이에 한정되지 않으며, 이러한 장치 또는 시스템을 구성하는 장치에 탑재하는 모든 구성, 예를 들어, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 이용하는 모듈, 복수의 모듈 등을 이용하는 유닛, 유닛에 그 외의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는 가상 촬상 화상 생성부

를 구비하는 화상 처리 장치.

(2) 상기 가상 촬상 화상 생성부는, 상기 다시점 화상에 대하여, 상기 프로파일 정보에 지정되는 수의 보간 화상을 생성하고, 상기 다시점 화상 및 상기 보간 화상을 이용하여 상기 가상의 촬상 화상을 생성하는,

(1), (3) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(3) 상기 가상 촬상 화상 생성부는, 상기 다시점 화상의 각 시점의 상대 위치 관계를 나타내는 배열 정보와, 상기 다시점 화상의 시점 수를 나타내는 눈 수 정보와, 상기 뎁스 데이터에 따라, 상기 보간 화상을 생성하는,

(1), (2), (4) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(4) 상기 배열 정보는, 기준으로 되는 시점으로부터 각 시점까지의 거리를 나타내는 정보와, 상기 기준으로 되는 시점으로부터 각 시점의 방향을 나타내는 정보를 포함하는,

(1) 내지 (3), (5) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(5) 상기 가상 촬상 화상 생성부는, 상기 배열 정보 및 상기 눈 수 정보에 기초하여, 기준으로 하는 화상과, 매칭 축과, 보간 방법을 결정하는,

(1) 내지 (4), (6) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(6) 상기 가상 촬상 화상 생성부는, 결정된 상기 기준으로 하는 화상과 상기 매칭 축을 이용하여, 상기 보간 방법에 의하여 지정되는 화상을 상기 뎁스 데이터에 따라 중첩시킴으로써 상기 보간 화상을 생성하는,

(1) 내지 (5), (7) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(7) 상기 가상 촬상 화상 생성부는, 생성할 보간 화상의 위치에 따라, 중첩시킬 각 화상의 혼합비를 결정하는,

(1) 내지 (6), (8) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(8) 상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킴으로써 상기 가상의 촬상 화상을 생성하는,

(1) 내지 (7), (9) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(9) 상기 프로파일 정보는, 상기 가상의 광학계에 포함되는 가상의 렌즈의 PSF 데이터와, 상기 가상의 광학계에 포함되는 가상의 조리개의 형상을 나타내는 조리개 형상 정보와, 상기 보간 화상의 수를 나타내는 보간 화상 수 정보를 포함하는,

(1) 내지 (8), (10) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(10) 상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 뎁스 데이터에 따른 상기 가상의 렌즈의 PSF 데이터를 반영시키는,

(1) 내지 (9), (11) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(11) 상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 다시점 화상 및 상기 보간 화상에, 상기 조리개 형상 정보에 의하여 나타나는 상기 가상의 조리개 형상을 반영시키는,

(1) 내지 (10), (12) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(12) 상기 가상 촬상 화상 생성부는, 유저에 의하여 지정되는 상기 가상의 광학계에 관한 파라미터인 유저 지정 파라미터에 따라 상기 가상의 촬상 화상을 생성하는,

(1) 내지 (11), (13) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(13) 상기 유저 지정 파라미터는, 상기 가상의 촬상 화상 내에 있어서의 포커싱 위치를 지정하는 포커싱 위치 지정 정보와, 상기 가상의 촬상 화상의 피사계 심도를 지정하는 피사계 심도 지정 정보와, 상기 가상의 촬상 화상을 생성할 때의 초해상 처리에 관한 지정을 행하는 초해상 지정 정보를 포함하는,

(1) 내지 (12), (14) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(14) 상기 가상 촬상 화상 생성부는, 상기 뎁스 데이터에 기초하여, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값을 구하고, 상기 가상의 촬상 화상의 포커싱 거리를 상기 뎁스값에 설정하는,

(1) 내지 (13), (15) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(15) 상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의 피사계 심도를, 상기 피사계 심도 지정 정보에 의하여 지정되는 피사계 심도에 설정하는,

(1) 내지 (14), (16) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(16) 상기 가상 촬상 화상 생성부는, 상기 초해상 지정 정보의 지정에 따라, 상기 가상의 촬상 화상에 대하여 초해상 처리를 행하는,

(1) 내지 (15), (17) 내지 (19) 중 어느 하나에 기재된 화상 처리 장치.

(17) 상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의, 뎁스값이, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값과 동일 또는 근방인 부분에 대해서만 초해상 처리를 행하는,

(1) 내지 (16), (18), (19) 중 어느 하나에 기재된 화상 처리 장치.

(18) 상기 가상 촬상 화상 생성부는, 유저에 의하여 선택된 가상의 광학계 고유의 프로파일 정보를 기억부로부터 취득하는,

(1) 내지 (17), (19) 중 어느 하나에 기재된 화상 처리 장치.

(19) 상기 가상 촬상 화상 생성부는, 다른 장치로부터 상기 프로파일 정보를 취득하는,

(1) 내지 (18) 중 어느 하나에 기재된 화상 처리 장치.

(20) 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는

화상 처리 방법.

100: 다시점 화상 이용 서비스 플랫폼
200: 다시점 화상 이용 서비스 제공 시스템
201: 단말 장치
202: 서버
221: CPU
236: 촬상부
251: CPU
281: 촬상 제어부
282: 메타데이터 생성부
283: 부호화부
284: 전송 제어부
291: 유저 관리부
292: 취득 제어부
293: 뎁스 검출부
294: 파일 생성부
295: 데이터 관리부
321: 다시점 화상 파일
331: 다시점 화상 부호화 데이터
332: 뎁스 데이터
333: 메타데이터
401: 단말 장치
402: 애플리케이션 제공 서버
411: CPU
441: 애플리케이션 구입 처리부
451: 유저 관리부
452: 애플리케이션 판매 처리부
453: 데이터 관리부
461: 애플리케이션 제공 처리부
511: 유저 지시 접수 처리부
512: 표시 제어부
513: 전송 제어부
521: 유저 관리부
522: 애플리케이션 선택 처리부
523: 화상 선택 처리부
524: 렌즈 선택 처리부
525: 유저 지정 파라미터 설정 처리부
526: 가상 렌즈 처리부
527: 데이터 관리부
601: 가구 판매 서버
651: 유저 지시 접수 처리부
652: 표시 제어부
653: 촬상 제어부
654: 메타데이터 생성부
655: 뎁스 검출부
656: 가상 촬상 화상 생성부
657: 가구 화상 배치 처리부
658: 구입 처리부
659: 파일 생성부
660: 합성 화상 데이터 생성부
661: 애플리케이션 파라미터 생성부
662: 전송 제어부
671: 유저 관리부
672: 애플리케이션 선택부
673: 가구 데이터 선택부
674: 구입 처리부
675: 취득 제어부
676: 데이터 관리부
681: 가구 데이터 제공부
682: 구입 처리부

Claims (20)

1. 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는 가상 촬상 화상 생성부
   를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 가상 촬상 화상 생성부는, 상기 다시점 화상에 대하여, 상기 프로파일 정보에 지정되는 수의 보간 화상을 생성하고, 상기 다시점 화상 및 상기 보간 화상을 이용하여 상기 가상의 촬상 화상을 생성하는
   화상 처리 장치.
3. 제2항에 있어서,
   상기 가상 촬상 화상 생성부는, 상기 다시점 화상의 각 시점의 상대 위치 관계를 나타내는 배열 정보와, 상기 다시점 화상의 시점 수를 나타내는 눈 수 정보와, 상기 뎁스 데이터에 따라, 상기 보간 화상을 생성하는
   화상 처리 장치.
4. 제3항에 있어서,
   상기 배열 정보는, 기준으로 되는 시점으로부터 각 시점까지의 거리를 나타내는 정보와, 상기 기준으로 되는 시점으로부터 각 시점의 방향을 나타내는 정보를 포함하는
   화상 처리 장치.
5. 제4항에 있어서,
   상기 가상 촬상 화상 생성부는, 상기 배열 정보 및 상기 눈 수 정보에 기초하여, 기준으로 하는 화상과, 매칭 축과, 보간 방법을 결정하는
   화상 처리 장치.
6. 제5항에 있어서,
   상기 가상 촬상 화상 생성부는, 결정된 상기 기준으로 하는 화상과 상기 매칭 축을 이용하여, 상기 보간 방법에 의하여 지정되는 화상을 상기 뎁스 데이터에 따라 중첩시킴으로써 상기 보간 화상을 생성하는
   화상 처리 장치.
7. 제6항에 있어서,
   상기 가상 촬상 화상 생성부는, 생성할 보간 화상의 위치에 따라, 중첩시킬 각 화상의 혼합비를 결정하는
   화상 처리 장치.
8. 제7항에 있어서,
   상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킴으로써 상기 가상의 촬상 화상을 생성하는
   화상 처리 장치.
9. 제8항에 있어서,
   상기 프로파일 정보는, 상기 가상의 광학계에 포함되는 가상의 렌즈의 PSF 데이터와, 상기 가상의 광학계에 포함되는 가상의 조리개의 형상을 나타내는 조리개 형상 정보와, 상기 보간 화상의 수를 나타내는 보간 화상 수 정보를 포함하는
   화상 처리 장치.
10. 제9항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 뎁스 데이터에 따른 상기 가상의 렌즈의 PSF 데이터를 반영시키는
    화상 처리 장치.
11. 제9항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 다시점 화상 및 상기 보간 화상을 중첩시킬 때, 상기 다시점 화상 및 상기 보간 화상에, 상기 조리개 형상 정보에 의하여 나타나는 상기 가상의 조리개 형상을 반영시키는
    화상 처리 장치.
12. 제8항에 있어서,
    상기 가상 촬상 화상 생성부는, 유저에 의하여 지정되는 상기 가상의 광학계에 관한 파라미터인 유저 지정 파라미터에 따라 상기 가상의 촬상 화상을 생성하는
    화상 처리 장치.
13. 제12항에 있어서,
    상기 유저 지정 파라미터는, 상기 가상의 촬상 화상 내에 있어서의 포커싱 위치를 지정하는 포커싱 위치 지정 정보와, 상기 가상의 촬상 화상의 피사계 심도를 지정하는 피사계 심도 지정 정보와, 상기 가상의 촬상 화상을 생성할 때의 초해상 처리에 관한 지정을 행하는 초해상 지정 정보를 포함하는
    화상 처리 장치.
14. 제13항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 뎁스 데이터에 기초하여, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값을 구하고, 상기 가상의 촬상 화상의 포커싱 거리를 상기 뎁스값에 설정하는
    화상 처리 장치.
15. 제13항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의 피사계 심도를, 상기 피사계 심도 지정 정보에 의하여 지정되는 피사계 심도에 설정하는
    화상 처리 장치.
16. 제13항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 초해상 지정 정보의 지정에 따라, 상기 가상의 촬상 화상에 대하여 초해상 처리를 행하는
    화상 처리 장치.
17. 제16항에 있어서,
    상기 가상 촬상 화상 생성부는, 상기 가상의 촬상 화상의, 뎁스값이, 상기 포커싱 위치 지정 정보에 의하여 지정되는 포커싱 위치의 뎁스값과 동일 또는 근방인 부분에 대해서만 초해상 처리를 행하는
    화상 처리 장치.
18. 제1항에 있어서,
    상기 가상 촬상 화상 생성부는, 유저에 의하여 선택된 가상의 광학계 고유의 프로파일 정보를 기억부로부터 취득하는
    화상 처리 장치.
19. 제1항에 있어서,
    상기 가상 촬상 화상 생성부는, 다른 장치로부터 상기 프로파일 정보를 취득하는
    화상 처리 장치.
20. 다시점 화상 데이터와, 상기 다시점 화상에 있어서의 피사체까지의 거리를 나타내는 뎁스 데이터와, 가상의 광학계에 의한 광학적 효과를 재현하는 파라미터를 포함하는 프로파일 정보를 이용하여, 상기 가상의 광학계를 이용하여 상기 다시점 화상의 피사체를 촬상하여 얻어지는 가상의 촬상 화상을 생성하는
    화상 처리 방법.

Images