KR20060113514A

KR20060113514A - 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록매체

Info

Publication number: KR20060113514A
Application number: KR1020060038234A
Authority: KR
Inventors: 데쓰지로 곤도; 데쓰시 고쿠보; 히토시 무카이; 히로후미 히비; 가즈마사 다나카; 겐지 다나카
Original assignee: 소니 가부시끼 가이샤
Priority date: 2005-04-28
Filing date: 2006-04-27
Publication date: 2006-11-02
Also published as: US20060244749A1; JP4617993B2; JP2006311343A; CN1855150A; US8265374B2; CN100511284C

Abstract

화상 처리 장치는 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상 데이터를 취득하여 변환한다. 이 장치는 제1의 평면 화상 데이터의 소실점(vanishing point)을 추정하는 소실점 추정 수단(vanishing point estimating means); 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 수단(angle-of-view estimating means); 및 소실점 추정 수단에 의해 추정된 소실점 및 화각 추정 수단에 의해 추정된 화각을 기초로, 소정의 반경의 원주의 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로 하여 제1의 평면 화상 데이터가 투영되었을 경우에, 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 수단을 포함한다.

「실내 공간」을 촬상한 화상은, 관찰자가 (α)의 위치로부터 정면을 향해 관찰했을 때, 「실내 공간」의 중앙에 존재하는 관찰자(351)가 방향(α)을 본 경우의 망막상에 상당하는 망막상을 얻을 수 있고, 관찰자가 (β)의 위치로부터 정면을 향해 관찰했을 때, 「실내 공간」의 중앙에 존재하는 관찰자(351)가 방향(β)을 본 경우의 망막상에 상당하는 망막상을 얻을 수 있고, 관찰자가 (γ)의 위치로부터 정면을 향해 관찰했을 때, 「실내 공간」의 중앙에 존재하는 관찰자(351)가 방향(γ)를 본 경우의 망막상에 상당하는 망막상을 얻을 수 있다. 즉, 변환 후 화상은, 위치(α) 내지 위치(γ) 등, 그 관찰자의 위치에 관계없이, 그 정면을 관찰하는 관찰자에게 정확한 망막상을 부여하는 것이 가능하다. 본 발명은, 화상 처리 장치에 적용할 수 있다.

평면 화상 데이터, 소실점 추정 수단, 화각 추정 수단, 화상 생성 수단

Description

화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM AND RECORDING MEDIUM USED THEREWITH}

도 1은 곡면의 스크린과 평면의 스크린에 대하여 설명하기 위한 도면이다.

도 2는본 발명을 적용한 화상 처리 장치의 구성예에 대하여 설명하기 위한 블록도이다.

도 3은 도 2의 소실점 추정부의 제1의 구성예에 대하여 설명하기 위한 블록도이다.

도 4는 공급되는 화상의 예를 나타낸 도면이다.

도 5는 깊이 방향 평행선과 소실점에 대하여 설명하기 위한 도면이다.

도 6은 도 2의 소실점 추정부의 제2의 구성예에 대하여 설명하기 위한 블록도이다.

도 7은 정체도(perpendicularly-viewed image)에 대하여 설명하기 위한 도면이다.

도 8은 소정의 앙각을 가지고 촬상된 화상에 대하여 설명하기 위한 도면이다.

도 9는 양자화 데이터에 대하여 설명하기 위한 도면이다.

도 10은 텍스처의 간격의 평균값에 대하여 설명하기 위한 도면이다.

도 11은 텍스처의 간격의 평균값에 대하여 설명하기 위한 도면이다.

도 12는 텍스처의 간격의 평균값을 기초로 구해지는 소실점에 대하여 설명하기 위한 도면이다.

도 13은 텍스처의 간격의 평균값을 기초로 구해지는 소실점에 대하여 설명하기 위한 도면이다.

도 14는 도 2의 화각 추정부의 구성예에 대하여 설명하기 위한 블록도이다.

도 15는 수평 방향 평행선에 대하여 설명하기 위한 도면이다.

도 16은 대각선과 평행한 깊이 방향 평행선의 추출을 설명하기 위한 도면이다.

도 17은 타일화의 생성 및 추정되는 화각에 대하여 설명하기 위한 도면이다.

도 18은 깊이 방향 평행선의 묘화에 오차가 있던 경우에 대하여 설명하기 위한 도면이다.

도 19는 도 14의 수평 방향 평행선 묘화부의 구성예에 대하여 설명하기 위한 블록도이다.

도 20은 피사체의 다른 예를 나타낸 도면이다.

도 21은 화상 변환의 원리를 설명하는 도면이다

도 22는 도 20의 피사체에 대한 촬상 화상을 설명하기 위한 도면이다.

도 23은 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 24는 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 25는 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 26은 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 27은 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 28은 촬상 화상과 정체 화상의 화상 변환의 원리를 설명하기 위한 도면이다.

도 29는 도 2의 화상 변환 처리부의 구성예에 대하여 설명하기 위한 블록도이다.

도 30은 통상 화상의 결상 스크린과 가상적인 결상 스크린에 대하여 설명하기 위한 도면이다.

도 31은 2개의 스크린에 있어서의 화소 위치의 대응에 대하여 설명하기 위한 도면이다.

도 32는 2개의 스크린 에있어서의 화소 위치의 대응에 대하여 설명하기 위한 도면이다.

도 33은 통상 화상의 결상 스크린과 가상적인 결상 스크린의 위치를 설명하기 위한 도면이다.

도 34는 화상 처리 장치의 처리에 대하여 설명하기 위한 순서도다.

도 35는 제1 소실점 추정 처리에 대하여 설명하기 위한 순서도다.

도 36은 제2 소실점 추정 처리에 대하여 설명하기 위한 순서도다.

도 37은 기준치 결정 처리에 대하여 설명하기 위한 순서도다.

도 38은 텍스처를 특정할 때의 기준치를 결정하는 처리를 설명하기 위한 도면이다.

도 39는 텍스처를 특정할 때의 기준치를 결정하는 처리를 설명하기 위한 도면이다.

도 40은 텍스처를 특정할 때의 기준치를 결정하는 처리를 설명하기 위한 도면이다.

도 41은 화각 추정 처리에 대하여 설명하기 위한 순서도다.

도 42는 수평 방향 평행선 묘화 처리에 대하여 설명하기 위한 순서도다.

도 43은 화상 변환 처리에 대하여 설명하기 위한 순서도다.

도 44는 본 발명을 적용하여 정확하게 추정된 화각을 기초로 변경된 화상에 있어 설명하기 위한 도면이다.

도 45는 본 발명을 적용하여 정확하게 추정된 화각을 기초로 변경된 화상에 있어 설명하기 위한 도면이다.

도 46은 잘못 추정된 화각을 기초로 변경된 화상에 대하여 설명하기 위한 도면이다.

도 47은 잘못 추정된 화각을 기초로 변경된 화상에 대하여 설명하기 위한 도 면이다.

도 48은 도 44, 도 46, 및, 도 47에 있어서의 화각과 초점 거리에 대하여 설명하기 위한 도면이다.

도 49는 사용자의 주위 360도를 촬상하는 경우에 대하여 설명하기 위한 도면이다.

도 50은 도 49에 있어서 4방향을 촬상하여 얻어지는 화상에 대하여 설명하기 위한 도면이다.

도 51은 도 50의 화상을 접속하여 얻어지는 화상에 대하여 설명하기 위한 도면이다.

도 52는 도 49에 있어서 8방향을 촬상하여 얻어지는 화상을 접속하여 생성되는 화상에 대하여 설명하기 위한 도면이다.

도 53은 본 발명을 적용하여 생성되는 화상에 대하여 설명하기 위한 도면이다.

도 54는 퍼스널 컴퓨터의 구성을 나타낸 블록도이다.

<부호의 설명>

(41) 화상 처리 장치,

(51) 화상 데이터 취득부,

(52) 소실점 추정부,

(53) 화각 추정부,

(54) 화상 변환 처리부,

(55) 화상 데이터 출력부,

(71) 깊이 방향 평행선 추출부,

(72) 소실점 산출부,

(131) 특징량 추출부,

(132) 양자화부,

(133) 텍스처 구배 산출부,

(134) 소실점 산출부,

(171) 수평 방향 평행선 묘화부,

(172) 평행선 추출부,

(173) 타일화 생성부,

(174) 화각 산출부,

(191) 베이스 라인,

(251) 앙각 산출부,

(252) 정체 화상 생성부,

(253) 수평 라인 묘화부,

(281) 변환전 화상 데이터 취득부,

(182) 변환처 화상 표면 생성부,

(283) 주목 화소 추출부,

(284) 대응 화소 추출부,

(285) 변환 화상 생성부

본 발명은, 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록 매체에 관한 것으로서, 특히 특정되지 않은 위치로부터 관찰하는 관찰자에 대해서, 위화감이 없는 망막상(retinal image)을 제공하는 것이 가능한 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록 매체에 관한 것이다.

대형 스크린을 사용하여, 관찰자의 등 몸과 동일하거나 그 이상의 크기를 갖는 영상을 현장감을 가지고 제시 하기 위해서는, 종래에는, 관찰자가 스크린 앞의 미리 결정된 위치에 서던가, 또는, 관찰자의 위치에 따라서 제시하는 영상을 변환하는 것에 의해, 스크린을 관찰한 사용자가 현장감이 있는 정확한(위화감이 없는)망막상을 얻을 수 있다. 여기서, 정확한 망막상은, 관찰자가 스크린에 투영된 영상을 관찰하여 얻게되는 망막상과 실제의 풍경을 마주했을 경우에 얻게되는 망막상이 실질적으로 동등한 것을 의미한다.

또, 관찰자에게 현장감이 있는 영상을 제시 하기 위한 기술로서, 예를 들면, “몰입형 디스플레이 장치(immersive display apparatus)”라는 것이 있다. 몰입형 디스플레이를 사용하여, 예를 들면, 사용자를 에워싸도록 주위의 공간에 대형의 스크린을 배치하고, 스크린의 배면으로부터 프로젝트로 영상을 투영함으로써, 이 공간 내에서 다양한 가상 체험을 할 수 있는 시스템이 있다(예를 들면, 비특허 문 헌 1).

<비특허 문헌 1>Cruz-Neira, C.,Sandin, D.J. and DeFanti, T.A., ; Surround-Screen Projection-Based Virtual Reality : The Design and Implementation of the CAVE, Proceedings of SIGGRAPH '93, pp.135-142, 1993.

종래, 대형 스크린을 사용하여, 관찰자에게 현장감이 있는 영상을 제시하는 경우, 전술한 바와 같이, 관찰자가 스크린 앞의 미리 결정된 위치에 서있거나, 또는, 관찰자의 위치에 따라서 제시하는 영상을 변환할 필요가 있었다. 즉, 종래의 기술에 있어서는, 어느 한 개의 위치로부터 관찰되는 영상만이, 관찰자에게 정확한 망막상을 부여하는 것이 가능하였다. 따라서, 종래의 기술에서는, 예를 들면, 여러 관찰자가 동시에 영상을 관찰했을 때, 여러 관찰자에게 정확한 망막상을 동시에 부여할 수 없었다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 제시되는 영상 또는 화상의 앞면(제시되는 영상 또는 화상의 폭과 같은 폭의 범위 내)의 특정되지 않는 위치로부터 관찰하는 관찰자에 대해서, 위화감이 없는 망막상을 제공하는 것이 가능하게 한다. 즉, 본 발명의 과제는, 관찰자의 위치에 관계없이, 정면을 관찰하는 관찰자에게 정확한 망막상을 부여하는 것이 가능한 화상을 생성하는 것이다.

본 발명의 제1의 화상 처리 장치는, 제1의 평면 화상 데이터의 소실점을 추정하는 소실점 추정 수단과, 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 수단과, 소실점 추정 수단에 의해 추정된 소실점, 및 화각 추정 수단에 의해 추정된 화각을 기초로, 소정의 반경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 수단을 구비한 것을 특징으로 한다.

화각 추정 수단은, 소실점 추정 수단에 의해 추정된 소실점을 기초로, 화각을 추정시키도록 할 수 있다.

소실점 추정 수단은, 제1의 평면 화상 데이터의 투시선을 묘화하는 묘화 수단과, 묘화 수단에 의해 묘화된 투시선을 기초로, 제1의 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단을 포함할 수 있다.

소실점 추정 수단은, 제1의 평면 화상 데이터의 특징량을 추출하는 특징량 추출 수단과, 특징량 추출 수단에 의해 추출된 특징량을 양자화하는 특징량 양자화 수단과, 특징량 양자화 수단에 의해 양자화된 특징량을 기초로, 특징량이 제1의 평면 화상 데이터의 수직 방향으로 어떠한 구배를 따라 분포 하고 있는가를 나타낸 특징량 분포를 산출하는 특징량 분포 산출 수단과, 특징량 분포 산출 수단에 의해 산출된 특징량 분포를 기초로, 제1의 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단을 포함할 수 있다.

화각 추정 수단은, 제1의 평면 화상 데이터에 있어서 표현되는 공간을 수직 윗쪽으로부터 관찰했을 경우를 상정한 평면도를 생성하는 평면도 생성 수단과, 평면도 생성 수단에 의해 생성된 평면도 내에서, 제1의 평면 화상 데이터에 있어서의 시점(viewpoint)의 위치를 검출함으로써, 화각을 산출하는 화각 산출 수단을 포함할 수 있다.

평면도 생성 수단은, 제1의 평면 화상 데이터의 시점의 앙각을 구하는 것에 의해 평면도를 작성할 수 있다.

화상 생성 수단은, 원주의 반경을, 화각 추정 수단에 의해 추정된 화각, 및, 제1의 평면 화상 데이터의 화상 사이즈를 기초로 결정할 수 있다.

화상 처리 장치는 화상 생성 수단에 의해 생성된 제2의 평면 화상 데이터를 표시하는 표시 수단을 또한 포함할 수가 있고, 표시 수단은 평면 형상의 디스플레이를 포함할 수 있다.

본 발명의 제1의 화상 처리 방법은, 제1의 평면 화상 데이터의 소실점을 추정하는 소실점 추정 스텝과, 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 스텝과, 소실점 추정 스텝의 처리에 의해 추정된 소실점, 및, 화각 추정 스텝의 처리에 의해 추정된 화각을 기초로, 소정의 반경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이 로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 스텝을 포함하는 것을 특징으로 한다

본 발명의 제1의 프로그램 또는 기록 매체에 기록되어 있는 프로그램은, 제1의 평면 화상 데이터의 소실점을 추정하는 소실점 추정 스텝과, 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 스텝과, 소실점 추정 스텝의 처리에 의해 추정된 소실점, 및, 화각 추정 스텝의 처리에 의해 추정된 화각을 기초로, 소정의 반 경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 스텝을 포함하는 것을 특징으로 하는 처리를 컴퓨터로 하여금 실행하게 한다.

본 발명의 제1의 화상 처리 장치 및 화상 처리 방법, 및, 프로그램에 있어서는, 제1의 평면 화상 데이터의 소실점이 추정되어 제1의 평면 화상 데이터의 화각이 추정되어 이들을 기초로, 제2의 평면 화상 데이터가 생성된다. 생성되는 제2의 평면 화상 데이터는, 소정의 반경의 원주 중, 제1의 평면 화상 데이터의 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영된 것이다.

본 발명의 제2의 화상 처리 장치는, 제1의 평면 화상 데이터의 소실점과 제1의 평면 화상 데이타의 화각이 입력되는 입력 수단과, 입력 수단에 의해 입력된 소실점, 및 화각을 기초로, 소정의 반경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 수단을 구비한 것을 특징으로 한다.

화상 처리 장치는 화상 생성 수단에 의해 생성된 제2의 평면 화상 데이터를 표시하는 표시 수단을 또한 갖추게 할 수가 있고, 표시 수단은 평면 형상의 디스플레이를 포함할 수 있다.

본 발명의 제2의 화상 처리 방법은, 제1의 평면 화상 데이터의 소실점과 제1 의 평면 화상 데이터의 화각의 입력을 제어하는 입력 제어 스텝과, 입력 제어 스텝의 처리에 의해 입력이 제어된 소실점, 및 화각을 기초로, 소정의 반경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2의 화상 처리 장치 및 화상 처리 방법에 있어서는, 제1의 평면 화상 데이터의 소실점과 제1의 평면 화상 데이터의 화각의 입력을 받아 입력된 소실점, 및 화각을 기초로, 소정의 반경의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터가 생성된다.

이하, 본 발명의 실시예를 설명하지만, 청구항에 기재된 구성 요건과 발명의 실시예에 있어서의 구체예와의 대응 관계를 예시 하면, 다음과 같이 된다. 이 설명은, 청구항에 기재되어 있는 발명을 지지하는 구체적인 예가, 발명의 실시예에 기재되어 있다는 것을 확인하기 위한 것이다. 따라서, 발명의 실시예 중에는 기재되어 있지만, 구성 요건에 대응하는 것으로서 여기에는 기재되어 있지 않은 구체적인 예가 있다고 하더라도, 그것은, 그 구체적인 예가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역으로, 구체적인 예가 구성 요건에 대응하는 것으로서 여기에 기재되어 있다고 하더라도, 그것은, 그 구체적인 예가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것을 의미하는 것도 아니다.

또한, 이 설명은, 발명의 실시예에 기재되어 있는 구체적인 예에 대응하는 발명이, 청구항에 모두 기재되어 있는 것을 의미하는 것은 아니다. 환언하면, 이 설명은, 발명의 실시예에 기재되어 있는 구체적인 예에 대응하는 발명으로서, 이 출원의 청구항에는 기재되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나 보정에 의해 추가되는 발명의 존재를 부정하는 것은 아니다.

청구항 1에 기재된 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치(41))는, 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상 데이터(예를 들어, 도 4의 화상(81))를 취득하여 변환하는 화상 처리 장치로서, 제1의 평면 화상 데이터의 소실점(예를 들면, 도 13또는 도 5에 나타내는 소실점)을 추정하는 소실점 추정 수단(예를 들면, 도 2의 소실점 추정부(52))과 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 수단(예를 들면, 도 2의 화각 추정부(53))과 소실점 추정 수단에 의해 추정된 소실점, 및, 화각 추정 수단에 의해 추정되는 화각을 기초로, 소정의 반경(예를 들면, 도 31 또는 도 32a)의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심이면서 소실점과 동일한 높이로 되는 위치(예를 들면, 도 31 또는 도 32의(0, 0, -a)로 되는 점)를 기준점으로 하여 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 수단(예를 들면, 도 2의 화상 변환 처리부(54))을 구비한 것을 특징으로 한다.

소실점 추정 수단(예를 들면, 도 3의 소실점 추정부(52-1))은, 제1의 평면 화상 데이터의 투시선(perspective line)을 묘화하는 묘화 수단(drawing means)(예를 들면, 도 3의 깊이 방향 평행선 추출부(71)) 및 묘화 수단에 의해 묘화된 투시 선을 기초로, 제1의 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단(예를 들면, 도 3의 소실점 산출부(72))을 포함하는 것이 가능하다.

소실점 추정 수단(예를 들면, 도 6의 소실점 추정부(52-2))은, 제1의 평면 화상 데이터의 특징량을 추출하는 특징량 추출 수단(예를 들면, 도 6의 특징량 추출부(131)) 및 특징량 추출 수단에 의해 추출된 특징량을 양자화하는 특징량 양자화 수단(예를 들면, 도 6의 양자화부(132)) 및 특징량 양자화 수단에 의해 양자화된 특징량을 기초로, 특징량이 제1의 평면 화상 데이터의 수직 방향으로 어떠한 구배를 따라 분포 하고 있는가를 나타낸 특징량 분포(예를 들면, 텍스처 구배(texture gradient))를 산출하는 특징량 분포 산출 수단(예를 들면, 도 6의 텍스처 구배 산출부(133)) 및 특징량 분포 산출 수단에 의해 산출된 특징량 분포를 기초로, 제1의 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단(예를 들면, 도 6의 소실점 산출부(134))을 포함하는 것이 가능하다.

화각 추정 수단은, 제1의 평면 화상 데이터에 있어서 표현되는 공간을 수직 윗쪽으로부터 관찰했을 경우를 상정한 평면도(예를 들면, 도 17에 나타내는 타일화(tiled imgage))를 생성하는 평면도 생성 수단(예를 들면, 도 14의 타일화 생성부(173))과 평면도 생성 수단에 의해 생성된 평면도 내에서, 제1의 평면 화상 데이터에 있어서의 시점(viewpoint)의 위치(예를 들면, 도 17에 나타내는 카메라의 위치)를 검출함으로써, 화각을 산출하는 화각 산출 수단(예를 들면, 도 14의 화각 산출부(174))을 포함하는 것이 가능하다.

평면도 생성 수단은, 제1의 평면 화상 데이터의 시점의 앙각(elevation angle)을 구하는 작업(예를 들면, 도 19를 사용하여 설명한 수평 방향 평행선 묘화부(171)의 처리)에 의해 평면도를 작성할 수 있다.

본 발명에 따른 화상 처리 장치는 화상 생성 수단에 의해 생성된 제2의 평면 화상 데이터를 표시하는 표시 수단을 추가로 구비할 수 있고, 상기 표시 수단은 평면 형상의 디스플레이(예를 들면, 도 44 또는 도 45에 나타내는 화상을 표시하는 평면 디스플레이, 또는, 도 53의 화상 (501)을 표시하는 평면 디스플레이)를 포함할 수 있다.

청구항 9에 기재된 정보 처리 방법은, 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상 데이터(예를 들어, 도 4의 화상(81))를 취득하여 변환하는 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치(41))의 화상 처리 방법으로서, 제1의 평면 화상 데이터의 소실점(예를 들면, 도 13또는 도 5에 나타내는 소실점)을 추정하는 소실점 추정 스텝(예를 들면, 도 34의 스텝(S2)의 처리)과 제1의 평면 화상 데이터의 화각을 추정하는 화각 추정 스텝(예를 들면, 도 34의 스텝(S3)의 처리)과 소실점 추정 스텝의 처리에 의해 추정된 소실점, 및 화각 추정 스텝의 처리에 의해 추정된 화각을 기초로, 소정의 반경(예를 들면, 도 31또는 도 32a)의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치(예를 들면, 도 31또는 도 32의 (0, 0, -a)로 되는 점)을 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 스텝(예를 들면, 도 34의 스텝(S4)의 처리)을 포함하는 것을 특징으로 한다.

또, 청구항 10에 기재된 프로그램, 및 청구항 11에 기재된 기록 매체에 기록되어 있는 프로그램에 있어서도, 각 스텝이 대응하는 실시예(단 일례)는, 청구항 9에 기재된 정보 처리 방법과 마찬가지이다.

청구항 12에 기재된 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치(41))는, 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상 데이터(예를 들어, 도 4의 화상(81))를 취득하여 변환하는 화상 처리 장치로서, 제1의 평면 화상 데이터의 소실점과 제1의 평면 화상 데이터의 화각이 입력되는 입력 수단과, 입력 수단에 의해 입력된 소실점, 및 화각을 기초로, 소정의 반경(예를 들면, 도 31 또는 도 32a)의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치(예를 들면, 도 31 또는 도 32의 (O, O, -a)로 되는 점)를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 수단(예를 들면, 도 2의 화상 변환 처리부(54))을 구비한 것을 특징으로 한다.

상술한 화상 처리 장치는 화상 생성 수단에 의해 생성된 제2의 평면 화상 데이터를 표시하는 표시 수단을 추가로 구비할 수 있고, 상기 표시 수단은, 평면 형상의 디스플레이(예를 들면, 도 44 또는 도 45에 나타내는 화상을 표시하는 평면 디스플레이, 또는, 도 53의 화상(501)을 표시하는 평면 디스플레이)로 구성할 수 있다.

청구항 14에 기재된 화상 처리 방법은, 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상 데이터(예를 들어, 도 4의 화상(81))를 취득하여 변환하는 화상 처리 장치(예를 들면, 도 2의 화상 처리 장치(41))의 화상 처리 방법으로서, 제1의 평면 화상 데이터의 소실점과 제1의 평면 화상 데이터의 화각의 입력을 제어하는 입력 제어 스텝과, 입력 제어 스텝의 처리에 의해 입력이 제어된 소실점, 및 화각을 기초로, 소정의 반경(예를 들면, 도 31 또는 도 32a)의 원주 중, 화각에 대응하는 부분의 곡면에, 원주의 중심 및 소실점과 동일한 높이로 되는 위치(예를 들면, 도 31 또는 도 32의 (0, 0, -a)에 되는 점)를 기준점으로서 제1의 평면 화상 데이터가 투영되었을 경우에 대응하는 제2의 평면 화상 데이터를 생성하는 화상 생성 스텝(예를 들면, 도 34의 스텝(S4)의 처리)을 포함하는 것을 특징으로 한다.

이하, 도면을 참조하여, 본 발명의 실시예에 대하여 설명한다.

본 발명을 적용한 화상 처리 장치는, 통상의 카메라에 의해 촬상된 소정의 화각 내의 평면의 화상 또는 영상, 즉, 카메라의 렌즈 위치를 시점으로 하여 촬상된 평면의 화상 또는 영상을 기초로, 복수개의 시점으로부터 관찰하여도 위화감을 느끼지 않는 평면 화상 또는 영상을 생성하는 것이다.

예를 들면, 도 1에 나타낸 바와 같이, 곡면(1)을 포함하는 원기둥형의 곡면에는, 그 원주의 중심 위치에 존재하는 관찰자(11)가 수평 방향으로 360도 회전하여 관찰하는 동안에, 어느 각도에서도 위화감이 없는 화상 또는 영상을 투영하는 것이 가능하다.

본 발명을 적용한 화상 처리 장치는, 통상의 카메라에 의해 촬상된 평면 화상 또는 복수개의 평면 화상 으로 이루어지는 동화상(영상)을, 곡면(1)에 투영한 경우에 얻을 수 있는 화상 또는 영상으로 변환한 후에, 변환된 화상 또는 영상을 평면(2)에 표시하거나, 또는 비슷한 평면에 인쇄 출력할 수 있다. 이같이 하여 평면(2)에 제시된 화상 또는 영상은, 그 앞면에 있는 복수개의 관찰자(12) 내지 관찰자(14)가, 자신의 위치로부터 바로 정면을 관찰했을 경우(관찰자의 시선이, 평면(2)에 대해서 수직 또는 수직으로 가까운 각도인 경우), 곡면(1)을 포함하는 원주의 중앙에 존재하는 관찰자(11)가 곡면(2)에 대한 방향(각도)을 변경한 경우와 마찬가지의 정확한 망막상을 얻을 수 있다.

이하, 화상의 처리를 예로서 설명할 것이다. 그러나, 모든 프레임 화상에 본 발명의 실시예가 적용되는 처리를 수행함으로써, 본 발명의 일실시예는, 영상(동화상)이 복수의 프레임 화상을(정지 화상)을 포함한다는 가정하에 표시되는 경우에도 적용될 수 있다.

도 2는, 본 발명을 적용한 화상 처리 장치(41)의 구성예를 나타낸 블록도이다.

화상 처리 장치(41)는, 화상 데이터 취득부(51), 소실점 추정부(52), 화각 추정부(53), 화상 변환 처리부(54), 및 화상 데이터 출력부(55)로 구성되어 있다.

화상 데이터 취득부(51)는, 통상의 카메라에 의해 촬상된 평면의 화상, 즉, 카메라의 렌즈 위치를 시점으로하여 이른바 핀홀 카메라의 원리에 따라 촬상된 통상의 평면의 화상에 대응하는 화상 데이터를 취득하고, 소실점 추정부(52)에 공급한다.

소실점 추정부(52)는, 공급된 화상 데이터의 소실점을 검출하고, 검출된 소실점의 정보와, 공급된 화상 데이터를, 화각 추정부(53)에 공급한다. 소실점이란, 투시 변환(perspective transformation)에 의해 삼차원 공간 중의 평행선을 화상 평면상에 투영한 경우에, 그것들 평행선에 대응하는 화면 평면 상의 직선이 수렴하는 점이다. 즉, 소실점이란, 실제 깊이를 가지고 있는 공간이 투영된 평면 화상 상에 있어서, 「무한하게 먼 점」이며, 깊이 방향으로 평행한 선(예를 들면, 방(room)의 화상인 경우, 그 능선)의 연장선이 교차하는 점이나, 깊이 방향으로 성장하는 면(예를 들면, 방의 화상이면, 깊이 방향으로 뻗어나가는 바닥, 벽, 천정에 대응하는 각각의 평면)의 연장이 무한히 먼 곳에서 수렴하는 점으로서 인식 되는 것이다. 소실점으로부터 화상 내에서 수평 방향으로 묘화된 직선은 지평선 이므로, 소실점의 추정은, 환언하면, 지평선의 추정이다. 소실점 추정부(52)에 의한 소실점의 추정은 어떤 방법으로든 가능하지만, 그 구체적인 예로서, 2종류의 소실점의 추정 방법에 대하여, 도 3 내지 도 13을 사용하여 후술한다.

화각 추정부(53)는, 공급된 화상 데이터의 화각, 즉, 화상 데이터를 촬상한 카메라에 있어서의 촬상 범위를 나타내는 각도를 추정하고, 화각의 추정값과 공급된 화상 데이터를, 화상 변환 처리부(54)에 공급한다. 화각 추정부(53)에 의한 화각의 추정 방법은 어떠한 방법으로도 가능하지만, 그 구체적인 예는, 도 14 내지 도 28을 사용하여 후술한다.

화상 변환 처리부(54)는, 화각 추정부(53)으로부터 공급된 화각의 추정값을 기초로, 공급된 화상 데이터를 변환하고, 화상 데이터 출력부(55)에 공급한다. 화상 변환 처리부(54)의 처리에 대한 상세한 설명은, 도 29 내지 도 33을 사용하여 후술한다.

화상 데이터 출력부(55)는, 화상 변환 처리부(54)로부터 공급된 변환된 화상 데이터를, 예를 들면, 평면 형상의 대형 디스플레이에 출력하여 표시하게 하거나, 프린터에 출력하여 인쇄 출력 시키거나 소정의 기록 매체에 기록시키거나 소정의 통신 매체를 사용하여, 다른 장치에 송신하는 처리 등을 실행한다.

그리고, 공급된 화상 데이터의 소실점을 미리 알고 있는 경우, 화각의 추정 처리에 미리 알고 있는 소실점의 정보를 사용함으로써, 소실점 추정부(52)에 의한 소실점의 추정 처리를 생략하는 것이 가능하다. 또, 공급되는 화상 데이터의 화각을 미리 알고 있는 경우, 화상 변환 처리부(54)에 의한 화상의 변환 처리에서 미리 알고 있는 화각의 정보를 사용함으로써, 화각 추정부(53)에 의한 화각의 추정 처리를 생략하는 것이 가능하다.

이와 같은 경우, 예를 들면, 도 2에 나타내는 화상 처리 장치(41)에, 도시하지 않은 데이터 입력부가 구비되어, 소실점, 또는 화각을 나타내는 데이터의 입력을 받아, 입력된 데이터를 화상 변환 처리부(54)에 공급하도록 된다.

도 3은, 도 1의 소실점 추정부(52)의 제1의 구성예이며, 제1의 소실점 추정 방법에 따라 소실점을 추정하는 소실점 추정부(52-1)의 구성을 나타낸 블록도이다.

깊이 방향 평행선 추출부(71)는, 공급된 화상 데이터로부터, 예를 들면, 에지 필터 등을 사용하여 직선 성분을 추출함으로써, 지면(수평면)에 대해서 평행이며, 또한 화상 앞에서 안쪽으로(카메라의 시선의 방향에 대하여 동일 방향으로) 확장되는 직선, 이른바 “투시선(perspective lines)”을 추출한다. 도 4에 나타내는 화상에 대응하는 화상 데이터가 공급된 경우, 추출되는 직선에는, 예를 들면, 방의 능선이나, 바닥의 플로링의 이음매 등이 있다. 소실점을 구하는 것만이 목적이라면, 복수개의 투시선을 묘화할 수 있으면 충분하다. 그러나, 깊이 방향 평행선 추출부(71)는, 후술하는 처리에 있어서 바람직하게, 추출된 직선(투시선)을 기초로, 예를 들면 지면, 바닥면 등 소정의 평면상에 실제 공간에 있어서 등 간격(equal interval)을 갖는 복수개의 평행선을 묘화한다. 환언하면, 깊이 방향 평행선 추출부(71)는, 평면 화상이 나타내는 공간 내의 소정의 평면상에 등 간격의 평행선(투시선)을 묘화한다. 이같이 하여 묘화된 평행선을, 이하, “깊이 방향 평행선”이라고 부를 것이다.

그리고, 소실점 산출부(72)는, 깊이 방향 평행선 추출부(71)에 의해 추출된 깊이 방향 평행축의 교점을 구하고, 이 화상의 소실점으로 한다.

즉, 화상 데이터 취득부(51)가 도 4에 나타내는 화상(81)의 입력을 받아 이 화상 데이터를 소실점 추정부(52-1)에 공급했을 경우, 깊이 방향 평행선 추출부(71)는 도 5에 나타낸 바와 같이 복수개의 깊이 방향 평행선을 그리고, 소실점 산출부(72)는 이 깊이 방향 평행선의 교점을 소실점으로 한다. 예를 들면, 깊이 방향 평행선의 추출 오차 등에 의해, 깊이 방향 평행선의 교점이 복수개 검출된 경우, 소실점 산출부(72)는, 그들의 교점의 중심을 소실점으로 하거나, 가장 많은 깊이 방향 평행선이 교차하는 점을 소실점으로 하도록 해도 좋다.

도 6은, 도 1의 소실점 추정부(52)의 제2의 구성예이며, 제2의 소실점 추정 방법에 따라 소실점을 추정하는 소실점 추정부(52-2)의 구성을 나타낸 블록도이다.

도 6을 사용하여 설명하는 소실점 추정부(52-2)는, 이른바 텍스처 구 배(texture gradient)를 사용하여, 화상 데이터로부터 소실점을 추정한다.

바로 위로부터 바라보면 소정의 모양(색이나 휘도 등)이 대략 일정하게 퍼지는 장소, 예를 들면, 도 7에 나타낸 바와 같은 꽃밭을, 카메라에 의해, 소정의 앙각으로 촬상함으로써, 도 8에 나타낸 바와 같이, 소정의 모양이 앞부분에서는 엉성하고, 멀어질수록 세세해지는 영상을 얻을 수 있다. 소정의 앙각으로 촬상되었을 경우에, 앞부분에서는 엉성하고, 멀어질수록 세세해지는 경향을 가지는 모양의 단위를, “텍스처”라고 칭해, 그 경향의 정도를, “텍스처의 구배”라고 한다. 즉, 텍스처의 구배는, 촬상의 앙각에 의해 정해진다.

특징량 추출부(131)는, 입력 화상의 각 화소의 특징량(예를 들면, 각 화소의 색차값이나 에지 강도 등)을 추출한다. 그리고, 에지 강도를 특징량으로서 사용하는 경우, 특징량 추출부(131)는, 미분 필터(differential filter)(도시하지 않음)를 내장하고, 입력 화상의 에지를 강조해 에지 강도를 추출한다.

양자화부(132)는, 특징량 추출부(131)에 의해 추출된 각 화소의 특징량에 따라, 입력 화상을 양자화한다. 예를 들면, 특징량이 색차값인 경우, 소정의 기준치와 동일한 색차값을 가지는 화소의 값이 1로 설정되고, 그 이외의 색차값을 가지는 화소의 값은 0으로 설정된다. 도 8에 나타낸 바와 같은 화상의 화상 데이터를 양자화했을 경우, 예를 들면, 도 9에 나타낸 바와 같은 양자화 데이터를 얻을 수 있다.

텍스처 구배 산출부(133)은, 양자화부(132)의 처리에 의해 얻어진 양자화 데이터(예를 들면, 도 9를 사용하여 설명한 양자화 데이터)로부터, 라인마다, 흰색 점(텍스처)의 간격의 평균값(텍스처 구배 데이터)을 산출한다. 예를 들면, 도 10에 나타낸 바와 같이, 소정의 라인에 있어서 값이 1의 화소가 복수개 나란히 있는 경우, 그 간격 a_l, a₂, a₃, a₄의 평균값이 산출된다.

그리고, 텍스처 구배 산출부(133)는, 도 11에 나타낸 바와 같이, 산출한 라인 마다의 이 평균값 AV를, 화상 데이터 내의 Y축(입력 화상상의 Y축)에 있어서의 위치에 따라 플롯 하고, 도 12에 나타낸 바와 같이 회귀 직선(regression line)을 설정한다. 즉 이 회귀 직선이 텍스처의 구배에 해당한다. 텍스처 구배 산출부(133)는, 설정된 회귀 직선을 소실점 산출부(134)에 공급한다.

소실점 산출부(134)는, 설정된 회귀 직선과 그 Y축과의 교점을 소실점으로서 산출한다.

소실점은, 입력 화상을 본 경우의 피사체의 평면이 무한히 먼 곳에서 수렴하는 점이므로, 도 13에 나타낸 소실점(R)과 같이, 입력 화상의 화상 영역을 넘은 위치에 존재하는 경우도 있다. 그리고, 여기서는, 소실점(R)의 X축 좌표는, 입력 화상의 중심점의 X축 좌표로 한다.

다음에, 도 14는, 도 3의 화각 추정부(53)의 구성예를 나타낸 블록도이다.

화각 추정부(53)는, 수평 방향 평행선 묘화부(171), 평행선 추출부(172), 타일화 생성부(173), 및 화각 산출부(174)에 의해 구성되어 있다.

수평 방향 평행선 묘화부(171)는, 실제의 피사체 공간에서 공급된 평행선에 대해 깊이 방향으로 직교하며 촬상된 피사체의 폭을 나타내는 베이스 라인을 묘화 하고, 이 베이스 라인을 기초로 수평 방향의 평행선을 묘화한다. 이 평행선을, “수평 방향 평행선(horizontal parallel lines)”이라고 한다. 수평 방향 평행선은, 깊이 방향 평행선과 동일한 간격으로 되도록 묘화된다. 구체적으로는, 도 15에 나타낸 바와 같이, 베이스 라인(191)이 묘화되어 베이스 라인(191)과 평행으로, 또한, 평행선끼리의 간격이 깊이 방향 평행선의 간격과 동일한 간격으로 되도록, 즉, 깊이 방향 평행선과 수평 방향 평행선에 의해 피사체 공간에서 정방형을 그리듯이, 수평 방향 평행선이 묘화된다. 이 때, 수평 방향 평행선 묘화부(171)는, 베이스 라인(191)과 그 안쪽의 1개의 평행선만을 묘화하고, 그려진 정방형의 대각선을 추가 기입함으로써, 그 이외의 수평 방향 평행선을 용이하게 묘화하는 것이 가능하다.

그리고, 소실점 추정부(52)로서 도 6을 사용하여 설명한 소실점 추정부(52-2)가 이용되고 있었을 경우, 깊이 방향의 평행선은 묘화되어 있지 않으며, 따라서, 수평 방향 평행선 묘화부(171)는, 도 3을 사용하여 설명한 소실점 추정부(52-1)의 깊이 방향 평행선 추출부(71)와 마찬가지로, 깊이 방향의 평행선을 묘화한 후, 수평 방향의 평행선을 묘화한다.

평행선 추출부(172)는, 깊이 방향 평행선 중 어느 하나와 전술한 정방형의 대각선 중 어느 하나로부터, 화상내에서 서로 평행하게 되는 것을 추출한다. 정방형의 대각선이, 화상내의 좌측 아래로부터 우측 상방향으로 묘화되어 있는 경우, 화상의 우측에 있는 어느 하나의 대각선과 화상의 좌측에 있는 어느 하나의 깊이 방향 평행선이 화상 상에서 평행하게 된다. 도 16에 나타낸 바와 같이, 대각 선(201)과 깊이 방향 평행선(202)이 화상에서 평행이므로, 평행선 추출부(172)에 의해 추출된다. 또, 정방형의 대각선이, 화상의 우측 아래로부터 좌측 상방향으로 묘화되어 있는 경우, 화상의 좌측에 있는 어느 하나의 대각선과 화상상 우측에 있는 어느 하나의 깊이 방향 평행선이 화상 상에서 평행하게 된다.

타일화 생성부(173)는, 깊이 방향 평행선과 수평 방향 평행선을 기초로, 타일화를 생성한다. 구체적으로는, 타일화 생성부(173)는, 피사체와 카메라를 충분히 포함하는 영역을 바로 위로부터 본 경우의 평면도를 생성하고, 그 평면도에, 도 17에 나타낸 바와 같이, 깊이 방향 평행선과 수평 방향 평행선을 타일형태(그리드형(grided))로 묘화한다. 깊이 방향 평행선과 수평 방향 평행선이 타일형으로 그려진 평면도를 여기에서는 타일화라고 지칭할 것이다.

화각 산출부(174)는, 타일화 생성부(173)에 의해 생성된 타일화, 수평 방향 평행선 묘화부(171)에 의해 묘화된 베이스 라인(191), 및 평행선 추출부(172)에 의해 추출된 화상 상에서 평행으로 되는 깊이 방향 평행선과 묘화된 정방형의 대각선 쌍을 기초로, 카메라의 화각을 구한다. 즉, 화각 산출부(174)는, 도 17에 나타낸 바와 같이, 평행선 추출부(172)에 의해 추출된 대각선(201) 및 깊이 방향 평행선(202)을 타일화 내에 묘화한다. 타일화 내의 대각선(201) 및 깊이 방향 평행선(202)과의 교점과 베이스 라인(191)과의 거리가, 이 화상을 촬상한 카메라와 카메라의 초점과의 깊이의 거리에 대응한다. 즉, 타일화 내에 있어서, 대각선(201)과 깊이 방향 평행선(202)과의 교점이 카메라(221)의 위치에 있다고 가정할 수 있다. 여기서 가정되는 카메라(221)의 위치는, 화상(81)에서의 시점(화상(81)이 정 확한 망막상인 경우의 관찰자의 시점)에 대응한다. 그리고, 타일화에서, 카메라(221)로부터 베이스 라인(191)의 양단에 대하여 그려지는 직선 사이의 각도가, 구해지는 화각이다.

도 17의 경우에, 화각은, 약 57(deg)인 것으로 계산된다.

그런데, 수평 방향 평행선 묘화부(171)는, 깊이 방향 평행선과 동일한 간격의 수평 방향 평행선을 묘화 하는 것이지만, 깊이 방향 평행선과 수평 방향 평행선과의 각각의 간격으로 오차가 생긴 경우, 화각 산출부(174)에서 산출되는 화각에 오차가 생긴다.

예를 들면, 도 18에 나타낸 바와 같이, 도 17을 사용하여 설명한 경우와는 다른 간격으로 수평 방향의 평행선이 묘화 되었을 경우, 타일화를 사용하여 구해지는 화각이, 도 17에서의 경우의 결과와 다르다.

이와 같은 경우, 소실점 추정부(52)에 의해 추정된 소실점을 기초로 전술한 앙각을 구하고, 입력된 화상을 바로 위로부터 촬상한 경우의 상에 대응하는 정체 화상(perpendicularly-viewed image)(예를 들면, 입력된 화상이 도 8에 나타내는 화상인 경우, 도 7에 나타내는 화상)을 생성하고, 이것을 기초로, 수평 방향 평행선을 묘화할 수 있다.

도 19는, 앙각을 구할 수 있을 때의, 수평 방향 평행선 묘화부(171)의 구성예를 나타낸 블록도이다.

수평 방향 평행선 묘화부(171)는, 앙각 산출부(251), 정체 화상 생성부(252), 및 수평 라인 묘화부(253)에 의해 구성할 수 있다.

앙각 산출부(251)는, 소실점 추정부(52)로부터 공급된 소실점의 좌표를 이용하여, 입력 화상의 촬상시의 촬상부의 앙각을 산출하고, 그 산출 결과를 정체 화상 생성부(252)에 공급한다.

정체 화상 생성부(252)는, 앙각 산출부(251)로부터 공급된 앙각의 산출 결과를 이용하여, 입력 화상을 정체 화상(perpendicularly-viewed image)으로 변환한다.

앙각 산출부(251) 및 정체 화상 생성부(252)가 실행하는 처리를, 도 20 내지 도 28을 사용하여 설명한다.

예를 들면, 도 20에 나타낸 바와 같은, 등간격의 홀을 갖는 철판(T)을, 도 21에 나타낸 바와 같이, 카메라(CA)에 의해 소정의 앙각(φ)으로 촬상함으로써, 도 22에 나타낸 바와 같이 하여, 홀의 패턴(텍스처)이 앞부분에서는 엉성하고, 멀어질 수록 세밀하게하게 되는 구배를 가지는 화상(Da)을 얻을 수 있다. 그리고, 도 22의 눈금(M)은, 세로 방향(텍스처의 구배 방향)에서의 구멍의 패턴의 위치를 나타내고 있다.

그 다음, 도 23에 나타낸 바와 같이, 이와 같은 텍스처 구배를 가지는 화상(Da)을 프로젝터(PJ)를 사용하여 카메라(CA)의 앙각(φ)과 동일한 각도로 기울어진 스크린(SC)에 표시하기 위해, 도 24에 나타낸 바와 같이, 실제의 철판(T)(도 20)과 마찬가지로, 홀의 패턴이 일정 간격으로 나란해지는 철판(T)의 화상(Db)이 비추어진다.

그리고, 도 24의 화살표의 베이스부는, 화상(Da)의 소정의 홀의 패턴의 세로 방향의 위치를 나타내고, 화살표의 앞부분은, 화살표의 원래의 화상(Da)의 홀의 패턴에 대응하는 화상(Db)의 홀의 패턴의 세로 방향의 위치를 나타내고 있다.

즉, 정체 화상 생성부(252)는, 도 24에 나타낸 바와 같은 정체 화상(화상 Db) 및 입력 화상(화상 Da)의 화소 위치와 앙각(φ)의 기하학적인 관계를 이용하여, 산출된 앙각에 따라, 정체 화상을 구성하는 각 화소에 대응하는 입력 화상의 화소를 검출하고, 검출한 입력 화상의 화소의 화상값을 정체 화상의 화소로 설정함으로써, 정체 화상을 생성한다.

그리고, 도 22의 예에서, 소실점(정확하게는 소실점의 상)(R)은, 홀의 패턴의 세로 방향의 간격이 감소하는, 도(Da)의 위쪽에 존재한다. 또 도 24에 나타낸 바와 같이, 소실점(R)과 초점(Q)을 연결하는 선은, 피사체의 면(도 24의 예에서는, 스크린의 면)과 평행하게 되므로, 앙각(카메라 광축과 피사체의 면의 각도)은 소실점을 구함으로써 얻을 수 있다. 즉 이러한 이유로부터, 앙각 산출부(251)에서는 소실점을 이용하여 앙각(φ)을 산출한다.

앙각(φ)은, 도 25에 나타낸 바와 같이, 소실점(R)과 초점(Q)을 연결하는 직선과 결상면(image forming plane)(Z)의 중심점과 초점(Q)을 연결하는 직선으로 이루어지는 각도와 동일한 값이므로, 앙각(φ)은, 식(1) 에 나타낸 바와 같이 산출된다.

··· (1)

그리고 식(1)에서, p는 전술한 도 13에 나타내는 입력 화상의 중심점과 소실점(R)의 거리이며, h는 도 13에 나타내는 입력 화상의 Y축 방향의 크기(높이)이며, r은 p/h이다. 또 k는 소정의 계수이다. 또 도 25에 나타낸 기하학 관계는, 도 26에 나타낼 수 있다.

위와 같이 앙각(φ)이 산출된 후에, 정체 화상 생성부(252)는 그 앙각을 이용하여 입력 화상을 정체 화상으로 변환한다.

구체적으로는, 정체 화상 생성부(252)는, 도 27에 나타낸 바와 같이, 정체 화상의 화소(x₁, y₁)마다, 그에 대응하는 입력 화상의 화소(x₀, y₀)를 검출한다.

정체 화상의 화소(x₁, y₁), 입력 화상의 화소(x₀, y₀), 및 앙각(φ)은, 도 28에 나타낸 바와 같은 기하학적인 관계를 가지고 있으므로, 정체 화상의 화소(x₁, y₁)에 대응하는 입력 화상의 화소(x₀, y₀)는, 식(2) 에 나타낸 바와 같이 구해진다. 이것을 사용하여, 입력 화상이 주어질 때에 피사체 평면상의 실제의 패턴이 추정 가능하다.

···(2)

그리고, 수평 라인 묘화부(253)는, 정체 화상 생성부(252)에 의해 생성된 정체 화상에, 깊이 방향의 수평선 및 수평 방향의 평행선을 묘화한 후, 정체 화상 생성부(252)가 실행한 변환과 역변환을 실행함으로써, 도 16 및 도 17을 사용하여 설명한 바와 같이, 정확한 깊이 방향의 수평선 및 수평 방향의 평행선이 묘화된 화상 데이터를 생성하고, 평행선 추출부(172)에 공급한다.

다음에, 도 29는, 도 2의 화상 변환 처리부(54)의 구성을 나타낸 블록도이다.

핀홀 카메라 모델을 전제로 하는 통상의 화상에 있어서는, 화상을 평면 스크린에 결상시키도록 되어 있음에도 불구하고, 화상 변환 처리부(54)에서는, 평면 스크린에 결상되는 화상을 원주에 포함되는 곡면으로 이루어지는 스크린에 결상시킨 경우의 화상으로 변환하는 것이 가능하다. 환언하면, 화상 변환 처리부(54)는, 평면 스크린의 화상을, 원주 중 화각에 대응하는 부분의 곡면에서 구성되는 스크린에, 원주의 중심 및 수평선의 높이로 되는 위치를 기준점으로 하여 투영한 경우에 얻어지는 화상으로 변환하는 것이 가능하다. 예를 들면, 도 30에 나타낸 바와 같이, 화상 처리 장치(41)에 공급된, 카메라(301)에 의해 촬상되는 화상은, 통상 화상의 결상 스크린(302)에 결상된다. 이에 대하여, 원주의 일부를 잘라낸 형상인 가상 결상 스크린(303)을 상정한다. 화상 변환 처리부(54)는, 화상 처리 장치(41)에 공급된 화상, 즉 통상 화상의 결상 스크린(302)에 결상되는 화상을, 가상 결상 스크린(303)에 결상되는 화상으로 변환한다.

변환전 화상 데이터 취득부(source image data acquiring section)(281)는 화각 추정부(53)로부터 공급되는 화상 처리 장치(41)에 공급된 화상, 즉 변환전의 화상의 화상 데이터를 취득하고, 취득한 화상 이터를 대응 화소 추출부(284)에 공급하며, 변환전의 화상의 치수 정보를 변환처 화상 표면 생성부(transformed image surface generating section)(282)에 공급한다.

변환처 화상 표면 생성부(282)는, 변환전 화상 데이터 취득부(281)로부터 공 급된 변환전의 화상의 치수 정보를 기초로, 변환전 화상과 같은 치수로 변환처 화상의 표면을 준비하고, 주목 화소 추출부(pixel-of-interest extracting section)(283) 및 변환 화상 생성부(285)에 공급한다.

주목 화소 추출부(283)은, 변환처 화상 표면 생성부(282)로부터 공급된 변환처 화상의 표면으로부터 주목 화소를 추출하고, 주목 화소의 좌표 정보를 대응 화소 추출부(284) 및 변환 화상 생성부(285)에 공급한다.

대응 화소 추출부(284)는, 화각 추정부(53)로부터 공급되는 화각의 추정값을 기초로, 주목 화소 추출부(283)로부터 공급되는 좌표 정보에 의해 나타내는 변환처 화상의 각 화소에 대해, 변환전 화상에서의 대응하는 화소를 구하고, 그 화소값을 변환 화상 생성부(285)에 공급한다.

구체적으로는, 대응 화소 추출부(284)는, 도 31에 나타낸 바와 같이, 반경(a)의 원기둥형의 스크린과 평면 스크린이 접하고 있는 경우에, 반경(a)의 원기둥형의 스크린 중 적어도 일부에 형성되는 상의 각 화소가, 평면 스크린상의 어느 화소에 위치되는지를 구한다. 여기서, 원기둥형의 스크린의 반경(a)은, 변환전 화상의 화각과 가로폭에 의해 정해지는 값이다. 즉, 변환전 화상의 가로폭의 1/2이 1이고, 화각의 1/2이 θ일 때에, a의 값은, tanθ=1/a이 성립되는 값이다.

xyz 좌표계에서의 원점(O, O, O)을, 반경(a)의 원기둥형 스크린과 평면 스크린과의 교선상의 점에서, 높이가 소실점과 같게되는(즉, 수평선의 높이) 좌표로 하고, 반경(a)의 원기둥형 스크린의 중심점을(O, O, -a)로 한다. 반경(a)의 원기둥형의 스크린상의 좌표를, x-z평면 상의 z축으로부터 각도 θ 및 y축 좌표 β에 의 해 (θ, β)라고 나타낸 경우, 이것을 xyz 좌표계로 변환하면, (asinθ, β, A(cosθ-1))이 된다. 따라서, 반경(a)의 원기둥형의 스크린에 형성되는 상(image)의 화소(θ, β)에 대응하는 평면 스크린상의 좌표는, 중심점(O, O, -a)과 좌표(asinθ, β, A(cosθ-1))를 연결하는 직선이 x-y 평면과 교차하는 점에서 좌표(atanθ, β/cosθ, 0)를 갖는 점이다.

또, 대응 화소 추출부(284)는, 도 32에 나타낸 바와 같이, 반경(a)의 원기둥형의 스크린과 평면 스크린이 접하고 있는 경우에, 평면 스크린상의 각 화소가, 반경(a)의 원기둥형의 스크린 중 적어도 일부의 어느 화소 위치에 해당하는지를 찾아낼 수 있다.

도 31을 사용하여 설명한 경우와 마찬가지로, xyz 좌표계에서의 원점(0, 0, 0)을, 반경(a)의 원기둥형 스크린과 평면 스크린과의 교선상의 점에서, 높이가 소실점과 같게(즉, 수평선의 높이)되는 좌표로 하고, 반경(a)의 원기둥형 스크린의 중심점을(0, 0, -a)로 했을 때, 평면 스크린상의 좌표(X, Y, 0)에 대응하는 원기둥형의 스크린상의 좌표는, 중심점(0, 0, -a)과 좌표(X, Y, 0)를 연결하는 직선이, 원주 스크린면과 교차하는 점이며, 다음의 식(3) 에 의해 표현되는 좌표이다.

· ·· (3)

변환 화상 생성부(285)는, 전술한 바와 같은 방법으로, 대응 화소 추출부(284)로부터 공급된 변환전 화상(source image)에서의 대응하는 화소의 화소값을, 변환처 화상 표면(transformed image surface)의 주목 화소 위치에 복사하는 동작을 반복함으로써, 변환 화상(transformed image)을 생성하고, 화상 데이터 출력부(55)에 공급한다.

그리고, 도 31을 사용하여 설명한 방법과 도 32를 사용하여 설명한 방법을 비교했을 경우, 최종적으로 생성되는 화상 데이터에 화소가 빠지지 않는다. 대응 화소 추출부(284)가 도 31을 사용하여 설명한 방법을 사용하여, 변환처 화상의 각 화소에 대하여 변환전 화상에서의 대응하는 화소를 구하도록 하는 것이 바람직하다.

그리고, 도 31 및 도 32에서, 반경(a)의 원주의 일부인 가상 결상 스크린(303)이, 통상 화상의 결상 스크린(302)과 접하고 있는 경우에 대하여 설명하였으나, 이들 스크린이 접해 있지 않은 경우를 상정해 변환 처리를 행하여도, 전술한 경우와 마찬가지의 변환 처리가 가능하다. 즉, 소정의 반경의 원주 중 화각에 대응하는 영역(중심점과 스크린으로 그려지는 선형의 중심 각이 화각 으로 되도록영역)에, 동일한 화각의 평면 스크린의 화상이 투영될 수 있다. 여기서, 원주의 반경은, 화각 및 스크린들 사이의 위치 관계에 의해 정해진다. 또, 변환처 화상의 표면의 사이즈도, 화각 및 스크린 사이의 위치 관계에 의해 정해진다.

환언하면, 도 33에 나타낸 바와 같이, 통상 화상의 결상 스크린(302)에 결상되는 변환전의 화상과, 가상 결상 스크린(303-1) 내지 가상 결상 스크린(303-4)에 각각 결상되는 변환 후의 화상 사이에, 화각 및 시점(카메라(301)의 위치, 즉 중심점(0, O, -a)에 대응하는 점)이 동일해지도록 화상이 투영 되어 있으면, 통상 화상의 결상 스크린(302)이 가상 결상 스크린(303)을 포함하는 원주의 외측에 존재하거 나 내측에 존재하더라도 전술한 경우와 마찬가지의 변환 처리를 행할 수 있다.

다음에, 도 34의 순서도를 참조하여, 도 2의 화상 처리 장치(41)가 실행하는 처리에 대하여 설명한다.

스텝(S1)에서, 화상 데이터 취득부(51)는, 변환전의 화상 데이터를 취득하고, 소실점 추정부(52)에 공급한다.

스텝(S2)에서, 소실점 추정부(52)는, 도 35를 사용하여 후술하는 제1 소실점 추정 처리, 또는 도 36을 사용하여 후술하는 제2 소실점 추정 처리를 실행한다.

스텝(S3)에서, 화각 추정부(53)는, 도 41을 사용하여 후술하는 화각 추정 처리를 실행한다.

스텝(S4)에서, 화상 변환 처리부(54)는, 도 43을 사용하여 후술하는 화상 변환 처리(4)를 실행한다.

스텝(S5)에서, 화상 데이터 출력부(55)는, 스텝(S2)에서 소실점이 산출되고, 스텝(S3)에서 화각이 추정되어, 스텝(S4)에서 변환되어 생성된 변환 후의 화상 데이터의 공급을 받아 이것을 출력하고, 처리가 종료된다.

이와 같이, 도 2의 화상 처리 장치(41)에서, 소실점이 산출되고, 화각이 추정되어, 이것을 기초로 화상 데이터가 변환되어, 변환 후의 화상 데이터가 출력된다. 출력된 화상 데이터는, 대형의 평면 디스플레이에 표시되고, 인쇄 출력되며, 소정의 기록 매체에 기록되고, 소정의 통신 매체를 통하여 전달된다.

다음으로, 도 35의 순서도를 참조하여, 도 34의 스텝(S2)에서, 도 3을 사용하여 설명한 소실점 추정부(52-1)에 의해 실행되는 제1 소실점 추정 처리를 설명한 다.

스텝(S21)에서, 깊이 방향 평행선 추출부(71)는, 화상 데이터 취득부(51)에 의해 취득된 화상으로부터, 지면(수평면)에 대해서 평행이며 화상 앞에서 안쪽으로(카메라의 시선의 방향에 대하여 동일 방향으로) 성장하는 직선을 검출함으로써, 도 5를 사용하여 설명한 바와 같이, 각각의 간격이 같은 깊이 방향의 평행선을 여러 개 추출한다.

스텝(S22)에서, 소실점 산출부(72)는, 깊이 방향 평행선 추출부(71)에서 추출된 깊이 방향의 수평선을 기초로, 도 5를 사용하여 설명한 바와 같이, 그들의 화상 내에서의 교점을 구함으로써 소실점을 산출하고, 처리는 도 34의 스텝(S2)으로 복귀하여 스텝(S3)으로 진행한다.

이와 같은 처리에 의해, 화상 데이터의 깊이 방향의 평행선을 기초로, 소실점이 추정된다.

다음으로, 도 36의 순서도를 참조하여, 도 34의 스텝(S2)에서, 도 6을 사용하여 설명한 소실점 추정부(52-2)에 의해 실행되는 제2 소실점 추정 처리를 설명한다

스텝(S41)에서, 특징량 추출부(131)는, 입력 화상의 각 화소의 특징량을 추출한다. 특징량으로서, 예를 들면, 각 화소의 색차값(color-difference value)이나 에지 강도(edge intensity)가 추출된다. 그리고 에지 강도를 특징량으로 사용하는 경우, 특징량 추출부(51)는, 미분 필터(도시하지 않음)를 내장 하고, 입력 화상의 에지를 강조하여 에지 강도를 추출한다.

스텝(S42)에서, 양자화부(132)는, 스텝(S41)에서 추출된 각 화소의 특징량에 따라, 입력 화상의 특징량을 양자화한다.

예를 들면, 특징량이 색차값인 경우, 소정의 기준치와 동일한 색차값을 가지는 화소의 값이 1로 설정하고, 그 이외의 색차값을 가지는 화소의 값이 O으로 설정된다.

예를 들면, 도 8에 나타낸 입력 화상은, 도 9에 나타낸 바와 같이 양자화 된다. 그리고 도 9에서, 흰색 점은 값이 1인 화소를 나타내고, 검은색 점은 값이 0인 화소를 나타내고 있다.

스텝(S43)에서, 텍스처 구배 산출부(133) 및 소실점 산출부(134)의 처리에 의해, 소실점이 산출되고, 처리는 도 34의 스텝(S2)으로 복귀하여 스텝(S3)으로 진행한다.

구체적으로는, 텍스처 구배 산출부(133)는, 스텝(S42)로 얻어진 양자화 데이터(도 9)로부터, 라인마다 흰색점(텍스처) 간격의 평균값(텍스처 구배 데이터)을 산출한다. 예를 들면, 도 10을 사용하여 설명한 바와 같이, 소정의 라인에 있어서 값이 1인 화소가 복수개 나란히 있는 경우, 그 간격 a₁, a₂, a₃, a₄의 평균값이 산출된다.

그리고 텍스처 구배 산출부(133)는, 산출한 라인 마다의 이 평균값(AV)(도 12)에 따라, 도 12를 사용하여 설명한 바와 같이 회귀 직선을 설정한다. 즉 이 회귀 직선이 텍스처의 구배에 해당한다.

그리고, 소실점 산출부(134)는, 설정된 회귀 직선과 그 Y축(입력 화상의 Y축)과의 교점을 소실점으로서 산출한다

이와 같은 처리에 의해, 텍스처 구배를 기초로, 소실점이 구해진다.

그런데, 도 36의 스텝(S41)에서, 특징량 추출부(131)는, 입력 화상의 각 화소의 특징량을 추출한다. 특징량으로서, 예를 들면, 각 화소의 색차값이나 에지 강도가 추출된다.

여기서, 도 37의 순서도를 참조하여, 특징량과 색차값이 사용되는 경우에, 도 36의 스텝(S41)에서 특징량 추출부(131)가 실행하는, 특징량의 기준치를 결정하기 위한 처리에 대하여 설명한다.

스텝(S61)에서, 특징량 추출부(131)는, 입력 화상으로부터, 소정의 특징량(이 예의 경우, 색차값)의 히스토그램을 생성한다.

스텝(S62)에서, 특징량 추출부(131)는, 스텝(S61)에서 생성된 히스토그램에서, 도수의 상위 n개의 색차값을 선택한다.

스텝(S63)에서, 특징량 추출부(131)는, 스텝(S62)로 선택된 n개의 색차값 중 1개의 색차값을 선택한다. 그리고, 스텝(S64)에서, 특징량 추출부(131)는, 선택된 색차값과 같은 색차값을 가지는 화소의 위치를 검출한다.

다음에 스텝(S65)에서, 특징량 추출부(131)는, 도 38 내지 도 40에 나타낸 예와 같이, 스텝(S64)에서 그 위치가 검출된 화소의, 수평 방향의 위치(X축 좌표)의 최대값과 최소값의 차, 및 수직 방향의 위치(Y축 좌표)의 최대값과 최소값의 차를 각각 산출하는 동시에, 그 합계치를 산출한다.

스텝(S66)에서, 특징량 추출부(131)는, 스텝(S62)에서 선택된 n개의 색차값의 모두가 스텝(S63)에서 선택되었는지를 판단한다. 스텝(S66)에서, 아직 선택되어 있지 않은 색차값이 있으면 판단된 경우, 처리는, 스텝(S63)으로 복귀하고, 다음의 색차값이 선택되고, 스텝(S64) 이후의 처리가 반복된다.

스텝(S66)에서, 모든 색차값이 선택된 것으로 판단된 경우, 스텝(S67)에서 특징량 추출부(131)는 스텝(S65)에서 산출된 합계치 중 최대의 합계값이 얻어진 색차값을 기준치로서 선택한다.

이같이 하여 기준치가 결정된다. 예를 들면, 입력 화상에 비교적 많이 존재하는 색으로서, 입력 화상 전체에 분포하고 있는 색의 색차값 등이 기준치로 되고, 그와 같은 색에 있어 양자화가 실행된다.

그리고, 여기서는, 특징량이 색차값인 경우를 예로서 설명하였으나, 에지 강도 등의 다른 특징량 대하여도 마찬가지로 기준치가 결정된다.

다음에, 도 41의 순서도를 참조하여, 도 34의 스텝(S3)에서, 도 14를 사용하여 설명한 화각 추정부(53)가 실행하는 화각 추정 처리에 대하여 설명한다.

스텝(S91)에서, 수평 방향 평행선 묘화부(171)는, 소실점을 구하기 위해 미리 깊이 방향의 평행선이 묘화되어 있는 경우, 그 깊이 방향의 평행선에 대해서, 도 15 및 도 16을 사용하여 설명한 바와 같이, 수평 방향 평행선과 동일한 간격으로, 즉, 정체 화상으로 정방형이 묘화되도록, 수평 방향 평행선을 묘화한다. 또는, 깊이 방향의 평행선이 미리 묘화되어 있지 않은 경우는, 수평 방향 평행선 묘화부(171)가 도 5를 사용하여 설명한 경우와 마찬가지의 처리에 있어서 깊이 방향 의 평행선을 묘화한 후에, 묘화된 깊이 방향의 평행선에 대해서, 도 15 및 도 16을 사용하여 설명한 바와 같이, 수평 방향 평행선과 동일한 간격으로, 즉 정체 화상으로 정방형이 묘화되도록 수평 방향 평행선을 묘화한다.

스텝(S92)에서, 평행선 추출부(172)는, 도 16을 사용하여 설명한 바와 같이, 깊이 방향 평행선들 및 묘화 된 정방형에 있어서의 대각선들로부터, 화상 데이터 내에서 평행하게 되어 있는 것을 추출한다.

스텝(S93)에서, 타일화 생성부(173)는, 깊이 방향 평행선과 수평 방향 평행선을 기초로, 도 17을 사용하여 설명한 바와 같이, 타일화를 생성한다.

스텝(S94)에서, 화각 산출부(174)는, 타일화 생성부(173)에 의해 생성된 타일화, 수평 방향 평행선 묘화부(171)에 의해 묘화된 베이스 라인, 및 평행선 추출부(172)에 의해 추출된 화상 상에서 평행으로 되는 깊이 방향 평행선과 묘화된 정방형에 있어서의 대각선 쌍을 기초로, 도 17을 사용하여 설명한 바와 같이, 화각을 산출하고, 처리는 도 34의 스텝(S3)으로 복귀하고, 스텝(S4)로 진행한다.

이와 같은 처리에 의해, 변환전 화상을 촬상한 카메라의 화각을 추정 할 수 있는.

또, 깊이 방향 평행선과 동일한 간격으로 수평 방향 평행선을 묘화하는 것이 곤란한 경우, 즉, 정체 화상으로 정방형이 묘화되도록 수평 방향 평행선을 묘화하는 것이 곤란한 경우, 깊이 방향 평행선과 수평 방향 평행선과의 각각의 간격으로 오차가 생기고, 그 결과, 화각 산출부(174)에 있어서 산출되는 화각에 오차가 생겨 버린다.

예를 들면, 도 18을 사용하여 설명한 바와 같이, 도 17을 사용하여 설명한 경우와는 다른 간격으로 수평 방향의 평행선이 묘화되었을 경우, 타일화를 사용하여 구해지는 화각이, 도 17에 있어서의 경우의 결과와 다르게 된다.. 이와 같은 경우는, 수평 방향 평행선 묘화부(171)의 구성을 도 18을 사용하여 설명한 구성으로 바꿈으로서, 변환전의 화상을 촬상했을 때의 카메라의 앙각을 산출하고, 정체 화상을 생성함으로써, 정확하게, 깊이 방향의 평행선에 대해서, 정체 화상으로 정방형이 묘화되도록, 수평 방향의 평행선을 묘화할 수 있다.

다음에, 앙각을 산출해 정체 화상을 생성하는 경우의, 도 41의 스텝(S91)의 처리에 해당하는 처리인 수평 방향 평행선 묘화 처리에 대하여, 도 42의 순서도를 참조하여 설명한다.

스텝(S111)에서, 앙각 산출부(251)는, 소실점 추정부(52)의 처리에 의해 요구되고 있는 소실점을 기초로, 카메라의 앙각을 산출한다.

구체적으로는, 앙각은, 도 25에 나타낸 바와 같이, 소실점(R)과 초점(Q)을 연결하는 직선과 결상면(Z)의 중심점과 초점(Q)을 연결하는 직선으로 이루어지는 각도와 동일한 값이므로, 앙각은, 전술한 식(1)을 사용하여 산출하는 것이 가능하다.

스텝(S112)에서, 정체 화상 생성부(252)는, 그 앙각을 이용하여, 입력 화상을 정체 화상으로 변환해 정체 화상을 생성한다.

구체적으로는, 정체 화상 생성부(252)는, 도 27을 사용하여 설명한 바와 같 이, 정체 화상의 화소(x₁, y₁) 마다, 그에 대응하는 입력 화상의 화소(x₀, y_O)를 검출한다.

정체 화상의 화소(x₁, y₁), 입력 화상의 화소(x₀, y_O), 및 앙각(φ)은, 도 28에 나타낸 바와 같은 기하학적인 관계를 가지고 있으므로, 정체 화상의 화소(x₁, y₁)에 대응하는 입력 화상의 화소(x₀, y₀)는, 전술한 식(2)을 사용하여 구할 수 있다. 이것을 사용하여, 입력 화상이 주어질 때 피사체 평면상의 실제의 모양을 추정 할 수 있다.

스텝(S113)에서, 수평 라인 묘화부(253)는, 생성된 정체 화상에 있어서, 소실점을 구하기 위해 묘화한 깊이 방향의 평행선에 대해서, 정체 화상으로 정방형이 묘화되도록, 수평 방향으로 평행선을 묘화한다.

그리고, 수평 라인 묘화부(253)는, 정체 화상 생성부(252)에, 깊이 방향의 수평선 및 수평 방향의 평행선을 묘화한 후, 정쳬 화상 생성부(252)가 실행한 변환과 역변환을 실행함으로써, 도 15 및 도 16을 사용하여 설명한 바와 같이, 정확한 깊이 방향의 수평선 및 수평 방향의 평행선이 묘화된 화상 데이터를 생성하고, 평행선 추출부(172)에 공급한다.

이와 같은 처리에 의해, 앙각을 기초로 정체 화상이 생성되므로, 정확하게, 깊이 방향의 평행축에 대해서, 정체 화상으로 정방형이 묘화되도록, 수평 방향으로 평행선을 묘화 할 수 있다. 따라서, 양호한 정밀도로 화각을 추정 할 수 있다.

다음에, 도 43의 순서도를 참조하여, 도 34의 스텝(S4)에서, 도 29를 사용하 여 설명한 화상 변환 처리부(54)가 실행하는, 화상 변환 처리에 대하여 설명한다.

스텝(S131)에서, 변환전 화상 데이터 취득부(281)는, 변환전의 화상 데이터를 취득하고, 변환처 화상 표면 생성부(282) 및 대응 화소 추출부(284)에 공급한다.

스텝(S132)에서, 변환처 화상 표면 생성부(282)는, 변환전의 화상 데이터와 동일한 치수의 변환처 화상 표면을 준비하고, 주목 화소 추출부(283) 및 변환 화상 생성부(285)에 공급한다.

스텝(S133)에서, 주목 화소 추출부(283)는, 변환처 화상 표면 생성부(282)로부터 공급된 변환처 화상 표면 중 미처리의 화소를 주목 화소로서 추출하고, 주목 화소의 좌표 정보를, 대응 화소 추출부(284) 및 변환 화상 생성부(285)에 공급한다.

스텝(S134)에서, 대응 화소 추출부(284)는, 화각 추정부(53)로부터 공급되는 화각의 추정값을 기초로, 도 31 또는 도 32를 사용하여 설명한 변환식을 기초로, 변환전의 화상 데이터의 화소 중, 추출된 주목 화소에 대응하는 화소를 추출하고, 그 화소값을 변환 화상 생성부(285)에 공급한다.

스텝(S135)에서, 변환 화상 생성부(285)는, 변환처 화상 표면의 주목 화소 위치에, 대응 화소 추출부(284)로부터 공급된 변환전 화상에서의 대응하는 화소의 화소값을 복사한다.

스텝(S136)에서, 변환 화상 생성부(285)는, 모든 화소에 있어서 화소를 복사하는 처리가 종료되었는지를 판단한다. 스텝(S136)에서, 화소를 복사하는 처리가 모든 화소에 있어서 종료되어 있지 않은 것으로 판단된 경우, 처리는, 스텝(S133)으로 복귀하고, 그 이후의 처리가 반복된다. 스텝(S136)에서, 화소를 복사하는 처리가 모든 화소에 있어서 종료되었다고 판단된 경우, 처리는, 도 34의 스텝(S4)으로 복귀하고, 스텝(S5)으로 진행한다.

이와 같은 처리에 의해, 소정의 카메라 위치로부터 촬상된 평면 화상 데이터를 구성하는 각 화소가, 화각 및 변환전의 화상 데이터의 크기에 따라서, 원기둥형 중 적어도 일부로서 구성되는 가상적인 스크린상 중 어느 하나의 화소로 옮겨져, 변환 후의 화상 데이터가 생성된다.

도 44에, 도 4에 나타내는 변환전 화상이, 도 17을 사용하여 설명한 바와 같이 구해진 화각 f_ov1=57(deg)을 기초로 변환되어 생성된, 변환 후 화상의 예를 나타낸다. 이 때, a=1.086이다.

도 44에 나타낸 바와 같은 「실내 공간」을 촬상한 화상은, 관찰자가 도 45a에 나타내는 (α)의 위치로부터 정면을 향해 관찰했을 때, 도 45b에 나타낸 바와 같이, 「실내 공간」의 중앙에 존재하는 관찰자(351)가 방향(α)을 본 경우의 망막상에 상당하는 망막상을 얻을 수 있고, 관찰자가 도 45a에 나타내는 (β)의 위치로부터 정면을 향해 관찰했을 때, 도 45b에 나타낸 바와 같이, 「실내 공간」의 중앙에 존재하는 관찰자(351)이 방향(β)을 본 경우의 망막상에 상당하는 망막상을 얻을 수 있고, 관찰자가 도 45a에 나타내는 (γ)의 위치로부터 정면을 향해 관찰했을 때, 도 45b에 나타낸 바와 같이, 「실내 공간」의 중앙에 존재하는 관찰자(351)가 방향 (γ)을 본 경우의 망막상에 상당하는 망막상을 얻을 수 있다. 즉, 도 44 및 도 45에 나타내는 변환 후 화상은, 도 45a에 나타내는 위치(α) 내지 위치(γ) 등, 그 관찰자의 위치에 관계없이, 관찰자에게 정확한 망막상을 부여하는 것이 가능하다.

「실내 공간」의 중앙에 존재하는 관찰자(351)가, 방향(α)으로부터 방향(γ)까지를 각도를 변경하면서, 방의 좌측 시타즈미의 각으로부터 방의 우측 시타즈미의 각 까지의 방의 안쪽의 벽과 바닥과의 경계선을 관찰했을 때, 그 경계선과 관찰자(351)와의 거리는, 방의 하방 좌측 코너의 각(방향(α))과 방의 하방 우측 코너의 각(방향(γ))이 가장 멀고, 방의 중앙 부분(방향(β))이 가장 가깝다. 즉, 도 44 및 도 45에 나타내는 변환 후 화상에 있어서는, 방의 안쪽의 벽과 바닥과의 경계선은, 직선이 아니고, 약간 아래로 오목한 곡선으로 되고, 방의 하방 좌측 코너 및 하방 우측 코너 각은, 방의 중앙 부분의 바닥과 안쪽의 벽의 경계보다도, 화상 상에서 높은 위치, 환언하면, 관찰자로부터 멀게 느끼는 위치에 묘화된다.

그리고, 변환 후 화상에는, 통상의 화상에는 발생하지 않는 외관과 하변의 만곡이 발생하므로, 도 45a 에 나타낸 바와 같이, 그 외관과 하변의 만곡부분이 삭제되는 화상, 즉, 도 45a의 직선(352-1)과 직선(352-2)과의 사이의 부분의 화상을 관찰자에게 제시 하도록 하는 것이 바람직하다.

도 46은 tanθ₂=1.0, 즉, 화각 f_ov2 = 2tan^-11.0 = 90(deg)이고 a=2일 때에 얻는 변환처 화상의 예이다.

도 47은 tanθ₂=0.25, 즉, 화각 f_ov3 = 2tan^-10.25 = 28.1(deg)이고 a=0.5일 때에 얻는 변환처 화상의 예이다.

즉, 도 44에 나타내는 변환 후 화상은 도 48a에 나타낸 바와 같은 화각(f_ov) 및 카메라와 카메라의 초점과의 깊이의 거리(a)와의 관계를 기초로 변환되고, 도 46에 나타내는 변환 후 화상은 도 48b에 나타낸 바와 같은 화각(f_ov) 및 카메라와 카메라의 초점과의 깊이의 거리(a)와의 관계를 기초로 변환되고, 도 47에 나타내는 변환 후 화상은 도 48c에 나타낸 바와 같은 화각(f_ov) 및 카메라와 카메라의 초점과의 깊이의 거리(a)와의 관계를 기초로 변환되어 있다.

즉, 도 46에 나타내는 변환 후 화상은, 정확하게 구해진 도 48a에 나타낸 바와 같은 화각(f_ov) 및 카메라와 카메라의 초점과의 깊이의 거리(a)에 대해서, 도 48b에 나타낸 바와 같이, 실제 보다도 넓은 화각으로, 먼 카메라에 의해 촬상된 것으로서 생성되어 있다. 또, 도 47에 나타내는 변환 후 화상은, 정확하게 구해진 도 48a에 나타낸 바와 같은 화각(f_ov) 및 카메라와 카메라의 초점과의 깊이의 거리(a)에 대해서, 도 48c에 나타낸 바와 같이, 실제 보다도 좁은 화각으로, 가까이의 카메라에 의해 촬상된 것으로서 생성되어 있다.

이와 같이, 정확하게 추정된 화각 및 초점 거리를 기초로 화상이 변환되지 않으면, 그 관찰자의 위치에 관계없이, 관찰자에게 정확한 망막상을 부여하는 화상을 생성하는 것이 어렵다.

다음에, 소정의 포인트로부터 360도 모든 방향에서의 망막상에 대응하는 평면 화상 데이터를 얻는 경우를 예시함으로써, 본 발명에 의한 현저한 효과에 대하여 설명한다.

예를 들면, 도 49에 나타낸 바와 같이, 사용자(401)가, 벤치(411) 및 벤치(422)가 설치되어 있으며 주위에 나무(413-1) 내지 나무(413-8)가 있는, 직선형으로 뻗은 보도(402)에서, 자기 자신의 주변 360도의 화상 데이터를 얻는 경우를 상정해 설명한다.

먼저, 도 49에 도시된 바와 같이, 보도(402)의 한 쪽 방향이며 벤치(411) 및 벤치(412)의 방향에 해당하는 방향(a), 방향(a)와 90도만급 다르며 나무(413-8)의 방향에 해당하는 방향(b), 방향(a)와 180도 차이가나는 방향(c), 및 방향(c)과 90도 차이가나며 나무(413-1) 내지 나무(413-7)의 방향에 해당하는 방향(d)의 4 방향의 화상을 촬상했을 경우에 얻어지는 화상을 도 50에 나타내었다.

도 50에 나타낸 바와 같이, 방향(a)를 촬상한 화상은, 화상(451)이다. 화상(451)에는, 벤치(411) 및 벤치(422)가 포함되고, 보도(402)는 화상 내의 먼 곳 방향으로 뻗어나가 보도(402)의 경계선은, 소실점(화상(451)의 외부에 존재하는 소실점)에 수렴하는 경사진 직선이다. 방향(b)를 촬상한 화상은, 화상(452)이다. 화상(452)에는, 나무(413-8)가 포함되고, 보도(402)의 경계선은, 화면 상의 수평 방향의 직선이다. 방향(c)을 촬상한 화상은, 화상(453)이다. 화상(453)에 있어서, 보도(402)는 화상 내의 먼 곳 방향으로 연장되어 보도(402)의 경계선은, 소실점(화상(453)의 외부에 존재하는 소실점)에 수렴하는 경사진 직선이다. 방향(d)을 촬상한 화상은, 화상(454)이다. 화상(454)에는, 복수개의 나무(413)이 포함되고, 보도(402)의 경계선은, 화면 상의 수평 방향의 직선이다.

그리고, 도 50에 나타내는 4개의 화상을 단순하게 접속하면, 도 51에 나타내는 화상(471)이 된다. 그리고, 화상(417)에서, 화상과 화상과의 경계 부분에 존재하는 나무(413)등은, 부자연스럽지 않게 보정 된다.

여기서, 화상(471)의 구성부인 화상(451) 내지 화상(454)에서, 보도(402)의 경계선은, 소실점으로 향해 수렴하는 직선 또는 수평 방향의 직선 중 어느 하나이다. 따라서, 화상(471)에서, 보도(402)의 경계선이 모두 직선에 의해 구성되어 버리므로, 도 49에 나타내는 사용자(401)가 자기 자신의 주변 360도를 관찰했을 경우에 얻어지는 망막상과는 상이하고, 전술한 각도(a) 내지 각도(d)의 각각의 정확히 중간의 각도(화상(451) 내지 화상(454)의 접속 부분)에서 보도의 경계가 소정의 각도를 가지고 구부러지는 것과 같은 위화감이 생긴다.

이에 대하여, 예를 들면, 도 49에 나타내는 사용자(401)의 위치로부터 촬상되는 화상을 늘려, 예를 들면, 2배의 8개의 화상을 합성하여 접속함으로써, 화상을 생성하는 경우에 대하여 생각한다.

예를 들면, 도 51을 사용하여 설명한 화상(471)에 있어서, 화상(451) 내지 화상(454)의 접속 부분에, 전술한 각도(a) 내지 각도(d)의 각각의 정확히 중간의 각도로 촬상된 화상을 접속한 경우, 도 52에 나타내는 화상(481)을 얻을 수 있다. 그러나, 화상(481)에 있어서도, 보도의 경계 부분은, 8개의 각각의 화상의 접속 부분에 있어서 소정 각도로 접속되는 직선의 집합이다.

즉, 종래의 핀홀 카메라의 원리에 의해 얻어지는 화상을 사용하여, 주변 360도를 관찰했을 경우에 얻어지는 망막상에 가까운 화상을 얻기 위해, 촬상 되는 매수(촬상 되는 화상의 방향)를 늘려도, 보도의 경계 부분은, 엄밀하게는, 직선이 접속된 것으로 되어, 관찰자인 사용자(401)의 눈에 비치는 망막상과 동하게 되지는 않는다.

이에 대하여, 본 발명을 적용한 화상 처리 장치(41)를 사용하여, 종래의 핀홀 카메라의 원리에 의해 얻어지는 화상을 전술한 방법으로 변환하고, 적당히 접속한 경우, 도 53에 나타내는 화상(501)과 같이, 보도의 경계 부분은 완만한 곡선에 변환된다. 즉, 화상(501)의 앞면의 어떠한 위치로부터 그 정면이 관찰된 경우라도, 관찰자에게 줄 수 있는 망막상은, 사용자(401)가 360도 회전했을 경우에 그 눈에 비치는 망막상과 대략 동일하게 된다.

이같이 하여, 본 발명을 적용함으로써, 종래의 핀홀 카메라의 원리에 의해 얻어지는 화상을 접속해서는얻을 수 없는, 실제 공간의 사용자(401)의 눈에 비치는 망막상과 대략 동등한 망막상을 복수의 관찰자의 시점에서 얻는 것이 가능한 평면 화상을 생성할 수 있다.

또, 본 발명은, 통상의 카메라에 의해 촬상된 화상 또는 영상을 변환하는 이외에도, 예를 들면, 컴퓨터그래픽 등을 사용하여 화상 또는 영상이 작성되는 경우에도 적용 가능하다. 즉, 핀홀 카메라의 원리 에 따라 촬상된 화상과 마찬가지의 방법으로 깊이가 표현되어 있는 화상 또는 영상을, 본 발명을 사용하여 변환하여도 된다.

또, 예를 들면, 사람이 스크린에 비집고 들어가거나 스크린이 거울처럼 보이도록 사용자가 느끼게 하는 것 같은 어플리케이션이 있다. 구체적으로는, 예를 들면, 대형 스크린에 가는 구슬이나 액체상의 방울이 떨어지는 영상이 투영되어 그 스크린 내의 구슬이나 액체가, 스크린 앞에 존재하는 사용자의 스크린상의 그림자에 해당되어, 현실 세계에서 구슬이나 액체가 사용자에게 맞았을 때와 같은 행동을 하거나, 스크린 내에 나비들이 날아와 스크린 앞에 존재하는 사용자의 스크린 상의 그림자에 멈추는 것 같은, 평면적이더라도, 이른바 가상 현실(virtual reality) 또는 복합 현실감(mixed reality)을 사용자에 제공하는 어플리케이션이 있다.

이와 같은 어플리케이션에 본 발명을 적용할 수도 있다. 즉, 스크린에 표시되는 화상 또는 영상의 생성에 본 발명을 적용함으로써, 스크린에 표시되는 화상 또는 영상에 대해서 특정되지 않는 위치(예를 들면, 도 45a에 있어서의 위치(α,β,γ) 등)에 존재하는 사용자에게 대하여, 이로부터 현실 세계에 가까운 감각을 부여하는 것이 가능해진다.

이같이 하여, 본 발명을 적용하여, 통상의 카메라로 촬영한 화상에 대해서, 소정의 화상 변환을 행하여 생성된 변환 후 화상은, 그 화상을 관찰하는 관찰자가, 변환 후 화상의 앞면의 어떠한 위치로부터 관찰자 자체의 정면을 관찰하여도(관찰자의 시선이 변환 후 화상 평면에 대해서 수직 또는 대략 수직의 방향이면) 실제의 세계에 존재하는 경우와 마찬가지의 망막상을 관찰자에게 제공하는 것이 가능하게 된다.

또, 이같이 하여, 본 발명을 적용하여, 통상의 카메라로 촬영한 화상에 대해 서, 소정의 화상 변환을 행하여 생성된 변환 후 화상을 표시하는 디스플레이는, 그 사이즈가 큰 것이 보다 바람직하다.

또, 본 발명의 화상 변환은, 카메라 등으로 촬상된 화상 뿐만 아니라, 예를 들면, 컴퓨터 그래픽스등에 의해 생성된 화상에 대해서 적용할 수도 있다.

이와 같이 생성된 화상 또는 영상은, 대형의 평면 스크린에 표시되고, 인쇄 출력되어 관찰자에게 관찰 될 뿐만 아니라, 화상 또는 영상을 이용하는 각종 어플리케이션에 적용하는 것이 가능하다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 생체 정보 처리 장치(1)는, 도 54에 나타낸 바와 같은 퍼스널 컴퓨터(901)로 구성된다.

도 54에 있어서, CPU(Central Processing Unit)(921)는, R0M(Read 0nly Memory)(922)에 기억되어 있는 프로그램, 또는 기억부(928)으로부터 RAM(Random Access Memory)(923)에 로드된 프로그램에 따라 각종의 처리를 실행한다. 또한 RAM(923)은 CPU(921)이 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적당히 기억한다.

CPU(921), R0M(922), 및 RAM(923)은, 버스(924)를 통하여 서로 접속되어 있다. 또한 이 버스(924)에는 입출력 인터페이스(925)도 접속되어 있다.

입출력 인터페이스(925)에는, 키보드, 마우스 등으로 이루어지는 입력부(926), CRT(Cathode Ray Tube), LCD(Liquid Crystal display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(927), 하드 디스크 등으로 구성 되는 기억부(928), 모뎀 등으로 구성되는 통신부(929)가 접속되어 있다. 통신부(929)는, 인터넷을 포함하는 네트워크를 통하여 통신 처리를 행한다.

입출력 인터페이스(925)에는 또, 필요에 따라 드라이브(930)가 접속되고, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리모트 미디어(931)가 적당히 장착되고, 그것들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(928)에 인스톨된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 경우 컴퓨터, 또는, 각종의 프로그램을 인스톨 함으로써, 각종의 기능을 실행하는 것이 가능하다. 예를 들면 범용의 퍼스널 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨 된다

이 기록 매체는, 도 54에 나타낸 바와 같이, 장치 본체와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(floppy disk를 포함), 광디스크(CD-ROM (Compact Dlsk-Read Only Memory), DVD (Digital Versatile Disk)를 포함), 광자기 디스크(MD (Mini-Disk)를 포함), 또는 반도체 메모리 등으로 이루어지는 리모트 미디어(931)에 의해 구성될 뿐아니라, 장치 본체에 미리 내장된 상태에서 사용자에 제공되는, 프로그램이 기록되어 있는 R0M(922)나, 기억부(928)에 포함되는 하드 디스크 등으로 구성된다.

그리고, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또, 본 명세서에 있어서, 시스템은, 복수개의 장치(또는 특정한 기능을 실현하는 기능 모듈)가 논리적으로 집합된 것을 의미하고, 각 장치나 기능 모듈이 단일의 하우징 내에 있는지 여부는 묻지 않는다.

본 기술분야의 당업자들이라면 첨부된 청구항 또는 그 균등물들의 범위에서, 지금가지 기술한 디자인 요구 조건 및 그 밖의 다른 요인들에 따라 여러 가지 변형, 조합, 서브-조합 및 대체들이 발생할 수 있다는 것을 알아야 한다.

본 발명에 의하면, 제1의 평면 화상을 제2의 평면 화상으로 변환할 수가 있어 특히, 깊이를 가지는 공간이 표현되어 있는 제1의 평면 화상을 기초로, 특정되지 않는 위치로부터 관찰하는 관찰자에 대해서 위화감이 없는 망막상을 제공하는 것이 가능한 제2의 평면 화상을 생성할 수 있다.

Claims

깊이를 갖는 공간을 표현하고 있는 제1 평면 화상 데이터를 취득하여 변환하는 화상 처리 장치에 있어서,

상기 제1 평면 화상 데이터의 소실점(vanishing point)을 추정하는 소실점 추정 수단(vanishing point estimating means);

상기 제1 평면 화상 데이터의 화각을 추정하는 화각 추정 수단(angle-of-view estimating means); 및

상기 소실점 추정 수단에 의해 추정된 상기 소실점 및 상기 화각 추정 수단에 의해 추정된 상기 화각을 기초로, 소정 반경의 원주의 상기 화각에 대응하는 부분의 곡면에 상기 원주의 중심 및 상기 소실점과 동일한 높이로 되는 위치를 기준점으로 하여 상기 제1 평면 화상 데이터가 투영되었을 경우에 대응하는 제2 평면 화상 데이터를 생성하는 화상 생성 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 화각 추정 수단은, 상기 소실점 추정 수단에 의해 추정된 상기 소실점을 기초로, 상기 화각을 추정하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 소실점 추정 수단은,

상기 제1 평면 화상 데이터의 투시선(perspective line)을 묘화(draw)하는 묘화 수단(drawing means); 및

상기 묘화 수단에 의해 묘화된 상기 투시선을 기초로, 상기 제1 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 소실점 추정 수단은, 상기 제1 평면 화상 데이터의 특징량(feature value)을 추출하는 특징량 추출 수단;

상기 특징량 추출 수단에 의해 추출된 상기 특징량을 양자화(quatize)하는 특징량 양자화 수단;

상기 특징량 양자화 수단에 의해 양자화된 상기 특징량을 기초로, 상기 특징량이 상기 제1 평면 화상 데이터의 수직 방향으로 어떠한 구배(gradient)로 분포하고 있는가를 나타낸 특징량 분포를 산출하는 특징량 분포 산출 수단; 및

상기 특징량 분포 산출 수단에 의해 산출된 상기 특징량 분포를 기초로, 상기 제1 평면 화상 데이터의 소실점을 추출하는 소실점 추출 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 화각 추정 수단은,

상기 제1 평면 화상 데이터에 있어서 표현되는 상기 공간을 수직 위쪽으로부터 관찰했을 경우를 가정한 평면도를 생성하는 평면도 생성 수단; 및

상기 평면도 생성 수단에 의해 생성된 상기 평면도 내에서, 상기 제1 평면 화상 데이터에 있어서의 시점(viewpoint)의 위치를 검출함으로써, 상기 화각을 산출하는 화각 산출 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서,

상기 평면도 생성 수단은, 상기 제1 평면 화상 데이터의 상기 시점의 앙각(an elevatiion angle of the viewpoint)을 구하는 것에 의해 상기 평면도를 작성하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 화상 생성 수단은, 상기 원주의 반경을, 상기 화각 추정 수단에 의해 추정된 상기 화각 및 상기 제1 평면 화상 데이터의 화상 사이즈를 기초로 결정하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 화상 생성 수단에 의해 생성된 상기 제2 평면 화상 데이터를 표시하는 표시 수단을 추가로 포함하고,

상기 표시 수단은, 평면 형상의 디스플레이(planar display)를 포함하는 것을 특징으로 하는 화상 처리 장치.
깊이를 갖는 공간을 표현한 제1 평면 화상 데이터를 취득하여 변환하는 화상 처리 장치의 화상 처리 방법에 있어서,

상기 제1 평면 화상 데이터의 소실점을 추정하는 소실점 추정 스텝;

상기 제1 평면 화상 데이터의 화각을 추정하는 화각 추정 스텝; 및

상기 소실점 추정 스텝의 처리에 의해 추정된 상기 소실점 및 상기 화각 추정 스텝의 처리에 의해 추정된 상기 화각을 기초로, 소정 반경의 원주의 상기 화각에 대응하는 부분의 곡면에 상기 원주의 중심 및 상기 소실점과 동일한 높이로 되는 위치를 기준점으로 하여 상기 제1 평면 화상 데이터가 투영되었을 경우에 대응하는 제2 평면 화상 데이터를 생성하는 화상 생성 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
깊이를 갖는 공간을 표현하는 제1 평면 화상 데이터를 취득하여 변환하는 처리를 컴퓨터로 하여금 실행하도록 하기 위한 프로그램으로서,

상기 제1 평면 화상 데이터의 소실점을 추정하는 소실점 추정 스텝;

상기 제1 평면 화상 데이터의 화각을 추정하는 화각 추정 스텝; 및

상기 소실점 추정 스텝의 처리에 의해 추정된 상기 소실점 및 상기 화각 추 정 스텝의 처리에 의해 추정된 상기 화각을 기초로, 소정 반경의 원주의 상기 화각에 대응하는 부분의 곡면에 상기 원주의 중심 및 상기 소실점과 동일한 높이로 되는 위치를 기준점으로 하여 상기 제1 평면 화상 데이터가 투영되었을 경우에 대응하는 제2 평면 화상 데이터를 생성하는 화상 생성 스텝

을 포함하는 것을 특징으로 하는 처리를 컴퓨터로 하여금 실행하도록 하기 위한 프로그램.
청구항 10에 기재된 프로그램이 기록되어 있는 기록 매체.
깊이를 갖는 공간을 표현하는 제1 평면 화상 데이터를 취득하여 변환하는 화상 처리 장치에 있어서,

상기 제1 평면 화상 데이터의 소실점과 상기 제1 평면 화상 데이터의 화각이 입력되는 입력 수단; 및

상기 입력 수단에 의해 입력된 상기 소실점 및 상기 화각을 기초로, 소정 반경의 원주의 상기 화각에 대응하는 부분의 곡면에 상기 원주의 중심 및 상기 소실점과 동일한 높이로 되는 위치를 기준점으로서 상기 제1 평면 화상 데이터가 투영되었을 경우에 대응하는 제2 평면 화상 데이터를 생성하는 화상 생성 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
제12항에 있어서,

상기 화상 생성 수단에 의해 생성된 상기 제2 평면 화상 데이터를 표시하는 표시 수단을 추가로 포함하고,

상기 표시 수단은 평면 형상의 디스플레이를 포함하는 것

을 특징으로 하는 화상 처리 장치.
깊이를 갖는 공간을 표현하는 있는 제1 평면 화상 데이터를 취득하여 변환하는 화상 처리 장치의 화상 처리 방법에 있어서,

상기 제1 평면 화상 데이터의 소실점과 상기 제1 평면 화상 데이터의 화각의 입력을 제어하는 입력 제어 스텝; 및

상기 입력 제어 스텝의 처리에 의해 입력이 제어된 상기 소실점 및 상기 화각을 기초로, 소정 반경의 원주의 상기 화각에 대응하는 부분의 곡면에 상기 원주의 중심 및 상기 소실점과 동일한 높이로 되는 위치를 기준점으로 하여 상기 제1 평면 화상 데이터가 투영되었을 경우에 대응하는 제2 평면 화상 데이터를 생성하는 화상 생성 스텝

을 포함하는 것을 특징으로 하는 화상 처리 방법.