KR100911066B1

KR100911066B1 - 화상 표시 시스템, 화상 표시 방법 및 기록 매체

Info

Publication number: KR100911066B1
Application number: KR1020087004520A
Authority: KR
Inventors: 루이 이시야마
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2004-06-18
Filing date: 2005-06-08
Publication date: 2009-08-06
Also published as: CN1969313A; JP4952995B2; US20080036790A1; WO2005124735A1; JPWO2005124735A1; US7839423B2; KR20080024545A; EP1768097A1

Abstract

화상 표시 장치(4)와, 상기 화상 표시 장치(4)에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 화상 생성 장치(5)와, 상기 표시 화상을 보는 사람의 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치(3)와, 상기 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여 상기 표시 화상에 대응하는 상기 사람의 얼굴 정면점을 검출하는 얼굴 정면점 검출 장치를 구비하는 화상 표시 시스템을 구성한다. 여기에서, 전술한 표시 화상 데이터는 표시 화상이 복수의 영역을 갖도록 하는 데이터이다. 그리고, 상기 화상 생성 장치(5)는, 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성한다.

화상 표시 장치, 얼굴 정면점, 얼굴 화상 촬영 장치, 표시 화상 데이터, 광역 감시 시스템

Description

화상 표시 시스템, 화상 표시 방법 및 기록 매체{IMAGE DISPLAY SYSTEM, IMAGE DISPLAY METHOD AND RECORDING MEDIUM}

본 발명은, 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램에 관한 것으로, 특히 감시에 이용하는 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램에 관한 것이다.

인간의 시계는 유한하여, 한 사람이 단시간에 전방위를 시각적으로 포착하는 것은 불가능하다. 사람의 시계를 넘는 범위(이하, 광범위라 함)를 시각적으로 포착하는 것이 그 사람에게 요구되는 경우, 특수한 감시 시스템이 필요하게 된다. 이 특수한 시스템에 이용되는 기술로서는, 광범위 촬영용의 촬영 장치(이하, 광범위 촬영 장치라 함)를 사용하여 감시 대상의 화상을 촬영하고, 그 촬영된 화상을 시계 내에 들도록 가공한 화상(이하, 광범위 화상이라 함)에 의해 광범위한 관찰을 가능하게 하는 기술이 알려져 있다.

광범위 촬영 장치에는, 파노라마 카메라 등의 단일 장치로 광범위한 촬영이 가능한 촬영 장치가 존재한다. 또한, 복수의 촬영 장치에 의해 촬영된 화상을 조합하여 광범위 화상으로 하는 광범위 촬영 장치 등도 존재한다. 관찰자는, 표시 장치에 표시되어 있는 광범위 화상을 봄으로써, 그 시계를 넘는 범위를 시각적으로 포착하는 것이 가능해진다.

광범위 화상을 충분한 화상 사이즈나 해상도로 표시시키는 경우, 화상 표시에 필요한 표시 장치의 화면 사이즈가 커지게 된다. 그 때문에, 광범위 화상을 이용하여 감시 대상을 감시하는 데에는, 그 광범위 화상의 표시가 가능한 대형 표시 장치가 요구된다.

대형 표시 장치를 설치하는 것이 곤란한 경우에는, 전술한 광범위 화상의 화상 사이즈를 축소하여(해상도를 낮추어) 소형의 표시 장치에 표시시키는 기술이 존재한다. 축소 화상을 사용하여 감시를 실행함으로써, 보다 소규모의 시스템이라도 광범위한 관찰을 가능하게 하는 기술이 알려져 있다. 이 기술에 의해, 시스템의 구축에 드는 코스트를 저감할 수 있다. 덧붙여서, 한정된 공간에서 광범위를 감시하는 시스템의 구축이 가능하다.

광범위 화상을 축소하여 표시하는 경우, 그 축소된 화상(이하, 축소 표시 화상이라 함)으로부터는, 감시에 필요한 정보를 얻는 것이 곤란해 지는 경우가 있다. 이러한 경우에, 축소 표시 화상의 특정한 영역(이하, 특정 영역이라 함)의 해상도를 높게 하거나, 확대 표시하거나 함으로써, 원하는 정보량을 얻는 것을 가능하게 하는 기술이 알려져 있다.

그러한 기술로서, 예를 들면, 일본 특개평5-139209호 공보에 시각 정보 제공 장치가 개시되어 있다. 이 시각 정보 제공 장치는, 제1 생성 수단과, 제1 표시 수단과, 제2 생성 수단과, 제2 표시 수단과, 제시 수단과, 절환 신호 발생 수단과, 화상 제어 장치를 구비한다. 제1 생성 수단은, 제1 시각 정보를 생성한다. 제1 표시 수단은, 상기 제1 시각 정보를 제1 화상으로서 표시한다. 제2 생성 수단은, 우안용 정보와 좌안용 정보로 이루어지는 제2 시각 정보를 생성한다. 제2 표시 수단은, 상기 제2 시각 정보를 3차원의 제2 화상으로서 표시한다. 제시 수단은, 상기 제1 및 제2 화상을 단독으로 또는 중첩하여 제시 가능하다. 절환 신호 발생 수단은, 그 제시 수단에서 제시하는 화상의 선택 절환 신호를 출력한다. 화상 제어 장치는, 상기 절환 신호에 기초하여 상기 제시 수단을 제어한다.

그 확대 표시를 실행하기 위해서는 전술한 특정 영역을 선택할 필요가 있다. 종래, 그 선택 동작은, 표시 장치 외부에 구비된 절환 스위치를 조작하여 행해지고 있었다. 외부에 절환 스위치를 구비하고 있지 않은 시스템에서는, 관찰자가 보고 있는 화면 상의 특정 부분(이하, 시점이라 함)을 검출하고, 그 시점에 대응하는 영역을 특정 영역으로 하고 있다. 일본 특개평5-139209호 공보에서는, 전술한 것과 같이, 고해상도의 표시 장치와 저해상도의 표시 장치의 두 가지를 중첩하여 이용하고 있다. 관찰자의 시선 방향을 검출하여, 시선 방향 영역의 화상을 고해상 표시 장치에서, 그 주변의 영역을 저해상 표시 장치에서 표시하고 있다.

전술한 시선 방향을 검출하는 시스템에서는, 시선 방향을 특정하기 위하여, 관찰자의 시선을 검출하는 안구 방향(시선) 검출 센서가 필요하다. 시선 검출 센서는, 예를 들면, 관찰자의 두부에 장착되고, 그 움직임에 응답하여 두부의 기울기를 검출하고, 그 기울기로부터 시점을 특정한다. 다른 예로서는, 안경을 쓰는 것과 같이 관찰자에게 장착되고, 그 안구의 움직임에 응답하여 시점을 특정한다. 후 자를 이용하고 있는 기술로서, 예를 들면, 일본 특개평9-305156호 공보가 있다.

일본 특개평9-305156호 공보는, 영상 표시 방법 및 장치를 개시하고 있다. 이 영상 표시 방법은, 정밀한 영상을 고속으로 생성하여 표시하는 영상 표시 방법이다. 표시할 영상 전체에 걸쳐 통상의 정밀도로 영상의 생성을 행하고, 안구 방향 검출 수단을 이용하여 시선을 연속적으로 검출하고, 각 순간의 시야 중심이 상기 영상상의 어느 위치에 상당하는지를 계산하고, 그 계산의 결과에 기초하여 상기 시야의 중심 부근의 영상을, 표시 화소수를 많게 하는 고해상도와 표시색의 수나 계조를 많게 하는 고재현성 중 적어도 하나를 이용하여 생성하는 것을 특징으로 한다.

일본 특개평5-139209호 공보에 기재한 기술에서는, 화상 표시의 고속화를 위해, 안구 방향 검출에 의해 시선 방향의 영역만 고해상도의 화상을 생성하도록 하고 있다. 일본 특개평5-139209호 공보 및 일본 특개평9-305156호 공보에 기재한 기술은, 관찰자의 시선 방향을 안구 운동 추정 수단에 의해 자동적으로 검출하고, 그 시선 방향의 영역을 고해상도로 표시한다. 그에 따라, 스위치 조작 등을 행하지 않고서도 자동적으로 그 관찰자가 필요로 하는 부분을 고해상도로 표시하고 있다.

관찰자의 시야에 완전히 들어가지 않는 광범위한 화상이나 다시점의 화상을, 관찰자의 시야 내에 적절히 제시하는 기술이 요망되고 있다. 또한, 안구의 움직임을 검지하기 위한 특수한 장치를 관찰자에게 장착시키지 않고, 관찰자의 시야에 완전히 들어가지 않는 광범위한 화상이나 다시점의 화상을 관찰자의 시야 내에 적절 히 제시하는 기술이 요망되고 있다.

관련하는 기술로서 일본 특개평2000-59665호 공보에 촬상 장치가 개시되어 있다. 이 촬상 장치는, 하나의 촬상부 좌우 양측에 두 개의 촬상부가 배치되는 세 개의 촬상부로 이루어진다. 이 촬상 장치는, 중앙의 촬상부 광축에 대해서, 좌측의 촬상부와 우측의 촬상부 광축이 교차하는 각도가 동일 각도이고, 광축의 교차점이 동일점으로 되도록 하는 광축의 관계이다. 상기 광축의 교차점 위치로부터 피사체측으로 근접하는 방향으로, 상기 광축의 교차점으로부터 각 촬상부의 앞측 주점까지의 거리가 동일 거리로 되도록 하는 위치에 세 개의 촬상부가 위치한다.

일본 특개평8-116556호 공보에 화상 처리 방법 및 장치가 개시되어 있다. 이 화상 처리 방법은, 복수의 서로 다른 직선 상에 배치된 복수의 시점 위치로부터 얻어진 화상을 입력하는 다시점 화상 입력 스텝과, 상기 화상을 보고 있는 관찰자의 눈의 위치 및 보고 있는 방향을 검출하는 시점 검출 스텝과, 상기 시점 검출 스텝에 의해 검출된 시점 위치로부터 보이는 화상을 다시점 화상 데이터로부터 재구성하는 화상 재구성 스텝과, 상기 재구성된 화상을 화상 출력 장치를 통해 출력하는 화상 출력 스텝을 구비한 것을 특징으로 한다.

본 발명의 목적은, 사람의 시계에 완전히 들어가지 않는 광범위한 화상이나, 다시점으로부터 촬영된 화상으로부터, 필요한 정보량을 적절히 표시 장치에 제시하는 화상 표시 시스템 및 화상 표시 방법을 제공하는 데에 있다.

또한, 본 발명의 목적은, 안구 운동이나 두부의 경사를 검지하기 위한 특수한 장치를 사람에게 장착시키지 않고, 그 사람의 시계에 완전히 들어가지 않는 광범위한 화상이나 다시점으로부터 촬영된 화상을 그 사람의 시계 내에 적절하게 제시시키고, 그 화상으로부터 필요한 정보량을 적절하게 추출할 수 있는 화상 표시 시스템 및 화상 표시 방법을 제공하는 데에 있다.

또한, 본 발명의 목적은, 인간은 의식적으로 주시하고 있는 부분 이외의 영역도 간헐적으로 보기 때문에 무의식적으로 시점을 이동시키고 있지만, 이 무의식적인 시점 이동에 흔들리지 않고, 인간이 의식적으로 필요로 하고 있는 영역을 안정적으로 표시할 수 있는 화상 표시 시스템 및 화상 표시 방법을 제공하는 데에 있다.

상기 과제를 해결하기 위해 본 발명의 화상 표시 시스템은, 화상 표시 장치와, 화상 생성 장치와, 얼굴 화상 촬영 장치와, 얼굴 정면점 검출 장치를 구비한다. 화상 생성 장치는, 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성한다. 표시 화상은 복수의 영역을 갖는다. 얼굴 화상 촬영 장치는, 표시 화상을 보는 사람의 얼굴 화상을 촬영한다. 얼굴 정면점 검출 장치는, 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터에 기초하여 표시 화상 상에서의 사람의 얼굴의 정면에 위치하는 점으로서의 얼굴 정면점을 검출한다. 화상 생성 장치는, 복수의 영역으로부터 얼굴 정면점에 대응하는 특정 영역을 특정하고, 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 표시 화상 데이터를 생성한다.

상기 화상 표시 시스템에 있어서, 얼굴 정면점 검출 장치는, 새로운 얼굴 정면점을 검출하는 것이 바람직하다. 화상 생성 장치는, 새로운 얼굴 정면점이 특정 영역으로부터 천이한 경우, 새로운 영역을 특정하고, 새로운 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 데이터를 생성하는 것이 바람직하다.

상기 화상 표시 시스템에 있어서, 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 것이 바람직하다.

상기 화상 표시 시스템에 있어서, 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 것이 바람직하다.

상기 화상 표시 시스템에 있어서, 화상 생성 장치는, 사람의 시계 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 표시 화상으로 구성하는 것이 바람직하다. 화상 표시 장치는, 광범위 화상으로 구성된 표시 화상 데이터를, 복수의 영역에 대응시켜 사람의 시계 범위 내에 들도록 표시하는 것이 바람직하다.

상기 화상 표시 시스템에 있어서, 화상 생성 장치는, 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 표시 화상에 합성하는 것이 바람직하다. 화상 표시 장치는, 사람의 시계 범위 내에 들도록, 복수의 영역에 대응하여 표시 화상 데이터를 표시하는 것이 바람직하다.

상기 화상 표시 시스템에 있어서, 화상 생성 장치는, 정보 기억부를 갖는 것이 바람직하다. 정보 기억부는, 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 기억한다. 얼굴 정면점 검출 장치는, 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터와 표시 장치 데이터 및 얼굴 화상 촬영 장치 데이터에 기초하여 얼굴 정면점을 검출하는 것이 바람직하다.

상기 과제를 해결하기 위해 본 발명의 화상 표시 방법은, (a) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과, 표시 화상은 복수의 영역을 갖고, (b) 표시 화상을 보는 사람의 얼굴 화상을 촬영하는 스텝과, (c) 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터에 기초하여 표시 화상 상에서의 사람의 얼굴의 정면에 위치하는 점을 사람의 얼굴 정면점으로서 검출하는 스텝과, (d) 복수의 영역으로부터 얼굴 정면점에 대응하는 특정 영역을 특정하고, 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 표시 화상 데이터를 생성하는 스텝과, (e) 표시 화상 데이터를 화상 표시 장치에서 표시하는 스텝을 구비한다.

상기 화상 표시 방법에 있어서, (f) 새로운 얼굴 정면점을 검출하는 스텝과, (g) 새로운 얼굴 정면점이 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝을 더 구비하는 것이 바람직하다.

상기 화상 표시 방법에 있어서, 화상이 제공하는 정보량의 증가는, 화상 표 시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 실행하는 것이 바람직하다.

상기 화상 표시 방법에 있어서, 화상이 제공하는 정보량의 증가는, 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 실행하는 것이 바람직하다.

상기 화상 표시 방법에 있어서, (a) 스텝은, (a1) 사람의 시계 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 표시 화상으로 구성하는 스텝을 구비하는 것이 바람직하다. (e) 스텝은, (e1) 광범위 화상으로 구성된 표시 화상 데이터를, 복수의 영역에 대응시켜 사람의 시계 범위 내에 들도록 표시하는 스텝을 구비하는 것이 바람직하다.

상기 화상 표시 방법에 있어서, (a1) 스텝은, (a11) 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 표시 화상에 합성하는 스텝을 구비하는 것이 바람직하다. 복수의 영역 각각은, 복수의 화상 각각에 대응한다. (e1) 스텝은, (e11) 사람의 시계 범위 내에 들도록, 복수의 영역에 대응하여 표시 화상 데이터를 표시하는 스텝을 구비하는 것이 바람직하다.

상기 화상 표시 방법에 있어서, (c) 스텝은, (c1) 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과, (c2) 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터와 표시 장치 데이터 및 얼굴 화상 촬영 장치 데이터에 기초하여 얼굴 정면점을 검출하는 스텝을 구비하는 것이 바람직하다.

상기 과제를 해결하기 위해 본 발명의 프로그램은, (h) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과, 표시 화상은 복수의 영역을 갖고, (i) 표시 화상을 보는 사람의 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터에 기초하여 표시 화상 상에서의 사람의 얼굴의 정면에 위치하는 점을 사람의 얼굴 정면점으로서 검출하는 스텝과, (j) 복수의 영역으로부터 얼굴 정면점에 대응하는 특정 영역을 특정하고, 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 표시 화상 데이터를 생성하는 스텝과, (k) 표시 화상 데이터를 화상 표시 장치에 출력하는 스텝을 구비하는 방법을 컴퓨터로 실행 가능하다.

상기 프로그램에 있어서, (l) 새로운 얼굴 정면점을 검출하는 스텝과, (m) 새로운 얼굴 정면점이 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝을 더 구비하는 것이 바람직하다.

상기 프로그램에 있어서, 화상이 제공하는 정보량의 증가는, 화상 표시 장치로 표시될 때의 화상 표시 사이즈를 상대적으로 크게 함으로써 행하는 것이 바람직하다.

상기 프로그램에 있어서, 화상이 제공하는 정보량의 증가는, 화상 표시 장치로 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 것이 바람직하다.

상기 프로그램에 있어서, (h) 스텝은, (h1) 사람의 시계 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 표시 화상으로 구성하는 스텝을 구비하는 것이 바람직하다. (k) 스텝은, (k1) 광범위 화상으로 구성된 표시 화상 데이터가, 복수의 영역에 대응시켜 사람의 시계 범위 내에 들도록 표시되도록, 표시 화상 데이터를 화상 표시 장치에 출력하는 스텝을 구비하는 것이 바람직하다.

상기 프로그램에 있어서, (h1) 스텝은, (h11) 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 표시 화상에 합성하는 스텝을 구비하는 것이 바람직하다. 복수의 영역 각각은, 복수의 화상 각각에 대응한다. (k1) 스텝은, (k11) 사람의 시계 범위 내에 들고, 복수의 영역에 대응하여 표시 화상 데이터를 표시되도록, 표시 화상 데이터를 화상 표시 장치에 출력하는 스텝을 구비하는 것이 바람직하다.

상기 프로그램에 있어서, (i) 스텝은, (i1) 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과, (i2) 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 얼굴 화상 데이터를 생성하고, 얼굴 화상 데이터와 표시 장치 데이터 및 얼굴 화상 촬영 장치 데이터에 기초하여 얼굴 정면점을 검출하는 스텝을 구비하는 것이 바람직하다.

본 발명에 따르면, 사람의 시계에 완전히 들어가지 않는 광범위한 화상이나, 다시점으로부터 촬영된 화상으로부터, 필요한 정보량을 적절히 표시 장치에 제시하는 화상 표시 시스템을 제공하는 것이 가능해진다.

또한, 본 발명에 따르면, 안구 운동이나 두부의 경사를 검지하기 위한 특수한 장치를 사람에게 장착시키지 않고, 그 사람의 시계에 완전히 들어가지 않는 광범위한 화상이나 다시점으로부터 촬영된 화상을 그 사람의 시야 내에 적절히 제시시키고, 그 화상으로부터 필요한 정보량을 적절하게 추출하는 것이 가능해진다.

이하에, 본 발명의 화상 표시 시스템의 실시 형태에 대해서 도면을 참조하여 설명한다. 도 1은, 본 발명의 화상 표시 시스템의 실시 형태의 구성을 도시하는 개념도이다. 본 실시 형태에서의 화상 표시 시스템(1)은, 감시 대상 화상 촬영 장치(2)와, 얼굴 화상 촬영 장치(3)와, 화상 표시 장치(4)와, 컴퓨터(5)를 구비하고 있다. 감시 대상 화상 촬영 장치(2)와 컴퓨터(5)는 서로 전기적으로 접속되어 있다. 컴퓨터(5)는, 감시 대상 화상 촬영 장치(2)로부터 출력되는 데이터를 수신하고 있다. 얼굴 화상 촬영 장치(3)와 컴퓨터(5)는 서로 전기적으로 접속되어 있다. 컴퓨터(5)는, 얼굴 화상 촬영 장치(3)로부터 출력되는 데이터를 수신하고 있다. 화상 표시 장치(4)는 컴퓨터(5)에 전기적으로 접속되어 있다. 컴퓨터(5)로부터 송신되는 표시 화상 데이터를 수신하여 화상을 표시하고 있다. 감시 대상 화상 촬영 장치(2), 얼굴 화상 촬영 장치(3), 화상 표시 장치(4), 및 컴퓨터(5)의 접속은, 소정의 네트워크를 통해 행해지고 있어도 된다.

관찰자(10)는, 화상 표시 장치(4)에 표시되어 있는 화상을 관찰한다. 도 1 에 도시되어 있는 얼굴 정면점 P는, 관찰자(10)가 화상 표시 장치(4)에 표시되어 있는 화상을 보고 있을 때, 그 얼굴의 정면에 위치하는 화상 표시 장치(4)의 화면 상의 부분을 나타내고 있다. 본 발명에 있어서, 관찰자(10)에 대한 제한은 존재하지 않는다. 즉, 본 발명에 따르면, 관찰자(10)는, 화상 표시 시스템(1)의 기술에 관한 상세한 지식을 갖지 않고, 화상 표시 시스템(1)을 이용하는 것이 가능하다.

감시 대상 화상 촬영 장치(2)는, 사람의 시계 범위를 넘는 범위(이하, 광범위라 함)의 화상을 촬영한다. 광학 카메라나 CCD 카메라로 예시된다. 감시 대상 화상 촬영 장치(2)는, 복수의 촬영 장치로 구성되어 있다. 그에 따라, 복수의 지점으로부터 특정한 지점을 관찰하는 다시점 감시를 실행하는 것도 가능해진다. 감시 대상 화상 촬영 장치(2)에 의해 촬영된 관찰 대상의 화상은, 관찰 화상 데이터로 변환되고 컴퓨터(5)에 송신된다. 본 발명의 감시 대상 화상 촬영 장치(2)는, 이 구성에 한정되지 않는다. 예를 들면, 특정 지점으로부터 광범위한 관찰을 행하는 경우, 파노라마 카메라와 같은 광범위한 촬영이 가능한 단일한 촬영 장치로 구성되어 있어도 된다.

얼굴 화상 촬영 장치(3)는, 관찰자(10)의 얼굴 화상을 촬영한다. 광학 카메라나 CCD 카메라로 예시된다. 얼굴 화상 촬영 장치(3)는, 촬영한 얼굴 화상을 얼굴 화상 데이터로 하여 컴퓨터(5)에 송신한다. 얼굴 화상 촬영 장치(3)는, 관찰자(10)의 얼굴 위치에 대해서, 상대적인 위치를 특정할 수 있는 장소에 설치되어 있는 것이 바람직하다. 또는, 화상 표시 장치(4)의 소정의 위치를 원점으로 하여, 얼굴 화상 촬영 장치(3)의 좌표를 특정함으로써 얼굴 화상 촬영 장치(3)의 설치 위 치를 특정해도 된다.

컴퓨터(5)는, 감시 대상 화상 촬영 장치(2)와 얼굴 화상 촬영 장치(3)로부터 송신되는 화상 데이터(관찰 화상 데이터/얼굴 화상 데이터)에 기초하여 데이터 처리를 실행한다. 워크 스테이션이나 퍼스널 컴퓨터로 예시된다. 컴퓨터(5)는, 수신한 화상 데이터(관찰 화상 데이터/얼굴 화상 데이터)에 응답하여 소정의 프로그램을 실행하여 화상 처리를 행한다. 컴퓨터(5)는, 화상 처리로 생성된 표시 화상 데이터를 화상 표시 장치(4)에 출력한다. 화상 표시 장치(4)는, 컴퓨터(5)로부터 송신되는 표시 화상 데이터를 표시한다. CRT나 액정 디스플레이로 예시된다.

도 2는, 본 발명의 화상 표시 시스템 실시 형태의 동작을 도시하는 개념도이다. 여기에서는, 감시 대상 화상 촬영 장치(2)는 제1∼제3의 3대의 촬영 장치를 사용하여 관찰 대상을 촬영하고 있는 것으로 한다. 예를 들면, 각 촬영 장치가 대략 수평 협각 90도의 시야각을 갖고 있는 경우, 전술한 3대의 촬영 장치로 수평각 270도의 관찰이 가능해진다.

감시 대상 화상 촬영 장치(2)는, 3대의 촬영 장치를 사용하여 관찰 대상을 촬영한다. 그리고, 복수의 화상 데이터를 취득한다. 복수의 화상 데이터로서의 제1 화상 데이터 G1, 제2 화상 데이터 G2 및 제3 화상 데이터 G3의 각각은, 그 제1∼제3 촬영 장치에 의해 촬영된 각각의 화상을 나타내고 있다. 감시 대상 화상 촬영 장치(2)는, 촬영된 복수의 화상 데이터를 컴퓨터(5)에 송신한다.

컴퓨터(5)는, 송신된 복수의 화상 데이터에 기초하여, 하나의 기준 화상 데이터 G0을 생성한다. 또한, 얼굴 화상 촬영 장치(3)는 관찰자(10)의 얼굴 화상을 촬영하여 그 얼굴 화상 데이터를 컴퓨터(5)에 송신한다. 컴퓨터(5)는, 수신한 얼굴 화상 데이터에 응답하여 소정의 연산을 실행하고, 얼굴 정면점 P를 산출한다.

컴퓨터(5)는, 기준 화상 데이터 G0과 얼굴 정면점 (P)에 기초하여, 표시 화상 데이터를 생성하여 화상 표시 장치에 송신한다. 도 2의 예에서는, 컴퓨터(5)는, 기준 화상 데이터 G0과 얼굴 정면점 P로부터, 관찰자(10)가 제1 화상 데이터 G1에 주목하고 있다고 판단한다. 컴퓨터(5)는, 제1 화상 데이터 G1을 고해상도나 표시 영역을 크게 하여 표시할 수 있도록 하는 표시 화상 데이터를 생성한다. 이 때, 제2 화상 데이터 G2 및 제3 화상 데이터 G3은 저해상도나 좁은 표시 영역으로 된다. 컴퓨터(5)는, 생성된 표시 화상 데이터를 화상 표시 장치(4)에 송신한다. 화상 표시 장치(4)는, 수신한 표시 화상 데이터에 기초하여, 제1 화상 데이터 G1이 확대 표시(고해상도 표시)되어 있는 표시 화상(40)을 표시 화면에 표시한다. 관찰자(10)는, 표시된 표시 화상(40)에 의해, 관찰자(10) 개인의 시야 범위를 넘는 범위에 존재한 관찰 대상의 관찰을 실행하는 것이 가능해진다.

이하에, 본 발명의 화상 표시 시스템의 실시 형태에 대해서, 보다 상세하게 설명한다. 도 3은, 본 발명의 화상 표시 시스템의 실시 형태의 상세한 구성을 도시하는 블록도이다. 도 1의 설명에서 서술한 것과 같이, 본 실시 형태의 화상 표시 시스템(1)은, 감시 대상 화상 촬영 장치(2), 얼굴 화상 촬영 장치(3), 화상 표시 장치(4), 및 컴퓨터(5)를 구비하고 있다. 이하의 설명에서는, 전술한 도 1의 구성과 동일한 부분에 관해서는 상세한 설명을 생략한다. 감시 대상 화상 촬영 장치(2)는, 복수의 촬영 장치(2-1∼2-n)로 구성되어 있다. 감시 대상 화상 촬영 장 치(2)는, 복수의 촬영 장치(2-1∼2-n)를 각각 임의의 위치에 설치함으로써, 광범위한 감시나 다시점으로부터의 감시를 실행하는 것이 가능해진다.

컴퓨터(5)는, CPU(6)와 메모리(7)와 기억 장치(8)를 구비하고 있다. 컴퓨터(5)는, 네트워크(도시 생략)에 접속되어 있어도 된다. CPU(6), 메모리(7), 및 기억 장치(8)는, 버스(9)를 통해 서로 접속되어 있다. CPU(6)는, 컴퓨터(5)에 적어도 하나 구비되어 있는 연산 처리 장치이다. CPU(6)는, 컴퓨터(5)에 내장 또는 외부 부착되어 있는 장치의 제어를 행하기 위한 명령이나, 입력된 데이터에 대한 연산 처리를 실행하여, 그 연산 처리 결과를 출력한다.

메모리(7)는, 컴퓨터(5)에 구비되어 있는 정보 기억 장치이다. 메모리(7)는, RAM과 같은 반도체 기억 장치로 예시된다. CPU(6)로부터의 명령에 응답하여 소정의 데이터를 기억한다. 기억 장치(8)는, 컴퓨터(5)에 구비되어 있는 대용량 기억 장치이다. 기억 장치(8)는, HDD로 예시되고, 불휘발성 기억 영역을 갖는다. 본 실시 형태에 이용되는 전자 데이터(11∼14)나 컴퓨터 프로그램(21∼24)을 저장하고 있다.

기억 장치(8)에 저장된 전자 데이터는, 표시 장치 데이터(11), 얼굴 화상 촬영 장치 데이터(12), 얼굴 자세 초기 데이터(13) 및 레이아웃 데이터(14)를 포함한다. 표시 장치 데이터(11), 얼굴 화상 촬영 장치 데이터(12), 얼굴 자세 초기 데이터(13) 및 레이아웃 데이터(14)의 각각은, 화상 표시 시스템(1)의 동작을 실행하기 위해 사용된다.

표시 장치 데이터(11)는, 화상 표시 장치(4)에 관한 정보를 나타내는 데이터 이다. 그 데이터는, 화상을 표시 화면에 표시하기 위해 필요한, 화상 표시 장치(4)의 표시 화면 사이즈나 표시 가능 해상도 등의 정보로 예시된다.

얼굴 화상 촬영 장치 데이터(12)는, 얼굴 화상 촬영 장치(3)의 설치 위치를 나타내는 데이터이다. 그 데이터는, 얼굴 화상 촬영 장치(3)에 의해 촬영된 화상 데이터로부터 얼굴 자세 데이터(관찰자(10)의 시선 방향을 특정하기 위한 데이터)를 산출하기 위해 필요한, 얼굴 화상 촬영 장치(3)의 설치 위치에 관한 정보로 예시된다.

얼굴 자세 초기 데이터(13)는, 얼굴 자세 데이터를 산출하기 위해 사용되는 초기 데이터이다. 그 데이터는, 관찰자(10)가 화상 표시 장치(4)의 표시 화면의 좌측 구석을 주시하고 있는 얼굴 화상 데이터를 얼굴 자세 초기 데이터(13)로 예시된다. 미리 얼굴 자세 초기 데이터(13)를 저장해둠으로써, 얼굴 정면점 P의 산출에 필요한 정보 처리량을 저감하는 것이 가능해진다. 관찰자(10)와 화상 표시 장치(4)의 특정점과의 상대적인 거리를 얼굴 자세 초기 데이터(13)로서 저장해도 된다.

레이아웃 데이터(14)는, 감시 대상 화상을 화상 표시 장치(4)로 표시하는 경우의 표시 레이아웃에 관한 데이터이다. 감시 대상의 화상(광범위 화상 또는 다시점 화상)은, 감시 대상 화상 촬영 장치(2)에 의해 촬영된 화상을 컴퓨터(5)에서 화상 처리를 실행함으로써 생성된다. 컴퓨터(5)는, 생성된 감시 대상 화상을 화상 표시 장치(4)로 표시하는 경우, 얼굴 정면점 P에 대응하는 영역을 특정한다. 컴퓨터(5)는, 그 특정된 영역을 고해상으로 표시 가능하도록 표시 데이터를 생성한다. 따라서, 레이아웃 데이터(14)에 설정을 변경함으로써, 화상 표시 장치(4)에서의 표시 형태를 임의로 변경하는 것이 가능해진다.

기억 장치(8)에 저장된 컴퓨터 프로그램은, 기준 화상 데이터 생성 프로그램(21), 얼굴 자세 데이터 생성 프로그램(22), 얼굴 정면점 검출 프로그램(23) 및 표시 화상 데이터 생성 프로그램(24)을 포함한다. 기준 화상 데이터 생성 프로그램(21), 얼굴 자세 데이터 생성 프로그램(22), 얼굴 정면점 검출 프로그램(23) 및 표시 화상 데이터 생성 프로그램(24)의 각각은, 화상 표시 시스템(1)의 동작을 실행하기 위해 사용된다.

기준 화상 데이터 생성 프로그램(21)은, 감시 대상 화상 촬영 장치(2)로부터 송신된 감시 대상의 화상 데이터(예시: 도 2의 G1∼G3)에 기초하여, 표시 화상 데이터 생성을 위한 기준으로 되는 기준 화상 데이터(예시: 도 2의 G0)를 생성한다. 예를 들면, 기준 화상 데이터 생성 프로그램(21)은, 복수의 촬영 장치(2-1∼2-n)에 의해 촬영된 화상에 오버랩이 존재하고 있을 때, 오버랩이 없는 심리스한 화상에 대응하는 기준 화상 데이터를 생성한다.

얼굴 자세 데이터 생성 프로그램(22)은, 얼굴 화상 촬영 장치(3)로부터 송신된 얼굴 화상 데이터와 얼굴 자세 초기 데이터(13)와 표시 장치 데이터(11)에 기초하여, 관찰자(10)에 관한 현재의 얼굴 자세 데이터(관찰자(10)의 시선 방향을 특정하기 위한 데이터)를 생성한다.

얼굴 정면점 검출 프로그램(23)은, 얼굴 자세 데이터 생성 프로그램(22)에서 생성된 얼굴 자세 데이터와 표시 장치 데이터(11)와 얼굴 화상 촬영 장치 데이 터(12)에 기초하여, 화상 표시 장치(4)의 표시 화면 상의 얼굴 정면점 P를 산출한다.

표시 화상 데이터 생성 프로그램(24)은, 기준 화상 데이터 생성 프로그램(21)에서 생성된 기준 화상 데이터와 얼굴 정면점 검출 프로그램(23)에서 산출된 얼굴 정면점 P와 레이아웃 데이터(14)에 기초하여, 표시 화상 데이터를 생성한다.

또한, 본 발명의 작용 효과를 얻기 위해, 반드시 전술한 각 데이터나 각 프로그램이 모두 요구되는 것은 없다. 예를 들면, 보다 고성능의 컴퓨터(5)를 사용하고 있는 경우 등에서는, 얼굴 자세 데이터 생성 프로그램(22)이 레이아웃 데이터(14)를 사용하지 않고 표시 화상 데이터를 생성하는 구성이어도 된다. 그 경우에서도, 본 발명의 작용 효과에 영향은 없다.

다음으로, 본 발명의 화상 표시 시스템의 실시 형태의 동작에 대해서 설명한다. 도 4는, 본 발명의 화상 표시 시스템의 실시 형태의 동작을 도시하는 플로우차트이다. 이하의 동작에 있어서, 필요로 되는 데이터는 기억 장치(8)에 미리 저장되어 있는 것으로 하여 설명한다.

화상 표시 시스템(1)이 기동되고, 화상 표시 장치(4)가 감시 대상 화상을 표시한다. 표시되어 있는 화상은, 감시 대상 화상 촬영 장치(2)에 의해 소정 시간 간격으로 연속적으로 촬영되고, 컴퓨터(5)에서 소정의 화상 처리가 실행된 기준 화상 데이터이다. 기준 화상 데이터는, 연속적으로 갱신되고 있다. 관찰자(10)는, 그 표시되고 있는 화상을 육안으로 본다.

스텝 S101에서, 얼굴 화상 촬영 장치(3)는, 관찰자(10)의 얼굴 화상을 촬영 한다. 이 촬영이 실행되는 시간 간격은, 관찰자(10)의 얼굴 정면점 이동을 충분히 검출할 수 있을 정도로 가까운 간격으로 실행된다. 얼굴 화상 촬영 장치(3)는, 촬영된 얼굴 화상을 얼굴 화상 데이터로 하여 데이터 처리 가능한 형식으로 형식 변환하여, 네트워크를 통해 컴퓨터(5)에 송신한다.

스텝 S102에서, 컴퓨터(5)는, 얼굴 화상 촬영 장치(3)로부터 송신되는 얼굴 화상 데이터에 응답하고, 얼굴 자세 데이터 생성 프로그램(22)을 기동한다. 컴퓨터(5)의 CPU(6)는, 얼굴 자세 데이터 생성 프로그램(22)의 기동에 응답하여, 얼굴 자세 초기 데이터(13)와 표시 장치 데이터(11)를 읽어들인다. 그리고, 얼굴 자세 초기 데이터(13)와 얼굴 화상 데이터와 표시 장치 데이터(11)에 기초하여, 관찰자(10)의 현재의 얼굴 자세 데이터를 산출한다. 이 처리를 행하는 기술의 일례로서, 「『3D 어피어런스 모델을 이용한 고속·고정밀도 얼굴 자세 추정』(2004년 전자 정보 통신 학회 총합대회 논문집 D-12-99)」에 기재한 얼굴 자세 추정 기술을 이용 가능하다. 이 얼굴 자세 추정 기술을 얼굴 자세 데이터 생성 프로그램(22)에 포함시킴으로써, 얼굴 화상 촬영 장치(3)에 대한 관찰자(10)의 얼굴 자세를 산출할 수 있다. 따라서, 얼굴 화상 촬영 장치(3)와 화상 표시 장치(4) 사이의 위치 관계를 미리 구해둠으로써, 화상 표시 장치(4)에 대한 관찰자(10)의 얼굴 자세 데이터를 연산으로 구할 수 있다. 컴퓨터(5)는 얼굴 자세 데이터의 산출 완료에 응답하여 스텝 S103의 처리로 진행한다.

스텝 S103에서, 컴퓨터(5)는 얼굴 정면점 검출 프로그램(23)을 기동한다. 컴퓨터(5)의 CPU(6)는, 얼굴 정면점 검출 프로그램(23)의 기동에 응답하고, 또한, 얼굴 화상 촬영 장치 데이터(12)를 읽어들인다. 그리고, 얼굴 자세 데이터와 표시 장치 데이터(11)와 얼굴 화상 촬영 장치 데이터(12)에 기초하여, 얼굴 정면점 P를 특정한다. 컴퓨터(5)는 얼굴 정면점 P의 특정 완료에 응답하여 스텝 S103의 처리로 진행한다.

스텝 S104에서, 컴퓨터(5)는, 표시 화상 데이터 생성 프로그램(24)을 기동한다. 컴퓨터(5)의 CPU(6)는, 표시 화상 데이터 생성 프로그램(24)의 기동에 응답하여, 감시 대상 화상 촬영 장치(2)가 촬영하고 컴퓨터(5)에서 화상 처리된 기준 화상 데이터와 얼굴 정면점 P와 레이아웃 데이터(14)에 기초하여 표시 화상 데이터를 생성한다. 표시 화상 데이터는, 얼굴 정면점 P에 대응하는 표시 영역(고해상도 표시 영역)에 고해상도 화상이 표시되도록 생성되어 있다. 컴퓨터(5)는, 표시 화상 데이터의 생성 완료에 응답하여 스텝 S105의 처리로 진행한다.

스텝 S105에서, 스텝 S104가 실행하는 동안에 얼굴 정면점 P가 이동했는지의 판단이 실행된다. 예를 들면, 스텝 S103과 같은 프로세스를 재실행하고, 전회 특정한 얼굴 정면점과 금회 특정한 얼굴 정면점이 동일하면, 이동하고 있지 않다고 판정한다. 그 판단의 결과, 얼굴 정면점의 이동이 검출되지 않은 경우(스텝 S105 :아니오), 컴퓨터(5)는, 스텝 S104에서 생성된 표시 화상 데이터를, 네트워크를 통해 화상 표시 장치(4)에 송신한다. 표시 화상 데이터 생성 후에, 얼굴 정면점 이동을 검출한 경우(스텝 S105: 예), 처리는 스텝 S106으로 진행한다.

스텝 S106에서, 컴퓨터(5)는, 검출된 이동 후의 얼굴 정면점 P(스텝 S105에서 산출한 것)에 관한 데이터(이하, 얼굴 정면점 데이터라 함)의 읽어들이기를 실 행한다. 얼굴 정면점 데이터로서는, 화상 표시 장치(4)의 화면 내 좌표로 예시된다.

스텝 S107에서, 컴퓨터(5)는, 얼굴 정면점 데이터의 읽어들이기 완료에 응답하여, 표시 화상 데이터(스텝 S104에서 생성된 것)의 읽어들이기를 실행한다. 얼굴 정면점 데이터와 표시 화상 데이터 각각의 읽어들이기 완료에 응답하여, 처리는 스텝 S108로 진행한다.

스텝 S108에 있어서, 컴퓨터(5)는 얼굴 정면점 P가, 읽어들인 표시 화상 데이터의 고해상도 표시 영역에 대응하고 있는지의 판단을 실행한다. 그 판단의 결과, 현재의 표시 화상 데이터에 대응시킨 경우, 고해상도로 화상이 표시되는 영역(고해상도 표시 영역)과 얼굴 정면점 P가 대응하고 있지 않은 경우(스텝 S108: 예), 처리는 스텝 S101로 복귀하고, 새로운 표시 화상 데이터의 생성이 행해진다. 스텝 S108에서 얼굴 정면점 P는 이동하고 있었지만, 고해상도로 화상이 표시되는 영역으로부터 벗어나 있지 않은 경우(스텝 S108: 아니오), 컴퓨터(5)는, 스텝 S104에서 생성된 표시 화상 데이터를 네트워크를 통해 화상 표시 장치(4)에 송신하고, 처리는 스텝 S109로 진행한다.

스텝 S109에 있어서, 화상 표시 장치(4)는, 컴퓨터(5)로부터 송신된 표시 화상 데이터를 수신하고, 그 표시 화상 데이터에 대응하는 화상을 표시 화면에 표시한다. 이 동작을 반복함으로써, 화상 표시 시스템(1)은, 관찰자(10)의 얼굴 정면점 이동에 추종하여 관찰자(10)가 주목하고 있는 개소에 대응하는 영역을 자동적으로 고해상도로 표시할 수 있다.

또한, 상기 동작에 있어서, 스텝 S105∼스텝 S108을 생략하는 것도 가능하다. 그 경우, 화상 표시의 실행, 갱신이 보다 신속해진다.

다음으로, 본 발명의 화상 표시 시스템의 구체적인 이용에 대해서 설명한다. 도 5는, 화상 표시 시스템(1)을 차량의 운행에 적용한 경우의 구성을 도시하는 도면이다. 차량(30)은, 화상 표시 시스템(1)을 구비하고 있는 이동체이다. 도 5는, 그 차량(30)이 교차점 P에 침입하는 모습을 도시하고 있다. 도 5를 참조하면, 차량(30)의 좌전 근방에 이륜차 B1이 주행하고, 차량(30)의 진행 방향에 대해서 우전방의 도로에 자동차 C1이 존재하고 있다. 차량(30)에는, 감시 대상 화상 촬영 장치(2)(2-1∼2-3)와 얼굴 화상 촬영 장치(3)와 화상 표시 장치(4)와 컴퓨터(5)가 구비되고 있다. 또한, 관찰자(10)(차량(30)의 운전자)는, 화상 표시 장치(4)가 표시되어 있는 화상을 보면서 차량의 운행을 행하고 있다. 제1 화상 촬영 장치(2-1)는 시야 R1에 대응하는 범위의 외부 화상을 촬영하고 있다. 제2 화상 촬영 장치(2-2)는 시야 R2에 대응하는 범위의 외부 화상을 촬영하고 있다. 제3 화상 촬영 장치(2-3)는 시야 R3에 대응하는 범위의 외부 화상을 촬영하고 있다. 얼굴 화상 촬영 장치(3)는, 차량(30) 내부에 설치되고, 관찰자(10)의 얼굴 화상을 상시 촬영하고 있다.

제1 화상 촬영 장치(2-1)∼제3 화상 촬영 장치(2-3)는, 촬영한 외부 화상을 전자 데이터화한다. 그리고, 컴퓨터(5)에서 정보 처리가 가능한 형식으로 형식 변환하여, 차량(30) 내부의 네트워크(도시 생략)를 통해 컴퓨터(5)에 송신한다. 마찬가지로, 얼굴 화상 촬영 장치(3)는, 촬영한 얼굴 화상을 전자 데이터화한다. 그 리고, 컴퓨터(5)에서 정보 처리가 가능한 형식으로 형식 변환하여, 네트워크를 통해 컴퓨터(5)에 송신한다. 컴퓨터(5)는 수신한 외부 화상 데이터와 얼굴 화상 데이터에 기초하여 화상 처리를 실행하고, 표시 화상 데이터를 생성한다. 생성된 표시 화상 데이터는, 전술한 네트워크를 통해 화상 표시 장치(4)에 송신된다.

도 6은, 제1 화상 촬영 장치(2-1)∼제3 화상 촬영 장치(2-3)에 의해 촬영된 외부 화상 데이터를 예시하는 도면이다. 제1 화상 데이터 G1은 제1 화상 촬영 장치(2-1)에 의해 촬영된 화상 데이터를 나타내고 있다. 마찬가지로 제2 화상 데이터 G2는 제2 화상 촬영 장치(2-2)에 의해 촬영된 화상 데이터를 나타내고, 제3 화상 데이터 G3은, 제3 화상 촬영 장치(2-3)에 의해 촬영된 화상 데이터를 나타내고 있다.

도 7은, 전술한 제1 화상 데이터 G1∼제3 화상 데이터 G3으로부터 표시 화상 데이터(40, 40a, 40b)를 생성하는 동작을 도시한 도이다. 기준 외부 화상 데이터 G0은, 제1 화상 데이터 G1∼제3 화상 데이터 G3에 기초하여 생성된 기준 화상 데이터이다. 도 7에 도시되어 있는 기준 화상 데이터 G0은, 각 화상 데이터 G1∼G3을 결합시켜 생성되고, 각각의 화상 데이터(제1 화상 데이터 G1∼제3 화상 데이터 G3)의 상대 위치를 특정하고 있다. 또한, 기준 화상 데이터 G0의 정보량을 저감하기 위해, 각 화상(G1∼G3)의 횡방향 사이즈를 소정의 비율로 축소한 기준 화상 데이터 G0을 생성해도 된다. 생성된 기준 화상 데이터 G0은, 얼굴 정면점 P가 검출되어 있지 않은 경우에 화상 표시 장치(4)에서 표시된다. 시스템이 동작하고, 얼굴 정면점 P의 검출이 실행되면, 얼굴 정면점 데이터(50)가 생성된다. 얼굴 정면점 데 이터(50)는, 본 발명의 이해를 용이하게 하기 위해, 기준 화상 데이터 G0에 대응하여 얼굴 정면점 P를 나타내고 있지만, 실제의 얼굴 정면점 데이터는 화면 상의 좌표를 나타내는 수치 데이터이어도 된다.

여기에서, 관찰자(10)의 얼굴 정면점 P가, 도 7에 도시되어 있는 바와 같이 좌표(50, 50)로 나타내는 위치인 경우, 컴퓨터(5)는 그 좌표로 나타내는 점에 대응하는 영역을 산출한다. 그리고 컴퓨터(5)는, 산출된 영역과 얼굴 정면점 데이터(50)에 기초하여, 전술한 제1 화상 데이터 G1에 대응하는 화상 G1a가 고해상도로 표시 가능하도록 표시 화상 데이터를 생성한다. 생성된 표시 화상 데이터는 네트워크를 통해 화상 표시 장치(4)에 출력된다. 화상 표시 장치(4)는, 컴퓨터(5)로부터 공급된 표시 화상 데이터에 기초하여 표시 화상(40a)을 화면에 표시한다.

관찰자(10)가 시선을 이동시킴으로써, 얼굴 정면점 P의 위치가 표시 화상 G1a의 영역에 존재하지 않는다고 판단되는 경우를 생각한다. 컴퓨터(5)는, 얼굴 화상 촬영 장치(3)로부터 송신되는 얼굴 화상 데이터에 기초하여, 관찰자(10)의 얼굴 정면점 이동을 감시하고 있다. 도 7에 도시되어 있는 바와 같이, 관찰자(10)가 시선을 이동함으로써 얼굴 정면점 데이터(50)의 얼굴 정면점 P 좌표가, 얼굴 정면점 P(5,25)를 나타낸 경우(이하, 그 얼굴 정면점 P를 "새로운 얼굴 정면점 P라 함), 컴퓨터(5)는, 그 새로운 얼굴 정면점 P가 표시 화상 G1a의 영역에 존재하고 있지 않다고 판단한다.

컴퓨터(5)는, 그 판단 결과에 대응하여, 상기의 새로운 얼굴 정면점 P의 좌표(얼굴 정면점 P(5,25))와 화상 표시 장치(4)에 출력하고 있는 표시 화상 데이터 로부터, 전술한 제2 화상 데이터 G2에 대응하는 화상 G2a가 고해상도로 표시 가능하도록, 새로운 표시 화상 데이터를 생성한다. 생성된 새로운 표시 화상 데이터는 네트워크를 통해 화상 표시 장치(4)에 출력된다. 화상 표시 장치(4)는, 컴퓨터(5)로부터 공급된 새로운 표시 화상 데이터에 기초하여 새로운 표시 화상(40b)을 화면에 표시한다.

따라서, 관찰자(10)가 얼굴을 조금 움직이는 것만으로 주목 부분의 화상이 지정되고, 관찰자(10)는, 지정된 영역의 화상을 고해상도로 볼 수 있다. 본 발명을 차량 운행에 이용함으로써, 관찰자(10, 차량의 운행자)의 전방 및 좌우의 영상을 사각을 저감시킬 수 있게 된다. 예를 들면, 관찰자(10)가, 차량(30)을 왼쪽으로 꺾는 경우, 좌측에 함께 달리는 이륜차 B1의 돌입을 확인하지 않으면 안된다. 통상적으로는 관찰자(10)는 좌측 이륜차 B1을 목시하기 위해 얼굴을 회전하지 않으면 안된다. 주행 중에 좌측 목시를 실행함으로써, 전방이 부주의하게 되는 경우가 있고, 또한, 좌측의 이륜차 B1에 신경을 쓰고 있으면 우측으로부터 오는 자동차 C1을 간과할 가능성이 있다.

그러나, 본 발명에 따르면, 정면 방향 상태에서도 전체를 목시 가능한 범위에 화상을 표시하는 화상 표시 장치(4)에, 좌측 이륜차 B1로부터 우측 자동차 C1까지를 포함하는 광시야의 화상이 표시되어 있다. 따라서, 관찰자(10)는, 교차점 주위의 상황을 신속하게, 또한, 용이하게 판단할 수 있다. 상황 판단을 정확하게 실행하고, 이륜차 B1까지의 상대 거리나 이륜차 B1 크기를 확인하기 위해서는, 제2 화상 데이터 G2가 고해상도로 표시될 필요가 있다. 표시 화상 G1a를 보고 있는 관 찰자(10)가, 표시 화상 G1a에 표시되어 있는 이륜차 B1의 존재에 신경이 쓰인 경우, 얼굴을 20∼30도(혹은 그 이하의 각도) 움직이는 것만으로, 주행중에 좌측의 목시를 실행한 경우와 마찬가지의 화상을 볼 수 있다. 또한, 우측 자동차 C1도 저해상도이지만 항상 표시되어 있기 때문에 간과할 가능성이 적고, 이륜차 B1의 확인 중에도 그 존재를 인식할 수 있다.

또한, 상기의 설명에서는, 본 발명의 화상 표시 시스템을 도로를 주행하는 자동차에 적용한 경우에 대해서 서술하고 있지만, 이것은, 본 발명의 화상 표시 시스템을 적용하는 이동체를 지상을 주행하는 차량에 한정하는 것은 아니다. 예를 들면, 상기 화상 표시 시스템과 마찬가지의 구성을 수상을 항해하는 선박 등에 구비하는 것도 가능하다.

본 발명은, 광역 감시 시스템(복수의 서로 다른 장소에 설치된 감시 카메라의 화상을 감시원이 감시하는 시스템)에 적용하는 경우에 있어서도, 그 효과를 발휘한다. 도 8은, 본 실시 형태를 광역 감시에 적용한 경우의 구성을 도시한 개념도이다. 도 8에 도시되어 있는 바와 같이, 이 광역 감시 시스템은, 다른 지점을 촬영하는 복수의 촬영 장치(2-1∼2-6)와, 얼굴 화상 촬영 장치(3)와, 화상 표시 장치(4)와, 컴퓨터(5)로 구성되어 있다. 이하의 설명에 있어서, 전술한 장치와 동일한 부호가 붙여져 있는 각 장치는, 전술한 것과 마찬가지의 구성을 갖고 있는 것으로 하고, 그 상세한 설명은 생략한다.

도 8에 도시되어 있는 바와 같이, 복수의 촬영 장치(2-1∼2-6)의 각각은, 일례로서 6개소의 다른 장소를 촬영하는 6대의 감시 카메라로 구성되어 있다. 각각 의 촬영 장치는, 네트워크(도시 생략)를 통해 컴퓨터(5)에 접속되어 있다. 복수의 촬영 장치(2-1∼2-6)는, 각각의 지점의 모습을 촬영한 소정의 화소의 화상 데이터를 생성하고, 네트워크를 통해 컴퓨터(5)에 출력한다. 또한, 얼굴 화상 촬영 장치(3) 및 화상 표시 장치(4)도, 그 네트워크를 통해 컴퓨터(5)에 접속되어 있다. 관찰자(10)는, 화상 표시 장치(4)에 표시되어 있는 화상을 관찰하는 인물이다.

얼굴 화상 촬영 장치(3)는, 관찰자(10)의 얼굴을 촬영하는 얼굴 화상 촬영 장치이다. 얼굴 화상 촬영 장치(3)는, 전술한 네트워크를 통해, 컴퓨터(5)와, 화상 표시 장치(4)에 접속되어 있다. 얼굴 화상 촬영 장치(3)로 촬영된 관찰자(10)의 얼굴 화상은, 얼굴 화상 데이터로 변환되어 컴퓨터(5)로 입력된다. 컴퓨터(5)는 얼굴 화상 촬영 장치(3)로부터 공급된 그 얼굴 화상 데이터에 기초하여 관찰자(10)의 얼굴 정면점 P를 검출하여 얼굴 정면점 데이터를 생성한다.

도 9는, 광역 감시 시스템에 본 발명을 적용한 경우의 동작을 도시하는 개념도이다. 각 촬영 지점에 설치된 촬영 장치(2-1∼2-6)는, 그 촬영 화상을 전자 데이터로 변환하여 컴퓨터(5)에 송신한다. 컴퓨터(5)는 송신된 화상 데이터를 네트워크를 통해 수신하고, 그 수신에 응답하여 기준 화상 데이터 생성 프로그램(21)을 기동한다. 컴퓨터(5)는, 기동한 기준 화상 데이터 생성 프로그램(21)을 실행함으로써 기준 화상 데이터를 생성한다. 그 기준 화상 데이터는, 제1 화상 촬영 장치(2-1∼2-6)로부터 송신되는 화상을 저해상도화하여 늘어놓고, 화상 표시 장치(4)에서 표시 가능한 1매의 화상으로 통합함으로써 생성된다.

또한, 컴퓨터(5)는, 얼굴 화상 촬영 장치(3)로부터 송신된 얼굴 화상 데이터 에 기초하여 얼굴 자세 데이터를 생성한다. 생성된 얼굴 화상 데이터는, 얼굴 자세 데이터 생성 프로그램(22)을 실행함으로써 생성된다. 컴퓨터(5)는, 얼굴 자세 데이터 생성 프로그램(22)으로 검출된 얼굴 자세 데이터와, 표시 장치 데이터(11)의 화면 위치 정보를 이용하여, 얼굴 정면점(P)(얼굴의 정면에 위치하는 화면 상의 점)의 위치를 결정하고, 얼굴 정면점 P로서 출력한다. 또한, 얼굴 정면점 P를 포함하는 영역에 표시되는 감시 카메라 화상의 해상도를 높게 하고, 그 외의 감시 카메라 화상의 해상도를 낮춤으로써 표시 화상 데이터를 생성한다.

상기 동작을 구체적으로 설명한다. 광역 감시 시스템을 구성하고 있는 제1 화상 촬영 장치(2-1)∼제6 화상 촬영 장치(2-6)는, 다른 지점의 화상 데이터 G1∼화상 데이터 G6을 촬영한다. 촬영된 각각의 화상 데이터 G1∼G6은, 네트워크를 통해 컴퓨터(5)에 송신된다. 여기에서, 송신되는 각각의 화상 데이터의 화소가 360×240 화소인 것으로 하고, 화상 표시 장치(4)의 표시 가능 화소 사이즈가 360×240 화소인 것으로 한다.

컴퓨터(5)는, 기준 화상 데이터 생성 프로그램(21)을 실행하고, 제1 화상 촬영 장치(2-1)∼제6 화상 촬영 장치(2-6)에 의해 촬영된 화상을, 도 9의 표시 화상(40c)에 도시되어 있는 바와 같이, 120×80화소의 영역 5개(영역 42 ~영역 46)와, 약 그 2배의 해상도가 되는 240×160화소의 영역(영역 41) 하나로 분할한다. 시스템이 동작을 개시한 시점(초기 상태)에서는, 컴퓨터(5)는, 표시 화상(40c)과 같이 영역 41을 240×160화소, 영역 42∼영역 46을 120×80화소의 영역에 할당하여 화상 표시 장치(4)에 표시시키고 있다.

시스템이 동작하고 있는 경우, 컴퓨터(5)는, 얼굴 화상 촬영 장치(3)를 이용하여 관찰자(10)의 얼굴 화상을 계속 촬영한다. 컴퓨터(5)는 얼굴 자세 데이터 생성 프로그램(22)을 실행하고, 얼굴 화상 촬영 장치(3)로부터 송신되는 얼굴 화상 데이터에 기초하여, 관찰자(10) 얼굴의 3차원적인 위치 및 방향을 검출한다. 또 컴퓨터(5)는, 얼굴 자세 데이터 생성 프로그램(22)을 실행함으로써 산출되는 얼굴 자세 데이터와 표시 장치 데이터(11)와 얼굴 화상 촬영 장치 데이터(12)를 이용하여, 얼굴 정면점(P)(얼굴의 위치로부터 얼굴 방향으로 신장한 직선과 화상 표시 장치(4)의 화면이 교차하는 점)을 얼굴 정면점 P로 결정한다.

여기에서 컴퓨터(5)는, 그 얼굴 정면점 P가 영역 41∼영역 46의 어느 영역에 포함되어 있는 지를 판정하고, 얼굴 정면점 P가 포함되는 영역을 240×160화소의 영역으로 되도록 새로운 표시 화상 데이터를 생성한다. 시스템 기동 시점 이외는, 전회 표시를 실행한 시점에서의 표시 화상 데이터에 기초하여, 얼굴 정면점 P가 어느 영역에 있는지를 판별한다. 예를 들면, 얼굴 정면점 P가 영역 46의 영역 내인 경우, 컴퓨터(5)는, 표시 화상(40d)에 도시되어 있는 바와 같이, 영역 46을 좌우의 240×160화소의 영역으로서 표시 화상 데이터를 생성한다. 그 표시 화상 데이터에 있어서, 영역 41∼영역 45를 120×80화소의 영역으로 한다. 즉, 화상 표시 장치(4)에서 표시되는 감시 대상 화상은, 화상 데이터 G1∼화상 데이터 G6을 각각 영역 41∼영역 46의 해상도로 변경하여 표시 화상 데이터가 표시된다.

전술한 예에서는, 해상도의 확대량을 2배로 일정하다고 했지만, 이것은 레이아웃 데이터(14)의 설정을 변경함으로써 임의로 변경 가능하다. 특히, 얼굴의 위 치가 디스플레이에 가까워진 경우에 커지고, 멀어진 경우에 작아지는, 등의 처리를 실행함으로써, 시청자가 해상도의 변화량을 필요에 따라 바꾸는 것도 가능하다.

이와 같이 광역 감시 시스템에 본 발명을 적용함으로써, 감시원은 한번에 복수 지점을 상시 감시할 수 있으며, 또한, 이상이 발생한 의심이 있는 지점을 표시하고 있는 화상을, 시선에 추종하도록 확대 표시시킬 수 있다. 본 발명에 따라, 관찰자(10)는, 스위치 조작 등을 실행하지 않고서도 얼굴을 조금 움직이는 것만으로, 대상 영역을 고해상으로 표시시켜 확인할 수 있기 때문에, 이상 발생 시에 신속하게 대응할 수 있다. 또한, 본 발명에 따라, 관찰자(10)는 특별한 장치를 장착하지 않고 광역 감시를 실행할 수 있다.

도 1은 본 발명의 화상 표시 시스템의 실시 형태의 구성을 도시하는 개념도.

도 2는 본 발명의 화상 표시 시스템 실시 형태의 동작을 도시하는 개념도.

도 3은 본 발명의 화상 표시 시스템의 실시 형태의 상세한 구성을 도시하는 블록도.

도 4는 본 발명의 화상 표시 시스템의 실시 형태의 동작을 도시하는 플로우차트.

도 5는 화상 표시 시스템을 차량의 운행에 적용한 경우의 구성을 도시하는 도면.

도 6은 제1 화상 촬영 장치∼제3 화상 촬영 장치에 의해 촬영된 외부 화상 데이터를 예시하는 도면.

도 7은 제1 화상 데이터∼제3 화상 데이터로부터 표시 화상 데이터를 생성하는 동작을 도시하는 도면.

도 8은 본 실시 형태를 광역 감시에 적용한 경우의 구성을 도시하는 개념도.

도 9는 광역 감시 시스템에 본 발명을 적용한 경우의 동작을 도시하는 개념도.

<도면의 주요 부분에 대한 부호의 설명>

1: 화상 표시 시스템

2: 감시 대상 화상 촬영 장치

3: 얼굴 화상 촬영 장치

4: 화상 표시 장치

5: 컴퓨터

11: 표시 장치 데이터

12: 얼굴 화상 촬영 장치 데이터

13: 얼굴 자세 초기 데이터

14: 레이아웃 데이터

21: 기준 화상 데이터 생성 프로그램

22: 얼굴 자세 데이터 생성 프로그램

23: 얼굴 정면점 검출 프로그램

24: 표시 화상 데이터 생성 프로그램

Claims

화상 표시 장치와,

상기 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 화상 생성 장치와 - 상기 표시 화상은 복수의 영역을 가짐 -,

상기 표시 화상을 보는 사람의 시선의 검출을 행하지 않고, 상기 사람의 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치와,

상기 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여, 시선 방향의 검출을 행하지 않고 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점으로서의 얼굴 정면점을 검출하는 얼굴 정면점 검출 장치

를 포함하고,

상기 화상 생성 장치는, 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하고,

상기 화상 생성 장치는, 상기 사람의 시계의 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하고,

상기 화상 표시 장치는, 상기 광범위 화상으로 구성된 상기 표시 화상 데이터를, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들도록 표시하는 화상 표시 시스템.
제1항에 있어서,

상기 얼굴 정면점 검출 장치는, 새로운 얼굴 정면점을 검출하고,

상기 화상 생성 장치는, 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 영역을 특정하고, 상기 새로운 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 화상 표시 시스템.
제1항에 있어서,

상기 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 화상 표시 시스템.
제1항에 있어서,

상기 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 상기 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 화상 표시 시스템.
삭제
제1항에 있어서,

상기 화상 생성 장치는, 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하고,

상기 화상 표시 장치는, 상기 사람의 시계 범위 내에 들도록, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터를 표시하는 화상 표시 시스템.
제1항에 있어서,

상기 화상 생성 장치는, 정보 기억부를 갖고,

상기 정보 기억부는, 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 기억하고,

상기 얼굴 정면점 검출 장치는, 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하는 화상 표시 시스템.
(a) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과 - 상기 표시 화상은 복수의 영역을 가짐 -,

(b) 상기 표시 화상을 보는 사람의 시선의 검출을 행하지 않고, 상기 사람의 얼굴 화상을 촬영하는 스텝과,

(c) 상기 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여, 시선 방향의 검출을 행하지 않고, 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점을 상기 사람의 얼굴 정면점으로서 검출하는 스텝과,

(d) 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하는 스텝과,

(e) 상기 표시 화상 데이터를 상기 화상 표시 장치에서 표시하는 스텝

을 포함하고,

상기 (a) 스텝은,

(a1) 상기 사람의 시계 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하는 스텝을 포함하고,

상기 (e) 스텝은,

(e1) 상기 광범위 화상으로 구성된 상기 표시 화상 데이터를, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들도록 표시하는 스텝을 포함하는 화상 표시 방법.
제8항에 있어서,

(f) 새로운 얼굴 정면점을 검출하는 스텝과,

(g) 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 상기 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝

을 더 포함하는 화상 표시 방법.
제8항에 있어서,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 화상 표시 방법.
제8항에 있어서,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화 상의 해상도를, 상대적으로 높게 함으로써 행하는 화상 표시 방법.
삭제
제8항에 있어서,

상기 (a1) 스텝은,

(a11) 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하는 스텝을 포함하고,

상기 복수의 영역의 각각은, 상기 복수의 화상의 각각에 대응하고,

상기 (e1) 스텝은,

(e11) 상기 사람의 시계 범위 내에 들도록, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터를 표시하는 스텝

을 포함하는 화상 표시 방법.
제8항에 있어서,

상기 (c) 스텝은,

(c1) 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과,

(c2) 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하는 스텝

을 포함하는 화상 표시 방법.
(h) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과 - 상기 표시 화상은 복수의 영역을 가짐 -,

(i) 상기 표시 화상을 보는 사람의 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여 시선 방향의 검출을 행하지 않고, 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점을 상기 사람의 얼굴 정면점으로서 검출하는 스텝과,

(j) 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하는 스텝과,

(k) 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하고,

상기 (h) 스텝은,

(h1) 상기 사람의 시계의 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하는 스텝을 포함하고,

상기 (k) 스텝은,

(k1) 상기 광범위 화상으로 구성된 상기 표시 화상 데이터가, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들어 표시되도록, 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
제15항에 있어서,

상기 방법은,

(l) 새로운 얼굴 정면점을 검출하는 스텝과,

(m) 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 상기 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝

을 더 포함하는 컴퓨터 판독가능한 기록 매체.
제15항에 있어서,

상기 방법은,

화상이 제공하는 정보량의 증가가, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행해지는 컴퓨터 판독가능한 기록 매체.
제15항에 있어서,

상기 방법은,

화상이 제공하는 정보량의 증가가, 상기 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행해지는 컴퓨터 판독가능한 기록 매체.
삭제
제15항에 있어서,

상기 방법은,

상기 (h1) 스텝이,

(h11) 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하는 스텝을 포함하고,

상기 복수의 영역의 각각은, 상기 복수의 화상의 각각에 대응하고,

상기 (k1) 스텝이,

(k11) 상기 사람의 시계의 범위 내에 들고, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터가 표시되도록, 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하는 컴퓨터 판독가능한 기록 매체.
제15항에 있어서,

상기 방법은,

상기 (i) 스텝이,

(i1) 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과,

(i2) 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하는 스텝

을 포함하는 컴퓨터 판독가능한 기록 매체.
화상 표시 장치와,

상기 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 화상 생성 장치와 - 상기 표시 화상은 복수의 영역을 가짐 -,

상기 표시 화상을 보는 사람의 시선의 검출을 행하지 않고, 상기 사람의 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치와,

상기 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여 시선 방향의 검출을 행하지 않고, 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점으로서의 얼굴 정면점을 검출하는 얼굴 정면점 검출 장치

를 포함하고,

상기 화상 생성 장치는, 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하고, 정보 기억부를 갖고,

상기 정보 기억부는, 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 기억하고,

상기 얼굴 정면점 검출 장치는, 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하고,

상기 화상 생성 장치는, 상기 사람의 시계의 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하고,

상기 화상 표시 장치는, 상기 광범위 화상으로 구성된 상기 표시 화상 데이터를, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들도록 표시하는 화상 표시 시스템.
제22항에 있어서,

상기 얼굴 정면점 검출 장치는, 새로운 얼굴 정면점을 검출하고,

상기 화상 생성 장치는, 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 영역을 특정하고, 상기 새로운 영역에 대응하는 화상이 제공 하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 화상 표시 시스템.
제22항에 있어서,

상기 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 화상 표시 시스템.
제22항에 있어서,

상기 화상 생성 장치는, 화상이 제공하는 정보량의 증가를, 상기 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 화상 표시 시스템.
삭제
제22항에 있어서,

상기 화상 생성 장치는, 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하고,

상기 화상 표시 장치는, 상기 사람의 시계의 범위 내에 들도록, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터를 표시하는 화상 표시 시스템.
(a) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과 - 상기 표시 화상은 복수의 영역을 가짐 -,

(b) 상기 표시 화상을 보는 사람의 시선의 검출을 행하지 않고, 상기 사람의 얼굴 화상을 촬영하는 스텝과,

(c) 상기 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여, 시선 방향의 검출을 행하지 않고, 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점을 상기 사람의 얼굴 정면점으로서 검출하는 스텝과,

(d) 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하는 스텝과,

(e) 상기 표시 화상 데이터를 상기 화상 표시 장치에서 표시하는 스텝

을 포함하고,

상기 (c) 스텝은,

(c1) 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과,

(c2) 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하는 스텝

을 포함하고,

상기 (a) 스텝은,

(a1) 상기 사람의 시계의 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하는 스텝을 포함하고,

상기 (e) 스텝은,

(e1) 상기 광범위 화상으로 구성된 상기 표시 화상 데이터를, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들도록 표시하는 스텝

을 포함하는 화상 표시 방법.
제28항에 있어서,

(f) 새로운 얼굴 정면점을 검출하는 스텝과,

(g) 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 상기 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝

을 더 포함하는 화상 표시 방법.
제28항에 있어서,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 화상 표시 방법.
제28항에 있어서,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 화상 표시 방법.
삭제
제28항에 있어서,

상기 (a1) 스텝은,

(a11) 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하는 스텝을 포함하고,

상기 복수의 영역의 각각은, 상기 복수의 화상의 각각에 대응하고,

상기 (e1) 스텝은,

(e11) 상기 사람의 시계의 범위 내에 들도록, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터를 표시하는 스텝

을 포함하는 화상 표시 방법.
(h) 화상 표시 장치에서 표시되는 표시 화상의 표시 화상 데이터를 생성하는 스텝과 - 상기 표시 화상은 복수의 영역을 가짐 -,

(i) 상기 표시 화상을 보는 사람의 얼굴 화상으로부터 얼굴 화상 데이터를 생성하고, 상기 얼굴 화상 데이터에 기초하여 시선 방향의 검출을 행하지 않고 얼굴 면의 방향인 얼굴 자세를 계산하고, 상기 얼굴 자세에 기초하여 상기 표시 화상 상에서의 상기 사람의 얼굴의 정면에 위치하는 점을 상기 사람의 얼굴 정면점으로서 검출하는 스텝과,

(j) 상기 복수의 영역으로부터 상기 얼굴 정면점에 대응하는 특정 영역을 특정하고, 상기 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 상기 표시 화상 데이터를 생성하는 스텝과,

(k) 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하고,

상기 (i) 스텝은,

(i1) 상기 화상 표시 장치의 정보를 나타내는 표시 장치 데이터와, 상기 얼굴 화상을 촬영하는 얼굴 화상 촬영 장치의 정보를 나타내는 얼굴 화상 촬영 장치 데이터를 읽어내는 스텝과,

(i2) 상기 얼굴 화상에 기초하여 3차원 화상 처리를 실행하여 상기 얼굴 자세를 계산하고, 상기 얼굴 자세와 상기 표시 장치 데이터 및 상기 얼굴 화상 촬영 장치 데이터에 기초하여 상기 얼굴 정면점을 검출하는 스텝

을 포함하고,

상기 (h) 스텝은,

(h1) 상기 사람의 시계의 범위를 넘는 범위의 화상을 촬영하는 광범위 촬영 장치에 의해 촬영된 광범위 화상을 상기 표시 화상에 구성하는 스텝을 포함하고,

상기 (k) 스텝은,

(k1) 상기 광범위 화상으로 구성된 상기 표시 화상 데이터가, 상기 복수의 영역에 대응시켜 상기 사람의 시계의 범위 내에 들어 표시되도록, 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
제34항에 있어서,

상기 방법은,

(l) 새로운 얼굴 정면점을 검출하는 스텝과,

(m) 상기 새로운 얼굴 정면점이 상기 특정 영역으로부터 천이한 경우, 새로운 특정 영역을 특정하고, 상기 새로운 특정 영역에 대응하는 화상이 제공하는 정보량을 증가시켜 새로운 표시 화상 데이터를 생성하는 스텝

을 더 포함하는 컴퓨터 판독가능한 기록 매체.
제34항에 있어서,

상기 방법은,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화상의 표시 사이즈를 상대적으로 크게 함으로써 행하는 컴퓨터 판독가능한 기록 매체.
제34항에 있어서,

상기 방법은,

화상이 제공하는 정보량의 증가는, 상기 화상 표시 장치에서 표시될 때의 화상의 해상도를, 상대적으로 높게 함으로써 행하는 컴퓨터 판독가능한 기록 매체.
삭제
제34항에 있어서,

상기 방법은,

상기 (h1) 스텝이,

(h11) 상기 광범위 촬영 장치로서의 복수의 촬영 장치에 의해 촬영된 복수의 화상을, 상기 표시 화상에 합성하는 스텝을 포함하고,

상기 복수의 영역의 각각은, 상기 복수의 화상의 각각에 대응하고,

상기 (k1) 스텝이,

(k11) 상기 사람의 시계의 범위 내에 들고, 상기 복수의 영역에 대응하여 상기 표시 화상 데이터가 표시되도록, 상기 표시 화상 데이터를 상기 화상 표시 장치에 출력하는 스텝

을 포함하는 컴퓨터 판독가능한 기록 매체.