KR101478937B1

KR101478937B1 - 영상 표시 장치

Info

Publication number: KR101478937B1
Application number: KR1020137020741A
Authority: KR
Inventors: 타츠야 무라카미; 아츠시 이리에; ? 사카이
Original assignee: 오므론 가부시키가이샤
Priority date: 2011-03-11
Filing date: 2011-03-23
Publication date: 2014-12-31
Also published as: EP2685447A1; CN103415882B; US20140002620A1; EP2685447A4; EP2685447B1; JP2012191483A; CN103415882A; WO2012124150A1; KR20130116075A; JP5110182B2

Abstract

3차원 동화상의 표시가 가능한 표시부(10)를 갖는 장치에 카메라(15) 및 화상 처리 장치(100)를 조립하고, 카메라(15)에 의해 표시부(10) 앞에 있는 이용자를 촬상한다. 생성된 화상은, 화상 처리 장치(100)에 입력되고, 전처리부(102) 및 얼굴 검출부(103)에 의해 화상으로부터 이용자의 얼굴이 검출된다. 화상 선택 처리(104)는, 검출된 얼굴의 특징을 분석함에 의해 이용자의 이용 상황을 추정하고, 그 추정 결과에 의거하여 2차원 및 3차원의 동화상의 한쪽을 선택한다. 이 선택 결과는 영상 신호 처리 회로(12)에 주어지고, 선택된 동화상의 영상 신호가 표시부(10)에 출력된다.

Description

영상 표시 장치{VIDEO DISPLAY DEVICE}

본 발명은, 3차원의 동화상 및 2차원의 동화상의 어느 하나를 전환하여 표시하는 표시부를 갖는 영상 표시 장치에 관한 것이다.

근래, 편광 필터 부착의 안경을 이용하는 일 없이, 3차원 화상을 시인(視認)할 수 있는 영상 표시 장치가 개발되고, 텔레비전 장치나 게임기 등으로의 형태로 실용화되기 시작하고 있다.

이런 종류의 영상 표시 장치의 종래례로서, 예를 들면 특허 문헌 1에는, 영상 표시면의 앞면에 실린드리컬 렌즈에 의한 렌즈 어레이를 배치하고, 각 렌즈에 의해 좌안용의 화상과 우안용의 화상을 나누고, 전자를 좌안에 후자를 우안에 각각 입사시키는 방식(렌티큘러 방식)을 채용한 장치가 개시되어 있다. 또한, 특허 문헌 2에는, 우안용의 화상과 좌안용의 화상을 표시 패널의 면 내에 규칙적으로 혼재시키고, 각 화상의 전방에 각각 다른 방향으로의 편광 상태를 설정하기 위한 위상 소자를 마련함과 함께, 각 위상 소자의 경계 위치에 볼록형상의 차광부를 형성한 구성의 장치가 개시되어 있다.

또한 특허 문헌 3에는, 3차원 화상과 2차원 화상을 전환하여 표시하는 기능을 구비함과 함께, 표시를 관찰하고 있는 관찰자를 촬상하기 위한 촬상 장치가 마련된 영상 표시 장치가 개시되어 있다. 또한 특허 문헌 3에는, 촬상 장치에 의해 생성된 화상으로부터 관찰자의 양 눈의 나열을 검출하고, 양 눈의 나열이 소정의 각도 이상 기울어져 있는 경우에는, 3차원 화상의 표시로부터 2차원 화상의 표시로 전환하는 것이 기재되어 있다.

일본 특개2001-133727호 공보 일본 특개2010-32677호 공보 일본 특개평11-234703호 공보

3차원 동화상은, 보는 사람에게 큰 임팩트를 주어, 2차원 동화상에서는 얻어지지 않는 즐거움을 얻을 수 있지만, 눈이나 뇌에의 부담이 큰 것이 문제가 된다. 이 때문에 저연령(특히 10세 미만)의 아동에게는 3차원 표시를 보이지 않는 쪽이 바람직하다고 되고, 어른이라도, 피곤한 때에는 보지 않는 쪽이 바람직하다고 되어 있다.

또한, 3차원 동화상이 표시되어 있는 경우에도, 그 표시를 보는 이용자의 위치나 자세가 적절하지 않으면, 입체 인식을 충분히 체험할 수가 없다. 또한 이용자의 피로도 커진다. 이 때문에 3차원 동화상을 관시(觀視)하는 경우에는, 표시부로부터 일정한 거리만큼 떨어진 장소에서 표시를 볼 것이 추천되고 있다. 또한 3차원의 동화상의 표시에 대해 이용자가 얼굴이나 시선을 곧바로 향한 자세를 취하지 않는 경우에는, 입체 인식에 지장이 생길 가능성이 있다.

이와 같이, 3차원 동화상을 관시하는데 적절하지 않은 상황이 고려되기 때문에, 화상을 보는 이용자가 상황에 응하여 3차원 동화상 및 2차원 동화상의 어느 것을 표시하는지를 선택하는 것이 바람직하다. 그러나, 일반적인 이용자에게 표시의 선택을 위한 조작을 시키면, 번잡한 생각이 들게 하여 버린다. 또한 3차원의 표시에 적절한 상황이 아닌데 3차원의 표시가 선택되고, 그 결과, 건강을 해치는 등의 문제가 생길 우려도 있다.

특허 문헌 3에 기재된 발명은, 양 눈의 나열 방향이 표시부의 수평 라인에 따르고 있는지의 여부에 의해 3차원의 표시와 2차원의 표시를 전환한 것인데, 이와 같은 방법에서는, 상기에 언급한 여러 가지의 문제 중 이용자의 얼굴이나 시선의 방향에 관한 문제에 대응할 수 있는 것에 지나지 않는다. 게다가 특허 문헌 3에 의한 방법에서는, 양 눈의 나열 방향이 수평이라면, 표시부에 대해 이용자가 얼굴을 옆으로 향하고 있어도 3차원의 표시가 되어 버린다. 따라서 이용자의 자세에 응한 표시의 전환의 정밀도가 충분히 얻어진다고는 생각하기 어렵다.

본 발명은 상기한 문제에 착안하여, 동화상의 표시를 보는 이용자의 이용 상황을 정밀도 좋게 추정하고, 그 추정 결과에 의거하여 이용자의 현재의 상황에 적합한 상태의 화상을 자동적으로 선택하여 표시하는 것을 과제로 한다.

본 발명에 의한 영상 표시 장치는, 3차원 동화상 및 2차원 동화상의 어느 하나를 전환하여 표시하는 표시부와, 표시부의 전방에 위치하는 이용자를 촬상하기 위한 촬상 수단과, 촬상 수단에 의해 생성된 화상으로부터 이용자의 안면을 검출한 얼굴 검출 수단과, 얼굴 검출 수단에 의해 검출된 얼굴의 특징을 분석함에 의해 이용자의 이용 상황을 추정하고, 그 추정 결과에 의거하여 3차원 및 2차원의 어느 동화상을 표시하는지를 선택하는 화상 선택 수단과, 화상 선택 수단에 의해 선택된 동화상을 표시부에 출력하는 표시 제어 수단을, 구비한다.

상기한 구성에 의하면, 이용자의 얼굴의 특징을 분석한 결과에 의거하여 이용자의 이용 상황을 추정하고, 3차원의 동화상을 표시하여도 좋은 이용 상황이라고 추정된 경우에는 3차원 동화상을 표시하고, 3차원 동화상을 표시하는데 적합하지 않은 이용 상황이라고 추정된 경우에는 2차원 동화상이 표시된다. 따라서, 이용자에게 부담을 주는 일 없이, 이용 상황에 적합한 표시를 행하는 것이 가능해진다.

상기 영상 표시 장치의 제1의 실시 형태에서는, 화상 선택 수단은, 얼굴 검출 수단에 의해 검출된 얼굴의 크기 및 각 얼굴 기관 사이의 거리의 적어도 한쪽에 의거하여, 표시부에 대한 이용자의 위치를 추정하고, 추정된 위치가 미리 정한 기준의 범위에 포함되는 경우에는 3차원 동화상을 선택하고, 추정된 위치가 기준 범위로부터 벗어나는 경우에는 2차원 동화상을 선택한다. 이 구성에 의하면, 이용자가 입체 인식을 체험하는데 적합한 장소에서 표시부를 보고 있는 경우에는 3차원 동화가 표시되지만, 이용자가 표시부에 너무 가까워진 경우나 표시부로부터 상당히 떨어진 장소에 있는 경우에는, 2차원의 동화가 표시된다.

상기 영상 표시 장치의 제2의 실시 형태에서는, 화상 선택 수단은, 얼굴 검출 수단에 의한 얼굴 기관의 검출 결과에 의거하여, 이용자가 표시부를 정면시(正面視)하고 있는지의 여부를 추정하고, 정면시하고 있다고 추정한 경우에는 3차원의 동화상을 선택하고, 정면시하고 있지 않다고 추정한 경우에는 2차원 동화상을 선택한다. 이 구성에 의하면, 이용자의 얼굴이나 눈이 입체 인식을 체험하는데 적합한 방향을 향하고 있는 경우에는 3차원 동화상이 표시되고, 그 밖의 경우에는 2차원 동화상이 표시된다.

상기 영상 표시 장치의 제3의 실시 형태에서는, 화상 선택 수단은, 얼굴 검출 수단에 의해 검출된 얼굴의 특징으로부터 이용자의 연령을 추정하고, 추정된 연령이 미리 정한 기준의 연령 이상인 경우에는 3차원 동화상을 선택하고, 추정된 연령이 기준의 연령 미만인 경우에는 2차원 동화상을 선택한다. 이 구성에 의하면, 저연령의 아동이 표시를 보고 있는 경우에 3차원 동화상이 표시되는 것을 막을 수 있다.

상기 영상 표시 장치의 제4의 실시 형태에서는, 화상 선택 수단은, 소정의 시간 내에 얼굴 검출 수단에 의해 검출된 얼굴의 변화에 의거하여 이용자가 피로하고 있는지의 여부를 추정하고, 이용자는 피곤하지 않다고 추정한 경우에는 3차원 동화상을 선택하고, 이용자는 피곤한다고 추정한 경우에는 2차원 동화상을 선택한다. 이 구성에 의하면, 깜박거림이나 안구(眼球)의 움직임의 증가나 하품 등, 피곤을 나타내는 변화가 이용자의 얼굴에 생긴 경우에는, 3차원 동화상이 표시되지 않도록 할 수 있다.

본 발명에 의한 영상 표시 장치는, 텔레비전 장치, 게임기, 퍼스널 컴퓨터 등의 형태로 제공할 수 있다.

본 발명에 의하면, 이용자의 얼굴의 특징으로부터 이용 상황을 추정하고, 그 추정 결과에 의거하여 3차원 및 2차원의 어느 동화상을 표시하는지를 선택하기 때문에, 이용자에게 부담을 주는 일 없이, 이용 상황에 적합한 동화상을 자동적으로 선택하여 표시하는 것이 가능해진다. 또한 이용 상황이 변화한 경우에도, 그에 응하여 표시를 전환할 수 있다.

도 1은 본 발명이 적용된 텔레비전 장치의 구성을 도시하는 블록도.
도 2는 화상 선택 처리의 제1의 예를 도시하는 플로 차트.
도 3은 화상 선택 처리의 제2의 예를 도시하는 플로 차트.
도 4는 화상 선택 처리의 제3의 예를 도시하는 플로 차트.
도 5는 화상 선택 처리의 제4의 예를 도시하는 플로 차트.

도 1은, 본 발명이 적용된 텔레비전 장치의 구성례를 도시한다.

이 텔레비전 장치는, 3차원의 동화상을 표시하는 것이 가능한 표시부(10)를 구비하는 외에, 수신 회로(11), 영상 신호 처리 회로(12), 음성 회로(13), 스피커(14) 등을 기본 구성으로서 구비한다.

수신 회로(11)는, 도시하지 않은 안테나가 방송국으로부터 수신한 신호를 접수하고, 이 신호로부터 2차원 동화상 및 3차원 동화상의 영상 신호나 음성 신호를 복조한다. 각 영상 신호는 영상 신호 처리 회로(12)에 입력되고, 이 회로(12)에서 어느 한쪽의 영상 신호를 선택하여 표시부(10)에 출력한다. 음성 신호는, 음성 회로(13)로부터 스피커(14)에 출력된다. 이들의 처리에 의해, 수신한 프로그램의 2차원 또는 3차원의 동화상이 표시부(10)에 표시되는 동시에, 스피커(14)로부터 표시중의 화상에 대응하는 음성이 출력된다.

이 실시례의 텔레비전 장치에는, 영상 신호 처리 회로(12)에 처리시키는 화상을 선택하기 위한 수단으로서, 카메라(15) 및 화상 처리 장치(100)가 조립된다.

카메라(15)는 디지털 비디오 카메라이고, 그 렌즈는, 텔레비전 장치의 본체의 앞면측의 알맞은 곳에 고정된다. 화상 처리 장치(100)는, 카메라(15)에 대한 인터페이스 회로나 마이크로 컴퓨터가 탑재된 기판의 형태를 취하고, 컴퓨터에 조립된 프로그램에 의해, 화상 입력부(101), 전처리부(102), 얼굴 검출부(103), 화상 선택 처리부(104) 등의 기능이 설정된다.

화상 입력부(101)는, 일정 시간마다 카메라(15)로부터 화상을 받아들이고, 도시하지 않은 메모리에 격납한다. 전처리부(102)는, 입력된 화상중의 색채 등으로부터 이용자의 얼굴이 포함되는 범위를 처리 대상 영역으로서 검출하고, 이 영역 내의 화상으로부터 얼굴 검출에 이용하는 특징점이나 특징량을 추출한다. 얼굴 검출부(103)는, 전처리부(102)에 의한 처리 결과에 의거하여 처리 대상 영역에서 이용자의 얼굴 및 얼굴 기관을 검출한다. 또한, 전처리부(102)나 얼굴 검출부(103)에 의한 처리에는 기존의 얼굴 검출 기술을 적용할 수 있기 때문에, 상세한 설명은 생략한다.

화상 선택 처리부(104)는, 얼굴 검출부(103)에 의해 검출된 얼굴의 특징을 이용하여 시청중의 이용자의 이용 상황을 추정하고, 이 추정 결과에 의거하여 2차원 동화상 및 3차원 동화상 중, 이용자의 이용 상황으로부터 고려하여 표시에 적합하다고 생각되는 화상을 선택한다. 선택 결과는 영상 신호 처리 회로(12)에 주어지고, 선택된 동화상의 영상 신호가 표시부(10)에 출력된다.

이하, 화상 선택 처리부(104)에 의해 실행되는 처리의 구체례로서, 4개의 실시례를 제시하고, 각 실시례에서의 처리 내용을, 각각 도 2 내지 도 5를 참조하여 설명한다.

<실시례 1>

이 실시례는, 이용자가 입체 인식에 적합한 장소에 있는 경우에 3차원 동화상을 표시하는 것을 목적으로 한다. 구체적으로 이 실시례에서는, 표시부(10)의 화면의 높이의 3배의 거리를 3차원 동화상의 관시에 적합한 거리(이하, 「표준 관시 거리」라고 한다.)라고 하고, 미리 상당수의 인물의 화상을 분석하여, 이용자가 표시부로부터 표준 관시 거리만큼 떨어진 장소에 있는 경우에 얻어지는 얼굴화상의 크기 및 각 얼굴 기관(눈, 눈썹, 코, 입) 사이의 거리(좌우의 눈 사이의 거리, 좌우의 눈썹의 사이의 거리를 포함한다.)의 기준 데이터를 취득한다. 도 2에 도시하는 플로 차트는, 이들의 기준 데이터가 화상 처리 장치(100)에 등록되어 있는 것을 전제로 실시된다.

이 처리의 최초의 스텝 S11에서는, 얼굴 검출부(103)에 의해 검출된 얼굴화상의 화소수를 계수하는 방법에 의해 당해 얼굴화상의 면적을 계측한다. 또한 스텝 S12에서는, 각 얼굴 기관 사이의 거리를 계측한다.

스텝 S13에서는, 스텝 S11, S12의 처리에 의해 얻은 각 계측치를 각각 대응하는 기준 데이터와 대조하고, 기준 데이터와의 차가 소정의 허용치 이내가 되는 계측 데이터를 추출한다.

스텝 S14에서는, 스텝 S13의 처리에 의해 추출된 데이터의 수에 의거하여 이용자의 위치를 추정한다. 예를 들면, 추출 데이터 수가 미리 정한 임계치를 상회하는 경우에는, 이용자는 입체 인식에 적합한 장소에 있다고 추정한다. 이 경우에는 스텝 S15가 「YES」가 되어 스텝 S16로 진행하여, 3차원 동화상을 선택한다.

한편, 추출 데이터 수가 임계치 이하인 경우에는, 이용자는 입체 인식에 적합하지 않은 장소에 있다고 추정한다. 이 경우에는 스텝 S15가 「NO」가 되어 스텝 S17로 진행하여, 2차원 동화상을 선택한다.

또한, 상기한 실시례에서는, 이용자의 얼굴의 크기 및 얼굴 기관 사이의 거리의 2종류의 파라미터를 이용한 추정 처리를 행하였지만, 어느 한쪽의 파라미터만을 이용하여도 좋다. 한편으로 추정의 정밀도를 향상하기 위해, 이용자의 얼굴 외에, 신체 부분의 사이즈 등을 추정 처리의 요소에 더하여도 좋다. 또한 이용자의 장소를 보다 높은 정밀도로 구하고 싶은 경우에는, 카메라(15)를 스테레오 카메라로 하여, 얼굴의 특징을 대상으로 3차원 계측을 행하여도 좋다.

상기한 처리에 의하면, 이용자가 표준 관시 거리에 대응하는 장소 부근에 있는 경우에만 3차원 동화상이 표시되고, 이용자가 표준 관시 거리에 대응하는 장소보다 표시부(10)에 근접한 경우나 표준 관시 거리에 대응하는 장소보다 멀리 있는 경우에는 2차원 동화상이 표시된다. 따라서, 3차원 동화상이 표시되는 경우에는, 이용자는, 안정하게 입체 인식을 체험할 수 있다.

단, 이용자의 위치가 적절하지 않다고 추정된 경우에도, 화상의 표시 범위의 조정에 의해 이용자의 위치를 적절한 상태롤 할 수 있는 것이면, 그 조정을 행하여 3차원 동화상을 표시하여도 좋다. 예를 들면, 스텝 S13에서 추출된 데이터 수가 임계치 이하이지만, 각 계측 데이터가 기준 데이터보다 큰 경우에는, 이용자가 표준 관시 거리에 대응하는 장소보다 표시부에 가까운 장소에 있다고 간주하여, 표시부에서의 화상의 표시 범위를 좁히고, 그 범위 내에 3차원 동화상을 표시하여도 좋다.

<실시례 2>

3차원 동화상이 표시되고 있을 때에 이용자가 입체 인식을 체험하려면, 이용자의 우안에 우안용의 화상이 입사하고, 좌안에 좌안용의 화상이 입사하도록, 시선(視線)의 방향이나 얼굴 방향이 조정되어 있을 필요가 있다. 이 점을 감안하여, 실시례 2에서는, 표시부(10)에 대한 이용자의 시선의 방향이나 얼굴 방향을 추정하고, 그 추정 결과에 의거하여 표시 대상의 화상을 선택한다.

구체적인 처리 순서를 도 3을 이용하여 설명한다. 이 처리의 최초의 스텝 S21에서는, 얼굴 검출부(103)에 의한 처리 결과에 의거하여, 얼굴 기관마다 그 얼굴 기관을 포함하는 범위의 좌표를 계측한다. 스텝 S22에서는, 좌우의 검은자위의 위치(예를 들면 중심의 좌표)를 계측한다.

스텝 S23에서는, 스텝 S21, S22의 처리에 의해 취득한 계측 데이터를 이용하여 이용자의 시선의 방향이나 안면(顔面) 방향을 추정한다. 예를 들면, 좌우의 눈이나 눈썹의 코에 대한 거리를 계측하고, 좌우의 거리가 거의 동등한 경우에는, 이용자의 얼굴은 정면을 표시부(10)를 향한 상태에 있다고 추정하고, 좌우의 거리가 다른 경우에는, 얼굴은 표시부(10)의 옆쪽을 향하고 있다고 추정한다. 또한 얼굴의 정면이 표시부(10)를 향하고 있다고 추정된 경우에는, 눈의 범위 전체에 대한 검은자위의 위치 관계로부터, 시선이 정면을 향하고 있는지, 비스듬히 향하고 있는지를 추정한다.

이들의 추정 결과로부터 이용자가 표시부(10)를 정면시하고 있다고 추정한 경우에는, 스텝 S24가 「YES」가 되어 스텝 S25로 진행하여, 3차원 동화상을 선택한다. 한편, 이용자가 표시부(10)를 정면시하고 있지 않다는 추정 결과가 얻어진 경우에는, 스텝 S24는 「NO」가 되어 스텝 S26로 진행하여, 2차원 동화상을 선택한다.

상기한 실시례 2에 의하면, 이용자의 시선 방향이나 얼굴 방향이 입체 인식을 얻는데 적합한 상태인 경우에만 3차원의 동화상이 표시되기 때문에, 이용자는 자연스럽게 올바른 자세를 취하여 시청하게 된다.

또한, 이 실시례 2는 실시례 1과 합쳐서 실시하여도 좋다. 이 경우에는, 이용자가 입체 인식에 적합한 장소에서 표시부(10)를 정면시하고 있는 경우에 3차원 동화상이 표시되고, 그 밖의 경우에는 2차원 동화상이 표시되게 된다.

<실시례 3>

이 실시례에서는, 얼굴의 검출 결과로부터 이용자의 연령을 추정하고, 그 추정 결과에 의거하여 표시하는 동화상을 선택한다.

3차원의 동화상의 표시는, 눈이나 뇌에 부담을 주기 때문에, 10세 미만의 아동에게 보이면 안 된다고 되어 있다. 이 점을 감안하여, 이 실시례에서는, 이용자의 추정 연령이 10세 미만인 경우에는 2차원 동화상이 선택되도록 한다. 그 때문에 이 실시례에서는, 미리 0 내지 9세의 아동의 얼굴의 샘플 화상을 상당수 해석하여, 이들의 연령층의 아동의 얼굴을 검출하는데 적합한 특징 데이터를 수 종류 선택하고(예를 들면 흰자위나 입술의 색채, 얼굴 전체에서의 피부의 색의 불규칙함 정도 등), 데이터의 종류마다, 그 특징 데이터의 값의 확률분포곡선을 구한다.

도 4에 도시하는 처리는, 이들의 확률분포곡선이 화상 처리 장치(100)에 등록되어 있는 것을 전제로 실시되는 것으로서, 우선 스텝 S31에서, 얼굴 검출부(103)에 의해 검출된 얼굴화상을 상세히 처리하고, 각종 특징 데이터를 계측한다. 스텝 S32에서는, 추출된 특징 데이터를 각각 등록되어 있는 확률분포곡선과 대조하고, 이용자가 10세 미만일 가능성을 추정한다. 예를 들면 특징 데이터의 종류마다, 대응하는 확률분포곡선에 의거하여, 당해 특징 데이터가 10세 미만의 아동에게 적합한 확률을 구하고, 각 확률의 평균치를 소정의 임계치와 비교한다.

상기한 처리에 의해 이용자가 10세 미만이라고 추정된 경우에는, 스텝 S33이 「YES」가 되어 스텝 S35로 진행하여, 2차원 동화상을 선택한다. 한편, 이용자가 10세 이상이라고 추정된 경우에는, 스텝 S33이 「NO」가 되어 스텝 S34로 진행하여, 3차원 동화상을 선택한다.

상기한 처리에 의하면, 10세 미만의 아동이 시청하고 있는 경우에 3차원 동화상이 표시되는 것을 막을 수 있기 때문에, 저연령의 아동의 건강을 지킬 수 있다.

또한, 얼굴 검출부(103)에 의한 처리에서 복수인의 얼굴이 검출된 경우에는, 검출된 얼굴마다 스텝 S31 내지 S33을 실행하고, 1인이라도 10세 미만이라고 추정된 경우에는 2차원 동화상을 선택하는 것이 바람직하다. 이와 같이 하면, 예를 들면 저연령의 아동이 어버이와 함께 시청하고 있는 것 같은 경우에는, 아동에게 맞춘 표시를 할 수가 있다.

또한, 미리 3차원 동화상을 관시하는데 적합하지 않은 이용자의 얼굴화상을 등록하고 있는 경우에는, 도 4의 처리에 대신하여, 등록된 얼굴화상이 검출된 경우에는 2차원 동화상을 선택하고, 그 이외의 경우에는 3차원 동화상을 선택하여도 좋다.

<실시례 4>

상기한 바와 같이, 3차원의 동화상의 표시는 눈이나 뇌에 부담을 주기 때문에, 성인이라도 피곤한 경우에는 보지 않는 쪽이 좋다고 되어 있다. 이 점을 감안하여, 이 실시례에서는, 얼굴 검출부(103)에 의해 검출된 얼굴의 움직임에 의거하여 이용자가 피곤한지의 여부를 추정하고, 그 추정 결과에 적합한 화상을 선택하도록 하고 있다.

도 5를 참조하여 구체적인 처리의 순서를 설명한다. 이 실시례에서는, 일정 길이의 기간에 있어서의 눈의 검출 결과의 추이를 해석하여, 눈의 개폐 회수 및 안구가 움직이는 회수를 계측한다(스텝 S41). 눈의 개폐 회수는 깜박거림의 빈도를 나타내고, 안구가 움직이는 회수는 시선이 불안정하게 되어 있는 정도를 나타낸다. 따라서 이 실시례에서는, 상기한 계측 데이터를 이용자의 피로를 추정하기 위한 파라미터로서 사용한다.

스텝 S42에서는, 스텝 S41에서 구한 각 계수 데이터를 이용하여 이용자가 피곤한지의 여부를 추정한다. 예를 들면, 각 계수 데이터를 각각 미리 등록된 기준 데이터와 비교하고, 어느 한쪽의 계수 데이터가 기준 데이터를 상회한 경우에는, 이용자가 피곤하다고 추정한다.

또한 도 5에는 도시하지 않지만, 스텝 S41의 처리에 병렬시켜서, 이용자의 피곤을 나타내는 동작을 검출하는 처리를 실행하고, 그 검출 결과를 가미한 추정 처리를 행할 수도 있다. 예를 들면, 입이 소정 시간 이상 개방되는 움직임을 하품으로서 검출하거나, 눈의 옆에 손의 손가락의 특징이 나타난 것을 눈을 비비는 동작으로서 검출하고, 이들의 움직임이 검출된 경우에는 이용자가 피곤하다고 추정하여도 좋다.

상기한 추정 처리에 의해 이용자는 피곤하지 않다고 추정한 경우에는, 스텝 S43이 「NO」가 되어 스텝 S44로 진행하여, 3차원 동화상을 선택한다. 한편, 이용자가 피곤하다고 추정한 경우에는, 스텝 S43이 「YES」가 되어 스텝 S45로 진행하여, 2차원 동화상을 선택한다.

상기한 실시례에 의하면, 이용자가 피곤한 경우에 3차원 동화상이 표시되는 것을 막을 수 있기 때문에, 이용자의 건강을 지키는 것이 가능해지다. 또한, 이 실시례라도 복수인의 얼굴이 검출된 경우에는, 각 사람마다 스텝 S41 및 S42를 실행하고, 피곤하다고 판정된 사람이 1인이라고 있는 경우에는 2차원 동화상을 선택하는 것이 바람직하다.

상기 도 2 내지 도 5에 도시한 처리는, 모두 일정한 시간마다 반복 실시된다. 따라서, 최초에는 3차원 동화상이 표시되어 있어도, 그 후의 이용 상황이 3차원 동화상의 표시에 적합하지 않은 상태가 된 경우에는, 표시는 2차원 동화상을 표시하는 것에 전환된다. 따라서, 이용자의 위치나 자세가 변하거나, 이용자가 다른 사람으로 바뀐 경우에도, 신속하게 그 변경에 대응할 수 있다.

단, 화상의 표시의 전환은, 추정 결과가 변동한 것에 응하여 곧바로 행하는 것은 아니고, 변동 후에 같은 추정 결과가 소정 회수 이상 계속된 것을 가지고 표시를 전환하여도 좋다. 이와 같이 하면, 예를 들면, 제1 실시례나 제2 실시례에서 3차원 동화상이 표시되고 있는 경우에, 이용자가 조금 이동하거나, 얼굴 방향을 바꾸거나 한 경우에도, 그 동작의 변경의 기간이 적으면, 3차원 동화상의 표시를 유지할 수 있다.

제3 실시례나 제4 실시례에서, 3차원 동화상을 선택하고 있는 상태로부터, 2차원 동화상을 선택해야 할 상태로 변동하였다고 추정된 경우에는, 제2 실시례(도 3)의 스텝 S21 내지 S23과 같은 처리에 의해 이용자의 얼굴이나 시선 방향을 추정하고, 이용자가 표시부(10)를 정면시하고 있지 않다고 추정된 경우에는, 3차원 동화상의 선택을 유지하여도 좋다.

또한, 어느 실시례에서도, 검출된 얼굴의 눈이 감긴 상태가 소정 시간 이상 계속된 경우에는, 이용자는 앉아서 조는 중이라고 판단하고, 추정 처리를 중지하고, 선택중의 화상의 표시를 유지하여도 좋다.

10 : 표시부
12 : 영상 신호 처리 회로
15 : 카메라
100 : 화상 처리 장치
101 : 화상 입력부
102 : 전처리부
103 : 얼굴 검출부
104 : 화상 선택 처리부

Claims

삭제
3차원 동화상 및 2차원 동화상의 어느 하나를 전환하여 표시하는 표시부와,
촬상 수단에 의해 생성된 화상으로부터 이용자의 안면 및 얼굴 기관을 검출하는 얼굴 검출 수단과,
상기 얼굴 검출 수단에 의해 검출된 얼굴의 크기 및 각 얼굴 기관 사이의 거리를 계측하고, 각 계측 데이터에 의거하여 표시부에 대한 이용자의 위치를 추정하고, 추정된 위치가 미리 정한 기준의 범위에 포함되는 경우에는 3차원 동화상을 선택하고, 추정된 위치가 상기 기준의 범위로부터 벗어나는 경우에는 2차원 동화상을 선택하는 화상 선택 수단과,
상기 화상 선택 수단에 의해 선택된 동화상을 상기 표시부에 출력하는 표시 제어 수단을 구비하는 영상 표시 장치로서,
상기 표시부로부터 미리 정한 기준의 거리만큼 떨어진 장소에 이용자가 있는 경우에 상기 촬상 수단에 의해 생성되는 화상으로부터 검출되는 얼굴의 크기 및 얼굴 기관 사이의 거리에 대하여, 각각 복수인의 인물 화상을 분석함에 의해 설정된 기준 데이터가 등록되는 등록 수단을 더 구비하고,
상기 화상 선택 수단은, 상기 얼굴의 크기 및 각 얼굴 기관 사이의 거리에 대하여 구한 복수의 계측 데이터를, 각각 상기 등록 수단 내의 대응하는 데이터와 참조하여 기준 데이터에 대응하는 차가 소정의 허용치 이내가 되는 계측 데이터를 추출하고, 추출된 계측 데이터의 수가 미리 정한 임계치를 상회하는 경우에는, 상기 이용자의 위치가 상기 기준의 범위에 포함된다고 추정하고, 추출된 계측 데이터의 수가 상기 임계치를 하회하는 경우에는, 상기 이용자의 위치가 상기 기준의 범위로부터 벗어난다고 추정하는 것을 특징으로 하는 영상 표시 장치.
3차원 동화상 및 2차원 동화상의 어느 하나를 전환하여 표시하는 표시부와,
촬상 수단에 의해 생성된 화상으로부터 이용자의 안면 및 얼굴 기관을 검출하는 얼굴 검출 수단과,
상기 얼굴 검출 수단에 의해 검출된 얼굴의 크기 및 각 얼굴 기관 사이의 거리를 계측하고, 각 계측 데이터에 의거하여 표시부에 대한 이용자의 위치를 추정하고, 추정된 위치가 미리 정한 기준의 범위에 포함되는 경우에는 3차원 동화상을 선택하고, 추정된 위치가 상기 기준의 범위로부터 벗어나는 경우에는 2차원 동화상을 선택하는 화상 선택 수단과,
상기 화상 선택 수단에 의해 선택된 동화상을 상기 표시부에 출력하는 표시 제어 수단을 구비하는 영상 표시 장치로서,
상기 화상 선택 수단은, 상기 얼굴 검출 수단에 의한 얼굴 기관의 검출 결과에 의거하여 이용자가 표시부를 정면시하고 있는지의 여부를 추정하는 처리를 더 실행하고, 이용자의 위치가 상기 기준의 범위에 포함되지만 이용자가 표시부를 정면시하고 있지 않다고 추정한 경우에는, 2차원 동화상을 선택하는 것을 특징으로 하는 영상 표시 장치.
삭제
삭제