KR20100046066A

KR20100046066A - 화상투영장치 및 그 제어 방법

Info

Publication number: KR20100046066A
Application number: KR1020107006623A
Authority: KR
Inventors: 코타로 키타지마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2007-09-04
Filing date: 2008-08-28
Publication date: 2010-05-04
Also published as: EP2191352A1; US20110169746A1; CN101796474A; EP2191352A4; KR101198727B1; JP2009064109A; CN101796474B; EP2191352B1; US8405626B2; WO2009031633A1; JP4991458B2

Abstract

투영 화상 상의 유저 조작을 검출가능한 화상투영장치에 있어서, 유저가 GUI의 조작에 사용하는 피사체(예를 들면, 손)의 투영된 화상에/으로부터 이동하는 방향을, 예를 들면 투영 화상을 포함하는 투영면의 영역을 촬상한 화상으로부터 검출한다. 그리고, 검출한 방향에 따라, GUI의 표시 위치 또는 표시 방향을 결정하고, 투영시킴으로써, 유저의 편리성을 향상시킨다.

Description

화상투영장치 및 그 제어 방법{IMAGE PROJECTION APPARATUS AND CONTROL METHOD FOR SAME}

본 발명은 화상을 투영하는 화상투영장치 및 그 제어 방법에 관한 것으로, 특히 화상투영장치를 조작하기 위한 유저 인터페이스로서 투영 화상을 이용할 수 있는 화상투영장치 및 그 제어 방법에 관한 것이다.

종래, 프로젝터를 대표로 하는 화상투영장치는, 컴퓨터나 미디어 플레이어 등에서 출력된 영상을 투영해서 시청을 하기 위해 설계되고, 회의실이나 점포는, 물론, 가정내에서도 이용되고 있다.

종래의 프로젝터는, 대화면에 투영하도록 설계되어 있기 때문에, 비교적 대형이며, 보통, 사용시에 천정에 고정하거나, 책상이나 밑바닥에 두거나 한다.

이러한 종류의 프로젝터의 조작은, 본체에 설치된 각종의 버튼이나, 프로젝터의 부속품으로서 제공된 리모트 컨트롤 장치를 사용해서 행하는 것이 일반적이다.

한편, 4명 또는 5명의 작은 그룹에서 화상을 감상하기 위해서, 소형의 화상투영장치를 휴대전화기에 내장시키는 것이 제안되어 있다(일본국 공개특허공보 특개2005-236746호참조).

휴대전화기에 내장된 화상투영장치를 사용해서 영상을 투영할 때는, 휴대전화기를 손으로 쥐고 유지하고 있는 것이 상정된다. 그리고, 예를 들면, 화상을 바꾸거나, 화상투영장치의 설정을 변경하도록, 투영중에 화상투영장치를 조작할 필요가 생겼다고 한다.

이 경우, 일반적으로 휴대전화기에서 채용된 전화 버튼이나 키를 사용해서 조작할 가능성이 있다. 그렇지만, 휴대전화기를 손에 들면서 투영하고 있는 상태에서 버튼이나 키를 조작하면, 투영 장소가 변동하거나, 투영 화상의 크기가 변동하거나 해서, 사용하기가 쉽지 않다.

또한, 휴대전화에 대하여, 화상투영장치를 조작하기 위한 리모트 컨트롤 장치를 별도로 제공하는 것은 현실적이지 못하다.

이렇게, 종래는, 화상투영장치가 사용될 때 손에 잡혀지도록 소형화된 경우를 고려하여, 유저 조작을 쉽게 하기 위한 제안이 없었다.

본 발명은, 상술한 과제를 감안한 것이고, 화상을 투영중이여도, 용이하게 조작할 수 있는 화상투영장치 및 그 제어 방법을 제공한다.

본 발명의 일 국면에 따른 화상투영장치는, 투영 화상과 GUI(Graphical User Interface) 화상을 투영면에 투영하는 투영부; 상기 투영면에 대한 소정의 피사체의 위치를 검출하는 위치 검출부; 상기 위치 검출부의 검출 결과에 의거하여 상기 소정의 피사체의 이동 방향을 판정하는 이동 방향 판정부; 상기 위치 검출부에 의한 검출 결과와, 상기 이동 방향 판정부에 의한 판정 결과에 근거하여, 상기 GUI 화상의 표시 위치 및 표시 방향 중 적어도 한쪽을 결정하는 결정부; 상기 결정부가 결정한 상기 표시 위치 및 표시 방향 중 적어도 한쪽 에 의거하여 상기 투영부에 행해진 상기 GUI 화상의 투영 동작을 제어하는 제어부; 및 상기 GUI 화상이 투영된 상기 투영면의 상기 위치 검출부의 검출 결과에 의거하여 조작을 검출하는 조작 검출부를 구비한다.

본 발명의 다른 국면에 따른 화상투영장치의 제어방법은, 투영부에 의해 투영 화상을 투영면에 투영하는 투영 단계; 상기 투영면에 대한 소정의 피사체의 위치에 관한 정보를 검출하는 위치 검출단계; 상기 위치 검출단계에서 검출된 상기 소정의 피사체의 위치에 관한 정보로부터, 상기 소정의 피사체의 이동 방향을 판정하는 이동 방향 판정단계; 상기 위치 검출단계에 의한 검출 결과와, 상기 이동 방향 판정단계에 의한 판정 결과에 근거하여, 상기 투영부를 사용해서 투영시키는 GUI 화상의 표시 위치 및 표시 방향 중 적어도 한쪽을 결정하는 결정단계; 상기 결정단계에서 결정된 상기 표시 위치 및 상기 표시 방향 중 적어도 한쪽에 의거하여 상기 투영부를 제어하고, 상기 GUI 화상을 상기 화상 위에 동시에 투영시키는 제어단계; 및 상기 GUI 화상이 투영된 상기 투영면에 있어서 상기 위치 검출단계에 의하여 검출된 상기 소정의 피사체의 위치에 관한 정보에 의거하여 조작을 검출하는 조작 검출단계를 포함한다.

본 발명의 또 다른 특징들은, 첨부된 도면들을 참조하여 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은, 본 발명의 제1의 실시예에 따른 화상투영장치의 일 구성 예를 나타내는 블럭도,
도 2는, 본 발명의 제1의 실시예에 따른 화상투영장치의 외관과 사용 상태의 예를 모식적으로 도시한 도면,
도 3a 및 도 3b는, 본 발명의 제1의 실시예에 따른 화상투영장치의 손영역 추출부의 동작을 설명하는 도면,
도 4는, 본 발명의 제1의 실시예에 따른 화상투영장치의 삽입 방향 판정부의 동작을 설명하기 위한 흐름도,
도 5a 내지 도 5c는, 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서의 삽입 방향 판정 예를 도시한 도면,
도 6은, 본 발명의 제1의 실시예에 따른 화상투영장치의 메뉴 표시 제어부의 동작을 설명하기 위한 흐름도,
도 7a 내지 도 7d는, 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서의, 판정된 삽입 방향과 메뉴의 회전각도간의 관계의 일례를 도시한 도면,
도 8a 내지 도 8d는, 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서의, 손의 위치와 메뉴의 표시 위치간의 관계의 일례를 도시한 도면,
도 9a 내지 도 9d는, 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서의, 메뉴 표시 결과의 예를 나타내는 도면,
도 10a 및 도 10b는, 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서, 손의 삽입 방향에 따라, 메뉴와 화상의 양쪽을 회전해서 투영했을 경우의 예를 나타내는 도면,
도 11a 및 도 11b는 본 발명의 제1의 실시예에 따른 화상투영장치에 있어서, 대표 손끝 위치와, 손영역과 투영 화상의 변과의 상대적 위치로부터 손의 삽입 방향을 판정하는 예에 관하여 설명하는 도면,
도 12는, 본 발명의 제2의 실시예에 따른 화상투영장치의 메뉴 표시 제어부의 동작을 설명하기 위한 흐름도,
도 13a 및 도 13b는, 본 발명의 제2의 실시예에 따른 화상투영장치에 있어서의 메뉴 후보 표시 위치의 예를 나타내는 도면,
도 14a 내지 도 14c는, 본 발명의 제2의 실시예에 따른 화상투영장치에 있어서의, 메뉴 표시 결과의 예를 나타내는 도면,
도 15는, 본 발명의 제3의 실시예에 따른 화상투영장치의 일 구성 예를 나타내는 블럭도,
도 16은, 본 발명의 제3의 실시예에 따른 화상투영장치의 투영부가 다룰 수 있는 투영 방향을 모식적으로 나타낸 도면,
도 17은, 본 발명의 제3의 실시예에 따른 화상투영장치의 메뉴 표시 제어부의 동작을 설명하는 흐름도,
도 18은, 수직면에 대하여 화상을 투영하는 본 발명의 제3의 실시예에 따른 화상투영장치를 모식적으로 도시한 도면,
도 19는, 본 발명의 제3의 실시예에 따른 화상투영장치가 수직면에 대하여 투영하고 있는 경우의 메뉴 표시의 예를 나타내는 도면이다.

이하, 본 발명의 바람직한 실시예들을 첨부도면에 따라 상세히 설명하겠다.

(제1의 실시예)

도 1은, 본 발명의 제1의 실시예에 따른 화상투영장치(10)의 일 구성 예를 나타내는 블럭도다.

화상투영장치(10)에 있어서, 투영부(100)는, 광원, 렌즈, 표시 디바이스 등을 포함하고, 투영 화상생성부(101)로부터 공급되는 화상을 투영한다. 투영 화상생성부(101)는, 메모리 카드 등의 기억매체(102)에 기억된 화상 데이터로부터, 투영 화상을 생성하여, 투영부(100)에 공급한다. 시스템 제어부(103)는, 예를 들면 CPU, ROM 및 RAM을 포함하는 마이크로세서이다. 시스템 제어부(103)는, CPU가 ROM에 기억된 프로그램을 RAM에 판독해서 실행함으로써, 화상투영장치(10)의 동작을 제어한다.

촬상부(104)는, 예를 들면 동화상을 투영 가능한 카메라이며, CCD이미지센서나 CMOS이미지센서와 같은 촬상소자와, 촬상소자에 광학 피사체상을 결상하기 위한 렌즈를 포함한다. 이때, 본 실시예에 있어서, 촬상부(104)는 적외광 영역만을 촬상가능한 적외선 카메라인 것으로 한다. 또한, 본 실시예에 있어서, 촬상부(104)의 촬상범위는, 투영부(100)의 투영 범위를 포함하는 범위인 것으로 한다. 촬상부(104)는, 촬상화상을 손영역 검출부(105)에 공급한다.

손영역 검출부(105)는, 촬상부(104)로부터 공급된 촬상화상으로부터, 소정의 특정한 피사체의 일례로서, 인간의 손, 구체적으로는 인간의 손이라고 식별되는 화상영역(손영역)을 검출한다. 검출한 손영역에 관한 정보는, 유저 조작 검출부(106) 및 삽입방향 판정부(107)에 주어진다.

유저 조작 검출부(106)는, 손영역에 관한 정보에 의거하여 유저의 조작을 검출한다. 삽입 방향 판정부(107)는, 상기 소정의 피사체인 손의 이동방향을 삽입방향으로서 판정하여, 판정 결과를 메뉴 표시 제어부(108)에 출력한다. 메뉴 표시 제어부(108)는, 투영 화상 위의 손의 삽입 방향에 의거하여 메뉴 표시를 제어한다.

도 2는, 도 1에 나타낸 화상투영장치(10)의 외관과 사용 상태의 예를 모식적으로 도시한 도면이다. 도 2에 나타낸 예에서는, 투영면은 책상 또는 테이블에서 형성되는 수평면이며, 투영면(210) 위에 투영 화상(211)이 투영된 상태를 보이고 있다.

(화상 투영 동작)

다시 도 1을 참조하여, 본 실시예의 화상투영장치의 화상투영동작에 관하여 설명한다.

기억매체(102)에는 다수의 화상 데이터가 기록되어 있다. 시스템 제어부(103)는 기억매체(102)에 기록된 다수의 화상 데이터 중 하나를 지정하고, 투영 화상생성부(101)에 판독 요구를 출력한다. 투영 화상생성부(101)는 지정된 화상 데이터를 기억매체(102)로부터 판독하고, 예를 들면 화상 데이터가 부호화되어 있으면 복호화처리를 행하는등, 투영부(100)에 표시하기 위한 화상 데이터(표시용 화상)를 생성하는 처리를 행한다. 표시용 화상은 투영부(100)에 공급되고, 투영부(100)는 표시용 화상에 근거한 화상을 투영한다.

이때, 투영하는 화상은, 예를 들면 기억매체(102)에 기억되어 있는 다수의 화상 데이터 중에서 유저가 지정해도 좋다. 이 지정은, 운영 시스템 소프트웨어가 제공하는 파일(file) 브라우저를 사용하는등, 주지의 임의의 방법을 사용해서 행할 수 있다.

(유저 조작 검출 동작)

다음에, 본 실시예의 화상투영장치(10)에 있어서의 유저 조작의 검출에 관하여 설명한다.

전술한 바와 같이, 촬상부(104)는, 적외광 영역만을 촬상가능한 적외선 카메라이며, 투영 범위, 즉 투영 화상을 포함하는 투영면 위의 영역을 촬상한다. 촬상부(104)는, 촬상에 의해 얻어진 화상 데이터를, 예를 들면 프레임 단위로 손영역 검출부(105)에 출력한다.

손영역 검출부(105)에서는, 촬상부(104)로부터 공급되는 화상 데이터로부터, 소정의 피사체에 대응하는 영역, 여기에서는 일례로서, 유저의 손에 대응하는 영역(손영역)을 검출한다. 도 3a는 투영면(300) 위의 투영 화상(301)에 유저의 손(302)을 덮어 가린(삽입한) 상태의 예를 나타낸다.

손영역 검출부(105)는, 예를 들면 일본국 공개특허공보 특개2005-236746호에 기재된 방법과 같은 방법에 의해, 적외선 화상으로부터 유저의 손영역을 추출할 수 있다. 구체적으로는, 촬상부(104)는 적외선 카메라이기 때문에, 유저의 손영역으로부터의 방사 빛을 측정하고, 온도가 소정의 범위(인간의 체온의 근방인 30℃-34℃정도)에 있는 피사체만을 추출한다. 그 결과, 촬상화상에는 유저의 손영역만이 비친다. 손영역 검출부(105)는, 촬상부(104)로부터 공급된 촬상 화상 데이터에 대하여, 노이즈 제거 처리를 행한 후, 손영역 및 손끝 위치를 패턴매칭에 의해 검출한다. 도 3b는 도 3a의 상태에서 촬상부(104)가 촬상한 화상(310)으로부터 검출된 손영역(311)과 손끝 위치(320-324)를 보이고 있다.

손영역 검출부(105)는, 검출한 손영역에 관한 정보로서, 예를 들면 손영역의 범위를 나타내는 정보와 손끝 위치를 나타내는 정보를, 유저 조작 검출부(106), 삽입 방향 판정부(107) 및 메뉴 표시 제어부(108)에 출력한다.

(삽입 방향 판정 동작)

삽입 방향 판정부(107)는, 소정의 피사체의 이동 방향을 판정하는 이동 방향 판정수단이다. 구체적으로는, 투영 화상에 대하여, 유저의 손이 어느 방향에서 삽입되어 있는 것인지를 판정한다. 이하, 삽입 방향 판정부(107)의 동작을 도 4 및 도 5a-5c를 사용하여 설명한다. 도 4는, 삽입 방향 판정 동작을 설명하기 위한 흐름도다. 도 5a-5c는, 본 실시예에 있어서의, 소정의 피사체의 이동 방향(이하, 삽입 방향이라고 함)의 판정 예를 설명하는 도면이다.

S401에서, 삽입 방향 판정부(107)는, 손영역 검출부(105)로부터 입력된 손영역에 관한 정보에 의거하여, 손영역의 중심위치를 산출한다. 그 중심위치는, 예를 들면 손영역 검출부(105)에서 검출된 손영역에 포함되는 화소의 평균 좌표로서 산출될 수 있다. 또는, 손영역을 둘러싸는 외접 사각형의 중심위치를 구하는등, 다른 방법을 사용해도 된다.

S402에서, 삽입 방향 판정부(107)는, 대표 손끝 위치를 검출한다. 전술한 바와 같이, 비록 손영역 검출부(105)에 있어서 손끝 위치의 검출이 완료될지라도, 복수의 손끝 위치 중에서, GUI 화상의 조작을 행하는 위치로서 사용하는 대표 손끝 위치를 결정한다. 여기에서는, 중심위치와의 거리가 가장 큰 손끝 위치를 대표 손끝 위치로 한다.

도 5a는, 손영역(501)에 대하여 산출된 대표 손끝 위치(503) 및 중심(502)의 예를 도시한 도면이다.

S403에서, 삽입 방향 판정부(107)는, 손의 삽입 각도를 산출한다. 구체적으로는, 도 5b에 나타나 있는 바와 같이, 삽입 방향 판정부(107)는, 손의 중심(502)으로부터 대표 손끝 위치(503)로 연장되는 벡터 v의, 투영 화상의 바닥측에 대한 각도 θ를 삽입 각도로서 산출한다. 그 벡터 v를 삽입 방향 벡터라고 부른다.

S404에서, 삽입 방향 판정부(107)는, 삽입 방향 벡터의 각도에 따라, 소정의 삽입 방향 중, 가장 가깝다고 판단되는 삽입 방향을 결정한다. 예를 들면, 소정의 삽입 방향이, 도 5c에 나타나 있는 바와 같이 상방(1), 좌측 방향(2), 하방(3) 및, 우측 방향(4)중 어느 하나라고 가정한다. 이 경우, 각 방향에 대한 벡터의 각도는, 90°, 180°, 270°, 0°이다.

삽입 방향 벡터 v가 도 5b에 나타낸 각도θ를 가질 경우, 상방(1)이 가장 가까운 삽입 방향이라고 결정된다. 이때, 삽입 방향 벡터 v의 각도가 45°, 135°, 225°, 315°와 같이, 소정의 방향에 대한 각도의 중앙값일 경우에, 상기 결정 방법은 적당하게 결정되어도 된다.

이렇게하여, 삽입 방향 판정부(107)는 손의 삽입 방향을 판정하고, 판정 결과를 메뉴 표시 제어부(108)에 출력한다.

이때, 전술한 손영역 검출 및 삽입 방향 판정의 처리는, 촬상부(104)가 촬상하는 전체 화상에 대하여 실행해도 좋고, 소정의 일정 기간마다 실행해도 좋다. 예를 들면, 촬상부(104)가 매초 15프레임의 화상을 촬상하는 경우, 15프레임중의 1프레임에 대해서 손영역의 검출 및 삽입 및 방향 판정을 행할 수 있다. 처리 빈도는, 시스템 부하와 필요로 하는 검출 정밀도와의 균형으로 적당하게 결정되어도 된다.

(메뉴 표시 제어)

도 6은 메뉴 표시 제어부(108)의 동작의 일례를 나타내는 흐름도다.

이때, 여기에서의 "메뉴"란, 투영 화상에 대한 조작에 의해 유저가 화상투영장치(10)에 지시를 행할 수 있도록 투영 화상에 중첩된 GUI 화상인 조작 메뉴를 의미한다. 메뉴 표시 제어부(108)는, 손영역 검출부(105)의 검출 결과 및 삽입 방향 판정부(107)의 판정 결과에 근거하여, 메뉴의 표시 위치 및 표시 방향 중 적어도 한쪽을 결정한다.

S601에서, 메뉴 표시 제어부(108)는, GUI 화상을 조작하기 위한 피사체(또는 소정의 피사체)로서의 손이, 투영 화상 위에 특정 기간 이상 존재하는지(삽입되어 있는지) 아닌지를 판정한다. 구체적으로는, 메뉴 표시 제어부(108)는, 삽입 방향 판정부(107)로부터 특정 기간 이상 계속해서 삽입 방향이 공급되는 것인가 아닌가에 의거하여 판정할 수 있다. 또는, 손영역 검출부(105)로부터의 손영역에 관한 정보로부터, 손영역이 특정 기간 이상 계속해서 검출되는가에 의거해서도 마찬가지의 판정을 행할 수 있다.

S601에서, 투영 화상 위에 손이 특정 기간 이상 존재한다고 판단되는 경우, 메뉴 표시 제어부(108)는, 처리를 S602로 진행시킨다. 한편, 손의 삽입이 검출되지 않거나, 특정 기간 이상 계속해서 검출되지 않는다고 판단되는 경우에는, 메뉴 표시 제어부(108)는, 손이 삽입되지 않고 있다고 판정하여, 처리를 종료한다.

S602에서, 메뉴 표시 제어부(108)는, 삽입 방향 판정부(107)로부터 주어지는 삽입 방향에 따라, 메뉴의 회전각도(표시 각도)를 결정한다.

도 7a-7d는, 본 실시예에 있어서의, 판정된 삽입 방향과 메뉴의 회전각도와의 관계의 예들을 도시한 도면이다.

도 7a-도 7d는, 도 5c에 나타낸 소정의 삽입 방향(1)-(4)에 대한 메뉴의 회전각도의 예들을 나타낸다. 메뉴(701-704)는, 손의 삽입 방향에 의존한 각도에서 회전 표시된다. 예를 들면, 삽입 방향이 도 5c의 (2)와 같이, 투영 화상의 우측으로부터(좌측 방향)라고 판정되었을 경우, 메뉴 표시 제어부(108)는, 도 7b에 나타나 있는 바와 같이 투영 화상의 좌단이 상부가 되도록 메뉴를 90°회전시킨다. 즉, 메뉴 표시 제어부(108)는, 손의 삽입 방향과 메뉴의 상부가 항상 일치하도록 메뉴의 회전각도를 결정한다.

다음에, S603에서, 메뉴 표시 제어부(108)는, 손의 위치에 따라 메뉴의 표시 위치를 결정한다.

도 8a-도 8d는, 손의 위치와 메뉴의 표시 위치와의 관계의 예들을 도시한 도면이다.

도 8a 및 도 8c는, 본 실시예의 화상투영장치(10)에 있어서, 메뉴를 중첩시킬 수 있는 위치의 예들을 나타내는 도면이고, 도 8b 및 도 8d는, 손의 위치와, 손의 위치에 따라 결정된 메뉴 표시 위치를 도시한 도면이다.

본 실시예의 화상투영장치(10)는, 도 8a 및 도 8c에 나타나 있는 바와 같은, 소정의 표시 위치의 선택사항 중에서, 대표 손끝 위치의 근방에서, 또한 손의 삽입 방향에 이격된 가장 가까운 위치를 메뉴 표시 위치로서 결정한다.

예를 들면, 도 8a는, 손의 삽입 방향이 도 5c의 (1)의 방향일 때의 후보 표시 위치(810-812)를 도시하고 있다. 예를 들면, 도 8b에 나타나 있는 바와 같이, 대표 손끝 위치(801)로부터 손의 삽입 방향(여기에서는 상방)에서 가장 가까운 후보 표시 위치(810)를 메뉴(802)의 표시 위치로서 결정한다.

마찬가지로, 도 8c는, 손의 삽입 방향이 도 5c의 (4)의 방향일 때의 후보 표시 위치(820-824)를 보이고 있다. 예를 들면, 도 8d에 나타나 있는 바와 같이, 손의 삽입 방향(여기에서는 우측 방향)으로 대표 손끝 위치(803)에 가장 가까운 후보 표시 위치(822)를 메뉴(804)의 표시 위치로서 결정한다.

이때, 상기의 조건을 충족시키는 후보 표시 위치가 없는 경우에는, 대표 손끝 위치에 가장 가까운 후보 표시 위치나, 손의 삽입 방향측에서 가장 투영 화상 끝에 가까운 후보 표시 위치를 표시 위치로서 결정한다. 즉, 예를 들면, 도 8a의 경우에는, 후보 표시 위치810을, 도 8c의 경우에는 후보 표시 위치824를 표시 위치로서 결정한다.

아울러, 보다 많은 후보 표시 위치를 설정해도 좋고, 후보 표시 위치를 특별히 설정하지 않고, 손의 대표 손끝 위치의 근방에서, 삽입 방향으로 소정의 거리만큼 이격된 위치를 표시 위치로서 결정해도 좋다.

S604에서, 메뉴 표시 제어부(108)는, 메뉴를 투영 화상에 중첩해서 표시하는 요구를 시스템 제어부(103)에 송신한다. 또한, 메뉴 표시 제어부(108)는, 결정한 메뉴 표시 위치와 회전각도의 정보도 시스템 제어부(103)에 송신한다.

시스템 제어부(103)는, 메뉴 표시 제어부(108)로부터의 메뉴 표시 요구를 받으면, 메뉴 표시 위치와 회전각도 정보를 투영 화상 생성부(101)에 보낸다. 투영 화상 생성부(101)는, 미리 등록되어 있는 메뉴 화상을, 회전각도 정보에 근거해 회전시킨다. 그리고, 투영 화상 생성부(101)는, 기억매체(102)로부터의 화상 위에, 메뉴 표시 위치에 대응한 위치에서의 메뉴 화상을 중첩하고, 표시용 화상을 생성하여, 투영부(100)에 출력한다. 이에 따라, 투영부(100)로부터, 메뉴가 중첩된 화상이 투영된다.

메뉴 표시 결과의 예들을 도 9a-도 9d에 나타낸다. 도 9a는 유저의 손이 투영 화상(901) 위에 삽입되어 있지 않고, 투영 화상이 기억매체(102)로부터 판독된 화상만으로 구성되어 있는 상태를 나타낸다. 도 9b는 유저의 손이 투영 화상(901)에 특정 기간동안 삽입되고, 투영 화상(901) 위에 손의 삽입 방향 및 손의 위치에 따른 표시 위치에 메뉴(902)가 중첩되어 있는 상태를 나타낸다.

유저 조작 검출부(106)는, 손영역 검출부(105)로부터 제공된 손영역에 관한 정보에 의거하여 유저의 지시 동작을 검출하고, 검출한 지시 동작의 정보를 시스템 제어부(103)에 출력한다. 유저의 지시 동작은, 예를 들면, 도 9c에 나타나 있는 바와 같은 유저의 손에 의한 가리킴 동작이다. 가리킴 동작은, 예를 들면, 손끝 위치 정보의 수가 1개인 것이나, 손영역의 형상의 독특한 특징에 의거하여 검출될 수 있다. 유저 조작 검출부(106)는, 유저의 가리킴 동작을 검출한다면, 손끝 위치 정보를 시스템 제어부(103)에 출력한다.

시스템 제어부(103)는, 표시한 메뉴의 항목에 대하여, 유저의 지시 동작이 소정 기간 이상 계속되고 있는지를 판정한다. 다시 말해, 도 9c에 나타나 있는 바와 같이 메뉴(902)에 포함된 버튼들의 영역내에 손끝 위치가 소정 기간이상에 걸쳐서 계속해서 존재하고 있는지를 조사한다. 소정 기간이상에 걸쳐서 손끝 위치가 메뉴(902)에 포함된 버튼의 영역 내에 계속해서 존재하고 있다고 판단되는 경우, 시스템 제어부(103)는, 그 메뉴 항목을 유저가 조작하고 있다고 판단하고, 그 메뉴 항목에 따른 동작을 행한다.

도 9c의 예는, 메뉴(902)에 포함되는 버튼(903)의 영역에, 손끝 위치(904)가 소정 기간 이상에 걸쳐서 존재하고 있는 상태를 보이고 있다. 이 경우, 시스템 제어부(103)는, 버튼(903)이 조작되고 있다고 판단하고, 버튼(903)에 따른 동작을 행한다.

예를 들면, 버튼(903)이 투영 화상을 기억매체(102)에 기억된 다음 화상으로 바꾸는 버튼이라면, 시스템 제어부(103)는, 투영 화상 생성부(101)가 다음 화상을 판독하여, 메뉴(902) 위에 중첩된 표시용 화상을 생성하게 한다. 이 결과, 투영 화상이, 예를 들면 도 9d에 도시된 것으로 바뀐다.

이때, 메뉴 항목이 조작된 것이라고 판단된 것을, 음성등에 의해 유저에게 통지하여, 유저는, 연장된 기간동안 메뉴 항목을 계속해서 가리킬 필요가 없어서, 편리함을 향상시킨다.

메뉴를 표시한 후, 촬상한 화상에서 손의 화상을 소정 시간 후 일정시간 계속해서 검출하지 않은 경우에, 메뉴의 표시를 정지한다.

이상에서 설명한 바와 같이, 본 실시예에 있어서의 화상투영장치는, 투영 화상에 삽입된 유저의 손의 삽입 방향을 검출하는 삽입 방향 검출부와, 손의 삽입 방향에 따라 메뉴 표시의 위치와, 회전각도를 결정하는 메뉴 표시 제어부를 구비한다.

이에 따라서, 여러 가지 다른 방향에서 손이 삽입된 경우에도, 유저가 제대로 볼 수 있는 방향에서 메뉴가 표시될 가능성이 높아지므로, 가독성이 향상하고, 오동작을 억제할 수 있다. 또한, 삽입한 손의 위치에 따라, 투영된 메뉴의 위치를 변경하기 때문에, 유저의 손의 위치의 상부에 메뉴의 표시로 인한 가독성의 악화나 오동작을 억제할 수 있다.

(변형 예1)

전술한 예에서는, 설명을 간단하게 하고 이해를 쉽게 하기 위해서, 손의 삽입 방향과 위치에 따라 메뉴 표시의 방향과 위치를 제어하는 구성을 예시했다. 그렇지만, 메뉴뿐만아니라, 메뉴를 중첩시키는 화상(기억매체(102)로부터 판독한 화상)에 관해서도, 손의 삽입방향에 따라 회전시켜도 된다.

도 10a 및 도 10b는, 손의 삽입 방향에 따라, 메뉴와 화상의 양쪽을 회전해서 투영한 경우의 예를 나타내는 도면이다. 도 10a는 손의 삽입 방향이 도 5c의 (3)경우의 예를 나타낸다. 도 10b는 손의 삽입 방향이 도 5c의 (4)의 경우의 예를 나타낸다. 양쪽의 경우에, 손의 삽입 방향이 상부에 있도록 화상과 메뉴를 회전시켜서 표시한다.

구체적으로는, 투영 화상 생성부(101)가, 시스템 제어부(103)로부터의 회전 정보에 의거하여, 기억매체(102)로부터의 화상에 메뉴를 중첩시킨 합성 화상(표시용 화상)을 회전시킴으로써 도 10a 및 도 10b에 도시된 표시가 실현될 수 있다.

(변형 예2)

전술한 예에 있어서, 삽입 방향 판정부(107)는, 손영역의 대표 손끝 위치와 중심으로부터 손의 삽입 방향을 판정했다. 그러나, 손의 삽입 방향의 판정은 임의의 조건에 근거해서 행하기도 한다. 예를 들면, 대표 손끝 위치의 시간에 따른 변화에 의거하여 대표 손끝 위치의 이동 방향을 삽입 방향으로서 판정해도 된다.

또한, 도 11a 및 도 11b에 나타나 있는 바와 같이, 대표 손끝 위치와, 손영역과 투영 화상의 변과의 상대적 위치로부터 손의 삽입 방향을 판정해도 된다. 도 11a에 있어서, 손영역 검출부(105)에 의해 손영역(1100)과 대표 손끝 위치(1101)가 검출된다. 이 경우, 손영역이 투영 화상(1105)의 변과 접촉하는 영역(1102)의 중심(1103)으로부터, 손의 삽입 방향이 대표 손끝 위치(1101)를 향한다고 판정할 수 있다.

또한, 도 11b의 예에서는, 손영역이 접점부(1112 및 1113)에서 투영 화상(1105)의 2변과 접촉하고 있다. 이러한 경우에는, 접점부(1112 및 1113 )중 긴쪽(이 예에서는 접점부 1112)의 중심점(1114)으로부터, 대표 손끝 위치(1111)로 향하는 방향을 손의 삽입 방향이라고 판정할 수 있다.

(기타의 변형 예)

손의 삽입 방향을 도 5c에 나타낸 소정의 삽입 방향(1)-(4)중 어느 하나로서 결정하는 구성에 대해서 설명했지만, 보다 많은 삽입 방향을 미리 설정하고, 5개 이상의 삽입 방향 중 하나로서 손의 삽입방향을 결정할 수도 있다. 이 경우, 메뉴의 회전각도도, 삽입 방향에 대응한 5개 이상이 된다.

또한, 촬상부(104)가 적외선 카메라인 것은 필수적이지 않다. 예를 들면, 가시광 영역에서 촬상하는 카메라를 사용하는 것도 가능하고, 이 경우, 손영역의 검출은, 촬상화상으로부터 피부색 화소영역을 추출하고, 형상 패턴과의 패턴매칭을 행함으로써 실현될 수 있다. 가시광 영역에서 촬상하는 카메라를 촬상부(104)로서 사용했을 경우에는, 촬상한 화상을 기억매체(102)에 기록하도록 제어하는 것도 가능하다.

(제2의 실시예)

다음에, 본 발명의 제2의 실시예에 관하여 설명한다.

제2의 실시예의 화상투영장치의 구성은 도 1에 나타낸 제1의 실시예의 구성과 같기 때문에, 그에 대한 설명을 생략한다. 또한, 제2의 실시예의 화상투영장치의 동작은, 메뉴 표시 제어부(108)의 제어동작이외는 제1의 실시예와 같아도 되기 때문에, 이하는 메뉴 표시 제어부(108)의 동작에 대해서만 설명한다.

이제, 본 실시예의 메뉴 표시 제어부(108)의 동작에 대해서, 도 12에 나타낸 흐름도에 의거하여 설명한다.

S1201에서 메뉴 표시 제어부(108)는, 삽입 방향 판정부(107)로부터 출력된 손의 위치 정보에 근거하여, 투영 화상에 손이 특정 기간 이상 존재한(삽입된) 후, 투영 화상 위에 손이 더 이상 존재하지 않는지(떨어졌는지)를 판정한다. 구체적으로는, 손이 특정 기간동안 삽입되어 있던가의 여부는, 제1의 실시예에 있어서의 도 6의 S601과 같은 방법으로 판정될 수 있다. 추가로, 손영역을 더 이상 검출할 수 없다는 사실로부터, 손이 투영 화상으로부터 이격되었다고 판정할 수 있다. 또한, 메뉴 표시 제어부(108)는, 손의 삽입 방향으로서, 손이 투영 화상으로부터 벗어났다고 판정된 시점보다 앞에서, 최후에 검출되어 있었던 삽입 방향을 최종적인 삽입 방향으로서 판정한다.

S1202에서, 메뉴 표시 제어부(108)는, 손의 삽입 방향에 따라 메뉴의 회전각도를 결정한다. 이 처리는, 도 6의 S602에서 행해진 제어와 같다.

S1203에서, 메뉴 표시 제어부(108)는, 손의 삽입 방향에 따라 메뉴의 표시 위치를 결정한다. 본 실시예에서는, 손이 투영 화면 위에 없는 상태에서 메뉴 표시를 행하기 때문에, 손에 가장 가까울 가능성이 있는 투영 화상의 단부를 표시 위치로서 결정한다.

본 실시예의 화상투영장치(10)에 있어서의 메뉴의 후보 표시 위치의 예를 도 13a에 나타낸다. 도 13a에 있어서, 메뉴의 후보 표시 위치(1301-1304)는, 투영 화상(1300)의 4변을 따라 배치되고, 도 5c에 나타낸 삽입방향 (1)-(4)의 각각에 대응하고 있다. 예를 들면, 손의 삽입 방향이 도 5c의 (1)인 경우에는, 후보 표시 위치(1301)가 표시 위치로서 결정되고, 손의 삽입 방향이 도 5c의 (3)의 경우에는 후보 표시 위치(1303)가 각각 표시 위치로서 결정된다. 도 13b는, 후보 표시 위치(1301-1304)의 각각에 대해 메뉴가 표시된 상태를 나타낸 도면이다.

S1204에서, 메뉴 표시 제어부(108)는, 도 6의 S604와 마찬가지로, 투영 화상 위에 중첩된 메뉴를 표시하는 요구를 시스템 제어부(103)에 보낸다. 또한, 메뉴 표시 제어부(108)는, 그 결정된 메뉴 표시 위치와 회전각도의 정보도 시스템 제어부(103)에 보낸다.

시스템 제어부(103)는, 메뉴 표시 제어부(108)로부터의 메뉴 표시 요구를 받으면, 그 메뉴 표시 위치와 회전각도 정보를 투영 화상 생성부(101)에 보낸다. 투영 화상 생성부(101)는, 미리 등록되어 있는 메뉴 화상을, 회전각도 정보에 근거해 회전시킨다. 그리고, 투영 화상 생성부(101)는, 기억매체(102)로부터의 화상 위에, 메뉴 표시 위치에 대응한 위치에서의 메뉴 화상을 중첩하고 표시용 화상을 생성하여서, 투영부(100)에 출력한다. 이에 따라, 투영부(100)로부터, 메뉴가 중첩된 화상이 투영된다. 이 처리도 제1의 실시예와 같다.

메뉴 표시 결과의 예를 도 14a-도 14c에 나타낸다. 도 14a는 유저의 손이 투영 화상(1401)에 삽입되어 있는 상태를 도시하고 있다. 도 14b는, 삽입되어 있었던 유저의 손이 투영 화상으로부터 나온(이격된) 상태를 보이고 있다. 도 14b에 나타나 있는 바와 같이 유저의 손이 투영 화상으로부터 나왔을 경우, 메뉴 표시 제어부(108)는 최후에 검출된 삽입 방향을 유지해 둔다. 그리고, 손이 투영 화상으로부터 나오면, 즉 손영역이 더 이상 검출되지 않게 되면, 메뉴 표시 제어부(108)로부터 메뉴 표시 요구가 시스템 제어부(103)에 보내진다. 이어서, 도 14c에 나타나 있는 바와 같이, 메뉴는, 투영 화상 위에 중첩되어, 삽입 방향에 대응한 위치에 표시된다.

유저 조작 검출부(106)는, 손영역 검출부(105)로부터의 손영역에 관한 정보에 의거하여 유저의 지시 동작을 검출하고, 그 검출한 지시 동작의 정보를 시스템 제어부(103)에 출력한다. 유저의 지시 동작의 검출은, 제1의 실시예와 마찬가지로 행할 수 있다. 유저 조작 검출부(106)는, 유저의 가리킴 동작을 검출하면, 손끝 위치 정보를 시스템 제어부(103)에 출력한다.

시스템 제어부(103)는, 제1의 실시예와 같은 방법으로, 표시한 메뉴의 항목에 대하여, 유저의 지시 동작이 소정 기간 이상 계속되고 있는지를 판정한다. 소정 기간 이상에 걸쳐 손끝 위치가 메뉴 항목의 영역내에 계속해서 존재하고 있다고 판단되는 경우, 시스템 제어부(103)는, 그 메뉴 항목을 유저가 조작하고 있다고 판단하여, 그 메뉴 항목에 따른 동작을 행한다.

시스템 제어부(103)는, 특정 기간동안, 유저에 의한 지시 동작이 없는 경우에는, 메뉴를 비표시로 하고, 다시 유저의 손이 투영 화상으로부터 떨어지는 것을 기다린다.

이상에서 설명한 바와 같이, 본 실시예의 화상투영장치는, 투영 화상에 삽입되어 있었던 손이 투영 화상으로부터 벗어났을 때에 메뉴 표시를 행한다. 또한, 본 실시예의 화상투영장치는, 메뉴의 회전각도와 표시 위치를, 손이 투영 화상으로부터 벗어나기 직전의 손의 삽입 방향에 따라 제어한다.

한번 삽입된 손이 떨어졌을 때에 메뉴가 보이도록 제어함으로써, 유저의 손의 상부에 메뉴가 표시되는 것에 의한 가독성의 악화나 오동작을 저감시키는 것이 가능하다. 또한, 메뉴를 투영 화상의 단부에 표시하기 때문에, 표시되고 있는 투영 화상을 메뉴나 손으로 덮지 않는 효과가 있다.

이때, 본 실시예에서는 손이 투영 화상으로부터 벗어났다고 판단되는 시점 직전에 검출한 손의 삽입 방향을 손의 삽입 방향으로 했지만, 이와는 달리, 다른 방법들로 삽입 방향을 판정해도 된다. 예를 들면, 손이 삽입되어 있었던 특정 기간 내에서, 가장 긴 기간(가장 많은 회수)동안 검출된 삽입 방향을 최종적인 손의 삽입 방향으로서 결정할 수 있는 방법을 이용하는 것도 가능하다.

(제3의 실시예)

다음에, 본 발명의 제3의 실시예에 관하여 설명한다.

본 실시예의 화상투영장치의 독특한 특징은, 투영 방향에 따라 메뉴의 표시 위치와 회전각도를 제어하는 것이다.

도 15는, 본 발명의 제3의 실시예에 따른 화상투영장치의 일 구성 예를 나타내는 블럭도이며, 제1의 실시예와 동일한 부분에 관해서는 도 1과 동일한 참조 번호를 부착하고, 그 중복된 설명을 생략한다. 본 실시예의 화상투영장치(11)는, 투영부(100)의 투영 방향이 적어도 수평방향과 수직방향으로부터 선택 가능하게 구성되어 있다. 그리고, 투영부(100)의 투영 방향을 검출하기 위한 투영 방향 판정부(1510)가 추가되어 있는 점에서 상기 제1 및 제2의 실시예와 다르다. 아울러, 메뉴 표시 제어부(108)의 동작이 제1 및 제2의 실시예와 다르다.

투영 방향 판정부(1510)는, 투영부(100)의 투영 방향이 수평 또는 수직인지를 판정한다. 도 16은, 투영부(100)에 의해 다루어질 수 있는 투영 방향을 모식적으로 나타낸 도면이다.

도 16에 있어서, 투영부100a는, 벽등의 수직면에 투영하고 있는 상태를, 투영부100b는, 책상등의 수평면에 투영하고 있는 상태를, 각각 모식적으로 보이고 있다.

투영 방향 판정부(1510)는, 투영부(100)의 기울기를 검출하는 기울기 센서, 예를 들면 자이로(gyro) 센서를 구비하고 있다. 그리고, 기울기 센서로부터 출력된 투영부(100)의 기울기에 의거하여, 투영부(100)의 투영 방향(수직면에 투영하고 있는지 수평면에 투영하고 있는지)를 판정한다. 구체적으로는, 투영 방향 판정부(1510)가 투영부의 투영 광학계의 광축이 한계값 아래로 기울고 있다고 판정한 경우에, 투영 방향 판정부(1510)는, 투영부가 수평면에 투영하고 있다고 판정하고, 그 이외의 기울기의 경우에는 수직면에 대하여 투영하고 있다고 판정한다. 투영 방향 판정부(1510)는, 투영 방향의 판정 결과를 메뉴 표시 제어부(108)에 출력한다.

또한, 메뉴 표시 제어부(108)에는, 제1의 실시예와 마찬가지로, 삽입 방향 판정부(107)로부터 손의 위치 및 손의 삽입 방향 정보가 출력된다.

도 17은, 본 실시예의 메뉴 표시 제어부(108)의 동작의 일례를 나타내는 흐름도다.

S1701에서, 메뉴 표시 제어부(108)는, 투영 화상에 손이 특정 기간 이상 삽입되어 있는 것인가 아닌가를 판정한다. 손이 특정 기간 이상 삽입되어 있다고 판정될 경우, 메뉴 표시 제어부(108)는 처리를 S1702로 진행시킨다. 특정 기간 이상 손이 삽입되지 않고 있는 경우에는, 메뉴 표시 제어부(108)는 처리를 종료한다.

S1702에서, 메뉴 표시 제어부(108)는, 투영 방향 판정부(1510)로부터 출력된 투영 방향 정보에 의거하여 투영부(100)가 수평면에 대하여 투영하고 있는지를 판정한다. 투영부(100)가 수평면에 대하여 투영하고 있는 경우에는, 메뉴 표시 제어부(108)는, 손의 삽입 방향에 따라 메뉴의 표시 방향을 회전시키기 위해서, 처리를 단계 S1703으로 진행시킨다. 한편, 투영부(100)가 수평면에 대하여 투영하지 않고 있는 경우, 즉 투영부(100)가 수직면에 대하여 투영하고 있는 경우에는, 메뉴의 표시 방향의 제어는 행하지 않기 때문에, 메뉴 표시 제어부(108)는 처리를 S1704로 진행시킨다.

투영부(100)가 수직면에 대하여 투영하고 있다고 판정될 때에, 메뉴 표시 제어부(108)가 메뉴의 표시 방향의 제어를 행하지 않는 이유에 관하여 설명한다. 도 18은 화상투영장치(11)(투영부(100))가 수직면에 대하여 투영하고 있는 상태를 모식적으로 도시한 도면이다.

수직면에 투영하고 있는 경우, 유저(1802)가 보는 투영 화상(1801)의 방향은 항상 일정하다. 그 때문에, 도 18에 나타나 있는 바와 같이 투영 화상의 좌우로부터 손이 삽입되었을 경우에, 제1의 실시예에서 설명한 바와 같이 메뉴의 표시 방향을 회전시키면, 유저에 있어서는 반대로 메뉴의 가독성이 악화할 것이다. 이에 따라서, 본 실시예에서는, 수직면에 투영하고 있다고 판정되는 경우에는, 메뉴의 표시 방향을 제어하지 않는다. 즉, 소정의 피사체의 이동 방향에 상관없이, 일정한 표시 방향을 결정한다.

S1703에서, 메뉴 표시 제어부(108)는, 삽입 방향 판정부(107)로부터 검출된 손의 위치와 삽입 방향에 따라, 그 메뉴의 회전각도를 결정한다. 이때에, 제1의 실시예에서 설명한 도 6의 S602와 같은 처리를 행한다.

S1704에서, 메뉴 표시 제어부(108)는, 손의 위치에 따라 메뉴의 표시 위치를 결정한다. 메뉴의 표시 위치는, 제1의 실시예에서 설명한 도 6의 S603과 같은 처리에 의해, 다시 말해, 도 8a-도 8d에 나타낸 것처럼 결정된다.

수직면에 대하여 투영하고 있는 경우의 메뉴 표시의 예를 도 19에 나타낸다. 도 19는, 투영 화상(1901)의 우측으로부터 손이 삽입된 상태를 나타낸다. 메뉴(1902)는, 투영 화상(1901)의 우단에 중첩되고 이 우단을 따라 표시되지만, 수직면에 그 화상이 투영되고 있기 때문에, 제1의 실시예(도7b)와는 달리, 메뉴(1902)는 회전되지 않는다. 또한, 메뉴(1902)의 항목들은, 수직 정렬로 배치된다.

S1705에서, 메뉴 표시 제어부(108)는, 메뉴를 투영 화상에 오버레이 해서 표시하는 요구를 시스템 제어부(103)에 보낸다. 여기에서의 처리는, 도 6의 S603에서 행해진 제어와 같다.

도 15로 되돌아가서, 시스템 제어부(103)는, 메뉴 표시 제어부(108)로부터의 메뉴 표시 요구를 받고, 투영 화상 생성부(101)를 제어해서 메뉴를 중첩 표시시킨다. 시스템 제어부(103)는, 유저 조작 검출부(106)가 검출한 유저 조작에 따라 처리를 행한다. 이것들의 처리는, 제1의 실시예에서의 처리와 같기 때문에, 그 상세한 설명은 생략한다.

이상에서 설명한 바와 같이, 본 실시예에 의하면, 투영 방향을 판정하는 투영 방향 판정부를 구비하고, 수평면에 대하여 투영하고 있는 경우와, 수직면에 대하여 투영하고 있는 경우에서 메뉴의 표시 방법을 바꿈으로써, 투영되는 메뉴의 가독성과 편리성을 향상하는 것이 가능해진다.

본 실시예에서는, 제1의 실시예와 같이, 손이 삽입될 때에 메뉴를 표시하는 경우를 예로 들어 설명했다. 그러나, 제2의 실시예에서 설명한 바와 같이, 한번 투영 화상에 삽입된 손이 투영 화상으로부터 떨어졌을 경우에 메뉴를 표시하도록 제어를 행하여도 된다.

또한, 본 실시예에서는, 투영 방향 판정부(1510)가 자이로 센서에 의한 기울기 정보에 근거하여 투영 방향을 판정하는 경우에 관하여 설명했지만, 투영 방향의 검출은 이것에 한정되지 않는다. 예를 들면, 수평면 또는 수직면에 투영하기 위해 유저로부터의 설정을 접수하는 설정부를 설치하여도 되고, 그 설정된 정보에 근거해 어느 쪽의 면에 투영하는 것인지를 판정해도 된다.

(다른 실시예)

상기의 실시예에서는 모두, 메뉴의 조작에 사용된 소정의 피사체로서, 손을 소정의 피사체로서 설정하고, 촬상화상에서 검출된 손영역의 위치 및 삽입 방향에 따라 메뉴의 표시 제어를 행하는 경우를 예들로 들어 설명했다. 그러나, 예를 들면 유저가 직접 손으로 메뉴를 조작하지 않은 경우이여도, 본 발명을 적용가능하다. 예를 들면, 유저가 펜이나 포인터 등을 사용해서 메뉴를 조작하는 경우에는, 손 대신에 펜이나 포인터를 특정한 피사체로서 검출하는 것이 가능하다. 이렇게, 본 발명은, 본질적으로, 메뉴를 조작하기 위해서 사용된 소정의 피사체와 그 위치를 검출할 수 있으면, 그 소정의 피사체의 형상이나 그 위치의 검출 방법은 어떤 것이어도 된다.

따라서, 메뉴를 조작하기 위해서 사용된 소정의 피사체의 검출에, 투영 화상을 포함하는 범위를 촬상한 촬상된 피사체를 사용할 필요가 없고, 다른 임의의 방법을 사용할 수 있다. 예를 들면, 유저의 손에 위치센서를 부착하고, 위치센서가 검출하는 위치 및 어떠한 변화에 의거하여 손의 위치 및 그 이동 방향을 판정해도 좋다. 이 경우, 촬상부 대신에 위치센서를 사용하고, 손영역 검출부(105) 대신에 이미지 센서의 출력으로부터 위치를 검출하는 위치 검출부를 설치한다. 아울러, 삽입 방향 판정부(107)는, 검출된 위치의 시간적인 변화에 따라 삽입 방향을 판정하여도 된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

본 출원은 2007년 9월 4일에 출원된 일본특허출원 제2007-229455호의 이점을 청구하고, 여기서는 이것들이 전체적으로 참고로 포함된다.

Claims

투영 화상과 GUI(Graphical User Interface) 화상을 투영면에 투영하는 투영부;
상기 투영면에 대한 소정의 피사체의 위치를 검출하는 위치 검출부;
상기 위치 검출부의 검출 결과에 의거하여 상기 소정의 피사체의 이동 방향을 판정하는 이동 방향 판정부;
상기 위치 검출부에 의한 검출 결과와, 상기 이동 방향 판정부에 의한 판정 결과에 근거하여, 상기 GUI 화상의 표시 위치 및 표시 방향 중 적어도 한쪽을 결정하는 결정부;
상기 결정부가 결정한 상기 표시 위치 및 표시 방향 중 적어도 한쪽에 의거하여 상기 투영부에서 행해진 상기 GUI 화상의 투영 동작을 제어하는 제어부; 및
상기 GUI 화상이 투영된 상기 투영면의 상기 위치 검출부의 검출 결과에 의거하여 조작을 검출하는 조작 검출부를 구비한, 화상투영장치.
제 1 항에 있어서,
상기 위치 검출부는, 상기 투영부가 투영한 화상을 포함하는 상기 투영면을 촬상한 촬상 화상을 사용해서 상기 소정의 피사체를 검출하는, 화상투영장치.
제 1 항에 있어서,
상기 결정부는, 상기 소정의 피사체의 이동 방향과 상기 GUI화상의 상부가 일치하도록 상기 GUI 화상의 표시 방향을 결정하는, 화상투영장치.
제 1 항에 있어서,
상기 결정부는, 상기 소정의 피사체의 근방에서, 상기 소정의 피사체의 이동 방향으로 이격된 위치를 상기 표시 위치로서 결정하는, 화상투영장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 결정부는, 상기 투영면에 투영된 화상 위에 상기 소정의 피사체가 소정의 기간 이상 존재하는 경우에, 상기 결정을 행하는, 화상투영장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 결정부는, 상기 투영면에 투영된 화상 위에 상기 소정의 피사체가 소정의 기간 이상 존재한 후, 더 이상 존재하지 않은 경우에, 상기 결정을 행하는, 화상투영장치.
제 6 항에 있어서,
상기 결정부는, 상기 소정의 피사체가 더 이상 존재하지 않게 되기 직전에 판정된 이동 방향에 의거하여 상기 표시 위치 및 표시 방향을 결정하는, 화상투영장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 화상투영장치는 상기 투영부의 투영 방향을 판정하는 투영 방향판정부를 더 구비하고,
상기 투영 방향 판정부에 의해, 상기 투영부가 수직면에 대하여 투영하고 있는 것이라고 판정되는 경우, 상기 결정부는, 상기 소정의 피사체의 이동 방향에 상관없이 일정한 표시방향을 결정하는, 화상투영장치.
투영부에 의해 투영 화상을 투영면에 투영하는 투영 단계;
상기 투영면에 대한 소정의 피사체의 위치에 관한 정보를 검출하는 위치 검출단계;
상기 위치 검출단계에서 검출된 상기 소정의 피사체의 위치에 관한 정보로부터, 상기 소정의 피사체의 이동 방향을 판정하는 이동 방향 판정단계;
상기 위치 검출단계에 의한 검출 결과와, 상기 이동 방향 판정단계에 의한 판정 결과에 근거하여, 상기 투영부를 사용해서 투영시키는 GUI 화상의 표시 위치 및 표시 방향 중 적어도 한쪽을 결정하는 결정단계;
상기 결정단계에서 결정된 상기 표시 위치 및 상기 표시 방향 중 적어도 한쪽에 의거하여 상기 투영부를 제어함과 동시에, 상기 GUI 화상을 상기 화상 위에 투영시키는 제어단계; 및
상기 GUI 화상이 투영된 상기 투영면에 있어서 상기 위치 검출단계에 의하여 검출된 상기 소정의 피사체의 위치에 관한 정보에 의거하여 조작을 검출하는 조작 검출단계를 포함하는, 화상투영장치의 제어방법.