KR20140107206A

KR20140107206A - 정보 처리 장치, 정보 처리 방법 및 기록 매체

Info

Publication number: KR20140107206A
Application number: KR1020147013731A
Authority: KR
Inventors: 오사무 시게타; 가즈유키 야마모토; 야스시 오쿠무라; 요시히토 오키; 다쿠오 이케다; 겐이치 오카다; 준키 오무라; 미치나리 고노; 나오키 사이토
Original assignee: 소니 주식회사
Priority date: 2011-12-09
Filing date: 2012-11-30
Publication date: 2014-09-04
Also published as: CN103959204A; RU2014122322A; US10564827B2; CN103959204B; BR112014013356A2; EP2790086A1; EP2790086A4; TW201337644A; WO2013084821A1; US20140337807A1; JP2013140568A; JP6243112B2; EP2790086B1

Abstract

유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상의 합성을 제어하는 처리부를 구비하고, 합성된 화상에서는, 촬상 화상의 가시화의 정도가 변화되어 보이는 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 기록 매체{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM}

본 발명은, 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.

최근 들어, 전자 기기 등의 장치의 고기능화나 다기능화가 점점 진행되고 있어, 유저가 장치를 사용하기 위해 그 장치에 주어야 할 지시 내용은, 보다 다양화, 복잡화되고 있다. 이러한 가운데, 대다수의 장치에서는 유저 인터페이스로서 GUI(Graphical User Interface)가 채용되고 있으며, 유저는, CUI(Character User Interface)가 채용되고 있는 장치를 이용하는 경우보다도, 보다 용이하게 장치에 지시를 주는 것이 가능해졌다. 그러나, 예를 들어 마우스 등의 포인팅 디바이스를 사용한 조작에 익숙하지 않은 유저에게 있어서는, 포인팅 디바이스를 사용하여 조작이 행해지는 GUI는 반드시 조작성이 좋은 유저 인터페이스는 아니다.

이러한 가운데, 조작성을 향상시키기 위한 유저 인터페이스에 관한 기술이 개발되고 있다. 촬상 화상과, 소정의 이벤트와 관련된 오브젝트에 관한 오브젝트 화상을 합성한 화상을 표시 화면에 표시시키는 기술로서는, 예를 들어 특허문헌 1에 기재된 기술을 들 수 있다.

일본 특허공개 제2005-216061호 공보

예를 들어 특허문헌 1에 기재된 기술을 이용하는 경우와 같이, 촬상 화상(또는, 촬상한 화상에 기초하는 경면 화상. 이하, 마찬가지로 함)과, 소정의 이벤트와 관련된 오브젝트에 관한 오브젝트 화상을 합성한 화상을 표시 화면에 표시시킴으로써, 유저에 대하여 자신의 제스처 동작을 피드백하는 것이 가능해진다.

또한, 예를 들어 특허문헌 1에 기재된 기술이 적용된 장치를 이용하는 유저는, 제스처 동작에 의해 오브젝트를 조작함으로써, 그 오브젝트와 관련된 소정의 이벤트에 관한 처리를, 그 장치에 행하게 할 수 있다. 여기서, 예를 들어 특허문헌 1에 기재된 기술에서는, 촬상 화상으로부터 검출되는 유저의 위치에 따라서 오브젝트 화상을 합성하는 위치를 바꾼다. 따라서, 예를 들어 특허문헌 1에 기재된 기술을 이용함으로써, 예를 들어 유저가 오브젝트에 대한 조작이 곤란해지는 등의 문제가 발생할 우려를 저감할 수 있을 가능성이 있다.

그러나, 예를 들어 특허문헌 1에 기재된 기술은, 촬상 화상으로부터 검출되는 유저의 위치에 따라서 오브젝트 화상을 합성하는 위치를 변화시키는 것이다. 따라서, 예를 들어 웹 페이지와 같이, 버튼이나 아이콘 등의 유저에 의한 조작 가능한, 조작의 대상이 되는 오브젝트(이하, 「조작 대상 오브젝트」라 함)를 포함하는 조작 대상 화상과, 촬상 화상을 합성하는 경우에 있어서, 예를 들어 특허문헌 1에 기재된 기술을 적용하는 것은 곤란하다.

여기서, 유저에게 제스처 인식을 피드백하기 위한 촬상 화상과, 조작 대상 화상을 표시 화면에 표시하는 방법으로서는, 예를 들어, 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 방법이나, 촬상 화상 및 조작 대상 화상의 각각을, 표시 화면을 분할한 각 영역에 별도 화상으로서 표시하는 방법이 고려된다.

그러나, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 방법을 이용하는 경우에는, 예를 들어 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트 위에 촬상 화상의 내용이 중첩됨으로써, 조작 대상 오브젝트의 시인성이 저하될 우려가 있다. 또한, 촬상 화상 및 조작 대상 화상의 각각을, 표시 화면을 분할한 각 영역에 별도 화상으로서 표시하는 방법을 이용하는 경우에는, 예를 들어 조작 대상 화상이 표시되는 영역의 사이즈나 면적이, 표시 화면 전체보다도 작아짐으로써, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성이 저하될 우려가 있다.

본 발명에서는, 조작 대상 오브젝트의 시인성 저하를 방지하면서, 촬상 화상과 조작 대상 화상을 표시 화면에 표시시키는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 기록 매체를 제안한다.

본 발명에 의하면, 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상의 합성을 제어하는 처리부를 구비하고, 상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 장치가 제공된다.

또한, 본 발명에 의하면, 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 갖고, 상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 방법이 제공된다.

또한, 본 발명에 의하면, 컴퓨터에 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 실행시키고, 상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체가 제공된다.

또한, 본 발명에 의하면, 유저에게 제스처 인식을 피드백하기 위한 촬상 화상, 또는 제스처 인식의 결과에 따라서 조작되는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 상기 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 상기 조작 대상 화상을 합성하는 화상 처리부와, 합성된 화상을 표시 화면에 표시시키는 표시 제어부를 구비하는, 화상 처리 장치가 제공된다.

또한, 본 발명에 의하면, 유저에게 제스처 인식을 피드백하기 위한 촬상 화상, 또는 제스처 인식의 결과에 따라서 조작되는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 상기 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 상기 조작 대상 화상을 합성하는 스텝과, 합성된 화상을 표시 화면에 표시시키는 스텝을 갖는 화상 처리 방법이 제공된다.

본 발명에 의하면, 조작 대상 오브젝트의 시인성 저하를 방지하면서, 촬상 화상과 조작 대상 화상을 표시 화면에 표시시킬 수 있다.

도 1a는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 1b는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 2a는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 2b는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 3은, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 촬상 화상으로부터 유저를 포함하는 영역을 잘라내는 처리의 일례를 설명하기 위한 설명도이다.
도 4a는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 4b는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 5는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 6은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 조작 패널의 일례를 나타내는 설명도이다.
도 7은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 8은, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 도 7에 도시한 바와 같은 합성된 화상의 표시를 실현하는 처리의 일례를 설명하기 위한 설명도이다.
도 9는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 10은, 본 실시 형태에 따른 조작 대상 오브젝트의 일례를 나타내는 설명도이다.
도 11은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.
도 12는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리의 일례를 나타내는 흐름도이다.
도 13은, 본 실시 형태에 따른 화상 처리 장치의 구성의 일례를 나타내는 블록도이다.
도 14는, 본 실시 형태에 따른 화상 처리 장치의 하드웨어 구성의 일례를 나타내는 설명도이다.

이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

또한, 이하에서는, 하기에 나타내는 순서로 설명을 행한다.

1. 본 실시 형태에 따른 화상 처리 방법(정보 처리 방법)

2. 본 실시 형태에 따른 화상 처리 장치(정보 처리 장치)

3. 본 실시 형태에 따른 프로그램

(본 실시 형태에 따른 화상 처리 방법)

본 실시 형태에 따른 화상 처리 장치(정보 처리 장치. 이하, 마찬가지로 함)의 구성에 대하여 설명하기 전에, 본 실시 형태에 따른 화상 처리 방법(정보 처리 방법. 이하, 마찬가지로 함)에 대하여 설명한다. 또한, 이하에서는, 본 실시 형태에 따른 화상 처리 장치가, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 행하는 것으로서 설명한다.

[1] 본 실시 형태에 따른 화상 처리 방법의 개요

전술한 바와 같이, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 경우에는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성이 저하될 우려가 있다. 또한, 촬상 화상 및 조작 대상 화상의 각각을, 표시 화면을 분할한 각 영역에 별도 화상으로서 표시시키는 경우에도, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성이 저하될 우려가 있다.

따라서, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상, 또는 조작 대상 오브젝트를 포함하는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 조작 대상 화상을 합성한다(합성 처리). 그리고, 본 실시 형태에 따른 화상 처리 장치는, 합성된 화상을 표시 화면에 표시시킨다(표시 제어 처리).

여기서, 본 실시 형태에 따른 촬상 화상이란, 예를 들어 외부의 촬상 장치, 또는 본 실시 형태에 따른 화상 처리 장치가 촬상부(후술함)를 구비하는 경우에는 그 촬상부(후술함)에 의해 촬상된 화상에 대하여, 거울상 처리(좌우 반전 처리)가 실시된 화상이다. 본 실시 형태에 따른 촬상 화상은, 유저에게 제스처 인식을 피드백하는 역할을 완수한다. 촬상 화상이 합성된 화상이, 표시 화면에 표시됨으로써, 유저는, 예를 들어 자신의 손을 슬라이드시키는, 자신의 손을 이용하여 누르는 조작을 행하는, 복수 개의 손가락으로 확대 조작, 축소 조작, 이동 조작을 행하는 등, 자신의 제스처 내용을 시각적으로 확인할 수 있다. 여기서, 거울상 처리는, 본 실시 형태에 따른 화상 처리 장치가 행해져도 되고, 또는 촬상을 행한 촬상 장치 등의 외부 장치에 있어서 행해져도 된다. 또한, 본 실시 형태에 따른 촬상 화상으로서는, 예를 들어 동화상(또는, 복수의 정지 화상)을 들 수 있다. 이하에서는, 본 실시 형태에 따른 촬상 화상이, 복수의 프레임 화상을 포함하는 동화상인 경우를 예로 들어 설명한다.

또한, 본 실시 형태에 따른 촬상 화상은, 거울상 처리(좌우 반전 처리)가 실시된 화상에 한정되지 않는다. 예를 들어, 촬상 장치나 촬상부(후술함)에 있어서 거울상이 촬상되는 경우에는, 본 실시 형태에 따른 촬상 화상은, 촬상된 화상 바로 그 자체이어도 된다.

또한, 본 실시 형태에 따른 조작 대상 화상이란, 예를 들어 제스처 인식의 결과에 따라서 조작되는 조작 대상 오브젝트를 포함하는 화상이다. 여기서, 본 실시 형태에 따른 조작 대상 화상으로서는, 예를 들어 웹 페이지나, 각 기기의 메뉴 화면, 조작 화면을 나타내는 화상을 들 수 있다. 또한, 본 실시 형태에 따른 조작 대상 오브젝트로서는, 예를 들어 버튼이나, 아이콘, 하이퍼 링크 등의 링크 등을 들 수 있다. 또한, 제스처 인식에 관한 처리는, 본 실시 형태에 따른 화상 처리 장치가 행해져도 되고, 본 실시 형태에 따른 화상 처리 장치의 외부 장치가 행해져도 된다.

또한, 본 실시 형태에 따른 표시 화면으로서는, 예를 들어 외부의 표시 장치에 있어서의 표시 화면, 또는 본 실시 형태에 따른 화상 처리 장치가 표시부(후술함)를 구비하는 경우에는, 그 표시부(후술함)에 있어서의 표시 화면을 들 수 있다.

본 실시 형태에 따른 화상 처리 장치는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리로서, 예를 들어, (1) 합성 처리 및, (2) 표시 제어 처리를 행한다. 이하, 본 실시 형태에 따른 화상 처리 방법에 관한 처리에 대하여 보다 구체적으로 설명한다.

(1) 합성 처리

본 실시 형태에 따른 화상 처리 장치는, 촬상 화상, 또는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 촬상 화상의 가시화의 정도를 변화시킨다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 가시화의 정도를 변화시킨 촬상 화상과 조작 대상 화상을 합성한다.

여기서, 본 실시 형태에 따른 촬상 화상의 가시화의 정도의 변화란, 예를 들어 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 변화시키는 것이나, 촬상 화상을 평활화하는 평활화의 정도를 변화시키는 것 등을 들 수 있다. 또한, 본 실시 형태에 따른 촬상 화상의 부분적인 가시화로서는, 예를 들어 촬상 화상을 투과시키는 정도를 변화시키는 것, 또는 촬상 화상이 표시되는 면적을 변화시키는 것을 들 수 있다. 본 실시 형태에 따른 촬상 화상의 가시화의 정도의 변화의 구체예에 대해서는, 후술한다.

(1-1) 부분적 범위의 변화에 관한 처리의 제1 예

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 인식되는 소정의 대상에 기초하여, 부분적 범위를 결정한다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 결정된 부분적 범위에 기초하여, 예를 들어 촬상 화상을 투과시키는 정도를 변화시킴으로써, 촬상 화상을 부분적으로 가시화한다.

여기서, 본 실시 형태에 따른 소정의 대상으로서는, 예를 들어 유저의 얼굴이나, 유저의 손 등의 오브젝트를 들 수 있다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저의 눈, 코, 입, 골격 등의 특징점의 검출이나, 얼굴의 휘도 분포 및 구조 패턴과 유사한 영역을, 촬상 화상으로부터 검출함으로써, 유저의 얼굴을 포함하는 얼굴 영역을 인식한다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 에지 검출이나 패턴 매칭 등의 다양한 화상 처리를 촬상 화상에 대하여 행함으로써, 촬상 화상으로부터 유저의 손 등의 인식 대상의 오브젝트를 인식한다.

또한, 본 실시 형태에 따른 화상 처리 장치에 있어서의 소정의 대상의 인식 처리는, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 소정의 대상으로서 동체(動體)를 인식하고, 인식된 동체를 포함하는 영역을, 부분적 범위로서 결정하여도 된다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 현 프레임에 대응하는 화상과 이전 프레임에 대응하는 화상에 있어서의 차분의 검출이나, 움직임 벡터의 변화 검출을 행함으로써, 동체를 검출하지만, 동체의 검출 방법은, 상기에 한정되지 않는다.

이하, 본 실시 형태에 따른 부분적 범위의 변화에 관한 처리의 일례에 대하여, 보다 구체적으로 설명한다.

[A] 제1 예: 소정의 대상으로서 얼굴을 인식하는 경우

소정의 대상으로서 얼굴을 인식하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 얼굴을 인식하고, 인식된 얼굴 이외의 부분을, 부분적 범위로서 결정한다.

도 1a, 도 1b, 도 2a, 도 2b는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다. 여기서, 도 1a는, 도 1b에 도시한 실제 예의 개념도이며, 또한, 도 2a는, 도 2b에 도시한 실제 예의 개념도이다. 또한, 도 1a, 도 1b, 도 2a, 도 2b는, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 얼굴 이외의 부분을, 부분적 범위로서 결정한 경우에 있어서의 화상의 일례를 나타내고 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 인식된 얼굴 영역으로부터 반투명의 그라데이션을 적용하는 처리를 행함으로써, 인식된 얼굴 이외 부분의 가시화를 실현한다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 반투명의 그라데이션을 적용할 때의 투과도를, 촬상 화상의 배경 부분(예를 들어 인식된 얼굴 영역 이외의 부분)에 따라서 동적으로 변화시켜도 된다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상의 배경 부분에 있어서의 공간 주파수나 색조를 검출하고, 검출 결과에 따라서 동적으로 투과도를 바꾼다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 검출된 공간 주파수가 높을수록(복잡한 화상일수록), 투과도를 낮게 하고, 또한, 검출된 색조가 짙을수록, 투과도를 낮게 한다. 예를 들어 상기한 바와 같이 검출된 공간 주파수가 높을수록, 투과도를 낮게 하고, 또한, 검출된 색조가 짙을수록, 투과도를 낮게 함으로써, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성 저하를 방지할 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치에 있어서의 투과도를 동적으로 변경하는 처리는, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상(또는, HTML 데이터나 XML 데이터 등, 조작 대상 화상을 구성하는 데이터)로부터 조작 대상 오브젝트의 위치를 특정하고, 특정된 위치를 포함하는 영역 위의 투과도를 낮게 하여도 된다. 즉, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 결정함으로써, 그 부분적 범위를 변화시키는 것도 가능하다.

여기서, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여 부분적 범위를 변화시키는 처리와, 촬상 화상으로부터 인식되는 소정의 대상에 기초하여 부분적 범위를 변화시키는 처리 중 어느 한쪽의 처리를 배타적으로 행하여도 되고, 양쪽의 처리를 행하여도 된다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 상기 양쪽의 처리를 행하는 경우에는, 예를 들어 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여 부분적 범위를 변화시키는 처리의 우선도를 보다 높게 설정하는 등, 각 처리에 우선도를 설정하여도 된다.

예를 들어 상기한 바와 같이, 조작 대상 오브젝트의 위치에 기초하여 투과도를 동적으로 변화시킴으로써, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성 저하를 방지할 수 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상 전체를 부분적 범위를 결정하는 대상의 영역으로 하지만, 본 실시 형태에 따른 부분적 범위를 결정하는 대상의 영역은, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 유저를 인식하고, 촬상 화상에 있어서의 인식된 유저를 포함하는 일부 영역을, 촬상 화상으로부터 잘라낸다(또는, 크로핑 한다. 이하, 마찬가지로 함). 그리고, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 잘라내진 영역을, 부분적 범위를 결정하는 대상의 영역으로 하여도 된다.

보다 구체적으로는, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 얼굴 영역을 검출한다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 얼굴 영역의 사이즈와 유저를 포함하는 영역(잘라내는 영역)의 사이즈가 대응지어진 룩업 테이블을 참조하여, 검출된 얼굴 영역의 사이즈에 대응하는 소정의 사이즈의 영역을, 얼굴이 검출된 유저를 포함하는 영역으로서 결정한다. 또한, 본 실시 형태에 따른 유저를 포함하는 영역의 결정 방법은, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 얼굴 영역의 검출 결과와, 에지 검출 처리의 결과에 기초하여, 유저를 포함하는 최소한의 영역을, 유저를 포함하는 영역으로서 결정하는 것도 가능하다.

도 3은, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 촬상 화상으로부터 유저를 포함하는 영역을 잘라내는 처리의 일례를 설명하기 위한 설명도이다. 도 3에 도시한 A는, 촬상 화상 전체를 나타내고 있으며, 도 3에 도시한 B는, 도 3의 A에 도시한 부분적 범위를 결정하는 대상의 영역 AR을, 잘라내어 스케일링한 영역 AR'를 나타내고 있다.

예를 들어 도 3에 도시한 바와 같이, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 잘라낸 부분적 범위를 결정하는 대상의 영역을 스케일링하는 등, 잘라내기 외에 또 다른 처리를 행하는 것도 가능하다. 또한, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 잘라낸 부분적 범위를 결정하는 대상의 영역에 대하여, 스케일링 등의 또 다른 처리를 행하지 않아도 됨은 물론이다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 3의 B에 도시한 영역 AR'(촬상 화상으로부터 잘라낸 영역에 기초하는 영역의 일례)와 조작 대상 화상을 합성하는 경우에는, 예를 들어 영역 AR'를 조작 대상 화상의 수평 방향에 있어서의 중앙 부분에 합성하는 등, 합성하는 위치의 보정을 행하여도 된다.

또한, 도 1a 내지 도 3에서는, 촬상 화상에 1명의 유저가 포함되어 있는 경우를 나타내고 있지만, 본 실시 형태에 따른 촬상 화상에는, 여러 명의 유저가 포함되어 있어도 된다. 본 실시 형태에 따른 화상 처리 장치는, 복수의 유저를 촬상 화상으로부터 인식한 경우에는, 인식된 유저마다, 인식된 유저를 포함하는 일부 영역을 촬상 화상으로부터 잘라낸다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 잘라내진 각 영역(또는, 각 영역에 대하여 스케일링 등의 또 다른 처리가 행해진 영역)을, 인식된 각 유저에 대응하는 부분적 범위를 결정하는 대상의 영역으로 한다. 또한, 복수의 유저를 촬상 화상으로부터 인식한 경우에 있어서도, 본 실시 형태에 따른 화상 처리 장치는, 상기 잘라내진 각 영역을 조작 대상 화상에 합성하는 위치를 보정하는 것이 가능하다.

또한, 복수의 유저가 촬상 화상으로부터 인식된 경우, 본 실시 형태에 따른 화상 처리 장치 또는 외부 장치가 행하는 제스처 인식에 관한 처리는, 예를 들어 인식된 유저마다 독립적으로 행해져도 되고, 복수의 유저의 조작에 의해 협조하여 행해져도 되며, 배타적으로 행해져도 된다. 또한, 복수의 유저가 촬상 화상으로부터 인식된 경우, 본 실시 형태에 따른 화상 처리 장치 또는 외부 장치가 행하는 제스처 인식에 관한 처리는, 예를 들어 각 유저에게 설정되는 우선도에 따라서 행해져도 된다. 여기서, 상기 우선도의 설정 방법으로서는, 예를 들어, 처음에 인식된 유저나, 마지막에 인식된 유저, 인식된 유저를 포함하는 일부 영역의 사이즈가 가장 큰 유저의 우선도를 높게 설정하는 등의 다양한 방법을 들 수 있다.

[B] 제2 예: 소정의 대상으로서 손을 인식하는 경우

소정의 대상으로서 손을 인식하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 손을 인식하고, 인식된 손을 포함하는 영역을, 부분적 범위로서 결정한다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상 전체로부터 손을 인식하여도 되고, 도 3에 도시한 바와 같이, 촬상 화상으로부터 잘라내진 영역으로부터 손을 인식하여도 된다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상에 있어서의 인식된 손을 포함하는 영역 이외의 영역에 대하여 마스크를 적용하는 처리 등을 행함으로써, 인식된 손을 포함하는 영역의 가시화를 실현한다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 반투명의 그라데이션을 적용하는 처리를 행함으로써, 인식된 손을 포함하는 영역의 가시화를 실현하여도 된다. 여기서, 반투명의 그라데이션을 적용하는 처리를 행하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 상기 제1 예에 따른 처리와 마찬가지로, 예를 들어 반투명의 그라데이션을 적용할 때의 투과도를, 촬상 화상의 배경 부분에 따라서 동적으로 변화시켜도 된다.

[C] 제3 예: 소정의 대상으로서 동체를 인식하는 경우

소정의 대상으로서 동체를 인식하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 소정의 대상으로서 동체를 인식하고, 인식된 동체를 포함하는 영역을, 부분적 범위로서 결정한다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상 전체로부터 동체를 인식하여도 되고, 도 3에 도시한 바와 같이, 촬상 화상으로부터 잘라내진 영역으로부터 동체를 인식하여도 된다.

도 4a, 도 4b는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다. 여기서, 도 4a는, 도 4b에 도시한 실제 예의 개념도이다. 또한, 도 4a, 도 4b는, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 동체가 인식된 영역을, 부분적 범위로서 결정한 경우에 있어서의 화상의 일례를 나타내고 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 4a, 도 4b에 도시한 바와 같이, 마치 간유리(frosted glass)를 손으로 문지른 것처럼 동체가 인식된 영역을 가시화함으로써, 동체가 인식된 영역의 가시화를 실현한다. 또한, 소정의 대상으로서 동체를 인식하는 경우에 있어서 표시 화면에 표시되는 화상이, 도 4a, 도 4b에 도시한 예에 한정되지 않음은 물론이다.

(1-2) 부분적 범위의 변화에 관한 처리의 제2 예

상기에서는, 부분적 범위의 변화에 관한 처리의 제1 예로서, 본 실시 형태에 따른 화상 처리 장치가, 예를 들어 촬상 화상으로부터 인식되는 소정의 대상에 기초하여 부분적 범위를 결정하고, 결정된 부분적 범위에 기초하여 촬상 화상을 부분적으로 가시화하는 예를 나타내었다. 그러나, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 부분적 범위의 변화에 관한 처리는, 상기한 예에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상이 표시되는 면적을 변화시킴으로써, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 변화시키는 것도 가능하다.

도 5는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다. 여기서, 도 5는, 촬상 화상에 대하여 마스크를 적용함으로써, 촬상 화상을 가시화시키는 부분적 범위를 변화시킨 예를 나타내고 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 5에 도시한 바와 같이, 촬상 화상에 대하여 마스크를 적용함으로써 촬상 화상이 표시되는 면적을 작게 하고, 촬상 화상을 가시화시키는 부분적 범위를 변화시킨다.

또한, 본 실시 형태에 따른 화상 처리 장치에 있어서의 처리는, 도 5에 도시한 예에 한정되지 않는다. 예를 들어, 도 5에서는, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상 전체에 대하여 균일한 마스크를 적용하고 있는 예를 나타내고 있지만, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 마스크의 밀도나 형상 등을 동적으로 변화시켜도 된다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상(또는, HTML 데이터나 XML 데이터 등, 조작 대상 화상을 구성하는 데이터)으로부터 조작 대상 오브젝트의 위치를 특정하고, 특정된 위치를 포함하는 영역 위, 또는 그 영역 부근의 마스크 밀도를 작게 한다. 즉, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 결정함으로써, 그 부분적 범위를 변화시키는 것도 가능하다.

예를 들어 상기한 바와 같이, 조작 대상 오브젝트의 위치에 기초하여 마스크의 밀도나 형상 등을 동적으로 변화시킴으로써, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트의 시인성 저하를 더 방지할 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상 전체에 마스크를 적용함에 한정되지 않고, 표시 화면의 일부에 표시되는 조작 패널(조작 대상 오브젝트의 일례)에 대하여 마스크를 적용하여도 된다. 도 6은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 조작 패널의 일례를 나타내는 설명도이다. 또한, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 조작 패널이, 도 6에 도시한 예에 한정되지 않음은 물론이다.

(1-3) 부분적 범위의 변화에 관한 처리의 제3 예

본 실시 형태에 따른 화상 처리 장치에 있어서의, 부분적 범위의 변화에 관한 처리는, 상기 제1 예, 제2 예에 한정되지 않는다. 도 7은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다.

예를 들어 텔레비전 방송 등에 관한 콘텐츠를 나타내는 화상이 표시 화면에 표시되어 있는 경우에 있어서, 유저에 의한 그 콘텐츠의 시청을 가능한 한 방해하지 않도록 제스처를 유저에게 피드백하는 방법으로서는, 예를 들어 도 7에 도시한 바와 같이, 표시 화면의 일부에 OSD(On Screen Display)를 표시시키는 것을 들 수 있다. 여기서, 도 7에서는, 도 7의 A에 도시한 바와 같이, 표시 화면의 일부에, 촬상 화상의 일부가 합성된 조작 패널(조작 대상 오브젝트의 일례)을 표시시키고 있는 예를 나타내고 있다.

여기서, 예를 들어 OSD에 아이콘만을 표시시키는 경우에는, 예를 들어 "좌우 플릭 조작(제스처의 일례)을 행할 때 어느 정도 팔을 움직이게 하면 좋을지 알 수 없다", "원활하게 조작을 할 수 없는 경우에, 조작에 실패한 원인(예를 들어, 촬상 장치의 화각 밖으로 나오는 등)을 알 수 없는" 등, 유저에 대한 피드백이 충분하지 않은 사태가 일어날 수 있다.

이에 반하여, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 7의 A에 도시한 바와 같이, 촬상 화상으로부터 잘라낸 일부분을 조작 패널에 합성한다. 그리고, 예를 들어 도 7에 도시한 바와 같이, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상이 합성된 조작 패널을 표시 화면에 표시시킨다. 따라서, 도 7에 도시한 바와 같은 화상이 표시 화면에 표시됨으로써, 유저는, 예를 들어 "아이콘에 닿을 정도까지 손을 흔들면 제스처가 인식되는 것"이나, "원활하게 조작을 할 수 없는 경우, 그 원인이 촬상 장치의 화각이나 인식 범위 밖으로 나와버린 것에 있음"을 보다 용이하게 이해하는 것이 가능해진다.

여기서, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 도 7에 도시한 바와 같은 합성된 화상의 표시를 실현하는 처리의 일례에 대하여, 보다 구체적으로 설명한다. 도 8은, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 도 7에 도시한 바와 같은 합성된 화상의 표시를 실현하는 처리의 일례를 설명하기 위한 설명도이다. 도 8은, 촬상 화상의 일례를 나타내고 있다. 이하에서는, 본 실시 형태에 따른 화상 처리 장치가, 유저의 제스처를 인식하는 제스처 인식 대상으로서, 유저의 손을 인식하는 경우를 예로 들어 설명한다.

본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 손(제스처 인식 대상의 일례)을 인식하면, 인식된 손을 포함하는 영역(도 8에 도시한 A)에 기초하여, 제스처를 인식하는 범위를 규정하는 영역을 결정한다(도 8에 도시한 B). 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 인식된 손을 포함하는 영역을 포함하는 영역을, 제스처를 인식하는 범위를 규정하는 영역으로 한다. 여기서, 상기 인식된 손을 포함하는 영역을 포함하는 영역의 사이즈는, 예를 들어 인식된 손을 포함하는 영역의 사이즈에 따라서 결정되지만, 상기 인식된 손을 포함하는 영역을 포함하는 영역의 사이즈 결정 방법은, 상기에 한정되지 않는다. 예를 들어, 상기 인식된 손을 포함하는 영역을 포함하는 영역의 사이즈에는, 하한값이나 상한값이 설정되어 있어도 되고, 유저가 상기 인식된 손을 포함하는 영역을 포함하는 영역의 사이즈를 설정하는 것이, 가능하여도 된다. 예를 들어 상기와 같이 제스처를 인식하는 범위를 규정하는 영역이 결정됨으로써, 인식된 손을 포함하는 영역의 근방의 영역이, 제스처를 인식하는 범위를 규정하는 영역으로서 결정된다.

제스처를 인식하는 범위를 규정하는 영역을 결정하면, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 상기 제스처를 인식하는 범위를 규정하는 영역을 트리밍하고, 트리밍된 영역을 조작 패널에 합성한다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 합성된 조작 패널을 표시 화면에 표시시킨다.

여기서, 본 실시 형태에 따른 화상 처리 장치는, 표시 화면의 미리 규정된 위치에 합성된 조작 패널을 표시시키지만, 본 실시 형태에 따른 화상 처리 장치가, 합성된 조작 패널을 표시시키는 위치는, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 처음에 촬상 화상으로부터 인식된 손(제스처 인식 대상의 일례)의 위치에 대응하는 위치에, 합성된 조작 패널을 표시시켜도 된다.

(1-4) 촬상 화상을 평활화하는 평활화의 정도 변화에 관한 처리

상기에서는, 본 실시 형태에 따른 화상 처리 장치에 있어서의 화상 처리 방법에 관한 처리로서, 부분적 범위의 변화에 관한 처리를 나타내었지만, 본 실시 형태에 따른 화상 처리 방법에 관한 처리는, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 가시화의 정도를 변화시키는 처리로서, 촬상 화상을 평활화하는 평활화의 정도를 변화시켜도 된다.

도 9는, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이다. 여기서, 도 9는, 촬상 화상을 평활화 함으로써, 마치 화가가 그린듯한 회화 풍의 효과(예를 들어, 필촉 효과 등)가 촬상 화상에 대하여 주어진 화상의 일례를 나타내고 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 화상에 있어서의 에지의 벡터 방향(또는, 그 벡터와, 화상의 수직 방향이나 수평 방향 등의 기준 방향과의 각도)을 산출하고, 그 벡터 방향에 기초하여, 에지 보존 평활화 필터의 강약을 조정한다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 조정된 에지 보존 평활화 필터를 이용하여 촬상 화상을 평활화함으로써, 회화 풍의 효과를 촬상 화상에 대하여 부여한다. 여기서, 본 실시 형태에 따른 에지 보존 평활화 필터로서는, 예를 들어 양 방향 필터(bilateral filter) 등과 같은 에지를 보존하는 것이 가능한 평활화 필터를 들 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치에 있어서의, 회화 풍의 효과를 촬상 화상에 대하여 부여하기 위한 처리는, 상기에 한정되지 않는다. 본 실시 형태에 따른 화상 처리 장치는, 회화 풍의 효과를 촬상 화상에 대하여 부여하는 것이 가능한 임의의 기술을 이용하는 것이 가능하다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상에 대하여 가우스 필터(gaussian filter)를 적용 함으로써, 촬상 화상에 대하여 셰이딩 효과를 부여하여도 된다.

또한, 예를 들어 도 9의 A에 도시한 바와 같이, 본 실시 형태에 따른 화상 처리 장치는, 스크롤바 등의 조작 대상 오브젝트를 합성하는 것도 가능하다.

또한, 본 실시 형태에 따른 화상 처리 장치가 촬상 화상과 합성시키는 것이 가능한 조작 대상 오브젝트는, 도 9의 A에 도시한 예에 한정되지 않는다. 도 10은, 본 실시 형태에 따른 조작 대상 오브젝트의 일례를 나타내는 설명도이다. 본 실시 형태에 따른 조작 대상 오브젝트로서는, 예를 들어 도 10의 A에 도시한 수직 방향의 스크롤바나, 도 10의 B에 도시한 슬라이더 바, 도 10의 C에 도시한 다이얼, 도 10의 D에 도시한 버튼 등을 들 수 있다.

(1-5) 본 실시 형태에 따른 촬상 화상의 가시화의 정도의 변화의 다른 예

본 실시 형태에 따른 화상 처리 방법에 관한 처리는, 상기 (1-1) 내지 (1-4)에 나타내는 처리에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 소정의 대상을 인식하고, 촬상 화상에 있어서의 인식된 소정의 대상을 포함하는 일부 영역의 가시화의 정도를, 촬상 화상에 있어서의 다른 영역(촬상 화상에 있어서의 그 일부 영역을 제외한 영역)의 가시화의 정도로 변화시켜도 된다.

여기서, 본 실시 형태에 따른 소정의 대상으로서는, 전술한 부분적 범위의 변화에 관한 처리의 제1 예와 마찬가지로, 예를 들어 유저의 얼굴이나, 유저의 손 등의 오브젝트를 들 수 있다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저의 손가락 끝 등 오브젝트의 일부를 소정의 대상으로서 인식하여도 된다. 본 실시 형태에 따른 화상 처리 장치가, 본 실시 형태에 따른 소정의 대상으로 하는 오브젝트로서는, 예를 들어 포인터로서 이용하는 것이 가능한 오브젝트(또는, 오브젝트의 일부)를 들 수 있다.

도 11은, 본 실시 형태에 따른 화상 처리 장치가 표시 화면에 표시시키는 합성된 화상의 일례를 나타내는 설명도이며, 본 실시 형태에 따른 촬상 화상의 가시화의 정도의 변화의 다른 예의 일례를 나타내고 있다. 여기서, 도 11은, 본 실시 형태에 따른 화상 처리 장치가, 본 실시 형태에 따른 소정의 대상으로서 유저의 손가락 끝을 인식하고, 촬상 화상에 있어서의 인식된 손가락 끝을 포함하는 타원 형상의 영역을, 본 실시 형태에 따른 일부 영역으로서 설정한 예를 나타내고 있다. 또한, 도 11은, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 일부 영역의 휘도를, 다른 영역의 휘도보다도 높게 한 예를 나타내고 있다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상에 대하여 촬상 화상으로부터 인식된 소정의 대상을 포함하는 일부 영역, 및/또는 다른 영역에 대응하는 마스크를 적용함으로써, 그 일부 영역의 휘도를 그 다른 영역의 휘도보다도 높게 한다.

또한, 본 실시 형태에 따른 일부 영역은, 타원 형상의 영역에 한정되지 않으며, 예를 들어 임의의 형상의 영역이어도 된다. 또한, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 일부 영역을 다른 영역의 휘도보다도 높게 하기 위한 처리는, 마스크를 사용하는 것에 한정되지 않고, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 휘도를 조정하는 것이 가능한 임의의 처리를 이용할 수 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 11에 도시한 바와 같이 "촬상 화상으로부터 인식된 소정의 대상을 포함하는 일부 영역의 휘도를, 촬상 화상에 있어서의 다른 영역의 휘도보다도 높게 하는 것"이나, "그 다른 영역의 휘도를, 그 일부 영역의 휘도보다도 낮게 하는 것"에 의해, 그 일부 영역을 그 다른 영역보다도 밝게 한다. 상기한 바와 같이 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역을, 촬상 화상에 있어서의 다른 영역보다도 밝게 함으로써, 그 일부 영역이 마치 촛불이 켜진 것과 같은 표시가 실현된다.

예를 들어 도 11에 도시한 바와 같이, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역의 휘도와, 촬상 화상에 있어서의 다른 영역의 휘도가 변화함으로써, 그 일부 영역의 가시화의 정도와, 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 표시 화면에 표시된 합성된 화상을 본 유저는, 예를 들어 포인터로서 이용되는 손가락 끝(본 실시 형태에 따른 소정의 대상 일례)을 보다 용이하게 인식하는 것이 가능해진다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 예를 들어 도 11에 도시한 바와 같이, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역의 휘도와, 촬상 화상에 있어서의 다른 영역의 휘도를 바꿈으로써, 유저의 조작성을 향상시킬 수 있다.

또한, 본 실시 형태에 따른 촬상 화상의 가시화의 정도의 변화의 다른 예는, 도 11에 도시한 예에 한정되지 않는다.

예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역의 휘도를, 다른 영역의 휘도보다도 낮게 하여도 된다. 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역의 휘도를, 다른 영역의 휘도보다도 낮게 하는 경우일지라도, 그 일부 영역의 가시화의 정도와 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역의 휘도를, 다른 영역의 휘도보다도 낮게 하는 경우일지라도, 본 실시 형태에 따른 화상 처리 장치는, 유저의 조작성을 향상시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의, 휘도, 채도, 색채 중 1개 또는 2개 이상을 변화시켜도 된다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 마스크를 사용하는 등, 휘도, 채도, 색채를 조정하는 것이 가능한 임의의 처리를 이용함으로써, 휘도, 채도, 색채 중 1개 또는 2개 이상을 바꾼다. 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의, 휘도, 채도, 색채 중 1개 또는 2개 이상을 변화시키는 경우일지라도, 그 일부 영역의 가시화의 정도와 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의, 휘도, 채도, 색채 중 1개 또는 2개 이상을 변화시키는 경우일지라도, 본 실시 형태에 따른 화상 처리 장치는, 유저의 조작성을 향상시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역 중 한쪽을 모노크롬으로 하고, 다른 쪽을 컬러로 하여도 된다. 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역 중 한쪽을 모노크롬으로 하고, 다른 쪽을 컬러로 하는 경우일지라도, 그 일부 영역의 가시화의 정도와 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역 중 한쪽을 모노크롬으로 하고, 다른 쪽을 컬러로 하는 경우일지라도, 본 실시 형태에 따른 화상 처리 장치는, 유저의 조작성을 향상시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의 셰이딩의 정도를 변화시켜도 된다. 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의 셰이딩의 정도를 변화시키는 경우일지라도, 그 일부 영역의 가시화의 정도와 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의 셰이딩의 정도를 변화시키는 경우일지라도, 본 실시 형태에 따른 화상 처리 장치는, 유저의 조작성을 향상시킬 수 있다. 여기서, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역과 다른 영역의 셰이딩의 정도를 변화시키는 예로서는, 예를 들어 "그 일부 영역을 셰이딩하지 않고, 그 다른 영역을 셰이딩하는 것"이나, "그 일부 영역을 셰이딩하고, 그 다른 영역을 셰이딩하지 않는 것", "그 일부 영역에 주어지는 셰이딩 처리의 레벨(그 일부 영역의 셰이딩 상태)과, 그 다른 부분의 영역에 주어지는 셰이딩 처리의 레벨(그 다른 영역의 셰이딩 상태)을 변화시키는 것" 등을 들 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역만을 표시시켜도 된다(즉, 다른 영역을 표시시키지 않아도 된다). 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역만을 표시시키는 경우일지라도, 그 일부 영역의 가시화의 정도와 그 다른 영역의 가시화의 정도는 변화한다. 따라서, 본 실시 형태에 따른 화상 처리 장치가, 촬상 화상으로부터 인식된 소정의 대상을 포함하는 촬상 화상에 있어서의 일부 영역만을 표시시키는 경우일지라도, 본 실시 형태에 따른 화상 처리 장치는, 유저의 조작성을 향상시킬 수 있다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 상기 (1-1) 내지 (1-5)에 나타내는 처리를, (1)의 처리(합성 처리)로서 행한다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 상기 (1-1) 내지 (1-5)에 나타내는 처리 중, 어느 한쪽의 처리를 행한다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 미리 규정되어 있는 처리를 행하여도 되고, 유저에 의해 선택된 처리를 행하여도 된다. 또한, 본 실시 형태에 따른 (1)의 처리(합성 처리)는 상기 (1-1) 내지 (1-5)에 나타내는 처리에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 인식된 소정의 대상에 대하여 표시 프레임이 묘화된 화상을 표시 화면에 표시시키는 것도 가능하다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 인식된 소정의 대상의 전체가 아니라, 일부를, 조작 대상 화상에 합성하여도 된다.

(2) 표시 제어 처리

상기 (1)의 처리(합성 처리)가 완료되면, 본 실시 형태에 따른 화상 처리 장치는, 합성된 화상을 표시 화면에 표시시킨다.

여기서, 본 실시 형태에 따른 화상 처리 장치가 외부 표시 장치의 표시 화면에 상기 화상을 표시시키는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 상기 화상을 나타내는 화상 신호를 그 표시 장치로 송신함으로써, 그 표시 장치에 상기 화상을 표시시킨다. 또한, 본 실시 형태에 따른 화상 처리 장치가 표시부(후술함)의 표시 화면에 상기 화상을 표시시키는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 표시부(후술함)에 상기 화상을 나타내는 화상 신호를 전달함으로써, 상기 화상을 표시시킨다.

본 실시 형태에 따른 화상 처리 장치는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리로서, 예를 들어 상기 (1)의 처리(합성 처리) 및 (2)의 처리(표시 제어 처리)를 행한다. 본 실시 형태에 따른 화상 처리 장치는, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상, 또는 조작 대상 오브젝트를 포함하는 조작 대상 화상에 기초하여, 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 조작 대상 화상을 합성한다. 그리고, 본 실시 형태에 따른 화상 처리 장치는, 상기 (2)의 처리(표시 제어 처리)에 있어서, 상기 (1)의 처리(합성 처리)에 있어서 합성된 화상을 표시 화면에 표시시킨다.

여기서, 본 실시 형태에 따른 화상 처리 장치는, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상의 가시화의 정도를 변화시키므로, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 경우보다도, 조작 대상 오브젝트의 시인성이 저하되는 것을 방지하는 것이 가능하다.

따라서, 본 실시 형태에 따른 화상 처리 장치는, 조작 대상 오브젝트의 시인성 저하를 방지하면서, 촬상 화상과 조작 대상 화상을 표시 화면에 표시시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치가, 상기 (1)의 처리(합성 처리)에 있어서, 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 결정하는 경우에는, 조작 대상 화상에 포함되는 조작 대상 오브젝트가 보다 선명하게 표시된 화상을, 표시 화면에 표시하는 것이 가능해진다. 따라서, 상기의 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 조작 대상 화상에 포함되는 조작 대상 오브젝트(즉, GUI를 구성하는 조작 대상 오브젝트)의 시인성을, 보다 향상시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치가, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상으로부터 인식되는 소정의 대상에 기초하여, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 결정하는 경우에는, 예를 들어 도 1a 내지 도 2b에 도시한 바와 같이 조작을 행하는 유저 자신의 얼굴이 표시 화면에 표시되지 않는 것 등이 실현된다. 따라서, 상기의 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저에게 생생함을 느끼게 하지 않는 거울상 표현을 실현하는 것이 가능해지므로, 유저에게 생생함을 느끼게 하지 않는 제스처 인식의 피드백을, 유저에 대하여 행할 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상의 가시화의 정도를 변화시키므로, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시킬 경우보다도, 제스처에 의한 조작에 불필요한 영역의 가시화를 제어하는 것이 가능하다. 따라서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저에 의한 보다 세밀한 제스처에 의한 조작을 보다 용이하게 하는 것이 가능하므로, 유저의 조작성을 보다 향상시킬 수 있다.

[2] 본 실시 형태에 따른 화상 처리 방법에 관한 처리의 일례

도 12는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리의 일례를 나타내는 흐름도이다. 이하에서는, 본 실시 형태에 따른 화상 처리 장치를, 도 12에 도시한 처리를 행하는 것으로서 설명한다. 여기서, 도 12에서는, 예를 들어 스텝 S100, S102, S104의 처리가, 상기 (1)의 처리(합성 처리)에 해당하고, 또한, 스텝 S106의 처리가, 상기 (2)의 처리(표시 제어 처리)에 해당한다.

본 실시 형태에 따른 화상 처리 장치는, 유저에 대한 피드백을 행할지 여부를 판정한다(S100). 여기서, 스텝 S100의 처리는, 본 실시 형태에 따른 화상 처리 장치가, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 개시할지 여부를 판정하는 처리에 상당한다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상으로부터 소정의 대상이 인식되었을 때, 유저에 대한 피드백을 행한다(즉, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 개시한다)고 판정한다. 여기서, 상기 소정의 대상으로서는, 예를 들어 유저의 손 등의 유저의 몸의 일부나, 유저에 의해 조작되는 물체의 형상 등, 유저의 제스처를 인식하는 제스처 인식 대상을 들 수 있다.

또한, 본 실시 형태에 따른 스텝 S100의 처리는, 상기에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 조작부(후술함)에 대한 유저의 조작에 따른 조작 신호나, 리모트·컨트롤러 등의 외부 조작 장치에 대한 유저의 조작에 따른 외부 조작 신호에 기초하여, 유저에 대한 피드백을 행할지 여부를 판정하여도 된다. 또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저가 손을 흔드는 등의 소정의 제스처가 인식되었을 때, 유저에 대한 피드백을 행한다고 판정하여도 된다. 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상에 있어서의 휘도 변화의 주파수에 기초하여 유저의 주기 동작을 검출함으로써, 소정의 제스처를 인식하지만, 본 실시 형태에 따른 화상 처리 장치에 있어서의 제스처의 인식 방법은, 상기에 한정되지 않는다.

스텝 S100에 있어서 유저에 대한 피드백을 행한다고 판정되지 않은 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 종료한다. 또한, 본 실시 형태에 따른 화상 처리 방법에 관한 처리는, 한번 종료하면 다시 행해지지 않는 종류의 처리가 아니라, 예를 들어 정기적, 비정기적, 혹은, 촬상 화상을 나타내는 화상 신호가 입력될 때마다, 반복하여 행해진다.

또한, 스텝 S100에 있어서 유저에 대한 피드백을 행한다고 판정된 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 촬상 화상의 가시화의 정도를 변화시킨다 (S102). 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상 화상을 투과시키는 정도를 변화시키는 것이나, 촬상 화상이 표시되는 면적을 변화시키는 것, 촬상 화상을 평활화하는 평활화의 정도를 변화시킴으로써, 촬상 화상의 가시화의 정도를 변화시킨다.

스텝 S102에 있어서 촬상 화상의 가시화의 정도를 변화시키는 처리가 완료되면, 본 실시 형태에 따른 화상 처리 장치는, 가시화의 정도를 변화시킨 촬상 화상과, 조작 대상 화상을 합성한다(S104). 여기서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 3의 B에 도시한 영역 AR'와 같이, 촬상 화상으로부터 잘라낸 영역에 기초하는 영역(또는, 촬상 화상으로부터 잘라낸 영역 바로 그 자체)과 조작 대상 화상을 합성하는 경우에는, 그 영역을 합성하는 위치를 보정하여도 된다.

스텝 S104에 있어서 가시화의 정도를 변화시킨 촬상 화상과 조작 대상 화상의 합성에 관한 처리가 완료되면, 본 실시 형태에 따른 화상 처리 장치는, 합성된 화상을 표시 화면에 표시시킨다(S106). 그리고, 본 실시 형태에 따른 화상 처리 장치는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 종료한다.

본 실시 형태에 따른 화상 처리 장치는, 예를 들어 도 12에 도시한 처리를 행함으로써, 본 실시 형태에 따른 화상 처리 방법에 관한 (1)의 처리(합성 처리) 및 (2)의 처리(표시 제어 처리)를 실현한다. 또한, 본 실시 형태에 따른 화상 처리 방법에 관한 처리가, 도 12에 도시한 처리에 한정되지 않는 것은 물론이다.

(본 실시 형태에 따른 화상 처리 장치)

다음으로, 전술한 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 행하는 것이 가능한, 본 실시 형태에 따른 화상 처리 장치의 구성의 일례에 대하여, 설명한다.

도 13은, 본 실시 형태에 따른 화상 처리 장치(100)의 구성의 일례를 나타내는 블록도이다. 화상 처리 장치(100)는, 예를 들어 통신부(102)와, 제어부(104: 처리부)를 구비한다.

또한, 화상 처리 장치(100)는, 예를 들어 ROM(Read Only Memory; 도시생략)이나, RAM(Random Access Memory; 도시생략), 기억부(도시생략), 유저가 조작 가능한 조작부(도시생략), 다양한 화면을 표시 화면에 표시하는 표시부(도시생략) 등을 구비하고 있어도 된다. 화상 처리 장치(100)는, 예를 들어 데이터의 전송로로서의 버스(bus)에 의해 상기 각 구성 요소 간을 접속한다.

여기서, ROM(도시생략)은, 제어부(104)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터를 기억한다. RAM(도시생략)은, 제어부(104)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

기억부(도시생략)는, 화상 처리 장치(100)가 구비하는 기억 수단이며, 예를 들어 조작 대상 화상을 구성하는 데이터나, 어플리케이션 등 다양한 데이터를 기억한다. 여기서, 기억부(도시생략)로서는, 예를 들어 하드디스크(Hard Disk) 등의 자기 기록 매체나, EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory) 등의 불휘발성 메모리(nonvolatile memory) 등을 들 수 있다. 또한, 기억부(도시생략)는, 화상 처리 장치(100)로부터 탈착 가능하여도 된다.

[화상 처리 장치(100)의 하드웨어 구성예]

도 14는, 본 실시 형태에 따른 화상 처리 장치(100)의 하드웨어 구성의 일례를 나타내는 설명도이다. 화상 처리 장치(100)는, 예를 들어 MPU(150)와, ROM(152)과, RAM(154)과, 기록 매체(156)와, 입출력 인터페이스(158)와, 조작 입력 디바이스(160)와, 표시 디바이스(162)와, 통신 인터페이스(164)를 구비한다. 또한, 화상 처리 장치(100)는, 예를 들어 데이터의 전송로로서의 버스(166)에 의해 각 구성 요소 간을 접속한다.

MPU(150)는, 예를 들어 MPU(Micro Processing Unit)나, 각종 처리 회로 등에 의해 구성되고 화상 처리 장치(100) 전체를 제어하는 제어부(104)로서 기능한다. 또한, MPU(150)는, 화상 처리 장치(100)에 있어서, 예를 들어 후술하는 화상 처리부(110) 및 표시 제어부(112)의 역할을 완수한다.

ROM(152)은, MPU(150)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다. RAM(154)은, 예를 들어 MPU(150)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

기록 매체(156)는, 기억부(도시생략)로서 기능하고, 예를 들어 조작 대상 화상을 구성하는 데이터나, 어플리케이션 등 다양한 데이터를 기억한다. 여기서, 기록 매체(156)로서는, 예를 들어 하드디스크 등의 자기 기록 매체나, 플래시 메모리 등의 불휘발성 메모리를 들 수 있다. 또한, 기록 매체(156)는, 화상 처리 장치(100)로부터 탈착 가능하여도 된다.

입출력 인터페이스(158)는, 예를 들어 조작 입력 디바이스(160)나, 표시 디바이스(162)를 접속한다. 조작 입력 디바이스(160)는, 조작부(도시생략)로서 기능하고, 또한, 표시 디바이스(162)는, 표시부(도시생략)로서 기능한다. 여기서, 입출력 인터페이스(158)로서는, 예를 들어 USB(Universal Serial Bus) 단자나, DVI(Digital Visual Interface) 단자, HDMI(High-Definition Multimedia Interface) 단자, 각종 처리 회로 등을 들 수 있다. 또한, 조작 입력 디바이스(160)는, 예를 들어 화상 처리 장치(100) 위에 구비되고, 화상 처리 장치(100)의 내부에서 입출력 인터페이스(158)와 접속된다. 조작 입력 디바이스(160)로서는, 예를 들어 버튼, 방향 키, 조그다이얼 등의 회전형 셀렉터, 혹은, 이들 조합 등을 들 수 있다. 또한, 표시 디바이스(162)는, 예를 들어 화상 처리 장치(100) 위에 구비되고, 화상 처리 장치(100)의 내부에서 입출력 인터페이스(158)와 접속된다. 표시 디바이스(162)로서는, 예를 들어 액정 디스플레이(Liquid Crystal Display; LCD)나 유기 EL 디스플레이(organic ElectroLuminescence display 또는, OLED 디스플레이(Organic Light Emitting Diode display)라고도 불림) 등을 들 수 있다.

또한, 입출력 인터페이스(158)가, 화상 처리 장치(100)의 외부 장치로서의 조작 입력 디바이스(예를 들어, 키보드나 마우스 등)나, 표시 디바이스 등의, 외부 디바이스와 접속할 수도 있음은 물론이다. 또한, 표시 디바이스(162)는, 예를 들어 터치 스크린 등, 표시와 유저의 조작이 가능한 디바이스이어도 된다.

통신 인터페이스(164)는, 화상 처리 장치(100)가 구비하는 통신 수단이며, 네트워크를 통하여(혹은, 직접적으로), 촬상 장치나, 표시 장치, 서버 등의 외부 장치와 무선/유선으로 통신을 행하기 위한 통신부(102)로서 기능한다. 여기서, 통신 인터페이스(164)로서는, 예를 들어 통신 안테나 및 RF(Radio Frequency) 회로(무선 통신)나, IEEE 802.15.1 포트 및 송수신 회로(무선 통신), IEEE 802.11b 포트 및 송수신 회로(무선 통신), 혹은 LAN(Local Area Network) 단자 및 송수신 회로(유선 통신) 등을 들 수 있다. 또한, 본 실시 형태에 따른 네트워크로서는, 예를 들어 LAN이나 WAN(Wide Area Network) 등의 유선 네트워크, 무선 LAN(WLAN; Wireless Local Area Network)이나 기지국을 통한 무선 WAN(WWAN; Wireless Wide Area Network) 등의 무선 네트워크, 혹은, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 프로토콜을 이용한 인터넷 등을 들 수 있다.

화상 처리 장치(100)는, 예를 들어 도 14에 도시한 구성에 의해, 본 실시 형태에 따른 표시 제어 방법에 관한 처리를 행한다. 또한, 본 실시 형태에 따른 화상 처리 장치(100)의 하드웨어 구성은, 도 14에 도시한 구성에 한정되지 않는다. 예를 들어, 화상 처리 장치(100)는, 정지 화상 또는 동화상을 촬상하는 촬상부(도시생략)의 역할을 완수하는 촬상 디바이스를 구비하고 있어도 된다. 촬상 디바이스를 구비하는 경우에는, 화상 처리 장치(100)는, 예를 들어 촬상 디바이스에 있어서의 촬상에 의해 생성된 촬상 화상을 처리하는 것이 가능해진다.

여기서, 본 실시 형태에 따른 촬상 디바이스로서는, 예를 들어 렌즈/촬상 소자와 신호 처리 회로를 들 수 있다. 렌즈/촬상 소자는, 예를 들어 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 복수 이용한 이미지 센서로 구성된다. 또한, 신호 처리 회로는, 예를 들어 AGC(Automatic Gain Control) 회로나 ADC(Analog to Digital Converter)를 구비하고, 촬상 소자에 의해 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환하고, 각종 신호 처리를 행한다. 신호 처리 회로가 행하는 신호 처리로서는, 예를 들어 White Balance 보정 처리, 색조 보정 처리, 감마 보정 처리, YCbCr 변환 처리, 에지 강조 처리 등을 들 수 있다.

또한, 화상 처리 장치(100)는, 예를 들어 스탠드얼론(stand-alone)으로 처리를 행하는 구성인 경우에는, 통신 디바이스(164)를 구비하고 있지 않아도 된다. 또한, 화상 처리 장치(100)는, 조작 디바이스(160)나 표시 디바이스(162)를 구비하지 않는 구성을 취하는 것도 가능하다.

다시 도 13을 참조하여, 화상 처리 장치(100)의 구성의 일례에 대하여 설명한다. 통신부(102)는, 화상 처리 장치(100)가 구비하는 통신 수단이며, 네트워크를 통하여(혹은, 직접적으로), 촬상 장치나, 표시 장치, 서버 등의 외부 장치와 무선/유선으로 통신을 행한다. 또한, 통신부(102)는, 예를 들어 제어부(104)에 의해 통신이 제어된다. 여기서, 통신부(102)로서는, 예를 들어 통신 안테나 및 RF 회로나, LAN 단자 및 송수신 회로 등을 들 수 있지만, 통신부(102)의 구성은, 상기에 한정되지 않는다. 예를 들어, 통신부(102)는, USB 단자 및 송수신 회로 등 통신을 행하는 것이 가능한 임의의 규격에 대응하는 구성이나, 네트워크를 통하여 외부 장치와 통신 가능한 임의의 구성을 취할 수 있다.

제어부(104)는, 예를 들어 MPU 등으로 구성되고, 화상 처리 장치(100) 전체를 제어하는 역할을 완수한다. 또한, 제어부(104)는, 예를 들어 화상 처리부(110)와, 표시 제어부(112)를 구비하고, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 주도적으로 행하는 역할을 완수한다. 보다 구체적으로는, 제어부(104)는, 예를 들어 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상의 합성을 제어한다.

화상 처리부(110)는, 상기 (1)의 처리(합성 처리)를 주도적으로 행하는 역할을 완수하고, 촬상 화상, 또는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 조작 대상 화상을 합성한다.

표시 제어부(112)는, 상기 (2)의 처리(표시 제어 처리)를 주도적으로 행하는 역할을 완수하고, 화상 처리부(110)에 의해 합성된 화상을, 표시 화면에 표시시킨다.

제어부(104)는, 예를 들어 화상 처리부(110) 및 표시 제어부(112)를 구비함으로써, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 주도적으로 행한다.

화상 처리 장치(100)는, 예를 들어 도 13에 도시한 구성에 의해, 본 실시 형태에 따른 화상 처리 방법에 관한 처리(예를 들어, 상기 (1)의 처리(합성 처리), 및 상기 (2)의 처리(표시 제어 처리))를 행한다. 따라서, 화상 처리 장치(100)는, 예를 들어 도 13에 도시한 구성에 의해, 조작 대상 오브젝트의 시인성 저하를 방지하면서, 촬상 화상과 조작 대상 화상을 표시 화면에 표시시킬 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치의 구성은, 도 13에 도시한 구성에 한정되지 않는다. 예를 들어, 본 실시 형태에 따른 화상 처리 장치는, 도 13에 도시한 화상 처리부(110) 및 표시 제어부(112)를 개별로 구비할(예를 들어, 각각을 개별 처리 회로에 의해 실현할) 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 촬상부(도시생략)를 구비하고 있어도 된다. 촬상부(도시생략)를 구비하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 촬상부(도시생략)에 있어서의 촬상에 의해 생성된 촬상 화상을 처리하는 것이 가능해진다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 스탠드얼론으로 처리를 행하는 구성인 경우에는, 통신부(102)를 구비하고 있지 않아도 된다.

이상과 같이, 본 실시 형태에 따른 화상 처리 장치는, 본 실시 형태에 따른 화상 처리 방법에 관한 처리로서, 예를 들어 (1)의 처리(합성 처리), 및 (2)의 처리(표시 제어 처리)를 행한다. 여기서, 본 실시 형태에 따른 화상 처리 장치는, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상의 가시화의 정도를 변화시키므로, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 경우보다도, 조작 대상 오브젝트의 시인성이 저하됨을 방지하는 것이 가능하다.

또한, 본 실시 형태에 따른 화상 처리 장치가, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상으로부터 인식되는 소정의 대상에 기초하여, 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 결정하는 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저에게 생생함을 느끼게 하지 않는 거울상 표현을 실현하는 것이 가능해진다. 따라서, 상기의 경우에는, 본 실시 형태에 따른 화상 처리 장치는, 유저에게 생생함을 느끼게 하지 않는 제스처 인식의 피드백을, 유저에 대하여 행할 수 있다.

또한, 본 실시 형태에 따른 화상 처리 장치는, 상기 (1)의 처리(합성 처리)에 있어서, 촬상 화상의 가시화의 정도를 변화시키므로, 단순히 촬상 화상과 조작 대상 화상을 합성하여 표시 화면에 표시시키는 경우보다도, 제스처에 의한 조작에 불필요한 영역의 가시화를 제어하는 것이 가능하다. 따라서, 본 실시 형태에 따른 화상 처리 장치는, 예를 들어 유저에 의한 보다 세밀한 제스처에 의한 조작을 보다 용이하게 하는 것이 가능하므로, 유저의 조작성을 보다 향상시킬 수 있다.

이상, 본 실시 형태로서 화상 처리 장치를 예로 들어 설명하였지만, 본 실시 형태는, 이러한 형태에 한정되지 않는다. 본 실시 형태는, 예를 들어 휴대전화나 스마트폰 등의 통신 장치나, 영상/음악 재생 장치(또는 영상/음악 기록 재생 장치), 게임기, PC(Personal Computer)나 서버 등의 컴퓨터, 텔레비전 수상기 등의 표시 장치, 디지털 카메라 등의 촬상 장치 등, 화상을 처리하고, 표시 화면에 있어서의 표시를 제어하는 것이 가능한 다양한 기기에 적용할 수 있다. 또한, 본 실시 형태는, 예를 들어 상기와 같은 기기에 내장하는 것이 가능한, 처리 IC(Integrated Circuit)에 적용할 수도 있다.

또한, 본 실시 형태에 따른 화상 처리 방법에 관한 처리는, 예를 들어 클라우드 컴퓨팅 등과 같이 네트워크로의 접속(또는 각 장치 간의 통신)을 전제로 한, 복수의 장치를 포함하는 화상 처리 시스템에 의해 실현되어도 된다.

(본 실시 형태에 따른 프로그램)

컴퓨터를, 본 실시 형태에 따른 화상 처리 장치로서 기능시키기 위한 프로그램(예를 들어, 상기 (1)의 처리(합성 처리) 및 (2)의 처리(표시 제어 처리) 등, 본 실시 형태에 따른 화상 처리 방법에 관한 처리를 실행하는 것이 가능한 프로그램)에 의해, 조작 대상 오브젝트의 시인성 저하를 방지하면서, 촬상 화상과 조작 대상 화상을 표시 화면에 표시시킬 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 발명의 기술적 범위는 이러한 예에 한정되지 않는다. 본 발명의 기술분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.

예를 들어, 상기에서는, 컴퓨터를, 본 실시 형태에 따른 화상 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타내었지만, 본 실시 형태는, 또한, 상기 프로그램을 각각 기억시킨 기록 매체도 아울러 제공할 수 있다.

전술한 구성은, 본 실시 형태의 일례를 나타내는 것으로, 당연히 본 발명의 기술적 범위에 속하는 것이다.

또한, 이하와 같은 구성도 본 발명의 기술적 범위에 속한다.

[1]

유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상의 합성을 제어하는 처리부를 구비하고,

상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 장치.

[2]

상기 합성된 화상에서는, 상기 촬상 화상의 일부의 가시화의 정도가 변화되어 보이는, 상기 [1]에 기재된 정보 처리 장치.

[3]

상기 촬상 화상의 일부는, 합성된 화상에 있어서 조작 대상 오브젝트의 조작 대상 화상에서의 위치에 따라서 결정된 위치를 갖고 있는, 합성된 화상의 영역에 대응하는, 상기 [2]에 기재된 정보 처리 장치.

[4]

상기 촬상 화상의 가시화의 정도는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트에 기초하여 변화되는, 상기 [1]에 기재된 정보 처리 장치.

[5]

상기 촬상 화상의 가시화의 정도는, 촬상 화상의 영역의 가시화의 정도의 감소를 포함하고,

상기 영역은, 조작 대상 화상 내의 조작 대상 오브젝트의 위치에 따라서 결정되는, 상기 [4]에 기재된 정보 처리 장치.

[6]

상기 촬상 화상의 가시화의 정도는, 상기 촬상 화상으로부터 인식되는 소정의 대상에 기초하여 변화되는, 상기 [1]에 기재된 정보 처리 장치.

[7]

상기 촬상 화상의 가시화의 정도는, 적어도, 촬상 화상으로부터 잘라내진 일부의 사이즈에 의해 변화되는, 상기 [6]에 기재된 정보 처리 장치.

[8]

상기 소정의 대상은, 적어도 얼굴 또는 손 중 하나인, 상기 [6]에 기재된 정보 처리 장치.

[9]

상기 소정의 대상은, 웹 페이지인, 상기 [6]에 기재된 정보 처리 장치.

[10]

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 상기 촬상 화상에 있어서의 상기 소정의 대상을 포함하는 일부 영역의 가시화의 정도를, 상기 촬상 화상에 있어서의 다른 영역의 가시화의 정도로 변화시키는 것을 포함하는, 상기 [6]에 기재된 정보 처리 장치.

[11]

상기 촬상 화상의 가시화의 정도를 변화시키는 것은, 상기 일부 영역과 상기 다른 영역의, 휘도, 채도, 색채 중 1개 또는 2개 이상을 변화시키는 것을 포함하는, 상기 [10]에 기재된 정보 처리 장치.

[12]

상기 촬상 화상의 가시화의 정도를 변화시키는 것은, 상기 일부 영역과 상기 다른 영역 중 한쪽을 모노크롬으로 하고, 다른 쪽을 컬러로 하는 것을 포함하는, 상기 [10]에 기재된 정보 처리 장치.

[13]

상기 촬상 화상의 가시화의 정도를 변화시키는 것은, 상기 일부 영역과 상기 다른 영역의 셰이딩의 정도를 변화시키는 것을 포함하는, 상기 [10]에 기재된 정보 처리 장치.

[14]

상기 촬상 화상의 가시화의 정도를 변화시키는 것은, 상기 일부 영역만이 표시되는 것을 포함하는, 상기 [10]에 기재된 정보 처리 장치.

[15]

상기 촬상 화상의 가시화의 정도는, 상기 합성된 화상에 있어서, 촬상 화상이 등급 구분되어 보이도록 변화되는, 상기 [1]에 기재된 정보 처리 장치.

[16]

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 상기 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 상기 [1]에 기재된 정보 처리 장치.

[17]

촬상 화상이 투명한 정도를 변화시키는 것은, 동적으로 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 상기 [16]에 기재된 정보 처리 장치.

[18]

동적으로 촬상 화상이 투명한 정도를 변화시키는 것은, 촬상 화상의 공간 주파수에 기초하여 동적으로 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 상기 [17]에 기재된 정보 처리 장치.

[19]

동적으로 촬상 화상이 투명한 정도를 변화시키는 것은, 촬상 화상의 색조에 기초하여 동적으로 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 상기 [17]에 기재된 정보 처리 장치.

[20]

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 촬상 화상을 잘라내는 것을 포함하는, 상기 [1]에 기재된 정보 처리 장치.

[21]

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 잘라내진 화상을 스케일링하는 것을 더 포함하는, 상기 [20]에 기재된 정보 처리 장치.

[22]

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 상기 촬상 화상의 평활화를 포함하는, 상기 [1]에 기재된 정보 처리 장치.

[23]

상기 촬상 화상을 평활화하는 것은, 에지 보존 평활화 필터를 이용하는 것을 포함하는, 상기 [22]에 기재된 정보 처리 장치.

[24]

변화된 촬상 화상과 조작 대상 화상을 합성하는 것은, 조작 대상 화상의 표시 위치에 대하여 변화된 촬상 화상의 표시 위치를 변화시키는 것을 포함하는, 상기 [1]에 기재된 정보 처리 장치.

[25]

상기 촬상 화상은, 유저의 얼굴 부분과 유저의 다른 부분을 포함하고,

상기 얼굴 부분은, 상기 합성된 화상에서 제외되는, 상기 [1]에 기재된 정보 처리 장치.

[26]

상기 촬상 화상은, 복수의 유저 화상을 포함하고,

상기 촬상 화상의 가시화의 정도가 변화되는 것은, 인식된 복수의 유저마다 잘라내진 영역을 생성하기 위해서, 촬상 화상을 잘라내는 것을 포함하는, 상기 [1]에 기재된 정보 처리 장치.

[27]

상기 처리부는, 상기 합성된 화상의 표시를 제어하는, 상기 [1]에 기재된 정보 처리 장치.

[28]

표시부를 더 구비하고,

[29]

촬상부를 더 구비하는, 상기 [1]에 기재된 정보 처리 장치.

[30]

상기 조작 대상 화상은, 웹 페이지를 나타내는 화상, 메뉴 화면을 나타내는 화상, 조작 화면을 나타내는 화상 중 하나인, 상기 [1]에 기재된 정보 처리 장치.

[31]

유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 갖고,

상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 방법.

[32]

컴퓨터에 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 실행시키고,

상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

[33]

유저에게 제스처 인식을 피드백하기 위한 촬상 화상, 또는 제스처 인식의 결과에 따라서 조작되는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 상기 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 상기 조작 대상 화상을 합성하는 화상 처리부와,

합성된 화상을 표시 화면에 표시시키는 표시 제어부

를 구비하는, 화상 처리 장치.

[34]

상기 화상 처리부는, 상기 가시화의 정도의 변화로서, 상기 촬상 화상을 부분적으로 가시화시키는 부분적 범위를 변화시키는, 상기 [33]에 기재된 화상 처리 장치.

[35]

상기 화상 처리부는, 상기 조작 대상 화상에 포함되는 조작 대상 오브젝트에 기초하여, 상기 부분적 범위를 결정하는, 상기 [34]에 기재된 화상 처리 장치.

[36]

상기 화상 처리부는, 상기 촬상 화상으로부터 인식되는 소정의 대상에 기초하여, 상기 부분적 범위를 결정하는, 상기 [34]에 기재된 화상 처리 장치.

[37]

상기 화상 처리부는,

상기 촬상 화상으로부터 상기 소정의 대상으로서 얼굴을 인식하고,

인식된 얼굴 이외의 부분을, 상기 부분적 범위로서 결정하는, 상기 [36]에 기재된 화상 처리 장치.

[38]

상기 화상 처리부는,

상기 촬상 화상으로부터 상기 소정의 대상으로서 손을 인식하고,

인식된 손을 포함하는 영역을, 상기 부분적 범위로서 결정하는, 상기 [36]에 기재된 화상 처리 장치.

[39]

상기 화상 처리부는,

상기 촬상 화상으로부터 상기 소정의 대상으로서 동체를 인식하고,

인식된 동체를 포함하는 영역을, 상기 부분적 범위로서 결정하는, 상기 [36]에 기재된 화상 처리 장치.

[40]

상기 화상 처리부는,

상기 촬상 화상으로부터 유저를 인식하고,

상기 촬상 화상에 있어서의 인식된 유저를 포함하는 일부 영역을, 상기 촬상 화상으로부터 잘라내고,

잘라내진 영역을, 상기 부분적 범위를 결정하는 대상의 영역으로 하는, 상기 [34]에 기재된 화상 처리 장치.

[41]

상기 화상 처리부는,

복수의 유저를 상기 촬상 화상으로부터 인식한 경우에는, 인식된 유저마다, 인식된 유저를 포함하는 일부 영역을 상기 촬상 화상으로부터 잘라내고,

잘라내진 각 영역을, 인식된 각 유저에 대응하는 상기 부분적 범위를 결정하는 대상의 영역으로 하는, 상기 [40]에 기재된 화상 처리 장치.

[42]

상기 화상 처리부는, 상기 촬상 화상의 부분적인 가시화로서, 상기 촬상 화상을 투과시키는 정도, 또는 상기 촬상 화상이 표시되는 면적을 변화시키는, 상기 [34]에 기재된 화상 처리 장치.

[43]

상기 화상 처리부는, 상기 가시화의 정도의 변화로서, 상기 촬상 화상을 평활화하는 평활화의 정도를 변화시키는, 상기 [33]에 기재된 화상 처리 장치.

[44]

상기 화상 처리부는, 상기 촬상 화상으로부터 소정의 대상이 인식되었을 때, 처리를 개시하는, 상기 [33] 내지 [43] 중 어느 하나에 기재된 화상 처리 장치.

[45]

유저에게 제스처 인식을 피드백하기 위한 촬상 화상, 또는 제스처 인식의 결과에 따라서 조작되는 조작 대상 화상에 기초하여, 표시 화면에 표시되는 상기 촬상 화상의 가시화의 정도를 변화시키고, 가시화의 정도를 변화시킨 촬상 화상과 상기 조작 대상 화상을 합성하는 스텝과,

합성된 화상을 표시 화면에 표시시키는 스텝

을 갖는 화상 처리 방법.

100: 화상 처리 장치
102: 통신부
104: 제어부
110: 화상 처리부
112: 표시 제어부

Claims

정보 처리 장치로서,
유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상의 합성을 제어하는 처리부를 구비하고,
상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 장치.
제1항에 있어서,
상기 합성된 화상에서는, 상기 촬상 화상의 일부의 가시화의 정도가 변화되어 보이는, 정보 처리 장치.
제2항에 있어서,
상기 촬상 화상의 일부는, 합성된 화상에 있어서 조작 대상 오브젝트의 조작 대상 화상에서의 위치에 따라서 결정된 위치를 갖는, 합성된 화상의 영역에 대응하는, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상의 가시화의 정도는, 조작 대상 화상에 포함되어 있는 조작 대상 오브젝트에 기초하여 변화되는, 정보 처리 장치.
제4항에 있어서,
상기 촬상 화상의 가시화의 정도는, 촬상 화상의 영역의 가시화의 정도의 감소를 포함하고,
상기 영역은, 조작 대상 화상 내의 조작 대상 오브젝트의 위치에 따라서 결정되는, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상의 가시화의 정도는, 상기 촬상 화상으로부터 인식되는 소정의 대상에 기초하여 변화되는, 정보 처리 장치.
제6항에 있어서,
상기 촬상 화상의 가시화의 정도는, 적어도, 촬상 화상으로부터 잘라내진 일부의 사이즈에 의해 변화되는, 정보 처리 장치.
제6항에 있어서,
상기 소정의 대상은, 적어도 얼굴 또는 손 중 하나인, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상의 가시화의 정도는, 상기 합성된 화상에서, 촬상 화상이 등급 구분되어 보이도록 변화되는, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상의 가시화의 정도가 변화되는 것은, 상기 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 정보 처리 장치.
제10항에 있어서,
촬상 화상이 투명한 정도를 변화시키는 것은, 동적으로 촬상 화상이 투명한 정도를 변화시키는 것을 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상의 가시화의 정도가 변화시키는 것은, 촬상 화상을 잘라내는 것을 포함하는, 정보 처리 장치.
제12항에 있어서,
상기 촬상 화상의 가시화의 정도가 변화시키는 것은, 잘라내진 화상을 스케일링하는 것을 더 포함하는, 정보 처리 장치.
제1항에 있어서,
변화된 촬상 화상과 조작 대상 화상을 합성하는 것은, 조작 대상 화상의 표시 위치에 대하여 변화된 촬상 화상의 표시 위치를 변화시키는 것을 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 촬상 화상은, 복수의 유저 화상을 포함하고,
상기 촬상 화상의 가시화의 정도가 변화되는 것은, 인식된 복수의 유저마다 잘라내진 영역을 생성하기 위해서, 촬상 화상을 잘라내는 것을 포함하는, 정보 처리 장치.
제1항에 있어서,
표시부를 더 구비하고,
상기 처리부는, 상기 합성된 화상의 표시를 제어하는, 정보 처리 장치.
제1항에 있어서,
촬상부를 더 구비하는, 정보 처리 장치.
제1항에 있어서,
상기 조작 대상 화상은, 웹 페이지를 나타내는 화상, 메뉴 화면을 나타내는 화상, 조작 화면을 나타내는 화상 중 하나인, 정보 처리 장치.
정보 처리 방법으로서,
유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 갖고,
상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는, 정보 처리 방법.
컴퓨터에, 유저에게 제스처 인식을 피드백하기 위한 합성된 화상을 생성하기 위해서, 촬상 화상과 조작 대상 화상을 합성하는 스텝을 실행시키고,
상기 합성된 화상에서는, 상기 촬상 화상의 가시화의 정도가 변화되어 보이는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.