KR101541561B1 - 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체 - Google Patents

유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체 Download PDF

Info

Publication number
KR101541561B1
KR101541561B1 KR1020107011407A KR20107011407A KR101541561B1 KR 101541561 B1 KR101541561 B1 KR 101541561B1 KR 1020107011407 A KR1020107011407 A KR 1020107011407A KR 20107011407 A KR20107011407 A KR 20107011407A KR 101541561 B1 KR101541561 B1 KR 101541561B1
Authority
KR
South Korea
Prior art keywords
user
work area
unit
distance
display
Prior art date
Application number
KR1020107011407A
Other languages
English (en)
Other versions
KR20110066901A (ko
Inventor
고타로 사카타
시게노리 마에다
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Publication of KR20110066901A publication Critical patent/KR20110066901A/ko
Application granted granted Critical
Publication of KR101541561B1 publication Critical patent/KR101541561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

유저 인터페이스 장치(1)는, 유저에게 할당되어진 제1 작업 영역, 및 제1 작업 영역과 상이한 제2 작업 영역을 표시하는 표시부(2)와, 유저의 위치를 검출하는 검출부(3)와, 제1 작업 영역을 통해서 유저에게 제어되는 어플리케이션 프로그램의 종류에 따라, 유저와 제2 작업 영역 간의 적정 거리를 산출하는 산출부(4)와, 검출부(3)에 의해 검출된 유저의 위치와 제2 작업 영역의 거리가, 산출부(4)에 의해 산출된 적정 거리보다 짧아진 것을 유저에게 통지하는 통지부(5)를 구비한다.

Description

유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체{USER INTERFACE DEVICE, USER INTERFACE METHOD, AND RECORDING MEDIUM}
본 발명은, 복수 사람에 의해 조작되는 대화면 디스플레이 전용의 유저 인터페이스 장치에 관한 것이다.
디스플레이의 대화면화·박형화에 수반하여, TV를 단지 프로그램이나 영화 등을 시청하기 위해서 이용하는 것만 아니라, 복수의 정보의 동시 이용, 대량의 정보의 일람, 실물 크기의 임장감(臨場感)을 이용한 커뮤니케이션, 항상 정보를 제시하는 게시판, 벽지나 액자와 같은 실내장식과 같은 새로운 이용 방법에 대한 가능성이 펼쳐지고 있다.
또, 가정내 네트워크의 기동과 함께, 네트워크를 통하여 각 기기에서 검지된 유저의 조작 이력이나 상태를 공유하여, 종합적으로 유저의 콘텍스트·상황을 센싱하는 것도 현실성을 띄게 되었다
이러한 상황하에서, 종래의 프로그램이나 영화를 시청하는 것만 아니라, 상기와 같이 새로운 이용 방법을 실현하기 위해서는, 보다 복잡한 기능을 간단하게 이용할 수 있도록 할 필요가 있다. 이 때문에, 직감적으로 행할 수 있는 새로운 조작 방식, 및 유저 센싱 정보에 기초하여 유저의 상황이나 의도를 헤아려 앞지름으로써, 유저의 명시적인 조작량·부담을 경감하는 자율 동작 방식의 실현이 필요하다. 또, 리빙룸 등의 가족의 공유 공간에 설치되는 TV의 특징을 살리면서, 수동적으로 시청하는 것만이 아닌 사용법에 대응하기 위해서, 복수 사람에 의한 조작을 전제로 한 입력 방식, 조작 체계를 채용하는 것이 바람직한다.
종래의 리모콘 대신에 새로운 조작 방식으로서, 유저는 리모콘 등의 기기를 보유하지 않고, 또 특수한 장치를 장착하지 않고, 손짓이나 몸짓으로 간편하게 유저가 의도하는 정보를 입력할 수 있는 입력 장치가 개발되고 있다. 이런 종류의 장치에서는, 높은 조작성을 실현하기 위해서, 조작에 대한 적절한 피드백을 유저에게 주는 것이 중요하다.
이러한 피드백을 제시하는 장치로서, 예를 들면, 하기의 특허 문헌 1에는, 화상 처리 대상의 물체가 화상 처리 가능한 적정 범위에 있는지 아닌지를 판정하는 수단과, 물체가 적정 범위에 없다고 판정된 경우, 소정의 시각적 정보 및 청각적 정보의 적어도 한쪽을 제시하는 수단을 구비하는 유저 인터페이스 장치가 개시되어 있다. 이 장치는, 예를 들면, 적정 범위로부터 먼쪽으로 벗어나 있는 경우, 커서를 작게 및/또는 희미하게 표시하고, 근방에 어긋나 있는 경우, 커서를 크게 표시하며, 왼쪽으로 벗어나 있는 경우, 커서의 왼쪽의 단을 비뚤어지게 하여 표시한다.
특허 문헌 1 : 일본국 특허 제 3819096호 공보
상기의 종래의 기술은, 물체 검출을 위한 수광 장치는 고정적으로 설치되기 때문에, 유저의 손 등을 정상적으로 검출 가능한 범위가 한정되는 것을 과제로서 설정하고, 유저와 수광 장치의 위치 관계에 따라 제스처 입력의 적정 범위로부터의 어긋남을 피드백한다. 이에 반해, 물체 검출을 위한 수광 장치를 복수 배치함으로써 검출 가능한 범위를 확대시킨다는 방법도 있다. 디스플레이의 대화면화나 카메라의 보급 등에 의해, 물체 검출을 위한 수광 장치를 복수 배치하는 것은 현실적이 되고 있어, 유저의 조작 범위를 충분히 확보하는 것은 가능하다.
또한, 상기의 종래의 기술은, 화면 앞에 복수의 유저가 있는 경우에, 유저 간의 위치 관계를 고려하여 피드백을 주는 일은 없다. 그러나, 예를 들면, 소정의 제스처에 의해 메뉴를 화면 상에 표시시키는 경우, 복수의 유저가 너무 가까워진 위치에서, 메뉴를 꺼내는 소정의 제스처를 동시에 행한 경우, 메뉴가 일부 겹쳐 표시되어 버리는 등의 문제가 생길 수 있다. 또, 화면 상에서 복수의 유저가 각각의 워크 스페이스에 대해 시청, 조작을 하고 있는 경우, 자신의 워크 스페이스에 너무 열중하여, 주위의 유저의 워크 스페이스에 부주의하게 침입해 버리거나 하는 일이 일어날 수 있다.
본 발명은, 상기 종래의 과제를 해결하는 것은, 유저 인터페이스 장치로 복수의 처리가 평행하게 실행되고 있는 경우에, 한쪽의 처리가 다른쪽의 처리에 간섭하는 것을 방지하는 인터페이스 장치를 제공하는 것을 목적으로 한다.
본 발명의 한 형태에 관련된 유저 인터페이스 장치는, 어플리케이션 프로그램을 제어하는 인터페이스가 되는 작업 영역을, 유저에게 제공한다. 구체적으로는, 상기 유저에게 할당되어진 제1 작업 영역, 및 상기 제1 작업 영역과 상이한 제2 작업 영역을 표시하는 표시부와, 상기 유저의 위치를 검출하는 검출부와, 상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 상기 어플리케이션 프로그램의 종류에 따라, 상기 유저와 상기 제2 작업 영역 간의 적정 거리를 산출하는 산출부와, 상기 검출부에 의해 검출된 상기 유저의 위치와 상기 제2 작업 영역의 거리가, 상기 산출부에 의해 산출된 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지하는 통지부를 구비한다.
상기 구성에 의하면, 제1 작업 영역에서 작업 중의 유저가, 인접하는 제2 작업 영역에 잘못하여 침입해 버리는 것을 미연에 방지할 수 있다. 그 결과, 서로 이웃하여 작업하고 있는 유저끼리가 항상 적정 거리를 유지한 상태로 작업할 수 있다. 단, 본 발명은, 유저 인터페이스 장치를 복수의 유저로 공용하고 있는 경우에 한정되지 않는다. 예를 들면, 유저가 이용할 수 없는 시스템 영역을 제2 작업 영역으로 해도 된다.
또한, 상기 검출부는, 상기 유저가 상기 어플리케이션 프로그램을 제어하기 위해서 행하는 제스처를 검출한다. 상기 표시부는, 상기 검출부에 의해 검출된 상기 제스처의 위치에 대응하는 위치에, 상기 제스처의 타당성을 유저에게 전하기 위한 피드백 표시를 표시한다. 그리고, 상기 통지부는, 상기 피드백 표시의 표시 양태를 변화시킴으로써, 상기 유저의 위치와 상기 제2 작업 영역의 거리가 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지해도 된다.
구체적으로는, 상기 통지부는, 상기 유저의 위치가 상기 제2 작업 영역에 가까워질수록, 상기 피드백 표시를 작게 및/또는 희미하게 표시해도 된다. 이에 의해, 적정 거리를 유지하고 있는지 아닌지를, 유저에게 리얼 타임으로 통지할 수 있다. 또한, 본 명세서 중의 「유저의 위치」란, 예를 들면, 유저의 중심 위치여도 되고, 제스처의 위치(제스처를 하고 있는 손의 위치)여도 된다. 어느 쪽의 경우라도, 검출부에 의해 검출하는 것이 가능하다.
또, 상기 제1 작업 영역은, 상기 유저의 움직임에 추종하여 상기 표시부 내를 이동하는 윈도우여도 된다. 그리고, 상기 통지부는, 상기 유저가 상기 제2 작업 영역에 가까워질수록, 상기 윈도우의 추종도를 저하시켜도 된다. 이에 의해서도, 적정 거리를 유지하고 있는지 아닌지를, 유저에게 리얼 타임으로 통지할 수 있다.
또한, 상기 산출부는, 상기 유저의 신체적 특징에 따라 상기 적정 거리를 산출해도 된다. 예를 들면, 상기 산출부는, 상기 유저의 신장이 클수록, 또는 상기 유저의 팔의 길이가 길수록, 상기 적정 거리를 길게 해도 된다. 또는, 상기 산출부는, 상기 유저가 잘 쓰는 쪽의 손이 상기 제2 작업 영역에 가까운 측에 위치하는 경우에, 먼 측에 위치하는 경우보다 상기 적정 거리를 길게 해도 된다.
또한, 상기 산출부는, 상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 어플리케이션 프로그램과, 상기 제2 작업 영역을 통해서 다른 유저에게 제어되는 어플리케이션 프로그램의 유사도 또는 관련도가 높을 수록, 상기 적정 거리를 짧게 해도 된다.
또한, 상기 산출부는, 상기 제1 작업 영역에서 작업하는 상기 유저와, 상기 제2 작업 영역에서 작업하는 다른 유저의 관계에 기초하여, 상기 적정 거리를 산출해도 된다. 예를 들면, 상기 산출부는, 상기 유저가 상기 다른 유저보다도 사회적으로 상위인 경우에, 사회적으로 하위인 경우보다도 상기 적정 거리를 짧게 해도 된다.
또한, 상기 검출부는, 상기 유저 및 상기 다른 유저가 발하는 음성을 검출한다. 그리고, 상기 산출부는, 상기 검출부에 의해 검출된 발화량으로부터 상기 유저 및 상기 다른 유저의 관계를 추정해도 된다.
예를 들면, 상기 통지부는, 음성에 의해 통지해도 된다. 또는, 상기 통지부는, 조명에 의해 통지해도 된다. 또한, 상기 통지부는, 상기 유저가 보유하는 휴대 기기를 통해서 통지해도 된다.
본 발명의 한 형태에 관련된 유저 인터페이스 방법은, 유저에게 할당되어진 제1 작업 영역, 및 상기 제1 작업 영역과 상이한 제2 작업 영역을 표시하는 표시부를 이용하여, 상기 제1 작업 영역을 통해서 상기 유저에게 어플리케이션 프로그램을 제어하게 한다. 구체적으로는, 상기 유저의 위치를 검출하는 검출 단계와, 상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 상기 어플리케이션 프로그램의 종류에 따라, 상기 유저와 상기 제2 작업 영역 간의 적정 거리를 산출하는 산출 단계와, 상기 검출 단계에서 검출된 상기 유저의 위치와 상기 제2 작업 영역의 거리가, 상기 산출 단계에서 산출된 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지하는 통지 단계를 포함한다.
본 발명의 한 형태에 관련된 컴퓨터 판독 가능한 기록 매체는, 상기 기재의 유저 인터페이스 방법을, 컴퓨터에 실행시키는 프로그램을 기록하고 있다. 또한, 본 발명은, 유저 인터페이스 장치로서 실현될 수 있을 뿐만 아니라, 유저 인터페이스 장치의 기능을 컴퓨터에 실행시키는 프로그램으로서 실현되거나 할 수도 있다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 및 인터넷 등의 전송 매체를 통하여 유통시킬 수 있는 것은 말할 필요도 없다.
본 발명의 유저 인터페이스 장치에 의하면, 유저가 제2 작업 영역에 너무 가까워져 있는 것을 통지하므로, 제1 작업 영역에서 작업 중의 유저가, 인접하는 제2 작업 영역에 잘못하여 침입해 버리는 것을 미연에 방지할 수 있다.
도 1a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 외관과 관련 기기의 인터페이스의 일례를 설명한 도이다.
도 1b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 구성을 나타낸 기능 블럭도이다.
도 2a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 설치예를 설명한 도이다.
도 2b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 다른 설치예를 설명한 도이다.
도 2c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 다른 설치예를 설명한 도이다.
도 3은, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 구성을 나타낸 기능 블럭도이다.
도 4a는, 본 발명의 일실시 형태에 있어서의 유저 정보 데이터 베이스를 설명한 도이다.
도 4b는, 유저 정보 데이터 베이스에 포함되는 기본 속성 정보의 예를 나타낸 도이다.
도 4c는, 유저 정보 데이터 베이스에 포함되는 신체 특징 정보의 예를 나타낸 도이다.
도 4d는, 유저 정보 데이터 베이스에 포함되는 인간 관계 정보의 예를 나타낸 도이다.
도 5a는, 본 발명의 일실시 형태에 있어서의 유저 위치의 검출 방법의 개략을 설명한 도이다.
도 5b는, 유저 위치의 검출 방법의 일례인 입체시(立體視)의 원리를 설명한 도이다.
도 6a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치에 있어서, 유저가 표시부에 평행하게 이동한 경우의 동작예를 설명한 도이다.
도 6b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치에 있어서, 유저와 표시부의 거리가 변화한 경우의 동작예를 설명한 도이다.
도 6c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치에 있어서, 유저의 신체적 특징에 따른 동작예를 설명한 도이다.
도 7a는, 본 발명의 일실시 형태에 있어서의 프리 핸드 제스처의 검출 방법의 개략을 설명한 도이다.
도 7b는, 본 발명의 일실시 형태에 있어서의 프리 핸드 제스처의 검출 처리의 순서를 나타낸 도이다.
도 8은, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 처리의 개략을 나타낸 플로우차트이다.
도 9는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 피드백의 일례를 설명한 도이다.
도 10a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 10b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 10c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 11a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 11b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 11c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 12a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 12b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 13a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 13b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 13c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 14a는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 14b는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
도 14c는, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치의 동작예를 설명한 도이다.
이하, 본 발명의 실시의 형태에 대해서, 도면을 참조하면서 설명한다.
1 개요
본 발명의 유저 인터페이스 장치는, 예를 들면, 영상 표시부를 복수의 작업 영역으로 분할하여, 복수의 유저가 각각에 할당되어진 작업 영역을 통해서 어플리케이션 프로그램(이하 「어플리케이션」이라고 한다)의 제어를 행하는 장치이다.
2 구성
도 1a는, 본 발명의 유저 인터페이스 장치의 외관과 관련 기기의 인터페이스의 일례를 설명한 도이다. 유저 인터페이스 장치는, 하나 이상의 유저 검출 카메라 등을 포함한다. 유저 검출 카메라에 의해 촬영된 화상 정보의 해석에 의해 검출되는 유저의 위치 및 움직임에 의해 영상 표시부 상의 표시를 제어한다.
제스처 입력 리모콘을 보유한 유저의 손의 움직임이나 이 리모콘 상에 배치된 버튼의 압하와 같은 유저의 리모콘 조작에 기초하여, 영상 표시부 상의 표시를 제어해도 된다.
또, 유저 인터페이스 장치는, 정전식의 터치 패드를 구비한 터치 테이블의 입력을 접수하도록 해도 된다. 이에 의해, 유저는, 또한 다양한 입력 방식을 유저의 상황이나 어플리케이션의 종류에 따라 구분하여 사용할 수 있다.
또, 유저 인터페이스 장치는, 그 외의 가전 기기, 예를 들면, 디지털 스틸 카메라, 디지털 캠코더 등과 무선, 라우터/허브 등을 통하여 네트워크 접속되어 있다.
도 1a에서는 나타내고 있지 않지만, 유저 인터페이스 장치에 있어서의 복수의 스피커는, 영상 표시부의 상단과 하단, 좌단과 우단과 같이 떨어져 배치되어도 된다.
다음에, 도 1b를 참조하여, 본 발명의 일실시의 형태에 관련된 유저 인터페이스 장치(1)의 구성을 상세하게 설명한다. 도 1b는, 유저 인터페이스 장치(1)의 블럭도이다.
우선, 유저 인터페이스 장치(1)는, 표시부(2)와, 검출부(3)와, 산출부(4)와, 통지부(5)를 구비한다. 또한, 표시부(2)는 도 1a에 나타내는 영상 표시부에, 검출부(3)는 도 1a에 나타내는 유저 검출 카메라에 대응하고 있어도 된다.
이 유저 인터페이스 장치(1)는, 어플리케이션을 제어하는 인터페이스가 되는 작업 영역을 표시부(2) 상에 표시한다. 이 작업 영역은, 유저 각각에 할당되어져 있으며, 유저는, 작업 영역을 통해서 어플리케이션을 제어할 수 있다. 전형적인 사용 형태로서는, 표시부(2) 상에 제1 및 제2 작업 영역이 서로 이웃하여 위치하고 있어, 제1 유저가 제1 작업 영역을 통해서, 제2 유저가 제2 작업 영역을 통해서, 각각 어플리케이션을 제어하는 시츄에이션을 생각할 수 있다.
작업 영역을 통해서 제어되는 어플리케이션은 특별히 한정되지 않지만, 예를 들면, 표시부(2) 상에 그림을 그리는 「그림 그리기 어플리케이션」, 표시부(2) 상에 영상 데이터를 표시시키는 「재생 어플리케이션」, 및 실행하는 어플리케이션을 선택하기 위한 「메뉴 화면」 등을 생각할 수 있다.
또, 이들 어플리케이션은, 표시부(2) 앞에서 소정의 제스처를 함으로써, 제어(조작)할 수 있다. 예를 들면, 손바닥을 표시부(2)에 향하게 하여 소정 시간 정지시킴으로써, 「메뉴 화면」을 표시시킨다. 또는, 「그림 그리기 어플리케이션」을 실행 중에, 집게 손가락을 세운 상태로 손을 움직이면, 손의 움직임에 따라 표시부(2)에 선이 그려지는 것 등을 생각할 수 있다. 또한, 「재생 어플리케이션」은, 예를 들면, 영상을 표시하는 윈도우를, 유저에 추종하여 이동시키는 「Stay-with-Me TV」여도 된다.
표시부(2)는, 예를 들면, 대형의 표시 패널이다. 표시 패널로서는, 액정 디스플레이, 플라즈마 디스플레이, 유기 EL디스플레이 등, 기존의 모든 표시 패널을 채용할 수 있다. 이 표시부(2)는, 복수의 유저 각각에 할당되어지는 복수의 작업 영역으로 구분되어 있다.
표시부(2)는, 검출부(3)에 의해 검출된 제스처의 위치에 대응하는 위치에, 제스처의 타당성을 유저에게 전하기 위한 피드백 표시를 표시시켜도 된다. 예를 들면, 표시부(2) 상의 유저의 손에 대응하는 위치에 손모양을 표시하여, 이 손모양의 농담, 또는 사이즈에 따라 제스처의 타당성을 피드백해도 된다.
여기서, 「제스처의 타당성」이란, 손의 모양이 소정의 룰에 합치하고 있는지 아닌지 등이어도 되지만, 본 발명에서는, 주로, 제스처가 적절한 위치에서 행해지고 있는지 아닌지를 피드백하는 양태를 설명한다. 보다 구체적으로는, 상기 서술한 제1 및 제2 유저가 서로 이웃하여 어플리케이션을 조작하고 있는 경우에서, 제1 유저가 제2 작업 영역에 너무 가까워지는 것을 방지하는 방법에 대해서 설명한다.
검출부(3)는, 표시부(2) 앞에 위치하는 유저의 위치를 검출한다. 또한, 표시부(2) 앞에 위치하는 유저를 식별하거나, 각 유저의 제스처를 검출하거나, 각 유저의 발화량을 검출하거나 해도 된다. 이 검출부(3)는, 예를 들면, 유저 검출 카메라 등의 촬영부와, 촬영부로 촬영된 화상을 해석하여, 유저의 위치 등을 검출하는 해석부로 구성된다.
산출부(4)는, 제1 유저와 제2 작업 영역 간의 적정 거리를 산출한다. 이 적정 거리는, 예를 들면, 제1 작업 영역을 통해서 제1 유저에게 제어되고 있는 어플리케이션의 종류에 기초하여 산출된다. 또한, 제1 유저의 신체적 특징, 제1 및 제2 작업 영역 각각을 통해서 제어되고 있는 어플리케이션의 유사도나 관련도, 제1 및 제2 유저의 인간 관계(주종 관계) 등을 고려하여, 적정 거리를 산출해도 된다.
산출부(4)는, 제1 작업 영역에서 실행되는 어플리케이션의 종류에 따라, 제1 유저와 제2 작업 영역 간의 적정 거리를 산출한다. 예를 들면, 「메뉴 화면」이나 「재생 어플리케이션」을 실행하는 경우는, 당해 화면의 폭에 기초하여 적정 거리를 산출하면 된다. 또, 산출부(4)는, 제1 작업 영역을 통해서 제어되는 어플리케이션과, 제2 작업 영역을 통해서 제어되는 어플리케이션의 유사도 또는 관련도가 높을 수록, 적정 거리를 짧게 해도 된다.
또, 산출부(4)는, 유저의 신체적 특징에 따라 적정 거리를 산출해도 된다. 예를 들면, 「그림 그리기 어플리케이션」을 실행하는 경우에는, 제1 유저의 팔의 길이를 적정 거리로 하면 된다. 그 외에, 유저의 신장이 클수록, 또는 팔의 길이가 길수록, 적정 거리를 길게 하는 것을 생각할 수 있다. 또는, 유저가 잘 쓰는 쪽의 손이 제2 작업 영역에 가까운 측에 위치하는 경우에, 먼 측에 위치하는 경우보다 적정 거리를 길게 하는 것도 생각할 수 있다.
또한, 산출부(4)는, 제1 작업 영역에서 작업하는 제1 유저와, 제2 작업 영역에서 작업하는 제2 유저의 관계에 기초하여, 적정 거리를 산출해도 된다. 예를 들면, 제1 유저가 제2 유저보다도 사회적으로 상위인 경우에, 사회적으로 하위인 경우보다도 적정 거리를 짧게 하는 것을 생각할 수 있다. 이 때, 예를 들면, 검출부(3)에 의해 검출된 발화량으로부터 제1 유저 및 제2 유저의 관계를 추정해도 된다.
통지부(5)는, 검출부(3)에서 검출된 유저와, 당해 유저에게 할당되어진 작업 영역에 인접하는 작업 영역의 거리가, 적정 거리보다 짧아진 것을 당해 유저에게 통지한다. 또한, 통지하는 방법은 특별히 한정되지 않지만, 표시부(2)의 표시에 의해 통지하는 방법, 음성에 의해 통지하는 방법, 조명에 의해 통지하는 방법, 및 유저가 보유하는 휴대 기기를 통해서 통지하는 방법 등, 모든 통지 방법을 채용할 수 있다.
한 형태로서, 통지부(5)는, 피드백 표시의 표시 양태를 변화시킴으로써, 유저의 위치와 근처의 작업 영역의 거리가 적정 거리보다 짧아진 것을 유저에게 통지해도 된다. 예를 들면, 적정 거리보다 먼 경우는 손모양을 진하게(혹은, 크게) 표시하고, 적정 거리보다 가까운 경우는 손모양을 희미하게(혹은, 작게) 표시하면 된다.
또, 다른 형태로서, 「Stay-with-Me TV」를 실행하고 있는 경우, 통지부(5)는, 윈도우의 추종도를 변화시킴으로써, 유저의 위치와 적정 거리의 관계를 통지해도 된다. 예를 들면, 유저와 근처의 작업 영역의 거리가 적정 거리보다 먼 경우는 추종도를 최대로 하고, 적정 거리보다 가까운 경우에는 추종도를 순차적으로 저하시키면 된다.
도 2a~도 2c는, 본 발명의 유저 인터페이스 장치의 설치의 일례를 설명한 도이다. 유저 검출 카메라는, 도 2a에 나타내는 바와 같이, 영상 표시부의 주위에 설치된 것 뿐만이 아니라, 도 2b에 나타내는 바와 같이, 영상 표시부가 설치되어 있는 공간의 벽이나 천정에 설치되어도 된다. 또한, 영상 표시부의 주위에 설치된 것과 벽이나 천정에 설치된 것을 병용해도 된다. 또, 도 2c에 나타내는 바와 같이, 바닥 압력 센서를 바닥에 부설하면, 유저 검출 카메라의 화상을 해석하지 않고도 상기 바닥 압력 센서의 출력으로부터 유저의 위치를 정밀도 있게 검출할 수 있다.
도 3은, 본 발명의 바람직한 실시 형태에 있어서의 유저 인터페이스 장치(10)의 구성예를 나타낸 도이다.
유저 인터페이스 장치(10)는, 유저 검출 카메라(11)와, 유저 식별부(21)와, 유저 위치 검출부(22)와, 유저 동작 검출부(23)와, 적정 위치 산출부(24)와, 표시 제어부(25)와, 영상 표시부(31)를 구비한다.
또한, 이 실시 형태에서는, 유저 검출 카메라(11), 유저 식별부(21), 유저 위치 검출부(22), 및 유저 동작 검출부(23)로, 도 1b에 나타내는 검출부(3)를 구성한다. 또, 적정 위치 산출부(24)는 도 1b에 나타내는 산출부(4)에, 표시 제어부(25)는 도 1b에 나타내는 통지부(5)에, 영상 표시부(31)는 도 1b에 나타내는 표시부(2)에 각각 대응한다.
도 4a~도 4d는, 유저 정보 DB(데이터 베이스)의 데이터 구성의 개략을 설명한 도이다.
도 3에는 나타내고 있지 않지만, 유저 인터페이스 장치(10)는, 기본 속성 정보, 신체 특징 정보, 및 인간 관계 정보 등을 저장하는 유저 정보 DB를 구비하는 것이 좋다. 기본 속성 정보는, 예를 들면, 도 4b에 나타내는 바와 같이, 이름, 성별, 연령, 가족관계 등이다. 이 기본 속성 정보는, 예를 들면, 유저 식별부(21)가, 영상 표시부(31) 앞에 위치하는 유저를 식별할 때에 참조해도 된다.
또, 유저 정보 DB에 저장되는 신체 특징 정보는, 도 4c에 나타내는 바와 같이, 입위(立位)에서의 신장과 눈의 높이, 좌위(座位)에서의 신장과 눈의 높이, 잘 쓰는 쪽의 손, 잘 쓰는 쪽의 눈, 시력, 청력 등, 유저의 자세별의 신체 형상, 및 시청 능력 등을 포함한다. 이 신체 특징 정보는, 예를 들면, 적정 위치 산출부(24)가, 적정 위치를 산출할 때의 참고 정보로서 참조해도 된다.
또한, 유저 정보 DB에 저장되는 인간 관계 정보는, 예를 들면, 도 4d에 나타내는 바와 같이, 그 데이터 베이스에 등록을 마친 유저 간의 친밀도를 0.0~1.0으로 저장하고 있다. 이 인간 관계 정보는, 예를 들면, 적정 위치 산출부(24)가, 적정 위치를 산출할 때의 참고 정보로서 참조해도 된다. 구체적으로는, 이 친밀도에 기초하여, 각 유저에 대응하는 화면 상의 워크 스페이스 혹은 윈도우의 주종 관계를 규정하거나, 피드백을 제어할 수 있다.
유저 검출 카메라(11)는, 영상 표시부(31)의 주위에 설치된 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서이다. 유저 검출 카메라(11)는, 영상 표시부(31)의 전방에 존재하는 유저를 촬영한다.
2.1 유저 식별부
유저 식별부(21)는, 예를 들면, 유저 검출 카메라(11)의 화상으로부터 얼굴 영역의 추출을 행한다. 그리고, 미리 등록된 얼굴 화상과 추출한 얼굴 화상의 대조를 행함으로써, 유저를 특정하는 유저 식별 정보를 출력한다.
2.2 유저 위치 검출부
유저 위치 검출부(22)는, 예를 들면, 유저 검출 카메라(11)로 촬영한 복수의 영상으로부터 유저 영역의 추출을 행한다. 그리고, 복수의 영상에 있어서의 유저 영역의 대응 관계로부터 입체시의 원리에 의해, 유저와 영상 표시부(31)의 상대 위치를 산출한다.
도 5a 및 도 5b는, 본 발명의 일실시 형태에 있어서의 유저 위치 검출부(22)에 있어서의 입체시의 원리에 기초하는 유저 위치 산출 방법을 설명한 도이다.
도 5a에 나타내는 바와 같이, 2대 1세트의 유저 검출 카메라(11)를, 간격 B를 두고 영상 표시부(31)의 화면에 대해 평행하게 설치한다. 유저 위치 검출부(22)는, 각각의 유저 검출 카메라(11)로 촬영된 화상 내의 대응하는 유저 영역의 위치의 어긋남을 기초로, 유저와 영상 표시부(31)의 화면의 거리 D를 산출한다.
각 유저 검출 카메라(11)로 촬영된 화상 내의 유저가 비치고 있는 영역의 추출은, 예를 들면, 미리 유저가 없는 상태에서 각각의 유저 검출 카메라(11)로 촬영한 화상을 보존해 두고, 유저가 나타났을 때의 화상과의 차분을 구함으로써 실현할 수 있다. 또, 얼굴 화상 검출 및 얼굴 화상의 대조에 의해 유저의 얼굴 영역을 구하여, 이 얼굴 영역을 유저 영역으로 할 수도 있다.
도 5b는, 2개의 화상 상의 대응하는 유저 영역을 기초로, 유저와 유저 검출 카메라(11)의 설치면(영상 표시부(31)의 화면)의 거리 D를 구하는 입체시의 원리를 나타낸 것이다. 2대의 유저 검출 카메라(11)로 촬영된 화상 각각에서 대응하는 유저 영역을 위치 측정 대상으로 하면, 그 이미지는 2개의 화상 상에 도 5b에 나타내는 바와 같이 투영된다. 대응하는 이미지의 화상 상의 어긋남을 Z로 하면, 유저 검출 카메라(11)의 촛점거리 f와 유저 검출 카메라(11)의 광축간의 거리 B로부터, 유저와 영상 표시부(31)의 거리 D는, D=f×B/Z로 구해진다. 또, 영상 표시부(31)의 화면에 평행한 방향의 유저 위치에 대해서는, 화상 중의 유저 영역의 위치와 상기의 거리 D를 기초로 구할 수 있다. 유저 위치 검출부(22)는, 이와 같이 하여 구한 영상 표시부(31)에 대한 유저의 상대적인 위치를 출력한다.
이 유저 위치 정보에 기초하여, 예를 들면, 당해 유저에게 제시해야 할 정보의 영상 표시부(31)의 화면 상의 표시 위치를 결정함으로써, 도 6a 및 도 6b에 나타내는 바와 같이, 유저가 움직여도 항상 유저로부터 보기 쉬운 위치에 워크 스페이스, 윈도우, 정보를 계속하여 제시하는 것이 가능하다. 이것은, 유저에 따라 오는 TV(Stay-with-Me TV)라고 할 수 있다.
예를 들면, 도 6a에 나타내는 바와 같이, 유저가 영상 표시부(31)의 전방에서 이동하면, 유저의 위치에 가까운 화면 상의 위치에 정보를 표시하도록 할 수 있다. 또, 도 6b에 나타내는 바와 같이, 유저가 영상 표시부(31)에 대해서 가까워지거나, 또는 멀어지는 경우는, 정보의 표시 사이즈를 축소 또는 확대하여, 유저에게 있어 보기 쉬운 크기로 표시할 수 있다. 또한, 도 6c에 나타내는 바와 같이, 각 유저의 얼굴의 높이 위치에 따라, 보기 쉬운 높이에 정보를 표시하도록 할 수 있다.
또한, 유저 검출 카메라(11)로서, 광파 측거(Time of Flight)의 원리에 의해 거리 정보를 출력하는 거리 화상 센서를 이용해도 된다. 유저 위치 검출부(22)는, 거리 화상 센서를 얻음으로써 용이하게 영상 표시부(31)에 대한 유저의 상대 위치를 산출할 수 있다.
또, 도 2c에 나타내는 바와 같이, 공간에 바닥 압력 센서가 설치되어 있으면, 유저 위치 검출부(22)는, 유저 검출 카메라(11)의 정보를 입력으로 하지 않아도, 바닥 압력 센서의 출력값을 입력으로 하여, 영상 표시부(31)에 대한 유저의 상대 위치를 산출할 수 있다.
2.3 유저 동작 검출부
유저 동작 검출부(23)는, 유저의 손영역을 추출한 후, 손의 위치와 손의 형상이 미리 규정된 어느 형상에 합치하는지 대조하여, 예를 들면 「주먹」 「보자기」 「오른쪽 선택」 「왼쪽 선택」 등의 손형상의 정보를 출력한다.
도 7a 및 도 7b는, 본 발명의 일실시 형태에 있어서의 유저 동작 검출부(23)에 있어서의 손위치 및 손형상의 검출 방법을 나타낸 것이다.
유저 동작 검출부(23)는, 도 7a에 나타내는 바와 같이, 유저 검출 카메라(11)로 촬영된 화상으로부터, 우선은 인물 위치를 검출하고, 인물 위치의 주변에서 손위치 및 손형상의 검출을 행한다. 손위치 및 손형상의 추정의 방법으로서는, 예를 들면, 이하의 방법을 이용함으로써 추정할 수 있다. 이하, 도 7b를 이용하여 설명한다.
우선, 오프 라인 처리로서, 유저 동작 검출부(23)는, 검출하고 싶은 손의 학습 화상을 대량으로 준비한다(S501). 학습 화상에 있어서의 조명 환경, 방향 등의 조건은, 가능한한 실제로 검출하는 환경에 따른 조건의 것을 갖추는 것이 바람직하다. 다음에, S501에서 준비한 학습 화상으로부터, 주성분 분석을 이용하여 손의 주성분을 구성하는 고유 공간을 작성한다(S502). 또, 검출하고 싶은 손의 샘플로서 손의 템플릿 화상을 준비한다. 템플릿 화상은, 준비한 손의 평균 화상이어도 되고, 주먹, 보자기 등, 몇개의 손의 화상을 준비해도 된다. 작성한 고유 공간으로의 사영 행렬 및, 손의 템플릿 화상을 손템플릿 데이터 베이스에 저장한다(S503).
다음에, 실제의 검출을 행하는 온라인 처리에 대해서 설명한다.
우선, 유저 검출 카메라(11)가, 영상 표시부(31)의 전방에 존재하는 유저를 촬영한다(S504). 유저 동작 검출부(23)는, 유저 검출 카메라(11)로 촬영된 화상으로부터 얼굴 영역의 검출을 행한다(S505).
유저 동작 검출부(23)는, S505에서 얼굴 영역이 검출되면, 그 영역의 주변에서 손의 검출을 행한다. 얼굴 영역의 주변에 있어서, 준비한 손의 템플릿에 유사한 영역을, 손템플릿 데이터 베이스에 저장한 손의 템플릿 화상을 이용하여 주사한다(S506). 얼굴의 주변 영역의 결정은, 얼굴 위치를 기준으로 하여 미리 설정한 사이즈의 범위여도 된다. 또는, 유저 검출 카메라(11)를 2개 이용한 입체시의 원리에 의해, 얼굴의 주변 영역에서 얼굴과 깊이 거리가 가까운 영역을 주사하여 탐색 범위를 삭감해도 된다.
매칭을 행하기 위한 유사도의 계산으로서는, 여기에서는 우선 잘라낸 손의 후보 영역 화상과, 손의 템플릿 화상을 미리 준비한 고유 공간으로의 사영 행렬을 사용하여 고유 공간에 사영한다. 그리고, 고유 공간 상에서의 양자의 거리를 비교하는 수법을 행한다. 손의 주성분을 표시하는 공간 상에서 거리를 비교함으로써, 배경 등 노이즈의 영향을 저감한 검출이 가능하다. 탐색 영역 내에서, 미리 정한 임계값을 만족하고, 또한 가장 손템플릿에 가까운 거리가 얻어진 영역을 손의 위치로 한다. 또 가장 거리가 가까운 손템플릿의 형상(예를 들면 주먹, 보자기 등)을 손의 형상으로 한다(S507).
한편, 탐색 영역 내에서 임계값을 만족하는 영역이 없는 경우에는, 손을 내밀지 않은 것으로 하여 검출을 종료한다.
이 예에서는, 손위치 및 손형상의 검출에 템플릿 매칭의 수법을 이용했지만, 그 외의 수법, 예를 들면, 부스팅(Boosting) 등의 수법을 이용해도 된다.
본 발명의 유저 인터페이스 장치(10)에 적용되는 어플리케이션은, 예를 들면, 당해 유저에게 복수의 선택지와 각 선택지에 대응한 손위치 및 손형상을 미리 대응시켜 둔다. 그리고, 유저 동작 검출부(23)에 의해 검출된 유저의 손위치 및 손형상의 변화에 따라, 대응하는 선택지가 선택된 것을 판단할 수 있다.
2.4 적정 위치 산출부
적정 위치 산출부(24)는, 유저 식별부(21)가 출력하는 유저 식별 정보, 유저 위치 검출부(22)가 출력하는 유저 위치, 유저 동작 검출부(23)가 출력하는 손위치 및 손형상의 정보를 입력 정보로 하여, 유저의 주위의 유저 혹은 주위의 워크 스페이스와의 적정 거리를 산출하여, 유저의 적정 위치를 규정한다.
2.5 표시 제어부
표시 제어부(25)는, 적정 위치 산출부(24)에서 규정된 유저의 적정 위치에 기초하여, 영상 표시부(31)에 표시되는 어플리케이션을 제어한다. 구체적인 제어의 방법에 대해서는, 하기의 「3 동작」에서 설명한다.
3 동작
도 8은, 본 발명의 일실시 형태에 있어서의 유저 인터페이스 장치(10)의 처리의 개략을 나타낸 플로우차트이다.
우선, 유저 식별부(21)는, 유저 검출 카메라(11)에 의해 촬영된 화상으로부터 유저의 얼굴을 검출한다. 그리고, 미리 등록된 유저 정보 DB에 저장되는 신체 특징 정보와의 대조에 의해, 유저 식별을 행한다(S601). 다음에, 식별된 각 유저에 대해, 유저 위치 검출부(22)는 유저 위치 정보를, 유저 동작 검출부(23)는 손위치 및 손형상의 정보를 각각 산출한다(S602).
유저 인터페이스 장치(10)를 조작하는 유저가 2명 이상 식별된 경우(S603의 YES), 적정 위치 산출부(24)는, 유저의 적정 위치를 산출한다(S604). 그리고, 표시 제어부(25)는, 적정 위치 산출부(24)에 의해 산출된 적정 위치에 기초하여, 영상 표시부(31)에 표시되는 어플리케이션을 제어한다(S605).
다음에, 유저 인터페이스 장치(10)의 동작에 대해서, 도 9~도 14c를 이용하여 3개의 유스 케이스를 설명한다. 3개의 케이스는, 케이스 1: 제스처 입력에 의한 메뉴 화면의 조작(도 9~도 11c), 케이스 2: 제스처 입력에 의한 그림 그리기 어플리케이션(도 12a 및 도 12b), 케이스 3: 유저 위치 입력에 의한 「Stay-with-Me TV」(도 13a~도 14c)이다.
도 9는, 유저 인터페이스 장치(10)의 유저의 손에 의한 제스처의 피드백의 예를 설명한 도이다. 이 예에서는, 표시 제어부(25)가, 유저의 손의 위치가 적정 위치로부터 어긋남에 따라, 화면 상의 손의 표시(「피드백 표시」라고 한다)를 변화시켜 피드백함으로써, 유저에게 그 취지를 통지한다.
도 9의 상단에 나타내는 바와 같이, 적정 위치로부터의 어긋남이 큰 위치일수록 손의 피드백 표시를 희미하게 하면 된다. 또는, 도 9의 중단에 나타내는 바와 같이, 적정 위치로부터의 어긋남이 큰 위치일수록 손의 피드백 표시의 크기를 작게 해도 된다. 또, 도 9의 하단에 나타내는 바와 같이, 적정 위치로부터의 어긋남이 큰 위치일수록 손의 피드백 표시를 진동적으로 해도 된다.
또한, 도 9에 나타내는 예에서는, 적정 위치의 우측에 타인에게 할당되어진 작업 영역이 존재하는 것을 전제로 하고 있다. 그리고, 이 예에서는, 적정 위치로부터 좌측(인접하는 작업 영역으로부터 멀어지는 방향)으로 이동해도, 적정 위치로부터의 어긋남을 0으로 생각하여 피드백 표시의 표시 양태를 변경하지 않는다. 한편, 적정 위치로부터 우측(인접하는 작업 영역에 가까워지는 방향)으로 이동한 경우는, 그 이동량에 따라 피드백 표시의 표시 양태를 변경하고 있다. 단, 상기의 예에 한정되는 일 없이, 적정 위치로부터 좌측으로 이동한 경우에, 피드백 표시를 보다 크게(혹은, 보다 진하게) 표시하도록 해도 된다.
(케이스 1: 제스처 입력에 의한 메뉴 조작)
도 10a~도 11c는, 케이스 1의 유저 인터페이스 장치(10)의 동작예를 설명한 도이다. 또한, 이하의 설명에서는, 2명의 유저 A, B가 각각에 할당되어진 작업 영역을 통해서 어플리케이션을 제어하고 있는 경우에서, 유저 A에 대해, 유저 B에 할당되어진 작업 영역에 너무 가까워진 것을 통지하는 처리를 설명한다. 한편, 유저 B에 대한 통지는 유저 A의 경우와 공통되므로, 설명은 생략한다.
이 케이스에서는, 영상 표시부(31)에 2개의 작업 영역(도 10a 및 도 10b의 파선 틀로 나타내는 영역)이 포함되어 있다. 그리고, 한쪽의 작업 영역이 유저 A에, 다른쪽의 작업 영역이 유저 B에 할당되어져 있다. 그리고, 유저 A와 유저 B는, 소정의 시간, 손을 화면에 향하게 하는(손으로 가리는) 제스처를 행함으로써, 할당되어진 작업 영역 내에 각각의 메뉴 화면을 표시하려고 하고 있는 장면이다.
도 10a~도 10c는, 유저가 손을 화면에 향하게 하는(손으로 가리는) 제스처를 행하면, 손의 피드백 표시를 제시한 다음, 소정 시간 경과하면 각 유저의 메뉴 화면을 표시하는 예이다. 또, 도 11a~도 11c는, 유저가 손을 화면에 향하게 하는(손으로 가리는) 제스처를 행하면, 손의 피드백 표시를 제시하지 않고, 소정 시간 경과하면 각 유저의 메뉴 화면을 표시하는 예이다.
우선, 적정 위치 산출부(24)는, 유저 A의 적정 거리 s를, 유저 A의 메뉴 화면 폭의 반(a/2)으로 설정한다. 이와 같이 적정 거리 s를 정한 다음 어플리케이션을 제어함으로써, 유저 A의 메뉴 화면과 유저 B의 메뉴 화면이 서로 겹치는 것을 막을 수 있다. 적정 거리 s는, 또한 마진을 더한 값으로 해도 된다.
유저 위치 검출부(22)는, 유저 검출 카메라(11)로 촬영된 화상에 기초하여, 유저 A와, 유저 B에 할당되어진 작업 영역 간의 현실의 거리 i를 산출한다. 이 거리 i는, 유저 A의 중심 위치와, 유저 B에 할당되어진 작업 영역의 좌단의 거리다.
도 10a에서는, 유저 위치 검출부(22)로 산출된 거리 i가 적정 거리 s보다도 작다. 그래서, 표시 제어부(25)는, 유저 A의 손의 피드백 표시를 희미하게 하고, 유저 A에 대해, 적정 거리 s를 넘어 인접하는 작업 영역에 가까워져 있는 것을 통지한다. 여기에서는, 유저 B에는 통상의 피드백 표시를 하고 있지만, 유저 B에 대한 피드백 표시도 통상보다 희미하게 표시해도 된다.
유저 A는, 피드백 표시를 보고, 도 10b에 나타내는 바와 같이, 적정 거리만큼 유저 B에 할당되어진 작업 영역으로부터 떨어지도록 이동할 수 있다. 그리고, 도 10c에 나타내는 바와 같이, 유저 A가 유저 B에 할당되어진 작업 영역으로부터 적정 거리 이상 떨어진 위치에서, 유저 A, B 각각의 메뉴 화면이 표시된다. 이 때, 유저 A, B의 메뉴 화면이 겹치지 않고 표시된다.
또한, 여기에서는, 유저 B에 할당되어진 작업 영역의 좌단의 위치로부터 적정 거리 s만큼 떨어진 적정 위치를 기준으로 하여, 당해 적정 위치로부터(유저 B의 작업 영역에 가까워지는 방향으로) 떨어짐에 따라 손의 피드백 표시를 희미하게 하고 있지만, 희미하게 하는 대신에, 표시를 작게 하거나, 표시를 진동시키는 등 해도 된다. 또, 이들 처리를 조합해도 된다.
도 11a에서는, 도 10a와 마찬가지로, 유저 A와 유저 B에 할당되어진 작업 영역 간의 현실의 거리 i가 적정 거리 s보다도 작은 상태에서, 양유저가 손을 화면에 향하게 하는(손으로 가리는) 제스처를 행하여 메뉴 화면을 표시하려고 하고 있다. 도 11b에서는, 유저 B에 할당되어진 작업 영역의 좌단의 위치를 기준으로, 적정 거리 s만큼 떨어진 위치를 중심으로 유저 A의 메뉴 화면을 표시한다.
즉, 유저 A에 있어서는 자신의 몸의 정면으로부터 조금 좌측의 위치에 메뉴 화면이 나타나게 된다. 그렇게 하면, 유저 A는, 유저 B에 할당되어진 작업 영역에 너무 가까워진 것을 깨닫고, 도 11c에 나타내는 바와 같이, 메뉴 화면의 정면에 서도록 좌측으로 이동할 수 있다. 이 경우도, 유저 A의 메뉴 화면과 유저 B의 메뉴 화면이 서로 겹치는 일 없이 표시된다.
(케이스 2: 제스처 입력에 의한 그림 그리기 어플리케이션)
도 12a 및 도 12b는, 케이스 2의 유저 인터페이스 장치(10)의 동작예를 설명한 도이다. 또한, 이하의 설명에서는, 2명의 유저 A, B가 각각에 할당되어진 작업 영역을 통해서 어플리케이션을 제어하고 있는 경우에서, 유저 A에 대해, 유저 B에 할당되어진 작업 영역에 너무 가까워진 것을 통지하는 처리를 설명한다. 한편, 유저 B에 대한 통지는 유저 A의 경우와 공통되므로, 설명은 생략한다.
이 케이스는, 유저 A가, 손의 움직임에 맞추어 표시부(2) 상에 묘화하는 그림 그리기 어플리케이션을 실행 중이며, 그 인접하는 위치에서 유저 B가 방송 컨텐츠(뉴스 프로그램)를 시청 중인 장면이다.
우선, 거리 i는, 유저 A의 중심 위치로부터 유저 B에 할당되어진 작업 영역(시청하고 있는 표시 영역)의 좌단까지의 거리로 하면 된다. 이 경우는, 손의 움직임에 맞추어 화면 상에 묘화하는 그림 그리기 어플리케이션이므로, 적정 거리 s는, 유저 A의 팔의 길이로 하면 된다. 또, 유저 A와 유저 B는, 상이한 어플리케이션을 실행하고 있으므로, 동종의 어플리케이션을 실행하고 있는 경우보다, 마진을 크게 해도 된다.
도 12a에서는, 유저 B가 시청하고 있는 표시 영역의 좌단으로부터 유저 A의 중심 위치까지의 거리 i가 적정 거리 s 이상이므로, 표시 제어부(25)는, 손의 피드백 표시를 통상의 표시 형태로 제시한다. 그리고, 도 12b에서는, 거리 i가 적정 거리 s 미만이 되고 있으므로, 표시 제어부(25)는, 거리 i와 적정 거리 s의 차의 크기에 따라, 손의 피드백 표시를 작게 제시하고 있다. 이 피드백 표시의 변화에 의해, 유저 A는, 유저 B의 작업 영역에 너무 접근하고 있는 것을 알 수 있어, 부주의하게 유저 B의 작업 영역에 침입하지 않아도 된다.
(케이스 3: 유저 위치 입력에 의한 Stay-with-Me TV)
도 13a~도 14c는, 케이스 3의 유저 인터페이스 장치(10)의 동작예를 설명한 도이다. 또한, 이하의 설명에서는, 2명의 유저 A, B가 각각에 할당되어진 작업 영역을 통해서 어플리케이션을 제어하고 있는 경우에서, 유저 A에 대해, 유저 B에 할당되어진 작업 영역에 너무 가까워진 것을 통지하는 처리를 설명한다.
이 케이스는, 유저 A와 유저 B가, 각 유저의 워크 스페이스 또는 윈도우가, 유저가 이동하는데 추종하여 따라 오는 「Stay-with-Me TV」라고 불리는 기능을 이용 중인 장면이다. 도 13a~도 13c는, 유저 A와 유저 B가 동일한 방향으로 이동 중인 경우이며, 도 14a~도 14c는, 유저 A와 유저 B가 서로 마주보는 방향으로 이동 중인 경우이다.
도 13a~도 13c의 경우는, 적정 위치 산출부(24)는, 유저 A의 윈도우의 폭(a)에 소정의 마진을 더하여, 적정 거리 s를 산출하면 된다.
도 13a 및 도 13b에서는, 유저 A와 유저 B에 할당되어진 작업 영역 간의 거리 i가 적정 거리 s보다도 크기 때문에, 통상의 추종도로 윈도우가 유저 A의 이동에 추종한다. 그러나, 도 13c에서는, 유저 A와 유저 B에 할당되어진 작업 영역 간의 거리 i가 적정 거리 s 미만이 되어 있기 때문에, 유저 A가 유저 A의 적정 위치를 넘어, 유저 B의 작업 영역에 가까워져 있다고 할 수 있다. 그 때문에, 표시 제어부(25)는, 유저 A의 윈도우의 추종도를 낮게 하여, 유저 A에게 적정 위치를 넘고 있는 것을 통지한다. 유저 A에 있어서는, 서서히 윈도우가 자신의 바로 옆의 위치에서 뒤쪽으로 치우치게 됨으로써, 이 상황을 알 수 있다. 또, 유저에 따라서는, 윈도우가 자신의 바로 옆의 위치에서 뒤쪽으로 치우치게 되면, 자신의 이동의 속도를 낮추는 경우도 있다고 생각할 수 있다.
도 13a와 도 13b와 도 13c에서 유저 A의 위치와 유저 A의 윈도우의 좌단의 거리를 비교하면, 도 13a와 도 13b에 나타내는 경우에 비해, 도 13c에 나타내는 경우의 윈도우의 추종도가 낮아져 있는 것을 알 수 있다.
또한, 도 13a~도 13c에서는, 유저 A에 주목하여 설명하고 있기 때문에, 유저 B의 윈도우의 추종도는, 도 13a와 도 13b와 도 13c에서 거의 동일하게 되어 있다. 그러나, 도 13c에 있어서, 유저 B의 윈도우의 추종도를 높여(즉, 윈도우가 유저 B를 추월하여), 유저 B에게 뒤로부터 사람이 가까워져 있는 것을 암시시킬 수도 있다. 그러한 제시를 함으로써, 유저 B가 이동의 속도를 올릴 가능성도 있다.
도 14a~도 14c의 경우는, 적정 위치 산출부(24)는, 유저 A의 윈도우의 폭(a)에 소정의 마진을 더하여, 적정 거리 s를 산출하면 된다. 이 때의 마진은, 도 13a~도 13c에 나타내는 경우보다 크게 설정하는 것이 바람직하다. 이것은, 도 13a~도 13c의 경우에 비해, 도 14a~도 14c의 경우 쪽이, 서로의 존재가 신경이 쓰이는 것을 고려했기 때문이다.
도 14a와 도 14b에서는, 유저 A와 유저 B에 할당되어진 작업 영역 간의 거리 i가 적정 거리 s보다도 크기 때문에, 통상의 추종도로 윈도우가 유저 A의 이동에 추종한다. 그러나, 도 14c에서는, 유저 A와 유저 B에 할당되어진 작업 영역 간의 거리 i가 적정 거리 s 미만이 되어 있기 때문에, 유저 A가 유저 A의 적정 위치를 넘어, 유저 B에 가까워져 있다고 할 수 있다. 그 때문에, 표시 제어부(25)는, 유저 A의 윈도우의 추종도를 낮게 하여, 유저 A에게 적정 위치를 넘고 있는 것을 통지한다. 유저 A에 있어서는, 서서히 윈도우가 자신의 바로 옆의 위치에서 뒤쪽으로 치우치게 됨으로써, 상황을 알 수 있다. 또, 유저에 따라서는, 윈도우가 자신의 바로 옆의 위치에서 뒤쪽으로 치우치게 되면, 자신의 이동의 속도를 낮추는 경우도 있다고 생각할 수 있다.
이와 같은 구성에 의하면, 각 유저의 조작이 주위의 유저의 조작에 방해가 되지 않도록, 적어도 복수의 유저의 위치 관계에 기초하여 유저의 적정 위치를 규정하고, 적정 위치에 기초하여 영상 표시부(31)에 표시되는 어플리케이션을 제어한다. 이에 의해, 각 유저의 조작이 주위의 유저의 조작에 방해가 되지 않게 된다. 또, 각 유저의 조작이 주위의 유저에게 방해가 될 가능성이 있는 경우에, 그 취지가 피드백 제시되므로, 유저가 그 취지를 인식할 수 있다.
또한, 본 실시의 형태에 있어서, 제스처는 프리 핸드 제스처를 상정하여, 유저 검출 카메라(11)의 화상으로부터 유저의 손위치 및 손형상을 화상 해석에 의해 검출하고 있지만, 유저의 일부 또는 전원이 도 1a에 나타내는 정전식의 터치 패드를 구비한 터치 테이블 상에서의 제스처를 행해도 되며, 본원 발명은 그러한 유스 케이스에서도 물론 유효하다. 또한, 유저의 일부 또는 전원이 도 1a에 나타내는 제스처 입력 리모콘을 이용하여 제스처를 행한 경우에도, 본원 발명은 물론 유효하다.
또한, 상기의 3개의 유스 케이스에 있어서는, 2명의 유저 A, B가 서로 이웃한 상태로 작업을 하고 있는 예를 나타냈지만, 이것에 한정되는 일 없이, 본 발명은 1명의 유저가 당해 유저 인터페이스 장치(10)를 사용하고 있는 경우에도 적용할 수 있다. 예를 들면, 유저가 제1 작업 영역을 통해서 어플리케이션을 제어하고 있고, 제1 작업 영역에 인접하는 제2 작업 영역은 시스템이 사용하는 영역인 경우에, 유저가 시스템 영역에 침입하는 것을 유효하게 방지할 수 있다.
4 변형예
이하, 변형예에 대해서 설명한다.
4.1 적정 위치의 규정 방법
적정 위치 산출부는, 이하의 점을 고려하여, 적정 위치를 규정해도 된다.
(신체적 특징)
적정 위치 산출부(24)는, 유저의 신체적 특징에 기초하여, 적정 위치를 규정해도 된다. 예를 들면, 유저의 신장 혹은 팔의 길이를 고려하여, 서로 이웃하는 유저가 팔을 서로의 방향으로 펴도 팔이 교착하지 않도록 적정 위치를 규정할 수 있다. 또, 유저가 왼손잡이나 오른손잡이의 어느 쪽인지를 고려하여 적정 위치를 규정함으로써, 보다 유저의 신체적 특징에 맞는 적정 위치의 규정을 실현할 수 있다. 이들 유저의 신체적 특징의 정보는, 유저 정보 DB로부터 데이터를 취득할 수 있다. 또, 유저의 신장은, 유저 검출 카메라의 화상을 해석하는 것으로도 산출할 수 있다.
(사회적 관계)
적정 위치는, 인접하여 위치하는 유저 간의 관계성에 기초하여 규정해도 된다. 유저 간의 관계성은 연령 혹은 부모와 자식, 상사/부하 등 사회적 관계인 것으로 해도 된다. 유저 간의 관계성은 발화량으로부터 추정되는 회화의 주종 관계인 것으로 해도 된다.
또, 도 4d에 나타내는 바와 같이, 유저 정보 DB에 등록을 마친 유저 간의 친밀도에 기초하여, 적정 위치를 규정해도 된다.
4.2 피드백 제시의 방법
상기 실시의 형태에서는, 화면 상의 표시를 제어하는 것으로, 유저에게 피드백을 제시하는 것으로서 설명했다. 본 발명의 유저 인터페이스 장치(10)는, 이하의 방법에 의해, 피드백을 제시하도록 설정해도 된다.
(소리)
유저의 위치와 적정 위치의 어긋남의 크기에 따라, 유저 인터페이스 장치(10)의 스피커(도시 생략)로부터 소리를 출력하여, 피드백을 제시해도 된다.
(조명)
유저의 위치와 적정 위치의 어긋남의 크기에 따라, 유저 인터페이스 장치(10)가 설치되어 있는 공간의 조명의 조도 또는 색 등을 변화시키는 것으로 해도 된다.
(휴대 기기)
유저가 소지하는 휴대 기기와 유저 인터페이스 장치(10)가 네트워크 접속되어 있는 경우에서, 휴대 기기를 통해서 유저에게 피드백을 제시해도 된다. 예를 들면, 유저의 위치와 적정 위치의 어긋남의 크기에 따라, 휴대 기기의 바이브레이터의 크기를 크게 하는 등 해도 된다.
또한, 상기의 소리에 의한 피드백, 조명에 의한 피드백, 휴대 기기에 의한 피드백은, 그들을 조합하여 실행해도 된다.
<보충>
이상과 같이 본 발명에 이와 같은 유저 인터페이스 장치에 대해서 실시의 형태에 기초하여 설명했지만, 이하와 같이 변형할 수도 있으며, 본 발명은 상기 서술한 실시의 형태에서 나타낸 유저 인터페이스 장치에 한정되지 않는 것은 물론이다.
(1) 상기의 각 장치는, 구체적으로는, 마이크로 프로세서, ROM, RAM, 하드 디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등으로 구성되는 컴퓨터 시스템이다. 상기 RAM 또는 상기 하드 디스크 유닛에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 각 장치는, 그 기능을 달성한다. 여기서, 컴퓨터 프로그램은, 소정의 기능을 달성하기 위해서, 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수개 조합되어 구성된 것이다. 또한, 각 장치는, 마이크로 프로세서, ROM, RAM, 하드 디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등의 모두를 포함하는 컴퓨터 시스템에 한정되지 않고, 이들 일부로 구성되어 있는 컴퓨터 시스템이어도 된다.
(2) 상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration: 대규모 집적 회로)로 구성되어 있는 것으로 해도 된다. 시스템 LSI는, 복수의 구성부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이며, 구체적으로는, 마이크로 프로세서, ROM, RAM 등을 포함하여 구성되는 컴퓨터 시스템이다. 상기 RAM에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 시스템 LSI는, 그 기능을 달성한다.
또한, 여기에서는, 시스템 LSI로 했지만, 집적도의 차이에 따라, IC, LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되는 경우도 있다. 또, 집적 회로화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리콘피규러블·프로세서를 이용해도 된다.
또한, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI를 대치하는 집적 회로화의 기술이 등장하면, 당연, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적용 등이 가능성으로서 말할 수 있다.
(3) 상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 각 장치에 탈착 가능한 IC카드 또는 단체의 모듈로 구성되어 있는 것으로 해도 된다. 상기 IC카드 또는 상기 모듈은, 마이크로 프로세서, ROM, RAM, 등으로 구성되는 컴퓨터 시스템이다. 상기 IC카드 또는 상기 모듈은, 상기의 초다기능 LSI를 포함하는 것으로 해도 된다. 마이크로 프로세서가, 컴퓨터 프로그램에 따라 동작함으로써, 상기 IC카드 또는 상기 모듈은, 그 기능을 달성한다. 이 IC카드 또는 이 모듈은, 탬퍼링 방지성을 가지는 것으로 해도 된다.
(4) 본 발명은, 상기에 나타내는 방법으로 해도 된다. 또, 이들 방법을 컴퓨터에 의해 실현하는 컴퓨터 프로그램인 것으로 해도 되고, 상기 컴퓨터 프로그램으로 이루어지는 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를 컴퓨터 판독 가능한 기록 매체, 예를 들면, 플렉서블 디스크, 하드 디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc), 반도체 메모리 등에 기록한 것으로 해도 된다. 또, 이들 기록 매체에 기록되어 있는 상기 컴퓨터 프로그램 또는 상기 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를, 전기 통신 회선, 무선 또는 유선 통신 회선, 인터넷을 대표로 하는 네트워크, 데이터 방송 등을 경유하여 전송하는 것으로 해도 된다.
또, 본 발명은, 마이크로 프로세서와 메모리를 구비한 컴퓨터 시스템이며, 상기 메모리는, 상기 컴퓨터 프로그램을 기억하고 있고, 상기 마이크로 프로세서는, 상기 컴퓨터 프로그램에 따라 동작하는 것으로 해도 된다.
또, 상기 프로그램 또는 상기 디지털 신호를 상기 기록 매체에 기록하여 이송함으로써, 또는 상기 프로그램 또는 상기 디지털 신호를 상기 네트워크 등을 경유하여 이송함으로써, 독립된 다른 컴퓨터 시스템에 의해 실시하는 것으로 해도 된다.
(5) 상기 실시의 형태 및 상기 변형예를 각각 조합해도 된다.
본 발명에 이와 같은 유저 인터페이스 장치는, 복수의 유저가 유저 인터페이스 장치에 대해 조작하는 경우에, 각 유저의 조작이 주위의 유저의 조작에 방해가 되지 않도록 표시 제어를 행하므로, 복수 사람에 의해 조작되는 대화면 디스플레이, 예를 들면 대화면 TV나 옥외 전자 광고(디지털·사이니지) 등에 적용하는 것으로서 유용하다.
1, 10 유저 인터페이스 장치 2 표시부
3 검출부 4 산출부
5 통지부 11 유저 검출 카메라
21 유저 식별부 22 유저 위치 검출부
23 유저 동작 검출부 24 적정 위치 산출부
25 표시 제어부 31 영상 표시부

Claims (16)

  1. 어플리케이션 프로그램을 제어하는 인터페이스가 되는 작업 영역을, 유저에게 제공하는 유저 인터페이스 장치로서,
    상기 유저에게 할당되어진 제1 작업 영역, 및 상기 제1 작업 영역과 상이한 제2 작업 영역을 표시하는 표시부와,
    상기 유저의 위치를 검출하는 검출부와,
    상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 상기 어플리케이션 프로그램의 종류에 따라, 상기 유저와 상기 제2 작업 영역 간의 적정 거리를 산출하는 산출부와,
    상기 검출부에 의해 검출된 상기 유저의 위치와 상기 제2 작업 영역의 거리가, 상기 산출부에 의해 산출된 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지하는 통지부를 구비하는 유저 인터페이스 장치.
  2. 청구항 1에 있어서,
    상기 검출부는, 또한, 상기 유저가 상기 어플리케이션 프로그램을 제어하기 위해서 행하는 제스처를 검출하고,
    상기 표시부는, 상기 검출부에 의해 검출된 상기 제스처의 위치에 대응하는 위치에, 상기 제스처의 타당성을 유저에게 전하기 위한 피드백 표시를 표시하며,
    상기 통지부는, 상기 피드백 표시의 표시 양태를 변화시킴으로써, 상기 유저의 위치와 상기 제2 작업 영역의 거리가 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지하는 유저 인터페이스 장치.
  3. 청구항 2에 있어서,
    상기 통지부는, 상기 유저의 위치가 상기 제2 작업 영역에 가까워질수록, 상기 피드백 표시를 작게 및/또는 희미하게 표시하는 유저 인터페이스 장치.
  4. 청구항 1에 있어서,
    상기 제1 작업 영역은, 상기 유저의 움직임에 추종하여 상기 표시부 내를 이동하는 윈도우이며,
    상기 통지부는, 상기 유저가 상기 제2 작업 영역에 가까워질수록, 상기 윈도우의 추종도를 저하시키는 유저 인터페이스 장치.
  5. 청구항 1에 있어서,
    상기 산출부는, 또한, 상기 유저의 신체적 특징에 따라 상기 적정 거리를 산출하는 유저 인터페이스 장치.
  6. 청구항 5에 있어서,
    상기 산출부는, 상기 유저의 신장이 클수록, 또는 상기 유저의 팔의 길이가 길수록, 상기 적정 거리를 길게 하는 유저 인터페이스 장치.
  7. 청구항 5에 있어서,
    상기 산출부는, 상기 유저가 잘 쓰는 쪽의 손이 상기 제2 작업 영역에 가까운 측에 위치하는 경우에, 먼 측에 위치하는 경우보다 상기 적정 거리를 길게 하는 유저 인터페이스 장치.
  8. 청구항 1에 있어서,
    상기 산출부는, 또한, 상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 어플리케이션 프로그램과, 상기 제2 작업 영역을 통해서 다른 유저에게 제어되는 어플리케이션 프로그램의 유사도 또는 관련도가 높을 수록, 상기 적정 거리를 짧게 하는 유저 인터페이스 장치.
  9. 청구항 1에 있어서,
    상기 산출부는, 또한, 상기 제1 작업 영역에서 작업하는 상기 유저와, 상기 제2 작업 영역에서 작업하는 다른 유저의 관계에 기초하여, 상기 적정 거리를 산출하는 유저 인터페이스 장치.
  10. 청구항 9에 있어서,
    상기 산출부는, 상기 유저가 상기 다른 유저보다도 사회적으로 상위인 경우에, 사회적으로 하위인 경우보다도 상기 적정 거리를 짧게 하는 유저 인터페이스 장치.
  11. 청구항 9에 있어서,
    상기 검출부는, 또한, 상기 유저 및 상기 다른 유저가 발하는 음성을 검출하고,
    상기 산출부는, 상기 검출부에 의해 검출된 발화량으로부터 상기 유저 및 상기 다른 유저의 관계를 추정하는 유저 인터페이스 장치.
  12. 청구항 1에 있어서,
    상기 통지부는, 음성에 의해 통지하는 유저 인터페이스 장치.
  13. 청구항 1에 있어서,
    상기 통지부는, 조명에 의해 통지하는 유저 인터페이스 장치.
  14. 청구항 1에 있어서,
    상기 통지부는, 상기 유저가 보유하는 휴대 기기를 통해서 통지하는 유저 인터페이스 장치.
  15. 유저에게 할당되어진 제1 작업 영역, 및 상기 제1 작업 영역과 상이한 제2 작업 영역을 표시하는 표시부를 이용하여, 상기 제1 작업 영역을 통해서 상기 유저에게 어플리케이션 프로그램을 제어시키는 유저 인터페이스 방법으로서,
    상기 유저의 위치를 검출하는 검출 단계와,
    상기 제1 작업 영역을 통해서 상기 유저에게 제어되는 상기 어플리케이션 프로그램의 종류에 따라, 상기 유저와 상기 제2 작업 영역 간의 적정 거리를 산출하는 산출 단계와,
    상기 검출 단계에서 검출된 상기 유저의 위치와 상기 제2 작업 영역의 거리가, 상기 산출 단계에서 산출된 상기 적정 거리보다 짧아진 것을 상기 유저에게 통지하는 통지 단계를 포함하는 유저 인터페이스 방법.
  16. 청구항 15에 기재된 유저 인터페이스 방법을, 컴퓨터에 실행시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020107011407A 2008-09-29 2009-09-25 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체 KR101541561B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-250867 2008-09-29
JP2008250867 2008-09-29

Publications (2)

Publication Number Publication Date
KR20110066901A KR20110066901A (ko) 2011-06-17
KR101541561B1 true KR101541561B1 (ko) 2015-08-03

Family

ID=42059490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107011407A KR101541561B1 (ko) 2008-09-29 2009-09-25 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체

Country Status (6)

Country Link
US (1) US8464160B2 (ko)
EP (1) EP2333652B1 (ko)
JP (1) JP5260643B2 (ko)
KR (1) KR101541561B1 (ko)
CN (1) CN101874234B (ko)
WO (1) WO2010035477A1 (ko)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
JP5618554B2 (ja) * 2010-01-27 2014-11-05 キヤノン株式会社 情報入力装置、情報入力方法及びプログラム
JP5709405B2 (ja) * 2010-05-18 2015-04-30 株式会社タイトー 画像認識によるラクガキ装置
JP5605725B2 (ja) * 2010-11-10 2014-10-15 日本電気株式会社 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
KR101430887B1 (ko) * 2010-12-29 2014-08-18 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
JP2012208619A (ja) * 2011-03-29 2012-10-25 Nec Corp 電子機器、通知方法およびプログラム
JP2014167496A (ja) * 2011-06-22 2014-09-11 Sharp Corp 表示装置
CN103797440B (zh) * 2011-09-15 2016-12-21 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
CN103229174B (zh) * 2011-10-19 2016-12-14 松下电器（美国）知识产权公司 显示控制装置、集成电路以及显示控制方法
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
CN107147868B (zh) * 2011-12-15 2021-06-15 联想(北京)有限公司 处理采集图像的方法及电子设备
CN104137173B (zh) * 2011-12-28 2017-12-19 株式会社尼康 显示装置以及投影装置
JP2013137472A (ja) * 2011-12-28 2013-07-11 Nikon Corp 投影装置
US9690368B2 (en) 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
US10402879B2 (en) 2011-12-30 2019-09-03 Adidas Ag Offering a customized collection of products
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2015511343A (ja) * 2012-01-20 2015-04-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ認識方法及びシステム
US9264660B1 (en) 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
US20130290867A1 (en) * 2012-04-27 2013-10-31 Litera Technologies, LLC Systems and Methods For Providing Dynamic and Interactive Viewing and Control of Applications
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9479549B2 (en) * 2012-05-23 2016-10-25 Haworth, Inc. Collaboration system with whiteboard with federated display
JP5900161B2 (ja) 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
JP2013254080A (ja) * 2012-06-06 2013-12-19 Sharp Corp 表示装置
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
DE102012110190B4 (de) * 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
US9635305B1 (en) * 2012-11-03 2017-04-25 Iontank, Ltd. Display apparatus including a transparent electronic monitor
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
JP2014174931A (ja) * 2013-03-12 2014-09-22 Sharp Corp 描画装置
JP5900388B2 (ja) 2013-03-15 2016-04-06 コニカミノルタ株式会社 オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
JP6201408B2 (ja) * 2013-05-10 2017-09-27 株式会社ニコン 電子制御装置、制御方法及び制御プログラム
JP2015011106A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 投影装置、投影方法及びプログラム
TW201508609A (zh) * 2013-08-19 2015-03-01 Wistron Corp 互動方法及其相關互動式系統
US9740361B2 (en) * 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
KR20150104711A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US20150312520A1 (en) * 2014-04-23 2015-10-29 President And Fellows Of Harvard College Telepresence apparatus and method enabling a case-study approach to lecturing and teaching
EP3176681A4 (en) * 2014-07-30 2018-04-18 Sony Corporation Information processing device, information processing method and program
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
CN105511748A (zh) 2014-09-25 2016-04-20 阿里巴巴集团控股有限公司 自适应调整智能终端的用户界面的方法及装置
WO2016072128A1 (ja) * 2014-11-04 2016-05-12 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
JPWO2016117194A1 (ja) 2015-01-21 2017-12-07 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
KR102113201B1 (ko) 2015-02-27 2020-05-20 삼성전자주식회사 기능 실행 방법 및 이를 지원하는 전자 장치
CN104750250A (zh) * 2015-03-04 2015-07-01 深圳市祈锦通信技术有限公司 支持手势交互的投影方法和投影系统
JP2016194792A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9990033B2 (en) 2015-09-09 2018-06-05 International Business Machines Corporation Detection of improper viewing posture
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US10218882B2 (en) * 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
JP6093074B2 (ja) * 2016-06-22 2017-03-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
EP3267289B1 (en) 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
DE102016212813A1 (de) * 2016-07-13 2018-01-18 Audi Ag Fahrzeug mit einer Bedien- und Anzeigevorrichtung und Verfahren zum Betreiben eines solchen Fahrzeugs
EP3559783A1 (en) * 2016-12-23 2019-10-30 Signify Holding B.V. Interactive display system displaying a machine readable code
US20180260105A1 (en) 2017-03-08 2018-09-13 Nanning Fugui Precision Industrial Co., Ltd. Method for displaying sub-screen and device using the same
CN108304817B (zh) * 2018-02-09 2019-10-29 深圳市无限动力发展有限公司 实现手势操作的方法和装置
US10564915B2 (en) * 2018-03-05 2020-02-18 Microsoft Technology Licensing, Llc Displaying content based on positional state
CN117750110A (zh) * 2018-08-10 2024-03-22 索尼公司 信息处理装置、信息处理方法和视频声音输出系统
WO2020031453A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置及び情報処理方法、並びに映像音声出力システム
JP6603383B2 (ja) * 2018-10-01 2019-11-06 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
EP3641319A1 (en) * 2018-10-16 2020-04-22 Koninklijke Philips N.V. Displaying content on a display unit
US11403933B2 (en) * 2019-05-06 2022-08-02 Teleperformance Se Systems and methods for implementing and using a proximity dashboard
JP2020013613A (ja) * 2019-10-10 2020-01-23 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
WO2023188429A1 (ja) * 2022-04-01 2023-10-05 オリンパスメディカルシステムズ株式会社 画像表示システム、表示制御装置および画像表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280817A (ja) 2002-03-22 2003-10-02 Ricoh Co Ltd 電子ボード用ユーザインタフェース装置および電子ボード用表示位置補正方法、およびその方法をコンピュータに実行させるプログラム、並びにその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007080228A (ja) 2005-09-09 2007-03-29 Tani Electronics Corp センサ付きポインティングデバイスエミュレータ

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03177918A (ja) * 1989-12-07 1991-08-01 Mitsubishi Electric Corp カーソル制御方式
JPH04198985A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd データ表示装置
JPH09114430A (ja) * 1995-10-16 1997-05-02 Hitachi Ltd 情報処理装置
JP3819096B2 (ja) 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
US6006188A (en) * 1997-03-19 1999-12-21 Dendrite, Inc. Speech signal processing for determining psychological or physiological characteristics using a knowledge base
JPH113195A (ja) * 1997-06-11 1999-01-06 Fujitsu Ltd インタラクティブシステム及び記憶媒体
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002300601A (ja) * 2001-03-30 2002-10-11 Shimane Pref Gov バーチャルリアリティ画像表示システム
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
US7917587B2 (en) * 2004-07-30 2011-03-29 Microsoft Corporation Method and system for prioritizing communications based on interpersonal relationships
WO2006085382A1 (ja) * 2005-02-10 2006-08-17 Fujitsu Limited 情報提供装置および情報提供システム
ES2556678T3 (es) * 2006-07-28 2016-01-19 Koninklijke Philips N.V. Distribución automática de vitrinas privadas a lo largo de un escaparate
JP5132131B2 (ja) * 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
CN101033955B (zh) 2007-04-18 2010-10-06 北京中星微电子有限公司 一种实现视力保护的方法、装置及一种显示器
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280817A (ja) 2002-03-22 2003-10-02 Ricoh Co Ltd 電子ボード用ユーザインタフェース装置および電子ボード用表示位置補正方法、およびその方法をコンピュータに実行させるプログラム、並びにその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007080228A (ja) 2005-09-09 2007-03-29 Tani Electronics Corp センサ付きポインティングデバイスエミュレータ

Also Published As

Publication number Publication date
EP2333652B1 (en) 2016-11-02
KR20110066901A (ko) 2011-06-17
JPWO2010035477A1 (ja) 2012-02-16
JP5260643B2 (ja) 2013-08-14
US20100269072A1 (en) 2010-10-21
CN101874234B (zh) 2014-09-24
WO2010035477A1 (ja) 2010-04-01
EP2333652A1 (en) 2011-06-15
CN101874234A (zh) 2010-10-27
EP2333652A4 (en) 2014-04-30
US8464160B2 (en) 2013-06-11

Similar Documents

Publication Publication Date Title
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
US8451216B2 (en) User interface device, user interface method, and recording medium
US11589010B2 (en) Camera and visitor user interfaces
US9986206B2 (en) User experience for conferencing with a touch screen display
KR101896947B1 (ko) 제스쳐를 이용한 입력 장치 및 방법
US10120454B2 (en) Gesture recognition control device
EP3143477B1 (en) System and method for providing haptic feedback to assist in capturing images
US9152226B2 (en) Input method designed for augmented reality goggles
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US9900541B2 (en) Augmented reality remote control
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
JP5645444B2 (ja) 画像表示システムおよびその制御方法
US20200142495A1 (en) Gesture recognition control device
US20210405773A1 (en) Method and apparatus for detecting orientation of electronic device, and storage medium
US20240129617A1 (en) Image capture eyewear with context-based sending
KR20110130951A (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR102023187B1 (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
KR102687922B1 (ko) 인터랙티브 포토 서비스 제공 방법, 장치 및 시스템
EP4400955A1 (en) Touchless user interface control method for presentations
EP3641319A1 (en) Displaying content on a display unit
WO2024149689A1 (en) Touchless user interface control method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180619

Year of fee payment: 4