KR20110109883A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20110109883A
KR20110109883A KR1020110025181A KR20110025181A KR20110109883A KR 20110109883 A KR20110109883 A KR 20110109883A KR 1020110025181 A KR1020110025181 A KR 1020110025181A KR 20110025181 A KR20110025181 A KR 20110025181A KR 20110109883 A KR20110109883 A KR 20110109883A
Authority
KR
South Korea
Prior art keywords
image
finger
target device
display
user
Prior art date
Application number
KR1020110025181A
Other languages
English (en)
Inventor
고우이찌 마쯔다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110109883A publication Critical patent/KR20110109883A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Abstract

본 명세서에는 조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하도록 구성된 기억 수단과, 카메라에 의해 촬영된 화상을 취득하도록 구성된 취득 수단과, 상기 화상에 포함되는 물체를 상기 기억 수단에 기억되는 특징량 데이터에 기초하여 인식하도록 구성된 인식 수단과, 상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 상기 인식 수단에 의해 인식되는 경우, 상기 기억 수단에 기억되는 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하도록 구성된 표시 제어 수단을 포함하는, 정보 처리 장치가 개시된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSOR, INFORMATION PROCESSING METHOD AND PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것으로, 더 구체적으로, 조작 대상의 기기를 간단하게 원격으로 조작할 수 있도록 한 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
가전 제품 등의 기기를 조작하고자 하는 경우, 그 기기의 본체에 설치되는 스위치를 누르거나, 조작하고자 하는 기기가 조명 기구일 때에는 벽에 있는 스위치를 누르거나 하는 것이 통상 행해진다. 또한, 기기가 멀리 있을 때에는 리모트 컨트롤러를 사용해서 조작 대상 기기를 조작한다.
일본 특허 공개 평6-153016호 공보에는 안경형 뷰어에 조작 메뉴를 표시하여, 조작 메뉴에 대한 유저의 조작을 검출하고, 조작 대상 기기를 원격 조작하는 기술이 개시된다.
스위치를 눌러 조작 대상 기기를 조작할 경우, 조작자는 스위치를 누를 수 있는 장소로 이동해서 조작할 필요가 있다. 또한, 조작하는 기기마다, 조작자는 스위치의 장소를 기억해야 한다.
리모트 컨트롤러를 사용해서 조작 대상 기기를 조작할 경우, 위치를 이동할 필요는 없다. 그러나, 조작자는 리모트 컨트롤러를 찾아서 손에 들고, 그 후, 맞는 스위치(버튼)를 찾아서 누를 필요가 있다. 또한, 리모트 컨트롤러의 형상도 상이하다. 따라서, 조작하고자 하는 기기마다, 조작자는 리모트 컨트롤러 상의 스위치의 장소를 기억할 필요가 있다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 본 발명의 목적은 조작 대상의 기기를 간단하게 원격으로부터 조작할 수 있도록 하는 것이다.
본 발명의 일 실시 형태에 따르면, 기억 수단, 취득 수단, 인식 수단 및 표시 제어 수단을 포함하는 정보 처리 장치를 구비한다. 기억 수단은 조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억한다. 취득 수단은 카메라에 의해 촬영된 화상을 취득한다. 인식 수단은 화상에 포함되는 물체를 상기 기억 수단에 기억되는 특징량 데이터에 기초하여 인식한다. 표시 제어 수단은 화상에 포함되는 물체가 조작 대상 기기로서 인식 수단에 의해 인식되는 경우, 상기 기억 수단에 기억되는 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시한다.
표시 제어 수단은 상기 화상에 포함되는 상기 조작 대상 기기의 화상 내의 위치에 대응하는 디스플레이의 위치에 상기 조작 화상을 표시할 수 있다.
정보 처리 장치는 손가락 인식 수단과 제어 수단을 더 포함할 수 있다. 손가락 인식 수단은 상기 카메라에 의해 촬영된 상기 화상에 포함되는 상기 유저의 손가락의 화상 내의 위치를 인식한다. 제어 수단은 상기 손가락 인식 수단에 의해 인식된 상기 유저의 손가락의 상기 화상 내의 위치가 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 경우, 커맨드를 상기 조작 대상 기기에 송신한다. 커맨드는 상기 조작 화상을 사용하여 조작이 행해지도록 지시한다.
손가락 인식 수단은 상기 화상에 포함되는 상기 유저의 손가락의 상기 화상 내의 크기를 더 인식할 수 있다. 상기 제어 수단은 상기 화상 상의 상기 유저의 손가락이 상기 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 위치에 위치되고, 그 위치에서, 상기 유저의 손가락의 상기 화상 내의 크기가 직전보다 작아진 후 다시 커질 때에, 상기 커맨드를 송신할 수 있다.
손가락 인식 수단은 상기 화상에 포함되는 상기 유저의 손가락의 상기 화상 내의 크기를 더 인식할 수 있다. 상기 제어 수단은 상기 화상 상의 상기 유저의 손가락이 상기 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 위치에 위치되고, 그 위치에서, 상기 유저의 손가락의 상기 화상 내의 크기가 직전의 크기보다 작아질 때, 상기 커맨드를 송신한다.
정보 처리 장치는 상기 조작 화상의 표시에 관한 설정의 내용을 나타내는 설정 정보를 기억하도록 구성된 설정 정보 기억 수단을 더 포함할 수 있다. 이 경우, 상기 표시 제어 수단은 상기 설정 정보의 내용에 따라서 상기 조작 화상의 표시를 제어할 수 있다.
본 발명의 다른 실시 형태에 따르면, 조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하는 단계와, 카메라에 의해 촬영된 화상을 취득하는 단계와, 상기 화상에 포함되는 물체를, 기억 수단에 기억된 특징량 데이터에 기초하여 인식하는 단계와, 상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 인식 수단에 의해 인식된 경우, 상기 기억 수단에 기억된 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하는 단계를 포함하는 정보 처리 방법이 제공된다.
본 발명의 또 다른 실시 형태에 따르면, 조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하는 단계와, 카메라에 의해 촬영된 화상을 취득하는 단계와, 상기 화상에 포함되는 물체를, 기억 수단에 기억된 특징량 데이터에 기초하여 인식하는 단계와, 상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 인식 수단에 의해 인식된 경우, 상기 기억 수단에 기억된 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하는 단계를 포함하는, 처리를 컴퓨터로 하여금 실행하게 하는 프로그램이 제공된다.
본 발명의 일측면에서는, 조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터가 기억된다. 카메라에 의해 촬영된 화상이 취득된다. 상기 화상에 포함되는 물체는 기억 수단에 기억되는 특징량 데이터에 기초해서 인식된다. 또한, 상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 인식 수단에 의해 인식되는 경우, 기억 수단에 기억되는 상기 조작 화상의 데이터에 기초하여 상기 조작 화상이 표시된다.
본 발명에 따르면, 조작 대상의 원격 조작을 더 쉽게 할 수 있다.
도 1은 본 발명의 실시 형태에 관한 정보 처리 장치를 사용한 MR 시스템의 외관예를 도시하는 도면이다.
도 2는 HMD(2)를 장착한 유저가 보는 것의 예를 나타내는 도면이다.
도 3은 버튼 조작 시의 유저가 보는 것의 예를 나타내는 도면이다.
도 4는 조작 화상의 표시의 예를 나타내는 도면이다.
도 5는 정보 처리 장치의 하드웨어 구성예를 도시하는 블록도이다.
도 6은 정보 처리 장치의 기능 구성예를 도시하는 블록도이다.
도 7은 물체의 인식에 대해서 설명하는 도면이다.
도 8은 정보 처리 장치의 조작 화상 표시 처리에 대해서 설명하는 흐름도이다.
도 9는 조작 화상의 표시 위치에 대해서 설명하는 도면의 그룹이다.
도 10은 정보 처리 장치의 제어 처리에 대해서 설명하는 흐름도이다.
도 11은 정보 처리 장치의 제어 처리에 대해서 설명하는 도 10으로부터 연속된 흐름도이다.
도 12a 및 도12b는 손가락의 크기 변화의 예를 나타내는 도면이다.
도 13은 조작 대상 기기의 처리에 대해서 설명하는 흐름도이다.
도 14는 정보 처리 장치의 다른 기능 구성예를 도시하는 블록도이다.
도 15는 조작 화상의 표시의 예를 나타내는 도면의 그룹이다.
도 16은 조작 화상의 다른 표시의 예를 나타내는 도면이다.
도 17은 다른 HMD의 외관의 예를 나타내는 도면이다.
도 18은 PDA(personal digital assistance)의 외관의 예를 나타내는 도면이다.
도 19는 PDA의 다른 외관의 예를 나타내는 도면이다.
<제1 실시 형태>
[MR(Mixed Reality) 시스템]
도 1은 본 발명의 실시 형태에 관한 정보 처리 장치를 사용한 MR 시스템의 외관예를 도시하는 도면이다.
도 1에 도시한 바와 같이, 유저(U)는 휴대형의 컴퓨터인 정보 처리 장치(1)를 휴대한다. 또한, 유저(U)는 헤드 장착 디스플레이(HMD)(2)를 장착한다. 정보 처리 장치(1)와 HMD(2)는 유선 또는 무선으로 서로 통신을 행하는 것이 가능하다.
HMD(2)는 카메라(11)와 디스플레이(12)를 구비한다.
카메라(11)는 HMD(2)를 장착한 유저(U)의 전방 화면을 촬영가능한 위치에 설치된다. 카메라(11)의 촬영 범위에는 유저(U)의 시선이 포함된다. 카메라(11)에 의해 촬영된 화상은 정보 처리 장치(1)에 송신된다. 소정의 프레임 레이트로 화상(동화상)의 촬영이 카메라(11)에 의해 계속된다. 이에 의해, 정보 처리 장치(1)에는 유저(U)가 보고 있는 장면의 화상이 제공된다.
디스플레이(12)는 HMD(2)를 장착한 유저(U)의 눈 앞쪽에 설치된다. 디스플레이(12)는 투과성 부재를 포함하고, 예를 들어, 정보 처리 장치(1)로부터 송신되어 온 데이터에 기초하여 화상을 표시한다. 유저(U)는 장면을 디스플레이(12) 너머로 볼 수 있다. 유저(U)는 디스플레이(12)에 표시된 화상을 볼 수도 있다.
예를 들어 유저(U)가 휴대한 정보 처리 장치(1)는 카메라(11)에 의해 촬영된 화상에 기초하여, 유저(U)가 보는 물체가 어떤 물체인지 판정하도록 인식된다. 정보 처리 장치(1)는 유저(U)가 보는 물체를 인식하기 위한, 물체 인식 데이터가 기억된다. 물체 인식 데이터는 조작 대상 기기(21)의 외관 화상으로부터 추출된, 조작 대상 기기(21)의 외관의 특징을 나타내는 데이터를 포함한다.
즉, 카메라(11)에 의해 촬영된 화상에는 유저(U)의 시선이 포함된다. 따라서, 카메라(11)에 의해 촬영된 화상에 포함되는 물체를 유저(U)가 보는 물체라고 가정해서 물체 인식이 행해지게 된다.
또한, 정보 처리 장치(1)에서는 유저(U)가 조작 대상 기기(21)를 보고 있는 것이 검출되면, 조작 대상 기기(21)의 GUI(Graphical User Interface) 데이터에 기초하여, 버튼 등의 조작 화상이 디스플레이(12)에 표시된다. 정보 처리 장치(1)에는 조작 대상 기기(21)를 포함하는 각종 기기와 관련된 GUI 데이터가 기억된다. GUI 데이터는 기기의 조작에 사용되는 조작 화상을 표시하도록 설계된다.
도 2는 HMD(2)를 장착한 유저(U)가 보는 것의 예를 나타내는 도면이다.
도 2의 예에서는, 유저(U)의 시야의 범위를 프레임으로 둘러싸고 있다. 그러나, 실제로는 도2에 나타내는 범위보다 넓은 범위의 장면을 유저(U)가 보고 있다.
도 2의 좌측 도면에 도시한 바와 같이, 조작 대상 기기(21)는 유저(U)의 위치로부터 조금 이격된 테이블 위에 있다. 조작 대상 기기(21)를 본 직 후, 디스플레이(12)에는 아무 화상도 표시되어 있지 않기 때문에, 유저(U)는 전방의 장면만을 디스플레이(12) 너머로 보게 된다. 도 2의 좌측 도면에 도시한 바와 같은 장면이 카메라(11)에 의해 촬영된다.
카메라(11)에 의해 촬영된 화상에 기초하여, 유저(U)가 조작 대상 기기(21)를 보고 있는 것이 검출된 경우, 조작 대상 기기(21)의 조작에 사용되는 조작 화상이 디스플레이(12)에 표시된다. 조작 화상이 디스플레이(12)에 표시되었을 때 유저(U)가 보는 것을 외형 화살표 #1로 지정된 도면에 나타낸다.
도 2에 도시된 예에서는 조작 화상 G는 온 버튼과 오프 버튼을 포함한다. 온 버튼은 전원이 켜지도록 조작된다. 오프 버튼은 전원이 꺼지도록 조작된다. 온 및 오프 버튼의 화상은 동일한 색으로 표시된다.
조작 화상 G는 소정의 투명도를 갖도록 디스플레이(12)에 표시된다. 눈의 위치를 기준으로 하면 디스플레이(12)의 표시면은 조작 대상 기기(21)의 위치보다 가깝다. 따라서, 유저(U)가 보는 것에 관해서는, 조작 화상 G는 버튼이 조작 대상 기기(21)보다 더 앞쪽에 위치하는 듯이 보이게 된다. 조작 화상 G는 화상 G가 조작 대상 기기(21)에 겹쳐서 보이는 디스플레이(12)의 위치에 표시된다.
이 상태에서 조작 대상 기기(21)를 보면서 유저(U)가 장소를 이동한 경우, 조작 화상 G는 유저(U)에 정면으로 대향한 채 화상의 형상과 방향을 바꾸지 않고, 유저(U)가 보는 것의 변화에 추종하여 조작 대상 기기(21)에 겹쳐서 보이게 다른 위치에 표시된다. 조작 대상 기기(21)를 다른 각도로부터 본 경우의 유저(U)가 보는 것을 외형진 화살표#2에 의해 지시된 도면에 나타낸다.
유저(U)는 이와 같이 하여 디스플레이(12)에 표시된 조작 화상 G의 버튼을 가상적으로 누르는 것에 의해, 조작 대상 기기(21)를 조작할 수 있다.
도 3은 버튼 조작 시의 유저(U)가 보는 것의 예를 나타내는 도면이다.
정보 처리 장치(1)는 유저(U)의 손가락을 인식할 수 있다. 예를 들어, 도 3의 좌측 도면에 도시한 바와 같이, 조작 화상 G의 온 버튼에 손가락을 놓아두고, 온 버튼을 압입하는 것 같은 동작이 유저(U)에 의해 행해진 경우, 정보 처리 장치(1)에서는 온 버튼이 눌린 것으로 판정한다. 정보 처리 장치(1)에서는 화살표#11에 의해 지시된 도면에 도시된 바와 같이, 온 버튼의 색이 바뀌게 조작 화상 G의 표시가 제어된다. 도 3의 우측 도면에 나타내는 조작 화상 G 중 온 버튼은 그 버튼이 그 색을 변경하는 것을 나타내도록 사선으로 되어 있다.
또한, 눈의 위치를 기준으로 하면 디스플레이(12)의 표시면은 유저(U)의 손가락의 위치보다 가까운 위치에 있다는 것에 주목해야 한다. 따라서, 실제로는 버튼 위에 유저(U)의 손가락을 위치시키지 않는다.
후술하는 바와 같이, 정보 처리 장치(1)에서는 카메라(11)에 의해 촬영된 화상 상의 손가락의 위치가, 디스플레이(12) 상에서 버튼의 표시 위치에 대응하는 위치에 있을 때에, 버튼 위에 유저의 손가락이 위치되는 것으로서 판정된다. 또한, 그 상태에서, 카메라(11)에 의해 촬영된 화상 상의 손가락의 크기가 작아졌을 때, 정보 처리 장치(1)는 버튼을 누르는 동작이 행해진 것으로서 판정된다.
버튼을 누르는 동작이 행해진 것으로서 판정된 경우, 정보 처리 장치(1)는 조작 대상 기기(21)에 대하여 버튼에 할당되는 처리의 실행을 지시하는 커맨드를 무선 통신을 통해 송신된다. 커맨드에 반응하여, 조작 대상 기기(21)에서는 커맨드에 따른 처리가 행해진다.
이에 의해, 유저(U)는 이격된 위치에 있는 기기를 조작할 경우에도, 기기를 봄으로써, 기기를 조작하기 위해 채용되는 버튼을 표시시킬 수 있다. 또한, 유저(U)는 표시된 버튼을 사용해서 기기를 조작할 수 있다. 즉, 유저(U)는 기기를 조작하기 위한 스위치를 찾거나, 리모트 컨트롤러를 손에 들거나 하지 않고 기기를 용이하게 조작할 수 있다.
물체 인식에 사용하는 인식 데이터와 GUI 데이터가 준비되어 있으면, 어떤 기기이여도 조작하는 것이 가능하다.
도 4는 조작 대상 기기(21)와는 다른 기기인 방의 천장에 매립되는 조명 기기의 조작에 사용되는 조작 화상의 표시의 예를 나타내는 도면의 그룹이다.
도 4의 좌측 도면에 나타내는 조명 기기(22-1 내지 22-3)의 인식 데이터와 GUI 데이터가 정보 처리 장치(1)에서 이용가능한 경우에 대해서 설명한다. 조명 기기(22-1 내지 22-3)는 예를 들어, 동일한 제품 번호를 갖는다. 조작 대상 기기가 동일한 종류의 기기일 경우, 인식 데이터와 GUI 데이터는 1세트만 준비되어 있으면 좋다.
카메라(11)에 의해 촬영된 화상에 기초하여, 유저(U)가 조명 기기(22-1 내지 22-3)를 보고 있다고 판정된 경우, 화살표#21에 의해 지시된 도면에 도시한 바와 같이, 조명 기기(22-1 내지 22-3)에 겹쳐서 보이게, 조작 화상 G1 내지 G3이 표시된다.
조작 화상의 크기는 조작 대상 기기와 유저(U) 사이의 거리에 따라 바뀌도록 해도 좋다. 도 4의 예에서는 조명 기기(22-1)의 조작에 사용되는 조작 화상 G1이 유저(U)보다 멀리 위치한 조명 기기(22-2, 22-3)의 조작에 각각 사용되는 조작 화상 G2 및 조작 화상 G3보다 크게 표시된다.
유저(U)는 조작 화상 G1의 버튼을 가상적으로 누르는 동작을 행함으로써 조명 기기(22-1)를 조작할 수 있다. 마찬가지로, 유저(U)는 조작 화상 G2의 버튼을 가상적으로 누르는 동작을 행함으로써 조명 기기(22-2)를 조작할 수 있다. 또한, 마찬가지로, 유저(U)는 조작 화상 G3의 버튼을 가상적으로 누르는 동작을 행함으로써 조명 기기(22-3)를 조작할 수 있다.
이상과 같이 해서 조작 화상을 표시하고, 조작 대상 기기를 제어하는 정보 처리 장치(1)의 일련의 처리에 대해서는 후술한다.
[정보 처리 장치의 구성]
도 5는 정보 처리 장치(1)의 하드웨어 구성예를 도시하는 블록도이다.
CPU(Central Processing Unit)(31), ROM(Read Only Memory)(32), RAM(Random Access Memory)(33)는 버스(34)를 통해 서로 접속된다.
버스(34)에는 또한 I/O 인터페이스(35)가 접속된다. I/O 인터페이스(35)에는 입력부(36), 출력부(37), 기억부(38), 통신부(39) 및 드라이브(40)가 접속된다.
입력부(36)는 HMD(2)와 통신을 행하고, HMD(2)의 카메라(11)에 의해 촬영된 화상을 수신한다.
출력부(37)는 표시 데이터를 HMD(2)에 송신하고, 조작 화상을 디스플레이(12)에 표시시킨다.
기억부(38)는 하드 디스크나 불휘발성 메모리 등으로 이루어지고, 조작 대상 기기를 위한 인식 데이터 및 GUI 데이터를 기억한다.
통신부(39)는 무선 LAN(Local Area Network) 모듈 등의 네트워크 인터페이스 등으로 이루어지고, 네트워크를 통해서 접속되는 서버와 통신을 행한다. 기억부(38)에 기억되는 조작 대상 기기의 인식 데이터 및 GUI 데이터는 예를 들어 서버로부터 다운로드되어 정보 처리 장치(1)에 제공된다.
드라이브(40)는 드라이브(40)에 장착된 리무버블 매체(41)로부터 데이터를 판독하여, 리무버블 매체(41)에 데이터를 기입한다.
도 6은 정보 처리 장치(1)의 기능 구성예를 도시하는 블록도이다.
정보 처리 장치(1)에서는 화상 취득부(51), 인식부(52), 표시 제어부(53), 모델 데이터 기억부(54), GUI 데이터 기억부(55), 통신 제어부(56), 손가락 인식부(57), 손가락 데이터 기억부(58), 기기 제어부(59) 및 기기 정보 기억부(60)가 실현된다.
도 6에 나타내는 구성 중 적어도 일부는 도 5에 도시된 CPU(31)에 의해 소정의 프로그램이 실행됨으로써 실현된다. 모델 데이터 기억부(54), GUI 데이터 기억부(55), 손가락 데이터 기억부(58) 및 기기 정보 기억부(60)는 예를 들어 기억부(38)에 형성된다.
화상 취득부(51)는 입력부(36)에 의해 수신된 카메라(11)에 의해 촬영된 화상을 취득한다. 화상 취득부(51)는 취득한 화상을 인식부(52)와 손가락 인식부(57)에 출력한다.
인식부(52)는 화상 취득부(51)로부터 공급된 화상을 퀘리 화상으로 수신하고, 이 화상에 포함되는 물체를 모델 데이터 기억부(54)에 기억되는 모델 데이터에 기초하여 인식한다. 모델 데이터 기억부(54)에는 조작 대상 기기의 외관을 포함하는 화상으로부터 추출된 조작 대상 기기의 특징을 나타내는 데이터가 기억된다. 인식부(52)에 의해 행해진 물체 인식에 대해서는 후술한다.
인식부(52)는 예를 들어, 인식한 물체(조작 대상 기기)의 ID와, 인식한 물체와 카메라(11)(유저(U)) 사이의 상대적인 위치 관계를 나타내는 자세 정보를 인식 결과로 표시 제어부(53)에 출력한다. 자세 정보에 기초하여, 예를 들어 인식된 조작 대상 기기로부터 유저(U)까지의 거리 및 유저의 방향이 특정된다. 조작 대상 기기의 ID는 기기 제어부(59)에도 공급된다.
표시 제어부(53)는 GUI 데이터를 GUI 데이터 기억부(55)로부터 판독한다. GUI 데이터는 인식부(52)로부터 공급된 ID에 관련지어진다. 또한, 표시 제어부(53)는 GUI 데이터를 도 5의 출력부(37)를 제어해서 HMD(2)에 송신하고, 조작 화상을 디스플레이(12)에 표시시킨다. GUI 데이터 기억부(55)에는 조작 대상 기기의 ID와 GUI 데이터를 서로 관련시켜서 기억된다. 표시 제어부(53)로부터 출력된 GUI 데이터는 손가락 인식부(57)에도 공급된다.
또한, 표시 제어부(53)는 디스플레이(12)에 표시되는 버튼이 눌린 것에 반응해서 버튼 ID가 손가락 인식부(57)로부터 공급된 경우, 예를 들어, 눌린 버튼의 색을 바꿈으로써 조작 화상의 표시를 제어한다.
통신 제어부(56)는 통신부(39)를 제어해서 서버(71)와 통신을 행하고, 조작 대상 기기의 인식 데이터인 모델 데이터와 조작 대상 기기의 GUI 데이터를 다운로드한다. 서버(71)는 예를 들어, 조작 대상 기기를 제조, 판매하는 제조자가 관리하는 서버이며, 모델 데이터와 GUI 데이터의 데이터베이스를 갖고 있다. 통신 제어부(56)는 다운로드한 모델 데이터를 모델 데이터 기억부(54)에 기억시켜, GUI 데이터를 GUI 데이터 기억부(55)에 기억시킨다.
손가락 인식부(57)는 손가락 데이터 기억부(58)에 기억되는 데이터에 기초하여, 화상 취득부(51)로부터 공급된 화상에 포함되는 유저(U)의 손가락의 위치와 크기를 인식한다. 손가락 데이터 기억부(58)에는 손가락의 색이나 윤곽 등의 정보가 손가락 인식 데이터로서 기억된다.
손가락 인식부(57)는 인식한 유저(U)의 손가락의 위치와 크기에 기초하여, 디스플레이(12)에 표시되는 버튼이 눌렸다고 판정했을 경우, 눌린 버튼의 식별 정보인 버튼 ID를 표시 제어부(53)와 기기 제어부(59)에 출력한다. 조작 화상으로 해서 표시되는 버튼에는 각각 ID가 할당된다. 각 버튼이 디스플레이(12) 상에 표시되는 위치는 표시 제어부(53)로부터 공급된 GUI 데이터에 기초하여 특정된다.
기기 제어부(59)는 손가락 인식부(57)로부터 버튼 ID가 공급된 경우, 정보 기억부(60)로부터 커맨드를 판독한다. 이 커맨드는 눌린 버튼에 할당되는 처리의 실행을 지시한다. 기기 정보 기억부(60)에는 조작 대상 기기의 ID와, 커맨드와 네트워크 주소 등의 조작 대상 기기에 관한 정보를 서로 연관시켜 기억된다.
기기 제어부(59)는 예를 들어 통신부(39)를 제어해서 조작 대상 기기(21)와 통신을 행하고, 기기 정보 기억부(60)로부터 판독한 커맨드를 조작 대상 기기(21)에 송신한다.
도 6에 도시한 바와 같이, 조작 대상 기기(21)에서는 통신 제어부(81)와 제어부(82)가 실행된다.
통신 제어부(81)는 정보 처리 장치(1)로부터 커맨드를 수신하고, 제어부(82)에 이 커맨드를 출력한다.
제어부(82)는 통신 제어부(81)로부터 공급된 커맨드에 따라 조작 대상 기기(21)의 각 부를 제어하고, 커맨드에 의해 지시된 처리를 행한다.
도 7은 물체(조작 대상 기기)의 인식에 대해서 설명하는 도면이다.
인식부(52)에 사용되는 알고리즘 중에 RandomizedFern과 SIFT(Scale Invariant Feature Transform)가 있다. RandomizedFern에 대해서는 "Fast Keypoint Recognition using Random Ferns Mustafa Ozuysal, Michael Calonder, Vincent Le petite and Pascal FuaEcole Polytechnique Federale de Lausanne(EPEL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland"에 개시된다. 한편, SIFT에 대해서는, "Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004"에 개시된다.
도 7에 도시한 바와 같이, 학습 장치인 서버(71)에는 화상 처리부(91), 특징점 검출부(92), 특징량 추출부(93) 및 합성부(94)가 실현된다. 도 7에 나타내는 모든 구성은 서버(71)의 CPU에 의해 소정의 프로그램이 실행됨으로써 실현된다. 서버(71)도 도 5에 도시한 바와 같은 컴퓨터에 의해 구성된다.
화상 처리부(91)는 모델 화상에 아핀 변환 등의 처리를 적용하고, 최종 모델 화상을 특징점 검출부(92)에 출력한다. 화상 처리부(91)에는 각각의 조작 대상 기기의 외관 화상이 모델 화상으로 순차 입력된다. 모델 화상은 특징량 추출부(93)에도 입력된다.
특징점 검출부(92)는 화상 처리부(91)로부터 공급된 모델 화상의 각 점을 모델 특징점으로서 결정하고, 모델 특징점의 위치를 나타내는 정보를 특징량 추출부(93)에 출력한다.
특징량 추출부(93)는 모델 화상을 구성하는 화소 중 모델 특징점의 위치에 대응하는 화소의 정보를 모델 특징량으로서 추출한다. 특징량 추출부(93)에 의해 추출된 모델 특징량 데이터는 특징량이 추출되는 모델 화상에 포함되는 조작 대상 기기의 ID와 관련된 모델 사전 D1에 등록된다. 모델 사전 D1은 조작 대상 기기의 ID와, 조작 대상 기기를 포함하는 화상으로부터 추출된 각 모델 특징점의 모델 특징량 데이터를 대응시킨 데이터를 포함한다.
또한, 특징량 추출부(93)는 추출한 모델 특징량 데이터를 합성부(94)에 출력한다.
합성부(94)는 입력된 3D 모델 데이터와, 특징량 추출부(93)로부터 공급된 모델 특징량 데이터를 합성한다. 합성부(94)에는 조작 대상 기기의 각각의 3차원 형상을 나타내는 데이터가 3D 모델 데이터로서 입력된다.
예를 들어, 합성부(94)는 3D 모델 데이터에 기초하여, 조작 대상 기기를 여러가지 각도로부터 보았을 때의 각각의 모델 특징점의 3D 모델상의 위치를 계산한다. 합성부(94)는 계산한 각각의 모델 특징점의 위치에 모델 특징량 데이터를 할당하는 것에 의해, 3D 모델 데이터와 모델 특징량 데이터를 합성하고, 3D 모델 데이터 D2를 생성한다.
모델 사전 D1과, 합성부(94)에 의해 생성된 3D 모델 데이터 D2는 정보 처리 장치(1)에 제공되어, 모델 데이터 기억부(54)에 기억된다.
도 7에 도시한 바와 같이, 인식부(52)는 화상 처리부(101), 특징점 검출부(102), 특징량 추출부(103), 매칭부(104) 및 자세 추정부(105)를 포함한다. 화상 처리부(101)에는 카메라(11)에 의해 촬영되어, 화상 취득부(51)에 의해 취득된 화상이 퀘리 화상으로 해서 입력된다. 퀘리 화상은 특징량 추출부(103)에도 공급된다.
화상 처리부(101)는 화상 처리부(91)와 마찬가지로 하여, 퀘리 화상에 아핀변환 등의 처리를 적용하고, 최종 퀘리 화상을 특징점 검출부(102)에 출력한다.
특징점 검출부(102)는 화상 처리부(101)로부터 공급된 퀘리 화상의 각 점을 퀘리 특징점으로서 결정하고, 퀘리 특징점의 위치를 나타내는 정보를 특징량 추출부(103)에 출력한다.
특징량 추출부(103)는 퀘리 화상을 구성하는 화소 중 퀘리 특징점의 위치에 대응하는 화소의 정보를 퀘리 특징량으로서 추출한다. 특징량 추출부(103)는 추출한 퀘리 특징량 데이터를 매칭부(104)에 출력한다.
매칭부(104)는 모델 사전 D1에 포함되는 특징량 데이터에 기초하여 K-NN 등의 최 근방 탐색을 행하여, 각각의 퀘리 특징점의 최 근방에 있는 모델 특징점을 결정한다. 매칭부(104)는 퀘리 특징점의 최 근방에 있는 모델 특징점의 수에 기초하여, 예를 들어 최 근방의 모델 특징점이 가장 많은 조작 대상 기기를 선택한다. 매칭부(104)는 선택한 조작 대상 기기의 ID를 인식 결과로서 출력한다.
매칭부(104)로부터 출력된 조작 대상 기기의 ID는 도 6의 표시 제어부(53)와 기기 제어부(59)에 공급됨과 함께, 자세 추정부(105)에 공급된다. 자세 추정부(105)에는 각 퀘리 특징점의 위치를 나타내는 정보 등도 공급된다.
자세 추정부(105)는 매칭부(104)에 의해 인식된 조작 대상 기기의 3D 모델 데이터 D2를 모델 데이터 기억부(54)로부터 판독한다. 자세 추정부(105)는 3D 모델 데이터 D2에 기초하여, 각각의 퀘리 특징점의 최 근방에 있는 모델 특징점의 3D 모델상의 위치를 특정한다. 자세 추정부(105)는 조작 대상 기기와 유저(U) 사이의 위치 관계를 나타내는 자세 정보를 출력한다.
카메라(11)에 의해 촬영된 퀘리 화상으로부터 검출된 퀘리 특징점의 최 근방인 모델 특징점의 3D 모델상의 위치를 특정할 수 있으면, 퀘리 화상이 조작 대상 기기를 어느 위치로부터 촬영한 것인가, 즉, 유저(U)가 어느 위치에 있는 것일지를 특정하는 것이 가능하다.
또한, 화상에 포함되는 조작 대상 기기의 크기와 거리가 미리 서로 대응시키면, 카메라(11)에 의해 촬영된 퀘리 화상에 포함되는 조작 대상 기기의 크기에 기초하여, 조작 대상 기기로부터 유저(U)까지의 거리를 결정하는 것이 가능하다.
유저(U)가 보고 있는 조작 대상 기기와 유저(U) 사이의 상대적인 위치 관계는 이상과 같이 해서 인식된다.
3D 모델 데이터 D2에는 조작 대상 기기를 여러가지 각도로부터 보았을 때의 각각의 모델 특징점의 정보가 포함된다. 3D 모델 데이터 D2를 사용해서 물체 인식이 행해지도록 함으로써, 조작 대상 기기를 어느 방향으로부터 촬영한 화상이여도, 그 화상을 퀘리 화상으로 하여, 화상에 포함되는 조작 대상 기기를 특정하는 것이 가능하게 된다.
또한, 한쪽 눈의 카메라에 의해 촬영된 화상 뿐만 아니라, 스테레오 카메라에 의해 촬영된 화상을 퀘리 화상으로 해서 물체 인식이 행해지도록 해도 좋다.
[정보 처리 장치의 동작]
여기서, 도 8의 흐름도를 참조하여, 조작 화상을 표시하는 정보 처리 장치(1)의 처리에 대해서 설명한다. 도 8의 처리는 예를 들어, 카메라(11)에 의해 촬영이 행해지는 동안 반복적으로 행해진다.
스텝 S1에서, 화상 취득부(51)는 카메라(11)에 의해 촬영된 화상을 취득한다.
스텝 S2에서, 인식부(52)는 화상 취득부(51)에 의해 취득된 화상으로 물체 인식을 행한다.
스텝 S3에서, 카메라(11)에 의해 촬영된 화상에 조작 대상 기기가 포함되어 있는지 여부, 즉, 유저(U)가 조작 대상 기기를 보고 있는지의 여부를 판정한다.
유저(U)가 조작 대상 기기를 보고 있지 않다고 스텝 S3에서 판정된 경우, 스텝 S4에서, 표시 제어부(53)는 조작 화상을 디스플레이(12)에 표시시킬지의 여부를 판정한다.
조작 화상을 디스플레이(12)에 표시한다고 스텝 S4에서 판정했을 경우, 표시 제어부(53)는 조작 화상의 표시를 정지한다. 조작 화상의 표시가 정지되었을 경우 또는 스텝 S4에서 조작 화상을 표시하지 않는다고 판정된 경우, 이 처리는 스텝 S1로 복귀되고, 그 이후의 처리가 반복된다.
한편, 유저(U)가 조작 대상 기기를 보고 있다고 스텝 S3에서 판정된 경우, 스텝 S6에서, 기기 제어부(59)는 유저(U)가 보고 있는 조작 대상 기기의 네트워크 주소를 이용가능한지 여부를 판정한다. 유저(U)가 조작 대상 기기를 보고 있다고 스텝 S3에서 판정된 경우, 인식부(52)는 기기 제어부(59)에게 조작 대상 기기의 ID를 공급한다. 기기 제어부(59)에서는 기기 정보 기억부(60)를 검색해서, 조작 대상 기기의 ID와 관련된 네트워크 주소가 기억되는지의 여부가 확인된다.
조작 대상 기기의 네트워크 주소가 이용가능하지 않다고 스텝 S6에서 판정했을 경우, 스텝 S7에서 기기 제어부(59)는 통신부(39)를 제어하여 예를 들어 도시하지 않은 라우터 기기에 문의하여 조작 대상 기기의 네트워크 주소를 취득한다. 기기 제어부(59)는 취득한 네트워크 주소를 조작 대상 기기의 ID와 대응시켜서 기기 정보 기억부(60)에 기억시킨다. 네트워크 주소는 조작 대상 기기에 네트워크를 경유해서 커맨드를 송신하기 위해서 사용된다.
네트워크 주소가 기기 정보 기억부(60)에 이미 기억되어 있기 때문에, 유저(U)가 보고 있는 조작 대상 기기의 네트워크 주소를 이용가능하다고 스텝 S6에서 판정된 경우, 스텝 S7의 처리는 생략된다.
스텝 S8에서, 표시 제어부(53)는 유저(U)가 보는 조작 대상 기기의 조작 화상을 디스플레이(12)에 표시시킬지의 여부를 판정한다.
조작 대상 기기의 조작 화상을 표시하지 않는다고 스텝 S8에서 판정했을 경우, 표시 제어부(53)는 조작 대상 기기의 GUI 데이터를 GUI 데이터 기억부(55)로부터 판독하고, 조작 화상을 디스플레이(12)에 표시시킨다. 디스플레이(12)에는 카메라(11)의 위치와 조작 대상 기기의 자세에 따라서 유저(U)와 정면으로 대향해서 조작 화상이 표시된다.
한편, 조작 대상 기기의 조작 화상을 표시하고 있다고 스텝 S8에서 판정했을 경우, 스텝 S10에서, 표시 제어부(53)는 현재의 카메라(11)의 위치와 조작 대상 기기의 현재의 자세에 따라, 조작 화상의 디스플레이(12) 상의 표시 위치를 변경한다.
스텝 S9에서 조작 화상의 표시가 개시되었을 경우 또는 스텝 S10에서 조작 화상의 표시가 변경된 경우, 이 처리는 스텝 S1로 복귀되고, 그 이후의 처리가 반복된다.
도 9는 조작 화상의 표시 위치에 대해서 설명하는 도면의 그룹이다.
도 9의 상단의 화상은 카메라(11)에 의해 촬영된 화상이며, 조작 대상 기기(21)가 포함된다. 화상의 조작 대상 기기(21)의 위치(예를 들어 조작 대상 기기(21)의 영역의 중심 위치)는 위치 p1로 나타내진다.
도 9의 중앙 화상은 디스플레이(12)의 표시 영역을 나타내고 있다. 디스플레이(12)의 표시 영역을 구성하는 각 화소의 위치는 카메라(11)에 의해 촬영된 화상의 각 화소의 위치와 대응된다. 조작 화상 G는 조작 화상 G의 중심 위치가 예를 들어 위치 p11과 일치하도록 표시된다. 위치 p11은 디스플레이(12) 상의 조작 대상 기기(21)의 위치이고, 카메라(11)에 의해 촬영된 화상 상의 조작 대상 기기(21)의 위치인 위치 p1에 대응한다.
이에 의해, 도 9의 하부 화상에 도시한 바와 같이, 유저(U)에 의해 보여질 때 조작 대상 기기(21)와 겹쳐서 조작 화상 G가 보인다.
유저(U)의 이동과 반응해서, 카메라(11)에 의해 촬영된 화상의 조작 대상 기기(21)의 위치와 자세가 이동한 경우, 조작 화상 G의 표시는 조작 대상 기기(21)의 화상 상의 위치에 대응하는 디스플레이(12) 상의 조작 대상 기기(12)의 위치와, 예를 들어 조작 화상 G의 중심이 계속해서 일치하도록 갱신된다.
이어서, 도 10, 도 11의 흐름도를 참조하여, 조작 대상 기기를 제어하도록 형성된 정보 처리 장치(1)의 처리에 대해서 설명한다. 도 10, 도 11의 처리는 예를 들어, 조작 화상이 디스플레이(12)에 표시되는 동안 반복된다.
스텝 S21에서, 손가락 인식부(57)는 손가락 데이터 기억부(58)로부터 기억되는 버튼 ID와 손가락 크기 정보를 클리어하는 동시에, 압입 플래그를 false로 설정함으로써 초기화한다.
버튼 ID는 조작 화상으로 디스플레이(12)에 표시되는 버튼에 할당되는 ID이다. 예를 들어, 유저(U)의 손가락이 위치되는 버튼의 버튼 ID가 손가락 데이터 기억부(58)에 기억된다.
손가락 크기 정보는 카메라(11)에 의해 촬영된 화상에 포함되는 손가락의 크기를 나타내는 정보이다. 손가락의 크기는 예를 들어, 카메라(11)에 의해 촬영된 화상에 포함되는 예를 들어, 손가락 영역의 화소수에 의해 나타내진다.
압입 플래그는 유저(U)가 버튼을 손가락으로 압입하고 있는지 여부를 나타낸다. 압입 플래그에 true가 설정되는 것은 버튼을 압입하고 있는 것을 나타낸다. 한편, 압입 플래그에 false가 설정되는 것은 버튼을 압입하지 않는 것을 나타낸다.
스텝 S22에서, 화상 취득부(51)는 카메라(11)에 의해 촬영된 화상을 취득한다.
스텝 S23에서, 손가락 인식부(57)는 화상 취득부(51)로부터 공급된 화상에 기초하여 유저(U)의 손가락 위치를 인식한다. 손가락 인식부(57)는 조작 화상으로 표시되는 버튼 중 어느 하나의 버튼 위에 손가락이 위치되는지 여부를 판정한다.
예를 들어, 카메라(11)에 의해 촬영된 화상의 손가락의 위치에 대응하는 디스플레이(12) 상의 손가락의 위치(예를 들어 손가락의 선단)가 버튼의 표시 영역 내의 위치일 경우, 버튼 중 어느 하나에 손가락이 위치되어 있다고 해서 판정된다.
버튼 위 어느 것에도 손가락이 위치되어 있지 않다고 스텝 S23에서 판정된 경우, 이 처리는 스텝 S22로 복귀되고, 그 이후의 처리가 반복된다.
한편, 버튼 중 어느 하나에 손가락이 위치되어 있다고 스텝 S23에서 판정된 경우, 스텝 S24에서, 손가락 인식부(57)는 손가락이 위치되는 버튼의 버튼 ID가 손가락 데이터 기억부(58)에 기억되는지의 여부를 판정한다.
손가락이 위치되는 버튼의 버튼 ID가 손가락 데이터 기억부(58)에 기억되어 있지 않다고 스텝 S24에서 판정했을 경우, 스텝 S25에서, 손가락 인식부(57)는 압입 플래그가 true로 설정되는지의 여부를 판정한다.
압입 플래그에 true가 설정되어 있다고 스텝 S25에서 판정된 경우, 이 처리는 스텝 S21로 복귀되고, 그 이후의 처리가 반복된다. 버튼에 압입 동작을 행한 후에 손가락을 측방향으로 활주시킴으로써, 손가락을 위치시켜서 판정 직전에 압입 동작이 행해진 버튼과, 지금 손가락이 위치되는 버튼이 상이한 경우, 압입 플래그가 true에 설정되는지를 판정된다.
압입 플래그에 false가 설정되기 때문에 압입 플래그에 true가 설정되어 있지 않다고 스텝 S25에서 손가락 인식부(57)가 판정했을 경우, 스텝 S26에서, 손가락 인식부(57)는 손가락이 위치되는 버튼의 버튼 ID를 손가락 데이터 기억부(58)에 기억시킨다.
손가락이 위치되는 버튼의 버튼 ID가 손가락 데이터 기억부(58)에 기억되어 있다고 스텝 S24에서 판정된 경우, 스텝 S25, S26의 처리는 생략된다.
스텝 S27에서, 손가락 인식부(57)는 카메라(11)에 의해 촬영된 화상에 포함되는 손가락 영역의 화소수 등에 기초하여 손가락의 크기를 계산한다.
스텝 S28에서, 손가락 인식부(57)는 손가락 크기 정보가 손가락 데이터 기억부(58)에 기억되는지의 여부를 판정한다.
손가락 크기 정보가 손가락 데이터 기억부(58)에 기억되어 있지 않다고 스텝 S28에서 판정된 경우, 손가락 인식부(57)는 스텝 S27에서 계산한 크기를 나타내는 손가락 크기 정보를 손가락 데이터 기억부(58)에 기억시킨다. 그 후, 이 처리는 스텝 S22로 복귀되고, 그 이후의 처리가 행해진다.
한편, 손가락 크기 정보가 손가락 데이터 기억부(58)에 기억되어 있다고 스텝 S28에서 판정된 경우, 손가락 인식부(57)는 손가락 데이터 기억부(58)에 기억되는 손가락 크기 정보에 의해 나타내지는 크기와, 스텝 S30에서 계산한 크기와의 차를 계산한다.
손가락 데이터 기억부(58)에 기억되는 손가락 크기 정보는 전에 카메라(11)에 의해 촬영된 화상으로부터 계산된 손가락의 크기를 나타낸다. 한편, 스텝 S27에서 계산한 크기는 후에(현재) 카메라(11)에 의해 촬영된 화상으로부터 계산된 손가락의 크기를 나타낸다.
따라서, 전의 손가락의 크기와, 후의 손가락의 크기 사이의 차가 정인 것은 도 12a에 도시한 바와 같이, 카메라(11)에 의해 촬영된 화상에서 손가락의 크기가 작아진 것, 즉, 압입하는 동작이 유저(U)에 의해 행해진 것을 나타낸다.
한편, 전의 손가락의 크기와 후의 손가락의 크기 사이의 차가 부인 것은 도 12b에 도시한 바와 같이, 카메라(11)에 의해 촬영된 화상에서 손가락의 크기가 커진 것, 즉, 압입된 위치로부터 복귀되는 동작이 유저(U)에 의해 행해진 것을 나타낸다. 이후, 적절히, 전의 손가락의 크기와 후의 손가락의 크기 사이의 차를 손가락 크기 차라고 한다.
도 11의 설명으로 복귀하여, 스텝 S31에서, 손가락 인식부(57)는 스텝 S30에서 계산한 손가락 크기 차가 정이고, 임계값보다 큰지의 여부를 판정한다.
손가락 크기 차가 정이고 임계값보다 크다고 스텝 S31에서 판정된 경우, 스텝 S32에서, 손가락 인식부(57)는 압입 플래그에 true를 설정한다. 버튼이 임계값 이상 만큼 압입하는 동작이 행해졌을 때, 압입 플래그에 true가 설정된다. 그 후, 이 처리는 스텝 S22로 복귀되고, 그 이후의 처리가 반복된다.
한편, 손가락 크기 차가 부 또는 정이지만 임계값보다 작다고 스텝 S31에서 판정된 경우, 스텝 S33에서, 손가락 인식부(57)는 손가락 크기 차가 부인지 여부와, 손가락 크기 차의 절대값이 임계값보다 큰지의 여부를 판정한다.
손가락 크기 차가 부이고, 손가락 크기 차의 절대값이 임계값보다 크다고 스텝 S33에서 판정된 경우, 손가락 인식부(57)는 압입 플래그가 true에 설정되는지의 여부를 판정한다.
압입 플래그가 true에 설정되어 있다고 스텝 S34에서 판정된 경우, 스텝 S35에서, 기기 제어부(59)는 커맨드를 기기 정보 기억부(60)로부터 판독한다. 이 커맨드는 버튼 ID에 의해 식별되는 버튼에 할당되는 처리의 실행을 지시한다. 압입 플래그가 true에 설정되어 있다고 스텝 S34에서 판정된 경우, 손가락 데이터 기억부(58)에 기억되는 버튼 ID가 기기 제어부(59)에 공급된다. 또한, 기기 제어부(59)는 기기 정보 기억부(60)로부터 판독한 커맨드를 조작 대상 기기(21)에 송신한다.
버튼 위에 손가락을 위치시켜 버튼을 압입한 후, 압입한 위치로부터 그 버튼이 임계값 이상 만큼만 복귀될 때, 손가락 크기 차가 부이고, 또한 손가락 크기 차의 절대값이 임계값보다 크고, 또한, 압입 플래그가 true로 설정되어 있다고 판정된다.
개념적으로 말하면, 가상적으로 버튼을 압입한 후, 버튼을 복귀시켰을 때에 커맨드가 송신된다. 간단히, 가상적으로 버튼을 압입하는 동작이 행해진 타이밍에서 커맨드가 송신되도록 해도 좋다.
스텝 S35에서 커맨드가 송신되었을 경우, 이 처리는 스텝 S22로 복귀되고, 그 이후의 처리가 행해진다. 손가락 크기 차가 부이고, 또한 손가락 크기 차의 절대값이 임계값보다 크지 않다고 스텝 S33에서 판정된 경우 또는 압입 플래그에 true가 설정되어 있지 않다고 스텝 S34에서 판정된 경우, 스텝 S22 이후의 처리가 행해진다.
이어서, 도 13의 흐름도를 참조하여, 정보 처리 장치(1)로부터 송신된 커맨드를 수신하도록 구성된 조작 대상 기기(21)에 의한 처리에 대해서 설명한다.
스텝 S51에서, 조작 대상 기기(21)의 통신 제어부(81)는 정보 처리 장치(1)로부터 송신된 커맨드를 수신한다. 통신 제어부(81)에 의해 수신된 커맨드는 제어부(82)에 공급된다.
스텝 S52에서, 제어부(82)는 정보 처리 장치(1)로부터 송신된 커맨드가 실행 가능한 커맨드인지의 여부를 판정한다.
이 커맨드가 실행 가능한 커맨드가 아니라고 스텝 S52에서 판정했을 경우, 스텝 S53에서, 제어부(82)는 통신 제어부(81)를 제어하여, 실행할 수 없는 커맨드인 것을 나타내는 정보를 정보 처리 장치(1)에 송신한다.
한편, 이 커맨드가 실행 가능한 커맨드라고 스텝 S52에서 판정했을 경우, 스텝 S54에서, 제어부(82)는 커맨드를 실행하고, 대응하는 처리를 행한다. 예를 들어, 도 3의 온 버튼의 누름에 따라서 정보 처리 장치(1)로부터 커맨드가 송신되는 경우, 조작 대상 기기(21)는 그 커맨드에 적절한 처리로서 기동시키기 위해 전원을 온으로 한다.
이상의 처리에 의해, 유저(U)는 조작 대상 기기를 더 간단하게 원격으로 조작할 수 있다.
[변형예]
조작 화상의 표시를 유저(U)의 기호에 따라 맞출 수 있도록 해도 좋다.
도 14는 정보 처리 장치(1)의 다른 기능 구성예를 도시하는 블록도이다.
도 14에서, 도 6에 나타내는 구성과 유사한 구성에는 동일한 부호를 부여하고, 중복하는 설명에 대해서는 적절히 생략한다. 도 14에 도시하는 구성에서는 설정 정보 기억부(61)가 추가되는 점에서 도 6에 나타내는 구성과 상이하다.
설정 정보 기억부(61)는 유저(U)에 의해 입력된 조작 화상의 표시에 관한 설정의 내용을 나타내는 정보인 설정 정보를 기억한다. 조작 화상의 표시에 관한 설정의 입력도, 예를 들어, 상술한 버튼의 조작과 마찬가지로 하여 가상적인 버튼을 사용해서 행해진다.
예를 들어, 조작 화상으로 표시되는 버튼의 크기, 색, 배치 위치를 나타내는 정보가 설정 정보 기억부(61)에 기억된다.
표시 제어부(53)는 조작 화상을 표시하기 위해 설정 정보 기억부(61)로부터의 설정 정보를 판독하고, 판독한 설정 정보에 의해 나타내지는 설정에 따라, 조작 화상을 표시시킨다.
이에 의해, 유저(U)는 원하는 크기나 색으로 버튼을 표시시키는 것이 가능하게 된다.
또한, 버튼 상에 표시되는 문자나 기호의 크기를 바꿀 수 있도록 해도 좋다. 예를 들어, 아이들용 또는 고령자용의 문자나 기호의 크기는 그 이외의 연령 그룹보다 크게 표시된다. 이 경우, 문자나 기호가 표시되는 크기를 유저는 미리 특정한다.
이와 달리, 버튼 상에 표시되는 내용을 바꿀 수 있도록 해도 좋다. 도 4의 예에서는 조작 화상 G1 내지 G3에 "ON"(온), "OFF"(오프)의 문자가 표시되지만, "불을 켠다", "불을 끈다"의 문자가 표시되도록 하는 것이 가능하다.
또한, 동일한 기기에 관련시켜서 복수 종류의 조작 화상이 정보 처리 장치(1)에서 이용가능하면, 어느 종류의 조작 화상을 표시시킬 것일지를 유저가 특정할 수 있도록 해도 좋다. 예를 들어, 유저는 ON/OFF 버튼만이 내장된 단순한 조작 화상이 표시되도록 설정하거나, 대상 기기의 미세한 조작도 가능한 복잡한 조작 화상이 표시되도록 특정할 수 있다
도 15와 도 16은 조명 기기(22-1 내지 22-3)의 조작 화상의 예를 나타내는 도면이다.
예를 들어, 도 15의 우측에 도시한 바와 같은 조작 화상 G1 내지 G3의 2개의 데이터와, 도 16의 우측에 도시한 바와 같은 다른 데이터가 이용가능한 경우, 유저에 의한 설정에 따라, 조명 기기(22-1 내지 22-3)의 조작 화상이 전환된다. 이에 의해, 유저는 자신의 원하는 조작 화상을 사용해서 대상 기기를 조작하는 것이 가능하게 된다.
이상에서는 조작 대상 기기의 인식 데이터가 서버(71)로부터 다운로드되는 것으로 했지만, 인식 데이터는 카메라(11)에 의해 촬영된 화상을 모델 화상으로 사용하여, 정보 처리 장치(1)에 의해 대체적으로 생성되도록 해도 좋다.
이상과 같은 표시의 설정을 행할 때에 사용되는 메뉴 표시 자체를 유저 마다, 또는 단말기마다 마음대로 할 수 있다.
한편, 이상에서는 HMD(2)가 투과성이 있는 디스플레이(12)를 구비한 소위 광학 투과형의 HMD일 경우에 대해서 설명했다. 그러나, 이와 달리, 비디오 투과형의 HMD이여도 좋다.
도 17은 비디오 투과형의 HMD(2)의 외관의 예를 나타내는 도면이다.
비디오 투과형의 HMD(2)는 예를 들어 안경 형상을 갖고 있다. HMD(2)를 장착했을 때, 유저(U)의 눈 앞에는 HMD(2)의 전방을 대향해서 설치된, 카메라(11)에 의해 촬영된 화상이 표시된다. 또한, 조작 화상 또는 화상은 상술한 바와 같이 카메라(11)에 의해 촬영된 화상에 포함되는 조작 대상 기기 또는 장치에 겹치도록 표시된다.
카메라(11)에 의해 촬영된 화상과 조작 화상의 표시는 하프 미러 등을 이용해서 허상을 형성하고, 유저(U)에 의한 화상의 인식을 위해 허상 투영 방식에 의해 행해지도록 해도 좋다. 이와 달리, 화상의 표시는 망막에 화상을 직접 결상시키는 망막 투영 방식에 의해 행해지도록 해도 좋다.
<제2 실시 형태>
도 18은 PDA의 외관의 예를 나타내는 도면이다.
도 18의 PDA(101)는 정보 처리 장치(1)와 마찬가지의 기능을 갖고 있다. PDA(101)의 배면에는 도 19에 도시한 바와 같이 카메라(111)가 설치된다. 카메라(111)에 의해 촬영된 화상은 PDA(101)의 외형 전방에 설치된 디스플레이(112)에 표시된다. 디스플레이(112)에는 예를 들어 터치 패널이 적층된다.
예를 들어, 유저(U)가 PDA(101)를 손에 들고, 촬영 범위에 조작 대상 기기가 포함되도록 카메라(111)를 가리킬 경우, 디스플레이(112)에 조작 대상 기기가 표시되고 카메라(111)에 의해 촬영된 화상에 기초하여 물체 인식이 행해진다. 카메라(111)는 한쪽 눈의 카메라 이외의 스테레오 카메라이여도 좋다. 또한, 카메라(111)는 PDA(101)에 직접 설치되는 필요는 없다. 대신, 카메라(111)는 PDA(101)와 다른 외형의 기기에 설치되게 해도 좋다. 이 경우, 카메라(111)에 의해 촬영된 화상은 유선 또는 무선의 통신을 통해 PDA(101)에 전송된다.
한편, 카메라(111)에 의해 촬영된 화상에 조작 대상 기기가 포함되는 것이 검출된 경우, 조작 대상 기기의 조작 화상이 디스플레이(112)에 표시되는 조작 대상 기기에 겹쳐서 표시된다. 디스플레이(112)에는 예를 들어 도 2, 도 4를 참조하여 설명하도록 해서 조작 화상 또는 화상이 표시된다. 유저(U)는 디스플레이(112)에 표시된 조작 화상을 손가락으로 직접 누르는 것에 의해, 조작 대상 기기를 조작할 수 있다.
<프로그램>
상술한 일련의 처리는 하드웨어 또는 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 조립되는 컴퓨터 또는 범용의 퍼스널 컴퓨터 등에 프로그램 기록 매체로부터 인스톨된다.
인스톨되는 프로그램은 광 디스크(예들 들어, CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)) 또는 반도체 메모리 등과 같은 도 5에 나타내어지는 리무버블 매체(41)에 기록해서 제공된다. 이와 달리, 프로그램은 근거리 네트워크, 인터넷 또는 디지털 방송과 같은 유선 또는 무선의 전송 매체를 통해서 제공되도록 해도 좋다. 프로그램은 ROM(32)이나 기억부(38)에 미리 인스톨해 둘 수 있다.
컴퓨터가 실행하는 프로그램은 본 명세서에서 설명하는 순서에 따라 시계열적으로 처리가 행해지는 프로그램이여도 좋고, 병렬로 또는 호출이 행해졌을 때 등에 필요한 타이밍에 따라 처리가 행해지는 프로그램이여도 좋다.
본 발명의 실시 형태는 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 기술사상 및 범위 내에서 다양한 변경이 가능하다.
본 출원은 2010년 3월 29일 출원된 일본 우선권 특허 출원 JP2010-076301호 에 개시된 내용에 관한 내용을 포함하고, 그 전체 내용은 본 명세서에 참조에 의해 원용된다.
본 기술 분야의 당업자는 첨부된 청구범위 또는 그 등가물의 범위 내에 있으면 그 설계 조건 및 다른 팩터에 따라 다양한 변경, 조합, 하위 조합 및 대체가 일어날 수 있다는 것을 이해해야 한다.

Claims (8)

  1. 정보 처리 장치로서,
    조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하도록 구성된 기억 수단과,
    카메라에 의해 촬영된 화상을 취득하도록 구성된 취득 수단과,
    상기 화상에 포함되는 물체를 상기 기억 수단에 기억되는 특징량 데이터에 기초하여 인식하도록 구성된 인식 수단과,
    상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 상기 인식 수단에 의해 인식되는 경우, 상기 기억 수단에 기억되는 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하도록 구성된 표시 제어 수단을 포함하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 표시 제어 수단은 상기 화상에 포함되는 상기 조작 대상 기기의 화상 내의 위치에 대응하는 디스플레이의 위치에 상기 조작 화상을 표시시키는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 카메라에 의해 촬영된 상기 화상에 포함되는 상기 유저의 손가락의 화상 내의 위치를 인식하도록 구성된 손가락 인식 수단과,
    상기 손가락 인식 수단에 의해 인식된 상기 유저의 손가락의 상기 화상 내의 위치가 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 경우, 상기 조작 화상을 사용하여 조작을 지시하도록 형성된 커맨드를 상기 조작 대상 기기에 송신하도록 구성된 제어 수단을 더 포함하는, 정보 처리 장치.
  4. 제3항에 있어서,
    상기 손가락 인식 수단은 상기 화상에 포함되는 상기 유저의 손가락의 상기 화상 내의 크기를 더 인식하고,
    상기 제어 수단은 상기 화상 상의 상기 유저의 손가락이 상기 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 위치에 위치되고, 그 위치에서, 상기 유저의 손가락의 상기 화상 내의 크기가 직전보다 작아진 후 다시 커질 때에, 상기 커맨드를 송신하는, 정보 처리 장치.
  5. 제3항에 있어서,
    상기 손가락 인식 수단은 상기 화상에 포함되는 상기 유저의 손가락의 상기 화상 내의 크기를 더 인식하고,
    상기 제어 수단은 상기 화상 상의 상기 유저의 손가락이 상기 디스플레이에 표시된 상기 조작 화상의 위치에 대응하는 위치에 위치되고, 그 위치에서, 상기 유저의 손가락의 상기 화상 내의 크기가 직전의 크기보다 작아질 때, 상기 커맨드를 송신하는, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 조작 화상의 표시에 관한 설정의 내용을 나타내는 설정 정보를 기억하도록 구성된 설정 정보 기억 수단을 더 포함하고,
    상기 표시 제어 수단은 상기 설정 정보의 내용에 따라서 상기 조작 화상의 표시를 제어하는, 정보 처리 장치.
  7. 정보 처리 방법으로서,
    조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하는 단계와,
    카메라에 의해 촬영된 화상을 취득하는 단계와,
    상기 화상에 포함되는 물체를, 기억 수단에 기억된 특징량 데이터에 기초하여 인식하는 단계와,
    상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 인식 수단에 의해 인식된 경우, 상기 기억 수단에 기억된 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하는 단계를 포함하는, 정보 처리 방법.
  8. 프로그램으로서,
    조작 대상 기기의 외관의 특징을 나타내는 데이터와 상기 조작 대상 기기의 조작에 사용되는 조작 화상의 데이터를 기억하는 단계와,
    카메라에 의해 촬영된 화상을 취득하는 단계와,
    상기 화상에 포함되는 물체를, 기억 수단에 기억된 특징량 데이터에 기초하여 인식하는 단계와,
    상기 화상에 포함되는 물체가 상기 조작 대상 기기로서 인식 수단에 의해 인식된 경우, 상기 기억 수단에 기억된 상기 조작 화상의 데이터에 기초하여 상기 조작 화상을 표시하는 단계를 포함하는,
    처리를 컴퓨터로 하여금 실행하게 하는, 프로그램.

KR1020110025181A 2010-03-29 2011-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20110109883A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010076301A JP5743416B2 (ja) 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム
JPJP-P-2010-076301 2010-03-29

Publications (1)

Publication Number Publication Date
KR20110109883A true KR20110109883A (ko) 2011-10-06

Family

ID=44484929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110025181A KR20110109883A (ko) 2010-03-29 2011-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (5)

Country Link
US (2) US9058057B2 (ko)
EP (1) EP2372495B1 (ko)
JP (1) JP5743416B2 (ko)
KR (1) KR20110109883A (ko)
CN (1) CN102207819B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318028B2 (en) 2012-09-21 2019-06-11 Sony Corporation Control device and storage medium

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5731272B2 (ja) * 2011-05-09 2015-06-10 双葉電子工業株式会社 被操縦体の無線操縦装置
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5780142B2 (ja) * 2011-12-07 2015-09-16 富士通株式会社 画像処理装置、画像処理方法
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2827605B1 (en) * 2012-03-12 2016-09-28 NTT DoCoMo, Inc. Remote control system, remote control method, communication device and program
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
CN103425380A (zh) * 2012-05-14 2013-12-04 联想(北京)有限公司 一种信息处理的方法和设备
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
JP6011154B2 (ja) * 2012-08-24 2016-10-19 富士通株式会社 画像処理装置、画像処理方法
JP5962403B2 (ja) 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5787099B2 (ja) 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN103873959B (zh) * 2012-12-13 2019-02-05 联想(北京)有限公司 一种控制方法和电子设备
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
JP5962547B2 (ja) 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US9927949B2 (en) * 2013-05-09 2018-03-27 Amazon Technologies, Inc. Recognition interfaces for computing devices
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
WO2014205755A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation Supporting activation of function of device
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6427942B2 (ja) * 2014-05-01 2018-11-28 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP2016015024A (ja) * 2014-07-02 2016-01-28 株式会社東芝 操作支援装置及び操作支援システム
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
EP3198372B8 (en) * 2014-09-25 2019-04-10 Signify Holding B.V. Control of lighting
EP3007146A1 (en) 2014-10-07 2016-04-13 Thomson Licensing System for controlling an electronic device and head mounted unit for such a system
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
CN105528081B (zh) * 2015-12-31 2019-02-19 广州创幻数码科技有限公司 一种混合现实显示方法、装置及系统
CN105528083B (zh) * 2016-01-12 2018-10-23 广州创幻数码科技有限公司 一种混合现实识别关联方法及装置
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
WO2017174412A1 (en) * 2016-04-06 2017-10-12 Philips Lighting Holding B.V. Controlling a lighting system
US11044405B1 (en) 2016-09-16 2021-06-22 Apple Inc. Location systems for electronic device interactions with environment
JP6432583B2 (ja) * 2016-10-28 2018-12-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
KR102531542B1 (ko) 2016-12-05 2023-05-10 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP6350705B2 (ja) * 2017-03-16 2018-07-04 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
CN106980374A (zh) * 2017-03-28 2017-07-25 联想(北京)有限公司 显示控制方法、显示控制装置及电子设备
WO2018193509A1 (ja) * 2017-04-17 2018-10-25 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
JP6257826B1 (ja) * 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
US10922583B2 (en) 2017-07-26 2021-02-16 Magic Leap, Inc. Training a neural network with representations of user interface devices
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
WO2019181143A1 (ja) * 2018-03-22 2019-09-26 三菱自動車工業株式会社 車両制御システム
JP7229749B2 (ja) * 2018-12-14 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、記録媒体、および、情報処理システム
KR20210150862A (ko) * 2020-06-04 2021-12-13 주식회사 브이터치 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023228337A1 (ja) * 2022-05-25 2023-11-30 日本電信電話株式会社 提示システム、提示方法及び提示プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259366B2 (ja) 1992-10-30 2002-02-25 ソニー株式会社 遠隔操作装置
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP2005031045A (ja) * 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US7903838B2 (en) * 2004-01-30 2011-03-08 Evolution Robotics, Inc. Vision-enabled household appliances
JP2005339266A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
WO2006012678A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP4676303B2 (ja) * 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
JP5176112B2 (ja) * 2008-07-03 2013-04-03 財団法人ヒューマンサイエンス振興財団 制御システム及び制御方法
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4720890B2 (ja) 2008-09-26 2011-07-13 ブラザー工業株式会社 液体吐出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318028B2 (en) 2012-09-21 2019-06-11 Sony Corporation Control device and storage medium

Also Published As

Publication number Publication date
JP2011209965A (ja) 2011-10-20
CN102207819A (zh) 2011-10-05
EP2372495A3 (en) 2015-11-25
EP2372495B1 (en) 2019-04-03
US20110234386A1 (en) 2011-09-29
US9891715B2 (en) 2018-02-13
EP2372495A2 (en) 2011-10-05
US20150241986A1 (en) 2015-08-27
CN102207819B (zh) 2016-01-20
JP5743416B2 (ja) 2015-07-01
US9058057B2 (en) 2015-06-16

Similar Documents

Publication Publication Date Title
KR20110109883A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US7940986B2 (en) User interface system based on pointing device
JP6312712B2 (ja) 情報表示端末、情報表示システム及び情報表示方法
US20180203518A1 (en) Control of a real world object user interface
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180033211A1 (en) Personal Electronic Device with a Display System
US9268408B2 (en) Operating area determination method and system
US20180316911A1 (en) Information processing apparatus
US20170285694A1 (en) Control device, control method, and program
EP3850467B1 (en) Method, device, and system for delivering recommendations
EP3262505A1 (en) Interactive system control apparatus and method
JP6714632B2 (ja) 情報表示端末及び情報表示方法
US9860480B2 (en) Method for processing information and electronic device
JPWO2019031397A1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
KR102614026B1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
CN116033282A (zh) 拍摄处理方法和电子设备
KR20060133207A (ko) 촬상 소자를 이용한 디지털 영상 처리 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid