KR20190068543A - 정보 처리 장치, 방법 및 프로그램 - Google Patents

정보 처리 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR20190068543A
KR20190068543A KR1020197010728A KR20197010728A KR20190068543A KR 20190068543 A KR20190068543 A KR 20190068543A KR 1020197010728 A KR1020197010728 A KR 1020197010728A KR 20197010728 A KR20197010728 A KR 20197010728A KR 20190068543 A KR20190068543 A KR 20190068543A
Authority
KR
South Korea
Prior art keywords
information processing
sensor
trigger operation
input
information
Prior art date
Application number
KR1020197010728A
Other languages
English (en)
Inventor
게이 다카하시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190068543A publication Critical patent/KR20190068543A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

정보 처리 장치의 정보 처리부는, 제1 센서 정보가 입력되면 상기 제1 센서 정보의 종류에 따른 트리거 조작을 검출한다. 또한, 조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식한다. 또한, 검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정한다. 이 정보 처리 장치에 따르면, 유저에게 부담을 주지 않고 조작 입력을 다양화시키는 것이 가능하게 된다.

Description

정보 처리 장치, 방법 및 프로그램
본 기술은 휴먼 인터페이스의 조작성 향상에 관한 것이다.
종래의 조작 입력에 사용하는 휴먼 인터페이스로서는, 버튼이나 터치 패널이 주류이다.
특허문헌 1에는, 버튼을 사용하지 않는 전자 기기의 제어에 대한 기재가 있으며, 근접 센서가 반응하고 나서 비로소, 정전 스위치를 사용한 터치 디바이스에 의한 센싱이 개시됨이 개시되어 있다.
일본 특허 공개 제2016-018432호 공보
그러나, 버튼이나 터치 디바이스에 의한 복잡한 조작은, 특히 소형 기기에서는 사용하기 어려운 경우가 있어, 보다 간단한 휴먼 인터페이스가 요망되고 있다.
이상과 같은 사정을 감안하여, 본 기술의 목적은, 유저에게 부담을 주지 않고 조작 입력을 다양화시키는 것이 가능한 정보 처리 장치를 제공하는 데 있다.
상기 목적을 달성하는 본 기술의 일 측면은, 제어부를 구비하는 정보 처리 장치이다.
상기 제어부는, 제1 센서 정보의 종류에 따른 트리거 조작을 검출한다.
또한, 조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식한다.
또한, 검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정한다.
상기 정보 처리 장치에 따르면, 제스처 조작 하나당 조작 입력이 하나로 제한되지 않고, 복수의 조작이 가능하게 되므로, 유저에게 부담을 주지 않고 조작 입력을 다양화시키는 것이 가능하게 된다.
상기 제어부는, 상기 트리거 조작의 검출 후, 소정 시간 내에 입력되는 상기 제2 센서 정보에 기초하여, 상기 제스처 조작의 인식을 해도 된다.
상기 정보 처리 장치에 따르면, 의도하지 않게 트리거가 발화되어 버리는 경우라도, 잘못된 조작 입력이 행해지지 않는다고 하는 효과가 초래된다.
상기 제어부는, 상기 제1 센서 정보가 입력되었을 때, 상기 제1 센서 정보가 계속해서 입력되고 있는 시간의 길이가 소정의 역치보다 짧은 경우에 단발적 트리거 조작, 긴 경우에 연속적 트리거 조작을 검출하고, 검출한 상기 단발적 트리거 조작 또는 상기 연속적 트리거 조작과, 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정해도 된다.
상기 정보 처리 장치에 따르면, 트리거 조작 하나에 대하여 단발적 트리거 조작과 연속적 트리거 조작의 2종류를 설정할 수 있어, 조작 입력의 베리에이션이 넓어진다.
상기 제어부는, 상기 연속적 트리거 조작을 검출한 경우, 상기 조작 입력에 의해 입력되는 정보에, 검출한 상기 연속적 트리거 조작의 시간의 길이에 따른 값을 포함시켜도 된다.
그 경우, 상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 종점을, 상기 제1 센서 정보의 입력이 끝난 시점으로 해도 된다.
그 경우, 상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제1 센서 정보의 입력이 개시된 시점으로 해도 된다.
혹은, 상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 연속적 트리거 조작이 검출된 시점으로 해도 된다.
혹은, 상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제스처 조작이 인식된 시점으로 해도 된다.
상기 정보 처리 장치는, 상기 제1 센서 정보를 출력하는 센서는 유저의 신체에 장착 가능하게 구성된 하우징에 설치되어도 된다.
그 경우, 상기 센서는, 상기 유저의 손에 의한 조작을 검출 가능한 위치에 설치되어도 된다.
그 경우, 상기 센서가 설치되는 위치는, 상기 하우징을 장착한 상태에 있어서의 유저의 시야 밖으로 되는 위치이도록 구성해도 된다.
상기 정보 처리 장치에 따르면, 헤드 마운트 디스플레이 등 웨어러블 디바이스, 웨어러블 컴퓨터의 조작 입력 인터페이스를 제공할 수 있다.
상기 정보 처리 장치는, 상기 정보 처리 장치의 전력 소비 모드로서 제1 전력 모드와 제2 전력 모드를 갖고, 상기 제1 전력 모드는, 상기 제2 전력 모드보다 전력 소비량이 적은 모드로 해도 된다.
그 경우, 상기 제어부는, 상기 정보 처리 장치가 상기 제1 전력 모드에 있을 때 상기 트리거 조작을 검출하면, 상기 정보 처리 장치의 전력 소비 모드를 상기 제2 전력 모드로 전환하도록 구성해도 된다.
상기 정보 처리 장치에 따르면, 트리거 조작을 보다 전력 소비가 큰 동작 모드로의 전환의 트리거로서도 사용하도록 구성할 수 있어, 장치의 전력 소비를 억제하는 것이 가능하게 된다.
또한, 본 기술의 다른 일 측면은, 다음 스텝을 갖는 정보 처리 방법이다.
제1 센서 정보의 종류에 따른 트리거 조작을 검출하는 스텝.
조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하는 스텝.
검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 스텝.
또한, 본 기술의 다른 일 측면은, 컴퓨터에, 이하의 스텝을 실행시키는 프로그램이다.
제1 센서 정보의 종류에 따른 트리거 조작을 검출하는 스텝.
조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하는 스텝.
검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 스텝.
이상과 같이, 본 기술에 따르면, 유저에게 부담을 주지 않고 조작 입력을 다양화시키는 것이 가능한 정보 처리 장치를 제공하는 것이 가능하게 된다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 본 발명의 일 실시 형태의 개요를 설명하기 위한 도면이다.
도 2는, 상기 실시 형태에 관한 정보 처리 장치의 외관 구성예를 도시하는 도면이다.
도 3은, 상기 실시 형태에 관한 정보 처리 장치의 내부 구성예를 도시하는 블록도이다.
도 4는, 상기 실시 형태에 관한 정보 처리 장치의 내부 구성의 다른 일례를 도시하는 도면이다.
도 5는, 상기 실시 형태에 관한 정보 처리 장치의 내부 구성의 다른 일례를 도시하는 도면이다.
도 6은, 상기 실시 형태에 관한 정보 처리 장치의 처리의 흐름을 도시하는 흐름도(첫째)이다.
도 7은, 상기 실시 형태에 관한 정보 처리 장치의 처리의 흐름을 도시하는 흐름도(둘째)이다.
도 8은, 상기 실시 형태에 관한 정보 처리 장치의 처리를 설명하기 위한 타이밍 차트(첫째)이다.
도 9는, 상기 실시 형태에 관한 정보 처리 장치의 처리를 설명하기 위한 타이밍 차트(둘째)이다.
도 10은, 상기 실시 형태의 변형예의 외관 구성예를 도시하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 기술의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 본 기술의 일 실시 형태에 따른 정보 처리 장치의 개요
2. 구성
2-1. 외관 구성
2-2. 내부 구성
3. 동작
4. 마무리
5. 변형예
6. 부기
<1. 본 기술의 일 실시 형태에 따른 정보 처리 장치의 개요>
본 실시 형태에 관한 정보 처리 장치(1)는 웨어러블 디바이스를 포함한다. 본 실시 형태의 웨어러블 디바이스로서는, 후술하는 센서군이 탑재 가능한 스페이스를 확보할 수 있는 것인 한, 특별히 한정되는 것은 아니지만, 헤드폰이나 헤드 마운트 디스플레이를 일례로서 들 수 있다. 그 밖에, 손목 밴드형 웨어러블 디바이스나 재킷 등 착의형 웨어러블 디바이스 등에도 적용 가능하다. 이하의 설명에 있어서는, 본 실시 형태의 웨어러블 디바이스로서 헤드폰을 채용한다. 또한, 헤드폰 이외에도 이어폰형이어도 된다.
본 실시 형태에 관한 정보 처리 장치(1)는 유저의 조작 입력을 접수하는 유저 인터페이스를 포함한다. 유저의 조작 입력을 어떠한 용도로 사용할지에 대해서는 일절 한정은 없다. 뉴스의 낭독 애플리케이션이어도 된다. 이하의 설명에 있어서는, 음악 콘텐츠를 재생하는 음악 플레이어를 조작하기 위해 사용하는 예를 나타낸다.
도 1에 본 실시 형태의 개요를 설명하기 위한 도면을 도시한다. 본 실시 형태에 관한 정보 처리 장치(1)는 유저의 움직임을 인식하는 제스처 인식 기능을 갖는다. 단, 유저가 트리거 조작을 행하고, 그것을 정보 처리 장치(1)가 검출한 경우에 제스처 인식이 행해진다. 본 실시 형태에 있어서 트리거 조작에는 복수가 있지만, 복수의 트리거 조작 검출을 실현하는 하나의 방법은, 각 트리거 조작에 대응하는 센서를 1개씩 준비하는 것이다. 정보 처리 장치(1)는 그 종류에 따른 트리거 조작과, 제스처 인식의 종류에 따라, 제스처 인식의 해석을 행한다.
또한, 본 실시 형태에 있어서 「해석한다」란, 일련의 트리거 조작과 제스처 조작에 의한 조작 입력을 정보 처리 장치(1)에 대한 처리 커맨드로 치환하도록 결정하는 것을 말한다.
도 1에는, 3종류의 「끄덕인다」 「우측을 향하여 목을 돌린다」 「좌측을 향하여 목을 돌린다」라고 하는 제스처 조작예가 도시되어 있다. 본 실시 형태에서는, 이들 3종류의 제스처 조작이 행해지기 전에 행해진 트리거 조작에 따라, 각각의 제스처 조작의 해석을 바꾼다. 예를 들어, 도 1의 (a)는 제1 트리거 조작을 행한 경우, (b)는 제2 트리거 조작을 행한 경우라고 하자.
동일한 「끄덕인다」라고 하는 제스처 조작을 행한 경우에도, 제1 트리거 조작이 먼저 있으면 정보 처리 장치(1)는, 그 제스처 조작을 음악 플레이어의 「재생/정지」라고 해석한다(도 1의 (a)). 한편, 제2 트리거 조작이 먼저 있으면 정보 처리 장치(1)는, 그 동일한 제스처 조작을 「음악 앨범 선택」이라고 해석한다. 우측을 향하는 제스처 조작, 좌측을 향하는 제스처 조작에 대해서도 마찬가지의 정보 처리를 행한다.
트리거 조작의 구체예에 한정은 없지만, 예를 들어 근접 센서에 의해 트리거 조작을 검출하는 경우에는, 헤드폰의 좌우에 각각 근접 센서를 설치한다. 유저가 좌측의 헤드폰 근방에 손을 댄 경우에는, 제1 트리거 조작(도 1의 (a)), 우측의 헤드폰 근방에 손을 댄 경우에는, 제2 트리거 조작(도 1의 (b))을 검지한다.
유저가 좌우 양쪽의 근접 센서를 반응시킨 경우에는 제3 트리거 조작을 검지하는 것으로 한다. 제3 트리거 조작에 대해서도, 각각의 제스처 조작에 대응하는 조작 입력의 세트를 설정한다(도 1의 (c)).
끄덕이거나 우측을 향하거나 하는 제스처는, 누구나가 기억할 수 있는 간단한 제스처이다. 그 반면, 일상적인 움직임이기 때문에 모두가 정보 처리 장치(1)에 대한 조작 입력이라고 해석되면 유저의 의도하지 않은 입력으로 된다. 그런데, 본 실시 형태에서는 제스처 인식에 앞선 트리거 조작을 검지하고 나서 비로소, 제스처 인식을 행하므로, 유저의 의도하지 않은 입력을 방지할 수 있다. 또한, 도 1에 도시한 바와 같이, 트리거 조작의 종류에 따라 동일한 제스처로 정보 처리 장치(1)에 입력 가능한 조작 입력의 베리에이션은 다양화된다. 따라서 본 실시 형태에 따르면, 유저에게 부담을 주지 않고 조작 입력을 다양화시킬 수 있다.
이상, 본 실시 형태의 개요를 설명하였다. 이하, 외부 구성과 내부 구성을 나타내고, 정보 처리 장치(1) 내에서 실행되는 정보 처리의 흐름의 상세에 대하여 개시한다.
<2-1. 외관 구성>
도 2는, 본 실시 형태에 관한 정보 처리 장치(1)의 외관 구성예를 도시하는 도면이고, 도 3은, 내부 구성예를 도시하는 블록도이다.
도 2에 도시하는 바와 같이 본 실시 형태에 관한 정보 처리 장치(1)는, 하드웨어 구성의 면에서는 예를 들어, 헤드폰(2)과 휴대 단말기(3)를 포함하는 구성으로 할 수 있다. 헤드폰(2)은 센서군(10)을 갖는다. 도 2에 도시하는 하드웨어 구성예 외에도, 센서군(10)이 설치되는 유저에 장착 가능한 하우징(20)을 갖는 디바이스라면, 이어폰형, 손목 밴드형, 재킷형 등, 어떠한 형태여도 된다. 또한, 이러한 디바이스를 웨어러블 디바이스라고 칭한다. 또한, 「하우징」은 상자형을 하고 있는 것을 함의하는 경우가 있지만, 여기서는 단순히 외장을 구비하는 것을 의미하며, 형상에 대해서는 한정되지 않는다.
헤드폰(2)과 휴대 단말기(3)는, 각각 무선 통신부(19), 무선 통신부(39)를 갖고, 서로 통신 가능하지만, 그 구체적 통신 양태에 대하여 제한은 없다. 유선 통신이어도 된다. 본 실시 형태에서는, 각 무선 통신부는 안테나 및 무선 통신 회로를 포함하여 구성되며, Bluetooth(등록 상표) 등의 무선 통신 규격에 따른 통신을 행하여, 센서군(10)의 검지 정보가 휴대 단말기(3)에 전달된다. 휴대 단말기(3)는, 예를 들어 스마트폰을 이용할 수 있다.
도 2에 도시하는 센서군(10)에는, 우근접 센서(11R), 좌근접 센서(11L), 움직임 센서(12), 노이즈 캔슬러용 마이크로폰(13)이 포함된다. 그 밖에, 마이크를 단락하도록 접속된 스위치(도시하지 않음)를 센서군(10)을 구성하는 센서의 하나로서 사용해도 된다.
우근접 센서(11R)와 좌근접 센서(11L)는, 적외선 방식이어도 되고 그 밖의 방식이어도 된다. 우근접 센서(11R)와 좌근접 센서(11L)는, 센싱하고 있는 동안, 검지 신호를 계속해서 출력한다. 우근접 센서(11R)와 좌근접 센서(11L)는, 유저의 트리거 조작의 검출에 사용한다.
움직임 센서(12)는, 3축 가속도와 3축 각속도를 검출하는 모션 센서이다. 움직임 센서(12)는, 유저의 제스처 조작의 인식에 사용한다. 트리거 조작의 인식에 사용해도 된다.
노이즈 캔슬러용 마이크로폰(13)은, 헤드폰(2) 주위의 소리를 집음하고, 역위상의 소리를 출력하여 노이즈를 경감하는 노이즈 캔슬 기술에 있어서, 주위의 소리를 집음하는 마이크이다. 유저가 노이즈 캔슬러용 마이크로폰(13)을 손가락 등으로 가볍게 탭한 경우에, 당해 조작을 트리거 조작으로서 검출해도 된다.
본 실시 형태에서는, 트리거 조작을 검출하기 위해 필요한 센서 정보를 제1 센서 정보, 제스처 조작을 인식하기 위해 필요한 센서 정보를 제2 센서 정보라고 칭한다. 센서 정보란, 이들 센서군(10)을 구성하는 적어도 어느 하나 이상이 센싱에 수반하여 발신하는 센서 신호의 다발이다. 제1 센서 정보와 제2 센서 정보는 중복되는 것이 있어도 된다.
이하의 설명에서는, 우근접 센서(11R)와 좌근접 센서(11L) 중 적어도 어느 쪽에 의한 센서 정보를 제1 센서 정보라고 한다. 또한, 움직임 센서(12)에 의한 센서 정보를 제2 센서 정보라고 한다. 단 이것은 설명을 위한 일례이며, 예를 들어 움직임 센서(12)에 의한 센서 정보가 제1 센서 정보의 일부 또는 전부를 겸해도 된다.
<2-2. 내부 구성>
도 3에 도시하는 바와 같이 본 실시 형태에 관한 정보 처리 장치(1)는, 도 2에 도시한 구성에 추가하여, 휴대 단말기(3)가 정보 처리부(31)를 내장하는 구성이다. 정보 처리부(31)는, 휴대 단말기(3)의 연산 처리 장치 중 적어도 하나이면 되며, 예를 들어 중앙 연산 처리 장치(CPU: Central Processing Unit)나 DSP(Digital Signal Processor), SoC(System on Chip)로 구성되어도 된다. 1 이상의 연산 처리 디바이스가 조합되어 정보 처리부(31)를 구성하도록 설계되어도 된다.
정보 처리부(31)는, RAM(21(22)) 등의 메모리에 판독된 소프트웨어 프로그램을 실행하며, 트리거 검출부(32), 제스처 인식부(33), 조작 입력 신호 생성부(34)를 갖도록 구성된다. 이하, 각 부의 작용을 설명한다.
트리거 검출부(32)는, 제1 센서 정보가 입력되면, 그 입력된 제1 센서 정보의 종류에 따른 트리거 조작을 검출한다. 예를 들어, 제1 센서 정보가, 우근접 센서(11R)의 센싱을 나타내는 신호인 경우, 「유저가 오른손을 들어 헤드폰(2)의 우측에 댄다」라는 트리거 조작을 검출한다. 혹은, 제1 센서 정보가, 좌근접 센서(11L)의 센싱을 나타내는 신호인 경우, 「유저가 왼손을 들어 헤드폰(2)의 좌측에 댄다」라는 트리거 조작을 검출한다.
한정되는 것은 아니지만, 일례를 들면, 제1 센서 정보를 2진수 5자리의 디지털 데이터로서 나타내는 것으로 한 경우, 우근접 센서(11R)의 센싱은 (00001), 좌근접 센서(11L)의 센싱은 (00010), 양쪽 근접 센서가 반응하면 (00011) 등으로 나타낼 수 있다. 트리거 검출부(32)는, 각각의 디지털 데이터에 따른 트리거 조작을 검출한다.
제스처 인식부(33)는, 조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식한다. 제스처 조작은, 웨어러블 디바이스의 성격이나 이용 가능한 센서의 종류에 따라 미리 규정된다. 본 실시 형태에 있어서는, 웨어러블 디바이스로서 헤드폰을 채용하고, 움직임 센서(12)를 제스처 인식에 이용하므로, 미리 규정하는 제스처 조작으로서는 예를 들어, 「끄덕임」, 목의 「우측 돌림」 「좌측 돌림」등으로 한다.
제스처 인식부(33)는, 트리거 검출부(32)에 의한 트리거 조작의 검출 후 소정 시간 내에 입력된 제2 센서 정보에 기초하여, 제스처 인식을 행한다. 트리거 검출부(32)에 의한 트리거 조작의 검출이 있고 나서 비로소, 정보 처리부(31)에 제2 센서 정보가 송신되도록 구성해도 된다. 혹은, 트리거 검출부(32)에 의한 트리거 조작의 검출이 있을 때까지, 움직임 센서(12)가 작동하지 않거나, 내지는 전력 절약 모드로 작동하도록 구성해도 된다. 제스처 인식부(33)는, 타임 아웃의 시간이 경과할 때까지, 제스처 조작의 인식을 계속한다.
조작 입력 신호 생성부(34)는, 트리거 검출부(32)가 검출한 트리거 조작과, 제스처 인식부(33)가 인식한 제스처 조작의 조합에 따라, 유저가 그 제스처 조작에 따라 입력하려고 하는 조작 입력을 해석한다. 이것은, 도 1을 참조하면서 설명한 바와 같이, 트리거 조작과 제스처 조작의 조합에 따라, 유저의 조작 입력의 의도를 해석한다. 조작 입력 신호 생성부(34)는 도시하지 않은 룩업 테이블을 참조하여, 조작 입력을 해석한다.
조작 입력 신호 생성부(34)는, 해석 결과, 얻어진 커맨드를 신호로서 생성한다. 생성한 신호는 조작 입력 신호로서 후단에 출력한다.
이상, 본 실시 형태의 구성예에 대하여 설명하였다. 또한, 정보 처리 장치(1)의 내부 구성에 대해서는, 도 3에 도시한 예에만 한정되지 않으며, 도 3의 구성에서는 휴대 단말기(3)에 포함되는 구성 요소의 일부 또는 전부가 웨어러블 디바이스측에 포함되어도 된다. 도 4 및 도 5에 그러한 경우의 내부 구성을 도시한다.
도 4는, 본 실시 형태의 변형예이며, 트리거 조작과 제스처 인식을 웨어러블 디바이스측에서 실행하는 타입의 변형예이다. 본 변형예에서는 휴대 단말기(3)가 CPU(38)와 RAM(22)을 갖고, RAM(22)에 판독된 소프트웨어 프로그램을 CPU(38)가 실행하고, 조작 입력 신호 생성부(34)가 생성된다. 센서군(10)이 출력하는 센서의 출력값(센서 정보)을 휴대 단말기(3)에 무선 통신할 필요가 없기 때문에, 배터리 절약으로 되는 경우가 있다.
도 5도 본 실시 형태의 변형예이며, 조작 입력 신호 생성까지 모두를 웨어러블 디바이스측에서 실행하는 타입의 변형예이다. 이 정보 처리 장치(1)에 있어서는, 휴대 단말기(3)는 구성 요소로서는 불필요하다. 본 기술에 관한 정보 처리가 모두 웨어러블 디바이스에서 완결되도록 구성하는 것도 도 5에 도시하는 바와 같이 가능하다.
<3. 동작>
도 6 및 도 7은, 본 실시 형태에 관한 정보 처리 장치(1)의 처리의 흐름을 도시하는 흐름도이다. 도 8 및 도 9는, 본 실시 형태에 관한 정보 처리 장치(1)의 처리의 흐름을 설명하기 위해 참조하는 타이밍 차트이다. 이하, 이들 도면을 참조하면서 설명한다.
정보 처리 장치(1)는, 트리거 검출부(32)에 의해 제1 센서 정보가 검출될 때까지 대기한다(ST100). 이 상태일 때, 제스처 인식부(33)나 움직임 센서(12)는, 전력 절약 모드 등 전력 소비량이 적은 제1 전력 소비 모드로 기능이 제한되어도 된다.
제1 센서 정보가 입력되면, 트리거 검출부(32)는 트리거 조작을 검출한다(ST100, "예"). 트리거 검출부(32)는, 입력된 제1 센서 정보의 종류에 따라, 트리거 조작의 종류를 판별하고, 그 종류를 정보 처리부(31)에 구비되는 레지스터 등에 기억한다(ST101). 트리거 조작의 종류는 ST105에서 참조된다.
제1 센서 정보로서는, 우근접 센서(11R)의 센싱 정보, 좌근접 센서(11L)의 센싱 정보, 마이크로폰(13)의 탭 시에 마이크로폰(13)이 발신하는 정보 등, 복수의 종류가 있다. 각각의 종류에 따른 트리거 조작의 종류가 여기에서는 검출된다. 예를 들어, 우근접 센서(11R)의 센싱 정보에는 오른손을 대는 트리거 조작, 좌근접 센서(11L)의 센싱 정보에는 왼손을 대는 트리거 조작, 양쪽의 근접 센서의 센싱 정보에는 양손을 대는 트리거 조작, 마이크로폰(13)의 탭 시에 마이크로폰(13)이 발신하는 정보에는 탭하는 트리거 조작이 검출된다.
이어서, 제1 센서 정보가 계속해서 검출되고 있는지 여부가 판정된다(ST102). 이 판정은, 조작 입력 신호 생성부(34)가 행한다. 예를 들어, ST100에서 우근접 센서(11R)가 센싱 정보를 송신한 경우, 그 센싱 정보가 계속해서 입력되고 있는지 여부를 판정한다. 조작 입력 신호 생성부(34)는, 소정의 역치를 초과하여 센싱 정보가 계속해서 입력되고 있는지 여부를 판정하여, 트리거 조작의 계속성이 있는지 여부를 판정한다.
소정 시간 내에 제1 센서 정보의 입력이 상승 및 하강한 경우, 트리거 조작의 계속성은 없다고 판단된다(ST102, "아니오"). 이어서, 정보 처리부(31)는 제스처 조작 검출에 사용할 센서를 기동한다(ST103). 본 실시 형태에 있어서는, 움직임 센서(12)를 기동한다. 제스처 조작 검출에 사용할 센서의 기동 후의 정보 처리 장치(1)의 동작 모드를 통상 동작 모드(제2 전력 소비 모드)라고 칭하고, 전력 절약 모드로부터 통상 동작 모드로의 전환이라고 해도 된다. 정보 처리부(31)가 이 전환을 실행하는 것으로 해도 된다.
이어서, 제스처 인식부(33)는, 타임 아웃으로 되는 소정 시간까지의 동안, 입력될 가능성이 있는 제2 센서 정보를 준비하고 기다린다(ST104). 소정 시간 내에 움직임 센서(12)의 센싱 정보(제2 센서 정보의 일례)로부터, 유저의 제스처 조작이 인식되지 않은 경우(ST104, "아니오"), 처리는 종료한다.
소정 시간 내에 움직임 센서(12)의 센싱 정보(제2 센서 정보의 일례)로부터, 유저의 제스처 조작이 인식된 경우(ST104, "예"), 조작 입력 신호 생성부(34)는 ST101 이래 기억 중인 트리거 조작의 종류와, ST104에서 인식한 제스처 조작의 조합에 따라, ST104에서 인식한 제스처 조작으로 유저가 하려고 하는 조작 입력이 무엇인지를 해석한다(ST105).
ST105의 처리에 의해, 도 1을 참조하면서 설명한 바와 같이, 동일한 제스처 조작이 「줌 인」이라는 커맨드(조작 입력의 일례)로 되거나, 「음량을 낮춘다」라는 커맨드(조작 입력의 일례)로 되거나, 「앞 페이지로 되돌아간다」라는 커맨드(조작 입력의 일례)로 되거나 한다.
이어서, 정보 처리부(31) 혹은 휴대 단말기(3)가, ST105에서 해석한 조작 입력을 실행한다(ST106). 조작 입력의 내용에 따라서는, 헤드폰(2) 또는 정보 처리 장치(1) 전체가 실행해도 된다.
ST104의 타임 아웃에 대하여 도 8을 참조하여 설명한다. 도 8의 타이밍 차트에 있어서, 각 센서 정보의 상단은 센서 정보의 입력 있음, 하단은 센서 정보의 입력 없음을 나타낸다. 횡축은 시간이다.
도 8의 (a)에 도시하는 바와 같이, 제1 센서 정보의 입력이 존재하여, 트리거 조작이 검출되면, 제스처 인식부(33)는 타임 아웃까지의 소정 시간을 설정한다. 도 8 내에서는, 소정 시간의 기점이, 제1 센서 정보의 검출 종료의 시점에 맞추어져 있지만, 검출 개시의 시점에 맞추어져도 된다.
도 8의 (b)에 도시하는 바와 같이, 소정 시간 내에 제2 센서 정보의 입력이 없는 경우, 제스처 인식부(33)는, 제스처 조작이나 유저의 조작 입력이 없다고 판단한다. 따라서, 트리거 조작이 유저의 의도하지 않은 것인 경우라도, 정보 처리 장치(1)에 의한 오입력을 억제할 수 있다.
또한, 도 8 중, 파선으로 나타나 있는 바와 같이, 제2 센서 정보의 입력 유무는 트리거 조작의 검출로부터 소정 시간 내에만 판단된다. 따라서, 유저는 조작 입력을 행할 때, 명시적으로 트리거 조작을 행하고 나서 제스처 조작을 행할 필요가 있다. 이 구성에 의해서도 정보 처리 장치(1)에 의한 오입력을 억제할 수 있다.
또한, 제2 센서 정보의 입력이 존재하는 경우(도 8의 (a))라도, 이것이 제스처 조작인지 여부의 인식이 제스처 인식부(33)에 의해 이루어진다.
ST102에서 트리거 조작의 계속성이 있다고 판단된 경우의 처리의 상세에 대하여, 도 7을 참조하여 설명한다. 이 경우의 처리에서 도 6과 동등한 처리에 대해서는, 동일한 부호를 붙여, 설명을 생략한다.
도 7에 도시하는 바와 같이, ST106에서의 조작 입력의 실행은, 트리거 조작이 종료될 때까지(ST107, "예"), 계속된다. 예를 들어, 트리거 조작이 우근접 센서(11R)의 반응을 수반하는 오른손을 대는 조작이었다고 하면, 오른손이 대어지는 동안, 트리거 조작의 종류와 제스처 조작의 조합에 따라 해석된 조작 입력을 계속한다.
트리거 조작의 계속성에 대하여 도 9를 참조하여 설명한다. 도 9의 타이밍 차트는 도 8의 타이밍 차트와 동일하며, 각 센서 정보의 상단은 센서 정보의 입력 있음, 하단은 센서 정보의 입력 없음을 나타낸다. 횡축은 시간이다.
도 6의 ST102에 있어서의 트리거 조작의 계속성 판단은, 도 9 중에 도시하는 소정의 역치를 사용하여 판단된다. 조작 입력 신호 생성부(34)는, 제1 센서 정보의 입력이 상승한 시점을 기점으로 하여, 트리거 조작의 계속성을 판단하는 소정의 역치를 초과하여, 제1 센서 정보의 입력이 계속되는지 여부를 기준으로 하여 트리거 조작의 계속성을 판단한다. 도 9의 (a)와 같이 초과하지 않는 경우에는, 트리거 조작이 단발적 트리거 조작이라고 판단한다. 도 9의 (b)나 (c)와 같이 초과하는 경우에는, 트리거 조작이 계속성이 있는 트리거 조작, 연속적 트리거 조작이라고 판단한다.
제1 센서 정보를 출력하는 센서 디바이스가 동일해도, 트리거 조작의 계속성 유무에 따라, 제1 센서 정보의 종류는 상이한 것으로 취급한다. 예를 들어, 동일한 우근접 센서(11R)가 출력하는 센서 정보라도, 단발적 트리거 조작과, 연속적 트리거 조작에서는 상이한 종류의 센서 정보로서 취급한다.
그 때문에, 도 6 또는 도 7의 ST105에 있어서의 조작 입력의 해석(처리 커맨드의 결정)에 있어서는, 동일한 제스처 조작에 대하여, 단발적 트리거 조작과, 연속적 트리거 조작에서는 상이한 조작 입력의 해석을 할당할 수 있다.
이상에서, 동일한 제스처 입력에 대하여, 트리거 조작을 검출하는 디바이스별로, 또는 그들 디바이스의 조합별로 상이한 종류의 조작 입력을 행하는 방법을 설명하였다. 또한, 트리거 조작에 대해서도 단발적 트리거 조작과 연속적 트리거 조작으로 조작 입력을 상이하게 하는 방법도 설명하였다. 이어서, 연속적 트리거 조작을 사용하여, 조작 입력에 연속값을 포함시키는 방법에 대하여, 이하, 설명한다.
음악 플레이어를 애플리케이션으로 하는 경우, 이상에 설명한 조작 입력만으로는 음악 플레이어에 요구되는 유저 인터페이스 모두를 커버할 수는 없다. 예를 들어, 볼륨의 조정, 앨범 재생, 연속된 곡의 스킵, 셔플 재생의 전환 등, 다양한 조작이 필요하게 된다. 또한, 볼륨의 조정은 연속값을 지정할 수 있는 것이 바람직하다.
버튼 조작만으로는, 예를 들어 버튼 길게 누름에 의해 연속값의 지정이 가능하게는 되지만, 웨어러블 디바이스와 같이 입력에 이용할 수 있는 휴먼 인터페이스에 제약이 있는 경우, 문제가 된다. 버튼을 갖지 않는 웨어러블 디바이스의 경우, 제스처 조작으로 입력하는 것이 고려되지만, 제스처 조작으로 연속값을 지정하기는 어렵다. 이것은, 유저에 따라 자연스러운 감각이 상이한 것에 기인한다.
그래서 본 실시 형태에서는, 연속값을 필요로 하는 조작 입력에 있어서, 연속적 트리거 조작을 검출한 경우, 검출한 그 연속적 트리거 조작의 시간의 길이에 따른 값을, 그 연속값으로서 사용한다. 연속적 트리거 조작의 시간의 길이는, 이하에 설명하는 바와 같이 추출한다.
도 9의 (b) 및 (c)를 참조한다. 연속적 트리거 조작의 시간의 길이의 종기, 종점은, 연속적 트리거 조작이 종료된 시점으로 하면 된다. 즉, 제1 센서 정보의 입력이 끊어진 시점 등에 설정한다. 예를 들어, 손을 대서 근접 센서를 반응시킨 후에 끄덕이는 등의 제스처 조작을 하는 경우, 손을 계속해서 대는 것을 멈춘 시점이 연속적 트리거 조작의 종료 시점으로 된다.
연속적 트리거 조작의 시간의 길이의 기점에 대해서는, 한정되는 것은 아니지만, 예를 들어 제1 센서 정보의 입력이 개시되었을 때, 트리거 조작에 계속성이 있다고 판단된 시점, 제스처 조작이 인식된 시점, 이상의 3개의 패턴이 있다. 어느 패턴을 선택해도 된다.
조작 입력 신호 생성부(34)는, 해석한 조작 입력에 기초하여 커맨드를 생성하여, 후단의 처리 블록으로 전달하지만, 상술한 바와 같은 방법으로 연속적 트리거 조작으로부터 연속값을 추출한 경우, 당해 연속값 또는 이에 따른 값을 인수로 한 커맨드를 생성한다. 연속값에 따른 값이란, 예를 들어 비례 관계에 있는 값, 어떠한 기준에 의해 양자화된 값, 소정의 함수(예를 들어, 시그모이드 함수 등)에 의해 산출되는 값 등이 있다. 조작 입력하는 대상에 맞추어, 연속값에 따른 값을 도출하는 방법은 원하는 것을 선택할 수 있다.
<4. 마무리>
상술한 실시 형태는 유저에게 부담을 주지 않고 복잡한 조작 입력을 가능하게 하는 데 주목적이 있다. 웨어러블 디바이스는 가벼움이나 소형화가 추구되기 때문에 탑재 가능한 휴먼 인터페이스도 버튼 정도의 것으로 되는 경우가 있다. 그러나, 버튼만으로는 복잡한 조작이 불가능하다.
그래서 예를 들어, 근접 센서의 센싱을 버튼의 누름 검지의 대체로 이용하는 것이 고려되지만, 이 경우에는 유저의 의도하지 않은 입력이 늘어날 가능성이 있다. 정전 스위치를 사용한 터치 디바이스에는 어느 정도의 면적을 가진 영역이 필요하여, 웨어러블 디바이스의 휴먼 인터페이스로서 중요한 소형화가 불가능해질 우려가 있다.
종래의 특허문헌 1에서는, 소위 「터치 제스처」를 조작 입력에 사용하고 있지만, 유저를 기억할 수 있는 「터치 제스처」의 종류에는 한계가 있으며, 조작 입력의 베리에이션도 늘리기 어렵다는 문제점이 있었다. 이러한 종래 기술의 과제가 있었던바, 이상에 설명한 본 실시 형태에 따르면, 제스처 조작 하나당 조작 입력이 하나로 제한되지 않고, 복수의 조작이 가능하게 된다. 즉, 본 실시 형태에 따르면 유저에게 부담을 주지 않고 조작 입력을 다양화시킬 수 있다.
또한, 도 8을 참조하여 설명한 바와 같이, 타임 아웃까지의 시간까지 제스처 인식이 없는 경우는, 조작 입력에 관한 처리 커맨드를 결정하지 않는 본 실시 형태의 구성에 따르면, 의도하지 않게 트리거가 발화되어 버리는 경우라도, 유저의 의도하지 않은 입력을 방지할 수 있어, 잘못된 조작 입력이 행해지지 않는다.
또한, 본 실시 형태에 있어서는, 상기 제1 센서 정보가 입력되었을 때, 상기 제1 센서 정보가 계속해서 입력되고 있는 시간의 길이가 소정의 역치보다 짧은 경우에 단발적 트리거 조작, 긴 경우에 연속적 트리거 조작을 검출한다. 그리고, 검출한 상기 단발적 트리거 조작 또는 상기 연속적 트리거 조작과, 인식한 상기 제스처 조작의 조합에 따라, 상기 조작 입력을 해석한다. 그 때문에, 트리거 조작 하나당 단발적 트리거 조작과 연속적 트리거 조작의 2종류를 설정할 수 있어, 조작 입력의 베리에이션이 넓어진다.
또한, 본 실시 형태에 있어서는, 상기 연속적 트리거 조작을 검출한 경우, 상기 조작 입력에 의해 입력되는 정보에, 검출한 상기 연속적 트리거 조작의 시간의 길이에 따른 값을 포함시킨다. 이에 의해, 각 개인에 따라 각각 상이한 제스처 조작의, 개인차를 흡수하여 로버스트하게 인식시키면서, 손을 대어 근접 센서를 반응시키는 상태로부터, 손을 떼어 반응을 멈춘다고 하는 간단한 조작으로, 연속값을 이용하는 조작 입력을 행하는 것이 가능하게 된다.
<5. 변형예>
또한, 본 실시 형태는, 이하에 설명하는 바와 같이 변형되어 실시가 가능하다.
예를 들어, 웨어러블 디바이스로서 상기 실시 형태에서는 헤드폰(2)을 나타내었지만, 이것에 한정되지 않는다. 예를 들어, 웨어러블 디바이스의 다른 예로서는, 헤드셋이나 어깨에 올리는 넥 밴드 타입의 단말기가 있다. 상술한 실시 형태는 이러한 기기로 변형되어 실시 가능하다.
또한, 상기 실시 형태에서는, 헤드 마운트 디스플레이에 적용하는 것도 가능하다. 도 10은, 본 기술을 헤드 마운트 디스플레이에 대하여 실시한 경우의 변형 실시 형태에 있어서의 정보 처리 장치(1)의 외관 구성예를 도시하는 도면이다.
도 10에 도시하는 바와 같이, 본 변형예에 있어서는 유저의 신체에 장착 가능하게 구성된 하우징(20)으로서, 안경형 헤드 마운트 디스플레이(2a)가 채용된다. 안경형 헤드 마운트 디스플레이(2a)는, 정전 방식의 터치 디바이스(14)를 구비한다.
터치 디바이스(14)의 설치 위치에 한정은 없지만, 안경형 헤드 마운트 디스플레이(2a)가 유저에게 장착되었을 때, 유저의 손에 의한 조작을 검출 가능한 위치여도 된다. 예를 들어, 도 10에 도시하는 바와 같이 안경형 헤드 마운트 디스플레이(2a)를 장착한 유저의 관자놀이의 부근에 터치 디바이스(14)가 배치되도록 구성한다.
터치 디바이스(14)는, 도 2에서 도시한 구성예에 있어서 우근접 센서(11R)와 좌근접 센서(11L)가 제공하는 기능과 유사한 기능을 본 변형예에 있어서 제공한다. 즉, 터치 디바이스(14)는, 트리거 조작 검출에 필요한 제1 센서 정보를 센싱에 의해 생성하여, 정보 처리 장치(1)에 입력한다.
터치 디바이스(14)는, 유저의 손가락 접촉의 검출이, 싱글 포인트뿐만 아니라 멀티 포인트에서 가능한 타입이어도 된다. 멀티 포인트 타입은, 1 이상의 접촉점을 감지 가능한 터치 디바이스(14)이다. 이 경우, 예를 들어 손가락 1개로 터치한 경우와, 손가락 2개로 터치한 경우에, 상이한 트리거 조작으로 할 수 있다. 그 밖에도, 터치 디바이스(14)가 감지한 접촉점의 수에 따라, 트리거 검출부(32)가 상이한 종류의 트리거 조작을 검출하도록 구성해도 된다.
터치 디바이스(14)의 배치 개소는, 관자놀이의 부근에 한정되지 않고, 유저의 손에 의한 조작이 검출 가능하게 되도록, 유저의 손이 물리적으로 닿는 범위 내이면 된다. 또한, 터치 디바이스(14)는, 하우징(20)을 장착하고 있는 상태의 유저의 시야 밖에 배치되어도 된다. 하우징(20)을 장착하고 있는 상태의 유저가 직접 시인할 수 없는 장소에 터치 디바이스(14)가 배치되어도, 본 기술이 적용된 본 변형예에 따르면, 시각에 의존하지 않고 유저의 트리거 조작, 제스처 조작으로 정보 처리 장치(1)에 대한 조작 입력이 가능하게 된다.
헤드 마운트 디스플레이에 있어서는, 가상 현실 콘텐츠 시청 중이라도, 유저가 시스템에 어떠한 입력을 행하고자 하는 요구가 있다. 리모컨을 사용하지 않고 입력을 행하는 경우, 본 변형예와 같이, 안경형 헤드 마운트 디스플레이(2a)의 일부(터치 디바이스(14))를 탭하고, 그 후 제스처 조작을 행함으로써, 유저가 시스템에 입력을 행하는 것이 가능하게 된다. 또한, 안경형 헤드 마운트 디스플레이(2a)는 투과형 디스플레이를 가져도 되고, 비투과형 디스플레이를 가져도 된다.
<6. 부기>
본 명세서에 개시되는 기술적 사상의 일부는, 하기 (1) 내지 (11)과 같이 기재될 수 있다.
(1) 제1 센서 정보의 종류에 따른 트리거 조작을 검출하고, 조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하고, 검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 제어부
를 구비하는 정보 처리 장치.
(2) 상기 (1)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 트리거 조작의 검출 후, 소정 시간 내에 입력되는 상기 제2 센서 정보에 기초하여, 상기 제스처 조작의 인식을 하는
정보 처리 장치.
(3) 상기 (1) 또는 (2)에 기재된 정보 처리 장치이며,
상기 제어부는,
상기 제1 센서 정보가 입력되었을 때, 상기 제1 센서 정보가 계속해서 입력되고 있는 시간의 길이가 소정의 역치보다 짧은 경우에 단발적 트리거 조작, 긴 경우에 연속적 트리거 조작을 검출하고,
검출한 상기 단발적 트리거 조작 또는 상기 연속적 트리거 조작과, 인식한 상기 제스처 조작의 조합에 따라, 상기 조작 입력을 결정하는
정보 처리 장치.
(4) 상기 (3)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 연속적 트리거 조작을 검출한 경우, 상기 조작 입력에 의해 입력되는 정보에, 검출한 상기 연속적 트리거 조작의 시간의 길이에 따른 값을 포함시키는
정보 처리 장치.
(5) 상기 (4)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 종점을, 상기 제1 센서 정보의 입력이 끝난 시점으로 하는
정보 처리 장치.
(6) 상기 (4) 또는 (5)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제1 센서 정보의 입력이 개시된 시점으로 하는
정보 처리 장치.
(7) 상기 (4) 또는 (5)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 연속적 트리거 조작이 검출된 시점으로 하는
정보 처리 장치.
(8) 상기 (4) 또는 (5)에 기재된 정보 처리 장치이며,
상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제스처 조작이 인식된 시점으로 하는
정보 처리 장치.
(9) 상기 (1) 내지 (8) 중 어느 것에 기재된 정보 처리 장치이며,
상기 제1 센서 정보를 출력하는 센서는 유저의 신체에 장착 가능하게 구성된 하우징에 설치되어 있고,
상기 센서는, 상기 유저의 손에 의한 조작을 검출 가능한 위치에 설치되는
정보 처리 장치.
(10) 상기 (9)에 기재된 정보 처리 장치이며,
상기 센서가 설치되는 상기 위치는, 상기 하우징을 장착한 상태에 있어서의 상기 유저의 시야 밖으로 되는 위치인
정보 처리 장치.
(11) 상기 (9) 또는 (10) 중 어느 것에 기재된 정보 처리 장치이며,
상기 제1 센서 정보는, 1개소 이상의 접촉점을 감지 가능한 터치 센서의 감지 정보이고,
상기 제어부는, 상기 터치 센서가 감지한 접촉점의 수에 따른 상기 트리거 조작을 검출하는
정보 처리 장치.
(12) 상기 (1) 내지 (11) 중 어느 것에 기재된 정보 처리 장치이며,
상기 정보 처리 장치는, 상기 정보 처리 장치의 전력 소비 모드로서 제1 전력 모드와 제2 전력 모드를 갖고,
상기 제어부는, 상기 정보 처리 장치가 상기 제1 전력 모드에 있을 때 상기 트리거 조작을 검출하면, 상기 정보 처리 장치의 전력 소비 모드를 상기 제2 전력 모드로 전환하고,
상기 제1 전력 모드는, 상기 제2 전력 모드보다 전력 소비량이 적은
정보 처리 장치.
(13) 제1 센서 정보의 종류에 따른 트리거 조작을 검출하고,
조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하고,
검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는
정보 처리 방법.
(14) 컴퓨터에,
제1 센서 정보의 종류에 따른 트리거 조작을 검출하는 스텝과,
조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하는 스텝과,
검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 스텝
을 실행시키는 프로그램.
1: 정보 처리 장치
2: 헤드폰
2a: 안경형 헤드 마운트 디스플레이
3: 휴대 단말기
11R: 우근접 센서
11L: 좌근접 센서
12: 움직임 센서
13: 마이크로폰
14: 터치 디바이스
19: 무선 통신부
20: 하우징
21, 22: RAM
31: 정보 처리부(SoC/CPU)
32: 트리거 검출부
33: 제스처 인식부
34: 조작 입력 신호 생성부
38: CPU
39: 무선 통신부

Claims (14)

  1. 제1 센서 정보의 종류에 따른 트리거 조작을 검출하고, 조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하고, 검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 제어부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 트리거 조작의 검출 후, 소정 시간 내에 입력되는 상기 제2 센서 정보에 기초하여, 상기 제스처 조작의 인식을 하는,
    정보 처리 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제1 센서 정보가 입력되었을 때, 상기 제1 센서 정보가 계속해서 입력되고 있는 시간의 길이가 소정의 역치보다 짧은 경우에 단발적 트리거 조작, 긴 경우에 연속적 트리거 조작을 검출하고,
    검출한 상기 단발적 트리거 조작 또는 상기 연속적 트리거 조작과, 인식한 상기 제스처 조작의 조합에 따라, 상기 조작 입력을 결정하는,
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 연속적 트리거 조작을 검출한 경우, 상기 조작 입력에 의해 입력되는 정보에, 검출한 상기 연속적 트리거 조작의 시간의 길이에 따른 값을 포함시키는,
    정보 처리 장치.
  5. 제4항에 있어서,
    상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 종점을, 상기 제1 센서 정보의 입력이 끝난 시점으로 하는,
    정보 처리 장치.
  6. 제4항에 있어서,
    상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제1 센서 정보의 입력이 개시된 시점으로 하는,
    정보 처리 장치.
  7. 제4항에 있어서,
    상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 연속적 트리거 조작이 검출된 시점으로 하는,
    정보 처리 장치.
  8. 제4항에 있어서,
    상기 제어부는, 상기 연속적 트리거 조작의 시간의 길이의 기점을, 상기 제스처 조작이 인식된 시점으로 하는,
    정보 처리 장치.
  9. 제1항에 있어서,
    상기 제1 센서 정보를 출력하는 센서는 유저의 신체에 장착 가능하게 구성된 하우징에 설치되어 있고,
    상기 센서는, 상기 유저의 손에 의한 조작을 검출 가능한 위치에 설치되는,
    정보 처리 장치.
  10. 제9항에 있어서,
    상기 센서가 설치되는 상기 위치는, 상기 하우징을 장착한 상태에 있어서의 상기 유저의 시야 밖으로 되는 위치인,
    정보 처리 장치.
  11. 제9항에 있어서,
    상기 제1 센서 정보는, 1개소 이상의 접촉점을 감지 가능한 터치 센서의 감지 정보이고,
    상기 제어부는, 상기 터치 센서가 감지한 접촉점의 수에 따른 상기 트리거 조작을 검출하는,
    정보 처리 장치.
  12. 제1항에 있어서,
    상기 정보 처리 장치는, 상기 정보 처리 장치의 전력 소비 모드로서 제1 전력 모드와 제2 전력 모드를 갖고,
    상기 제어부는, 상기 정보 처리 장치가 상기 제1 전력 모드에 있을 때 상기 트리거 조작을 검출하면, 상기 정보 처리 장치의 전력 소비 모드를 상기 제2 전력 모드로 전환하고,
    상기 제1 전력 모드는, 상기 제2 전력 모드보다 전력 소비량이 적은,
    정보 처리 장치.
  13. 제1 센서 정보의 종류에 따른 트리거 조작을 검출하고,
    조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하고,
    검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는,
    정보 처리 방법.
  14. 컴퓨터에,
    제1 센서 정보의 종류에 따른 트리거 조작을 검출하는 스텝과,
    조작 입력으로서 유저에 의해 행해지는 제스처 조작을 제2 센서 정보에 기초하여 인식하는 스텝과,
    검출한 상기 트리거 조작과 인식한 상기 제스처 조작의 조합에 기초하여, 상기 조작 입력을 결정하는 스텝
    을 실행시키는, 프로그램.
KR1020197010728A 2016-10-25 2017-10-13 정보 처리 장치, 방법 및 프로그램 KR20190068543A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016208919 2016-10-25
JPJP-P-2016-208919 2016-10-25
PCT/JP2017/037127 WO2018079301A1 (ja) 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20190068543A true KR20190068543A (ko) 2019-06-18

Family

ID=62024813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010728A KR20190068543A (ko) 2016-10-25 2017-10-13 정보 처리 장치, 방법 및 프로그램

Country Status (6)

Country Link
US (2) US10712831B2 (ko)
JP (1) JP7135859B2 (ko)
KR (1) KR20190068543A (ko)
CN (1) CN109891364B (ko)
DE (1) DE112017005377T5 (ko)
WO (1) WO2018079301A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750681A1 (en) 2019-06-11 2020-12-16 Shin Young Co., Ltd. Reinforcing member

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484524A (zh) * 2021-06-16 2022-12-16 开酷科技股份有限公司 具有手势辨识功能的耳机装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018432A (ja) 2014-07-09 2016-02-01 ローム株式会社 ユーザインタフェイス装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8418993B2 (en) * 2010-02-02 2013-04-16 Chung-Chia Chen System and method of touch free automatic faucet
JP5379036B2 (ja) * 2010-02-09 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、その制御方法、プログラム、及び情報記憶媒体
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
JP2011227638A (ja) 2010-04-19 2011-11-10 Panasonic Corp 手書き入力装置、手書き入力方法及び手書き入力プログラム
DE102011090162B4 (de) * 2011-12-30 2022-05-05 Robert Bosch Gmbh Alarmvorrichtung für ein Pilotenheadset
EP2821888B1 (en) * 2013-07-01 2019-06-12 BlackBerry Limited Gesture detection using ambient light sensors
US20160299570A1 (en) * 2013-10-24 2016-10-13 Apple Inc. Wristband device input using wrist movement
JP2016149587A (ja) 2015-02-10 2016-08-18 セイコーエプソン株式会社 ヘッドマウントディスプレイ、およびその制御方法と制御プログラム
JP2016139174A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム
JP5981591B1 (ja) 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018432A (ja) 2014-07-09 2016-02-01 ローム株式会社 ユーザインタフェイス装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750681A1 (en) 2019-06-11 2020-12-16 Shin Young Co., Ltd. Reinforcing member

Also Published As

Publication number Publication date
CN109891364B (zh) 2022-05-03
DE112017005377T5 (de) 2019-08-01
JP7135859B2 (ja) 2022-09-13
US20190204933A1 (en) 2019-07-04
US20200341557A1 (en) 2020-10-29
JPWO2018079301A1 (ja) 2019-09-12
WO2018079301A1 (ja) 2018-05-03
US10712831B2 (en) 2020-07-14
CN109891364A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
EP3089018B1 (en) Method, apparatus, and device for information processing
US20190204929A1 (en) Devices and methods for dynamic association of user input with mobile device actions
JP5610644B2 (ja) 入力装置、入力支援方法及びプログラム
US20090225043A1 (en) Touch Feedback With Hover
US20100245277A1 (en) Input device of portable electronic equipment, and portable electronic equipment
TW201145146A (en) Handling tactile inputs
TWI659353B (zh) 電子設備以及電子設備的工作方法
JP5461735B2 (ja) 入力装置、入力支援方法及びプログラム
TWI520045B (zh) 觸控裝置及判斷虛擬鍵盤按鍵之方法
WO2012111227A1 (ja) タッチ式入力装置、電子機器および入力方法
US20200341557A1 (en) Information processing apparatus, method, and program
KR20200095972A (ko) 버튼 입력에 기능을 맵핑하기 위한 전자 장치 및 방법
JP6304232B2 (ja) 携帯電子機器、その制御方法及びプログラム
CN111580656A (zh) 可穿戴设备及其控制方法、装置
EP2990914A1 (en) User interaction with an apparatus using a location sensor and microphone signal(s)
WO2012159323A1 (zh) 用电容屏手写笔模拟左右键输入的方法、电容屏手写笔及终端
Kim et al. Mo-Bi: Contextual mobile interfaces through bimanual posture sensing with Wrist-Worn devices
US9851801B1 (en) Dual touchpad system
KR100997840B1 (ko) 손가락을 접촉하여 조작이 가능한 인터페이스 장치
KR102197912B1 (ko) 제스처 인식에 따른 기능 실행 방법, 장치 및 기록매체
KR101313537B1 (ko) 한 손으로 컴퓨터를 조작하기 위한 장치
CN116243794A (zh) 智能眼镜及其人机交互方法、计算机可读存储介质
KR20090103068A (ko) 터치 입력 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체
TWI352930B (ko)
KR20200047135A (ko) 사용자 단말기, 한 손 입력에 의한 동작을 수행하는 방법 및 기록 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right