KR20150145709A - 사용자에 의해 장치를 제어하기 위한 장치 및 방법 - Google Patents

사용자에 의해 장치를 제어하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20150145709A
KR20150145709A KR1020150086035A KR20150086035A KR20150145709A KR 20150145709 A KR20150145709 A KR 20150145709A KR 1020150086035 A KR1020150086035 A KR 1020150086035A KR 20150086035 A KR20150086035 A KR 20150086035A KR 20150145709 A KR20150145709 A KR 20150145709A
Authority
KR
South Korea
Prior art keywords
event
user
devices
detection unit
text
Prior art date
Application number
KR1020150086035A
Other languages
English (en)
Other versions
KR102504164B1 (ko
Inventor
뱅쌍 알롬므
까롤린 바야르
삐에릭 주에
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150145709A publication Critical patent/KR20150145709A/ko
Application granted granted Critical
Publication of KR102504164B1 publication Critical patent/KR102504164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)

Abstract

사용자에 의해 장치를 제어하기 위한 장치 및 방법이 제안된다. 제안된 장치는 상기 장치를 포함하는 복수의 디바이스들에 관하여 사용자에 의해 실행되는 제1 이벤트를 검출하기 위한 검출 유닛, 검출 유닛에 의해 검출되는 제1 이벤트에 따라 제2 이벤트를 생성하기 위한 제어 유닛, 제2 이벤트를 사용자에게 표시하기 위한 출력 유닛을 포함하고, 제어 유닛은 검출 유닛에 의해 검출되는 제2 이벤트에 대한 사용자의 응답의 함수로서 제1 이벤트를 장치 상에 실행시키기 위한 명령을 생성한다. 제안된 장치 및 방법은, 사용자로부터의 제1 이벤트에 대응하는 명령을 실행하기 전에, 사용자가 제1 이벤트의 의도를 확인하도록 제2 이벤트를 제공하는 데 적합하다.

Description

사용자에 의해 장치를 제어하기 위한 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING THE APPARATUS BY A USER}
본 개시는 일반적으로 HMI(human-machine interface)에 관한 것이다. 특히, 본 개시는 장치 및 사용자에 의해 그 장치를 제어하기 위한 방법에 관한 것이다.
이 섹션은 이하에 설명되고 및/또는 청구되는 본 개시의 다양한 양태들에 관한 것일 수 있는 해당 분야의 다양한 양태들을 독자에게 소개하는 것으로 의도된다. 이 논의는 본 개시의 다양한 양태들의 더 나은 이해를 도모하기 위한 배경 정보를 독자에게 제공하는 데 유익할 것이라고 이해된다. 그에 따라, 이러한 서술들은 기존 기술의 인정으로서가 아니라, 이러한 견지에서 읽혀져야 한다는 것이 이해되어야 한다.
HMI(human-machine interface) 분야에서, 동작 인식(gesture recognition) 및/또는 음성 인식 프로세스에 기초하는 시스템들은 최근에 홈 콘솔들(home consoles)을 이용하는 비디오 게임 애플리케이션 및 스마트폰 상의 네비게이션 서비스들 각각에서 일부 바람직한 사용 경우들을 보여준다. 예를 들어, 새로운 마이크로소프트 콘솔 엑스박스 원(XBOX One)은 완전히 스위치 오프되지 않고, 간단한 음성 스위치-온 명령("엑스박스 온" 문장에 의함)을 통한 활성화를 기다릴 것이다.
언급된 트렌드에 따라, 사람들은 가까운 미래에 동일한 위치(가정, 대중교통 등)에서 다수의 디바이스들이 말하기 또는 동작들로부터 오디오 또는 이미징 센서를 통해 명령들을 받을 수 있다는 것을 용이하게 상상할 수 있다. 가정에서 예를 들면, 동일한 타입 및 가까운 근처에서 동작하는 그러한 역량들을 갖는 하나 이상의 제품을 갖는 것이 흔한 경우가 될 수 있다. 엑스박스 원을 다시 예로 들면, 가까운 영역에 2개의 유사한 콘솔들을 갖는 것이 선택 가능하다.
방안의 사용자와 (예를 들어, 동일한 방에서) 그의 디바이스들 중 하나 간의 통상적인 오디오/비디오 상호작용 시퀀스의 경우에서, 다음 기능들 또는 시나리오가 요구되거나, 또는 간주될 수 있다.
(1) 사용자는 음성 또는 동작에 의해 그의 가까운 디바이스들 중 하나와 상호작용하기 원한다.
(2) 사용자는 예상되는 디바이스에 상호작용(예를 들어, 디바이스의 셋업 메뉴 호출, 미디어 선택, 등)을 개시하도록 되어있는 명령(말하기 또는 동작)을 실행하고;
(3) 사용자로부터의 트리거링 명령은 동작을 명확화하지 않고 하나를 초과하는 디바이스와 상호작용을 개시하여, 충돌 및 예기치 않은 상황(예를 들어, 2개의 가까운 엑스박스 원이 동일한 말하기 명령을 캡쳐링하여 스위치온 될 수 있음)을 초래할 수 있다.
상호작용을 위한 트리거링 이벤트, 즉, 특정 동작 또는 특정 음성 명령의 검출은 컨텍스트를 이용하는 디바이스 중에서 의도치않게 실행될 수 있다. 그러나, 원하지 않았다면 그것은 그러한 상호작용 세션의 실제 개시를 초래해서는 안 된다. 여기서 일부 이중 확인 절차가 예상된다.
간략하게, 동작 인식 및/또는 음성 인식에 기초한 인간-기계 상호작용에서,가끔 제한된 영역에서 제어되는 몇몇 디바이스들이 있다. 어떤 디바이스가 제어되어야 하는지를 결정하는 데 어려움이 있을 수 있기 때문에 애매성 문제점이 존재한다(몇몇 디바이스들은 동시에 명령에 대응할 것이다).
따라서, 말하기/동작 제어 디바이스들이 가정에서와 같은 가까운 근처에서 동작게 하는 명확화 시스템에 대한 필요성이 존재한다.
인접성으로 인한 상기-설명된 애매성 문제점은 하나 이상의 가까운 콘솔(들)과 무선 게임 패들들을 이용하는 컨텍스트에서의 홈 엔터테인먼트에서 이미 알려지고 논의되었다. 알려진 해결책들은 초기 (원 샷) 페어링 프로세스에 의해 이 문제점을 해결하기 위해 시도하는데, 이 초기 (원 샷) 페어링 프로세스는 최종 사용자에 의해 명확하게 실시된 상호작용 페어링 프로세스를 통해 각각의 패들과 선택된 콘솔 간의 바인딩을 정의한다(PS3 및 Wii 콘솔들은 그러한 접근법을 이용하고 있는 것으로 고려됨). 그러나, 이러한 해결책들은 그렇게 자주 실시되지는 않을 것으로 예상되는데, 이들 해결책은 일반적으로 페어링 프로세스에 연관된 디바이스(들)과 사용자의 물리적인 상호작용을 요청할 것이고, 그에 따라, 최종적으로 일상적인 말하기/동작 멀티-디바이스 제어 용도로 용이하게 연장될 수 없게 된다. 또한, 몇몇의 경우에, 사용자는 제어될 디바이스와 어느 정도의 거리를 두고 떨어져 있을 수 있고, 이러한 상황에서는 종래의 버튼-기반 인터페이스가 제어를 위해 적용될 수 없다.
그 결과, 적어도 동작 인식 및/또는 음성 인식에 기초하는 시스템들에 대하여 인간-기계 인터페이스의 명확화 시스템을 향상시켜야 하는 요구가 존재한다.
본 개시는 사용자에 의해 장치를 제어하기 위한 장치 및 방법을 설명한다. 제안되는 장치 및 방법은, 사용자로부터 제1 이벤트에 대응하는 명령을 실행하기 전에, 사용자가 제1 이벤트의 의도를 확인하기 위한 제2 이벤트를 제공하는 데 적합하다. 본 발명의 실시예들은 동작 인식 및/또는 음성 인식에 기초하는 HMI를 이용하는 시스템에서 구현된다. 본 발명의 실시예들은 동작 인식 및/또는 음성 인식에 기초하는 시스템들에 대한 인간-기계 인터페이스의 명확화 시스템을 개선한다.
본 개시의 제1 양태에 따른 장치가 제안된다. 장치는, 장치를 포함하는 복수의 디바이스들에 관하여 사용자에 의해 실행되는 제1 이벤트를 검출하기 위한 검출 유닛; 검출 유닛에 의해 검출되는 제1 이벤트에 따라 제2 이벤트를 생성하기 위한 제어 유닛; 제2 이벤트를 사용자에게 제시하기 위한 출력 유닛을 포함하고, 제어 유닛은, 검출 유닛에 의해 검출된 제2 이벤트에 대한 사용자의 응답의 함수로서 제1 이벤트를 장치 상에 실행시키기 위한 명령을 생성한다.
일 실시예에서, 검출 유닛은 동작 및/또는 음성의 형태의 제1 이벤트를 검출한다.
일 실시예에서, 제1 이벤트는 장치와 사용자 간의 상호작용 세션을 개시하기 위한 트리거링 이벤트이다.
일 실시예에서, 제2 이벤트는 사용자가 상호작용 세션을 개시하기 위한 의도를 검증하기 위한 검증 이벤트이다.
일 실시예에서, 검증 이벤트는 사용자가 구두로 따라하기 위한 텍스트 메시지를 포함한다.
일 실시예에서, 검증 이벤트는 사용자에게 활동을 수행하도록 요청하는 텍스트, 이미지, 오디오 또는 비디오의 형태의 쿼리(query)를 포함한다.
일 실시예에서, 제어 유닛은 제1 이벤트를 실행하기 위해 요구되는 컴포넌트들 및 관련 디바이스들로 명령을 전송한다.
일 실시예에서, 출력 유닛은 제2 이벤트의 형태에 의해 결정되는 방식으로 제2 이벤트를 사용자에게 제시한다.
본 개시의 제2 양태에 따라, 사용자에 의해 장치를 제어하기 위한 방법이 제안된다. 방법은, 장치의 레벨에서, 장치를 포함하는 복수의 디바이스들에 관하여 사용자에 의해 실행되는 제1 이벤트를 수신하는 단계; 제2 이벤트를 트리거링 이벤트의 함수로서 생성하는 단계; 제2 이벤트를 사용자에게 제시하는 단계; 및 제2 이벤트에 대한 사용자의 응답의 함수로서 제1 이벤트에 대응하는 명령을, 복수의 디바이스들 중에서 다른 디바이스들 대신에 상기 장치 상에 실행시키는 단계를 포함한다.
일 실시예에서, 제1 이벤트는 동작 및/또는 음성의 형태이다.
일 실시예에서, 제2 이벤트는 사용자가 구두로 따라하기 위한 텍스트 메시지를 포함한다.
일 실시예에서, 제2 이벤트는 사용자에게 활동을 수행하도록 요청하는 텍스트, 이미지, 오디오 또는 비디오의 형태의 쿼리를 포함한다.
본 개시의 제3 양태에 따라, 통신 네트워크로부터 다운로드가능하고 및/또는 컴퓨터에 의해 판독가능한 매체 상에 기록되어있고 및/또는 프로세서에 의해 실행가능한 컴퓨터 프로그램 제품이 제안된다. 컴퓨터 프로그램은 본 개시의 제2 양태에 따른 방법의 단계들을 구현하기 위한 프로그램 코드 명령어들을 포함한다.
본 개시의 제4 양태에 따라, 내부에 기록되어 있고 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독가능 매체가 제안된다. 비-일시적 컴퓨터 판독가능 매체는 본 개시의 제2 양태에 따른 방법의 단계들을 구현하기 위한 프로그램 코드 명령어들을 포함한다.
본 발명의 더 많은 양태들 및 장점들이 본 발명의 다음 상세한 설명에서 발견될 수 있다는 것이 이해될 것이다.
본 발명의 실시예들의 더 나은 이해를 제공하기 위하여 실시예들의 원리를 설명하는 역할을 하는 설명과 함께 첨부 도면들이 포함된다. 본 발명은 실시예들에 제한되지 않는다.
도 1은 본 개시가 본 발명의 실시예에 따라 구현될 수 있는 예시적인 시스템을 도시한다.
도 2는 본 발명의 실시예에 따라 도 1의 시스템에서 장치의 구조를 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따라 사용자에 의해 장치를 제어하기 위한 방법을 보여주는 흐름도이다.
도 4는 음성 명령들을 통해 제어되는 미디어 디바이스의 컨텍스트에서 구현되는 본 발명의 실시예에 따른 방법의 예시적인 예를 도시한다.
본 발명의 실시예는 이제 도면들과 결합하여 상세하게 설명될 것이다. 다음 설명에서, 알려진 기능들 및 구성들의 일부 상세한 설명들은 간결성을 위해 생략될 수 있다.
도 1은 본 개시가 구현될 수 있는 예시적인 시스템(100)을 도시한다. 시스템(100)은, 마이크로소프트 콘솔 엑스박스 원, PS3 및 닌텐도 Wii 콘솔들과 같은, 동작 인식 및/또는 음성 인식 프로세스에 기초하는 임의의 종류의 HMI 시스템일 수 있다. 도 1에 도시된 바와 같이, 사용자는 음성 또는 동작에 의해 장치 1, 2, ..., 및 n 중 하나와 상호작용할 수 있다. 시스템(100)에 대한 세부사항들은 더 이상 제공되지 않을 것이다.
도 2는 본 발명의 실시예에 따른 시스템(100)에서의 장치(1)의 구조를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 장치(1)는 장치(1)에 관하여 사용자에 의해 실행되는 제1 이벤트를 검출하기 위한 검출 유닛(201)을 포함한다. 제1 이벤트는 사용자가 장치(1)와 상호작용할 수 있는 다양한 형태들에서의 동작 및/또는 음성일 수 있다. 일 실시예에서, 제1 이벤트는, 사용자와 장치(1) 간의 상호작용 세션을 개시하기 위한 특정 동작 및/또는 말하기 이벤트로서 정의되는 트리거링 이벤트일 수 있다. 검출 유닛(201)용으로 상이한 센서들 및 검출 기술들이 이용될 수 있다. 당업자에게 알려져 있고 본 개시의 범위를 넘기 때문에 추가의 세부사항들은 제공되지 않을 것이다.
장치(1)는 또한 검출 유닛(201)에 의해 검출되는 제1 이벤트에 따라 제2 이벤트를 생성하기 위한 제어 유닛(202)을 포함한다. 사용자로부터 제1 이벤트를 검출하는 도 1에 도시된 시스템(100)에서의 모든 장치는, 장치가 사용자에 의해 개시되는 상호작용의 의도를 검증하도록 의도하는 방법에 따라 각각의 제2 이벤트를 생성할 수 있다. 예를 들어, 제1 이벤트가 상호작용 세션을 개시하기 위한 트리거링 이벤트인 경우에, 제2 이벤트는 사용자가 상호작용 세션을 개시하기 위한 자신의 의도를 검증하는 검증 이벤트일 수 있다.
제2 이벤트는 다음 형태들일 수 있다.
1) 사용자가 구두로 따라하기 위한 고유 단어, 숫자 코드와 같은 텍스트 메시지; 및
2) 사용자가 동작과 같은 활동을 수행하도록 요청하는 텍스트, 이미지, 오디오 또는 비디오의 형태의 정교한 쿼리.
상기 형태 1)에 있어서, 예를 들어, 그것은 사용자가 구두로 따라하기 위한 간단한 고유 숫자일 수 있다.
상기 형태 2)에 있어서, 예를 들어, 그것은 "당신의 손으로 원을 그리시오"와 같이 사용자가 동작과 같은 활동을 수행해야 하는 텍스트 쿼리일 수 있다. 그것은 또한 "현재 제시되는 숫자를 따라하시오"와 같이 사용자가 수행해야 하는 음성 쿼리일 수 있다. 쿼리는 또한 제시되는 이미지/비디오의 형태일 수 있다. 예를 들어, 동작의 짧은 비디오/애니메이션은 사용자가 흉내내야 하는 샷(shot)일 수 있다.
다른 적합한 형태들이 또한 제2 이벤트에 적용될 수 있다는 것이 인식될 수 있다. 추가의 세부사항들은 제공되지 않을 것이다.
장치(1)는 또한 사용자에게 제2 이벤트를 제시하기 위한 출력 유닛(203)을 포함한다. 제2 이벤트는 제2 이벤트의 형태에 따라 적합한 방식으로 제시될 수 있다는 것이 이해될 것이다. 예를 들어, 제2 이벤트가 텍스트 메시지인 경우에, 제2 이벤트를 제시하기 위해 전면 패널 LCD가 이용될 수 있다. 정교한 쿼리의 형태에서의 제2 이벤트는 링크-액티브(linked-and-active) TV 세트 상에서 사용자에게 제시될 수 있다. 제2 이벤트가 오디오 쿼리인 경우에, 스피커가 필요할 수 있는데, 이 경우에, 제2 이벤트는 (만약에 존재하는 경우) 시스템(100)에서의 다른 장치와의 오버랩핑을 피하기 위하여 랜덤 지연을 갖고 제시되는 것이 바람직하다.
제2 이벤트를 제시하기 위한 디바이스는 장치(1)의 일부, 또는 장치(1)와 독립된 디바이스일 수 있다.
일 예에서, 출력 유닛(203)은 제2 이벤트를 제시하기 위한 디바이스에 관한 선호도를 사용자가 설정하게 할 수 있다. 예를 들어, 제시를 위한 LCD 전면 디스플레이 및 스피커 출력이 있는 경우에, 출력 유닛(203)은 사용자가 어느 것을 선호하는지를 설정하게 할 수 있다.
사용자는 제2 이벤트의 요구에 따라 사용자가 정말로 제어하기를 의도하는 장치로부터 제시되는 제2 이벤트에 대한 올바른 응답을 할 것이다.
제2 이벤트가, 사용자가 읽도록 요청하는 전면 패널 LCD 상에 제시되는 텍스트 메시지인 경우에, 사용자는 제시된 텍스트 단어 또는 코드를 읽음으로써 응답할 수 있다. 예를 들어, 제2 이벤트는 텍스트 메시지 "현재 제시되는 숫자: 0011을 따라하시오"일 수 있다. 그 후, 사용자는 숫자 "0011"를 읽음으로써 올바른 응답을 할 수 있다.
제2 이벤트가, 사용자가 추가 동작을 하도록 요청하는 정교한 쿼리인 경우에, 사용자는 정교한 쿼리에 의해 지시되는 추가 동작을 수행함으로써 응답할 수 있다. 예를 들어, 제2 이벤트는 텍스트 쿼리 "손으로 원을 그리시오"일 수 있다. 그러면, 사용자는 제2 이벤트에 의해 요청되는 동작을 수행함으로써 올바른 응답을 할 수 있다.
제2 이벤트가 사용자에 대한 오디오 형식의 질문인 경우에, 사용자는 오디오 쿼리에 대한 답변을 제공함으로써 응답할 수 있다.
예를 들어, 출력 유닛(203)은 응답 타입에 관한 디바이스별 선호도에 대하여 사용자가 디바이스의 상호작용 역량에 따라 이루어지게 할 수 있다. 예를 들어, 사용자는 한 경우에서는 음성 응답이 선호되고, 또는 다른 경우에서는 동작 응답이 선호되도록 설정할 수 있다.
검출 유닛(201)은 사용자로부터의 응답을 검출할 것이다. 제2 이벤트에 대한 올바른 응답의 검출시에, 제어 유닛(202)은 제1 이벤트를 실행하기 위한 명령을 생성하고, 그 명령을 시스템(100)에서의 필요한 컴포넌트들 또는 디바이스들로 전송할 것이다. 일 예에서, 제1 이벤트는 사용자와 장치(1) 간의 상호작용 세션을 개시하기 위한 트리거링 이벤트이다. 이 경우에, 검출 유닛(201)에 의하여 제2 이벤트에 대한 올바른 응답이 수신되었다면, 제어 유닛(202)은 사용자와 상호작용 세션을 개시하기 위해 장치(1)의 필요한 컴포넌트들을 스위치 온할 것이다. 상호작용 세션을 위해 요구되는 시스템(100)에서의 다른 디바이스들 또한 스위치 온되고 동작될 것이라는 것이 이해될 것이다.
제2 이벤트들에 대한 올바른 응답을 검출하지 않았거나, 또는 지연 이후에 유효하지 않은 응답을 검출했던 다른 장치, 예를 들어, 도 1에 도시된 2부터 n까지의 장치는 사용자와 상호작용 세션을 개시하지 않을 것이다.
도 3은 본 발명의 실시예에 따라 사용자에 의해 장치를 제어하기 위한 방법을 보여주는 흐름도이다.
도 3에 도시된 바와 같이, 방법은 장치에 의해 사용자로부터 제1 이벤트를 수신하는 단계(S301)을 포함한다.
단계(S302)에서, 장치는 트리거링 이벤트의 함수로서 제2 이벤트를 생성한다.
단계(S303)에서, 장치는 제2 이벤트를 사용자에게 제시한다.
단계(S304)에서, 장치는 제2 이벤트에 대한 사용자의 올바른 응답을 수신하면, 제1 이벤트에 대응하는 명령을 실행한다.
실시예들
다음으로, 도 4를 참조하여 음성 명령을 통해 제어되는 미디어 디바이스의 컨텍스트에서 본 발명의 실시예에 따른 방법의 예가 설명될 것이다.
이 예에서, 미디어 디바이스(401)는, LCD 패널 디스플레이(402) 상에 포함되고 외부 디스플레이(예를 들어, TV 세트)에 연결되어 있는(도 4에 미도시됨) 개량된 블루레이 판독기와 같은 마이크로폰이 장착된다. 이런 의미에서, 미디어 디바이스(401)는 음성 제어이다.
도 4에서의 단계(1)에서, 사용자는 미디어 디바이스(401)와 상호작용 세션을 개시하기 위한 트리거링 이벤트를 실행할 수 있다. 트리거링 이벤트는 블루레이 디바이스로부터 활성화 이벤트로 고려되는 특정 단어 또는 동작일 수 있다. 예를 들어, 트리거링 이벤트는 삽입된 디스크를 판독하는 목적을 위한 것이다.
트리거링 이벤트의 수신시에, 미디어 디바이스(401)는 사용자가 정말로 상호작용 세션을 설정하기 원하는지 여부를 확인하는 명확화 절차를 시작할 것이다.
먼저 명확화 절차는 수신된 트리거링 이벤트에 따른 특정 챌린지 쿼리(challenge query)의 생성을 포함하는데, 이것은 도 4에 단계(2)로서 도시되어 있다. 이 예에서, 챌린지 쿼리는 임의의 텍스트 코드이다.
임의의 텍스트 코드는 적합한 방식으로 사용자에게 제시된다. 구체적으로, 임의의 텍스트 코드는 디바이스 정보(예를 들어, 디바이스 닉네임, 모델 등)와 함께, TV 세트가 아직 활성화하지 않다면 LCD 패널 디스플레이(402) 상에 제시될 수 있고, 또는 그렇지않다면 TV 세트 상에 제시되거나, 또는 양자 모두에 제시될 수 있다. 도 4에 도시된 바와 같이, 임의의 텍스트 코드는 아래와 같이 제시된다:
DVD 플레이어 테크닉
세션 개시 확인
다음 코드를 따라하시오:
1456
이하에 설명된 바와 같이, 임의의 텍스트 코드는 사용자가 디바이스에 대하여 사용자가 상호작용 세션을 시작하기 원하는지를 확인하는 데 유용할 것이다.
이 예에서, 도 4에 도시된 단계(3)와 같이 챌린지 쿼리에 대한 응답으로서, 사용자는 이 미디어 디바이스(401)와 상호작용 세션을 개시하려는 의도를 확인하기 위해 제시된 코드 텍스트를 따라한다.
도 4의 단계(4)에서, 응답의 수신시에, 미디어 디바이스(401)는 트리거링 이벤트에 대응하는 명령, 즉, 상호작용 세션을 개시하기 위한 명령을 실행한다. 이 목적을 위해, 시스템의 디바이스들 또는 미디어 디바이스(401)의 일부 컴포넌트들이 관여될 필요가 있다. 예를 들어, TV 세트가 명확화 절차 동안에 LCD 패널 디스플레이(402)만을 이용하는 슬립 모드에 있다면, 아마도 TV세트는 블루레이 판독기에 의해 활성화될 필요가 있다.
본 발명의 실시예는 통신 네트워크로부터 다운로드가능하고 및/또는 컴퓨터에 의해 판독가능한 매체 상에 기록되고 및/또는 프로세서에 의해 실행가능한, 상기 설명된 방법의 단계들을 구현하는 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품을 제공한다.
본 발명의 실시예는 상기 설명된 방법의 단계들을 구현하는 프로그램 코드 명령어들을 포함하는, 내부에 기록되어 있고 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독가능 매체를 제공한다.
본 발명이 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특정 목적 프로세서들, 또는 그들의 조합에서 구현될 수 있다는 것이 이해될 것이다. 또한, 소프트웨어는 프로그램 저장 디바이스 상에 명백히 구성된 애플리케이션 프로그램으로서 바람직하게 구현된다. 애플리케이션 프로그램은 임의의 적합한 구조를 포함하는 기계에 업로드될 수 있고, 그 기계에 의해 실행될 수 있다. 바람직하게, 기계는 하나 이상의 CPU(central processing units), RAM(random access memory), 및 I/O(input/output) 인터페이스(들)과 같은 하드웨어를 포함하는 컴퓨터 플랫폼 상에 구현될 수 있다. 컴퓨터 플랫폼은 또한 운영체제 및 마이크로명령어 코드를 포함한다. 본 명세서에서 설명된 다양한 프로세스들 및 기능들은 또한 운영체제를 통해 실행되는 애플리케이션 프로그램의 일부 또는 마이크로명령어 코드의 일부(또는 그들의 상호조합)일 수 있다. 또한, 다양한 다른 주변 디바이스들은 추가 데이터 저장 디바이스 및 프린팅 디바이스와 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면들에 도시된 방법의 단계들 및 구성 시스템 컴포넌트들의 일부는 소프트웨어에서 바람직하게 구현되기 때문에, 시스템 컴포넌트들(또는 프로세스 단계들) 간의 실제 연결들은 본 발명이 프로그래밍되는 방식에 따라 상이할 수 있다. 본 명세서의 교시들을 고려하면, 당업자는 본 발명의 이러한 및 유사한 구현들 또는 구성들을 고려할 수 있을 것이다.

Claims (14)

  1. 장치(1)로서,
    상기 장치를 포함하는 복수의 디바이스들과 관련하여 사용자에 의해 실행되는 제1 이벤트를 검출하기 위한 검출 유닛(201);
    상기 검출 유닛(201)에 의해 검출되는 제1 이벤트에 따라 제2 이벤트를 생성하기 위한 제어 유닛(202);
    상기 제2 이벤트를 사용자에게 제시하기 위한 출력 유닛(203)
    을 포함하고,
    상기 제어 유닛(202)은 상기 검출 유닛(201)에 의해 검출된 상기 제2 이벤트에 대한 사용자의 응답의 함수로서 상기 제1 이벤트를 상기 장치 상에 실행시키기 위한 명령을 생성하는 장치.
  2. 제1항에 있어서,
    상기 검출 유닛(201)은 동작 및/또는 음성의 형태의 상기 제1 이벤트를 검출하는, 장치.
  3. 제1항에 있어서,
    상기 제1 이벤트는 상기 장치와 사용자 간의 상호작용 세션을 개시하기 위한 트리거링 이벤트인, 장치.
  4. 제3항에 있어서,
    상기 제2 이벤트는 사용자가 상기 상호작용 세션을 개시하기 위한 의도를 검증하기 위한 검증 이벤트인, 장치.
  5. 제4항에 있어서,
    상기 검증 이벤트는 사용자가 구두로 따라하기 위한 텍스트 메시지를 포함하는, 장치.
  6. 제4항에 있어서,
    상기 검증 이벤트는 사용자에게 활동을 수행하도록 요청하는 텍스트, 이미지, 오디오, 또는 비디오의 형태의 쿼리(query)를 포함하는, 장치.
  7. 제1항에 있어서,
    상기 제어 유닛(202)은 상기 제1 이벤트를 실행하는 데 요구되는 관련 디바이스들 및 컴포넌트들로 명령을 전송하는, 장치.
  8. 제1항에 있어서,
    상기 출력 유닛(203)은 상기 제2 이벤트의 형태에 의해 결정되는 방식으로 상기 제2 이벤트를 사용자에게 제시하는, 장치.
  9. 사용자에 의해 장치를 제어하기 위한 방법으로서,
    상기 장치의 레벨에서,
    상기 장치를 포함하는 복수의 디바이스들과 관련하여 사용자에 의해 실행되는 제1 이벤트를 수신하는 단계(S301);
    트리거링 이벤트의 함수로서 제2 이벤트를 생성하는 단계(S302);
    상기 제2 이벤트를 사용자에게 제시하는 단계(S303); 및
    상기 제2 이벤트에 대한 사용자의 응답의 함수로서, 상기 제1 이벤트에 대응하는 명령을, 복수의 디바이스들 중에서 다른 디바이스들 대신에 상기 장치 상에 실행시키는 단계(S304)
    를 포함하는 장치 제어 방법.
  10. 제9항에 있어서,
    상기 제1 이벤트는 동작 및/또는 음성의 형태인, 장치 제어 방법.
  11. 제9항에 있어서,
    상기 제2 이벤트는 사용자가 구두로 따라하기 위한 테스트 메시지를 포함하는, 장치 제어 방법.
  12. 제9항에 있어서,
    상기 제2 이벤트는 사용자에게 활동을 수행하도록 요청하는 텍스트, 이미지, 오디오, 또는 비디오의 형태의 쿼리를 포함하는, 장치 제어 방법.
  13. 제9항 내지 제12항 중 적어도 어느 한 항에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
  14. 비-일시적 컴퓨터 판독가능 매체에 저장되어 있고, 제9항 내지 제12항 중 적어도 어느 한 항에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
KR1020150086035A 2014-06-20 2015-06-17 장치 및 사용자에 의해 그 장치를 제어하기 위한 방법 KR102504164B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305964.0A EP2958010A1 (en) 2014-06-20 2014-06-20 Apparatus and method for controlling the apparatus by a user
EP14305964.0 2014-06-20

Publications (2)

Publication Number Publication Date
KR20150145709A true KR20150145709A (ko) 2015-12-30
KR102504164B1 KR102504164B1 (ko) 2023-02-28

Family

ID=51178830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086035A KR102504164B1 (ko) 2014-06-20 2015-06-17 장치 및 사용자에 의해 그 장치를 제어하기 위한 방법

Country Status (9)

Country Link
US (1) US10241753B2 (ko)
EP (2) EP2958010A1 (ko)
JP (1) JP2016009495A (ko)
KR (1) KR102504164B1 (ko)
CN (1) CN105320268B (ko)
AU (1) AU2015203024B2 (ko)
BR (1) BR102015014596B1 (ko)
HK (1) HK1216791A1 (ko)
TW (1) TWI675687B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2958010A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Apparatus and method for controlling the apparatus by a user
EP3113138A1 (en) 2015-06-30 2017-01-04 Orange Remote control of an electronic device with a selectable element
EP3113140A1 (en) * 2015-06-30 2017-01-04 Orange User input processing for controlling remote devices
US10032451B1 (en) * 2016-12-20 2018-07-24 Amazon Technologies, Inc. User recognition for speech processing systems
US10572107B1 (en) * 2017-06-23 2020-02-25 Amazon Technologies, Inc. Voice communication targeting user interface
US11100146B1 (en) * 2018-03-23 2021-08-24 Amazon Technologies, Inc. System management using natural language statements
JP7001012B2 (ja) * 2018-07-30 2022-01-19 オムロン株式会社 サポート装置およびサポートプログラム
CN111968631B (zh) * 2020-06-29 2023-10-10 百度在线网络技术（北京）有限公司 智能设备的交互方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990045631A (ko) * 1997-11-27 1999-06-25 마츠시타 덴끼 산교 가부시키가이샤 제어방법
JP2002007240A (ja) * 2000-06-26 2002-01-11 Toshiba Corp 情報処理装置、電化製品管理システム及び情報制御方法
JP2010539571A (ja) * 2007-09-12 2010-12-16 シーメンス アクチエンゲゼルシヤフト 風力タービンコントロールシステム、および風力タービンコントローラへコマンドを入力するための方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8605281D0 (en) * 1986-03-04 1986-04-09 Ici Plc Diphenyl ether derivatives
US7053752B2 (en) * 1996-08-06 2006-05-30 Intuitive Surgical General purpose distributed operating room control system
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
JP2001296881A (ja) * 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
WO2002033541A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7069215B1 (en) 2001-07-12 2006-06-27 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
CA2397703C (en) 2001-08-15 2009-04-28 At&T Corp. Systems and methods for abstracting portions of information that is represented with finite-state devices
US20050027534A1 (en) 2003-07-30 2005-02-03 Meurs Pim Van Phonetic and stroke input methods of Chinese characters and phrases
JP4416643B2 (ja) 2004-06-29 2010-02-17 キヤノン株式会社 マルチモーダル入力方法
US20060069563A1 (en) 2004-09-10 2006-03-30 Microsoft Corporation Constrained mixed-initiative in a voice-activated command system
US20060059535A1 (en) * 2004-09-14 2006-03-16 D Avello Robert F Method and apparatus for playing content
US7454681B2 (en) * 2004-11-22 2008-11-18 Teradyne, Inc. Automatic test system with synchronized instruments
US20060222210A1 (en) * 2005-03-31 2006-10-05 Hitachi, Ltd. System, method and computer program product for determining whether to accept a subject for enrollment
US8694322B2 (en) * 2005-08-05 2014-04-08 Microsoft Corporation Selective confirmation for execution of a voice activated user interface
CN101379826B (zh) * 2006-02-06 2011-07-06 皇家飞利浦电子股份有限公司 Usb使能的音视频开关
US20070238201A1 (en) * 2006-03-28 2007-10-11 Merritt Funk Dynamic metrology sampling with wafer uniformity control
CA2657134C (en) * 2006-07-10 2016-04-05 Accenture Global Services Gmbh Mobile personal services platform for providing feedback
US20080022208A1 (en) * 2006-07-18 2008-01-24 Creative Technology Ltd System and method for personalizing the user interface of audio rendering devices
US7747446B2 (en) 2006-12-12 2010-06-29 Nuance Communications, Inc. Voice recognition interactive system with a confirmation capability
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US8154381B2 (en) * 2007-12-31 2012-04-10 Universal Electronics Inc. System and method for interactive appliance control
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
JP5420261B2 (ja) * 2008-03-28 2014-02-19 シャープ株式会社 遠隔操作装置、操作対象装置、遠隔操作装置の制御方法、操作対象装置の制御方法、及び遠隔操作システム
US9123341B2 (en) 2009-03-18 2015-09-01 Robert Bosch Gmbh System and method for multi-modal input synchronization and disambiguation
US8232859B2 (en) * 2009-08-11 2012-07-31 Empire Technology Development Llc Multi-dimensional controlling device
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
WO2013101438A1 (en) * 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US20130197914A1 (en) * 2012-01-26 2013-08-01 Microtechnologies Llc D/B/A Microtech Voice activated audio control system and associated method of use
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
WO2014210429A1 (en) 2013-06-28 2014-12-31 Harman International Industries, Inc. Wireless control of linked devices
CN110096253B (zh) * 2013-07-11 2022-08-30 英特尔公司 利用相同的音频输入的设备唤醒和说话者验证
US9582246B2 (en) * 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
EP2958010A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Apparatus and method for controlling the apparatus by a user
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US10228904B2 (en) 2014-11-12 2019-03-12 Lenovo (Singapore) Pte. Ltd. Gaze triggered voice recognition incorporating device velocity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990045631A (ko) * 1997-11-27 1999-06-25 마츠시타 덴끼 산교 가부시키가이샤 제어방법
JP2002007240A (ja) * 2000-06-26 2002-01-11 Toshiba Corp 情報処理装置、電化製品管理システム及び情報制御方法
JP2010539571A (ja) * 2007-09-12 2010-12-16 シーメンス アクチエンゲゼルシヤフト 風力タービンコントロールシステム、および風力タービンコントローラへコマンドを入力するための方法

Also Published As

Publication number Publication date
EP2958011A1 (en) 2015-12-23
KR102504164B1 (ko) 2023-02-28
US20150370319A1 (en) 2015-12-24
BR102015014596A2 (pt) 2018-02-27
AU2015203024A1 (en) 2016-01-21
AU2015203024B2 (en) 2019-09-26
US10241753B2 (en) 2019-03-26
JP2016009495A (ja) 2016-01-18
TW201605521A (zh) 2016-02-16
TWI675687B (zh) 2019-11-01
CN105320268A (zh) 2016-02-10
EP2958010A1 (en) 2015-12-23
BR102015014596B1 (pt) 2022-08-09
CN105320268B (zh) 2019-12-24
HK1216791A1 (zh) 2016-12-02
EP2958011B1 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
KR102504164B1 (ko) 장치 및 사용자에 의해 그 장치를 제어하기 위한 방법
US10937425B2 (en) Systems and methods for selectively activating and interacting with a speech recognition service during application runtime without interrupting execution of the application
US9176214B2 (en) Proximity detection for shared computing experiences
KR102111983B1 (ko) 제어 장치, 제어 방법, 및 정보 기억 매체
WO2015100933A1 (zh) 一种实现多操作系统的数据处理方法及终端设备
JP2017504849A (ja) 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示
US11769499B2 (en) Driving interaction object
US11710126B2 (en) Hardware device for entering a pin via tapping on a touch screen display
US20170180807A1 (en) Method and electronic device for amplifying video image
US20180324703A1 (en) Systems and methods to place digital assistant in sleep mode for period of time
CN112822431B (zh) 一种私密音视频通话的方法与设备
CN114189542A (zh) 互动控制方法及设备
JP6292672B2 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
JP6496220B2 (ja) 情報配信装置および情報配信プログラム
TWI729323B (zh) 互動式遊戲系統
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
EP4300287A1 (en) Method, system, vehicle, and storage medium relaying instructions to in-vehicle devices
US11520427B2 (en) Touchscreen device and method and apparatus for performing operation
WO2019137437A1 (zh) 视频播放方法及装置、终端设备及计算机可读存储介质
JP2019084201A (ja) ゲームプログラム、及び記憶媒体
JP2017016486A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant