KR20140040246A - 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법 - Google Patents

컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법 Download PDF

Info

Publication number
KR20140040246A
KR20140040246A KR1020147001641A KR20147001641A KR20140040246A KR 20140040246 A KR20140040246 A KR 20140040246A KR 1020147001641 A KR1020147001641 A KR 1020147001641A KR 20147001641 A KR20147001641 A KR 20147001641A KR 20140040246 A KR20140040246 A KR 20140040246A
Authority
KR
South Korea
Prior art keywords
user
display unit
visual cue
limb
gesture
Prior art date
Application number
KR1020147001641A
Other languages
English (en)
Other versions
KR101603680B1 (ko
Inventor
페터 한스 라우버
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140040246A publication Critical patent/KR20140040246A/ko
Application granted granted Critical
Publication of KR101603680B1 publication Critical patent/KR101603680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 디바이스의 디스플레이 유닛의 화각 내에서 실제 세계(real world)와의 상호작용의 컴퓨터 비젼 애플리케이션들에서의 반경을 확대하기 위한 방법 및 장치를 설명한다. 상호작용의 반경은, 더 미세한 입도(finer granularity)로 실제 및 증강 세계로 확대하고 그와 상호작용할 수 있는 능력을 사용자에게 허용하도록 핸드-헬드 디바이스에 시그널링하는 카메라와 같은 입력 감지 유닛의 정면에서 제스쳐를 이용하여 확대된다. 일 실시예에서, 핸드-헬드 디바이스는 디바이스에 커플링된 카메라에 의해 획득된 바와 같이 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출한다. 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 핸드-헬드 디바이스는 디바이스에 커플링된 디스플레이 유닛 상의 시각적 단서의 형상을 변경하고, 그리고 사용자의 사지의 움직임을 검출하는 것에 응답하여 디스플레이 유닛 상에 디스플레이된 시각적 단서를 업데이트한다.

Description

컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법{GESTURE-CONTROLLED TECHNIQUE TO EXPAND INTERACTION RADIUS IN COMPUTER VISION APPLICATIONS}
관련 출원들에 대한 상호 참조들
본 출원은, 2011년 6월 21일자로 출원되고, 인용에 의해 본원에 포함되는, 발명의 명칭이 "Gesture-Controlled Technique to Expand Interaction Radius in Computer Vision Applications"인 미국 가특허 출원 제61/499,645호를 우선권으로 주장한, 2012년 4월 27일자로 출원된, 발명의 명칭이 "Gesture-Controlled Technique to Expand Interaction Radius in Computer Vision Applications"인 미국 특허 출원 제13/457,840호를 우선권으로 주장한다.
컴퓨터 비젼은 디바이스가 그 디바이스의 주변의 환경을 감지하도록 허용한다. 컴퓨터 비젼은, 디스플레이 디바이스로 하여금 사용자의 주변환경들의 현실(reality)을 증강하도록 허용함으로써 증강 현실(augmented reality)에서의 애플리케이션들을 가능하게 한다. 태블릿들, 스마트 폰들, 비디오 게임 콘솔들, 개인 휴대정보 단말기들, 포인트-앤-슛 카메라 및 모바일 디바이스들과 같은 현대의 핸드-헬드 디바이스들은 카메라가 감지 입력(sensory input)을 캡쳐하게 함으로써 몇몇 형태들의 컴퓨터 비젼을 가능하게 할 수 있다. 이러한 핸드-헬드 디바이스들에서, 디바이스와의 사용자에 대한 상호작용의 유용한 영역은 사용자의 팔(arm)의 길이에 의해 제한된다. 결과적으로, 실제 세계(real world)와의 사용자의 상호작용의 이러한 기하학적 제한은 핸드-헬드 디바이스에 의해 용이하게 된 실제 및 증강 세계에서 물체들과 사용자의 상호작용의 능력을 제한한다. 따라서, 사용자는 핸드-헬드 디바이스의 스크린상에서의 상호작용으로 또는 사용자의 팔의 길이에 의해 제한된 작은 영역으로 제한된다.
사용자와 디바이스 사이의 상호작용의 공간적 제약(spatial restriction)은, 핸드-헬드 디바이스가, 하나의 손을 이용하여 사용자의 화각(field of view) 내에 위치될 필요가 있는 증강 현실에서 심화된다. 다른 점유되지 않은 손은 디바이스와 또는 실제 세계와 상호작용하는데 이용될 수 있다. 사용자가 상호작용할 공간에 대한 기하학적 제한은, 핸드-헬드 디바이스를 홀딩하는 사용자의 팔의 길이 및 사용자가 디스플레이 유닛을 편안하게 관찰하기 위한 사용자와 핸드-헬드 디바이스 사이의 최대 거리로 제한된다.
핸드-헬드 디바이스를 통해 제시되는 다른 문제는, 디바이스 상에서 터치 스크린들과 상호작용하기 위해 손가락을 이용함으로써 달성된 제어의 입도(granularity)에 대한 제한이다. 게다가, 기술의 진보를 통해서, 스크린 해상도는 급속하게 증가하고 있으며, 이는 디바이스가 더욱더 많은 정보를 디스플레이하도록 허용한다. 스크린 해상도의 증가는 더 미세한 입도들로 디바이스와 정확하게 상호작용하는 사용자들의 능력을 감소시키는 것을 야기한다. 이러한 문제를 경감시키도록 돕기 위해, 몇몇 디바이스 제조업자들은 사용자들에 대한 더 미세한 입도의 제어를 허용하는 완드(wand)들을 제공한다. 그러나, 핸드-헬드 디바이스를 동작시키기 위한 또 다른 물품의 운송(carrying), 보호(safeguarding) 및 리트리빙(retrieving)은 이러한 완드들의 시장 허용에 있어서 현저한 방해를 제시해왔다.
카메라의 정면에서 제스쳐를 이용하여 카메라의 화각 내에서 실제 세계와의 액티비티의 반경을 확대하여, 사용자가 더 미세한 입도로 실제 및 증강 세계로 더 확대하고 상호작용하는 능력을 허용하기 위한 기법들이 제공된다.
예를 들어, 실제 세계의 액티비티의 반경의 확대는 카메라의 화각에서 수행된 손 또는 손가락 제스쳐에 의해 트리거된다. 이러한 제스쳐는 인식되어, 디바이스의 디스플레이 유닛에 의해 제시된 화각까지 손 또는 손가락의 시각적 확대를 초래한다. 그후, 확대된 사지(extremity)는 실제 및 증강 세계에서 더욱 먼 물체들과 상호작용하는데 이용될 수 있다.
사용자의 적어도 하나의 사전-정의된 제스쳐를 수반하는 컴퓨터 비젼 애플리케이션(computer vision application)들을 강화하기 위한 방법의 일례는, 디바이스에 커플링된 카메라에 의해 획득된 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계; 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서(visual cue)의 형상을 변경하는 단계; 및 사용자의 사지의 움직임을 검출하는 것에 응답하여 디스플레이 유닛 상에 디스플레이된 시각적 단서를 업데이트하는 단계를 포함할 수 있다. 디바이스는, 핸드-헬드 디바이스, 비디오 게임 콘솔, 태블릿, 스마트 폰, 포인트-앤-슛 카메라, 개인 휴대정보 단말기 및 모바일 디바이스 중 하나일 수 있다. 일 양상에서, 시각적 단서는, 사용자의 사지의 표현(representation)을 포함하고, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛 상의 시각적 단서를 디스플레이 유닛에 의해 제시된 화각으로 더 확대하는 단계를 포함한다. 다른 양상에서, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛에 의해 제시된 사용자의 사지의 표현의 팁을 좁히는(narrowing) 단계를 포함한다.
하나의 예시의 설정에서, 디바이스는 후방(rear-facing) 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 다른 예시의 설정에서, 디바이스는 전방(front-facing) 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다.
몇몇 구현들에서, 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고, 여기서 제 1 제스쳐의 검출시에 디바이스는 시각적 단서의 형상을 변경하는 것을 허용하는 모드를 활성화하고, 제 2 제스쳐의 검출시에 디바이스는 디스플레이 유닛 상에 디스플레이된 시각적 단서의 형상을 변경한다. 일 실시예에서, 시각적 단서는 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 사용자의 사지의 확대의 표현을 포함할 수 있다. 다른 실시예에서, 시각적 단서는, 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함할 수 있다. 디스플레이 유닛 상의 시각적 단서를 확대하는 단계는, 사용자의 사지의 움직임 및 그 움직임의 방향을 추적하는 단계, 및 사용자의 사지의 움직임의 방향으로 디스플레이 유닛 상의 시각적 단서를 확대하는 단계를 포함할 수 있고, 여기서 디바이스의 디스플레이 유닛 상에 표현된 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 사용자의 사지의 움직임에 정비례한다.
시스템을 구현하는 예시의 디바이스는, 프로세서; 프로세서에 커플링된 입력 감지 유닛(input sensory unit); 프로세서에 커플링된 디스플레이 유닛; 및 프로세서에 커플링된 비-일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 비-일시적 컴퓨터 판독가능 저장 매체는, 디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계; 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하는 단계; 및 사용자의 사지의 움직임을 검출하는 것에 응답하여 디스플레이 유닛 상에 디스플레이된 시각적 단서를 업데이트하는 단계를 포함하는 방법을 구현하기 위해 프로세서에 의해 실행가능한 코드를 포함할 수 있다.
디바이스는, 핸드-헬드 디바이스, 비디오 게임 콘솔, 태블릿, 스마트 폰, 포인트-앤-슛 카메라, 개인 휴대정보 단말기 및 모바일 디바이스 중 하나일 수 있다. 일 양상에서, 시각적 단서는 사용자의 사지의 표현을 포함하고, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛 상의 시각적 단서를 디스플레이 유닛에 의해 제시된 화각으로 더 확대하는 단계를 포함한다. 다른 양상에서, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛에 의해 제시된 사용자의 사지의 표현의 팁을 좁히는 단계를 포함한다.
일 예시의 설정에서, 디바이스는 후방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 다른 예시의 설정에서, 디바이스는 전방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 몇몇 구현들에서, 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고, 여기서 제 1 제스쳐의 검출시에 디바이스는 시각적 단서의 형상을 변경하는 것을 허용하는 모드를 활성화하고, 제 2 제스쳐의 검출시에 디바이스는 디스플레이 유닛 상에 디스플레이된 시각적 단서의 형상을 변경한다.
이러한 디바이스의 구현들은 이하의 특징들 중 하나 또는 그 초과를 포함할 수 있다. 일 실시예에서, 시각적 단서는 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 사용자의 사지의 확대의 표현을 포함할 수 있다. 다른 실시예에서, 시각적 단서는, 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함할 수 있다. 디스플레이 유닛 상의 시각적 단서를 확대하는 단계는, 사용자의 사지의 움직임 및 그 움직임의 방향을 추적하는 단계, 및 사용자의 사지의 움직임의 방향으로 디스플레이 유닛 상의 시각적 단서를 확대하는 단계를 포함할 수 있고, 여기서 디바이스의 디스플레이 유닛 상에 표현된 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 사용자의 사지의 움직임에 정비례한다.
프로세서에 커플링된 예시의 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계; 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하는 단계; 및 사용자의 사지의 움직임을 검출하는 것에 응답하여 디스플레이 유닛 상에 디스플레이된 시각적 단서를 업데이트하는 단계를 포함하는 방법을 구현하기 위해 프로세서에 의해 실행가능한 컴퓨터 프로그램을 포함한다.
디바이스는, 핸드-헬드 디바이스, 비디오 게임 콘솔, 태블릿, 스마트 폰, 포인트-앤-슛 카메라, 개인 휴대정보 단말기 및 모바일 디바이스 중 하나일 수 있다. 일 양상에서, 시각적 단서는 사용자의 사지의 표현을 포함하고, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛 상의 시각적 단서를 디스플레이 유닛에 의해 제시된 화각으로 더 확대하는 단계를 포함한다. 다른 양상에서, 시각적 단서의 형상을 변경하는 단계는 디스플레이 유닛에 의해 제시된 사용자의 사지의 표현의 팁을 좁히는 단계를 포함한다.
일 예시의 설정에서, 디바이스는 후방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 다른 예시의 설정에서, 디바이스는 전방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 몇몇 구현들에서, 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고, 여기서 제 1 제스쳐의 검출시에 디바이스는 시각적 단서의 형상을 변경하는 것을 허용하는 모드를 활성화하고, 제 2 제스쳐의 검출시에 디바이스는 디스플레이 유닛 상에 디스플레이된 시각적 단서의 형상을 변경한다.
이러한 비-일시적 컴퓨터 판독가능 저장 물건의 구현들은 이하의 특징들 중 하나 또는 그 초과를 포함할 수 있다. 일 실시예에서, 시각적 단서는 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 사용자의 사지의 확대의 표현을 포함할 수 있다. 다른 실시예에서, 시각적 단서는, 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함할 수 있다. 디스플레이 유닛 상의 시각적 단서를 확대하는 단계는, 사용자의 사지의 움직임 및 그 움직임의 방향을 추적하는 단계, 및 사용자의 사지의 움직임의 방향으로 디스플레이 유닛 상의 시각적 단서를 확대하는 단계를 포함할 수 있고, 여기서 디바이스의 디스플레이 유닛 상에 표현된 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 사용자의 사지의 움직임에 정비례한다.
컴퓨터 비젼 애플리케이션들을 강화하기 위한 방법을 수행하는 예시의 장치로서, 상기 방법은, 디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하기 위한 수단; 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하기 위한 수단; 및 사용자의 사지의 움직임을 검출하는 것에 응답하여 디스플레이 유닛 상에 디스플레이된 시각적 단서를 업데이트하기 위한 수단을 포함한다.
디바이스는 핸드-헬드 디바이스, 비디오 게임 콘솔, 태블릿, 스마트 폰, 포인트-앤-슛 카메라, 개인 휴대정보 단말기 및 모바일 디바이스 중 하나일 수 있다. 일 양상에서, 시각적 단서는 사용자의 사지를 표현하기 위한 수단을 포함하고, 시각적 단서의 형상을 변경하기 위한 수단은 디스플레이 유닛 상의 시각적 단서를 디스플레이 유닛에 의해 제시된 화각으로 더 확대하기 위한 수단을 포함한다. 다른 양상에서, 시각적 단서의 형상을 변경하는 것은 디스플레이 유닛에 의해 제시된 사용자의 사지의 표현의 팁을 좁히기 위한 수단을 포함한다.
일 예시의 설정에서, 디바이스는 후방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 다른 예시의 설정에서, 디바이스는 전방 카메라의 화각에서 사용자의 사지에 의해 생성된 사전-정의된 제스쳐를 검출한다. 몇몇 구현들에서, 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고, 여기서 제 1 제스쳐의 검출시에 디바이스는 시각적 단서의 형상을 변경하기 위한 수단을 허용하는 모드를 활성화하기 위한 수단을 갖고, 제 2 제스쳐의 검출시에 디바이스는 디스플레이 유닛 상에 디스플레이된 시각적 단서의 형상을 변경한다.
방법을 수행하기 위해 시스템 내의 장치에 대한 예시적인 설정은 하기의 것 중 하나 또는 그 초과를 포함할 수 있다. 일 실시예에서, 시각적 단서는 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 사용자의 사지의 확대를 표현하기 위한 수단을 포함할 수 있다. 다른 실시예에서, 시각적 단서는, 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 디바이스에 커플링된 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함할 수 있다. 디스플레이 유닛 상의 시각적 단서를 확대하는 것은, 사용자의 사지의 움직임 및 그 움직임의 방향을 추적하기 위한 수단, 및 사용자의 사지의 움직임의 방향으로 디스플레이 유닛 상의 시각적 단서를 확대하는 것을 포함하고, 여기서 디바이스의 디스플레이 유닛 상에 표현된 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 사용자의 사지의 움직임에 정비례한다.
전술한 사항은, 후술하는 상세한 설명이 더 잘 이해될 수 있게 하기 위해 본 개시물에 따른 예시들의 특징들 및 기술적 이점들을 꽤 폭넓게 개략하였다. 추가적인 특징들 및 이점들이 이하 설명될 것이다. 개시된 개념 및 특정 예시들이 본 개시물의 동일한 목적들을 전달하기 위한 다른 구조들을 변형하거나 또는 설계하기 위한 기초로서 용이하게 활용될 수 있다. 이러한 동일한 구성들은 첨부된 청구항들의 사상 및 범위로부터 벗어나지 않는다. 관련 이점들과 함께 그들의 조직 및 동작의 방법 둘 다에 관하여 본원에 개시된 개념들의 특성인 것으로 믿어지는 특징들은, 첨부된 도면들과 관련하여 고려될 때 이하의 설명으로부터 더 잘 이해될 것이다. 도면들 각각은 청구항들의 제한들의 정의로서가 아닌 오직 예시 및 설명의 목적으로 제공된다.
도면들을 참조하여 이하의 설명이 제공되며, 여기서 유사한 참조 번호들은 전체에 걸쳐 유사한 엘리먼트를 지칭하는 것으로 이용된다. 하나 또는 그 초과의 기법들의 다양한 세부사항들이 본 명세서에 설명되지만, 다른 기법들도 또한 가능하다. 몇몇 예시들에서, 다양한 기법들을 설명하는 것을 용이하게 하기 위해 잘-알려진 구조들 및 디바이스들은 블록도 형태로 나타난다.
본 개시물에 의해 제공된 예시들의 속성 및 이점들의 추가적인 이해가 상세한 설명 및 도면들의 나머지 부분들을 참조하여 실현될 수 있고, 여기서 몇몇 도면들에 걸쳐서 유사한 컴포넌트들을 지칭하기 위해 유사한 참조 번호들이 이용된다. 몇몇 예시들에서, 서브-라벨은 다수의 유사 컴포넌트들 중 하나를 표시하기 위한 참조 번호와 관련된다. 기존의 서브-라벨에 대한 상세한 설명 없이 참조 번호에 대한 참조가 이루어질 때, 참조 번호는 모든 이러한 유사한 컴포넌트들을 지칭한다.
도 1은 핸드-헬드 디바이스 상에서 본 발명의 실시예를 이용하기 위한 예시적인 사용자 구성 설정을 도시한다.
도 2는 핸드-헬드 디바이스 상에서 본 발명의 실시예를 이용하기 위한 다른 예시적인 사용자 구성 설정을 도시한다.
도 3은 핸드-헬드 디바이스 상에서 본 발명의 실시예를 이용하기 위한 또 다른 예시적인 사용자 구성 설정을 도시한다.
도 4는 본 발명의 실시예들을 실행하기 위해 사용자에 의해 이용된 사전-정의된 제스쳐의 일례를 도시한다.
도 5는 컴퓨터 비젼 애플리케이션에서 핸드-헬드 디바이스와의 상호작용 반경을 확대하기 위한 방법(500)을 도시하는 간략화된 흐름도이다.
도 6은 컴퓨터 비젼 애플리케이션에서 핸드-헬드 디바이스와의 상호작용 반경을 확대하기 위한 방법(600)을 도시하는 다른 간략화된 흐름도이다.
도 7은 컴퓨터 비젼 애플리케이션에서 핸드-헬드 디바이스와의 상호작용 반경을 확대하기 위한 방법(700)을 도시하는 다른 간략화된 흐름도이다.
도 8은 컴퓨터 비젼 애플리케이션에서 핸드-헬드 디바이스와의 상호작용 반경을 확대하기 위한 방법(800)을 도시하는 또 다른 간략화된 흐름도이다.
도 9는 본 발명의 실시예들을 실행시키는데 사용된 디바이스의 부분들을 포함하는 예시적인 컴퓨터 시스템을 도시한다.
본 발명의 실시예들은 사전-정의된 제스쳐를 이용하여 카메라의 화각 내에서 실제 세계와의 상호작용의 반경을 확대하기 위한 기법들을 포함한다. 디바이스에 커플링된 카메라의 전방에서 사용자에 의한 사전-정의된 제스쳐는 사용자가 더 미세한 입도를 갖는 실제 및 증강 세계로 사용자의 도달범위(reach)를 확대하도록 허용한다.
도 1의 예시를 참조하여, 사용자(102)는 하나의 손으로 핸드-헬드 디바이스를 홀딩하고 그리고 점유되지 않은 손으로 핸드-헬드 디바이스와 상호작용함으로써 핸드-헬드 디바이스(104)와 상호작용한다. 핸드-헬드 디바이스(104)와의 사용자(102)의 상호작용의 최대 반경은 핸드-헬드 디바이스(104)를 홀딩하는 그들의 팔(108)을 사용자가 얼마나 멀리 뻗을 수 있는지에 의해 결정된다. 핸드-헬드 디바이스(104)와의 사용자의 상호작용의 최대 반경은 또한, 사용자(102)가 핸드-헬드 디바이스(104)의 디스플레이 유닛을 볼 수 있는 사용자의 능력을 현저하게 손상시키지 않고 핸드-헬드 디바이스를 밀어낼(push out) 수 있는 거리만큼 제한된다. 핸드-헬드 디바이스(104)는 카메라와 같은 입력 감지 유닛 및 컴퓨팅 디바이스에 커플링된 디스플레이 유닛을 갖는 임의의 컴퓨팅 디바이스일 수 있다. 핸드-헬드 디바이스들의 예시들은 비디오 게임 콘솔들, 태블릿들, 스마트 폰들, 개인 휴대정보 단말기들, 포인트-앤-슛 카메라들 및 모바일 디바이스들을 포함하지만 이에 제한되지 않는다. 일 실시예에서, 핸드-헬드 디바이스는 전방 카메라 및 후방 카메라를 가질 수 있다. 몇몇 구현들에서, 전방 카메라 및 디스플레이 유닛은 핸드-헬드 디바이스의 동일한 측면에 위치되어, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛과 상호작용할 때 전방 카메라는 사용자를 향한다. 수많은 예시들에서, 후방 카메라는 핸드-헬드 디바이스의 반대 측면 상에 위치될 수 있다. 사용하는 중에, 핸드-헬드 디바이스에 커플링된 후방 카메라는 사용자로부터 떨어진 방향을 향할 수 있다. 앞서 설명된 구성 설정에서, 사용자(102)는 핸드-헬드 디바이스(104)의 화각에서 상호작용하기 위해 점유되지 않고 자유로운 하나의 팔(110) 및 하나의 손(112)을 갖는다. 핸드-헬드 디바이스의 화각은, 입력 감지 유닛에서 임의의 주어진 순간에 감지된 관찰가능한 실제 세계의 범위이다. 이 구성에서, 핸드-헬드 디바이스(104)와의 사용자(102)에 대한 상호작용의 유용한 영역은 핸드-헬드 디바이스(104)와 사용자(102) 사이의 영역으로 제한된다. 디스플레이 유닛이 또한 터치-스크린인 몇몇 실시예들에서, 사용자는 터치 스크린 디스플레이 유닛을 통해서 디바이스와 상호작용할 수 있다. 결과적으로, 사용자(102)가 실제 세계에서 상호작용할 수 있는 공간에 대한 공간적 제약은, 핸드-헬드 디바이스에 의해 용이하게 된 실제 및 증강 세계에서 물체와 상호작용하는 사용자의 능력을 제한한다. 따라서, 사용자(102)는 디바이스의 스크린상에서의 상호작용으로 또는 사용자(102)와 핸드-헬드 디바이스(104) 사이의 작은 영역으로 제한된다.
본 발명의 실시예들은, 사용자가, 핸드-헬드 디바이스(104)와의 상호작용의 반경 그리고 결과적으로 실제 및 증강 세계와의 상호작용의 반경을 증가시킴으로써 도 1의 예시를 참조하여 설명된 공간적 제약을 극복하도록 허용한다. 도 2의 예시를 참조하여, 일 실시예에서, 사용자(202)는 핸드-헬드 디바이스(206)의 디스플레이 유닛을 직접 보고 있다(204). 핸드-헬드 디바이스(206)는 입력 감지 유닛(208)을 갖는다. 일 실시예에서, 입력 감지 유닛은 사용자로부터 멀리 향하는 핸드-헬드 디바이스의 측면 상의 후방 카메라이다. 카메라의 화각(216)은 사용자로부터 실제 세계를 향해서 멀리 확대된다. 사용자의 자유로운 팔(212) 및 자유로운 손(210)은 카메라의 화각(216)에서 실제 및 증강 세계와 상호작용할 수 있다. 도 2에 설명된 구성은 사용자가 상호작용의 반경을 카메라를 초과하여(beyond) 증가시키도록 허용한다. 또한, 사용자가 카메라의 화각내에서 상호작용하면서 핸드-헬드 디바이스(206)의 디스플레이 유닛 상에 디스플레이된 세부사항들에 대한 양호한 가시성을 갖도록, 사용자(202)는 핸드-헬드 디바이스(206)를 훨씬 가깝게 홀딩할 수 있다.
본 발명의 일 실시예에서, 핸드-헬드 디바이스는 핸드-헬드 디바이스(206)와의 상호작용의 반경을 더 확대하기 위해 후방 카메라의 화각(216)에서 그/그녀의 사지를 이용하여 사용자에 의한 사전-정의된 제스쳐를 검출한다. 제스쳐는, 사용자(202)가 증강 세계에서 상호작용의 깊이 및 반경을 확대하기를 원할 수 있다는 힌트로서 핸드-헬드 디바이스(206)가 검출할 수 있는 (도 4에 나타난 바와 같은) 손가락의 펼침(unfurling) 또는 임의의 다른 별개의 서명일 수 있다. 몇몇 실시예들에서, 핸드-헬드 디바이스는 사용자가 본 발명의 실시예들을 실행하도록 허용하는 모드를 사전-정의된 제스쳐의 검출시에 활성화한다. 핸드-헬드 디바이스(206)는 사전-정의된 제스쳐들을 인식하도록 사전-프로그래밍될 수 있다. 다른 실시예에서, 핸드-헬드 디바이스(206)는 새로운 제스쳐들을 습득할 수 있거나 또는 알려진 제스쳐들의 정의를 업데이트할 수 있다. 추가적으로, 핸드-헬드 디바이스는 핸드-헬드 디바이스(206)가 사용자에 의해 교시된 새로운 제스쳐들을 습득하도록 허용하는 트레이닝 모드를 용이하게 할 수 있다.
사전-정의된 제스쳐의 검출시에, 핸드-헬드 디바이스(206)는 디스플레이 유닛 상에 제시된 실제 및 증강 세계로 시각적 단서의 확대를 허용하는 모드로 진입할 수 있다. 핸드-헬드 디바이스(206)는 디스플레이 유닛에 의해 제시된 화각(216)으로 시각적 단서의 추가적인 확대를 허용함으로써 상호작용의 반경의 확대를 달성한다. 몇몇 실시예들에서, 시각적 단서는 인간의 사지(human extremity)일 수 있다. 인간의 사지들의 예시들은, 손가락, 손, 팔 또는 다리를 포함할 수 있다. 시각적 단서는 시각적 단서의 형상을 변경함으로써 핸드-헬드 디바이스(206)에 의해 디스플레이 유닛에 의해 제시된 화각으로 확대될 수 있다. 예를 들어, 시각적 단서가 손가락이면, 손가락은 디스플레이 유닛 상에서 사용자에게 제시된 바와 같이 더 연장될 수 있다. 다른 구현에서, 손가락은 손가락을 연장하는 시각적 효과를 생성하기 위해 좁혀지고 뾰족해질 수 있다. 또 다른 실시예에서, 손가락은 디스플레이 유닛에 의해 연장된 것 좁혀진 것 모두로 제시될 수 있다. 또한, 디스플레이 유닛 상에서 디스플레이된 화각은 시각적 단서의 도달범위를 추가로 증가시키기 위해 이미지를 줌 인 그리고 줌 아웃함으로써 조절될 수 있다.
핸드 헬드 디바이스(206)는, 확대된 사용자 사지가 훨씬 더 긴 도달범위 및 훨씬 더 미세한 입도로 실제 및 증강 세계에서 더욱 뚜렷한 물체들을 조작하고 이들과 상호작용하도록 허용한다. 예를 들어, 본 발명의 실시예들은 증강 현실에서 2미터 떨어진 작은 큐브를 정밀하게 조작하는데 사용될 수 있다. 인간의 사지가 실제 또는 증강 세계로 얼마나 멀리 확대할지 결정하기 위해, 특정 움직임의 속력 및 방향이 사용될 수 있다. 다른 실시예에서, 디바이스는 외국에서 핸드-헬드 디바이스(206)에 의한 번역을 위해 멀리 있는 게시판 상의 텍스트를 사용자가 선택하도록 허용할 수 있다. 핸드-헬드 디바이스에 내장된 본 발명의 실시예들은 사용자가 시각적 단서를 이용하여 게시판에 도달하게 하고 그리고 번역을 위해 외국어 텍스트를 선택하도록 허용할 수 있다. 물체와 확대된 인간의 사지의 상호작용의 유형들은 실제 및 증강 세계에서 물체들을 지목하기(pointing), 시프팅하기(shifting), 돌리기(turning), 밀기(pushing), 움켜쥐기(grasping), 회전하기(rotating), 및 클램핑하기(clamping)를 포함할 수 있지만 이에 제한되지 않는다.
또한, 확대된 사용자 사지로부터의 시각적 단서는 핸드-헬드 디바이스들과 상호작용하기 위한 완드의 필요성을 대체한다. 완드는, 사용자가 더 미세한 입도로 터치 스크린의 디스플레이 유닛 상에 디스플레이된 물체들과 상호작용하도록 허용한다. 그러나, 사용자는, 사용자가 완드를 이용하여 핸드헬드 디바이스와 상호작용하기를 원할 때마다 매번 완드를 운반하고 리트리브할 필요가 있다. 또한, 완드의 입도는 조절가능하지 않다. 확대된 사용자 사지로부터 생성된 시각적 단서는 완드에 부여된 더 미세한 입도의 이점들을 제공한다. 핸드-헬드 디바이스(206)의 디스플레이 유닛 상에 디스플레이되는 것과 같은 사용자의 사지의 좁히기 및 뾰족하게 하기는 사용자가 훨씬 더 미세한 입도로 물체들을 선택하거나 또는 조정하게 한다. 핸드-헬드 디바이스(206)의 디스플레이 유닛 상에 디스플레이된 시각적 단서의 이용은 또한 사용자가 디스플레이 유닛에 의해 엘리먼트들의 통상적인 디스플레이 내의 물체들을 선택하고 조정하도록 허용한다. 예를 들어, 시각적 단서는 사용자가 더 미세한 입도의 제어를 필요로 하고 피쳐 리치형(feature rich like) Photoshop®인 애플리케이션으로 작업하도록, 또는 군중으로부터의 사진으로부터 한 사람을 간단히 선택하도록 허용할 수 있다. 유사하게, 증강 현실 설정에서, 미세한 입도를 갖는 시각적 단서로의 인스턴트 액세스는, 사용자가, 카메라의 화각 내에 있고 그리고 핸드-헬드 디바이스(206)의 디스플레이 유닛 상에 디스플레이된 군중으로부터 훨씬 더 쉽게 한 사람을 선택할 수 있도록 허용할 것이다.
도 1의 예시를 다시 참조하여, 핸드-헬드 디바이스는 또한 도 2를 참조하면서 설명된 본 발명의 실시예들을 수행할 수 있다. 도 1에서, 핸드-헬드 디바이스(104)와의 상호작용의 영역은 사용자(102)와 핸드-헬드 디바이스(104) 사이의 공간으로 주로 제한된다. 사용자(102)를 향하는 전방 카메라를 갖는 핸드-헬드 디바이스를 이용하여, 사용자(102)는 핸드-헬드 디바이스와 상호작용하기 위해 그/그녀의 손 또는 손가락을 이용할 수 있다. 사용자(102)에 의한 사전-정의된 제스쳐는 카메라에게 디스플레이 유닛 상에 시각적 단서를 디스플레이하도록 힌트를 줄 수 있다. 시각적 단서는 사용자의 손가락 또는 손의 표현일 수 있다. 사용자(102)가 그/그녀의 손가락을 전방을 향해 이동시킴에 따라서, 손가락의 표현은 좁혀지고 뾰족해져 디바이스와의 더 미세한 입도의 상호작용을 허용할 수 있다. 핸드-헬드 디바이스(104)가 디바이스의 양 측면에 카메라들을 갖는 경우, 사용자는 또한 도 1 구성에서 증강 현실의 물체들과 상호작용할 수 있다. 일 구현에서, 사용자(102)를 향하는 측면에서 카메라에 의해 검출된 손가락 또는 손의 표현은, 사용자로부터 멀리 향하는 측면 상의 카메라에 가시적인 화각을 디스플레이하는 디스플레이 유닛 상에서 겹쳐진다.
도 3을 참조하여, 본 발명의 실시예를 실행하기 위한 다른 예시의 구성 설정으로서, 왼손(306)이 핸드-헬드 디바이스(310)에 대한 입력 감지 유닛(316)의 화각 내에 있는 한, 사용자(302)는 사용자의 몸체의 전방으로 또는 사용자의 몸체의 좌측을 향하여 그들의 왼팔(304)을 뻗을(stretch out) 수 있다. 사용자(302)는 사용자의 오른손(312)에 핸드-헬드 디바이스(310)를 홀딩한다. 디바이스는 사용자 쪽으로 향하는 측면에 있는 전방 카메라인 입력 감지 유닛(316)을 갖는다. 사용자의 손, 사용자의 눈 및 디바이스는 삼각형(308)을 형성할 수 있고, 이는 디바이스와 상호작용하는데 있어서 사용자에게 부가된 유연성을 허용한다. 이러한 구성은 도 1에서 논의된 구성과 유사하다. 그러나, 이러한 구성은 핸드헬드 디바이스(310)와의 사용자(302)에 대한 상호작용의 더 큰 반경을 허용한다. 본 발명의 실시예들은 도 1 및 도 2에 대해 앞서 논의된 바와 같이 핸드-헬드 디바이스(310)에 의해 실행될 수 있다.
도 4는 본 발명의 실시예를 동작하게 하기 위해 핸드-헬드 디바이스에 의해 검출된 사용자에 의한 예시적인 제스쳐를 도시한다. 핸드-헬드 디바이스는 손가락의 도달범위를 디스플레이 유닛에 의해 제시된 화각으로 확대하기 위한 힌트로서 손가락의 펼침을 검출할 수 있다. 이 실시예에서, 사용자는 오므린(clinched) 손(블록 402)으로 증강 세계와의 상호작용을 시작한다. 디바이스는 증강 세계와의 유효 상호작용으로서 손가락의 펼침을 검출하기 위해 사전-프로그래밍되거나 또는 트레이닝된다. 핸드-헬드 디바이스가 손가락을 펼치고 있는 사용자를 검출할 때(블록들 404-406), 핸드-헬드 디바이스는 사용자의 상호작용의 반경의 실제 또는 증강 세계로의 확대를 허용하는 모드에 진입한다. 사용자가 사전-정의된 속력(속도)으로 또는 더 빠르게 손가락을 이동시킬 때, 핸드-헬드 디바이스는 증강 세계와의 상호작용을 검출하고, 디스플레이 유닛에 의해 디스플레이되고 그리고 사용자에 의해 인식된 화각으로 손가락의 확대를 시작할 수 있다(블록 408). 사용자의 손이 사용자가 지목하는 방향으로 계속해서 이동할 때, 핸드-헬드 디바이스는 손가락이 더 길고 더 뾰족하게 되는 것을 디스플레이한다(블록 410). 또한, 핸드-헬드 디바이스는 손가락의 가속력(특정 방향에서 속력의 변화)에 응답하여 손가락을 확대할 수 있다. 핸드-헬드 디바이스가, 손가락이 더 길고 더 뾰족하게 되는 것을 검출할 때, 핸드-헬드 디바이스는 사용자가 손가락의 도달범위를 실제 및 증강 세계로 더 확대하도록 그리고 실제 및 증강 세계에서 더 미세한 입자 조절을 행하도록 허용한다. 유사하게, 핸드-헬드 디바이스에 의한 손가락의 오므리기(retraction)의 검출은 손가락의 팁을 짧게 하고 확장시켜 다시 디스플레이 유닛 상에 손 및 손가락의 원래 크기로 되돌린다.
다른 실시예에서, 핸드-헬드 디바이스는, 사용자가 가상 물체를 활성화하도록 허용하는, 사용자에 의한 제스쳐를 인식한다. 또한, 가상 물체의 선택은, 제스쳐가 핸드-헬드 디바이스에 의해 인식될 때 구동하는 애플리케이션에 의존할 수 있다. 예를 들어, 핸드-헬드 디바이스는, 핸드-헬드 디바이스 상의 전경(foreground)에서 구동하는 애플리케이션이 골프 게이밍 애플리케이션인 경우, 골프 클럽을 선택할 수 있다. 유사하게, 전경에서 구동하는 애플리케이션이 사진 편집 툴이면, 선택된 가상 물체는 대신에 페인트 붓 또는 연필일 수 있다. 가상 물체의 예시들은 가상 완드, 가상 골프 클럽 또는 가상 손일 수 있다. 선택에 이용가능한 가상 물체들은 또한 디스플레이 유닛 상에 바 메뉴로서 디스플레이될 수 있다. 일 구현에서, 반복적인 또는 별도의 제스쳐들은 바 메뉴로부터 상이한 가상 물체들을 선택할 수 있다. 유사하게, 앞서 설명된 바와 같이, 가상 물체가 액티브인 동안 사용자의 사지와 사용자의 움직임의 속력 및 방향은 가상 물체로 하여금 그에 비례하여 실제 또는 증강 세계로 확대 또는 수축하게 할 수 있다.
핸드-헬드 디바이스에 의한 상이한 제스쳐들의 검출은 상이한 확대 모드들 및 가상 물체들을 동시에 활성화시킬 수 있다. 예를 들어, 디바이스는, 사용자가 손가락을 펼침으로써 사용자의 손가락의 도달범위가 팔의 움직임에 의해 사용자의 팔의 도달범위를 확대하도록 허용하는, 사용자에 의해 트리거된 확대 모드를 활성화할 수 있다.
도 5는 컴퓨터 비젼 애플리케이션에서 상호작용 반경을 확대하기 위한 방법(500)을 도시하는 간략화된 흐름도이다. 방법(500)은 하드웨어(회로, 전용 로직 등), (예를 들어, 범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는) 소프트웨어, 펌웨어(내장된 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법(500)은 도 9의 디바이스(900)에 의해 수행된다. 방법(500)은 도 1, 도 2, 및 도 3에 설명된 구성 설정들로 수행될 수 있다.
도 5로부터의 예시의 흐름을 참조하여, 블록(502)에서, 사용자는 핸드-헬드 디바이스의 입력 감지 디바이스의 화각에서 사전-정의된 제스쳐를 생성한다. 사전-정의된 제스쳐는 디바이스의 입력 감지 유닛에 의해 전자적으로 검출된다. 일 실시예에서, 입력 감지 유닛은 카메라이다. 핸드-헬드 디바이스는 전방 카메라 및/또는 후방 카메라를 가질 수 있다. 몇몇 구현들에서, 전방 카메라 및 디스플레이 유닛은 핸드-헬드 디바이스의 동일한 측면에 위치되어, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛과 상호작용할 때 전방 카메라는 사용자를 향한다. 후방 카메라는, 수많은 경우들에서, 핸드-헬드 디바이스의 반대 측면에 위치될 수 있다. 사용하는 동안, 디바이스에 커플링된 후방 카메라는 사용자로부터 먼 방향을 향할 수 있다. 사전-정의된 제스쳐에 응답하여, 블록(504)에서, 시각적 단서의 형상은 핸드-헬드 디바이스의 디스플레이 유닛에 의해 사용자에게 제시된 화각에서 변경될 수 있다. 블록(506)에서, 핸드-헬드 디바이스는 디스플레이 유닛에 의해 제시된 화각에서 물체와 상호작용하기 위해 확대된 시각적 단서를 이용한다.
블록(504)에서, 시각적 단서의 형상에 있어서의 변경은, 사용자가 실제 세계와 증강 세계 사이의 갭을 브릿지하도록 허용한다. 사용자의 팔, 손 및 손가락들의 크기 및 특징들은 증강 세계에 있는 물체들과 상호작용하기에 적합하지 않다. 사지 또는 임의의 다른 시각적 단서의 형상을 변경시킴으로써 핸드-헬드 디바이스는, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛 상에 디스플레이된 물체들을 조작하도록 허용한다. 몇몇 실시예들에서, 디스플레이 유닛에 의해 디스플레이된 화각은 또한 시각적 단서의 형상에서의 변화의 인식을 제공하기 위해 핸드-헬드 디바이스에 의해 변경될 수 있다. 예시의 설정에서, 핸드-헬드 디바이스의 디스플레이 유닛은, 문을 갖는 방을 디스플레이할 수 있다. 현재의 기술들을 이용하면, 움직임에 있어서 사용자가 실제 세계에서 사용할 것과 동일한 정밀도로 사용자에 의해 문 손잡이를 돌리는 것을 모방하는 것은 어렵다. 종래 기술의 핸드-헬드 디바이스가 사용자에 의한 움직임에서의 세부사항을 캡쳐할 수 있을지라도, 종래 기술의 핸드-헬드 디바이스들은, 사용자가 정확하게 문 손잡이를 조작하는 의미있는 방식으로, 문의 세부사항 및 사용자의 문과의 상호작용을 사용자에게 프로젝팅할 수 없다. 핸드-헬드 디바이스에 의해 수행되는 본 발명의 실시예들은, 예를 들어, 사용자가 정확하게 문 손잡이와 상호작용하도록 허용할 수 있는 (카메라의 화각에 존재하는) 팔과 손의 크기를 극적으로 축소시킴으로써, 시각적 단서의 형상을 변경할 수 있다.
도 5에 도시된 특정 단계들이 본 발명의 실시예에 따라서 동작의 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것을 인식해야 한다. 또한, 단계들의 다른 시퀀스들도 대안적인 실시예들에서 이에 따라 수행될 수 있다. 예를 들어, 본 발명의 대안적인 실시예들은 앞서 개략된 단계들을 상이한 순서로 수행할 수 있다. 설명을 위해, 사용자는 동작의 제 3 모드로부터 동작의 제 1 모드로, 제 4 모드에서 제 2 모드로, 또는 그들 사이의 임의의 조합으로 변경하도록 선택할 수 있다. 또한, 도 5에 도시된 개별적인 단계들은 그 개별적인 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 추가적인 단계들이 특정 애플리케이션들에 따라 부가되거나 또는 제거될 수 있다. 당업자는 방법(500)의 수많은 변화들, 변형들, 및 대안들을 인식하고 이해할 것이다.
도 6은 컴퓨터 비젼 애플리케이션에서 상호작용 반경을 확대하기 위한 방법(600)을 도시하는 다른 간략화된 흐름도이다. 방법(600)은 하드웨어(회로, 전용 로직 등), (예를 들어, 범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는) 소프트웨어, 펌웨어(내장 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법(600)은 도 9의 디바이스(900)에 의해 수행된다. 방법(600)은 도 1, 도 2 및 도 3에 설명된 구성들로 수행될 수 있다.
도 6의 예시적인 흐름을 참조하여, 블록(602)에서, 사용자는 핸드-헬드 디바이스의 입력 감지 디바이스의 화각에 사전-정의된 제스쳐를 생성한다. 핸드-헬드 디바이스는 핸드-헬드 디바이스의 입력 감지 유닛을 이용하여 사전-정의된 제스쳐를 전자적으로 검출한다. 일 실시예에서, 입력 감지 유닛은 카메라이다. 핸드-헬드 디바이스는 전방 카메라 및/또는 후방 카메라를 가질 수 있다. 몇몇 구현들에서, 전방 카메라 및 디스플레이 유닛은 핸드-헬드 디바이스의 동일한 측면에 위치되어, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛과 상호작용할 때 전방 카메라는 사용자를 향한다. 수많은 예시들에서, 후방 카메라는 핸드-헬드 디바이스의 반대 측면에 위치될 수 있다. 사용하는 동안, 디바이스에 커플링된 후방 카메라는 사용자로부터 먼 방향을 향할 수 있다. 제스쳐에 대해 응답하여, 블록(604)에서, 핸드-헬드 디바이스는 시각적 단서를 디스플레이 유닛에 의해 제시된 화각으로 더 확대한다. 블록(606)에서, 핸드-헬드 디바이스는 확대된 시각적 단서를 사용하여 디스플레이 유닛에 의해 제시된 화각에서 사용자에 의해 조작된 것과 같은 물체와 상호작용한다.
블록(604)에서, 핸드-헬드 디바이스는 사용자의 사지의 도달범위의 확대를 검출하고, 사용자가 시각적 단서를 핸드 헬드 디바이스의 디스플레이 유닛에 제시된 화각으로 더 확대함으로써 사용자의 사지의 도달범위를 확대하도록 허용한다. 핸드-헬드 디바이스는 수많은 방식들로 시각적 단서의 도달범위를 확대하는 인식을 생성할 수 있다. 일 구현에서, 핸드-헬드 디바이스는 디스플레이 유닛 상에서 사지의 표현을 늘일(lengthen) 수 있다. 예를 들어, 시각적 단서가 손가락이면, 핸드-헬드 디바이스는 디스플레이 유닛 상에서 사용자에게 제시되는 것과 같이 손가락을 더 연장할 수 있다. 다른 구현에서, 핸드-헬드 디바이스는, 사지가 디스플레이 유닛에 의해 디스플레이된 화각에서 먼거리까지 도달한다는 인식을 사용자에게 부여하기 위해 핸드-헬드 디바이스 상에서 사지의 표현을 좁히고 뾰족하게 할 수 있다. 디스플레이 유닛 상에 디스플레이된 화각은 또한 시각적 단서의 도달범위를 추가로 증가시키기 위해 이미지를 줌 인 및 줌 아웃함으로써 조절될 수 있다. 설명된 예시적인 구현들은 비-제한적이며, 시각적 단서의 도달범위를 확대함으로써 먼 거리에 도달한다는 인식은, 본원에 설명된 기법들을 조합하여, 또는 디스플레이 유닛 상에 디스플레이된 것과, 시각적 단서의 도달범위를 확대하는 동일한 시각적 효과를 부여하는 다른 기법들을 이용함으로써 생성될 수 있다. 블록(606)에서, 확대된 시각적 단서는, 사용자가 디스플레이 유닛 상에 디스플레이된 화각까지 물체들과 상호작용하도록 허용한다. 예를 들어, 사용자는 야생화들의 목초지까지 도달하고 사용자가 관심있는 야생화를 뽑기 위해, 확대된 도달범위를 사용할 수 있다.
도 6에 도시된 특정 단계들이 본 발명의 실시예에 따라서 동작의 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것을 인식해야 한다. 또한, 단계들의 다른 시퀀스들도 대안적인 실시예들에서 이에 따라 수행된다. 예를 들어, 본 발명의 대안적인 실시예들은 앞서 개략된 단계들을 상이한 순서로 수행할 수 있다. 설명을 위해, 사용자는 동작의 제 3 모드로부터 동작의 제 1 모드로, 제 4 모드에서 제 2 모드로, 또는 그들 사이의 임의의 조합으로 변경하도록 선택할 수 있다. 또한, 도 6에 도시된 개별적인 단계들은 그 개별적인 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 추가적인 단계들이 특정 애플리케이션들에 따라 부가되거나 또는 제거될 수 있다. 당업자는 방법(600)의 수많은 변화들, 변형들 및 대안들을 인식하고 이해할 것이다.
도 7은 컴퓨터 비젼 애플리케이션에서 상호작용 반경을 확대하기 위한 방법(700)을 도시하는 다른 간략화된 흐름도이다. 방법(700)은 하드웨어(회로, 전용 로직 등), (예를 들어, 범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는) 소프트웨어, 펌웨어(내장 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법(700)은 도 9의 디바이스(900)에 의해 수행된다. 방법(700)은 도 1, 도 2 및 도 3에 설명된 구성 설정들로 수행될 수 있다.
도 7의 예시의 흐름을 참조하여, 블록(702)에서, 핸드-헬드 디바이스는 핸드-헬드 디바이스의 입력 감지 유닛의 화각에서 사용자에 의해 생성된 사전-정의된 제스쳐를 검출한다. 사전-정의된 제스쳐는 디바이스의 입력 감지 유닛에 의해 전자적으로 검출된다. 일 실시예에서, 입력 감지 유닛은 카메라이다. 핸드-헬드 디바이스는 전방 카메라 및/또는 후방 카메라를 가질 수 있다. 몇몇 구현들에서, 전방 카메라 및 디스플레이 유닛은 핸드-헬드 디바이스의 동일한 측면에 위치되어, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛과 상호작용할 때 전방 카메라는 사용자를 향한다. 수많은 경우들에서, 후방 카메라는 핸드-헬드 디바이스의 반대 측면 상에 위치될 수 있다. 사용하는 동안, 디바이스에 커플링된 후방 카메라는 사용자로부터 먼 방향을 향할 수 있다. 사전-정의된 제스쳐에 응답하여, 블록(704)에서, 시각적 단서의 형상은 핸드-헬드 디바이스의 디스플레이 유닛에 의해 제시된 바와 같이 좁혀지고 그리고/또는 뾰족해진다. 블록(706)에서, 핸드-헬드 디바이스는 확대된 시각적 단서를 사용하여 디스플레이 유닛에 의해 제시된 화각에서 사용자에 의해 조정된 것과 같이 물체와 상호작용한다.
블록(704)에서, 시각적 단서의 형상은 핸드-헬드 디바이스의 디스플레이 유닛에 의해 제시된 바와 같이 좁혀지고 그리고/또는 뾰족해진다. 디스플레이 유닛 상에 디스플레이된 더 좁혀진 그리고 더 뾰족해진 시각적 단서는 사용자가 포인팅 디바이스 또는 완드로서 시각적 단서를 이용하도록 허용한다. 시각적 단서는 사용자의 사지일 수 있다. 인간의 사지들의 예시들은 손가락, 손, 팔 또는 다리를 포함할 수 있다. 일 실시예에서, 사용자가 사지를 더 먼 거리로 이동시킴에 따라서, 시각적 단서는 더 좁게 그리고 더 뾰족하게 된다. 핸드-헬드 디바이스가, 사용자가 사지를 다시 그의 원래 위치로 이동시키는 것을 검출함에 따라서, 핸드-헬드 디바이스는 사지의 폭 및 형상을 정상으로 복귀시킬 수 있다. 따라서, 디스플레이 유닛에 의해 디스플레이된 것과 같이, 시각적 단서의 폭 및 날카로움이 사지를 앞뒤로 이동시킴으로써 사용자에 의해 용이하게 조절가능할 수 있다. 또한, 핸드-헬드 디바이스에 의해 생성되고 사용자 사지를 이용하여 디스플레이 유닛 상에 디스플레이된 시각적 단서는 완드에 부여된 더 미세한 입도의 이점들을 제공한다. 디스플레이 유닛 상에 디스플레이된 것과 같이 사용자의 사지의 좁히기 및 뾰족하게 하기는, 사용자가 훨씬 더 미세한 입도로 물체들을 선택하거나 또는 조정하도록 허용한다. 또한, 시각적 단서의 이용은 사용자가 디스플레이 유닛에 의한 물체들의 통상적인 디스플레이에서 물체들을 선택하고 조정하도록 허용한다. 예를 들어, 시각적 단서는 사용자가 더 미세한 입도를 필요로 하고 피쳐 리치형 Photoshop®인 애플리케이션들로 작업하도록, 또는 군중을 디스플레이하는 사진으로부터 한 사람을 간단히 선택하도록 허용할 수 있다. 유사하게, 증강 현실 설정에서, 미세한 입도를 갖는 시각적 단서로의 인스턴트 액세스는, 사용자가 후방 카메라의 화각 내에 있고 그리고 핸드-헬드 디바이스의 디스플레이 유닛 상에 디스플레이된 군중으로부터 훨씬 더 쉽게 한 사람을 선택하도록 허용할 것이다.
도 7에 도시된 특정 단계들이 본 발명의 실시예에 따라서 동작의 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것을 인식해야 한다. 단계들의 다른 시퀀스들도 또한 이에 따라 대안적인 실시예들에서 수행될 수 있다. 예를 들어, 본 발명의 대안적인 실시예들이 앞서 개략된 단계들을 상이한 순서로 수행할 수 있다. 설명을 위해, 사용자는 동작의 제 3 모드에서 동작의 제 1 모드로, 제 4 모드에서 제 2 모드로, 또는 그들 사이의 임의의 조합으로 변경시키도록 선택할 수 있다. 게다가, 도 7에 도시된 개별적인 단계들은 그 개별적인 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 추가적인 단계들이 특정 애플리케이션들에 따라 부가되거나 또는 제거될 수 있다. 당업자는 방법(700)의 수많은 변화들, 변형들 및 대안들을 인식하고 이해할 수 있다.
도 8은 컴퓨터 비젼 애플리케이션에서 상호작용 반경을 확대하기 위한 방법(800)을 도시하는 또 다른 간략화된 흐름도이다. 방법(800)은 하드웨어(회로, 전용 로직 등), (예를 들어, 범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는) 소프트웨어, 펌웨어(내장된 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일 실시예에서, 방법(800)은 도 9의 디바이스(900)에 의해 수행된다. 방법(800)은 도 1, 도 2, 및 도 3에 설명된 구성 설정들로 수행될 수 있다.
도 8을 참조하여, 블록(802)에서, 사용자는 핸드-헬드 디바이스의 입력 감지 디바이스의 화각에서 사전-정의된 제스쳐를 생성한다. 사전-정의된 제스쳐는 디바이스의 입력 감지 유닛에 의해 전자적으로 검출된다. 일 실시예에서, 입력 감지 유닛은 카메라이다. 핸드-헬드 디바이스는 전방 카메라 및/또는 후방 카메라를 가질 수 있다. 몇몇 구현들에서, 전방 카메라 및 디스플레이 유닛은 핸드-헬드 디바이스의 동일한 측면에 위치되어, 사용자가 핸드-헬드 디바이스의 디스플레이 유닛과 상호작용할 때 전방 카메라는 사용자를 향한다. 후방 카메라는, 수많은 경우들에서, 핸드-헬드 디바이스의 반대 측면에 위치될 수 있다. 사용하는 동안, 디바이스에 커플링된 후방 카메라는 사용자로부터 먼 방향을 향할 수 있다.
제스쳐에 응답하여, 블록(804)에서, 핸드-헬드 디바이스는 사용자의 사지의 모션 및 그 모션의 방향을 추적하는 단계를 시작한다. 일 실시예에서, 핸드-헬드 디바이스는 블록(802)에서, 사전-정의된 제스쳐를 검출하는 것에 응답하여 특별 모드를 활성화한다. 핸드-헬드 디바이스가 이러한 특별 모드에 있는 경우, 특정 사지들과 관련된 모션은 핸드-헬드 디바이스가 그 특별 모드에 있는 지속기간 동안 추적될 수 있다. 핸드헬드 디바이스는 사전-정의된 방향에서 또는 사전-정의된 속력으로 또는 더 빠르게 모션을 추적할 수 있다. 블록(806)에서, 시각적 단서는 사지가 카메라로부터 더 멀리 이동하는 것에 응답하여 디스플레이 유닛에 의해 제시된 화각으로 더 확대된다. 유사하게, 사용자의 사지가 카메라를 향해서 철회되면, 시각적 단서도 또한 디스플레이 유닛 상에 제시된 화각에서 수축할 수 있다. 블록(808)에서, 디바이스는 확대된 시각적 단서를 사용하여, 디스플레이 유닛에 의해 제시된 화각에서 사용자에 의해 조작되는 것과 같이 물체와 상호작용한다.
도 8에 도시된 특정 단계들이 본 발명의 실시예에 따라서 동작의 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것을 인식해야 한다. 또한, 단계들의 다른 시퀀스들도 대안적인 실시예들에서 이에 따라 수행될 수 있다. 예를 들어, 본 발명의 대안적인 실시예들이 앞서 개략된 단계들을 상이한 순서로 수행할 수 있다. 설명을 위해, 사용자는 동작의 제 3 모드로부터 동작의 제 1 모드로, 제 4 모드에서 제 2 모드로, 또는 그들 사이의 임의의 조합으로 변경하도록 선택할 수 있다. 또한, 도 8에 도시된 개별적인 단계들은 그 개별적인 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 추가적인 단계들이 특정 애플리케이션들에 따라 부가되거나 또는 제거될 수 있다. 당업자는 방법(800)의 수많은 변화들, 변형들 및 대안들을 인식하고 이해할 것이다.
도 9에 도시된 것과 같은 컴퓨터 시스템은 사전에 설명된 컴퓨터화된 디바이스의 일부로서 통합될 수 있다. 예를 들어, 디바이스(900)는 핸드-헬드 디바이스의 컴포넌트들 중 일부를 나타낼 수 있다. 핸드-헬드 디바이스는 카메라와 같은 입력 감지 유닛 및 디스플레이 유닛을 갖는 임의의 컴퓨팅 디바이스일 수 있다. 핸드-헬드 디바이스의 예시들은 비디오 게임 콘솔들, 태블릿들, 스마트 폰들, 포인트-앤-슛 카메라들, 개인 휴대정보 단말기들 및 모바일 디바이스들을 포함하지만 이에 제한되지 않는다. 도 9는, 본원에 설명된 바와 같이, 다양한 다른 실시예들에 의해 제공된 방법들을 수행할 수 있고, 그리고/또는 호스트 컴퓨터 시스템, 원격 키오스크/단말기, 매장(point-of-sale) 디바이스, 모바일 디바이스, 셋-톱 박스 및/또는 컴퓨터 시스템으로서 기능할 수 있는 디바이스(900)의 일 실시예의 개략적인 도면을 제공한다. 도 9는 오직 다양한 컴포넌트들의 일반화된 예시를 제공하도록 의도되며, 이들 중 일부 또는 전부는 적절하게 활용될 수 있다. 따라서, 도 9는 개별적인 시스템 엘리먼트들이 어떻게 상대적으로 분리되는 방식 또는 상대적으로 더 통합되는 방식으로 구현될 수 있는지를 광범위하게 예시한다.
버스(905)를 통해서 전자적으로 커플링될 수 있는 (또는, 그렇지 않으면 적절하게 통신할 수 있는) 하드웨어 엘리먼트들을 포함하는 디바이스(900)가 도시된다. 하드웨어 엘리먼트들은, 하나 또는 그 초과의 범용 프로세서들 및/또는 하나 또는 그 초과의 특수-목적 프로세서들(예컨대, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들, 등)을 포함하지만 이에 제한되지 않는 하나 또는 그 초과의 프로세서들(910); 카메라, 마우스, 키보드 등을 포함할 수 있지만 이에 제한되지 않는 하나 또는 그 초과의 입력 디바이스들(915); 및 디스플레이 유닛, 프린터 등을 포함할 수 있지만 이에 제한되지 않는 하나 또는 그 초과의 출력 디바이스들(920)을 포함할 수 있다.
디바이스(900)는 하나 또는 그 초과의 비일시적 저장 디바이스들(925)을 더 포함할 수 있으며(그리고/또는 이와 통신할 수 있음), 이 비일시적 스토리지 디바이스들은 로컬 및/또는 네트워크 액세스 가능한 스토리지(이것으로 제한되지 않음)를 포함할 수 있고, 그리고/또는 디스크 드라이브, 디스크 어레이, 광학 스토리지 디바이스, 고체-상태 스토리지 디바이스, 이를 테면, 랜덤 액세스 메모리("RAM") 및/또는 판독-전용 메모리("ROM")를 포함할 수 있으며(이것으로 제한되지 않음), 이들은 프로그래밍 가능하고, 플래시-업데이트 가능한 식일 수 있다. 이러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하지만 이에 제한되지 않는 임의의 적절한 데이터 저장소를 구현하도록 구성될 수 있다.
또한, 디바이스(900)는 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(예컨대, Bluetooth™ 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등) 등을 포함할 수 있지만 이에 제한되지 않는 통신 서브시스템(930)을 포함할 수 있다. 통신 서브시스템(930)은 (하나의 예시를 들면, 아래 설명된 네트워크와 같은)네트워크, 다른 컴퓨터 시스템들, 및/또는 본원에 설명된 임의의 다른 디바이스들과 데이터가 교환되도록 허용할 수 있다. 수많은 실시예들에서, 디바이스(900)는, 앞서 설명된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는, 비-일시적 작업 메모리(935)를 더 포함할 것이다.
본원에 설명된 바와 같이, 디바이스(900)는 또한, 오퍼레이팅 시스템(940), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다른 코드, 예컨대, 다양한 실시예들에 의해 제공된 컴퓨터 프로그램들을 포함할 수 있고 그리고/또는 방법들을 구현하고 그리고/또는 다른 실시예들에 의해 제공된 시스템들을 구성하도록 설계될 수 있는 하나 또는 그 초과의 애플리케이션 프로그램들(945)을 포함하는, 작업 메모리(935) 내에 현재 위치되는 것으로 도시된 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예시의 방법으로, 앞서 논의된 방법(들)을 참조하여 설명된 하나 또는 그 초과의 절차들이 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고; 그 다음, 일 양상에서, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라서 하나 또는 그 초과의 동작들을 수행하기 위해 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응하는데 이용될 수 있다.
이러한 명령들 및/또는 코드의 일 세트는, 컴퓨터-판독가능 저장 매체, 예컨대, 앞서 설명된 저장 디바이스(들)(925) 상에 저장될 수 있다. 몇몇 경우들에서, 저장 매체는 디바이스(900)와 같은 컴퓨터 시스템 내에 통합될 수 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템으로부터 분리될 수 있고(예컨대, 콤팩트 디스크와 같은 탈착식 매체), 그리고/또는 설치 패키지에 제공될 수 있어서, 저장소 매체는 그에 저장된 명령들/코드를 이용하여 범용 컴퓨터를 프로그래밍하고, 구성하고 그리고/또는 적응하는데 이용될 수 있다. 이러한 명령들은 디바이스(900)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 그리고/또는 (예를 들어, 임의의 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 이용하여) 디바이스(900) 상에서의 편집 및/또는 설치시에 실행가능 코드의 형태를 취하는 소스 및/또는 설치가능 코드의 형태를 취할 수 있다.
상당한 변화들이 특정 요건들에 따라서 행해질 수 있다. 예를 들어, 고객맞춤형 하드웨어가 또한 이용될 수 있고, 그리고/또는 특정 엘리먼트들이 하드웨어, 소프트웨어(애플릿들 등과 같은 포터블 소프트웨어를 포함), 또는 둘 다에서 구현될 수 있다. 게다가, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 접속이 사용될 수 있다.
몇몇 실시예들은 본 개시물에 따라서 방법들을 수행하기 위해 컴퓨터 시스템 또는 디바이스(예컨대, 디바이스(900))를 사용할 수 있다. 예를 들어, 설명된 방법들의 몇몇 또는 모든 절차들은 작업 메모리(935)에 포함된 (애플리케이션 프로그램(945)과 같은 오퍼레이팅 시스템(940) 및/또는 다른 코드로 통합될 수 있는) 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세서(910)에 응답하여 디바이스(900)에 의해 수행될 수 있다. 이러한 명령들은 다른 컴퓨터-판독가능 매체, 예컨대, 저장 디바이스(들)(925) 중 하나 또는 그 초과로부터 작업 메모리(935)로 판독될 수 있다. 단지 예시에 의해, 작업 메모리(935)에 포함된 명령들의 시퀀스들의 실행은, 프로세서(들)(910)가 본원에 설명된 방법들의 하나 또는 그 초과의 절차들을 수행하게 할 수 있다.
본원에 이용된 것과 같은 용어들 "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"는 머신이 특정 방식으로 동작하게 하는 데이터를 제공하는데 참여하는 임의의 매체를 지칭한다. 디바이스(900)를 이용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능 매체는 실행을 위해 프로세서(들)(910)에 명령들/코드를 제공하는데 수반될 수 있고 그리고/또는 (예컨대, 신호들로서)이러한 명령들/코드를 저장 및/또는 반송하는데 이용될 수 있다. 수많은 구현들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는, 비-휘발성 매체, 휘발성 매체, 및 송신 매체를 포함하지만 이에 제한되지 않는 수많은 형태들을 취할 수 있다. 예를 들어, 비-휘발성 매체는 저장 디바이스(들)(925)와 같은 광학적 및/또는 자기적 디스크들을 포함한다. 휘발성 매체는, 작업 메모리(935)와 같은 동적 메모리를 포함하지만 이에 제한되지 않는다. 송신 매체는 버스(905)를 포함하는 와이어들을 포함하는, 동축 케이블들, 구리 와이어 및 광섬유들뿐만 아니라, 통신 서브시스템(930)의 다양한 컴포넌트들(및/또는 통신 서브시스템(930)이 다른 디바이스들과의 통신을 제공하는 매체)을 포함하지만 이에 제한되지 않는다. 그런 이유로, 송신 매체는 또한 (라디오-파형 및 적외선 데이터 통신들 동안 발생된 것들과 같은, 라디오, 어쿠스틱 및/또는 광 파형들을 포함하지만 이에 제한되지 않음) 파형들의 형태를 취할 수 있다.
물리적 및/또는 유형의 컴퓨터-판독가능 매체의 공통 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 페이퍼테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이하 설명되는 것과 같은 반송파, 또는 컴퓨터가 그로부터 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
컴퓨터-판독가능 매체의 다양한 형태들은 실행을 위해 프로세서(들)(910)에 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 전달하는데 수반될 수 있다. 단지 예시의 방법으로, 명령들은 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 초기에 반송될 수 있다. 원격 컴퓨터는 자신의 동적 메모리로 명령들을 로딩할 수 있고, 디바이스(900)에 의해 수신 및/또는 실행될 신호들로서 명령들을 송신 매체를 통해서 전송할 수 있다. 전자기 신호들, 어쿠스틱 신호들, 광학 신호들 등의 형태일 수 있는 이러한 신호들은 모두, 본 발명의 다양한 실시예들에 따라서 명령들이 인코딩될 수 있는 반송파들의 예시들이다.
통신 서브시스템(930)(및/또는 그 컴포넌트들)은 일반적으로 신호들을 수신할 것이며, 그후 버스(905)는 그 신호들(및/또는 그 신호들에 의해 반송된 데이터, 명령들 등)을 작업 메모리(935)에 반송할 수 있으며, 이 작업 메모리(935)로부터 프로세서(들)(910)가 명령들을 리트리브하고 실행한다. 선택적으로, 작업 메모리(935)에 의해 수신된 명령들은 프로세서(들)(910)에 의한 실행 이전에 또는 이후에 비-일시적 저장 디바이스(925) 상에 저장될 수 있다.
앞서 논의된 방법들, 시스템들, 및 디바이스들은 예시들이다. 다양한 실시예들은 적절하게 다양한 절차들 또는 컴포넌트들을 생략, 치환, 또는 부가할 수 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 그 설명된 것과는 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 부가, 생략, 및/또는 조합될 수 있다. 또한, 특정 실시예들과 관련하여 설명된 특징들은 다양한 다른 실시예들에서 조합될 수 있다. 실시예들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 또한, 기술은 진화하고, 이에 따라 수많은 엘리먼트들은 본 개시의 범위를 이러한 특정 예시들로 제한하지 않는 예시들이다.
실시예들의 전체적인 이해를 제공하기 위해 상세한 설명에 구체적인 세부사항들이 제공된다. 그러나, 실시예들은 이러한 구체적인 세부사항들 없이도 실행될 수 있다. 예를 들어, 잘-알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 그 실시예들을 모호하게 하는 것을 회피하기 위해 불필요한 세부사항 없이 나타내었다. 이러한 상세한 설명은 오직 예시적인 실시예들만을 제공하며, 본 발명의 범위, 적용가능성, 또는 구성을 제한하는 것으로 의도되지 않는다. 오히려, 실시예들의 앞선 상세한 설명은 당업자에게 본 발명의 실시예들을 구현하기 위한 가능한 설명을 제공할 것이다. 본 발명의 사상 및 범위로부터 벗어나지 않고 엘리먼트들의 기능 및 배열에 대한 다양한 변화들이 행해질 수 있다.
또한, 몇몇 실시예들은 흐름도들 또는 블록도들로서 도시된 프로세스들로서 설명되었다. 각각이 순차적인 프로세스로서 동작들을 설명할 수 있지만, 수많은 동작들이 병행하여 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 게다가, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 관련 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 컴퓨터-판독가능 매체에 저장될 수 있다. 프로세서들은 관련 태스크들을 수행할 수 있다.
몇몇 실시예들을 설명했지만, 다양한 변형들, 대안적인 구성들, 및 균등물이 본 개시물의 사상을 벗어나지 않고 이용될 수 있다. 예를 들어, 앞선 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있고, 여기서 다른 규칙들이 본 발명의 애플리케이션보다 우선하거나 또는 그렇지 않으면 그 애플리케이션을 변형시킬 수 있다. 또한, 앞선 엘리먼트들이 고려되기 이전, 동안, 또는 이후에 수많은 단계들이 착수될 수 있다. 이에 따라, 앞선 상세한 설명은 본 개시물의 범위를 제한되지 않는다.

Claims (31)

  1. 컴퓨터 비젼 애플리케이션(computer vision application)들을 강화하기 위한 방법으로서,
    디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지(extremity)에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계;
    상기 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 상기 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서(visual cue)의 형상을 변경하는 단계; 및
    상기 사용자의 사지의 움직임을 검출하는 것에 응답하여 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서를 업데이트하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 화각(field of view)으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 더 확대하는 단계를 포함하는,
    방법.
  3. 제 1 항에 있어서,
    상기 시각적 단서는 상기 사용자의 사지의 표현(representation)을 포함하고,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 상기 사용자의 사지의 상기 표현의 팁을 좁히는(narrowing) 단계를 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 디바이스는 상기 카메라의 화각에서 사용자의 사지에 의해 생성된 상기 사전-정의된 제스쳐를 검출하고,
    상기 카메라는 후방(rear-facing) 카메라인,
    방법.
  5. 제 1 항에 있어서,
    상기 디바이스는 상기 카메라의 화각에서 사용자의 사지에 의해 생성된 상기 사전-정의된 제스쳐를 검출하고,
    상기 카메라는 전방(front-facing) 카메라인,
    방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고,
    상기 제 1 제스쳐의 검출시에 상기 디바이스는 상기 시각적 단서의 상기 형상을 변경하는 것을 허용하는 모드를 활성화하고, 상기 제 2 제스쳐의 검출시에 상기 디바이스는 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서의 형상을 변경하는,
    방법.
  7. 제 1 항에 있어서,
    상기 시각적 단서는 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 상기 사용자의 사지의 확대의 표현을 포함하는,
    방법.
  8. 제 1 항에 있어서,
    상기 시각적 단서는, 상기 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함하는,
    방법.
  9. 제 2 항에 있어서,
    상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계는:
    상기 사용자의 사지의 움직임 및 상기 움직임의 방향을 추적하는 단계; 및
    상기 사용자의 사지의 상기 움직임의 방향으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계 ― 상기 디바이스의 상기 디스플레이 유닛 상에 표현된 상기 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 상기 사용자의 사지의 상기 움직임에 정비례함 ― 를 포함하는,
    방법.
  10. 제 1 항에 있어서,
    상기 디바이스는 핸드-헬드 디바이스, 비디오 게임 콘솔, 태블릿, 스마트 폰, 포인트-앤-슛 카메라, 개인 휴대정보 단말기 및 모바일 디바이스 중 하나인,
    방법.
  11. 디바이스로서,
    프로세서;
    상기 프로세서에 커플링된 카메라;
    상기 프로세서에 커플링된 디스플레이 유닛; 및
    상기 프로세서에 커플링된 비-일시적 컴퓨터 판독가능 저장 매체를 포함하고,
    상기 비-일시적 컴퓨터 판독가능 저장 매체는:
    상기 디바이스에 커플링된 상기 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계;
    상기 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 상기 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하는 단계; 및
    상기 사용자의 사지의 움직임을 검출하는 것에 응답하여 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서를 업데이트하는 단계
    를 포함하는 방법을 구현하기 위해 상기 프로세서에 의해 실행가능한 코드를 포함하는,
    디바이스.
  12. 제 11 항에 있어서,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 화각으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 더 확대하는 단계를 포함하는,
    디바이스.
  13. 제 11 항에 있어서,
    상기 시각적 단서는 상기 사용자의 사지의 표현을 포함하고,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 상기 사용자의 사지의 상기 표현의 팁을 좁히는 단계를 포함하는,
    디바이스.
  14. 제 11 항에 있어서,
    상기 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고,
    상기 제 1 제스쳐의 검출시에 상기 디바이스는 상기 시각적 단서의 상기 형상을 변경하는 것을 허용하는 모드를 활성화하고, 상기 제 2 제스쳐의 검출시에 상기 디바이스는 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서의 형상을 변경하는,
    디바이스.
  15. 제 11 항에 있어서,
    상기 시각적 단서는 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 상기 사용자의 사지의 확대의 표현을 포함하는,
    디바이스.
  16. 제 11 항에 있어서,
    상기 시각적 단서는, 상기 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함하는,
    디바이스.
  17. 제 12 항에 있어서,
    상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계는:
    상기 사용자의 사지의 움직임 및 상기 움직임의 방향을 추적하는 단계; 및
    상기 사용자의 사지의 상기 움직임의 방향으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계 ― 상기 디바이스의 상기 디스플레이 유닛 상에 표현된 상기 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 상기 사용자의 사지의 상기 움직임에 정비례함 ― 를 포함하는,
    디바이스.
  18. 프로세서에 커플링된 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 비-일시적 컴퓨터 판독가능 저장 매체는:
    디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하는 단계;
    상기 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 상기 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하는 단계; 및
    상기 사용자의 사지의 움직임을 검출하는 것에 응답하여 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서를 업데이트하는 단계
    를 포함하는 방법을 구현하기 위해 상기 프로세서에 의해 실행가능한 컴퓨터 프로그램을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 화각으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 더 확대하는 단계를 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  20. 제 18 항에 있어서,
    상기 시각적 단서는 상기 사용자의 사지의 표현을 포함하고,
    상기 시각적 단서의 형상을 변경하는 단계는, 상기 디스플레이 유닛에 의해 제시된 상기 사용자의 사지의 상기 표현의 팁을 좁히는 단계를 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  21. 제 18 항에 있어서,
    상기 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고,
    상기 제 1 제스쳐의 검출시에 상기 디바이스는 상기 시각적 단서의 상기 형상을 변경하는 것을 허용하는 모드를 활성화하고, 상기 제 2 제스쳐의 검출시에 상기 디바이스는 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서의 형상을 변경하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  22. 제 18 항에 있어서,
    상기 시각적 단서는 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 상기 사용자의 사지의 확대의 표현을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  23. 제 18 항에 있어서,
    상기 시각적 단서는, 상기 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  24. 제 19 항에 있어서,
    상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계는:
    상기 사용자의 사지의 움직임 및 상기 움직임의 방향을 추적하는 단계; 및
    상기 사용자의 사지의 상기 움직임의 방향으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 단계 ― 상기 디바이스의 상기 디스플레이 유닛 상에 표현된 상기 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 상기 사용자의 사지의 상기 움직임에 정비례함 ― 를 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  25. 컴퓨터 비젼을 강화하기 위한 방법을 수행하는 장치로서,
    상기 방법은:
    디바이스에 커플링된 카메라에 의해 획득되는 것과 같은 사용자의 사지에 의해 생성된 적어도 하나의 사전-정의된 제스쳐를 전자적으로 검출하기 위한 수단;
    상기 적어도 하나의 사전-정의된 제스쳐를 검출하는 것에 응답하여, 상기 디바이스에 커플링된 디스플레이 유닛 상에서 시각적 단서의 형상을 변경하기 위한 수단; 및
    상기 사용자의 사지의 움직임을 검출하는 것에 응답하여 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서를 업데이트하기 위한 수단을 포함하는,
    장치.
  26. 제 25 항에 있어서,
    상기 시각적 단서의 형상을 변경하는 것은, 상기 디스플레이 유닛에 의해 제시된 화각으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 더 확대하기 위한 수단을 포함하는,
    장치.
  27. 제 25 항에 있어서,
    상기 시각적 단서는 상기 사용자의 사지의 표현을 포함하고,
    상기 시각적 단서의 형상을 변경하는 것은, 상기 디스플레이 유닛에 의해 제시된 상기 사용자의 사지의 상기 표현의 팁을 좁히는 것을 포함하는,
    장치.
  28. 제 25 항에 있어서,
    상기 적어도 하나의 사전-정의된 제스쳐는 제 1 제스쳐 및 제 2 제스쳐를 포함하고,
    상기 제 1 제스쳐의 검출시에 상기 디바이스는 상기 시각적 단서의 상기 형상을 변경하는 것을 허용하는 모드를 활성화하기 위한 수단을 제공하고, 상기 제 2 제스쳐의 검출시에 상기 디바이스는 상기 디스플레이 유닛 상에 디스플레이된 상기 시각적 단서의 형상을 변경하기 위한 수단을 제공하는,
    장치.
  29. 제 25 항에 있어서,
    상기 시각적 단서는 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 상기 사용자의 사지의 확대의 표현을 포함하는,
    장치.
  30. 제 25 항에 있어서,
    상기 시각적 단서는, 상기 적어도 하나의 사전-정의된 제스쳐에 의해 선택되고 그리고 상기 디바이스에 커플링된 상기 디스플레이 유닛 상에 디스플레이된 가상 물체를 포함하는,
    장치.
  31. 제 26 항에 있어서,
    상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하는 것은:
    상기 사용자의 사지의 움직임 및 상기 움직임의 방향을 추적하기 위한 수단; 및
    상기 사용자의 사지의 상기 움직임의 방향으로 상기 디스플레이 유닛 상의 상기 시각적 단서를 확대하기 위한 수단 ― 상기 디바이스의 상기 디스플레이 유닛 상에 표현된 상기 시각적 단서를 특정 방향으로 확대하는 것은 그 방향에서 상기 사용자의 사지의 상기 움직임에 정비례함 ― 을 포함하는,
    장치.
KR1020147001641A 2011-06-21 2012-04-30 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법 KR101603680B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161499645P 2011-06-21 2011-06-21
US61/499,645 2011-06-21
US13/457,840 US20120326966A1 (en) 2011-06-21 2012-04-27 Gesture-controlled technique to expand interaction radius in computer vision applications
US13/457,840 2012-04-27
PCT/US2012/035829 WO2012177322A1 (en) 2011-06-21 2012-04-30 Gesture-controlled technique to expand interaction radius in computer vision applications

Publications (2)

Publication Number Publication Date
KR20140040246A true KR20140040246A (ko) 2014-04-02
KR101603680B1 KR101603680B1 (ko) 2016-03-15

Family

ID=47361360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147001641A KR101603680B1 (ko) 2011-06-21 2012-04-30 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법

Country Status (6)

Country Link
US (1) US20120326966A1 (ko)
EP (1) EP2724210A1 (ko)
JP (1) JP5833750B2 (ko)
KR (1) KR101603680B1 (ko)
CN (1) CN103620526B (ko)
WO (1) WO2012177322A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
SE536902C2 (sv) * 2013-01-22 2014-10-21 Crunchfish Ab Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP6514889B2 (ja) 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10354446B2 (en) * 2016-04-13 2019-07-16 Google Llc Methods and apparatus to navigate within virtual-reality environments
EP3454174B1 (en) 2017-09-08 2023-11-15 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
CN108079572B (zh) * 2017-12-07 2021-06-04 网易（杭州）网络有限公司 信息处理方法、电子设备及存储介质
JP2019149066A (ja) 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7155613B2 (ja) 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2020123281A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20240201787A1 (en) * 2022-12-19 2024-06-20 T-Mobile Usa, Inc. Hand-movement based interaction with augmented reality objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801704A (en) * 1994-08-22 1998-09-01 Hitachi, Ltd. Three-dimensional input device with displayed legend and shape-changing cursor
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP2010160784A (ja) * 2008-09-04 2010-07-22 Northrop Grumman Space & Mission Systems Corp ジェスチャ認識を利用するセキュリティシステム
US20100306710A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Living cursor control mechanics

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP2002290529A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
US20030043271A1 (en) * 2001-09-04 2003-03-06 Koninklijke Philips Electronics N.V. Computer interface system and method
KR101205652B1 (ko) * 2005-04-01 2012-11-27 샤프 가부시키가이샤 휴대 정보 단말 장치 및 표시 단말 장치
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP4757132B2 (ja) * 2006-07-25 2011-08-24 アルパイン株式会社 データ入力装置
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP4771183B2 (ja) * 2009-01-30 2011-09-14 株式会社デンソー 操作装置
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801704A (en) * 1994-08-22 1998-09-01 Hitachi, Ltd. Three-dimensional input device with displayed legend and shape-changing cursor
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP2010160784A (ja) * 2008-09-04 2010-07-22 Northrop Grumman Space & Mission Systems Corp ジェスチャ認識を利用するセキュリティシステム
US20100306710A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Living cursor control mechanics

Also Published As

Publication number Publication date
US20120326966A1 (en) 2012-12-27
JP2014520339A (ja) 2014-08-21
CN103620526B (zh) 2017-07-21
WO2012177322A1 (en) 2012-12-27
KR101603680B1 (ko) 2016-03-15
EP2724210A1 (en) 2014-04-30
JP5833750B2 (ja) 2015-12-16
CN103620526A (zh) 2014-03-05

Similar Documents

Publication Publication Date Title
KR101603680B1 (ko) 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
CN107077169B (zh) 扩增现实中的空间交互
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
US9030498B2 (en) Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
US10191612B2 (en) Three-dimensional virtualization
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
JP2013037675A5 (ko)
WO2018231457A1 (en) Displacement oriented interaction in computer-mediated reality
WO2012040827A2 (en) Interactive input system having a 3d input space
CN110488972B (zh) 用于空间交互中的额外模态的面部跟踪
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9891713B2 (en) User input processing method and apparatus using vision sensor
Hansen et al. Use your head: exploring face tracking for mobile interaction
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee