KR20110086111A - 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어 - Google Patents

이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어 Download PDF

Info

Publication number
KR20110086111A
KR20110086111A KR1020117011612A KR20117011612A KR20110086111A KR 20110086111 A KR20110086111 A KR 20110086111A KR 1020117011612 A KR1020117011612 A KR 1020117011612A KR 20117011612 A KR20117011612 A KR 20117011612A KR 20110086111 A KR20110086111 A KR 20110086111A
Authority
KR
South Korea
Prior art keywords
pixel group
group
sdv
foreground
pixel
Prior art date
Application number
KR1020117011612A
Other languages
English (en)
Other versions
KR101526644B1 (ko
Inventor
도르 기본
요람 엘리차이
Original Assignee
익스트림 리얼리티 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 익스트림 리얼리티 엘티디. filed Critical 익스트림 리얼리티 엘티디.
Publication of KR20110086111A publication Critical patent/KR20110086111A/ko
Application granted granted Critical
Publication of KR101526644B1 publication Critical patent/KR101526644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

유저의 1개 이상의 2차원 이미지를 취득할 수 있는 이미지 취득 어셈블리를 포함하는 이미지 기반 인간 기계 인터페이스가 개시되고, 실질적으로 각 이미지가 다른 시점에 결합될 수 있다. 인간 기계 인터페이스는 백그라운드 또는 포어그라운드로서 픽셀의 1개 이상의 그룹을 분류할 수 있는 처리 유닛을 더 포함한다.

Description

이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어{METHOD SYSTEM AND SOFTWARE FOR PROVIDING IMAGE SENSOR BASED HUMAN MACHINE INTERFACING}
본 발명은 일반적으로 인간 기계 인터페이스 분야에 관한 것이다. 보다 구체적으로, 본 발명은 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템, 결합 모듈, 및 소프트웨어 컴포넌트에 관한 것이다.
소프트웨어의 히스토리에서 가장 큰 패턴 중의 하나는 계산 집중 설계로부터 프리젠테이션 집중 설계이다. 기계가 점점 더 강력해짐에 따라, 발명자는 프리젠테이션에 그 파워의 단편을 지속적으로 증가시켰다. 진보의 역사는 배치(batch)(1945-1968), 커맨드라인(1969-1983), 및 그래픽(1984 및 이후)으로 편리하게 3개의 시기로 구분될 수 있다. 스토리는 물론 디지털 컴퓨터의 발명으로 시작한다. 이후 두 시대의 개시일은 중요한 새로운 인터페이스 기술이 실험실에서 발생해서 중요한 방법으로 유저의 기대를 바꾸기 시작한 해이다. 그러한 기술은 쌍방향의 시분할 방식과 그래픽 유저 인터페이스이다.
배치 시대에서 컴퓨팅 전력은 대단히 부족하고 고가였다. 통상의 토스터기 또는 전자레인지보다 매초 작은 로직 사이클을 명령한 그 시기의 가장 크고 가장 강력한 컴퓨터는 오늘날 현재의 차, 디지털 시계, 또는 휴대폰보다 매우 적은 비트이다. 따라서, 유저 인터페이스가 가장 기본적이다. 유저는 유저 인터페이스가 비용으로 여겨졌고 소프트웨어는 프로세서가 가능한 한 적은 비용으로 최대의 이용으로 유지하도록 설계되어 다른 방법보다 컴퓨터에 적응해야 했다.
배치 기계에 대한 유저 인터페이스의 입력측은 종이 테이프 등의 주로 펀치 카드 또는 동등한 미디어가 있었다. 출력측이 이들 미디어의 라인 프린터에 더해졌다. 시스템 조작자의 한정된 콘솔을 제외하고, 인간은 실시간으로 배치 기계와 전혀 상호 작용하지 않았다.
작업과 관련된 배치 기계에 따르게 하는 것은 먼저 프로그램과 데이터 세트를 기재하는 한 쌍의 펀치 카드를 준비하는 것이다. 프로그램 카드를 펀칭하는 것은 컴퓨터 자체에서 수행되지 않았지만 주지의 발키(balky), 힘들고 기계 고장이 쉬운 특화된 타자기 등의 기계에서 수행되었다. 소프트웨어 인터페이스는 가장 작게 가능한 컴파일러와 해석기에 의해 분석되는 것을 의미하는 매우 엄격한 에러로 마찬가지로 힘들었다.
카드가 펀칭되면 하나는 작업 대기 행렬과 대기에서 그들을 드롭할 것이다. 최후에, 조작자는 아마도 마그네틱 테이프를 다른 데이터 세트 또는 조력 소프트웨어에 공급하기 위해 장착하는 컴퓨터에 데크(deck)를 공급할 수 있다. 작업은 최종 결과(모두 너무 자주) 또는 첨부된 에러 로그와 함께 중단 통지를 포함하는 인쇄물을 생성할 것이다. 성공적인 수행도 마그네틱 테이프에 결과를 기재하거나 최후의 계산에 사용되는 일부 데이터 카드를 생성할 것이다.
단일 작업에 대한 소요 시간은 종종 전체 하루 종일 걸렸다. 매우 운이 좋으면, 실시간 응답은 들어본 적 없는 몇 시간일 것이다. 그러나, 카드 큐; 콘솔 스위치를 사용하는 바이너리 코드에서 프로그램의 토글링의 훨씬 더 싫증나고 에러 유발 처리가 실제로 요구된 일부 컴퓨터보다 나빴다. 매우 최신의 기계는 실제로 플러그판으로서 알려진 장치를 사용하여 합병된 프로그램 로직에 부분적으로 재배선되었다.
초기 배치 시스템은 프로그램 데크와 테이프가 I/O 장치와 교신하기 위한 동작-시스템 코드로서 생각하는 것을 포함하고, 다른 하우스키핑이 필요한 무엇이든지 해야 하는 현재 수행중인 작업을 전체 컴퓨터에 제공했다. 1957년 이후에 배치 시대를 통한 미드웨이는 다양한 그룹이 소위 "로드 앤 고(load-and-go)" 시스템으로 불리는 실험을 시작했다. 이것들은 컴퓨터에 항상 상주하는 모니터 프로그램을 사용했다. 프로그램은 서비스를 위한 모니터로 불릴 수 있다. 모니터의 다른 기능은 제출된 작업에 우수한 에러 검사, 빠르고 지적인 에러 캐칭과 유저에게 더 유용한 피드백을 생성했다. 따라서, 모니터는 동작 시스템과 명백하게 설계된 유저 인터페이스 양쪽에 대해 제 1 단계를 표현했다.
배치 모니터로부터 발전된 커맨드라인 인터페이스(CLI)는 시스템 콘솔로 발전되었다. 그들의 상호 작용 모델은 특화된 어휘의 텍스쳐 커맨드로서 표현되는 요구로 일련의 응답 요청 트랜잭션(request-response transactions)이었다. 레턴시(Latency)는 일 또는 시간으로부터 초로 드롭핑되는 배치 시스템에 대해 훨씬 더 낮았다. 따라서, 커맨드 라인 시스템은 유저가 빠른 결과에 실시간이나 거의 리얼타임 피드백에 응답해서 트랜잭션의 나중 단계에 대해 그 또는 그녀의 생각을 변경하도록 하게 했다. 소프트웨어는 이전에는 가능하지 않은 탐색적이고 쌍방향 방법일 수 있다. 그러나, 이들 인터페이스는 여전히 유저에게 마스터하기 위한 노력과 학습 시간의 상당한 투자를 요구하는 상대적으로 대량의 니모닉(mnemonic) 부하를 주었다.
커맨드 라인 인터페이스는 시분할 컴퓨터의 상승과 함께 밀접하게 관련되었다. 1950년대로 돌아가 보면 시분할 데이트의 개념은, 가장 영향력있는 초기 실험이 1965년 이후의 멀틱스(MULTICS) 오퍼레이팅 시스템이었고, 현대의 커맨드 라인 인터페이스에 가장 영향력 있기까지 1969년부터 시작한 유닉스로, 그 후에 대부분의 형태에 영향을 미쳤다.
최신의 커맨드 라인 시스템은 인간 사이의 와이어를 통해 정보 전달의 중개에 대해 효과적임을 증명한 성숙한 기술을 사용하는 컴퓨터와 텔레타이프(teletypes) 결합되었다. 텔레타이프는 자동의 텔레그래프 트랜스미션과 리셉션에 대한 장치로서 최초로 발명되었고, 그들은 1902년대로 올라가는 역사를 갖고 있고, 1920년까지 신문 편집실과 다른 곳에서 이미 우수하게 확립되었다. 그들을 재사용함에 있어서 경제뿐만아니라 심리학과 또한 최소 놀람의 원칙(Rule of Least Surprise) 문제가 분명히 고려되었고, 텔레타이프는 다수의 엔지니어와 유저에 친숙한 시스템과 인터페이스의 관점을 제공했다.
1970년대의 비디오 디스플레이 터미널(VDT)의 광범위한 사용은 커맨드 라인 시스템의 제 2 단계로 안내되었다. 또한 이들의 커트 레턴시는 특성이 프린터 헤드나 캐리지보다 훨씬 더 빠르게 화면의 형광체 도트에 드로잉되었기 때문에 이동할 수 있다. 그들은 코스트 픽쳐가 없는 소모할 수 있는 잉크나 종이를 커팅함으로써 쌍방향의 프로그래밍에 대한 방해를 억제하는 것에 도움이 되고, 1940년대의 컴퓨터 개척된 텔레타이프보다 훨씬 더 상징이 되고 충분한 1950년대 후반과 1960년대 세대의 제 1 TV에 있었다.
중요함뿐만 아니라 액세스가능한 화면의 존재는 신속하고 수정가능한 텍스트의 2차원 디스플레이가 소프트웨어 설계자들에 대해 경제적으로 텍스쳐보다 비쥬얼로서 기재될 수 있는 인터페이스를 배치하게 했다. 이런 종류의 애플리케이션을 개척하는 것은 컴퓨터 게임과 텍스트 에디터였고, 로그(rogue)(6) 및 Ⅵ(1) 등의 최초의 표본 일부의 밀접한 파생은 여전히 UNIX 전통의 라이브 파트이다.
스크린 비디오 디스플레이는 1961년으로 돌아가면 PDP-1만큼 빠른 미니컴퓨터에 보이는 완전히 새로운 것은 아니었다. 그러나, 시리얼 케이블을 통해 첨부된 VDT로 이동할 때까지 각각의 매우 비싼 컴퓨터는 그 콘솔에 하나의 어드레서블 디스플레이만 지지할 수 있었다. 그러한 조건 하에서 비주얼 UI를 개발하기 위한 어떤 전통적인 어려움도 없었고, 그러한 인터페이스는 전체 컴퓨터가 단일 유저에게 제공하기 위해 적어도 일시적으로 충실할 수 있는 드문 상황에서 오직 한 번만 설치되었다.
현재 1962년으로부터 그래픽 유저 인터페이스로 부르고 PDP-1에 SPACEWAR 게임을 개척하는 산발적인 실험이 있었다. 그 기계의 디스플레이는 단지 캐릭터 터미널은 아니지만 벡터 그래픽을 지지해서 이루어질 수 있는 수정된 오실로스코프이다. SPACEWAR 인터페이스는 주로 토글 스위치를 사용했지만, 제 1 천연의 트랙볼의 특징도 나타내고 플레이어 스스로에 의해 커스텀 빌트화된다(custom-built). 10년 후 1970년대 초반에 이들 실험은 비디오 게임 산업을 스퍼닝(spawning)했고, 실제로 SPACEWAR의 아케이드 버전을 생산하는 시도를 시작했다.
PDP-1 콘솔 디스플레이는 20년 앞서 MIT의 Lincoln Labs에서 미니컴퓨팅의 일부 중요한 개척자는 이전 레이더 기술자라는 사실을 반영하는 World War Ⅱ의 레이터 디스플레이 튜브로부터 유래되었다. 1962의 동일 년도에 대륙을 가로질러 다른 이전 레이더 기술자가 Stanford Research Institute에서 다른 트레일을 나타내기 시작했다. 그의 이름은 Doug Engelbart였다. 그는 이들의 매우 빠른 그래픽 디스플레이로 그의 개인적인 경험과 Vannevar Bush의 독창성있는 에세이 As We May Think 양쪽에 의해 영감을 받았었고, 오늘날 하이퍼텍스트라 불리는 비젼을 1945년에 나타냈었다.
1968년 12월에 SRI로부터 Engelbart와 그의 팀은 제 1 하이퍼텍스트 시스템인 NLS/Augment의 90-분 대중 시연을 했다. 시연은 3버튼 마우스(Engelbart의 발명), 멀티플 윈도우 인터페이스를 갖는 그래픽 디스플레이, 하이퍼링크, 온스크린 비디오 회의의 데뷔를 포함했다. 이 데모는 1991년에 World Wide Web의 발명을 포함하기까지 지난 25동안 컴퓨터 과학을 통해 반향한(reverberate) 중대한 센세이션이었다.
그래서, 1960년대와 마찬가지로 그래픽 프리젠테이션은 강력한 유저 경험을 위해 이루어진 것이 이미 잘 이해되었다. 마우스와 같은 포인팅 장치가 이미 발명되었고, 1960년대 후반의 다수의 메인프레임은 PDP-1의 그것과 비교할 수 있는 역량도 디스플레이했다. 저자 중 한명은 2004년에 구매한다면 대략 45만 달러를 지불하는 Univac 1108 메인프레임의 콘솔에 1968년의 다른 매우 빠른 비디오 게임을 플레잉하는 비비드 메모리를 보유했다. 45만 달러를 지불했지만 쌍방향의 그래픽을 위한 실제 고객은 거의 없었다. 반면에 저비용인 NLS/Augment 시스템의 커스텀 하드웨어는 일반적인 사용에 대해 여전히 고가였다. 수천 달러를 지불하는 PDP1도 그래픽 프로그래밍의 전통에 기초한 기계는 매우 비쌌다.
비디오 게임은 극히 저렴하고 간단한 프로세서에 내장된 프로그램을 수행시키기 때문에 컴퓨터보다 빨리 대량 판매 시장 장치가 되었다. 그러나 일반적인 목적의 컴퓨터에 오실로스코프 디스플레이는 점진적으로 막다른 지경이 되었다. 유저 그래픽의 개념은 비주얼 컴퓨터와 함께 정상 상호 작용을 위한 인터페이스가 몇 년 대기되었고, 실제로 1970년대 말에 시리얼 라인 특성 VDT의 향상된 그래픽 가능한 버전에 의해 안내되었다.
1970년대에 초기의 PARC 시스템 이래로 GUI의 설계는 Alto에 의해 개척된 WIMP(윈도우, 아이콘, 마우스, 포인터) 모델로 불리게 됨으로써 거의 완전하게 우세하게 되었다. 그 후 수십년 동안 컴퓨팅과 디스플레이 하드웨어에서 큰 변화를 고려하면 몇 번의 시도가 이루어졌지만, WIMP를 넘어서 생각하는 것이 놀랄만큼 어려움이 증명되었고, 아마도 그 볼디스트(boldest)가 VR(가상 현실) 인터페이스에 있다. VR 유저는 무질서한 그래픽 3-D 환경 내에서 이동하고 몸짓을 한다. VR은 1980년대 중반 이래로 큰 리서치 커뮤니티의 주목을 받았다. 이들을 지지하기 위한 컴퓨팅 파워가 더 이상 비싸지 않았지만 물리적인 디스플레이 장치는 VR을 여전히 2004년에 일반적인 사용이 되지 않는 것으로 평가되었다. 보다 근본적인 문제는, 수년동안 비행 시뮬레이터의 설계자에게 친숙함은 VR이 인간 수용 시스템을 혼란스럽게 할 수 있는 방법이고, 보통의 속도에서도 VR 동작은 뇌가 신체의 실사회 동작의 내이의 보고로 동작의 비쥬얼 시뮬레이션을 인지하려고 하기 때문에 현기증과 구역질을 줄일 수 있다.
Jef Raskin의 THE project(The Humane Environment)는 그들을 3D 진행없이 공간적인 점에서 기재된 GUI의 줌 월드 모델(zoom world model)을 탐험하는 것이다. THE project에서, 스크린은 데이터와 프로그램이 공간의 장소에 의해 조직된 2-D 가상 세계의 윈도우가 된다. 세계에서 대상물은 참조 평면 위의 하나의 높이에 의존하는 상세한 몇몇 레벨에 표현될 수 있고, 가장 기본적인 선택 동작은 그들에 줌과 랜딩하는 것이다.
Yale University의 라이프스트림 프로젝트는 완전히 반대되는 방향으로 진행되고 실제로 GUI는 비공간이다. 유저의 문서는 월드 라인이나 일시 스트림과 같이 변경일에 의해 조직화되고 다양한 방법으로 필터링될 수 있다.
이러한 접근의 3개 모두는, 네이밍하는 것을 피하려하고 참조 문헌의 주요 폼으로서 네임을 사용하는 상황을 위해 통상의 파일 시스템을 폐기한다. 이것은 그들을 UNIX 구조의 계층적인 파일 시스템과 네임 스페이스와 매칭하는 것을 어렵게 하고, 그것의 가장 지속적이고 효과적인 특성의 하나인 것 같다. 그럼에도 불구하고, 이들의 이른 실험의 하나는 NLS/Augment의 Engelhard의 1968 데모만큼 세미날한 것으로 증명될 것이다.
중요한 노력은 기계(즉, 컴퓨팅 장치)가 입력 명령으로 유저의 제스처를 해석할 수 있는 이미지나 비디오 기반 인간 기계 인터페이싱을 가능하게 이루어지는 것이다. 그러나, 그렇게 하기 위한 기술과 전체로서의 필드가 여전히 그 요람기이다. 인간 기계 인터페이스를 위한 시스템 및 방법을 향상시키기 위한 유저 인터페이스의 필드에서 필요하다.
본 출원의 출원인은 "A SYSTEM AND METHOD FOR 3D SPACE-DIMENSION BASED IMAGE PROCESSING"으로 명칭된 2007년 1월 30일에 제출된 특허 출원 US 11/572,958호, "APPARATUS METHOD AND SYSTEM FOR IMAGING"으로 명칭된 2006년 3월 27일에 제출된 US 11/277,578호, "AN APPARATUS SYSTEM AND METHOD FOR HUMAN-MACHINE-INTERFACE"으로 명칭된 2009년 6월 2일에 제출된 US 12/517,210호, "A METHOD SYSTEM AND ASSOCIATED MODULES AND SOFTWARE COMPONENTS FOR PROVIDING IMAGE SENSOR BASED HUMAN MACHINE"으로 명칭된 2009년 9월 6일에 제출된 PCT/IL 2009/000862호, "METHOD CIRCUIT AND SYSTEM FOR HUMAN MACHINE INTERFACING WITH AN ELECTRONIC DEVICE으"로 명칭된 2009년 9월 21일에 제출된 US 61/244,136호를 제출했고, 각각은 이미지/비디오 기반 인간 기계 인터페이스를 제공하는 실시형태에 관한 것이다. 상기 참조된 출원의 각각의 교시는 여기서 본 출원에 참조문헌으로 포함되어 있다.
본 발명은 이미지(센서) 기반 인간 기계 인터페이싱("IBHMI")을 제공하는 방법, 시스템, 결합 모듈, 소프트웨어 컴포넌트, 및 처리 유닛에 관한 것이다. 본 발명의 일부 실시형태에 의하면, IBHMI는 평가된 유저 신체 위치를 1세트의 평가된 유저 신체 위치 또는 신체 이동으로 유도할 수 있는 이미지 취득 장치나 어셈블리, 및 처리 유닛으로 구성될 수 있다. 동일한 것을 유도하는 단계로서, 처리 유닛은 백그라운드 또는 포어그라운드(foreground)로서 이미지 또는 비디오 프레임의 1개 이상의 픽셀 그룹(예를 들면, 픽셀의 블록 또는 픽셀 그룹)을 분류할 수 있다. 본 발명의 또 다른 실시형태에 의하면, 처리 유닛은 평가된 유저 신체 위치, 1세트의 평가된 유저 신체 위치나 신체 이동을 유도하는 관계 외의 백그라운드 또는 포어그라운드로서 픽셀이나 픽셀 그룹의 분류를 수행할 수 있다.
본 발명의 일부 실시형태에 의하면, 이미징 어셈블리에 의해 획득된 장면의 1개 이상의 이미지를 수신하고, 백그라운드 또는 포어그라운드로서의 1개 이상의 이미지의 적어도 1개의 제 1 픽셀 그룹을 분류하도록 구성된 이미지 처리 유닛을 포함하는 이미지 처리 시스템이 제공될 수 있다. 처리 유닛에 의해 수행되는 픽셀 그룹 분류는 동일 또는 다른 프레임에서 제 1 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 상대 위치에 적어도 부분적으로 기초될 수 있다. 처리 유닛은 제 1 픽셀 그룹이 1개 이상의 다른 미리 분류된 픽셀 그룹으로 규정된 공간 근접 내에 위치한 지를 분류 처리로 팩터될 수 있다. 처리 유닛은 1개 이상의 다른 미리 분류된 픽셀 그룹의 대응하는 비주얼 속성에 대해 제 1 픽셀 그룹의 1개 이상의 미리 비주얼 속성과 비교할 수 있다.
본 발명의 다른 실시형태에 의하면, 처리 유닛은 제 1 픽셀 그룹이 2개 이상의 다른 미리 분류된 픽셀 그룹 사이의 영역 내에 위치되는지를 결정할 수 있고, 2개 이상의 다른 미리 분류된 픽셀 그룹의 대응하는 비주얼 속성에 대해 제 1 픽셀 그룹의 1개 이상의 비주얼 속성과 비교할 수 있다. 처리 유닛은 제 1 픽셀 그룹과 다른 프레임에 대응하는 픽셀 그룹 사이의 시공 편차값에 적어도 부분적으로 기초된 제 1 픽셀 그룹을 분류하도록 더 구성될 수 있다.
본 발명의 일부 실시형태에 의하면, 처리 유닛은 1개 이상의 다른 미리 분류된 픽셀 그룹이 포어그라운드로서 분류될 때 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성될 수 있다. 1개 이상의 다른 미리 분류된 픽셀 그룹은 임계치를 넘는 결합된 시공 편차값 때문에 포어그라운드로서 분류될 수 있다. 1개 이상의 다른 미리 분류된 픽셀 그룹은 특성 검출 알고리즘(예를 들면, 얼굴, 손 등)에 기초된 포어그라운드로서 분류될 수 있다.
본 발명의 일부 실시형태에 의하면, 유저의 1세트의 2차원 이미지를 취득하도록 구성되고 실질적으로 2개 이상의 이미지가 다른 시점에 결합되는 이미지 취득 어셈블리, 및 백그라운드 또는 포어그라운드로서 1개 이상의 픽셀 그룹을 분류함으로써 1개 이상의 평가된 유저 신체 위치를 유도하도록 구성된 처리 유닛을 포함하는 화상 기반 인간 기계 인터페이스가 제공될 수 있다. 처리 유닛은 제 1 프레임에서의 제 1 픽셀 그룹의 시공 편차값("SDV")을 측정하도록 구성될 수 있고, SDV는 제 1 프레임에서의 제 1 픽셀 그룹과 다른 프레임에서의 대응하는 제 2 픽셀 그룹 사이의 시공 편차를 나타내고, 픽셀 그룹을 픽셀 그룹의 SDV에 적어도 부분적으로 기초하고 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 공간 관계에 기초된 백그라운드 또는 포어그라운드로서 분류할 수 있다.
본 발명의 일부 실시형태에 의하면, 임계치를 넘어 측정된/검출된 소정 픽셀 그룹의 SDV는 이 SDV가 하이 SDV 백그라운드 익셉션("HSBE")의 결과로서 간주되지 않으면 포어그라운드로서 분류되는 소정 픽셀 그룹의 결과일 것이다. HSBE는 프레임에서의 정적 동작, 프레임에서의 동적 동작, 프레임에서의 비통합 동작, 프레임에서의 통합 동작, 이미지 취득 어셈블리에서의 시프트, 및 라이팅 시프트(lighting shift)로 구성되는 그룹으로부터 선택된 1개 이상의 현상일 수 있다. SDV가 라이팅 시프트의 결과로서 간주되는 픽셀 그룹은 분류 또는 재분류되지 않을 것이다. SDV가 이미지 취득 어셈블리에서의 시프트의 결과로서 간주되는 픽셀 그룹은 처리 유닛을 트리거하여 백그라운드 분류 처리를 재시작할 수 있다. SDV가 이미지 취득 어셈블리에서의 시프트의 결과로서 간주되는 픽셀 그룹은 처리 유닛을 트리거하여 상기 이미지 취득 어셈블리의 위치의 검출된 변화에 기초된 픽셀 오프셋 보상을 수행할 수 있다. 픽셀 오프셋 보상은 제 1 어셈블리 위치 및 제 2 어셈블리 위치와 관련된 픽셀 그룹 데이터의 상관관계를 포함할 수 있다.
본 발명의 일부 실시형태에 의하면, 임계치 아래의 측정된/검출된 소정 픽셀 그룹의 SDV는 이 SDV가 로우 SDV 포어그라운드 익셉션("LSFE")의 결과로서 간주되지 않으면 백그라운드로서 분류되는 소정 픽셀 그룹의 결과일 수 있다. LSFE는 이미지 취득 어셈블리에서의 시프트, 라이팅 시프트, 인접한 소정의 엘리먼트 익셉션(near predefined element exception), 및 인접한 포어그라운드 익셉션으로 구성되는 그룹으로부터 선택된 1개 이상의 현상일 수 있다. 처리 유닛은 제 2 픽셀 그룹이 포어그라운드로서 간주되고 제 1 픽셀 그룹과 제 2 픽셀 그룹은 1개 이상의 유사한 특성 또는 비주얼 속성(예를 들면, 인접한 포어그라운드 익셉션)을 가질 때 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성될 수 있다. 처리 유닛은 제 2 픽셀 그룹이 소정의 엘리먼트 또는 특성과 일치되고 제 1 픽셀 그룹과 제 2 픽셀 그룹이 서로(예를 들면, 인접 엘리먼트/특성 익셉션)의 소정의 근접 내에 위치할 때 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성될 수 있다.
본 발명의 일부 실시형태에 의하면, 유저의 1세트의 2차원 이미지를 취득하는 단계로서 실질적으로 각 이미지가 다른 시점에 결합되는 단계, 및 백그라운드 또는 포어그라운드로서 1개 이상의 픽셀 그룹을 분류하는 단계를 포함하는 이미지 처리 방법에 제공될 수 있다. 분류 단계는 제 1 프레임에서의 제 1 픽셀 그룹의 시공 편차값("SDV")을 측정하는 단계를 포함할 수 있고, SDV는 제 1 프레임에서의 제 1 픽셀 그룹과 다른 프레임에서의 대응하는 제 2 픽셀 그룹 사이의 시공 편차를 나타낸다. 백그라운드 또는 포어그라운드로서의 픽셀 그룹의 분류는 공간 관계의 측정된 SDV 및 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 픽셀 그룹에 적어도 부분적으로 기초될 수 있다.
일부 실시형태에 의하면, 임계치를 넘는 소정 픽셀 그룹의 SDV의 검출은 이 SDV가 하이 SDV 백그라운드 익셉션("HSBE")의 결과로서 간주되지 않으면 포어그라운드로서 분류되는 소정 픽셀 그룹의 결과일 수 있다. HSBE는 프레임에서의 정적 동작, 프레임에서의 동적 동작, 프레임에서의 비통합 동작, 프레임에서의 통합 동작, 이미지 취득 어셈블리에서의 시프트, 및 라이팅 시프트로 구성되는 그룹으로부터 선택된 1개 이상의 현상일 수 있다.
임계치 아래의 소정 픽셀 그룹의 SDV의 검출은 SDV가 로우 SDV 포어그라운드 익셉션("LSFE")의 결과로서 특성을 나타내지 않으면 백그라운드로서 분류되는 소정 픽셀 그룹의 결과일 수 있다. LSFE는 이미지 취득 어셈블리에서의 시프트, 라이팅 시프트, 인접한 소정의 엘리먼트 익셉션, 및 인접한 포어그라운드 익셉션으로 구성되는 그룹으로부터 선택된 1개 이상의 현상일 수 있다.
인접한 포어그라운드 익셉션은 제 2 픽셀 그룹으로 결합된 제 2 SDV가 포어그라운드로서 간주되고 제 1 픽셀 그룹과 제 2 픽셀 그룹이 소정의 근접 내에 위치하고 양쪽이 1개 이상의 유사한 특성을 가질 때 검출된다. 인접한 소정의 엘리먼트 익셉션은 제 2 픽셀 그룹이 소정의 엘리먼트/특성과 대응하고, 제 1 픽셀 그룹과 제 2 픽셀 그룹이 소정의 근접 내에 위치하면 검출된다.
본 발명의 일부 실시형태에 의하면, 처리 유닛은 제 1 세트의 프레임으로부터 초기화 위상 그룹이 백그라운드 또는 포어그라운드로서 최초로 분류될 수 있는 동안 초기화 위상에 관여될 수 있다. 최초 분류는 XTR 구조 초기화 처리와 대응될 수 있거나 추가 정보를 사용해서 포어그라운드를 평가할 수 있다. 처리 유닛은 백그라운드와 포어그라운드의 최초 분류를 더 업데이트하고 향상시킬 수 있다. 예를 들면, 얼굴이나 머리에 대응하는 특정 엘리먼트 특성이 검출될 수 있고, 큰 이동 통합 대상이 검출되거나 픽셀 그룹이 에지 등으로 분류될 수 있다.
본 발명의 일부 실시형태에 의하면, 처리 유닛은 소정의 근접 내에 위치된 동일 프레임에서 그룹 픽셀과 1개 이상의 추가 그룹 픽셀 사이의 1개 이상의 편차값을 검출함으로써 픽셀 그룹에 관한 정보를 수집하고 처리하고 및/또는 산출할 수 있다. 동일 프레임 편차값("SFDV")은 컬러, 색조, 텍스처, 입자성 등의 편차를 검출할 수 있고, 픽셀 그룹은 몇몇의 그러한 SFDV를 가질 수 있다.
본 발명의 일부 실시형태에 의하면, 처리 유닛은 이른 시간에 얻은 프레임의 대응하는 픽셀과 비교된 프레임의 픽셀에서 변화되면(시간 영역에서 프레임의 픽셀에서 변화를 의미), 값이 시공 편차값("SDV") 등의 산출되거나 검출될 수 있는 것을 확인할 수 있다. 그 후, 처리 유닛은 변화나 변화의 부족, 그리고 다수 정보로 선택적으로 특성을 나타내고, 백그라운드 또는 포어그라운드로서 1개 이상의 픽셀을 분류할 수 있다. 본 발명의 일부 실시형태에 의하면, SDV값이 임계치보다 더 높으면 SDV가 결합된 픽셀 그룹은 하이 SDV 백그라운드 익셉션이, 예를 들면 이미지 취득 어셈블리 위치에서 변화가 발생된 지시가 있거나 라이팅에 변화가 있는지가 동시에 검출되지 않으면 포어그라운드로서 분류될 수 있다.
본 발명의 일부 실시형태에 의하면, SDV값이 임계치보다 낮으면, SDV가 결합된 픽셀 그룹은 로우 SDV 포어그라운드 익셉션이, 예를 들면 포어그라운드로서 이미 분류된 동일 프레임에서 픽셀 그룹과 다른 픽셀 그룹 사이에 공간 근접성과 특성/속성 근접성(컬러, 텍스처 등)이 동시에 검출되지 않으면 백그라운드로서 분류될 수 있다. 포어그라운드로서 분류되는 로우 SDV로 결합된 픽셀 그룹에 안내될 수 있는 로우 SDV 익셉션의 또 다른 실시예는 픽셀 그룹이 2개 이상의 픽셀 그룹 사이에 위치될 때이고, 픽셀 그룹에 유사한 특성이나 속성을 갖지 않지만 포어그라운드로서 이미 분류된다. 예를 들면, 로우 SDV의 픽셀 그룹은 사람 몸통의 중앙에 위치된 블랙 셔츠일 수 있고, 몸통의 에지의 픽셀 그룹은 에지 검출, 특성(특, 얼굴, 팔 등) 검출, 구조 피팅 등의 기술, 또는 오늘날 공지되거나 미래에 고안될 어떤 다른 기술에 기초하여 포어그라운드로서 확인될 수 있다.
본 발명의 일부 실시형태에 의하면, 픽셀 그룹은 SDV 및/또는 SFDV 및/또는 산출, 특성, 또는 몇몇 편차값 등의 결합으로부터 스테밍(stemming)되는 추가 정보에 의한 백그라운드 또는 포어그라운드로서 분류될 수 있다. 본 발명의 일부 실시형태에 의하면, 픽셀 그룹은 요구되면 다수의 픽셀 그룹으로 분할될 수 있다. 예를 들면, 그룹 픽셀이 백그라운드와 포어그라운드 사이의 에지로서 검출되면 그 후 픽셀 그룹은 2개 이상의 픽셀 그룹으로 분할되어 더 높은 에지의 규정, 그 영역 이상의 더 빠른 추적을 하게 할 수 있다.
본 발명의 일부 실시형태에 의하면, 처리 유닛이 임계치 값보다 높거나 낮은 시간 영역에서 프레임의 픽셀 그룹에서 변화를 확인하면 그 후 이미지의 큰 영역에서 나타날 수 있는 라이트 체인지로서 변화를 분류할 수 있고, 그리고/또는 이동과 반대됨으로써 색조의 변화와 관련될 수 있는 픽셀에서의 약간의 변화로 구성될 수 있다. 처리 유닛은 백그라운드/포어그라운드의 분류가 이전의 타임 슬롯에서와 같이 남아있는 동안에 색조의 변화로 픽셀을 업데이트할 수 있다. 본 발명의 일부 실시형태에 의하면, 처리 유닛이 임계치 값보다 높은 SDV 변화를 확인하면, 그 후 정적 이동(이동된 의자 등), 통합 동적 이동(이동하는 사람 등), 또는 비통합 동적 이동(턴 온이나 오프되는 플래시라이트 등) 등의 그룹으로 변화를 분류할 수 있다. 그 후, 처리 유닛은 특정한 기능적인 애플리케이션 정의에 따라 백그라운드 또는 포어그라운드와 같은 픽셀로서 분류할 수 있다. 예를 들면, 의자가 이동하는 실시형태에서, 다른 실시형태에서 의자가 유저이면 백그라운드가 고려될 수 있고 프레임에서 들어가거나 이동할 때 유저와 포어그라운드로서 분류될 수 있다.
이미지 취득 장치 위치에서의 시프트는 프레임의 큰 부분에서 실질적인 변화로서 명백해질 것이다. 그 후, 처리 유닛은 시작으로부터 데이터 세트를 빌딩하는 처리를 시작하는 동적 데이터 세트를 리셋팅할 수 있다. 대안으로, 처리 유닛은 이미지 취득 장치의 새로운 위치에 이미지의 이전의 정보를 조정하고, 픽셀이 백그라운드 또는 포어그라운드이면 결정의 처리로 지속할 수 있거나, 처리 유닛은 이미지 취득 장치를 그 원래 위치로 리턴하고 이미지를 다시 획득할 수 있다.
본 발명의 일부 실시형태에 의하면, 이미지 취득 장치는 모바일 이미지 취득 장치(예를 들면, 휴대폰 카메라, 플라잉 플레인의 카메라, 또는 비디오 카메라)이고, 움직이지 않거나 고정되어 남아있는 것으로 기대되지 않는다. 처리 유닛은 이미지 취득 장치의 위치에 관한 데이터를 릴레이하고 획득하거나 분석할 수 있고, 다음의 이미지를 더 정렬되거나 관련시키고, 에지 검출에 대한 정보를 더 사용하거나 포어그라운드와 백그라운드로서 1개 이상의 픽셀 그룹을 분류할 수 있다. 예를 들면, 초기화된 이미지와 백그라운드 또는 포어그라운드로서 이미 분류된 픽셀 그룹은 백그라운드로서 1개 이상의 픽셀 그룹을 분류하기 위해 SDV 및/또는 SFDV 등의 그 정보와 추가적인 새로운 정보를 사용할 수 있다(포어그라운드인 픽셀 그룹보다 실질적으로 큰 편차를 가질 수 있음).
본 발명의 일부 실시형태에 의하면, 백그라운드로서 분류된 픽셀 그룹은 2D나 3D 비디오 정보로서 분석될 수 있다. 포어그라운드로서 분류된 픽셀 그룹은 2D나 3D 비디오 정보로서 분석될 수 있다. 본 발명의 일부 실시형태에 의하면, 처리 유닛이 시간 영역에서 프레임의 픽셀의 변화를 확인하지 않으면 그 후 픽셀을 백그라운드로서 분류할 수 있다. 그러나, 픽셀이 변화된 픽셀에 소정의 근접 내에 위치하면, 그 후 처리 유닛이 그들을 인접하는 픽셀에 의해 특성을 나타낼 수 있고(예를 들면, 정적 동적 등), 따라서 그들을 포어그라운드나 백그라운드로서 더 분류할 수 있다. 또한, 픽셀이 포어그라운드로서 소정의 픽셀에 소정의 근접 내에 위치하면, 그 후 그들은 또한 백그라운드로서 규정될 수 없다.
본 발명의 일부 실시형태에 의하면, 1개 이상의 픽셀 그룹은 포어그라운드의 에지로서 분류될 수 있다. 에지는 에지의 특성, 포어그라운드의 특성, SDV 및/또는 SFDV에 의해 분류될 수 있다. 그 후, 처리 유닛은 남아있는 픽셀 그룹을 그들의 위치와 에지 픽셀 그룹(들)과 관련된 특성에 의해 백그라운드 또는 포어그라운드로서 분류할 수 있거나, 그것들을 "에지가 아님"으로서 분류할 수 있다. 예를 들면, 에지 픽셀 그룹은 그들 사이의 컬러, 특정 텍스처, 특정 농도 등의 특정한 대조로 특성을 나타낼 수 있고, 이 정보는 다른 픽셀 그룹의 정보와 비교될 수 있고, 그들은 그에 따라 분류될 수 있다. 특성에 관한 정보는 셰이딩, 텍스처, 농도 등으로 변화하여 다음의 프레임에 업데이트될 수 있다.
본 발명에 관한 주제는 특히 명세서의 최후부에서 가리키고 명백하게 주장된다. 그러나, 본 발명은 목적, 특징, 및 이점과 함께 동작의 조직과 방법 양쪽에 대해 첨부되는 도면을 해석할 때 다음의 상세한 설명을 참조함으로써 최선으로 이해될 것이다.
도 1a 및 도 1b는 이미지 기반 인간 기계 인터페이스("HMI") 시스템의 블록도를 도시하며;
도 2a 및 도 2b는 처리 유닛의 순서도를 도시하며;
도 3a, 도 3b, 및 도 3c는 HMI 시스템의 순서도를 도시하며;
도 4a, 도 4b, 및 도 4c는 캡처된 이미지의 세미 픽토리얼 도면(semi-pictorial diagrams)이 도시되고;
도 5는 프레임 그룹을 도시한다.
예시의 간단함과 명확함을 위한 것으로 도면에 도시된 구성요소는 반드시 축적에 따라 도시되지 않은 것을 알 것이다. 예를 들면, 일부 구성요소의 치수는 명확함을 위해 다른 구성요소에 비해 확대될 것이다. 또한, 적절하게 고려된 참조 부호가 대응되거나 유사한 구성요소를 지시하는 도면 중에서 반복될 것이다.
다음의 상세한 설명에서, 다수의 상세한 설명 등이 본 발명의 이해를 위해 제공되어 설명된다. 그러나, 본 발명은 이러한 상세한 설명없이 수행될 수 있는 것이 당업자에 의해 이해될 것이다. 다른 경우에, 공지된 방법, 절차, 구성요소, 및 회로는 상세하게 기재되어 본 발명을 불명확하게 하기 위해서는 아니다.
다른 방법으로 명확하게 기재되지 않으면 다음의 검토로부터 명확해짐에 따라 "처리", "컴퓨팅", "계산", "결정" 등의 용어를 사용하여 명세서 검토를 통해서 명확해지고, 컴퓨팅 시스템의 메모리, 레지스터나 다른 그러한 정보 스토리지, 트랜스미션이나 디스플레이 장치 내에서 물리적 양으로서 유사하게 표시되는 다른 데이터에 컴퓨팅 시스템의 레지스터 및/또는 메모리 내에서 양의 전자 등의 물리적으로 표시되는 데이터를 조작 및/또는 변환하는 컴퓨터나 컴퓨팅 시스템, 유사한 전자 컴퓨팅 장치의 액션 및/또는 처리로 언급된다.
본 발명의 실시형태는 여기에 동작을 수행하기 위한 장치를 포함할 수 있다. 이 장치는 소망하는 목적을 위해 특별하게 구성될 수 있거나 컴퓨터에 기억된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재확인되는 일반적인 목적의 컴퓨터를 포함할 수 있다. 그러한 컴퓨터 프로그램은 컴퓨터 판독가능한 기억 매체 등에 기억될 수 있지만 플로피 디스크, 광디스크, CD-ROM, 마그네틱 광디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 전기적으로 프로그래밍가능한 판독 전용 메모리(EPROM), 전기적으로 지울 수 있고 프로그래밍가능한 판독 전용 메모리(EEPROM)를 포함하는 어떤 형태의 디스크, 마그네틱이나 광카드, 또는 전자 지시를 기억할 수 있고 컴퓨터 시스템 버스에 연결되는 것이 가능한 어떤 다른 형태에 한정되지 않는다.
여기에 표시되는 처리와 디스플레이는 내재하는 어떤 특정한 컴퓨터나 다른 장치와 관련되지 않는다. 다양한 일반적인 목적의 시스템은 여기에서 교시에 따른 프로그램과 사용될 수 있거나, 더 전문화된 장치를 구성함에 편리함을 증명하고 소망하는 방법을 수행할 수 있다. 이들 시스템의 다양함을 위해 소망하는 구조가 아래의 명세서로부터 명확해질 것이다. 또한, 본 발명의 실시형태는 어떤 특정한 프로그래밍 언어와 관련하여 기재되지 않는다. 프로그래밍 언어의 다양함은 여기에 기재된 바와 같이, 본 발명의 가르침을 실시하기 위해 사용될 수 있는 것이 명확해질 것이다.
본 발명의 일부 실시형태에 의하면, 유저의 1세트의 2차원 이미지를 수신하도록 구성된 입력을 포함하는 이미지 기반 인간 기계 인터페이스가 제공될 수 있고, 실질적으로 2개 이상의 이미지가 다른 시점에 결합된다. 처리 유닛은 백그라운드 또는 포어그라운드로서 1개 이상의 이미지에서의 1개 이상의 픽셀 그룹을 분류함으로써 1개 이상의 평가된 유저 신체 위치를 유도하도록 될 수 있다. 처리 유닛은 제 1 프레임에서의 제 1 픽셀 그룹의 시공 편차값("SDV")을 측정할 수 있고, SDV는 제 1 프레임에서의 제 1 픽셀 그룹과 다른 프레임에서의 대응하는 제 2 픽셀 그룹 사이의 시공 편차를 나타낸다. 백그라운드 또는 포어그라운드로서 픽셀 그룹의 분류는 적어도 부분적으로 픽셀 그룹의 SDV값과 미리 분류된 픽셀 그룹에 대한 픽셀 그룹의 공간 관계에 기초될 수 있다. SDV가 하이 SDV 백그라운드 익셉션("HSBE")의 결과로서 특성을 나타내지 않으면 임계치 이상의 소정 픽셀 그룹의 SDV는 포어그라운드로서 분류되는 소정 픽셀 그룹의 결과일 수 있다. SDV가 로우 SDV 포어그라운드 익셉션("LSFE")의 결과로서 특성을 나타내지 않으면 임계치 아래에서 검출된 소정 픽셀 그룹의 SDV는 백그라운드로서 분류되는 소정 픽셀 그룹의 결과일 수 있다.
이제 도 1a로 돌아오면, 시스템(100) 등의 이미지 기반 인간 기계 인터페이스 시스템이 도시되어 있다. 시스템(100)은 이미지를 획득하거나 백그라운드 또는 포어그라운드로서 프레임 내에서 대상이나 픽셀 그룹을 결정하고 확인하거나 분류할 수 있다. 시스템(100)은 이미지 취득 모듈(102) 등의 이미지 취득 어셈블리와 처리 유닛(104) 등의 처리 유닛으로 구성될 수 있다.
이미지 취득 모듈(102)은 예를 들면, 1개 이상의 사람, 룸, 의자나 의료 장치, 동물, 배경이나 어떤 다른 주제 등의 대상일 수 있는 이미지(106)와 같은 이미지 등을 얻을 수 있다. 이미지 취득 모듈(102)은 디지털 카메라, 비디오 카메라, 아날로그 카메라, 멀티미디어 모듈 이상일 수 있다. 이미지 취득 모듈은 입력(108) 등의 입력에 의해 처리 유닛(104)에 획득된 이미지를 출력할 수 있다. 입력(108)은 비디오 파일, 그림 파일, 멀티미디어 파일, 바이너리 스트링(binary string)이나 데이터의 어떤 다른 폼일 수 있고, 2D나 3D 이미지를 묘사할 수 있다. 처리 유닛(104)은 입력(108) 등의 1개 이상의 획득된 이미지를 수신할 수 있고, 1개 이상의 평가된 유저 신체 위치를 백그라운드(예를 들면, 아이템, 사람, HMI에 관심을 끝 수 없는 대상이나 HMI가 그들의 이동을 추적할 필요가 없을 것이거나, 저속이나 주파수로 그들의 이동을 추적할 필요가 없음)나 포어그라운드(예를 들면: 아이템, 사람, 관심을 끌 수 있는 대상과 HMI가 그들의 이동에 따를 수 있음)로서 픽셀의 1개 이상의 그룹을 분류함으로써 유도할 수 있다. 처리 유닛(104)과 이미지 취득 모듈(102)은 공통 또는 분배된 모듈일 수 있거나, 무선 통신이나 와이어드 케이블을 통해 떨어지거나 분리된 유닛과 통신 입력(108)일 수 있다.
본 발명의 일부 실시형태에 의하면, 처리 유닛(104)은 이미지(106)와 결합된 제 1 픽셀 그룹과 제 2 픽셀 그룹 사이의 제 때의 차이인 시공 편차값("SDV")을 검출하기 위해 구성될 수 있다. 본 발명의 일부 실시형태에 의하면, SDV가 임계치보다 낮으면 SDV와 결합된 픽셀의 그룹은 픽셀의 그룹이 로우 SDV 포어그라운드 익셉션("LSFE")으로서 간주되지 않으면 백그라운드로서 분류될 수 있다. LSFE 특성의 실시예는, 취득 장치에서 이동, 라이팅의 변화, 인접한 소정의 엘리먼트 익셉션(예를 들면, 픽셀 그룹이 헤드나 페이스 또는 검출된 XTR 구조의 일부와 같이 중요한 것으로서 미리 규정된 엘리먼트에 인접한 경우), 인접한 포어그라운드 익셉션(예를 들면, 픽셀 그룹이 컬러, 색조, 텍스처 등 유사한 특성을 갖는 포어그라운드로서 분류된 다른 픽셀 그룹에 인접한 경우)일 수 있다.
본 발명의 일부 실시형태에 의하면, SDV가 임계치보다 높으면 SDV와 결합된 픽셀의 그룹은 픽셀 그룹이 하이 SDV 백그라운드 익셉션("HSBE")으로서 간주되지 않으면 포어그라운드로서 분류될 수 있다. HSBE 특성의 실시예는 취득 장치에서 이동, 라이팅의 변화, 정적 동작, 동적 통합 동작, 및 동적 비통합 동작일 수 있다.
처리 유닛(104)은 미리 규정되어 근접한 그들의 SDV, 컬러나 특성 내에서 추가 픽셀 그룹 등의 추가 정보를 취해서 특성을 나타내고 픽셀의 그룹 및/또는 SFDV를 실질적으로 분류할 수 있다.
처리 유닛(104)은 에지나 비에지 픽셀 그룹으로서 1개 이상의 픽셀 그룹을 분류할 수 있다. 분류는 SDV 및/또는 SFDV와 예상되거나 미리 검출된 에지 픽셀(컬러, 텍스처, 정밀함, 대조 등)의 특성 등의 추가 정보에 대응할 수 있다. 처리 유닛(104)은 픽셀 그룹을 더 작은 그룹으로 나누거나 분할하여 향상시키고, 빠르거나 더 정확한 에지 검출을 할 수 있다. 처리 유닛(104)은 에지나 비에지로서 픽셀 그룹의 분류를 사용하여 그들의 근접에 의한 포어그라운드나 백그라운드로서 추가 픽셀 그룹을 1개 이상의 에지 픽셀 그룹, SDV, SFDV와 컬러, 텍스처, 색조, 정밀함과 픽셀 그룹의 다수 등의 추가 정보 등으로 더 분류한다.
본 발명의 일부 실시형태에 의하면, SDV와 관련된 픽셀의 그룹이 취득 모듈(102)의 위치에서 이동과 변화로서 특성을 나타내면(예를 들면, 배치나 방향, 각도나 원근 등의 이동) 처리 유닛(104)은 예를 들면, 재획득되거나 이전의 삭제된 데이터일 수 있는 이미지를 재시작하거나 재시동이나 리부팅할 수 있다. 대안으로, 본 발명의 일부 실시형태에서, 제 1 위치에서 취득 모듈(102)과 결합된 이전의 데이터는 픽셀 오프셋 보상이 조정되거나 조화되거나 수행되어 취득 모듈(102)의 새로운 위치와 매칭되거나 대응되거나 비교될 수 있다.
본 발명의 일부 실시형태에 의하면, 이미지 취득 모듈(102)이 모바일 모듈이면, 그 후 처리 유닛(104)은 이미지 취득 모듈(102)의 위치에 관한 데이터를 릴레이하거나 획득하거나 분석할 수 있고, 다음의 이미지를 더 정렬하거나 관련시킬 수 있고, 에지 방향에 대한 정보를 더 사용하거나 포어그라운드와 백그라운드로서 1개 이상의 픽셀의 그룹을 분류할 수 있다. 예를 들면, 초기화된 이미지와 백그라운드 또는 포어그라운드로서 이미 분류된 픽셀 그룹은 그 정보와 SDV 및/또는 SFDV 등의 추가되는 새로운 정보를 사용하여 백그라운드(포어그라운드인 픽셀 그룹보다 실질적으로 큰 편차를 가질 수 있음), 포어그라운드, 에지, 및/또는 비에지 픽셀 그룹으로서 1개 이상의 픽셀의 그룹을 분류할 수 있다.
일부 실시형태에 의하면, SDV가 이미지(106)와 결합된 픽셀 그룹에서 실질적으로 어떤 변화나 어떤 이동도 없는 것으로 분류되면 처리 유닛(104)은 제 2 픽셀 그룹이 인접한 충분한 색조이고, 이동이 그들과 결합에서 검출되었으면 소정의 근접에서 제 2 픽셀 그룹에 의한 픽셀 백그라운드 또는 포어그라운드로서 픽셀의 그룹으로 분류할 수 있다. 처리 유닛(104)은 포어그라운드로서 어떤 편차나 이동도 검출되지 않았어도, 제 1 픽셀 그룹의 소정의 근접에서 제 3 픽셀 그룹이 포어그라운드나 특별하거나 유일한 픽셀의 소정의 그룹으로서 분류되면 이미지(106)와 결합된 제 1 픽셀 그룹을 분류할 수 있다. 본 발명의 일부 실시형태에 의하면, 처리 유닛(104)은 SDV가 어떤 이동도 없는 것으로서 특성을 나타내거나 SDV가 임계치 값보다 낮으면 픽셀 그룹을 백그라운드로서 분류할 수 있다.
이제 도 1b로 돌아가면, 시스템(120) 등의 이미지 기반 인간 기계 인터페이스 시스템이 도시된다. 아이템(120-128)은 본질적으로 같을 수 있거나, 도 1b의 대응하는 블록(100-108)으로서 동일 기능성을 갖는 것이 이해된다. 처리 유닛(124)은 1개 이상의 픽셀의 그룹에서 편차가 라이팅 장치 이외의 흐릿한 하늘에서 구름의 이동 등의 라이팅의 변화로 결합될 때 확인할 수 있는 라이팅 필터(130) 등을 더 포함할 수 있다. 라이팅 필터(130)는 처리 유닛(124)에서 내장될 수 있거나 처리 유닛(124)과 통신할 수 있는 분리된 유닛이나 장치일 수 있다. 처리 유닛(124)은 정적, 동적, 통합, 비통합, 이들 그룹의 조합 등의 이동의 소정의 분류로 이동을 분류할 수 있는 이동 분류 모듈(132) 등의 이동 분류 모듈을 더 포함할 수 있다. 처리 유닛(124)은 이동 분류 모듈(132)에 의해 결정된 이동의 분류에 의한 1개 이상의 픽셀의 그룹을 더 분류할 수 있다. 이동 분류 모듈(132)은 처리 유닛(124)에서 내장될 수 있거나, 처리 유닛(124)과 통신가능한 분리된 유닛이나 장치일 수 있다.
본 발명의 일부 실시형태에 의하면, 시스템(120)은 1개 이상의 픽셀의 그룹, 그들의 이동 분류 및/또는 백그라운드, 포어그라운드 등으로서 그들의 분류에 관한 정보를 기억하기 위해 구성된 메모리(134) 등의 메모리나 1개 이상의 레지스터를 더 포함할 수 있다. 픽셀 그룹은 1개 이상의 픽셀을 포함할 수 있고, 더 큰 픽셀 그룹 내에서 몇몇 픽셀 그룹을 포함할 수 있어서 정보가 그룹과 내부 픽셀 그룹에 대해 저장된다. 메모리(134)는 프레임 내의 픽셀의 시간이나 순서 또는 픽셀의 소재나 장소 등의 1개 이상의 픽셀의 그룹과 결합된 추가 정보를 기억할 수 있다. 메모리(134)는 시스템 내에서 내장될 수 있거나 처리 유닛에 데이터를 입력하고 출력할 수 있는 분리된 유닛일 수 있다. 본 발명의 일부 실시형태에 의하면, 메모리(134)는 처리 유닛(124)의 일체로 된 부분일 수 있다.
이제 도 5로 돌아가면, 프레임 그룹(5000) 등의 프레임 그룹이 도시되어 있다. fN을 통한 프레임(fa, fb, fc)은 이미지 취득 어셈블리에 의해 획득된 프레임을 묘사한다. 프레임은 제 때에 변화할 수 있는 이미지를 캡춰링하여 fN을 통해 프레임(fa, fb, fc)은 그들이 타임라인(T)을 묘사함으로써 캡처되는 시간의 차이 때문에 다른 이미지를 캡처할 수 있다(주의: 프레임(fN)은 대문자(N)로 마킹되어 프레임(fc) 후에 어떤 수의 프레임을 묘사하고, 프레임(fc)으로부터 떠나서 반드시 11프레임이 아닌 것을 묘사함). 프레임(fa)은 캡처된 이미지의 프레임의 다른 영역을 커버하는 픽셀 그룹(5001 및 5002) 등의 다른 픽셀 그룹으로 분할된다. 픽셀 그룹(5001 및 5002a)은 동일 사이즈나 다른 사이즈일 수 있다. 프레임(fa, fb, fc)을 통해 fN 픽셀 그룹(5002a, 5002b, 5002c, 및 5002N)을 통해 변화된 캡처된 이미지에서 동일 영역을 변경해서 캡처할 수 있는 대응하는 픽셀 그룹이다. 시공 편차값("SDV")은 5002, 5004, 5006, 및 5008 등의 1개 이상의 대응하는 픽셀 그룹 사이의 차이에 의해 산출되거나 검출되거나 처리될 수 있다. 예를 들면, 제 1 SDV는 픽셀 그룹(5002 및 5004)을 비교함으로써 검출될 수 있고, 제 2 SDV는 픽셀 그룹(5005 및 5006)을 비교함으로써 검출될 수 있다. 다른 실시예에서, 제 1 SDV는 픽셀 그룹(5002 및 5006)을 비교함으로써 검출될 수 있고, 제 2 SDV는 픽셀 그룹(5004 및 5008)을 비교함으로써 검출될 수 있다. 또한, SFDV는 픽셀 그룹(5001 및 5002a)을 비교함으로써 검출될 수 있다.
이제 도 2a로 돌아오면, 순서도(200)에 보이는 바와 같은 처리 유닛 순서도가 도시되어 있다. 본 발명의 일부 실시형태에 의하면, 1개 이상의 픽셀의 그룹을 미리 수신한 처리 유닛은 픽셀 그룹이 단계 202에 기재된 바와 같이, 이전의 시간이나 공간에서 수신된 다른 픽셀 그룹과 비교해서 이동이 있으면 검출할 수 있고 이동도 노이즈로 불릴 수 있다(데이터나 신호나 이미지 이외의 원하지 않는 간섭이나 방해를 의미할 수 있는 잡음항과 혼합되지 않을 것임). 편차가 있은 후 처리 유닛은 이동이 라이팅의 변화와 관련되면(예를 들면: 이미지가 맑은 날에 개방된 윈도우에 의해 미리 밝혀지고 구름이 롤링된 후 광의 변화가 있을 수 있거나, 프레임이 라이팅 기구에 의해 그리고 다음의 프레임에 비춰지면 라이팅이 어둡거나 다름) 분류를 지속할 것이고, 분류는 단계 204에 기재된 바와 같이 필터에 의해 실시될 수 있다. 검출된 편차가 라이팅의 변화로서 확실히 분류되고 이미지이거나 이미지와 결합된 픽셀 그룹의 이동이 아니면, 그 후 처리 유닛은 단계 206에 도시된 바와 같이, 백그라운드로서 픽셀 그룹을 분류할 수 있다.
편차가 라이팅의 변화로서 간주되지 않으면, 그 후 처리 유닛은 편차가 취득 모듈의 이동 때문이고, 단계 208에 도시된 바와 같은 이미지의 이동이 아니면 검출할 수 있다. 편차가 취득 모듈에서 이동으로서 확실히 특성을 나타내면, 그 후 처리 유닛은 단계 206에 도시된 바와 같이, 백그라운드로서 픽셀을 분류할 수 있다. 편차가 취득 모듈의 위치에서 이동으로서 간주되지 않으면, 그 후 처리 유닛은 단계 210에 도시된 바와 같이, 백그라운드로서가 아닌 픽셀을 분류할 수 있다(예를 들면: 포어그라운드로서 또는 분석될 필요가 있는 픽셀 등으로서 레지스터링됨). 어떤 편차도 검출되지 않거나 매우 작은 편차, 또는 임계치 값보다 작은 편차이면, 단계 202에 기재된 바와 같은 픽셀 사이의 어떤 실질적인 변화도 없는 것으로서 특성을 나타낼 수 있고, 그 후 처리 유닛은 픽셀 그룹이 컬러링, 색조, 대조 등의 유사한 특성을 갖는 다른 픽셀 그룹의 소정의 근접 내에 위치하고 단계 212에 기재된 바와 같이, 변화되면 검출하거나 컴퓨팅하거나 분석할 수 있다. 그러한 실시는 변화되지 않지만 포어그라운드인 픽셀 그룹을 검출할 수 있다. 예를 들면, 대상이 몇몇 픽셀 그룹 내에서 묘사되면, 대상이 픽셀 그룹의 일부와 결합된 SDV의 일부를 이동해도 동일 대상의 다른 영역이 픽셀 그룹을 갖기 때문에 임계치 값 이하일 수 있다. 그러므로, 이웃한 픽셀 그룹에 추가 정보는 픽셀에서의 변화만 그 일부(예를 들면, 대상의 에지)에서 검출될 수 있지만 포어그라운드로서 몇몇 픽셀 그룹을 규정하는 것을 도울 수 있다.
픽셀 그룹이 단계 212에 의한 요구를 충족하면, 그 후 픽셀 그룹은 단계 210에 도시된 바와 같이, 백그라운드로서 분류될 수 없다. 픽셀 그룹이 단계 212에 의한 요구를 충족하지 않으면, 그 후 처리 유닛은 픽셀 그룹이 단계 214에 도시된 바와 같이, 특별한 대상이나 소정의 엘리먼트, 또는 대상이나 유저(예를 들면: 머리, 얼굴, 의자, XTR 구조 등)로서 소정의 근접 내에 위치하거나 동일 프레임 내에 위치하면 더 검출하거나 컴퓨팅하거나 분석할 수 있다. 소정의 엘리먼트는 예를 들면, 사람을 추적할 때 머리나 얼굴이 소정의 엘리먼트일 수 있는 HMI 시스템과 결합된 애플리케이션에 더 높은 이익이 될 수 있다. 다른 실시예는 메스나 다른 의료 장치가 이익의 엘리먼트로서 미리 규정될 수 있다. 픽셀 그룹이 단계 214의 요구를 충족하면, 그 후 처리 유닛은 단계 210에 도시된 바와 같이, 픽셀을 백그라운드로서가 아닌 것으로 분류할 수 있다. 픽셀 그룹이 단계 214의 요구를 충족하지 않으면, 그 후 처리 유닛은 단계 206에 도시된 바와 같이, 픽셀을 백그라운드로서 분류할 수 있다. 선택적으로, 처리 유닛은 픽셀 그룹이 백그라운드에 상관없이(단계 206 및 210에 도시된 바와 같이) 분류하는 것을 포함할 때, 다음 프레임을 수신하는 것을 지속하고, 미리 분석된 픽셀에 픽셀의 새로운 그룹을 비교하고, 단계 202에 보이는 바와 같이, 이전의 프레임과 새로운 프레임 사이의 픽셀에 편차가 있으면 검출하는 모든 미리 기재된 처리 시작을 재시작할 수 있다. 본 발명의 일부 실시형태에 의하면, 스테이지의 일부 또는 모두가 동일 프레임이나 픽셀 그룹에 평행으로 될 수 있거나, 평행으로 몇몇 프레임에 또는 평행하고 연속인 기능의 조합에 수행될 수 있다.
이제 도 2b로 돌아오면, 순서도 300에 보이는 바와 같이, 처리 유닛 순서도가 도시되어 있다. 픽셀 그룹이 단계 312에 의한 요구를 충족하면, 그 후 픽셀 그룹은 단계 310에 도시된 바와 같이, 백그라운드로서 분류될 수 없다. 픽셀 그룹이 단계 312에 의한 요구를 충족하지 않으면, 그 후 처리 유닛은 픽셀 그룹이 단계 314에 기재된 바와 같이, 특별한 대상이나 소정의 엘리먼트, 대상이나 유저(예를 들면: 머리, 얼굴, 의자, XTR 구조 등)로서 소정의 근접성 내에 있거나 동일 프레임 내에 있으면 더 검출하거나 컴퓨팅하거나 분석할 수 있다. 소정의 엘리먼트는, 예를 들면 사람을 추적할 때 머리나 얼굴이 소정의 엘리먼트일 수 있는 HMI 시스템과 결합된 애플리케이션에 더 높은 이익일 수 있다. 다른 실시예는 의학적인 실시에서 사용될 때 메스나 다른 의료 장치가 이익의 엘리먼트로서 미리 정해질 수 있다. 픽셀 그룹이 단계 314의 요구를 충족할 때, 그 후 처리 유닛은 단계 316에 기재된 바와 같이, 픽셀 그룹의 특성을 나타내는 것을 지속할 수 있다. 픽셀 그룹이 단계 314의 요구를 충족하지 않으면, 그 후 처리 유닛은 단계 306에 도시된 바와 같이, 픽셀을 백그라운드로서 분류할 수 있다. 선택적으로, 처리 유닛은 픽셀 그룹이 백그라운드에 상관없이 분류하는 것을 마칠 때(단계 306 및 310에 도시된 바와 같이), 이전의 프레임과 새로운 프레임 사이의 픽셀에서 편차가 있으면 다음 프레임을 수신하는 것을 지속하고, 미리 분석된 픽셀에 픽셀의 새로운 그룹을 비교하고, 단계 302에 보이는 바와 같이, 이전의 프레임과 새로운 프레임 사이의 픽셀에 편차가 있으면 검출하는 모든 미리 기재된 처리 시작을 재시작할 수 있다. 본 발명의 일부 실시형태에 의하면, 일부 또는 모든 스테이지는 동일 프레임이나 픽셀 그룹에 평행으로 될 수 있거나, 평행한 몇몇 프레임 또는 평행하고 연속적인 기능의 조합에 수행될 수 있다.
픽셀에서 변화가 검출되면 라이팅에서 변화(단계 304에 기재된 바와 같이)나 이미지 취득 모듈(단계 308에 기재된 바와 같이)의 위치에서 변화로서 특성을 나타내지 않고, 그 후 처리 유닛은 이동을 그룹핑하여 분석할 수 있고, 이동은 예를 들면 단계 316에 기재된 바와 같이, 정적, 동적 통합되거나 동적 비통합 등에 속한다. 다음의 단계 316은 픽셀의 그룹이 단계 306 및 310에 기재된 바와 같이, 픽셀이 속하는 이동의 그룹에 의한 백그라운드이거나 백그라운드가 아닌 것으로서 분류될 수 있다. 어떤 그룹(정적, 동적 등)이 어떤 분류(백그라운드, 비백그라운드 등)에 속하는 규정은 애플리케이션과 그 규정에 좌우되고, 소정의 애플리케이션에 대해 또는 HMI 시스템이 작동하거나 관련된 시스템일 수 있다.
본 발명의 일부 실시형태에 의하면, "정적"으로 규정된 이동(단계 312에 기재됨)은 의자, 책상, 병 등의 무생물의 대상의 위치를 변경할 수 있어서, 대상의 이동은 대상이 사용되고 대상의 다른 새로운 위치의 한 곳인 정보의 2개의 새로운 영역을 생성할 수 있다. 본 발명의 일부 실시형태에 의하면, 동적 비통합 이동(단계 312에 기재됨)은 사람, 롤링 볼, 개 등의 이동일 수 있어서, 이동이 계속 진행중인 처리이거나 지속적인 기능, 예를 들면 롤링 볼이 몇몇 프레임을 통해 연속적으로 이동할 수 있다. 본 발명의 일부 실시형태에 의하면, 동적 비통합 이동(단계 312에 기재됨)은 커튼에서 약간의 이동 때문에 그림의 일부에서 변화되고, 프레임의 일부에서 색조의 원인일 수도 있고, 프레임의 일부에서 빛나게 하거나 광 등을 깜빡일 수 있는 시계나 보석이 원인일 수 있다. 동적 비통합 이동은 프레임에서 라이팅 변화와 유사할 수 있으나, 이들 경우에 프레임에서 변화는 한정된 영역일 수 있는 반면에 라이팅의 일반적인 변화가 프레임의 가장 큰 부분일 수 있다.
이제 도 3a로 돌아가면, 순서도(400)에 나타낸 바와 같이 HMI 시스템 순서도가 도시되어 있다. HMI 시스템은 단계 402에 도시된 바와 같이 이미지를 획득할 수 있다. 이미지는 1개 이상의 프레임으로 구성될 수 있고, 각 프레임은 1개 이상의 픽셀 그룹으로 구성될 수 있다. 이미지를 취득한 후에 시스템은 단계 404에 도시된 바와 같이 초기화될 수 있다(예를 들면, 획득된 제 1 이미지이면, 또는 이미지 등의 취득의 사이클의 소정의 수 다음). 단계 404는 레지스터, 데이터 스토리지, 또는 메모리에 미리 저장된 정보와 첫 번째로 수행되게 하는 어떤 다른 기능을 삭제하는 것을 포함할 수 있어 이미지가 수신되거나 모든 몇몇 사이클에 한번 수신된다. 이 단계 다음의 시스템은 단계 406에 도시된 바와 같이 픽셀 그룹을 분석할 것이다. 단계 406은 SDV, SFDV, 픽셀 그룹의 특성, 일부 또는 모든 이것들로부터 드라이빙된 추가 정보 등을 검출하는 것을 포함할 수 있다. 선택적으로, 최초의 사이클이나 다른 소정의 파라미터에 없으면 시스템은 단계 404를 스킵하고 순서도에 도시된 바와 같이, 단계 402 및 406 사이로 직접 갈 수 있다. 그 후, 시스템은 픽셀이 단계 408에 도시된 바와 같이, 백그라운드 또는 포어그라운드로서 구별될 수 있으면 구별할 수 있다. 픽셀이 백그라운드로서 구별되면, 시스템은 그들을 백그라운드로서 메모리에 세이빙할 수 있고(단계 410에 도시된 바와 같이) - 이것은 시스템이 동작할 수 있는 속도와 시스템의 정확도에 공헌할 수 있다. 픽셀이 포어그라운드로서 구별되면(애플리케이션에 이익이 있는 이미지의 일부를 의미함), 그 후 시스템은 이동, 에러 보정, 추적 등을 기억하는 XTR 3D Motion Capture Engine 등의 규칙적인 이미지 모듈을 지속할 수 있다(단계 412에 도시된 바와 같이). 그 후 시스템은 단계 414에 도시된 바와 같이, 유저에 관한 데이터를 출력할 수 있다. 단계 414 및 단계 410 다음의 시스템은 선택적으로 추가 이미지를 획득하고 상술된 단계를 재시작할 수 있다.
이제 도 3b로 돌아오면, 순서도(500)에 보이는 바와 같이, HMI 시스템 순서도가 도시되어 있다. 도 3b는 도 3a와 같은 본질적으로 유사한 처리를 기재하고, 단계 502-514는 단계 402-414와 각각 대응하고, 도 3a에 기재된 바와 같은 동일 단계가 기재될 수 있는 것이 이해된다. 그러나, HMI 시스템 플로우에 포함될 수 있는 추가적인 단계가 있고, 픽셀 그룹이 단계 506에 의해 분석된 후에(SDV, SFDV, 및 추가 특성과 측정을 선택 해제함), 시스템은 이동이 이미지 취득 모듈(단계 516에 기재된 바와 같음)의 위치에서 변화 때문인지를 구별하고 특성을 나타낸다. 그렇다면, 시스템은 새로운 이미지 때문에 초기화할 수 있고(단계 504에 도시된 바와 같이) 그것의 프레임과 픽셀의 그룹은 미리 캡처된 이미지 프레임과 픽셀의 그룹에 정렬될 수 없어 그러한 에러는 픽셀, 프레임 등을 비교함으로부터 극복될 수 있다.
본 발명의 일부 실시형태에 의하면, 단계 408에 기재된 바와 같이, 포어그라운드(이미지) 또는 백그라운드로서 픽셀 그룹을 구별하는 것은 변경되는 픽셀을 추적하는 것과 변경되지 않은 픽셀을 추적하는 것으로 구성되고, 포어그라운드를 추적하기 위한 모든 1개 이상의 프레임을 2개의 구별 그룹으로 사용할 수도 있다. 예를 들면, 제 1 프레임에 틱킹 클록을 분석하면 다이얼은 제 1 위치와 제 2 위치에서 제 4 프레임일 수 있다. 제 1 프레임에서 포어그라운드는 데이터의 2개 그룹이 포어그라운드로서 틱킹 다이얼을 확인하고 추적하기 위해 사용될 수 있는 것과 비교하는 클록(수, 프레임 등)의 나머지일 수 있다.
이제 도 3c로 돌아가면, 순서도(600)에 나타낸 바와 같이, HMI 시스템 순서도가 도시되어 있다. 도 3c는 도 3a와 같이, 본질적으로 유사한 처리가 기재되는 것이 이해되고, 단계 602-614는 각각 단계 402-414에 대응하고, 도 3a에 기재된 바와 같이, 동일 단계를 기재할 수 있다. 그러나, HMI 시스템 플로우에 포함될 수 있는 추가 단계가 있어 픽셀 그룹이 단계 606에 의해 분석된 후에, 시스템은 이동이 이미지 취득 모듈의 위치에서 변화 때문인지를 구별하거나 특성을 나타낼 수 있고(단계 616에 기재된 바와 같음), 그 후 시스템이 미리 캡처된 이미지, 프레임, 또는 픽셀의 그룹을 정렬하거나, 픽셀 오프셋 보상을 수행해서 카메라의 새로운 위치를 다음의 새 이미지와 매칭할 수 있고(단계 618에 기재된 바와 같음), 그것의 프레임과 픽셀의 그룹이 미리 캡처된 이미지 프레임과 픽셀의 그룹을 정렬할 수 있어서, 데이터를 비교하고 차이를 분석하거나 SDV를 검출하는 처리가 단계 606에 도시된 바와 같이 지속될 수 있다. 또한, 처리 유닛은 카메라나 새로운 카메라 위치의 3D 또는 2D 이동을 기록할 수 있고, 또한 이 정보를 새로운 프레임을 분석하기 위해 사용할 수 있다.
이제 도 4a 및 4b로 돌아가면, 이미지(700 및 800) 등의 캡처된 이미지의 세미 그림 도면이 도시되어 있다. 본 발명의 일부 실시형태에 의하면, 이미지(700)의 캡처된 이미지는 백그라운드로서 픽셀 그룹(702) 등의 픽셀 그룹(들)을 분류할 수 있다. 이미지(700)에서 픽셀 그룹(704) 등의 다른 픽셀 그룹은 유저의 다리를 캡춰링하고, 유저(710)가 포어그라운드로서 분류될 수 있다. 이미지(700)를 캡처링하는 동안에 라이팅은 아이템(706)에 의해 묘사됨으로서 맑은 하늘일 수 있다. 이미지(800) 등의 다음의 이미지를 캡처하는 동안에 라이팅은 아이템(806)에 의해 묘사되므로 부분적으로 구름있는 하늘로서 변경될 수 있다. 그러한 라이팅에서의 변화(백그라운드 또는 포어그라운드의 이동에 변화 없이)는 검출된 픽셀에서 편차의 원인일 수 있고, 그러한 편차는 이미지이거나 프레임의 큰 부분의 색조에 약간의 편차로서 특성을 나타낼 수 있고, 다음의 픽셀 그룹(들)이 이전의 캡처된 이미지에서 분류와 같게 분류될 수 있다. 픽셀 그룹(702 및 704)에 관련된 픽셀 그룹(802 및 804)은 그들의 이전의 분류에 의한 백그라운드 또는 포어그라운드의 분류를 유지할 것이다.
이제 도 4c로 돌아가면, 이미지(900) 등의 캡처된 이미지의 세미 그림 도면이 도시되어 있다. 이미지(900)는 이미지(700)에 대해 다음의 이미지의 실시예인 것이 이해된다. 그러나, 캡처된 이미지(900) 사이에 모듈이 우연히 이동되어 픽셀 그룹(902 및 904)이 픽셀의 그룹(702 및 704)에 관련되지 않는다. 예를 들면, 유저(910)가 이동하지 않는 것으로 가정하면, 픽셀 그룹(904)은 이동되지 않은 이미지와 이미지 취득 모듈의 양쪽이 프레임에서 다른 위치에 있으면 유저(910)의 다리가 캡처된다. 그러한 이미지이거나 프레임을 통해 픽셀의 큰 그룹에서 편차는 이미지 취득 모듈의 이동으로서 분류될 수 있다.
본 발명의 특정한 특징이 여기에 예시되고 기재되어 있는 반면에, 다수의 수정, 대체, 변화, 및 등가가 당업자에게 생길 것이다. 그러므로, 첨부된 청구범위는 본 발명의 진정한 사상 안에서 발생되는 모든 그러한 수정 및 변경을 커버하도록 의도된 것이 이해된다.

Claims (27)

  1. 이미징 어셈블리에 의해 획득된 장면의 1개 이상의 이미지를 수신하고, 백그라운드 또는 포어그라운드로서의 1개 이상의 이미지의 적어도 1개의 제 1 픽셀 그룹을 분류하도록 구성된 이미지 처리 유닛
    을 포함하고,
    상기 처리 유닛에 의해 수행되는 분류는 상기 제 1 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 상대 위치에 적어도 부분적으로 기초되는 것을 특징으로 하는 이미지 처리 시스템.
  2. 제 1 항에 있어서,
    상기 처리 유닛은 상기 제 1 픽셀 그룹이 상기 1개 이상의 다른 미리 분류된 픽셀 그룹으로 규정된 공간 근접 내에 위치한 지를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 시스템.
  3. 제 2 항에 있어서,
    상기 처리 유닛은 상기 1개 이상의 다른 미리 분류된 픽셀 그룹의 대응하는 비주얼 속성에 대해 상기 제 1 픽셀 그룹의 1개 이상의 비주얼 속성을 비교하도록 더 구성된 것을 특징으로 하는 이미지 처리 시스템.
  4. 제 1 항에 있어서,
    상기 처리 유닛은 상기 제 1 픽셀 그룹이 2개 이상의 다른 미리 분류된 픽셀 그룹 사이의 영역 내에 위치되는지를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 시스템.
  5. 제 4 항에 있어서,
    상기 처리 유닛은 상기 2개 이상의 다른 미리 분류된 픽셀 그룹의 대응하는 비주얼 속성에 대해 상기 제 1 픽셀 그룹의 1개 이상의 비주얼 속성을 비교하도록 더 구성된 것을 특징으로 하는 이미지 처리 시스템.
  6. 제 3 항 또는 제 5 항에 있어서,
    상기 처리 유닛은 상기 제 1 픽셀 그룹과, 다른 프레임에서의 대응하는 픽셀 그룹 사이의 시공 편차값에 적어도 부분적으로 기초된 제 1 픽셀 그룹을 분류하도록 더 구성된 것을 특징으로 하는 이미지 처리 시스템.
  7. 제 6 항에 있어서,
    상기 처리 유닛은 상기 1개 이상의 다른 미리 분류된 픽셀 그룹이 포어그라운드로서 분류될 때 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성된 것을 특징으로 하는 이미지 처리 시스템.
  8. 제 7 항에 있어서,
    상기 1개 이상의 다른 미리 분류된 픽셀 그룹은 임계치를 넘는 결합된 시공 편차값 때문에 포어그라운드로서 분류되는 것을 특징으로 하는 이미지 처리 시스템.
  9. 제 7 항에 있어서,
    상기 1개 이상의 다른 미리 분류된 픽셀 그룹은 특성 검출에 기초된 포어그라운드로서 분류되는 것을 특징으로 하는 이미지 처리 시스템.
  10. 유저의 1세트의 2차원 이미지를 취득하도록 구성된 이미지 취득 어셈블리(이때 실질적으로 2개 이상의 이미지는 서로 다른 시점에서 결합됨); 및
    백그라운드 또는 포어그라운드로서 1개 이상의 픽셀 그룹(들)을 분류함으로써 1개 이상의 평가된 유저 신체 위치를 유도하도록 구성된 처리 유닛을 포함하는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  11. 제 10 항에 있어서,
    상기 처리 유닛은 제 1 프레임에서의 제 1 픽셀 그룹의 시공 편차값("SDV")을 측정하도록 구성되고, SDV는 제 1 프레임에서의 제 1 픽셀 그룹과 다른 프레임에서의 대응하는 제 2 픽셀 그룹 사이의 시공 편차를 나타내는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  12. 제 11 항에 있어서,
    백그라운드 또는 포어그라운드로서의 픽셀 그룹의 분류는 픽셀 그룹의 SDV에, 그리고 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 공간 관계에 적어도 부분적으로 기초되는 것을 특징으로 하는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  13. 제 12 항에 있어서,
    소정 픽셀 그룹의 SDV가 임계치를 넘는 경우, 상기 SDV가 하이 SDV 백그라운드 익셉션("HSBE")의 결과로서 간주되지 않으면 상기 소정 픽셀 그룹은 포어그라운드로서 분류되는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  14. 제 13 항에 있어서,
    HSBE는 프레임에서의 정적 동작, 프레임에서의 동적 동작, 프레임에서의 비통합 동작, 프레임에서의 통합 동작, 이미지 취득 어셈블리에서의 시프트, 및 라이팅 시프트로 구성되는 그룹으로부터 선택된 1개 이상의 현상인 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  15. 제 14 항에 있어서,
    SDV가 라이팅 시프트의 결과로서 간주되는 픽셀 그룹은 재분류되지 않는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  16. 제 14 항에 있어서,
    SDV가 이미지 취득 어셈블리에서의 시프트의 결과로서 간주되는 픽셀 그룹은 상기 처리 유닛을 트리거하여 백그라운드 분류 처리를 재시작하는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  17. 제 14 항에 있어서,
    SDV가 이미지 취득 어셈블리에서의 시프트의 결과로서 간주되는 픽셀 그룹은 상기 유닛을 트리거하여 상기 이미지 취득 어셈블리의 위치의 검출된 변화에 기초된 픽셀 오프셋 보상을 수행하는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  18. 제 17 항에 있어서,
    상기 픽셀 오프셋 보상은 제 1 어셈블리 위치 및 제 2 어셈블리 위치와 관련된 픽셀 그룹 데이터의 상관관계를 포함하는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  19. 제 12 항에 있어서,
    소정 픽셀 그룹의 SDV가 임계치 아래인 경우에, 상기 SDV가 로우 SDV 포어그라운드 익셉션("LSFE")의 결과로서 간주되지 않으면 상기 소정 픽셀 그룹은 백그라운드로서 분류되는 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  20. 제 19 항에 있어서,
    LSFE는 이미지 취득 어셈블리에서의 시프트, 라이팅 시프트, 인접한 소정의 엘리먼트 익셉션, 및 인접한 포어그라운드 익셉션으로 구성되는 그룹으로부터 선택된 1개 이상의 현상인 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  21. 제 12 항에 있어서,
    상기 처리 유닛은, 제 2 픽셀 그룹이 포어그라운드로서 간주되고 제 1 픽셀 그룹과 제 2 픽셀 그룹 모두가 1개 이상의 유사한 특성 또는 비주얼 속성을 가질 때에, 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성된 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  22. 제 12 항에 있어서,
    상기 처리 유닛은, 제 2 픽셀 그룹이 소정의 엘리먼트 또는 특성과 일치되고 제 1 픽셀 그룹과 제 2 픽셀 그룹이 서로 소정의 근접 내에 위치할 때에, 포어그라운드로서 제 1 픽셀 그룹을 분류하도록 구성된 것을 특징으로 하는 이미지 기반 인간 기계 인터페이스.
  23. 유저의 1세트의 2차원 이미지를 취득하는 단계(이때 실질적으로 각 이미지는 서로 다른 시점에서 결합됨); 및
    백그라운드 또는 포어그라운드로서 1개 이상의 픽셀 그룹(들)을 분류함으로써 1개 이상의 평가된 유저 신체 위치를 처리하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  24. 제 23 항에 있어서,
    상기 분류 단계는 제 1 프레임에서의 제 1 픽셀 그룹의 시공 편차값("SDV")을 측정하는 단계를 포함하고, SDV는 제 1 프레임에서의 제 1 픽셀 그룹과, 다른 프레임에서의 대응하는 제 2 픽셀 그룹 사이의 시공 편차를 나타내는 것을 특징으로 하는 이미지 처리 방법.
  25. 제 24 항에 있어서,
    백그라운드 또는 포어그라운드로서의 픽셀 그룹의 분류는 픽셀 그룹의 측정된 SDV에, 그리고 픽셀 그룹과 1개 이상의 다른 미리 분류된 픽셀 그룹 사이의 공간 관계에 적어도 부분적으로 기초되는 것을 특징으로 하는 이미지 처리 방법.
  26. 제 25 항에 있어서,
    소정 픽셀 그룹의 SDV가 임계치를 넘었다고 검출되는 경우, 상기 SDV가 하이 SDV 백그라운드 익셉션("HSBE")의 결과로서 간주되지 않으면 상기 소정 픽셀 그룹은 포어그라운드로서 분류되는 것을 특징으로 하는 이미지 처리 방법.
  27. 제 26 항에 있어서,
    HSBE는 프레임에서의 정적 동작, 프레임에서의 동적 동작, 프레임에서의 비통합 동작, 프레임에서의 통합 동작, 이미지 취득 어셈블리에서의 시프트, 및 라이팅 시프트로 구성되는 그룹으로부터 선택된 1개 이상의 현상인 것을 특징으로 하는 이미지 처리 방법.
KR1020117011612A 2008-10-24 2009-10-25 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어 KR101526644B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10845408P 2008-10-24 2008-10-24
US61/108,454 2008-10-24
PCT/IL2009/000997 WO2010046901A2 (en) 2008-10-24 2009-10-25 A method system and associated modules and software components for providing image sensor based human machine interfacing

Publications (2)

Publication Number Publication Date
KR20110086111A true KR20110086111A (ko) 2011-07-27
KR101526644B1 KR101526644B1 (ko) 2015-06-05

Family

ID=42119771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011612A KR101526644B1 (ko) 2008-10-24 2009-10-25 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어

Country Status (6)

Country Link
US (1) US8548258B2 (ko)
EP (1) EP2350925A4 (ko)
JP (1) JP5540002B2 (ko)
KR (1) KR101526644B1 (ko)
CA (1) CA2741559A1 (ko)
WO (1) WO2010046901A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323966B1 (ko) 2004-07-30 2013-10-31 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
WO2010046901A2 (en) 2008-10-24 2010-04-29 Extreme Reality Ltd. A method system and associated modules and software components for providing image sensor based human machine interfacing
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
CA2806520C (en) 2011-01-23 2016-02-16 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
JPWO2012124250A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9633444B2 (en) * 2014-05-05 2017-04-25 Xiaomi Inc. Method and device for image segmentation
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10163247B2 (en) * 2015-07-14 2018-12-25 Microsoft Technology Licensing, Llc Context-adaptive allocation of render model resources

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4376950A (en) 1980-09-29 1983-03-15 Ampex Corporation Three-dimensional television system using holographic techniques
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5515183A (en) 1991-08-08 1996-05-07 Citizen Watch Co., Ltd. Real-time holography system
US5691885A (en) 1992-03-17 1997-11-25 Massachusetts Institute Of Technology Three-dimensional interconnect having modules with vertical top and bottom connectors
JP3414417B2 (ja) 1992-09-30 2003-06-09 富士通株式会社 立体画像情報伝送システム
US5745719A (en) 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
US5835133A (en) 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US6115482A (en) 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5909218A (en) 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
US6445814B2 (en) 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US5852450A (en) 1996-07-11 1998-12-22 Lamb & Company, Inc. Method and apparatus for processing captured motion data
US5831633A (en) 1996-08-13 1998-11-03 Van Roy; Peter L. Designating, drawing and colorizing generated images by computer
JPH10188028A (ja) 1996-10-31 1998-07-21 Konami Co Ltd スケルトンによる動画像生成装置、該動画像を生成する方法、並びに該動画像を生成するプログラムを記憶した媒体
US6243106B1 (en) 1998-04-13 2001-06-05 Compaq Computer Corporation Method for figure tracking using 2-D registration and 3-D reconstruction
US6529643B1 (en) 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6657670B1 (en) 1999-03-16 2003-12-02 Teco Image Systems Co., Ltd. Diaphragm structure of digital still camera
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US7123292B1 (en) 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
GB2358098A (en) 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
EP1117072A1 (en) 2000-01-17 2001-07-18 Koninklijke Philips Electronics N.V. Text improvement
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6554706B2 (en) 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
JP4047575B2 (ja) 2000-11-15 2008-02-13 株式会社セガ 情報処理装置における表示物体生成方法、これを実行制御するプログラム及びこのプログラムを格納した記録媒体
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US7061532B2 (en) 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
US6862121B2 (en) 2001-06-05 2005-03-01 California Institute Of Technolgy Method and apparatus for holographic recording of fast phenomena
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003039698A1 (en) 2001-11-02 2003-05-15 Atlantis Cyberspace, Inc. Virtual reality game system with pseudo 3d display driver & mission control
US20050063596A1 (en) 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
US6833843B2 (en) 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP3866168B2 (ja) 2002-07-31 2007-01-10 独立行政法人科学技術振興機構 多重構造を用いた動作生成システム
US8013852B2 (en) 2002-08-02 2011-09-06 Honda Giken Kogyo Kabushiki Kaisha Anthropometry-based skeleton fitting
US8460103B2 (en) 2004-06-18 2013-06-11 Igt Gesture controlled casino gaming system
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
JPWO2004094943A1 (ja) 2003-04-22 2006-07-13 博 有澤 モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ
US20070098250A1 (en) * 2003-05-01 2007-05-03 Delta Dansk Elektronik, Lys Og Akustik Man-machine interface based on 3-D positions of the human body
US7418134B2 (en) * 2003-05-12 2008-08-26 Princeton University Method and apparatus for foreground segmentation of video sequences
US7831088B2 (en) 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
KR100601460B1 (ko) * 2003-06-23 2006-07-14 삼성전기주식회사 화상 센서와 영상 처리기 간의 인터페이스 장치 및 방법
JP2005020227A (ja) * 2003-06-25 2005-01-20 Pfu Ltd 画像圧縮装置
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US20070183633A1 (en) 2004-03-24 2007-08-09 Andre Hoffmann Identification, verification, and recognition method and system
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7366278B2 (en) 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US8432390B2 (en) 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
KR101323966B1 (ko) 2004-07-30 2013-10-31 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
GB0424030D0 (en) * 2004-10-28 2004-12-01 British Telecomm A method and system for processing video data
US7903141B1 (en) * 2005-02-15 2011-03-08 Videomining Corporation Method and system for event detection by multi-scale image invariant analysis
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
JP2007036782A (ja) * 2005-07-28 2007-02-08 Matsushita Electric Ind Co Ltd 移動物体検出装置
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US7804486B2 (en) 2006-04-06 2010-09-28 Smyth Robert W Trackball systems and methods for rotating a three-dimensional image on a computer display
EP2013817A2 (en) * 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
US7885480B2 (en) * 2006-10-31 2011-02-08 Mitutoyo Corporation Correlation peak finding method for image correlation displacement sensing
US8793621B2 (en) 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
JP4780564B2 (ja) * 2006-11-21 2011-09-28 株式会社国際電気通信基礎技術研究所 画像処理装置、画像処理方法及び画像処理プログラム
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US8064695B2 (en) * 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
JP5599400B2 (ja) 2008-09-04 2014-10-01 エクストリーム リアリティー エルティーディー． 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
WO2010046901A2 (en) 2008-10-24 2010-04-29 Extreme Reality Ltd. A method system and associated modules and software components for providing image sensor based human machine interfacing
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템

Also Published As

Publication number Publication date
JP2012506589A (ja) 2012-03-15
US8548258B2 (en) 2013-10-01
KR101526644B1 (ko) 2015-06-05
JP5540002B2 (ja) 2014-07-02
CA2741559A1 (en) 2010-04-29
WO2010046901A3 (en) 2010-08-12
EP2350925A4 (en) 2012-03-21
US20110286673A1 (en) 2011-11-24
EP2350925A2 (en) 2011-08-03
WO2010046901A2 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
KR20110086111A (ko) 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어
CN108537859B (zh) 使用深度学习的图像蒙板
US9613454B2 (en) Automatic geometry and lighting inference for realistic image editing
KR101379074B1 (ko) 인간 기계 인터페이스를 위한 장치 시스템 및 방법
US8432390B2 (en) Apparatus system and method for human-machine interface
CN104050443B (zh) 使用肤色检测的视频流的姿势预处理
US10769830B2 (en) Transferring vector style properties to a vector artwork
EP2945374B1 (en) Positioning of projected augmented reality content
CN103916647B (zh) 采用拖延期的视频流的姿势预处理来减少平台功率
JP2018524060A (ja) ゲームシーンにおけるターゲットをロックするための方法および端末
CN112150347B (zh) 从有限的修改后图像集合中学习的图像修改样式
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
US11393144B2 (en) System and method for rendering an image
CN111325271A (zh) 图像分类方法及装置
CN113050860B (zh) 一种控件识别方法和相关装置
CN107018439A (zh) 用于生成展现多个视频的用户界面的方法
CN108734761B (zh) 场景可视化方法、装置、电子设备及存储介质
US8681100B2 (en) Apparatus system and method for human-machine-interface
TWI757965B (zh) 擴增實境體感遊戲機之深度學習方法
Winnemoller Perceptually-motivated non-photorealistic graphics
CN112748829B (zh) 图片编辑方法、装置、设备以及存储介质
US20230326152A1 (en) Data processing method, computer device and readable storage medium
Zhao et al. [Retracted] Exploring the Visual Space Structure of Oil Painting Based on Visual Importance
JP2009015774A (ja) 情報処理装置及び情報処理方法
Bi Visual inference of material properties of deformable objects in dynamic environments

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 4