KR20050074802A - 인터액티브 프레젠테이션 시스템 - Google Patents

인터액티브 프레젠테이션 시스템 Download PDF

Info

Publication number
KR20050074802A
KR20050074802A KR1020040002700A KR20040002700A KR20050074802A KR 20050074802 A KR20050074802 A KR 20050074802A KR 1020040002700 A KR1020040002700 A KR 1020040002700A KR 20040002700 A KR20040002700 A KR 20040002700A KR 20050074802 A KR20050074802 A KR 20050074802A
Authority
KR
South Korea
Prior art keywords
presenter
image
infrared
presentation
marker
Prior art date
Application number
KR1020040002700A
Other languages
English (en)
Other versions
KR100588042B1 (ko
Inventor
안상철
김형곤
김익재
황창식
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020040002700A priority Critical patent/KR100588042B1/ko
Priority to US11/001,079 priority patent/US7468742B2/en
Publication of KR20050074802A publication Critical patent/KR20050074802A/ko
Application granted granted Critical
Publication of KR100588042B1 publication Critical patent/KR100588042B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 발표자가 실시간으로 프레젠테이션 자료 영상과 직접 제스쳐 또는/및 음성을 통해 다양한 인터액션을 하면서 발표자가 프레젠테이션을 수행할 수 있는 인터액티브 프레젠테이션 시스템을 제공하기 위한 것으로, 능동 적외선 카메라와; 상기 능동 적외선 카메라와 연결된 명령 인식 시스템과; 그리고 능동 적외선 카메라 및 명령 인식 시스템과 연결된 영상 합성 시스템을 포함하여 구성된다. 본 발명의 프레젠테이션 시스템은 발표자를 3차원 영상에 적절히 합성하기 위한 스테레오 카메라 셋트와 3차원 움직임 시스템을 더 포함하여 구성될 수 있다.
이러한 구성에 의하여, 발표자의 제스쳐 또는 음성에 의한 명령이 실시간으로 처리되고 또한 발표자의 영상이 실시간으로 발표 자료 화면과 합성되는 인터액티브 프레젠테이션 시스템을 구현할 수 있으며, 이를 통해 시청각 효과가 극대화된다.

Description

인터액티브 프레젠테이션 시스템{INTERACTIVE PRESENTATION SYSTEM}
본 발명은 컴퓨터를 이용한 프레젠테이션 시스템에 관한 것으로, 보다 상세하게는 표시되는 발표 자료 화면의 영상과 발표자가 직접 인터액션(interaction)을 하면서 프레젠테이션을 수행할 수 있는 인터액티브 프레젠테이션(interactive presentation) 시스템에 관한 것이다.
통상적인 컴퓨터를 이용한 프레젠테이션에서는, 발표자가 프레젠테이션 자료를 컴퓨터 모니터 상에 표시하거나 프로젝터(projector) 등을 통해 대형 스크린에 투사시켜서 청중들에게 보여주고, 표시되는 프레젠테이션 자료 영상 부근에서 지시봉이나 레이저 포인터(laser pointer) 등을 사용하여, 프레젠테이션 자료 영상 중 특정 부분을 가리키면서 설명한다. 또한, 발표자는 프레젠테이션 자료의 페이지를 넘기거나 프레젠테이션 자료에 포함된 비디오 또는 파일 등과 같은 대상체(object)를 실행시키기 위해 컴퓨터를 직접 조작함으로써 컴퓨터와 인터액션 한다. 최근에는, 무선 마우스나 리모컨(remote controller)으로 컴퓨터와 어느 정도 이격되어 인터액션을 수행하기도 한다. 그러나, 이러한 종래기술에 따른 프레젠테이션 방식은 발표자가 수행할 수 있는 인터액션이 제한적이고 컴퓨터를 사용하지 않고 하는 프리젠테이션보다 그 진행이나 인터액션이 자연스럽지 않다는 문제점이 있다.
또한, 종래기술에 따른 프레젠테이션 방식은 발표자, 프레젠테이션 자료를 저장하고 있는 컴퓨터, 청중이 모두 동일한 장소에 있는 경우에만 가능하다는 문제점이 있다. 이러한 공간상의 문제점을 개선하기 위한 방안으로서, 청중이 원격지에 있는 경우, 발표자가 종래와 같이 프레젠테이션을 하고 이를 비디오 카메라로 촬영하여 통신망을 통해 원격지로 전송하는 방식이 현재 사용되고 있으나, 이러한 방식은 비디오 카메라의 해상도가 컴퓨터 모니터의 해상도보다 떨어지기 때문에, 원격지에서 프레젠테이션 자료가 잘 보이지 않는다는 문제점이 있다.
이를 해결하기 위해, 프레젠테이션 자료를 청중이 있는 원격지에 마련된 컴퓨터에 저장하여 이를 통해 표시하고, 비디오 카메라를 통해 발표자 영상을 원격지로 전송하여 프레젠테이션 자료와 동시에 표시하는 방안이 제안되기도 하였으나, 이러한 방식은 발표자의 영상과 프레젠테이션 자료를 동기화시켜야 한다는 어려움이 있다.
다른 방안으로, 방송국에서 제작하는 다큐멘터리물 등에서 흔히 사용되는 바와 같이, 발표자가 미리 짜여진 각본대로 행동을 하고 이를 바탕으로 그래픽 처리르 나중에 하여 영상을 합성하는 방법이 있으나, 이 방법은 발표자가 각본에 의해 제한된 인터액션만 가능하고 즉흥적 활동을 할 수 없을 뿐 아니라, 합성 영상을 실시간으로 볼 수 없어 실시간 프레젠테이션 시스템으로 활용할 수 없다는 단점이 있다.
또 다른 방안으로, 방송국에서 사용되는 일기예보 시스템과 같이 기상 자료 영상과 리포터 영상을 합성하여 표시하는 방안이 있으나, 이 시스템 또한 전술한 종래기술과 마찬가지로 리포터가 버튼과 같은 제어 장치를 통해 다음 화면으로 넘기는 것과 같은 단순한 인터액션만을 수행할 수 밖에 없다는 단점이 있다.
따라서, 발표자가 다양한 방식으로 프레젠테이션 발표 자료 영상과 실시간으로 인터액션할 수 있는 프레젠테이션 시스템이 요구된다.
따라서, 본 발명은 발표자가 실시간으로 프레젠테이션 자료 영상과 직접 제스쳐 또는/및 음성을 통해 다양한 인터액션을 하면서 발표자가 프레젠테이션을 수행할 수 있는 인터액티브 프레젠테이션 시스템을 제공하는 것을 목적으로 한다.
본 발명은 이러한 목적을 달성하기 위해, 발표자의 영상을 촬영하기 위한 능동 적외선 카메라와; 상기 능동 적외선 카메라와 연결되어, 상기 능동 적외선 카메라로부터 상기 발표자의 적외선 영상을 입력받아 상기 발표자의 제스쳐 인식 알고리즘을 수행하여 이에 대응하는 명령을 출력하기 위한 명령 인식 시스템과; 그리고 상기 능동 적외선 카메라와 연결되어 상기 능동 적외선 카메로부터 발표자의 영상을 입력받아 발표자의 모습과 발표 자료 화면을 합성하고, 상기 명령 인식 시스템과 네트워크로 연결되어 상기 명령 인식 시스템으로부터 출력된 명령 신호를 수신하여 상기 발표자료 화면 내의 발표자의 위치와 발표 자료 화면의 진행을 제어하기 위한 영상 합성 시스템을 포함하여 구성되는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템을 제공한다.
본 발명의 상기 능동 적외선 카메라는, 적외선 조사영역이 상기 능동 적외선 카메라의 시야 범위와 일치되도록 장착되어 상기 발표자에 적외선을 조사하는 적외선 조명 장치와; 상기 발표자에 의해 반사된 적외선은 투과시키고 가시광선은 반사시키기 위한 콜드 미러와; 상기 콜드 미러에 의해 투과된 적외선을 수신하여 상기 발표자의 적외선 영상을 획득하기 위한 적외선 카메라와; 그리고 상기 콜드 미러에 의해 반사된 가시광선을 수신하여 상기 발표자의 영상을 획득하기 위한 동영상 카메라를 구비하여 발표자료 및 발표자의 합성 영상과 적외선 영상의 좌표를 일치시킬 수 있도록 하는 것이 바람직하다. 또한, 상기 능동 적외선 카메라는 상기 콜드 미러에 의해 반사된 가시광선을 받아 반사시킴으로써 상기 동영상 카메라에 상기 가시광선을 입사시키기 위한 반사경을 더 포함함으로써 하우징내의 적외선 카메라와 동영상 카메라의 배치 공간을 효율적으로 축소시킬 수 있다.
또한, 본 발명에 따른 인터액티브 프레젠테이션 시스템은 상기 발표자가 착용하여 상기 능동 적외선 카메라의 적외선 조사 장치에 의해 조사되는 적외선을 상기 능동 적외선 카메라로 재귀반사 시키기 위한 적외선 반사체 마커를 더 포함함으로써, 상기 능동 적외선 카메라에 장착된 적외선 조사장치로부터 적외선 반사체 마커에 조사되는 적외선을 재귀반사에 의해 능동 적외선 카메라로 입사시켜 발표자 제스쳐의 적외선 영상 인식률을 높이는 것이 바람직하다.
또한, 상기 명령 인식 시스템에서 수행되는 상기 제스쳐 인식 알고리즘은 상기 능동 적외선 카메라로부터 입력된 상기 발표자가 착용한 적외선 반사체 마커의 영상 영역을 추출하는 문턱값 조정 단계와; 상기 문턱값 조정 단계에 의해 추출된 영역을 영상 레이블링하는 영역 레이블링 단계와; 상기 영역 레이블링 단계에 의해 레이블링된 영상을 통해 상기 적외선 반사체 마커의 각도, 중심 위치, 높이 및 폭을 계산하는 영역 인식 단계와; 상기 영역 인식 단계에 의해 계산된 상기 결과들을 이용하여 소정의 조건들 중 부합하는 조건을 검사하는 각도 및 위치 계산 단계와; 그리고 상기 각도 및 위치 계산 단계에 의해 결정된 해당 조건을 토대로 상기 적외선 반사체 마커의 제스쳐 모드를 결정하여 제스쳐를 인식하는 제스쳐 인식 단계를 포함한다. 상기 영역 레이블링 단계는 이전 프레임에서 획득한 적외선 반사체 마커 영역을 중심으로 소정의 경계 영역을 설정하여 그 다음 프레임에서는 상기 경계 영역 내에서만 레이블링하도록 함으로써 제스쳐 인식 과정에 있어서의 연산량은 크게 감소시켜 제스쳐 인식의 실시간 처리가 가능하도록 하는 것이 바람직하다.
또한, 상기 적외선 반사체 마커는 크기가 서로 다른 적외선 반사체 마커를 두 개 포함하고; 상기 각도 및 위치 계산 단계의 소정의 조건은 아래의 조건과 같고; 그리고
조 건 설 명
Ⅰ 제2마커가 제1마커보다 아래에 있음
Ⅱ 제2마커가 제1마커보다 위에 있음
Ⅲ 제2마커가 제1마커보다 오른쪽에 있음
Ⅳ 제2마커가 제1마커보다 왼쪽에 있음
Ⅴ 두개의 마커가 수직으로 일정한 범위안에 존재함
상기 제스쳐 인식 단계의 제스쳐 모드의 결정은, 상기 조건들 중 적어도 하나 이상의 조합과 각 영역이 이루는 각도에 근거하여 또는 두 영역이 합쳐져 하나의 영역으로 인식되는지 여부에 근거하여 이루어진다.
또한, 상기 명령 인식 시스템은 발표자의 음성 명령을 수신하여 상기 영상 합성 시스템으로 명령 신호를 출력함으로써 본 발명에 따른 인터액티브 프레젠테이션 시스템이 발표자의 제스쳐 뿐 아니라 음성 명령에 의해서도 제어될 수 있도록 하는 것이 바람직하다.
또한, 본 발명에 따른 인터액티브 프레젠테이션 시스템은 상기 발표자의 움직임을 입체적으로 검출하기 위해 복수대의 카메라로 이루어진 스테레오 카메라 셋트와; 그리고 상기 스테레오 카메라 셋트와 연결되어, 상기 스트레오 카메라 셋트로부터 상기 발표자의 영상을 수신하여 3차원 영상 좌표상의 상기 발표자의 위치를 계산하기 위한 3차원 움직임 추적 시스템을 더 포함하며, 상기 3차원 움직임 추적 시스템은 상기 영상 합성 시스템과 네트워크로 연결되어 상기 발표자의 위치 정보를 상기 영상 합성 시스템으로 전송함으로써 발표 자료 영상이 3차원인 경우 상기 발표자의 영상이 3차원 프레젠테이션 자료 영상의 적절한 위치에 합성되도록 하는 것이 바람직하다.
또한, 본 발명의 상기 인터액티브 프레젠테이션 시스템은 상기 영상 합성 시스템과 연결되어 상기 영상 합성 시스템에서 합성된 발표 자료를 투사시키기 위한 프로젝터를 더 포함하여 발표자와 동일 공간에 있는 청중에게 합성된 발표 자료를 보여줄 수 있도록 구성하거나, 또는 상기 영상 합성 시스템이 네트워크를 통하여 상기 영상 합성 시스템에서 합성된 발표 자료를 원격지로 전송함으로써 발표자와 다른 공간에 있는 청중에게 합성된 발표 자료를 보여줄 수 있도록 구성할 수 있다.
이하, 도면을 참조하여 본 발명에 의한 바람직한 실시예를 기술한다.
도 1을 참조하면, 본 발명에 따른 인터액티브 프레젠테이션 시스템의 개략도가 도시되어 있다. 도 1에 도시한 바와 같이, 본 발명에 따른 인터액티브 프레젠테이션 시스템(100)은 능동 적외선 카메라(120), 명령 인식 시스템(130), 영상 합성 시스템(140)으로 구성되고, 발표자료와 발표자(110)의 3차원적인 합성을 위해 3차원 움직임 추적 시스템(150)이 추가로 구성될 수 있다. 이들은 네트워크를 통하여 연결된다. 인터액티브 프레젠테이션 시스템(100)은 발표자(110)의 손가락에 끼워지는 적외선 반사체 마커(112)(이하, 마커(marker)로 지칭함), 발표자(110)의 신체에 장착되는 무선마이크(114), 발표자(110)와 프레젠테이션 자료가 합성된 영상을 투사하기 위한 프로젝터(170), 프로젝터(170)로부터 출력된 합성 영상을 디스플레이하기 위한 스크린(180), 발표자(110)의 움직임을 추적하기 위한 스테레오(stereo) 카메라(160)를 더 포함하고 있다.
능동 적외선 카메라(120)는 능동 적외선 카메라(120)의 시야 범위 내에 있는 발표자의 영상을 촬영하여, 발표자의 적외선 영상은 명령 인식 시스템(130)으로, 발표자의 동영상은 영상 합성 시스템(140)으로 출력한다. 상기 명령 인식 시스템(130)은 능동 적외선 카메라(120)로부터 수신된 발표자의 적외선 영상으로부터 제스쳐 명령을 인식하여 이 명령을 영상 합성 시스템(140)으로 전송한다. 이때, 발표자(110)는 마커(112)를 손가락에 착용하고 소정의 명령 제스쳐를 취함으로써 명령 인식 시스템(130)과 원격으로 상호작용할 수 있다. 또한, 발표자(110)는 마이크를 통해 상기 명령 인식 시스템(130)에 음성 신호를 입력할 수도 있다. 영상 합성 시스템(140)은 상기 능동 적외선 카메라(120)로부터 입력된 발표자의 동영상을 발표자료 화면과 합성하며, 상기 명령 인식 시스템(130)으로부터 전송되는 제스쳐 명령 또는 음성 명령을 수신하여 발표자료의 제어를 담당한다. 3차원 움직임 추적 시스템(150)은 복수대의 카메라로 이루어진 스테레오 카메라(160)와 연결되며, 스테레오 카메라(160)는 발표자(110)의 영상을 촬영하여 3차원 움직임 추적 시스템(150)으로 출력하며, 3차원 움직임 추적 시스템(150)은 이를 입력받아 발표자 영상을 배경 영상과 분리하고, 발표자의 3차원 영상 좌표에서의 위치를 설정하여 영상 합성 시스템(140)으로 이 정보를 전송한다. 영상 합성 시스템(140)은 3차원 움직임 추적 시스템(150)으로부터 발표자(110)의 위치 좌표를 입력받아, 발표자 영상을 이에 대응하는 위치에 합성시킨다. 영상 합성 시스템(140)은 프로젝터(170)와 연결되어 합성된 발표화면을 스크린(180) 등에 투사함으로써 청중에게 발표화면을 보여줄 수도 있고, 네트워크를 통하여 원격에 있는 청중에게 합성된 발표화면을 전송할 수도 있다. 시스템의 각 부분에 대한 구체적인 설명은 이하 관련 도면에서 상술될 것이다.
도 2를 참조하면, 도 1에 도시한 능동 적외선 카메라(120)의 구성도가 도시된다. 도 2a는 능동 적외선 카메라(120)의 측면 내부 구조를 도시한 도면이고, 도 2b는 능동 적외선 카메라(120)의 정면 모습을 도시한 도면이다. 능동 적외선 카메라(120)는 하나 이상의 적외선 조사 장치(222), 콜드 미러(223), 적외선 카메라(224), 동영상 카메라(225), 반사경(226)으로 구성된다. 적외선 조사 장치(221)로는 광의 직진성이 높은 적외선 LED(Light Emitting Diode)를 사용하는 것이 바람직하며, 능동 적외선 카메라(120)의 렌즈부(221) 둘레에 장착하여 카메라의 시야 범위와 적외선의 조사 범위를 일치시키는 것이 바람직하다. 적외선 조사 장치를 이용하여 발표자(110)의 적외선 제스쳐 영상을 획득함으로써, 명령 인식 시스템(130)이 주변 가시광선 조명의 변화의 영향 없이 제스쳐를 인식할 수 있다. 도시된 바와 같이, 렌즈부(221)와 일직선으로 적외선만을 통과시키고 가시광선은 반사시키는 콜드 미러(cold mirror)(223)가 배치되고 그 뒤에 적외선 카메라(224)가 배치되어, 피사체(즉, 발표자)에 의해 반사되어 렌즈부(221)를 통해 입사되는 적외광이 적외선 카메라(224)에 입사된다. 콜드 미러(223)에 의해 반사되는 가시광을 받아 반사시킬 수 있는 위치에 반사경(226)을 배치하며, 반사경(226)에 의해 반사되는 가시광을 받을 수 있도록 동영상 카메라(225)를 배치하여, 도면에 도시된 바와 같이 콜드 미러(223)에 의해 반사되는 가시광이 반사경(226)에 의해 반사되어 동영상 카메라(225)로 입사된다. 그 다음, 상기 적외선 카메라(224)에 의해 출력된 적외선 영상은 명령 인식 시스템(130)에 입력되어 발표자(110)의 제스쳐가 명령으로 인식되게 되며, 상기 동영상 카메라(225)에 의해 출력된 발표자의 영상(즉, 가시광선 영상)은 영상 합성 시스템(140)에 입력되어 발표 자료 화면과 합성된다. 이와 같은 적외선 카메라(224)와 동영상 카메라(225)로 구성된 능동 적외선 카메라(120)는 영상 합성 시스템(140)에서의 합성 영상과 적외선 영상의 좌표가 일치될 수 있도록 한다. 즉, 예를 들면 발표자가 손으로 어떤 아이콘을 선택하는 경우, 합성 발표 화면상에서 발표자의 손 영상이 선택한 아이콘 상에 위치할 수 있도록 한다.
도 3을 참조하면, 도 3a 및 도 3b는 각각 본 발명의 바람직한 실시예에 따른 적외선 반사체 마커(312a, 312b)의 사진과 이 마커를 사용자가 착용한 사진을 도시한다. 자체에 조사된 적외선을 반사시켜 컴퓨터와 상호작용 하기 위한 적외선 반사체를 골무형태로 제작하여, 신체 영역중 다양한 움직임이 가장 자유로운 손가락에 착용할 수 있도록 함으로써 컴퓨터와의 상호작용을 편리하게 하는 것이 바람직하다. 엄지와 검지 손가락에 크기가 다른(예를 들면, 엄지 손가락에 착용되는 마커는 크게, 검지 손가락에 착용되는 마커는 작게 제작할 수 있음) 마커(312a 및 312b)를 착용함으로써, 하기에서 기술될 컴퓨터 장치에서 두 마커를 그 크기에 의해 용이하게 구분할 수 있도록 하는 것이 특히 바람직하다. 또한, 마커(312a, 312b)는 적외선에 대하여 재귀 반사 특성을 갖는 재료로 제작하는 것이 바람직한 바, 이는 마커(312a, 312b)가 가진 재귀 반사 특성을 이용하여 상기 도 2와 관련하여 전술한 바와 같은 능동 적외선 카메라(120)에서 조사되는 적외선을 다시 상기 능동 적외선 카메라(120)의 방향으로 반사시킴으로서 적외선 반사체(112)의 영역을 정확히 검출할 수 있기 때문이다. 재귀 반사 특성을 갖는 재료는 공지의 것이며, 대표적으로 재귀 반사 미세 글라스비드가 도포된 반사 원단 및 반사 테이프, 반사 LED 등이 있다. 이러한 적외선 반사체를 이용함으로써 사용자가 컴퓨터와 상호 작용동안 물리적 제한에서 벗어나 활동이 자유로우며, 또한 대상 영역을 정확하게 검출할 수 있다는 장점이 있다.
본 발명에 따른 명령 인식 시스템(130)은 영상 인식(즉, 발표자의 제스쳐 인식)과 음성 인식 기술을 이용하여 발표자(110)가 인터액티브하게 프레젠테이션 자료와 상호작용 할 수 있도록 한다. 도 4를 참조하면, 본 발명에 따른 명령 인식 시스템(130)의 컴퓨터 장치에서 수행되는 제스쳐 인식 알고리즘의 흐름도가 도시된다. 도시된 바와 같이, 컴퓨터 장치가 수행하는 제스쳐 인식 알고리즘은 문턱값 조정(Thresholding) 단계, 영역 레이블링(Blob Labeling) 단계, 영역 인식(Blob Recognition) 단계, 각도 및 위치 계산(Angle & Position Computation) 단계 및 제스쳐 결정(Gesture Decision) 단계로 이루어진다.
문턱값 조정 단계(410)는 영상 획득 장치로부터 입력된 적외선 반사체의 영상 영역을 추출하는 단계이다. 영상 획득 장치에 의해 획득된 영상에서 적외선 반사체의 영역은 밝은 값을 지니고 있으므로, 입력된 영상을 이진화된 영상으로 변환시키는 문턱값(thresholding) 처리 기법을 이용하여 관심 영역만을 추출한다. 이러한 처리 기법은 영상 처리 분야에서 공지의 것이며, 아래와 같은 식에 의해 관심 영역인 적외선 반사체의 영역만을 남기고 나머지 부분은 제거하게 된다.
g(x,y) = 1 (f(x,y) > T 인 경우)
0 (f(x,y)) T 인 경우)
여기서, g(x,y)는 문턱값 처리를 한 후의 이진 영상의 값을, f(x,y)는 영상 획득 장치로부터 입력된 적외선 영상의 값을, T는 사용자가 지정한 문턱값을 나타낸다. T값은 적외선 반사체의 특성 및 적외선 조사 장치의 강도에 따라 지정될 수 있으며, 예를 들어 한 픽셀의 값의 범위가 0에서 255까지 변하는 경우, T값은 그 중간 값인 128로 지정하는 것이 적절하다.
영역 레이블링 단계(420)는 상기 문턱값 조정 단계(410)에 의해 추출된 관심 영역의 영상의 각 컴포넌트에 개별 레이블을 붙이는 영상 레이블링(labeling)을 수행하는 단계로서, 바람직한 실시예에 따르면 영상 레이블링에 따라 엄지와 검지에 착용한 마커(312a, 312b)를 구분하게 되는 단계이다. 이 단계(420)에서는, 문턱값 처리에 의해 이진화된 적외선 영상을 좌에서 우로 상단에서 하단으로 화소 단위로 탐색하여 관심 대상인 8개의 연결 요소(4개의 연결 요소도 가능)를 알아낸다. 이 때,영상을 읽는 과정에서 중심이 되는 화소를 p라 하고, r은 p의 상단, t는 좌측, q는 좌대각, s는 우대각의 부분 이웃 화소라고 할 때, 8개의 연결 요소를 알아내는 경우 r, t, q 및 s(4개의 연결 요소를 알아내는 경우, r과 t를 고려함)를 고려한다. p의 값이 0이면 무시하고, p의 값이 1이면 부분 이웃을 검사한다. 부분 이웃이 모두 0이면 새로운 이름을 부여하고, 한 이웃만 1이면 그 이웃의 이름을 부여하며, 둘 이상의 이웃이 1이면 그 중 한 이름을 부여하고 그 이름들이 동일함을 기록한다. 그 다음 재 탐색에서 동일한 이름을 통일하게 된다. 이렇게 탐색하는 작업이 끝나면 1의 값을 가진 모든 화소는 이름을 갖게 된다. 따라서, 이러한 영상 레이블링 작업을 통해서 적외선 영상에서 서로 다른 이름을 가진 두개의 영역을 얻게 된다. 이 중에서 영역의 크기를 비교하여 큰 영역에 해당하는 것을 엄지 마커 영역(도 5의 512a)이라고 하고, 작은 것을 검지 마커 영역(도 5의 512b)이라고 구분할 수 있게 된다. 이러한 영상 레이블링 기법 또한 공지의 것이므로 더 구체적인 설명은 생략한다.
이와 같은 영상 레이블링을 종래의 기술에서와 같이 매 프레임마다 전체 영상에 대해서 처리하는 것은 많은 연산 시간을 필요로 하기 때문에, 실시간 처리의 측면에 있어서 적절치 못하다. 따라서, 본 발명에서는 이전 프레임에서 획득한 각 적외선 반사체 영역의 중심 좌표를 중심으로 소정의 경계 영역을 설정하여 그 다음 프레임에서는 그 영역 내에서만 레이블링 하도록 함으로써, 종래 기술에 비하여 연산량을 크게 감소시켰다. 상기 경계 영역은 관심 영역의 두 배 크기를 갖도록 설정하는 것이 바람직하며, 영상 획득 장치가 초당 30 프레임의 속도로 영상을 획득하기 때문에, 각 프레임간에 손가락이 이동할 수 있는 영역이 미미하여 이전 프레임의 중심좌표로부터 다음 프레임의 대상 영역이 될 경계 영역을 예측할 수 있는 것이다. 이와 같이, 본 발명에서는 영상 레이블링 처리가 전체 영상 영역을 대상으로 하지 않고, 이전 영역으로부터 예측된 일부 영역만을 대상으로 하도록 함으로써, 종래 기술에 비하여 연산량을 크게 감소시켜 실시간 처리에 적합하다.
영역 인식 단계(430)는 상기 영역 레이블링 단계에서 레이블링 된 영상을 이용해 적외선 반사체의 각도, 중심 위치, 높이 및 폭을 계산하는 단계이다. 이 단계(430)에서는, 상기한 실시예에서와 같이 사용자의 두 손가락에 각각 크기가 다른 마커(312a 및 312b)를 착용한 경우, 각 레이블링 된 손가락 영역에 대하여 손가락의 방향과 위치를 고려하여 제스쳐를 구분한다. 먼저, 손가락의 방향을 결정하기 위해서 2차 모멘트 계수를 사용하여 영역의 방향을 아래 식과 같이 계산한다. 0차 모멘트와 1차 모멘트를 사용하여 각 손가락 영역들의 중심을 구한다.
위 식에서, xc, yc는 각 손가락 영역의 중심 좌표이고, I(x,y)는 손가락 영역에 해당하는 화소의 밝기 값, Mij는 각각 x, y의 방향별 차수를 의미하는 모멘트 계수이다.
그 다음, 아래 식으로 표현되는 2차 모멘트를 사용하여 각 손가락의 방향 각도( θ)를 계산한다.
위 식에서, xc, yc는 각 손가락 영역의 중심 좌표이고, I(x,y)는 손가락 영역에 해당하는 화소의 밝기 값, Mij는 각각 x, y의 방향별 차수를 의미하는 모멘트 계수이다.
그 다음, 상기 영역 레이블링 단계에서 도출된 관심 영역이 차지하는 픽셀 수, 중심 평균값, 폭 및 높이의 값을 계산한다(도 5 참조). 도 5에서, 참조번호 512a번은 엄지 마커(312a)에 해당하는 관심 영역이고, 참조번호 512b번은 검지 마커(312b)에 해당하는 관심영역이다. 도면의 WG 및 WY는 각 영역의 폭을, HG 및 HY는 각 영역의 높이를, (xG, yG) 및 (xY, yY)는 각 영역의 중심 좌표를 나타낸다.
각도 및 위치 계산 단계(440)는 상기 영역 인식 단계(430)에 의해 계산된 결과들을 이용하여 아래의 표에 나타낸 조건 중 어느 조건에 부합하는지를 검사한다.
조 건 설 명
Ⅰ 제2마커가 제1마커보다 아래에 있음
Ⅱ 제2마커가 제1마커보다 위에 있음
Ⅲ 제2마커가 제1마커보다 오른쪽에 있음
Ⅳ 제2마커가 제1마커보다 왼쪽에 있음
Ⅴ 두 개의 마커가 수직으로 일정한 범위안에 존재함
제스쳐 인식 단계(450)는 상기 각도 및 위치 계산 단계(440)에 의해 결정된 해당 조건을 토대로 적외선 반사체의 제스쳐 모드를 결정하여 제스쳐를 인식하는 단계이다. 도 6은 본 발명에 따른 컴퓨터 장치에서 수행되는 알고리즘에서 지정될 수 있는 제스쳐 모드의 예를 도시한다.
이하, 상기 표와 도 6의 제스쳐 모드의 종류와 관계하여 제스쳐 모드 결정의 예를 설명한다. 엄지 골무 영역(상기 표에서는, 제 1 마커, 이하 같음)(512a)의 각도가 영상 좌표계(image coordinate)의 X축(가로축)에 대하여 90도를 이루고 검지 골무 영역(상기 표에서는, 제 2 마커, 이하 같음)(512b)의 각도가 0도를 이루면서, 동시에 위치 관계가 조건 Ⅰ과 조건 Ⅲ을 만족시키는 경우 우측으로 향하라는 "우로" 모드로 인식되게 된다. 엄지 골무 영역(512a)의 각도가 90도를 이루고, 검지 골무 영역(512b)의 각도가 0도를 이루면서, 동시에 위치관계가 조건 Ⅰ및 Ⅳ를 만족시키는 경우 좌측으로 향하라는 "좌로" 모드로 인식한다. 엄지 골무 영역(512a)의 각도가 0도를 이루고, 검지 골무 영역(512b)의 각도가 90도를 이루면서 동시에 위치 관계가 조건 Ⅱ 및 Ⅳ를 만족시키는 경우 위로 향하라는 "위로" 모드로 인식한다. 엄지 골무 영역(512a)의 각도가 0도를 이루고, 검지 골무 영역(512b)의 각도가 90도를 이루면서 동시에 위치 관계가 Ⅱ 및 Ⅲ을 만족시키는 경우 아래로 향하라는 "아래로" 모드로 인식한다. 엄지 골무 영역(512a)과 검지 골무 영역(512b)의 각도가 모두 90도를 이루면서 동시에 위치 관계가 조건Ⅰ 및 Ⅴ를 만족시키는 경우 앞으로 향하라는 "전진" 모드로 인식한다. 엄지 골무 영역(512a) 및 검지 골무 영역(512b)의 각도가 모두 90도를 이루면서 동시에 위치 관계가 조건 Ⅱ 및 Ⅴ를 만족시키는 경우 뒤로 향하라는 "후진" 모드로 인식한다. 이와 유사한 방식으로 우상, 우하, 좌상, 좌하 모드 등도 인식할 수 있다. 또한, 엄지 골무 영역(512a) 및 검지 골무 영역(614)이 겹쳐져서 하나의 영역으로만 인식되는 경우, 해당 항목을 선택(즉, 마우스와 같은 입력장치의 경우 왼쪽 버튼을 클릭하는 것과 같은 행위)하라는 "선택" 모드로 인식한다. 컴퓨터 장치는 이 외의 제스쳐에 대해서는 무의미한 제스쳐로 인식하게 되며, 사용자는 영상 획득 장치의 시야범위 내에서 적외선 반사체를 착용하고 이와 같이 미리 정해진 제스쳐 모드에 따라 제스쳐를 취함으로써 컴퓨터와 상호작용을 할 수 있게 된다. 이와 같이, 상기한 간단한 수식의 처리에 의해 도출된 조건들을 조합하여 미리 지정된 제스쳐의 조건에 부합하는지 여부만을 비교 연산하여 매칭이 이루어질 수 있도록 함으로써, 종래 추출된 제스쳐 특징으로 모든 명령 세트의 특징점과의 비교를 통해 제스쳐를 인식하던 방법에 비하여 연상량을 크게 감소시켰으며, 이에 따라 실시간 처리가 가능하다.
도 1에 도시된 것과 같이, 명령 인식 시스템(130)은 발표자(110)가 마이크(114)(예컨대, 무선 마이크)를 통해 지시한 명령에 따른 인식을 수행하고, 그 결과를 영상 합성 시스템(140)에 전송함으로써 발표자(110)가 프레젠테이션 자료를 음성 명령으로 제어하도록 구성될 수 있다. 음성 인식 시스템은 공지의 음성 인식 모듈을 채용하여 구현할 수 있다.
실행할 수 있는 제스쳐/음성 명령의 구성은 프리젠테이션 내용에 따라 바뀔 수 있으며, 인식 시스템에 따라서도 변경될 수 있다. 구현될 수 있는 제스쳐/음성 명령 세트의 예를 아래 표로 도시한다. 2D 아바타 움직임(2D avarta move) 조정은 2차원 발표 자료 화면상에서, 3D 네비게이션(3D nevigation)은 3차원 발표 자료 화면상에서 구현되는 모드를 의미한다.
Type Detailed Service Comments
Hand gesture Left / RightUp / Down 2D avatar move or 3D navigation
Forward / Backward 3D navigation
Select Left mouse button Double click
Voice Left / RightUp / Down 2D avatar move or 3D navigation
SlideshowNext / PreviousSelectClose Powerpoint full screenProceed or go back Window close
Pen ModePen Mode Exit Powerpoint pen mode
Screen Keyboard
NavigationForward / BackwardNavigation Stop 3D navigation start3D navigation3D navigation stop
Music StartEqualizer Media Player startMedia Player equalizer
Help Call a helping MS Agent
이와 같은 제스쳐 및/또는 음성 명령 인식 시스템(130)를 이용하여, 발표자(110)는 능동 적외선 카메라(120)의 가시 영역에서 벗어나지 않는 한 자신의 발표화면 내의 영상(이하 '아바타(avartar)'라 함)을 발표 자료가 표시되는 영상 속에서 원하는 방향으로 움직일 수 있고, 또한 발표 자료의 진행을 인터액티브하게 제어할 수 있다.
도 7은 본 발명에 따른 영상 합성 시스템에서 수행되는 알고리즘의 흐름도가 도시한다. 영상 합성 시스템(도 1의 140)은 전술한 능동 적외선 카메라(120)로부터 출력되는 발표자(110)의 영상을 수신하여, 이 발표자(110)의 영상을 발표 자료와 합성한 영상을 생성하여 프로젝터(170)로 전송하거나 네트워크를 통해 원격지에 있는 컴퓨터로 전송한다. 영상 합성 알고리즘은 도 7에 도시된 바와 같이 배경제거 및 발표자 추출단계(710)와, 합성 위치 갱신(720)단계와, 그리고 발표 화면에의 발표자 합성 단계(730)로 이루어진다. 배경제거 및 발표자 추출 단계(710)에서, 전술한 능동 적외선 카메라(120)의 동영상 카메라(225)로부터 입력되는 동영상에서 발표자 영역을 배경 제거 알고리즘을 이용하여 발표자 영역만을 추출한다. 여기서 사용될 수 있는 배경 제거 알고리즘으로는 대표적으로 크로마킹(chromakeying) 기법이 있다. 이것은 배경을 일정한 색상(예를 들면, 파란색)으로 만들고, 이 배경 영역의 색상값의 알파값을 0으로, 나머지 객체 영역의 알파값을 1로 하여 관심 영역인 객체 영역(즉, 발표자 영역)을 추출하는 공지의 기법이다. 발표 화면에의 발표자 합성 단계(730)에서, 아래의 합성식에 따라 추출된 발표자 영역을 컴퓨터의 자료 화면에 합성한다.
C = αF + (1 - α)B
여기서, C는 합성값이고, F는 전경(즉, 객체)에 해당하는 발표자 영역의 값을 나타내며, B는 배경에 해당하는 컴퓨터 화면값을 나타낸다. 여기서 α값은 크로마킹 방법에 의해 전경과 배경을 분리한 후 얻어지는 알파값이다. 이와 같이, 발표자의 영역만 추출하여 컴퓨터의 자료 화면 위에 발표자가 합성되어져서, 마치 컴퓨터의 자료 화면상에 발표자가 존재하는 것이 보이게 된다. 여기서 발표자가 컴퓨터 화면상에서 원하는 바에 따라 이동하기 위해서는 위치 이동 명령을 필요로 하는데, 이를 위해 명령 인식 시스템(130)으로부터의 이동 명령을 수신하여 컴퓨터의 자료 화면상의 원하는 위치로 이동할 수 있게 된다(단계 720).
도 8은 본 발명에 따른 3차원 움직임 추적 시스템의 동작을 나타내는 흐름도이다. 3차원 움직임 시스템(도 1의 150)은 복수대의 카메라(도 8의 경우, 두 대의 카메라로 이루어짐)로 구성된 스테레오 카메라 셋트(160)와 연결되며, 스테레오 카메라 셋트(160)로부터 발표자의 영상을 수신하여 발표자 영역을 분리하고, 3차원 영상 좌표상의 발표자 위치를 계산하는 바, 이 과정을 도 8을 참조하여 3차원 움직임 시스템(150)의 동작을 기술한다. 3차원 움직임 추적 시스템(150)의 동작은 오프라인 상의 동작과 온라인 상의 동작으로 이루어진다. 먼저, 오프라인 동작에 있어서, 보정(calibration) 과정을 거쳐 복수의 카메라들간의 위치 관계를 구한다. 카메라 보정은 정확한 트래킹을 위해서는 필수적인 공지의 작업으로, 3차원의 유클리디언(Euclidean) 공간과 2차원의 카메라 영상 평면 사이의 대응 관계를 이용하여, 카메라 내부의 기하학적 광학적 특성을 나타내는 내부 파라미터(intrinsic parameter)와 기준 좌표계(reference frame)에 대한 카메라 좌표계(camera coordinate)의 병진(translation)과 회전(rotation)을 나타내는 외부 파라미터(extrinsic parameters)를 구하는 과정이며, 이 과정은 2차원 영상 좌표의 특징점과 3차원 기준 좌표계 사이의 대응 관계를 구함으로써 이루어진다. 핀홀(pinhole) 카메라 모델을 예로 들면, 3차원 공간상의 점들 X i=[Xi,Yi ,Zi,1]과 2차원 영상에 대응되는 점들 x i=[ui,vi,1]은 다음과 같은 관계를 갖는다.
sx i = PX i
X i, x i를 대입하면,
s[ui,vi,1]T = P[Xi,Yi,Zi,1] T
여기서, s는 스케일링 팩터(scaling factor)이고, P는 3×4 카메라 투영 행렬(camera projection matrix)을 나타낸다. 영상과 3차원 공간상 사이에 대응점들이 충분히 있다면 P를 다음과 같이 구할 수 있다.
여기서, pij는 행렬 P의 (i,j)번째 요소이다.
그 다음, 온라인 동작에 있어서, 발표자의 영상을 획득하여 연산처리를 하게 된다. 매 프레임마다 각각의 카메라로부터 입력되어진 영상들을 이용해서, 발표자 추출 과정을 거치는데, 이 과정에서 예를 들면 크로마킹 방법 등을 이용하여 배경 영역을 제거(단계 810)하고, 영역 레이블링(blob labeling) 처리(단계 820)에 의해 제거되지 않은 객체 영역 중 가장 큰 영역 즉 발표자 영역을 추출한다(단계 830). 그 다음, 발표자 영역의 중심값을 계산하고(단계 840), 이렇게 추출된 발표자 영역의 중심값을 앞서 오프라인에서 카메라 보정 과정에서 설명한 식의 x i에 대입함으로서 발표자의 3차원 위치 값(X i)을 실시간으로 계산할 수 있다.
이렇게 계산된 발표자의 3차원 위치 정보가 전술한 영상 합성 시스템(140)으로 전송되며, 그럼으로써 3차원으로 표시되는 발표 자료 영상의 적절한 위치에 발표자(110)의 영상이 합성될 수 있다.
도 9는 상기한 방법으로 발표자의 영상이 3차원적으로 합성된 발표 자료 화면의 사진을 보여준다. 도 9a는 발표자가 발표 자료 화면에 3차원적으로 합성된 모습을 보인 사진이고, 도 9b는 본 발명에 따라 발표자의 영상이 3차원 위치 추적 시스템에 의해 처리되고 있는 컴퓨터 화면을 보인 사진이다. 도 9a에서 발표 자료 화면인 석굴암 내부에 발표자가 합성되어 있으며, 발표자(110)가 발표 자료 화면의 본존불 뒤쪽에 위치하여 발표자(110)의 일부가 본존불에 가려져 보이지 않는 것을 볼 수 있다. 이와 같이, 전술한 3차원 추적 시스템(150)은 스테레오 카메라 셋트(160)에서 입력되는 발표자의 영상에서 발표자의 3차원 영상 좌표상의 위치를 계산하여, 도 9a에 도시된 것과 같이 발표자의 아바타를 3차원 자료 화면내의 적절한 위치에 합성시킬 수 있도록 한다.
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구 범위의 사상 및 범주를 벗어나지 않고 여러 가지 수정 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
본 발명에 따른 인터액티브 프레젠테이션 시스템에 의하면 다음과 같은 효과가 있다.
종래의 프레젠테이션 시스템에서는 컴퓨터 근처에서 프레젠테이션을 진행하거나, 무선 마우스를 사용하거나, 보조 진행자가 발표 자료 화면의 제어를 대신 해주어야 하지만, 본 발명의 프레젠테이션 시스템에서는 발표자가 손, 음성, 몸으로 인터액션을 제어하기 때문에 발표자의 움직임이 자유로와 프레젠테이션을 혼자서 효율적으로 진행할 수 있다.
또한, 이러한 인터액션은 연산량이 현저히 감소된 명령 인식 시스템을 채용함으로써 실시간으로 이루어질 수 있고, 발표자 혼자서 발표 화면을 제어할 수 있다는 점에서 TV 방송과 차별성을 갖는다.
또한, 발표자가 프레젠테이션 화면 속에서 손, 몸, 또는 음성으로 프레젠테이션 자료와 직접 인터액션을 하면서 프레젠테이션을 진행할 수 있어, 종래기술에 따른 프레젠테이션 시스템들 보다 훨씬 다양한 프레젠테이션이 가능해 진다.
그리고, 발표자의 3차원 위치를 추적하여 프레젠테이션에 활용할 수 있기 때문에 발표자가 3차원적으로 프레젠테이션 자료 사이를 이동하는 것과 같은 효과를 나타낼 수 있어, 종래 기술에 따른 프레젠테이션 시스템에서 얻을 수 없는 현장감을 얻을 수 있으며, 발표자가 프레젠테이션 영상 속에서 프레젠테이션 자료와 직접 인터액션을 하면서 프레젠테이션을 진행할 수 있어서, 청중이 원격에 있을 경우에도 종래의 프레젠테이션 시스템들 보다 훨씬 자연스럽고 효과적인 프레젠테이션이 가능하다. 즉, 종래기술에 따른 프레젠테이션 시스템에서는 발표자의 영상과 프레젠테이션 자료가 따로 전송되어 표시되므로 발표자가 무엇을 가리키며 설명하는지 모르고 부자연스러웠지만, 본 발명의 프레젠테이션 시스템 및 방법에서는 발표자가 프레젠테이션 영상 속에서 직접 손으로 가리키고 프레젠테이션 자료와 인터액션하며 설명할 수 있기 때문에 자연스러운 프레젠테이션이 가능하다.
더욱이, 발표자와 프레젠테이션 자료를 나란히 표시하기 위해서는 프레젠테이션 자료의 해상도가 표시 화면의 해상도보다 낮아야 하는 단점을 해결할 수 있는 효과가 있다.
이와 같이, 본 발명에 따른 인터액티브 프레젠테이션 시스템을 이용하여 시청각 효과를 극대화 시킬 수 있다.
도 1은 본 발명에 따른 인터액티브 프레젠테이션 시스템의 개략도.
도 2a는 본 발명에 따른 능동 적외선 카메라의 내부 구조를 도시한 측면도.
도 2b는 본 발명에 따른 능동 적외선 카메라의 정면도.
도 3a는 본 발명에 따른 적외선 반사체 마커를 보인 사진.
도 3b는 도 3a의 적외선 반사체 마커 마커를 손가락에 착용한 상태를 보인 사진.
도 4는 본 발명에 따른 명령 인식 시스템의 컴퓨터 장치에서 수행되는 제스쳐 인식 알고리즘의 흐름도.
도 5는 본 발명에 따른 명령 인식 시스템에서 추출된 각 적외선 반사체 마커 영역의 위치, 높이 및 폭을 나타낸 도면.
도 6은 본 발명에 따른 명령 인식 시스템에서 수행되는 알고리즘에서 지정될 수 있는 제스쳐 모드의 예를 도시한 도면.
도 7은 본 발명에 따른 영상 합성 시스템에서 수행되는 알고리즘의 흐름도.
도 8은 본 발명에 따른 3차원 움직임 추적 시스템의 동작을 도시한 흐름도.
도 9a는 본 발명에 따라 발표자가 발표자료 영상과 3차원적으로 합성된 합성 이미지를 보이는 사진.
도 9b는 본 발명에 따라 발표자의 영상이 3차원 위치 추적 시스템에 의해 처리되고 있는 컴퓨터 화면의 사진.
<<도면의 주요 부분에 대한 부호의 설명>>
110 : 발표자 112 : 적외선 반사체
114 : 마이크 120 : 능동 적외선 카메라
130 : 명령 인식 시스템 140 : 영상 합성 시스템
150 : 3차원 움직임 추적 시스템 160 : 스테레오 카메라 셋트
170 : 프로젝터 180 : 스크린
221 : 렌즈부 222 : 적외선 조사 장치
223 : 콜드 미러 224 : 적외선 카메라
225 : 동영상 카메라 226 : 반사경
312a : 엄지 착용 마커 312b : 검지 착용 마커
512a : 엄지 마커 영역 512b : 검지 마커 영역

Claims (11)

  1. 발표자의 영상을 촬영하기 위한 능동 적외선 카메라와;
    상기 능동 적외선 카메라와 연결되어, 상기 능동 적외선 카메라로부터 상기 발표자의 적외선 영상을 입력받아 상기 발표자의 제스쳐 인식 알고리즘을 수행하여 이에 대응하는 명령을 출력하기 위한 명령 인식 시스템과; 그리고
    상기 능동 적외선 카메라와 연결되어 상기 능동 적외선 카메로부터 발표자의 영상을 입력받아 발표자의 모습과 발표 자료 화면을 합성하고, 상기 명령 인식 시스템과 네트워크로 연결되어 상기 명령 인식 시스템으로부터 출력된 명령 신호를 수신하여 상기 발표자료 화면 내의 발표자의 위치와 발표 자료 화면의 진행을 제어하기 위한 영상 합성 시스템을 포함하여 구성되는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  2. 제 1항에 있어서,
    상기 능동 적외선 카메라는,
    적외선 조사영역이 상기 능동 적외선 카메라의 시야 범위와 일치되도록 장착되어 상기 발표자에 적외선을 조사하는 적외선 조명 장치와;
    상기 발표자에 의해 반사된 적외선은 투과시키고 가시광선은 반사시키기 위한 콜드 미러와;
    상기 콜드 미러에 의해 투과된 적외선을 수신하여 상기 발표자의 적외선 영상을 획득하기 위한 적외선 카메라와; 그리고
    상기 콜드 미러에 의해 반사된 가시광선을 수신하여 상기 발표자의 영상을 획득하기 위한 동영상 카메라를 구비하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  3. 제 2항에 있어서,
    상기 능동 적외선 카메라는 상기 콜드 미러에 의해 반사된 가시광선을 받아 반사시킴으로써 상기 동영상 카메라에 상기 가시광선을 입사시키기 위한 반사경을 더 포함하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  4. 제 1항에 있어서,
    상기 인터액티브 프레젠테이션 시스템은 상기 발표자가 착용하여 상기 능동 적외선 카메라의 적외선 조사 장치에 의해 조사되는 적외선을 상기 능동 적외선 카메라로 재귀반사 시키기 위한 적외선 반사체 마커를 더 포함하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  5. 제 4항에 있어서,
    상기 명령 인식 시스템에서 수행되는 상기 제스쳐 인식 알고리즘은:
    상기 능동 적외선 카메라로부터 입력된 상기 발표자가 착용한 적외선 반사체 마커의 영상 영역을 추출하는 문턱값 조정 단계와;
    상기 문턱값 조정 단계에 의해 추출된 영역을 영상 레이블링하는 영역 레이블링 단계와;
    상기 영역 레이블링 단계에 의해 레이블링된 영상을 통해 상기 적외선 반사체 마커의 각도, 중심 위치, 높이 및 폭을 계산하는 영역 인식 단계와;
    상기 영역 인식 단계에 의해 계산된 상기 결과들을 이용하여 소정의 조건들 중 부합하는 조건을 검사하는 각도 및 위치 계산 단계와; 그리고
    상기 각도 및 위치 계산 단계에 의해 결정된 해당 조건을 토대로 상기 적외선 반사체 마커의 제스쳐 모드를 결정하여 제스쳐를 인식하는 제스쳐 인식 단계를 포함하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  6. 제 5항에 있어서,
    상기 영역 레이블링 단계는 이전 프레임에서 획득한 적외선 반사체 마커 영역을 중심으로 소정의 경계 영역을 설정하여 그 다음 프레임에서는 상기 경계 영역 내에서만 레이블링하도록 하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  7. 제5항에 있어서,
    상기 적외선 반사체 마커는 크기가 서로 다른 적외선 반사체 마커를 두 개 포함하고;
    상기 각도 및 위치 계산 단계의 소정의 조건은 아래의 조건과 같고; 그리고
    조 건 설 명 Ⅰ 제2마커가 제1마커보다 아래에 있음 Ⅱ 제2마커가 제1마커보다 위에 있음 Ⅲ 제2마커가 제1마커보다 오른쪽에 있음 Ⅳ 제2마커가 제1마커보다 왼쪽에 있음 Ⅴ 두개의 마커가 수직으로 일정한 범위안에 존재함
    상기 제스쳐 인식 단계의 제스쳐 모드의 결정은, 상기 조건들 중 적어도 하나 이상의 조합과 각 영역이 이루는 각도에 근거하여 또는 두 영역이 합쳐져 하나의 영역으로 인식되는지 여부에 근거하여 이루어지는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  8. 제 1항에 있어서,
    상기 명령 인식 시스템은 발표자의 음성 명령을 수신하여 상기 영상 합성 시스템으로 명령 신호를 출력하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  9. 제 1항에 있어서,
    상기 발표자의 영상을 검출하기 위해 복수대의 카메라로 이루어진 스테레오 카메라 셋트와; 그리고
    상기 스테레오 카메라 셋트와 연결되어, 상기 스트레오 카메라 셋트로부터 상기 발표자의 영상을 수신하여 3차원 영상 좌표상의 상기 발표자의 위치를 계산하기 위한 3차원 움직임 추적 시스템을 더 포함하고,
    상기 3차원 움직임 추적 시스템은 상기 영상 합성 시스템과 네트워크로 연결되어 상기 발표자의 위치 정보를 상기 영상 합성 시스템으로 전송함으로써 상기 발표자의 영상이 3차원 프레젠테이션 자료 영상의 적절한 위치에 합성되도록 하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  10. 제 1항에 있어서,
    상기 인터액티브 프레젠테이션 시스템은 상기 영상 합성 시스템과 연결되어 상기 영상 합성 시스템에서 합성된 발표 자료를 투사시키기 위한 프로젝터를 더 포함하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
  11. 제 1항에 있어서,
    상기 영상 합성 시스템은 네트워크를 통하여 상기 영상 합성 시스템에서 합성된 발표 자료를 원격지로 전송하는 것을 특징으로 하는 인터액티브 프레젠테이션 시스템.
KR1020040002700A 2004-01-14 2004-01-14 인터액티브 프레젠테이션 시스템 KR100588042B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040002700A KR100588042B1 (ko) 2004-01-14 2004-01-14 인터액티브 프레젠테이션 시스템
US11/001,079 US7468742B2 (en) 2004-01-14 2004-12-02 Interactive presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040002700A KR100588042B1 (ko) 2004-01-14 2004-01-14 인터액티브 프레젠테이션 시스템

Publications (2)

Publication Number Publication Date
KR20050074802A true KR20050074802A (ko) 2005-07-19
KR100588042B1 KR100588042B1 (ko) 2006-06-09

Family

ID=34738074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040002700A KR100588042B1 (ko) 2004-01-14 2004-01-14 인터액티브 프레젠테이션 시스템

Country Status (2)

Country Link
US (1) US7468742B2 (ko)
KR (1) KR100588042B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100742664B1 (ko) * 2006-05-10 2007-07-25 주식회사 플러 인터랙티브 영상의 디스플레이 시스템 및 방법
KR101285359B1 (ko) * 2006-11-14 2013-07-11 삼성전자주식회사 동작 추적 장치 및 방법
US8575552B2 (en) 2008-12-22 2013-11-05 Electronics And Telecommunications Research Institute System and method for distinguishing and detecting multiple infrared signal coordinates
KR20190139383A (ko) * 2018-06-08 2019-12-18 주식회사 이미지마이닝 레이저를 이용한 인터랙티브 시스템
KR20220071861A (ko) * 2020-11-24 2022-05-31 (주)엔진비주얼웨이브 조립식 트래킹 패드를 이용한 버추얼 스튜디오 시스템

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
CN1902930B (zh) 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
JP2006174195A (ja) * 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
JP2006352496A (ja) * 2005-06-16 2006-12-28 Fuji Xerox Co Ltd 遠隔指示システム及びその方法
JP4626416B2 (ja) * 2005-06-20 2011-02-09 セイコーエプソン株式会社 プロジェクタ
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US8060840B2 (en) * 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US20080126533A1 (en) * 2006-11-06 2008-05-29 Microsoft Corporation Feedback based access and control of federated sensors
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US20080180519A1 (en) * 2007-01-31 2008-07-31 Cok Ronald S Presentation control system
US20090015548A1 (en) * 2007-06-28 2009-01-15 Keiko Tazaki Image projection system
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8847922B1 (en) * 2007-09-04 2014-09-30 Imaging Systems Technology, Inc. Calibrating of interactive touch system for image compositing
US8330730B1 (en) * 2007-09-04 2012-12-11 Imaging Systems Technology, Inc. Calibrating of interactive touch system for image compositing
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP2009094867A (ja) * 2007-10-10 2009-04-30 Fuji Xerox Co Ltd 情報処理装置、遠隔指示システム及び制御プログラム
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
KR20090063679A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 포인팅 기능을 구비한 영상표시장치 및 그 방법
DE102008006138B4 (de) * 2008-01-23 2010-10-21 Hatice Sayin Vorrichtung zur Wiedergabe eines Anleitungsfilms
AT506618B1 (de) * 2008-01-25 2013-02-15 Stumpfl Reinhold Interaktive multimedia-präsentationsvorrichtung
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8625846B2 (en) * 2008-03-18 2014-01-07 Elliptic Laboratories As Object and movement detection
JP5117280B2 (ja) * 2008-05-22 2013-01-16 富士フイルム株式会社 撮像装置、撮像方法、再生装置および再生方法
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
PL2299726T3 (pl) * 2008-06-17 2013-01-31 Huawei Device Co Ltd Sposób, urządzenie i system komunikacji wideo
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8473571B2 (en) * 2009-01-08 2013-06-25 Microsoft Corporation Synchronizing presentation states between multiple applications
KR20100085328A (ko) * 2009-01-20 2010-07-29 삼성전자주식회사 디스플레이장치 및 영상표시방법
KR101221449B1 (ko) * 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
WO2010120303A2 (en) * 2009-04-16 2010-10-21 Hewlett-Packard Development Company, L.P. Managing shared content in virtual collaboration systems
JP2010278510A (ja) * 2009-05-26 2010-12-09 Elmo Co Ltd 資料提示装置
US8538367B2 (en) * 2009-06-29 2013-09-17 Qualcomm Incorporated Buffer circuit with integrated loss canceling
KR200448452Y1 (ko) 2009-08-18 2010-04-13 (주)디스트릭트홀딩스 제스쳐를 이용한 홀로그램 프레젠테이션 장치
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8423911B2 (en) 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
US8996974B2 (en) * 2010-10-04 2015-03-31 Hewlett-Packard Development Company, L.P. Enhancing video presentation systems
US9179078B2 (en) 2010-10-08 2015-11-03 Hewlett-Packard Development Company, L.P. Combining multiple video streams
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
CN102478957A (zh) * 2010-11-26 2012-05-30 财团法人资讯工业策进会 三维动态操控方法及装置
WO2012139268A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Gesture recognition using depth images
EP3754997B1 (en) * 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101255977B1 (ko) 2011-08-18 2013-04-23 연세대학교 산학협력단 제스처 기반 건설현장 협업 시스템
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
CN104303131B (zh) * 2012-05-22 2017-03-29 索尼公司 图像处理设备、图像处理方法
JP5991039B2 (ja) * 2012-06-18 2016-09-14 株式会社リコー 情報処理装置および会議システム
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US9245063B2 (en) * 2013-04-05 2016-01-26 The Boeing Company Creating ergonomic manikin postures and controlling computer-aided design environments using natural user interfaces
JP6102588B2 (ja) * 2013-07-10 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
US11049309B2 (en) * 2013-12-06 2021-06-29 Disney Enterprises, Inc. Motion tracking and image recognition of hand gestures to animate a digital puppet, synchronized with recorded audio
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
DE102014202490A1 (de) * 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
WO2016018355A1 (en) 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Virtual reality clamshell computing device
DE102014224618A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
KR20160074334A (ko) * 2014-12-18 2016-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3413165B1 (en) 2016-02-29 2021-10-13 Huawei Technologies Co., Ltd. Wearable system gesture control method and wearable system
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
CN106448304A (zh) * 2016-12-23 2017-02-22 广州市锐星信息科技有限公司 一种互动教学系统
KR102484257B1 (ko) 2017-02-22 2023-01-04 삼성전자주식회사 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN107024959B (zh) * 2017-04-12 2018-12-25 浙江思珀整合传播有限公司 一种多媒体展示系统
GB2569267A (en) * 2017-10-13 2019-06-19 Mo Sys Engineering Ltd Lighting integration
WO2019178114A1 (en) * 2018-03-13 2019-09-19 Magic Leap, Inc. Gesture recognition system and method of using same
DE102018115302A1 (de) * 2018-06-26 2020-01-02 Universität Kassel Präsentationssystem und Präsentationsverfahren
CN109243223B (zh) * 2018-09-28 2020-12-15 邯郸学院 一种多媒体互动装置
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10848647B1 (en) * 2019-07-17 2020-11-24 Brendan Bellomo Composite environment filmmaking devices, systems, products and methods
US11076111B1 (en) * 2019-11-13 2021-07-27 Twitch Interactive, Inc. Smart color-based background replacement
CN111954024A (zh) * 2020-08-27 2020-11-17 顾建亮 录课直播方法及系统
CN114648907B (zh) * 2020-12-18 2024-05-07 山东新松工业软件研究院股份有限公司 一种分布式工业控制系统多功能展示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4542291A (en) * 1982-09-29 1985-09-17 Vpl Research Inc. Optical flex sensor
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6175343B1 (en) * 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US5999208A (en) * 1998-07-15 1999-12-07 Lucent Technologies Inc. System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room
US7096454B2 (en) * 2000-03-30 2006-08-22 Tyrsted Management Aps Method for gesture based modeling
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7084874B2 (en) * 2000-12-26 2006-08-01 Kurzweil Ainetworks, Inc. Virtual reality presentation
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US20030048280A1 (en) * 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US6982743B2 (en) * 2002-01-31 2006-01-03 Trustees Of The University Of Pennsylvania Multispectral omnidirectional optical sensor and methods therefor
US6670574B1 (en) * 2002-07-31 2003-12-30 Unitek Miyachi Corporation Laser weld monitor
KR20040042242A (ko) * 2002-11-13 2004-05-20 삼성전자주식회사 홈서버를 이용하는 홈로봇 및 이를 포함하는 홈네트워크시스템
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
US20050206513A1 (en) * 2004-03-17 2005-09-22 Fallon Kenneth T Voice remote command and control of a mapping security system
US7190811B2 (en) * 2004-11-02 2007-03-13 Honda Motor Co., Ltd. Adaptive tracking for gesture interfaces

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100742664B1 (ko) * 2006-05-10 2007-07-25 주식회사 플러 인터랙티브 영상의 디스플레이 시스템 및 방법
KR101285359B1 (ko) * 2006-11-14 2013-07-11 삼성전자주식회사 동작 추적 장치 및 방법
US8575552B2 (en) 2008-12-22 2013-11-05 Electronics And Telecommunications Research Institute System and method for distinguishing and detecting multiple infrared signal coordinates
KR20190139383A (ko) * 2018-06-08 2019-12-18 주식회사 이미지마이닝 레이저를 이용한 인터랙티브 시스템
KR20220071861A (ko) * 2020-11-24 2022-05-31 (주)엔진비주얼웨이브 조립식 트래킹 패드를 이용한 버추얼 스튜디오 시스템

Also Published As

Publication number Publication date
KR100588042B1 (ko) 2006-06-09
US7468742B2 (en) 2008-12-23
US20050151850A1 (en) 2005-07-14

Similar Documents

Publication Publication Date Title
KR100588042B1 (ko) 인터액티브 프레젠테이션 시스템
CN112823328B (zh) 用于执行相机系统的内部和/或外部校准的方法
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
JP6824279B2 (ja) インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
US6414672B2 (en) Information input apparatus
CN105706028B (zh) 投影型影像显示装置
KR100298240B1 (ko) 정보입력장치,정보입력방법및고체촬상장치
JP4341723B2 (ja) 光投影装置、照明装置
EP1851749B1 (en) Motion-based tracking
JP3834766B2 (ja) マンマシーン・インターフェース・システム
US11756279B1 (en) Techniques for depth of field blur for immersive content production systems
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
US11887251B2 (en) System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) System and techniques for lighting adjustment for an immersive content production system
CN115486091B (zh) 使用虚拟现实设备进行视频处理的系统和方法
AU2022202424B2 (en) Color and lighting adjustment for immersive content production system
US11762481B2 (en) Light capture device
CN213938186U (zh) 软膜屏投影互动展项装置
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
CN106662911A (zh) 在媒体中使用参考帧的注视检测器
US20220343562A1 (en) Color and lighting adjustment for immersive content production system
WO2018207235A1 (ja) 入出力システム、スクリーンセット、入出力方法、及び、プログラム
CN112511813A (zh) 软膜屏投影互动展项装置及使用方法
CN117499696A (zh) 一种全景视频的智能导播方法和系统
CN116797666A (zh) 一种投影显示场景的激光无线鼠标交互控制方法、系统、装置及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160601

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee