KR102032398B1 - 가상 환경에서 객체의 선택을 위한 방법 - Google Patents

가상 환경에서 객체의 선택을 위한 방법 Download PDF

Info

Publication number
KR102032398B1
KR102032398B1 KR1020110048589A KR20110048589A KR102032398B1 KR 102032398 B1 KR102032398 B1 KR 102032398B1 KR 1020110048589 A KR1020110048589 A KR 1020110048589A KR 20110048589 A KR20110048589 A KR 20110048589A KR 102032398 B1 KR102032398 B1 KR 102032398B1
Authority
KR
South Korea
Prior art keywords
gesture
determined
user
threshold
multimedia terminal
Prior art date
Application number
KR1020110048589A
Other languages
English (en)
Other versions
KR20110133424A (ko
Inventor
프랑수아 르 클럭
빈센트 알로옴
피에릭 주엣
Original Assignee
인터디지탈 매디슨 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지탈 매디슨 페이튼트 홀딩스 filed Critical 인터디지탈 매디슨 페이튼트 홀딩스
Publication of KR20110133424A publication Critical patent/KR20110133424A/ko
Application granted granted Critical
Publication of KR102032398B1 publication Critical patent/KR102032398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 제 1 가상환경에서 제 1 객체의 선택을 위한 방법에 관한 것인데, 제 1 객체는 임계치보다 작은 값의 크기를 갖고 제 1 환경에 나타난다. 제 1 객체를 더 편리하게(convivial) 선택하기 위해, 방법은:
- 사용자의 지시 제스처와 결합된 방향(120)을 추정하는 단계,
- 상기 추정된 방향에 따라 제 2 객체(12)를 결정하는 단계로서, 상기 제 2 객체는 임계치보다 큰 크기의 값을 갖는, 결정 단계 및
- 상기 결정된 제 2 객체(12)에 따라 상기 제 1 객체(112)의 선택 단계
를 포함한다.
또한, 본 발명은 선택을 위한 방법의 구현에 대해 적응되는 멀티미디어 단말기(18)에 관한 것이다.

Description

가상 환경에서 객체의 선택을 위한 방법{METHOD FOR SELECTION OF AN OBJECT IN A VIRTUAL ENVIRONMENT}
본 발명은 사용자와 가상 환경 간의 상호작용을 제공하는 사용자 인터페이스의 영역에 관한 것이고, 더 구체적으로 가상 환경에서 사용자를 나타내는 아바타(avatar)를 사용하는 것에 관한 것이다.
종래 기술에 따라, 예를 들어, 사용자를 나타내는 아바타를 중개로 하여, 사용자가 멀리 떨어져 있는 사람 및/또는 객체와 상호작용하는 것을 가능케 하는 상이한 통신 애플리케이션이 존재하는데, 아바타에 결합된 사용자가 실 세계에서 전개되는 한편, 이 아바타는 가상 세계에서 전개된다. 그러면, 멀리 떨어진 영역(예를 들어, 다른 집에, 다른 도시에 또는 다른 나라에)에 위치한 다른 사용자들은 예를 들어, 온라인 게임, 소셜 웹(social web) 등과 같은 하나 이상의 통신 애플리케이션을 사용하여 그들 각자의 아바타를 중개로 하여 통신할 수 있다. 각 애플리케이션 사용자는 사용자의 말 및/또는 제스처 및/또는 감정을 다른 사용자에게 전달하기 위해 사용자의 말 및/또는 제스처 및/또는 감정을 재-전사하는(re-transcribe) 아바타로 묘사된다. 사용자에 의해 사용되는 통신 애플리케이션이 PC(개인용 컴퓨터) 종류의 컴퓨터상에서 호스팅될 때(host), 아바타의 제어는 자연히 예를 들어 키보드와 마우스와 같이 간단하고 편리한(convivial) 제어 디바이스로 수행되는데, 이 디바이스는 가상 세계와 사용자의 상호작용이 간단히 관리되는 것을 가능케 한다. 하지만, 통신 애플리케이션이 예를 들어, 평면 스크린(LCD, 플라즈마) 종류 또는 프로젝션(projection) 스크린 종류의 디스플레이 디바이스에 연결된 셋-톱 박스 내에 있을 때, 사용자는 주로 거실에서 안락 의자 또는 소파에 앉아서, 컴퓨터상에서 사용되는 디바이스와 같은 제어 디바이스의 사용이 매우 편리한 것은 아니다. 게다가, 사용자와 사용자의 아바타 간의 상호작용은 지시(pointing) 디바이스에 의해 수행될 수 있다. Gyration Company에 의해 판매되는 제품과 같은, 자이로스코픽(gyroscopic) 리모콘 또는 자이로스코픽 마우스는 이러한 디바이스의 예시를 제공한다.
더 편리한 상호작용은 사용자로 하여금 어떠한 디바이스의 조작도 요청하지 않는, 제스처로 제어되는 인터페이스를 사용하여 얻어진다. 이들 인터페이스의 종류에서, 디코더 또는 텔레비전상에 위치한 하나 이상의 카메라는 사용자를 촬영하여, 이미지 처리에 의해 분석된 사용자의 제스처가 해석되도록 캡처하고, 관련 명령어를 추론하기 위해, 사전 한정된 어휘에 따라 이들 제스처를 분류한다. 하지만 이러한 사용자 인터페이스 종류에서, 가상 환경에서 객체의 선택은 문제가 된다. 실제로, 텔레비전 스크린상에서 가상 객체의 표현의 감소된 크기는 지시를 통한 지정(designation)을 가능케 하지 못한다. 일반적으로 지시의 방향의 결정에 대한 불확실함은 지시된 객체의 명료한 검출을 확립하지 못한다.
본 발명의 목적은 종래 기술의 이들 단점 중 적어도 하나를 극복하는 것이다.
더 구체적으로, 본 발명의 목적은 특히 제스처 명령을 기초로 하는 간단하고 편리한 사용자 인터페이스를 제안하는 것이다.
본 발명은 제 1 가상 환경에서 제 1 객체의 선택을 위한 방법에 관한 것인데, 제 1 객체는 제 1 환경에 나타나고, 임계치보다 작은 값의 크기를 갖는다. 방법은:
- 사용자의 지시 제스처와 결합된 방향을 추정하는 단계,
- 추정된 방향에 따라 제 2 객체를 결정하는 단계로서, 제 2 객체는 임계치보다 큰 값의 크기를 갖는, 결정 단계, 및
- 결정된 제 2 객체에 따라 제 1 객체를 선택하는 단계를
포함한다.
이롭게, 제 2 객체는 실제 환경에 속한다.
특정 특징에 따라, 제 2 객체는 제 2 가상 환경에 속한다.
특정 특징에 따라, 실제 환경은 3차원으로 매핑된다.
이롭게, 제 1 객체는 제 1 객체의 그룹에 속하고, 제 2 객체는 제 2 객체의 그룹에 속하며, 제 1 객체의 선택은 각 제 1 객체와 제 2 객체 간의 관계를 구축하는 테이블의 사용을 포함한다.
다른 특징에 따라, 방법은 비디오 카메라를 사용하여 지시 제스처의, 그리고 깊이 정보의 적어도 하나의 항목의 취득 단계를 포함한다.
이롭게, 제 2 객체의 결정은 광선과 광선에 마주치는 제 1 요소 간의 교차점의 계산 단계를 포함하는데, 이 광선은 원점으로서 지시 제스처를 하는 사용자의 신체 부분, 방향으로서 지시 제스처와 결합된 방향 및, 배향으로서 지시 제스처의 배향을 갖는다.
특정 특징에 따라, 지시 제스처의 방향은 지시 제스처를 하는 사용자 신체 부분의 검출을 통해, 그리고 3차원 공간 내에서 신체 부분의 세로(longitudinal) 축의 추정을 통해 결정된다.
또한, 본 발명은 캡처된 픽처를 나타내는 신호의 수신을 위한 유닛과, 픽처의 처리를 위한 유닛을 포함하는 멀티미디어 단말기에 관한 것이고, 이 픽처 처리 유닛은
- 사용자의 지시 제스처와 결합된 방향을 추정하는 수단,
- 추정된 방향에 따라 제 2 객체를 결정하는 수단으로서, 제 2 객체는 임계치보다 큰 값의 크기를 갖는, 결정 수단, 및
- 결정된 제 2 객체에 따라 제 1 객체를 선택하는 수단으로서, 제 1 객체는 제 1 가상 환경에 속하고, 임계치보다 작은 값을 갖는, 선택 수단을
포함한다.
첨부 도면을 참조하는 다음의 서술을 읽을 시, 본 발명은 더 잘 이해될 것이고, 다른 특정 특징 및 장점도 분명해질 것이다.
본 발명은 지시 제스처를 이용하여, 3D 가상 환경상에서의 아바타를 제어하는데, 종래 기술보다 더 정확도를 높이는 효과를 갖는다.
도 1은 본 발명의 특정 실시예에 따라, 가상 세계에서 자신의 아바타를 제어하는 사용자의 실제 환경을 도시하는 도면.
도 2는 본 발명의 특정 실시예에 따라, 도 1에서 사용자에 의해 수행되는 제스처의 방향의 추정 방법을 도시하는 도면.
도 3은 본 발명의 특정 실시예에 따라, 본 발명의 구현을 위한 멀티미디어 단말기의 구조를 개략적으로 도시하는 도면.
도 4는 본 발명의 특정 실시예에 따라, 도 3의 멀티미디어 단말기에 구현된 가상 환경에서 객체의 선택 방법을 도시하는 도면.
도 1은 가상 환경에서 사용자를 나타내는 아바타(110)를 중개로 하여, 멀리 떨어져 있는 대화자와 통신하기 위한 가상 환경을 사용하는, 사용자(10)가 존재하는 실제 환경(1)을 도시한다. 가상 환경은 실제(예를 들어, 집, 정원, 공원, 건물, 도시 등의 비디오) 또는 가상 환경의 임의의 그래픽 표현에, 또는 컴퓨터로 생성된 이미지에 의해 생성된 임의의 환경에 또는, 임의의 프로젝션, 예를 들어 실제 또는 가상 환경의 입체 영상에 대응한다. 도 1에 대해 도시된 실제 환경(1)은 사용자(10)의 거실에 대응하는데, 사용자(10)는 사용자의 소파(16)에 앉아서, 디스플레이 디바이스{예를 들어, 플라즈마 디스플레이 패널 또는 LCD(Liquid Crystal Display) 스크린}를 본다. 사용자의 실제 환경(1)에 대응하는 사용자의 거실은 복수의 객체를 포함하는데, 복수의 객체로는 특히: 소파(16), 2개의 오디오 스피커(14 및 15), 문(13), 안락의자(12), 탁자(17), 디스플레이 디바이스(11), 멀티미디어 단말기(18)(예를 들어, 디지털 디코더, 예를 들어 위성 및 지상파(지상파 디지털 텔레비전 TNT), 게임 콘솔, 멀티미디어 전화기, PC 타블렛 등이고, 여기에서 멀티미디어 단말기는 xDSL 게이트웨이에 연결되어 있거나 연결되어 있지 않음), 카메라(예를 들어, 3D 깊이 웹캠)에 통합되거나 분리된 깊이 센서가 구비된 카메라(19)가 존재한다. 카메라(19)는 유선 또는 무선 연결을 통해 멀티미디어 단말기(18)에 연결된다. 멀티미디어 단말기(18)는 유선 및 무선 연결을 통해 디스플레이 디바이스(11)에 연결된다. 사용자(10)가 이 사용자의 아바타(110)를 중개로 하여 멀리 떨어져 있는 대화자와 통신하는 것을 가능케 하는 애플리케이션은 멀티미디어 단말기에서 호스팅되고, 통신 애플리케이션에 의해 디스플레이되는 비디오 콘텐츠는 디스플레이 디바이스(11) 상에서 디스플레이된다. 디스플레이 디바이스 상에 디스플레이되는 비디오 콘텐츠는, 사용자(10)를 나타내는 아바타(110)가 전개되는 가상 환경(100)을 나타낸다. 가상 환경(100)은 특히 문(112) 및 텔레비전 스크린(111)이 존재하는 하나 이상의 가상 객체를 포함한다. 이롭게, 가상 객체는 실제 또는 가상 객체의 임의의 그래픽 또는 입체 영상 표현에 대응하는데, 이러한 실제 객체는 당업자에게 알려진 임의의 수단(예를 들어, 비디오 카메라, 스틸 카메라)에 의해 캡처되거나, 픽처 합성에 의해 생성된다.
가상 환경(100)에서 아바타(110)의 변위는 사용자(10)에 의해 제어된다. 이롭게, 아바타의 변위의 제어는 리모콘(130)을 중개로 이루어지는데, 변위는 예를 들어 방향 키(↑, ↓, ← 및 →)의 사용을 통해 명령되고, 리모콘에 의해 송신된 신호는 멀티미디어 단말기(18)에 의해 수신되고 디코딩된다. 일 변형에 따라, 아바타의 변위는 사용자에 의해 송신된 음성 명령으로 제어된다. 게다가 음성 명령이 수신되면, 멀티미디어 단말기에 통합되거나, 멀티미디어 단말기로부터 분리된 마이크를 중개로 하여 멀티미디어 단말기(18)에 의해 디코딩되고 유선 또는 무선 연결에 의해 멀티미디어 단말기에 연결된다(예를 들어, 마이크는 카메라(19) 또는 디스플레이 디바이스(11)에 통합되거나, 또는 분리된 디바이스이다). 다른 변형에 따라, 아바타(110)의 변위는 사용자에 의해 수행된 제스처에 의해 제어된다. 이들 제스처는 디코딩 및 해석될 멀티미디어 단말기(18)에 송신되기 전에, 그리고 결합된 깊이 정보를 추출하기 위해 카메라(19)에 의해 캡처된다.
아바타(110)가 가상 환경(100)에서의 진행 동안, 아바타(110)는 가상 환경으로부터 가상 객체를 선택하도록, 예를 들어, 하나의 가상 환경에서 다른 가상 환경으로 움직이기 위해(예를 들어, 아바타가 돌아다니는 건물의 하나의 방에서 다른 방으로 움직이기 위해) 문(112)을 선택하거나, 또는 아바타를 가상 환경에서 하나의 장소로부터 다른 장소로 옮기기 위해 임의의 종류의 객체를 다시 선택하도록 유도된다. 문(112)을 선택하기 위해, 사용자(10)는 이 사용자의 신체의 임의의 부분, 예를 들어, 이 사용자의 하나의 팔을 이용해 실제 환경(1)에 속하는 실제 객체 예를 들어, 찬장을 가리킨다. 사용자(10)에 의해 생성된 지시 제스처는 이 카메라(19)에 의해 캡처된 픽처의 시퀀스에서, 카메라(19)에 의해 검출된다. 지시 제스처의 검출은 컴퓨터 비전에서, 검출 및 분류에 대한, 예를 들어, 픽처 또는 비디오에서 얼굴의 검출을 위한 다수의 애플리케이션을 위해, 이미 광범위하게 사용되는 머신 학습 기술을 사용하여 이롭게 사용된다. 이러한 기술에 따라, 지시 제스처를 포함하는 픽처는 팔을 뻗고 있는 사람의 픽처(또한, 긍정(positive) 픽처라 불림)의 세트를 포함하는 지식 기반의 다수의 픽처(예를 들어, 10,000개의 픽처) 및, 사람이 팔을 뻗는 것으로 나타나지 않은 다수의 픽처 세트(또한, 부정(negative) 픽처라 불림)를 포함하는 지식 기반의 다수의 픽처와 비교된다. 이러한 비교를 사용하여, 차별(discriminating) 속성은 카메라(19)에 의해 캡처된 픽처에 대해 계산되는데, 이들 속성은 사전 한정된 픽처 또는 픽처 영역의 서술자의 패밀리 사이로부터 선택된다. 이들 차별 속성의 값의 범위를 팔을 뻗고 있는 사람의 픽처의 카테고리와 결합시키는 기준은 머신 학습 알고리즘, 예를 들어, AdaBoost 알고리즘을 통하여 오프-라인으로 결정된다. 캡처된 픽처 상에서, 이러한 기준이 만족 된다면, 캡처된 픽처는 콘텐츠가 지시 제스처를 하는 사람을 나타내는 픽처로서 해석된다. 반대의 경우라면, 캡처된 픽처가 부정 픽처를 포함하는 지식 기반의 픽처와 결합되고, 캡처된 픽처는 콘텐츠가 지시 제스처를 하는 사람을 나타내는 픽쳐가 아니라고 해석된다. 실제로, 캡처된 픽처 내에서 사용자의 픽처의 위치뿐만이 아니라, 이 픽처의 치수도 알려지지 않는다. 따라서, 위에 서술된 검출 동작은 카메라(19)에 의해 캡처된 픽처 내에서, 팔을 뻗고 있는 사람을 포함할 것 같은, 서브-픽처의 위치 및 크기의 세트에 대해 반복되어야 한다.
콘텐츠가 지시 제스처를 수행하는 사람을 나타내는 픽처로서, 캡처된 픽처가 해석되는 경우, 도 1의 예시에 따라 팔을 뻗고 있는 경우에, 지시 제스처를 포함하는 픽처의 부분은 픽처 분석에 의해 추출된다. 위에 서술된 사람이 팔을 뻗고 있는 것을 검출하기 위해 사용되는 머신 학습 기술은 이러한 목적을 위해, 즉 팔을 뻗고 있는 사람의 픽처 내에서 뻗어져 있는 팔의 시간이 소요되는 검출을 위해 재사용될 수 있다. 지시 제스처를 포함하는 픽처 부분의 픽셀과 결합된 깊이 정보를 사용하여, 지시 제스처와 결합된 방향은 실제 환경(1)의 3 차원(3D) 공간에서, 도 2에 도시된 3D 회귀(regression) 기술을 사용하여 결정되는데, 여기에서 명료함을 위해 2차원 공간으로 한정된다. 이러한 지시 방향의 추정은 예를 들어 검출된, 뻗은 팔에 대응하는 픽처의 지점에서 선형 회귀 모드를 사용하여 수행된다. 지시 제스처의 방향은 지시 제스처를 수행하는 사용자(10)의 신체 부분의 세로 축에 이롭게 대응한다. 사용자의 뻗은 팔을 나타내는 서브-픽처의 내부에서, 팔의 말단을 결정하기 위하여, 즉 지시 제스처의 적절한 말단을 결정하여 지시 배향을 한정하기 위해, 사용자의 손 또한 앞선 기술과 동일한 머신 학습 기술에 의해 검출된다. 3D 기하학의 간단한 규칙의 사용을 통해, 계산된 회귀 광선(지시 제스처의 결정된 방향 및 지시 제스처의 결정된 배향, 지시 제스처의 적절한 말단에 대응하는 광선의 원점으로부터)에 마주치는 실제 환경(1)의 제 1 실체 객체와 계산된 회귀 광선 간의 교차 지점이 결정된다. 이를 위해, 실제 환경(1)은 예를 들어 매핑 애플리케이션의 사용을 통하여 사용자(10)에 의해 또는 다른 사람에 의해 이전에 3D로 매핑된다, 즉 실제 환경(1)의 실제 객체는 이 객체를 각각 실제 환경에서의 3D 공간에서 각각 식별자 및 좌표(x, y 및 z)에 결합시켜 식별되고 위치된다. 일 변형에 따라, 실제 환경은 환경 캡처 수단(예를 들어, 깊이 센서와 결합된 카메라) 및 처리 수단, 예를 들어 실제 환경의 캡처된 픽처를 분석하는 적응된 매핑 애플리케이션의 사용을 통해 자동으로 3D로 매핑된다. 실제 환경과 계산된 회귀 광선의 3D 매핑을 사용함으로써, 회귀 광선에 마주치는 제 1 실제 객체 그리고, 결과적으로 사용자(10)의 지시 제스처를 통해 지시되는 객체가 어떤 것인지를 결정하는 것이 쉬워진다. 일 변형에 따라, 어떠한 실제 객체도 회귀 광선에 마주치지 않는다면, 선택된 실제 객체는 회귀 광선에 가장 근접한 실제 객체다, 즉 실제 객체는 회귀 광선으로부터 임계치보다 짧은 거리(예를 들어, 20cm, 50cm 또는 1m)에 위치한다. 임계치보다 짧은 거리의 세트는 이롭게 공차 영역을 형성하는데, 이 영역은 반지름이 임계치와 동일한 회귀 광선을 둘러싸는 원기둥의 형태를 갖는다. 이롭게, 실제 환경의 3D 맵에 매핑된 실제 객체는 결정적인 크기보다 더 큰 크기, 즉 임계치보다 더 커서(예를 들어, 이 객체를 둘러싸는 평행육면체의 3개의 치수중 최소값은 적어도 사전 결정된 값, 예를 들어, 40cm, 50cm 또는 60cm이거나, 지시 방향에 수직인 평면에서 객체의 프로젝션의 2개의 치수중 최소값은 적어도 40cm, 50cm 또는 60cm이다), 지시 제스처의 방향의 결정의 부정확함이 지시된 실제 객체의 선택에 어떠한 영향도 미치지 않게 된다. 실제로, 지시 제스처의 방향을 추정하는데 사용되는 이들 기술로부터, 너무 작은 객체, 즉 임계치보다 작은 크기를 갖는 객체는 이들 객체와 회귀 광선 간의 교차지점을 만듬으로써 확실히 결정될 수 있다. 임계치는 지시 방향의 추정의 부정확함을 나타내는 정보에 따라 이롭게 결정된다.
일단 지시 제스처를 통해 지시된 실제 객체가 결정되고 식별되면, 실제 객체가 결합되는 가상 세계의 가상 객체는 사용자(10)를 나타내는 아바타(110)에 의해 차례대로 선택된다. 도 1의 예시에 따라, 사용자가 팔로 문(112)에 결합된 벽장(12)을 가리킴으로써, 문(112)은 아바타(110)에 의해 선택된다. 가상 환경의 가상 객체(또한 제 1 객체라 불림)와 실제 환경(1)의 객체(또한 제 2 객체라 불림) 간의 결합을 만들기 위해, 결합(또는 대응) 테이블이 예를 들어 사용자(10)에 의해 구축된다. 예를 들어, LUT(룩-업 테이블) 유형의 이러한 결합 테이블은 유리하게 제 1 객체와 제 2 객체 간의 일 대 일 결합을 구축하는데, 제 1 객체는 다른 제 1 객체에 결합되지 않는 하나 이상의 제 2 객체에 결합된다. 따라서, 예를 들어 문(112)은 찬장(12) 및 스피커(14)에 결합되고, 텔레비전 스크린(111)은 탁자(17)에 결합된다.
도시되진 않은 이로운 일 변형에 따라, 사용자(10)는 이 사용자의 지시 제스처를 통해 제 1 가상 환경(100)과는 상이한 제 2 가상 환경에 속하는 제 2 객체를 가리킨다. 예를 들어, 이러한 제 2 가상 환경은 가상 객체를 포함하는 합성된 픽처에 대응하는데, 이 가상 객체 각각은 임계치보다 큰 크기를 갖고, 사용자(10)의 신체 부분으로 지시함으로써 이 객체가 선택되게 하는 것을 가능케 한다. 이러한 제 2 가상 환경은 예를 들어 비디오 프로젝터를 통해, 실제 환경(1)의 벽에 또는 충분히 큰 프로젝션 스크린에 투영된다. 이러한 일 변형의 장점은 실제 환경에 대해 행해진 것과는 달리, 제 2 가상 환경을 매핑할 필요가 없다는 것이다: 제 2 가상 환경의 2개의 가상 객체는 픽처 합성에 의해 구성된다; 이들 각 위치는 디폴트로 알려진다; 제 2 가상 객체와 회귀 광선 간의 교차 지점의 결정은 간단하고, 자동이다. 다른 변형에 따라, 제 2 가상 환경은 프로젝션 스크린으로의 제 1 가상 환경의 프로젝션인데, 이 프로젝션은 제 2 객체가 되는 제 1 투사 가상 객체의 크기가 임계치보다 커져서, 이 제 2 객체가 지시을 통해 선택되도록 하는 방식으로 이루어진다. 따라서, 제 1 객체와 제 2 객체 간의 결합은 상이한 디스플레이 디바이스(예를 들어, 각각 디스플레이 디바이스(11) 및 비디오-프로젝터)를 통해 상이한 크기로 디스플레이되는 동일한 객체에 대해 더 이상 필요하지 않다.
다른 변형에 따라, 사용자(10)는 음성 명령의 발음을 통해, 또는 리모콘 상에서 키를 누름으로써 이 사용자의 지시 제스처를 검증한다. 그러면, 멀티미디어 단말기는 검증 명령이 수신될 때까지, 지시의 방향을 결정하는데 취득되는 픽처의 분석을 개시하지 않는다. 이러한 변형은 지시 제스처를 나타내는 픽처의 검출에 대한 필요한 픽처 분석을 최소로 하는 장점을 제공한다.
자연히, 지시 제스처를 수행하는 사용자(10)의 신체 부분는 도 1을 참조로 서술되는 것에, 즉 팔에 제한되지 않고, 사용자의 신체의 임의의 부분, 예를 들어 다리 또는 한쪽 손의 손가락으로 확장된다.
도 2는 본 발명의 특정 실시예에 따라, 사용자(10)에 의해 수행된 지시 제스처의 방향의 추정을 위한 방법을 도시한다. 명료함을 위해, 도 2는 신체 부분의 세로 축의 결정의 결과와, 더 나아가 2-차원 공간(x 및 y)에서 지시 제스처의 방향을 도시한다. 이롭게, 세로 축은 3-차원(x, y 및 z) 공간으로 확장되는데, 실제 환경(1)은 3차원 공간이다. 지점(200)은 지시 제스처를 수행하는 사용자의 신체의 부분, 예를 들어 사용자의 팔에 속하는 지점에 대응하는데, 이들 지점은 카메라(19)에 의해 캡처된 지시 제스처의 픽처로부터(또는 더 구체적으로 콘텐츠가 지시 제스처를 수행하는 신체의 부분에 대응하는 픽처의 부분으로부터) 결정되고, 지시 제스처를 수행하는 사용자의 신체의 부분을 나타내는 픽처의 부분의 픽셀의 각각에 결합된 깊이 정보를 사용한다. 이러한 깊이 정보는 카메라(19)에 결합된 깊이 센서에 의해 캡처되고, 이러한 정보는 깊이 맵(또는 z-맵)에 이롭게 기록된다. 지점(200)의 3차원 배열로부터, 지시 제스처의 세로축 또는 방향은 선형 회귀에 의해 또는 다중 선형 회귀에 의해 결정되는데, 각 지점(200)은 좌표(xi, yi 및 zi)를 갖고, 좌표(zi)는 도 2에 도시되지 않는다. 지시 제스처의 방향을 나타내는 선(20)은 형태에서 2개의 방정식의 시스템에 의해 나타난다:
Figure 112011038359497-pat00001
.
공간적 좌표(xi, yi 및 zi)가 결정된 지점(200)의 샘플을 사용하면, 상수(a, b, c, d, a', b', c' 및 d')의 결정은 지점(200)에 가장 인접하게 지나는 선이 결정되도록 하는 것을 가능케 하는 최소 제곱 법의 사용을 통해 쉬워진다, 즉 선(20)은 이 선(20)에 대한 지점(200)의 편향의 제곱 합의 최소값으로 렌더링된다.
자연히, 사용자(10)의 지시 제스처의 방향을 추정하는데 사용되는 방법은 도 2에 대해 서술된 방법, 즉 선형 회귀에 제한되지 않고, 예를 들어 제곱의 최소 중앙값에 따른 회귀를 통해, 또는 최소 가중 반복 제곱의 방법을 통한 회기를 통해 당업자에게 알려진 모든 방법으로 확장된다.
도 3은 본 발명의 특정 실시예에 따라, 예를 들어 도 1의 멀티미디어 단말기(18)에 대응하는 멀티미디어 단말기(3)의 구조를 개략적으로 도시한다.
단말기(3)는 예를 들어 도 1의 디스플레이 디바이스(11)에 대응하는 디스플레이 디바이스(301)에 이롭게 연결된다. 일 변형에 따라, 단말기(3)는 2개 이상의 디스플레이 디바이스, 예를 들어 텔레비전 스크린과 비디오-프로젝터에 연결된다. 단말기(3)는 프로그램 메모리(307), 데이터베이스(304) 및 동작 사용자 인터페이스 관리기(305), 및 오디오/비디오 데이터가 실시간으로 전송되는 것을 가능케 하는 고속 비트율 디지털 네트워크(310)와 통신을 위한 인터페이스(308)에 연결되는 중앙 유닛(302)을 포함한다. 예를 들어, 이러한 네트워크는 표준 IEEE 1394를 준수하는 네트워크이다. 또한, 단말기(3)는 비디오 카메라(312)와 통신을 가능케 하는 인터페이스, 예를 들어, 비디오 카메라(312)에 의해 송신된 취득 신호의 수신 유닛을 포함하고, 이 비디오 카메라(312)는 카메라에 통합된 깊이 센서가 결합된다. 일 변형에 따라, 깊이 센서는 카메라(312)로부터 물리적으로 분리되는데, 깊이 센서는 예를 들어, 단말기(3)에 통합되거나, 또는 디스플레이 디바이스(301)에 통합되거나, 또는 주변 디바이스에 전용된다. 다른 변형에 따라, 카메라(312)는 단말기(3)에 통합되는 요소이다. 다른 변형에 따라, 카메라는 디스플레이 디바이스(301)에 통합된다. 또한, 단말기(3)는 리모콘(311)으로부터 신호를 수신하기 위한 적외선 신호 수신기(303), 데이터베이스의 저장을 위한 메모리(304), 및 디스플레이 디바이스(301)에 송신되는 오디오비주얼(audiovisual) 신호의 생성을 위한 오디오/비디오 디코딩 논리회로(309)를 포함한다. 리모콘(311)은 내비게이션 키(↑, ↓, → 및←), 숫자 키패드 및 "OK" 키를 구비한다. 움직임 센서가 구비된 자이레이션 종류의 리모콘 또한 사용될 수 있다.
또한, 단말기(3)는 종종 OSD(On Screen Display) 회로라 불리는, 스크린의 데이터 디스플레이 회로(306)를 포함한다. OSD 회로(306)는 메뉴, 픽토그램(pictogram)(예를 들어, 디스플레이되는 채널에 대응하는 숫자)의 OSD를 가능케 하고, 본 발명에 따라 사용자(10)를 나타내는 도 1의 아바타(110)의 디스플레이를 가능케 하는 텍스트 및 그래픽 생성기이다. OSD 회로는 하나 또는 수개의 마이크로프로세서(또는 CPU) 및 하나 또는 수 개의 GPU(Graphical Processing Unit)을 포함하는 중앙 유닛(302)과, 아바타(110)의 디스플레이 신호를 생성하는 동적 사용자 인터페이스 관리기(305)와, 사용자 인터페이스의 임의의 다른 그래픽 요소로부터 정보를 수신한다. 이롭게, GPU는 카메라(312)에 의해 캡처된 픽처의 처리를 수행하는데, 특히 GPU는 콘텐츠가 지시 제스처를 나타내는 것이 어떤 픽처인지를 결정하고, 반대의 경우 지시 제스처의 위치 및 배향을 결정한다. 깊이 센서에 의해 캡처된 깊이 정보는 메모리(307)의 부분(GRAM(Graphical Random Access Memory)의 형태를 이롭게 취하는)에 또는 데이터베이스(304)에 저장되는 깊이 맵에 이롭게 저장된다. 본 발명의 특유한 방법의 단계를 구현하고, 이하에 서술되는 알고리즘은 이롭게 RAM(Random Access Memory))의 형태를 취하는, 메모리(307)의 다른 부분에 저장된다. 켜졌을 때, 또는 가상 환경(1) 및 아바타(110)를 나타내는 파라미터가 일단 메모리(307)의 GRAM 부분에 적재되면, 아바타를 나타내는 파라미터는 데이터베이스(304)에 저장되어, 메모리(307)의 RAM 부분 또는 동작 사용자 인터페이스 관리기(305)에 저장된 통신 애플리케이션의 지령은 CPU(302)에 의해 실행된다.
단말기(3)가 재생할 수 있는 멀티미디어 문서는 오디오비주얼 문서, 오디오 문서, 또는 사진이다.
일 변형에 따라, 리모콘(311)은 관객의 제스처를 검출할 수 있는 디바이스, 예를 들어, 깊이 센서가 결합된 카메라(312)로 대체된다. 그러면, 제스처는 단말기(3)의 전용되거나 전용되지 않는 모듈에 의해 분석되어, 가상 세계(1)에서 아바타(110)를 대체시킬 명령어로 해석된다. 일 변형에 따라, 리모콘은 음성 명령을 기록할 수 있는 마이크 종류 디바이스로 대체된다. 게다가 음성 명령으로 구성된 사운드는 단말기(3)의 전용되거나 전용되지 않는 모듈에 의해 분석되어, 가상 세계(1)에서 아바타(110)를 대체할 명령어로 해석된다.
도 4는 본 발명의 비-제한적이고 특히 이로운 제 1 실시예에 따라, 멀티미디어 단말기(3)에서 구현되도록 의도되는 제 1 가상 환경에서의 제 1 객체의 선택 방법을 도시한다.
초기화 단계(40) 동안, 단말기의 상이한 파라미터가 갱신된다.
그런 후에, 단계(41) 동안, 실제 환경에서 돌아다니는 사용자의 지시 제스처와 결합된 방향이 추정된다. 요건에 따라, 실제 환경은 3차원으로 매핑된다, 즉 이러한 실제 환경을 구성하는 객체는 당업자에게 알려진 임의의 방법에 따라 3D 맵으로 모델링되는데, 이 3D 맵은 실제 환경을 한정하는 공간에서 객체의 위치(즉, 좌표) 및 부피(즉, 크기)에 대한 정보를 포함한다. 이롭게, 지시 제스처의 방향의 추정은 비디오 카메라를 통한 지시 제스처의 취득 및, 깊이 센서를 통한 깊이 정보의 항목의 취득 단계를 포함하는데, 이 깊이 정보는 한편으로는 캡처된 픽처의 픽셀 중 각 픽셀 또는 픽셀 그룹과, 다른 한편으로는 카메라 또는 깊이 센서 사이의 거리를 나타내고, 이 정보는 예를 들어, 깊이 맵에 기록된다. 일 변형에 따라, 지시 제스처의 방향은 수 개의 비디오 카메라로부터 추정되는데, 예를 들어 2개의 카메라는 지시 제스처의 입체 픽처를 제공하고, 그런 후에 깊이 정보는 복수의 카메라에 의해 캡처된 각 픽처 간의 이격도 계산을 통해 추정된다. 이롭게, 지시 제스처의 방향의 결정은 당업자에게 알려진 임의의 방법에 따라, 예를 들어 선형 회기를 통해 지시 제스처를 수행하는 사용자의 신체 부분의 세로 축을 추정함으로써, 결정된다.
그런 후에, 단계(42) 동안, 제 2 객체는 사용자의 지시 제스처의 추정된 방향에 따라 결정된다. 제 2 객체는 교차점을 계산함으로써, 이롭게 결정되는데 이 교차점은 한편으로는 원점으로서 지시 제스처를 수행하는 신체 부분의 말단, 지시 제스처의 방향 및 지시 제스처의 배향을 갖는 광선과, 다른 한편으로는 이 광선에 마주치는 제 2 객체 중 첫 번째 객체 간의 교차점이다. 제 2 객체는 임계치보다 큰 크기를 갖는데, 이 임계치는 객체가 광선과의 교차지점의 계산을 통해 결정되어야 할 수 있는 최소값에 대응하고, 지시 제스처의 방향의 추정은 추정의 부정확함을 겪는다. 일 변형에 따라, 제 2 객체는 광선에 인접하게 위치한, 즉 광선 주위의 사전 결정된 값보다 작은 범위 내에서, 제 2 객체 중 첫 번째 객체이다.
이롭게, 결정된 제 2 객체는 실제 환경에 속하는 실제 객체이고, 제 2 객체는 실제 환경의 매핑된 객체 중 하나이다. 일 변형에 따라, 제 2 객체는 예를 들어, 사용자가 돌아다니는 실제 환경의 벽에, 또는 실제 환경에 위치한 프로젝션 스크린에 투사되고, 제 1 가상 환경의 콘텐츠와 상이한 콘텐츠를 갖는 제 2 가상 환경에 속하는 가상 객체이다. 이러한 변형에 따라, 투사된 가상 환경의 제 2 객체(들) 각각은 이전에 언급된 임계치보다 큰 값을 갖는다. 이러한 변형에 따라, 실제 환경의 매핑은 불필요하다. 다른 변형에 따라, 제 2 객체는 임계치보다 큰 크기를 갖고, 디스플레이되는 제 1 가상 환경의 가상 객체이고, 제 1 객체로 알려진 제 1 가상 환경의 객체는 임계치보다 더 작은 크기를 갖고, 사용자가 시청하는 디스플레이 디바이스 상에 디스플레이되거나 나타난다. 이러한 변형에 따라, 실제 환경의 매핑 또한 불필요하다.
마지막으로, 단계(43) 동안, 제 1 객체는 결정된 제 2 객체를 사용하여 선택된다. 제 1 객체의 선택은 가상 환경의 제 1 객체 각각과 제 2 객체(실제 환경 또는, 제 2 가상 환경, 또는 제 1 가상 환경의 제 2 표현, 또는 선행하는 3개의 환경에 속하는) 간의 결합을 나타내는 결합 정보의 항목을 사용하여 수행된다.
당연히, 본 발명은 이전에 설명된 실시예에 제한되지 않는다.
특히, 본 발명은 제 1 가상 환경에서 제 1 객체의 선택을 위한 방법에 제한되지 않고, 이러한 방법을 구현하는 멀티미디어 단말기, 그리고 디스플레이 방법을 구현하는 멀티미디어 단말기를 포함하는 디스플레이 디바이스에 확장된다. 또한, 본 발명은 가상 환경에서 임계치보다 작은 크기의 객체의 선택을 포함하는 아바타의 제어를 위한 방법에 관한 것이다.
1 : 실제 환경 10 : 사용자
11 : 디스플레이 디바이스 13 : 문
14, 15 : 스피커 16 : 소파
17 : 탁자 18 : 멀티미디어 단말기
19 : 카메라 100 : 가상 환경
110 : 아바타 111 : 텔레비전 스크린
112 : 문

Claims (16)

  1. 가상 환경(1) 내에서 제 1 객체(112)의 선택을 위한 방법으로서,
    상기 제 1 객체(112)는 임계치보다 작은 크기 값을 가지고 실제 환경의 디스플레이 디바이스 상에 디스플레이되는, 제 1 객체(112)의 선택을 위한 방법에 있어서,
    - 사용자의 지시 제스처와 관련된 방향(120)을 결정하는 단계,
    - 상기 결정된 방향(120)에 따라, 제 2 객체(12)를 결정하는 단계(42)로서, 상기 제 2 객체는 상기 임계치보다 큰 값의 크기를 갖고, 상기 제 2 객체는 실제 환경에 속하며, 상기 제 1 객체는 상기 제 2 객체의 그래픽 표현과 상이한, 결정 단계(42), 및
    - 결정된 상기 제 2 객체(12)에 따라 디스플레이된 상기 제 1 객체(112)를 선택하는 단계(43)를
    포함하는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  2. 제 1항에 있어서, 상기 임계치는 상기 결정된 방향(120)의 부정확함을 나타내는 정보에 따라 결정되는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  3. 제 2항에 있어서, 상기 임계치는 제 1 객체(112)의 경계를 이루는 박스를 나타내는 가장 작은 치수에 대응하고, 상기 가장 작은 치수는 사전 결정된 값보다 큰 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  4. 제 1항에 있어서, 상기 실제 환경은 3차원으로 매핑되는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 제 1 객체(112)는 제 1 객체들(111, 112)의 그룹에 속하고, 상기 제 2 객체(12)는 제 2 객체들(12 내지 17)의 그룹에 속하며, 상기 제 1 객체의 상기 선택은 각각 제 1 객체 및 제 2 객체 간의 관계를 구축하는 테이블의 사용을 포함하는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  6. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 방법은 비디오 카메라(19)를 사용하는 상기 지시 제스처, 그리고 깊이 정보의 적어도 하나의 항목의 취득 단계를 포함하는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  7. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 제 2 객체의 결정은 광선과 상기 광선에 마주치는 제 1 요소 간의 교차점의 계산 단계를 포함하는데, 상기 광선은 원점으로서 상기 지시 제스처를 행하는 상기 사용자의 신체 부분, 방향으로서 상기 지시 제스처와 관련된 상기 방향, 및 배향으로서 상기 지시 제스처의 상기 배향을 갖는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  8. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 지시 제스처의 상기 방향은 상기 지시 제스처를 행하는 상기 사용자의 신체 부분의 검출을 통해, 그리고 3차원 공간에서 신체의 상기 부분의 세로축(20)의 추정을 통해 결정되는 것을 특징으로 하는, 가상 환경 내에서 제 1 객체의 선택을 위한 방법.
  9. 캡처된 픽처를 나타내는 신호의 수신을 위한 유닛과, 픽처 처리에 적응되는 중앙 유닛(302)을 포함하는 멀티미디어 단말기(3)에 있어서,
    상기 중앙 유닛은:
    - 사용자의 지시 제스처에 관련된 방향(120)을 결정하는 수단,
    - 상기 결정된 방향(120)에 따라 제 2 객체(12)를 결정하는 수단으로서, 상기 제 2 객체는 임계치보다 큰 크기의 값을 갖는, 결정 수단, 및
    - 결정된 상기 제 2 객체(12)에 따라 제 1 객체(112)를 선택하는 수단으로서, 상기 제 1 객체(112)는 가상 환경(1)에 속하며, 상기 임계치보다 작은 값의 크기를 가지고 실제 환경의 디스플레이 디바이스 상에 디스플레이되고, 상기 제 2 객체는 실제 환경에 속하고, 상기 제 1 객체는 상기 제 2 객체의 그래픽 표현과 상이한, 선택 수단을
    포함하는 것을 특징으로 하는, 멀티미디어 단말기.
  10. 제 9항에 있어서, 상기 임계치는 상기 결정된 방향(120)의 부정확함을 나타내는 정보에 따라 결정되는 것을 특징으로 하는, 멀티미디어 단말기.
  11. 제 10항에 있어서, 상기 임계치는 제 1 객체(112)의 경계를 이루는 박스를 나타내는 가장 작은 치수에 대응하고, 상기 가장 작은 치수는 사전 결정된 값보다 큰 것을 특징으로 하는, 멀티미디어 단말기.
  12. 제 9항에 있어서, 상기 실제 환경을 3차원으로 매핑하는 수단을 더 포함하는 것을 특징으로 하는, 멀티미디어 단말기.
  13. 제 9항 내지 제 12항 중 어느 한 항에 있어서, 상기 제 1 객체(112)는 제 1 객체들(111, 112)의 그룹에 속하고, 상기 제 2 객체(12)는 제 2 객체들(12 내지 17)의 그룹에 속하며, 상기 제 1 객체의 상기 선택은 각각 제 1 객체 및 제 2 객체 간의 관계를 구축하는 테이블의 사용을 포함하는 것을 특징으로 하는, 멀티미디어 단말기.
  14. 제 9항 내지 제 12항 중 어느 한 항에 있어서, 비디오 카메라(19)를 사용하는 상기 지시 제스처, 그리고 깊이 정보의 적어도 하나의 항목을 취득하는 수단을 더 포함하는 것을 특징으로 하는, 멀티미디어 단말기.
  15. 제 9항 내지 제 12항 중 어느 한 항에 있어서, 상기 제 2 객체를 결정하는 수단은, 광선과 상기 광선에 마주치는 제 1 요소 간의 교차점을 계산하는 수단을 더 포함하는데, 상기 광선은 원점으로서 상기 지시 제스처를 행하는 상기 사용자의 신체 부분, 방향으로서 상기 지시 제스처와 관련된 상기 방향, 및 배향으로서 상기 지시 제스처의 상기 배향을 갖는 것을 특징으로 하는, 멀티미디어 단말기.
  16. 제 9항 내지 제 12항 중 어느 한 항에 있어서, 지시 제스처의 상기 방향은 상기 지시 제스처를 행하는 상기 사용자의 신체 부분의 검출을 통해, 그리고 3차원 공간에서 신체의 상기 부분의 세로축(20)의 결정을 통해 결정되는 것을 특징으로 하는, 멀티미디어 단말기.
KR1020110048589A 2010-06-04 2011-05-23 가상 환경에서 객체의 선택을 위한 방법 KR102032398B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1054395A FR2960986A1 (fr) 2010-06-04 2010-06-04 Procede de selection d’un objet dans un environnement virtuel
FR1054395 2010-06-04

Publications (2)

Publication Number Publication Date
KR20110133424A KR20110133424A (ko) 2011-12-12
KR102032398B1 true KR102032398B1 (ko) 2019-10-15

Family

ID=43413630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110048589A KR102032398B1 (ko) 2010-06-04 2011-05-23 가상 환경에서 객체의 선택을 위한 방법

Country Status (6)

Country Link
US (1) US9298346B2 (ko)
EP (1) EP2410401B1 (ko)
JP (1) JP5901151B2 (ko)
KR (1) KR102032398B1 (ko)
CN (1) CN102270275B (ko)
FR (1) FR2960986A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US9773345B2 (en) * 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
JP6135239B2 (ja) * 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US10360706B2 (en) * 2012-05-22 2019-07-23 Sony Corporation Device method and program for adjusting a display state of a superimposed image
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
KR102047494B1 (ko) * 2012-09-10 2019-11-21 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
US20140157206A1 (en) * 2012-11-30 2014-06-05 Samsung Electronics Co., Ltd. Mobile device providing 3d interface and gesture controlling method thereof
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
EP2797332A1 (en) 2013-04-23 2014-10-29 Thomson Licensing Method and device for querying a knowledge base associated with a multimedia content
CN103472923B (zh) * 2013-09-23 2016-04-06 济南大学 一种三维虚拟手势选择场景物体的方法
CN106463032B (zh) * 2014-03-03 2019-05-31 Vsk电子有限公司 利用方向感应的入侵检测方法及系统
IN2014DE00899A (ko) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
FR3024267B1 (fr) * 2014-07-25 2017-06-02 Redlime Procedes de determination et de commande d'un equipement a commander, dispositif, utilisation et systeme mettant en œuvre ces procedes
PL411336A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z urządzeniami stacjonarnymi za pomocą gestów oraz system do interakcji z urządzeniami stacjonarnymi za pomocą gestów
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US11880954B2 (en) 2016-07-13 2024-01-23 Trivver, Inc. Methods and systems for generating digital smart objects for use in a three dimensional environment
CA3029691A1 (en) * 2016-07-13 2018-01-18 Trivver, Inc. Methods and systems for generating and displaying three dimensional digital assets for use in an online environment
US10769859B2 (en) 2016-07-13 2020-09-08 Trivver, Inc. Methods and systems for displaying digital smart objects in a three dimensional environment
EP3502939B1 (en) 2016-08-19 2023-06-14 Tencent Technology (Shenzhen) Company Limited Authentication method based on virtual reality scene, virtual reality device, and storage medium
CN106527887B (zh) * 2016-10-18 2018-09-04 腾讯科技（深圳）有限公司 虚拟物体选取方法、装置及vr系统
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
WO2018106276A1 (en) * 2016-12-05 2018-06-14 Youspace, Inc. Systems and methods for gesture-based interaction
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10303259B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
US20180190033A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Systems and methods for providing augmented reality effects and three-dimensional mapping associated with interior spaces
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
US10777202B2 (en) * 2018-06-19 2020-09-15 Verizon Patent And Licensing Inc. Methods and systems for speech presentation in an artificial reality world
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
EP3842911B1 (en) * 2019-12-26 2023-04-05 Dassault Systèmes A 3d interface with an improved object selection
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
GB2591994B (en) * 2020-01-31 2024-05-22 Fuel 3D Tech Limited A method for generating a 3D model
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) * 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP3860550B2 (ja) 2003-03-07 2006-12-20 日本電信電話株式会社 インタフェース方法、装置、およびプログラム
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
AU2008222933A1 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
US8386918B2 (en) 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
CN101344816B (zh) 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US20100100851A1 (en) * 2008-10-16 2010-04-22 International Business Machines Corporation Mapping a real-world object in a personal virtual world
JP5436574B2 (ja) * 2008-12-22 2014-03-05 インテリジェント スペイシャル テクノロジーズ，インク． ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eiichi Hosoya 외 3인. Mirror Interface─An Interactive Communication System Utilizing the Metaphor of a Mirror. NTT Technical Review. Vol. 4, No. 5, 2006.05.
Eiichi Hosoya 외 5인. Arm-Pointer: 3D Pointing Interface for Real-World Interaction. Conference Paper in Lecture Notes in Computer Science 3058. pp. 72-82. 2004.05.

Also Published As

Publication number Publication date
JP2011258204A (ja) 2011-12-22
CN102270275B (zh) 2017-03-01
EP2410401B1 (en) 2018-08-15
US9298346B2 (en) 2016-03-29
KR20110133424A (ko) 2011-12-12
US20110302535A1 (en) 2011-12-08
JP5901151B2 (ja) 2016-04-06
EP2410401A1 (en) 2012-01-25
FR2960986A1 (fr) 2011-12-09
CN102270275A (zh) 2011-12-07

Similar Documents

Publication Publication Date Title
KR102032398B1 (ko) 가상 환경에서 객체의 선택을 위한 방법
US8730309B2 (en) Projectors and depth cameras for deviceless augmented reality and interaction
US20130120365A1 (en) Content playback apparatus and method for providing interactive augmented space
US20130215230A1 (en) Augmented Reality System Using a Portable Device
WO2017203774A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
US20140062881A1 (en) Absolute and relative positioning sensor fusion in an interactive display system
US11367260B2 (en) Video synthesis device, video synthesis method and recording medium
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
KR20020059844A (ko) 영상 처리기, 영상 처리 방법, 기록 매체, 컴퓨터프로그램 및 반도체 장치
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020509505A (ja) 拡張現実を提供するための方法、装置及びコンピュータプログラム
KR102640871B1 (ko) 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
WO2019211936A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN115731349A (zh) 户型图的展示方法、装置、电子设备及存储介质
KR20230095197A (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치
JP6700672B2 (ja) 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JPH10214344A (ja) インタラクティブ表示装置
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
US20230351706A1 (en) Scanning interface systems and methods for building a virtual representation of a location
JP2011258157A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2021117852A (ja) 情報処理装置、検出位置補正方法およびプログラム
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
EP2540090A2 (en) Projectors and depth cameras for deviceless augmented reality and interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J501 Disposition of invalidation of trial
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101005431; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20171110

Effective date: 20190611

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant