KR20190011778A - 장치 및 관련 방법 - Google Patents

장치 및 관련 방법 Download PDF

Info

Publication number
KR20190011778A
KR20190011778A KR1020187037725A KR20187037725A KR20190011778A KR 20190011778 A KR20190011778 A KR 20190011778A KR 1020187037725 A KR1020187037725 A KR 1020187037725A KR 20187037725 A KR20187037725 A KR 20187037725A KR 20190011778 A KR20190011778 A KR 20190011778A
Authority
KR
South Korea
Prior art keywords
tag
locator
positioning system
camera
determining
Prior art date
Application number
KR1020187037725A
Other languages
English (en)
Inventor
프란세스코 크리크리
아르토 레티니에미
안티 에로넨
주시 레파넨
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20190011778A publication Critical patent/KR20190011778A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/01Determining conditions which influence positioning, e.g. radio environment, state of motion or energy consumption
    • G01S5/018Involving non-radio wave signals or measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/023Monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/0226Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/0244Accuracy or reliability of position solution or of measurements contributing thereto
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247Determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0268Hybrid positioning by deriving positions from different combinations of signals or of estimated positions in a single positioning system

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

장치는, 공간에서의 오브젝트를 향하는 방향의 결정과 관련하여 - 오브젝트는, 무선 신호에 기초하여 태그를 향하는 방향을 결정하도록 구성되고 위치 결정 시스템의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그를 구비함 - , 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여, 적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정하는 것에 의해 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하게 되되, 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타낸다.

Description

장치 및 관련 방법
본 개시는 오브젝트의 방향 결정의 분야, 관련 방법, 컴퓨터 프로그램 및 장치에 관한 것이다. 소정의 개시된 양태/예는, 오브젝트에 대한 방향(direction)을 결정하기 위해 오브젝트에 부착되는 태그로부터 수신되는 무선 신호의 활용가능성(viability)의 결정을 제공하기 위한, 시각적 이미지(visual imagery)에 기초한 오브젝트의 방위(orientation)의 사용에 관한 것이다.
위치 결정 시스템(positioning system)은 공간에서 오브젝트의 위치를 결정하기 위해 사용된다. 위치 결정 시스템은, 오브젝트를 향하는 방향을 결정하기 위해 오브젝트에 부착되는 위치 결정 태그(positioning tag)로부터 무선 신호를 수신하도록 구성되는 적어도 하나의 로케이터(locator)를 공간 내에서 사용할 수도 있다. 무선 신호는, 로케이터까지의 공간을 통한 자신의 전파에 의해, 예컨대 오브젝트 자체에 의한 감쇠 및 공간 내의 추가적인 오브젝트로부터의 감쇠/반사에 의해 영향을 받을 수도 있는데, 이것은 위치 결정 시스템에 의해 결정되는 방향의 정확성에 부정적인 영향을 줄 수도 있다.
본 명세서에서의 앞서 발행된 문헌 또는 임의의 배경기술에 대한 열거나 논의는, 그 문헌 또는 배경기술이 최신 기술의 일부라는 것 또는 공통의 일반적인 지식이라는 것을 인정하는 것으로 받아들여서는 안된다. 본 개시의 하나 이상의 측면/예는, 배경기술 문제 중 하나 이상을 해결할 수도 있거나 또는 해결하지 않을 수도 있다.
제1 예시적인 측면에서, 장치가 제공되는데, 그 장치는,
적어도 하나의 프로세서; 및
컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고,
적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도 다음, 즉
공간에서의 오브젝트를 향하는 방향의 결정과 관련하여 - 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 위치 결정 태그가 부착되고, 위치 결정 시스템은 무선 신호에 기초하여 위치 결정 태그를 향하는 방향을 결정하는 것에 의해 오브젝트의 방향을 결정하도록 구성되고, 오브젝트는 공간 주위에서의 이동이 자유로움 - ,
오브젝트가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 위치 결정 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
적어도 위치 결정 태그가 로케이터와 실질적으로 대면하도록(face) 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하는 것 - 위치 결정 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타냄 - 을 수행하게 한다.
하나 이상의 예에서, 장치는, 태그와 로케이터 사이의 시선(line of sight)을 오브젝트가 차단하지 않는다는 결정에 의해, 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부를 적어도 결정하게 된다.
하나 이상의 실시형태에서, 태그가 실질적으로 로케이터로부터 멀어지게 대면하도록 오브젝트가 배향되는 것에 의해 위치 결정 시스템에 의해 방향을 결정하는 데 사용하기에 상기 태그로부터의 무선 신호가 활용가능하지 않다는 결정에 기초하여, 무선 신호를 사용하는 것 이외의 수단에 의해 오브젝트를 향하는 방향의 결정을 제공한다.
하나 이상의 예에서, 적어도 무선 신호가 활용가능하지 않을 때, 장치는, 카메라로부터의 시각적 이미지를 사용한 오브젝트의 시각적 추적에 기초하여 오브젝트를 향하는 방향의 결정을 제공하게 된다.
하나 이상의 실시형태에서, 오브젝트는 사람을 포함하고, 적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정은 다음, 즉
i) 얼굴 검출;
ii) 신체 방위 검출;
iii) 골격 모션 추적(skeletal motion tracking)
중 하나 이상에 기초한다.
하나 이상의 예에서, 장치는, 시각적 이미지에서의 오브젝트의 외관이 모델 및 결정되는 방위에 비교될 수 있도록 오브젝트의 형상의 미리 결정된 모델에 기초한 오브젝트의 방위의 결정을 제공하도록 구성된다.
하나 이상의 실시형태에서, 오브젝트는, 적어도 제1 태그 및 제2 태그를 포함하는 하나보다 더 많은 태그를 구비하되, 제1 및 제2 태그는 오브젝트 상의 상이한 위치에 부착되고, 미리 결정된 태그 위치 정보는, 제1 태그가 부착되는 오브젝트 상의 위치 및 제2 태그가 부착되는 오브젝트 상의 위치를 포함하되, 장치는, 제1 태그 및 제2 태그 중 어떤 것이 로케이터와 실질적으로 대면하는지의 결정을 제공하게 되는 것에 의해 오브젝트의 위치를 파악하는 데 제1 태그로부터의 무선 신호 및 제2 태그로부터의 무선 신호 중 어떤 것이 활용가능(viable)한지의 결정에서 위치 결정 시스템의 제어를 제공하게 된다.
하나 이상의 예에서, 제1 태그 및 제2 태그는 오브젝트의 실질적으로 대향하는 측면에 부착된다.
하나 이상의 실시형태에서, 제1 태그 및 제2 태그는 세 개보다 더 많은 태그를 포함하는 루프의 일부를 형성하되, 루프는 오브젝트 주위에 부착되도록 구성되고, 미리 결정된 태그 위치 정보는, 세 개 이상의 태그의 각각이 부착되는 오브젝트 상의 위치를 포함하고, 장치는, 위치 결정 시스템에 의해 오브젝트를 향하는 방향을 결정함에 있어서 사용하기 위한 활용가능 무선 신호(들)를 제공하는 세 개 이상의 태그 중 적어도 하나의 태그의 결정을 제공하게 된다.
하나 이상의 실시형태에서, 장치는, 오브젝트와 로케이터 사이의 시선이 추가적인 오브젝트에 의해 가려지는지 여부를 결정하게 되되, 시선의 존재는 오브젝트의 위치를 파악하기 위한 무선 신호의 활용가능성을 나타낸다.
하나 이상의 실시형태에서, 추가적인 오브젝트에는, 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 추가적인 태그가 부착되고, 오브젝트와 로케이터 사이의 시선이 추가적인 오브젝트에 의해 가려진다는 것의 결정에 기초하여, 적어도, 오브젝트가 추가적인 오브젝트에 의해 가려지는 시간 동안, 위치 결정 시스템에 의한, 추가적인 태그의 위치를 사용한 오브젝트의 위치의 결정을 제공한다.
하나 이상의 실시형태에서, 카메라 및 로케이터는 병치된다(co-located). 하나 이상의 실시형태에서, 카메라 및 로케이터는 병치되지 않고(non-co-located), 장치는, 카메라에 대한 로케이터의 위치를 제공받되, 장치는 시각적 이미지에 기초한 로케이터의 시점(point of view)으로부터 오브젝트의 방위의 결정을 제공하게 된다.
하나 이상의 예에서, 오브젝트는 사람을 포함한다.
하나 이상의 예에서, 카메라는 가상 현실 콘텐츠 캡쳐 카메라를 포함한다.
하나 이상의 예에서, 위치 결정 시스템은 로케이터에 대한 공간에서의 태그의 위치를 결정하도록 구성된다.
하나 이상의 예에서, 위치 결정 시스템은 공지된 다른 위치에서 하나보다 더 많은 로케이터를 포함하되, 장치는, 오브젝트 방위 정보 및 미리 결정된 태그 위치에 기초하여, 각각의 로케이터에 대한 무선 신호의 활용가능성의 결정을 제공하게 된다.
하나 이상의 실시형태에서, 장치는 오브젝트를 향하는 방향의 결정 이전에 교정 단계(calibration stage)를 제공하게 되되, 교정 단계는, 적어도, 카메라로부터의 시각적 이미지 및 오브젝트에 부착되는 태그의 위치를 식별하는, 카메라에 제공되는, 미리 결정된 제스쳐에 기초하여, 미리 결정된 태그 위치 정보의 생성을 제공하는 것을 포함한다.
하나 이상의 예에서, 교정 단계는, 카메라로부터의 시각적 이미지 및 카메라에 제공되는 미리 결정된 제스쳐에 기초하여, 오브젝트의 식별을 제공하는 것을 더 포함한다. 하나 이상의 다른 예에서, 장치는 시각적 이미지에서 오브젝트의 시각적 식별을 가능하게 하는 정보를 제공받을 수도 있다.
하나 이상의 실시형태에서, 장치는 오브젝트로부터 수신되는 오디오 및 위치 결정 시스템에 의해 결정되는 오브젝트의 위치를 사용하여, 공간적 오디오 믹싱을 제공하게 된다.
또 다른 측면에서, 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그를 사용하여 오브젝트를 향하는 방향을 적어도 결정하기 위한 적어도 하나의 로케이터를 포함하는 위치 결정 시스템 - 태그는 오브젝트에 부착되도록 구성됨 - 및 오브젝트가 존재하는 공간의 이미지를 캡쳐하도록 적응되는 카메라를 포함하는 시스템이 제공되는데, 시스템은 임의의 선행하는 청구항의 장치를 더 포함한다.
또 다른 측면에서, 카메라 및 위치 결정 시스템을 포함하는 가상 현실 콘텐츠 캡쳐 장치가 제공되는데, 위치 결정 시스템은 적어도 하나의 로케이터 및 적어도 하나의 태그를 포함하고, 위치 결정 시스템은 공간에서의 오브젝트의 위치를 결정하도록 구성되고, 태그는 오브젝트에 부착되도록 구성되고 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있고, 위치 결정 시스템은 무선 신호에 기초하여 태그의 위치를 결정하는 것에 의해 오브젝트의 위치를 결정하도록 구성되고, 오브젝트는 공간 주위에서 이동이 자유롭고, 위치 결정 시스템은 제1 예시적인 측면의 장치를 포함한다.
또 다른 측면에서, 방법이 제공되는데, 그 방법은
공간에서의 오브젝트를 향하는 방향의 결정과 관련하여 - 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그가 부착되고, 위치 결정 시스템은 무선 신호에 기초하여 태그를 향하는 방향을 결정하는 것에 의해, 오브젝트의 방향을 결정하도록 구성되고, 오브젝트는 공간 주위에서의 이동이 자유로움 - ,
오브젝트가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해, 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하는 것 - 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타냄 - 을 포함한다.
또 다른 측면에서, 저장된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체가 제공되는데, 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서 상에서 실행될 때, 적어도 다음의 것, 즉
공간에서의 오브젝트를 향하는 방향의 결정과 관련하여 - 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그가 부착되고, 위치 결정 시스템은 무선 신호에 기초하여 태그를 향하는 방향을 결정하는 것에 의해 오브젝트의 방향을 결정하도록 구성되고, 오브젝트는 공간 주위에서의 이동이 자유로움 - ,
오브젝트가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하는 것 - 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타냄 - 을 수행하도록 구성된다.
또 다른 측면에서, 장치가 제공되는데, 장치는,
공간에서의 오브젝트를 향하는 방향의 결정과 관련하여 - 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그가 부착되고, 위치 결정 시스템은 무선 신호에 기초하여 태그를 향하는 방향을 결정하는 것에 의해 오브젝트의 방향을 결정하도록 구성되고, 오브젝트는 공간 주위에서의 이동이 자유로움 - ,
오브젝트가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하기 위한 수단 - 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타냄 - 을 포함한다.
본 개시는, 단독의 또는 다양한 조합의, 하나 이상의 대응하는 측면, 예 또는 피쳐를, 그 조합에서 또는 단독에서(그 조합에서 또는 단독에서 청구되는 것을 포함함) 명시적으로 언급되든 또는 언급되지 않든 간에, 포함한다. 논의되는 기능 중 하나 이상을 수행하기 위한 대응하는 수단 및 대응하는 기능 유닛(예를 들면, 단일 방향의 도달 로케이터)도 또한 본 개시 내에 있다.
개시되는 방법 중 하나 이상을 구현하기 위한 대응하는 컴퓨터 프로그램도 또한 본 개시 내에 있고 설명된 예 중 하나 이상에 의해 포괄된다.
상기 개요는 제한하는 것이 아니라 단지 예시적인 것으로 의도된다.
이제, 첨부의 도면을 참조하여, 단지 예로서, 설명이 주어지는데, 첨부의 도면에서,
도 1은, 예시적인 장치, 위치 결정 시스템의 로케이터, 카메라 및 태그가 부착된 오브젝트를 예시하는데, 오브젝트는 로케이터와 대면한다;
도 2는, 도 1에서 도시되는 그러나 오브젝트가 로케이터로부터 멀어지게 대면하도록 배향되는 오브젝트를 예시한다;
도 3은, 오브젝트의 앞쪽에 부착된 제1 태그를 갖는 오브젝트를 예시한다;
도 4는 오브젝트의 뒤쪽(back)에 부착된 제2 태그를 갖는 오브젝트를 예시한다;
도 5는 오브젝트의 앞쪽이 로케이터와 대면하도록 오브젝트가 배향된 상태에서의 태그의 예시적인 루프를 예시한다;
도 6은 오브젝트의 뒤쪽이 로케이터를 향하도록 오브젝트가 배향된 상태에서의 도 5의 오브젝트를 예시한다;
도 7은 태그를 구비하는 오브젝트 및 추가적인 태그를 구비하는 추가적인 오브젝트를 예시한다;
도 8은, 오브젝트를 로케이터 및 카메라로부터 가리는 도 7의 추가적인 오브젝트를 예시한다;
도 9는, 본 개시의 예시적인 방법에 따른 플로우차트를 예시한다; 그리고
도 10은 프로그램을 제공하는 컴퓨터 판독 가능 매체를 개략적으로 예시한다.
위치 결정 시스템은, 하나 이상의 로케이터에 의해 취해지는 측정치를 사용하여 오브젝트의 위치를 결정할 수도 있다. 예시적인 위치 결정 시스템에서, 하나 이상의 로케이터는 공간 내의 다른 지리적 위치에 배치된다. 공간 내의 오브젝트를 향하는 방향 및/또는 오브젝트 위치를 식별하기 위해, 오브젝트는, 로케이터에 의해 수신될 수 있는 무선 신호를 방출할 수 있는 태그와 관련될 수도 있다. 수신된 신호의 속성의 측정은, 예컨대 도달 방향 또는 삼각 측량의 방법에 의해 사용되어, 로케이터에 대한 공간에서의 태그의 위치를 파악할 수도 있다. 위치 결정 시스템은 오브젝트를 향하는 방향을 결정할 수도 있고 및/또는 공간에서 오브젝트의 위치를 결정할 수도 있다. 위치 결정 시스템이 로케이터의 배치에 대한 태그의 위치를 결정하기 위해서는, 로케이터의 상대적 위치가 교정될 필요가 있을 수도 있다.
하나 이상의 예에서, 태그로부터의 리턴 신호가 위치 결정 시스템에서 사용될 수도 있다. 예를 들면, 로케이터는 브로드캐스트 신호를 방출할 수도 있고, 신호를 수신하는 태그는, 그 태그에 대한 방향이 결정될 수 있는 신호로 응답할 수도 있다. 태그는, 리턴 신호를 전송하기 위해 브로드캐스트 신호의 에너지를 사용한다는 점에서, 수동적일 수도 있다. 다른 예에서, 태그는 리턴 신호를 방출함에 있어서 사용하기 위한 자기 자신의 전원을 포함할 수도 있는데, 태그는 그것을 로케이터-브로드캐스트 신호와는 적어도 독립적으로 그렇게 할 수도 있다. 리턴 신호는, 상이한 로케이터로부터 취해지는 측정치가, 동일한 오브젝트의 전체 위치 결정에서 대조되고 사용되는 것을 가능하게 하는 태그의 고유의 식별자를 포함할 수도 있다. 이러한 리턴 신호 기반의 시스템의 한 예는, 무선 주파수 식별(Radio Frequency Identification; RFID) 태그 기반의 시스템을 포함한다.
위치 결정 시스템은, 복수의 도달 방향(Direction of Arrival; DoA) 로케이터를 포함할 수도 있고, 각도 측정치는 복수의 DoA 로케이터의 위치에 의해 정의되는 로컬 좌표 공간 내에서의 태그의 위치를 식별하기 위해 사용될 수도 있다. 전역적 좌표 공간에서의 위치 결정 시스템의 위치가 알려지면, (예컨대, 경도, 위도 및 고도의 관점에서) 태그의 지리적 위치가 결정될 수도 있다.
가상 현실(virtual reality; VR) 콘텐츠로서 제시하기 위한 공간을 캡쳐할 때, 공간에서 나타나는 오브젝트를 추적하는 것이 바람직할 수도 있다. 위치 결정 시스템은, 가상 또는 증강 현실 콘텐츠를 캡쳐할 때, 공간 내에서 마이크의 위치 및/또는 마이크를 향하는 방향을 식별하기 위해 사용될 수도 있다. 오브젝트를 향하는 방향은, 카메라의 시점으로부터의 방향, 즉 VR 시각적 이미지의 시점으로부터 오브젝트를 향하는 방향일 수도 있다. 예를 들면, 가상 현실 콘텐츠는, 오디오가 VR 콘텐츠의 시각적 이미지 내의 관련된 위치에 대응하는 방향으로부터 발생하는 것으로 인식되도록, VR 콘텐츠의 소비자에게 제시되는 공간 오디오를 포함할 수도 있다. 따라서, 여배우의 음성은, 그녀의 대사를 말하는 그 여배우의 이미지가 디스플레이되는 방향과 동일한 방향으로부터 나오는 것으로 제시될 수도 있다. 이러한 공간 오디오를 제공하는 것은, 가상 현실 콘텐츠 캡쳐 동안, 오브젝트, 여배우, 배우, 악기, 등등, 또는 그들의 개인 마이크의 위치가 추적되는 것을 필요로 할 수도 있다. 따라서, 마이크의 위치/방향은, 유저에 대한 콘텐츠의 제시에서 사용하기 위한 공간 또는 3d 오디오 효과를 렌더링하기 위해, 또는 가상 현실 콘텐츠 캡쳐 디바이스(예컨대 Nokia Technologies Oy(노키아 테크놀로지 오와이)에 의한 Nokia OZO)의 카메라에 의해 캡쳐되는 시각적 이미지에서 오디오의 소스를 식별하기 위해 사용될 수도 있다. 본원에서 설명되는 위치 결정 시스템은, 특히, 가상 현실 콘텐츠의 캡쳐 동안 장면에서 오브젝트, 예컨대 마이크의 위치를 파악하기 위한 가상 현실 콘텐츠 위치 결정 시스템일 수도 있다. 따라서, 위치 결정 시스템은 마이크 위치 결정 시스템을 포함할 수도 있다. 위치 결정 시스템은, 오디오 소스 위치 결정, 실내 위치 결정 및 일반적인 위치 결정과 같은 가상 현실 콘텐츠 캡쳐의 분야 이외의 더욱 일반적인 용도를 갖는다는 것이 인식될 것이다.
도 1은 공간 내에 존재하는 사람을 포함하는 오브젝트(100)를 도시한다. 사람(100)은 가상 현실 콘텐츠 캡쳐 디바이스(101)(더 일반적으로 카메라)에 의해 캡쳐되고 있다. 공간 내의 사람(100)을 향하는 방향 및/또는 그 사람(100)의 위치는 로케이터(102)에 의해 (부분적으로) 결정된다. 로케이터(102)는, 이 예에서, VR 콘텐츠 캡쳐 디바이스(101)와 우연히 동일한 위치에 있게 된다. 사람(100)은, 사람(100)을 향하는 방향을 결정하기 위해 로케이터(102)에 의해 수신될 수 있는 무선 신호를 방출하도록 구성되는 위치 결정 태그(103)를 부착한다. 태그(103)는 통상적으로 VR 콘텐츠 캡쳐 디바이스(101)에게는 보이지 않으며 이해를 위해 본원의 도면에서 개략적으로 도시된다. 로케이터(102)는 무선 신호를 수신하기 위한 안테나 및 관련 회로부(circuitry)를 포함할 수도 있다. 하나 이상의 예에서, 로케이터(102)는, 실제로는, 로케이터의 안테나를 포함할 수도 있고, 회로부는 다른 곳에 배치될 수도 있다. 로케이터(102)는, 이 예에서, VR 콘텐츠 캡쳐 디바이스(101)에 대한 오브젝트(100)를 향하는 방향을 결정하기 위한 위치 결정 시스템(104)의 일부를 형성한다. 위치 결정 시스템(104)은 하나 이상의 로케이터(102)로부터 데이터를 수신하도록 그리고 오브젝트(100)를 향하는 방향 및/또는 오브젝트(100)에 대한 위치를 결정하도록 그리고 옵션 사항으로(optionally) VR 콘텐츠 캡쳐 디바이스(101)에 의해 캡쳐되는 VR 콘텐츠를 갖는 기록용 또는 전방 송신(onward transmission)용 데이터를 제공하도록 구성된다. 데이터는 공간 오디오 또는 오브젝트 추적을 위해 사용될 수도 있다.
오브젝트(100)를 향하는 방향을 결정하기 위한 태그(103)로부터의 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템(104)의 제어를 제공하는 장치(105)가 도시되어 있다.
장치(105)는, 예컨대 무선 통신(예를 들면, 와이파이 또는 Bluetooth®에 의해, 로케이터(102)와 또는 그 각각과 통신한다. 이 예에서, 로케이터는 센서로서 작용하고, 태그(103)의 방향 결정을 위한 그리로 옵션 사항으로 태그(103)의 위치 결정을 위한 프로세싱은 위치 결정 시스템(104)에 의해 수행된다. 장치(105)는 위치 결정 시스템(104)과는 별개로 도시되어 있고, 그와 통신하지만, 그러나 하나 이상의 예에서, 장치(105)는 위치 결정 시스템과 통합될 수도 있다. 또한, 위치 결정 시스템(104) 그 자체는 분산될 수도 있고 및/또는 하나 이상의 로케이터(102) 또는 VR 콘텐츠 캡쳐 디바이스(101)와 통합될 수도 있다.
장치(105)는 메모리(106), 프로세서(107), 입력부(108) 및 출력부(109)를 포함한다. 이 실시형태에서, 단지 하나의 프로세서 및 하나의 메모리가 도시되지만, 그러나 다른 실시형태는 둘보다 더 많은 프로세서 및/또는 하나보다 더 많은 메모리(예를 들면 동일한 또는 상이한 프로세서/메모리 타입)를 활용할 수도 있다는 것이 인식될 것이다.
이 실시형태에서, 장치(105)는 위치 결정 시스템을 위한 주문형 반도체(Application Specific Integrated Circuit; ASIC)이다. 다른 실시형태에서, 장치(105)는 그러한 디바이스를 위한 모듈일 수 있거나, 또는 디바이스 그 자체일 수도 있는데, 프로세서(107)는 디바이스의 범용 CPU이고 메모리(106)는 디바이스에 포함되는 범용 메모리이다.
입력부(108)는, 추가적인 컴포넌트, 예컨대 로케이터(102), 위치 결정 시스템(104), VR 콘텐츠 캡쳐 디바이스(101), 카메라로부터의 시각적 이미지를 프로세싱하기 위한 시각적 분석 장치(도시되지 않음) 또는 그에 관련되는 장치로부터 장치(105)로의 시그널링의 수신을 허용한다. 출력부(109)는, 장치(105) 내에서부터 추가적인 컴포넌트 예컨대 위치 결정 시스템(104) 또는 제2 위치 결정 시스템(도시되지 않음)으로의 시그널링의 전방 제공을 허용한다. 이 실시형태에서, 입력부(108) 및 출력부(109)는 추가적인 컴포넌트에 대한 장치(105)의 연결을 허용하는 연결 버스의 일부이다.
프로세서(107)는, 메모리(106) 상에 컴퓨터 프로그램 코드의 형태로 저장되는 명령어에 따라, 입력부(108)를 통해 수신되는 정보를 실행/프로세싱하는 것에 전용되는 범용 프로세서이다. 이러한 동작에 의해 프로세서(107)로부터 생성되는 출력 시그널링은 출력부(109)를 통해 추가적인 컴포넌트로 전방으로 제공된다.
메모리(106)(반드시 단일의 메모리 유닛일 필요는 없음)는, 컴퓨터 프로그램 코드를 저장하는 컴퓨터 판독 가능 매체(이 예에서는 솔리드 스테이트 메모리, 그러나 하드 드라이브, ROM, RAM, 플래시 또는 등등과 같은 다른 타입의 메모리일 수도 있음)이다. 이 컴퓨터 프로그램 코드는, 프로그램 코드가 프로세서(107) 상에서 실행될 때, 프로세서(107)에 의해 활용가능한 명령어를 저장한다. 메모리(106)와 프로세서(107) 사이의 내부 연결은, 하나 이상의 예시적인 실시형태에서, 프로세서(107)가 메모리(106)에 상에 저장되는 컴퓨터 프로그램 코드에 액세스하는 것을 허용하도록 프로세서(107)와 메모리(106) 사이에서 능동적 커플링을 제공하는 것으로 이해될 수 있다.
이 예에서, 입력부(108), 출력부(109), 프로세서(107) 및 메모리(106)는 모두 내부적으로 서로 전기적으로 연결되어 각각의 컴포넌트 사이의 전기적 통신을 허용한다. 이 예에서, 컴포넌트는 모두 ASIC으로 함께 형성되도록, 즉 전자 디바이스에 설치될 수 있는 단일의 칩/회로로서 함께 통합되도록 서로 인접하여 위치된다. 다른 예에서, 컴포넌트 중 하나 이상 또는 모두는 서로 분리되어 위치될 수도 있다.
장치(105)는, 태그(103)가 로케이터(102)와 실질적으로 대면하는 것에 의해 적어도 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 활용가능성의 결정에서 위치 결정 시스템(104)의 제어를 제공하도록 적어도 오브젝트(100)가 배향되어 있는지 여부를 결정하도록 구성되는데, 태그(103)가 로케이터(102)와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타낸다. 태그(103)는, 태그가 부착되는 오브젝트로부터 멀어지게 대면하는 태그의 면이 로케이터(102)와 실질적으로 대면하는 경우, 로케이터와 대면한다는 것이 인식될 것이다. 로케이터의 감도, 태그의 송신기의 방향성 및 무선 신호 강도는 모두 로케이터에 의해 수신되는 신호의 활용가능성에 영향을 줄 수도 있다는 것이 인식될 것이다. 따라서, 활용가능한 무선 신호를 제공하기 위해, 하나의 타입의 태그는 로케이터와 실질적으로 직접 대면하도록 요구받을 수도 있고 한편, 다른 태그는 활용가능한 신호를 제공하기 위해 오브젝트가 로케이터와 동일한 측 상에 있다는 관점에서 로케이터와 대면해야 할 수도 있다(예를 들면, 오브젝트 자체에 의해 차단되지는 않음)는 것이 결정될 수도 있다. 따라서, 장치는, 미리 결정된 임계치, 예컨대 로케이터와 직접적으로 대면하는 각도 임계치 내에서 태그(103)가 로케이터(102)와 직접 대면하도록 오브젝트가 배향되어 있는지 여부를 결정하도록 구성될 수도 있다.
장치(105)는, 오브젝트(100)가 존재하는 공간의 시각적 이미지를 캡쳐하는 VR 콘텐츠 캡쳐 디바이스(101)에 의해 보았을 때 오브젝트(100)의 방위를 포함하는 오브젝트 방위 정보에 대한 상기 결정에 기초하도록 구성될 수도 있다. 하나 이상의 예에서, VR 콘텐츠를 캡쳐하는 카메라에 대해 별개의 카메라가 사용될 수도 있다. 또한, 결정은, 태그(103)가 부착되는 오브젝트(100) 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초한다. 따라서, 장치(105)는, 오브젝트의 이미지 또는 모델 및 태그가 위치되는 곳의 지정(designation)을 포함하는 태그 위치 정보를 제공받을 수도 있다. 하나 이상의 예에서, 태그 위치 정보는, 오브젝트가 사람으로서 식별되고 태그의 위치가 그 사람의 앞쪽, 뒤쪽, 등등에 부착되어 있는 것으로 식별되도록 하는 그러한 것일 수도 있다. 태그 위치 정보는 그 사람에게 특정할 수도 있거나 또는 사람을 포함하는 임의의 오브젝트에 대해 일반적일 수도 있다. 태그 위치 정보는 많은 상이한 형태를 취할 수 있지만, 그러나 그것은 오브젝트 상에서 태그가 부착되는 곳의 결정을 제공해야 한다는 것이 인식될 것이다. 하나 이상의 예에서, 장치(105)/위치 결정 시스템(104)의 유저는, 사람으로 식별되는 임의의 오브젝트가 그들의 앞쪽에 태그를 가질 것이다는 것을 명시할 수도 있을 수도 있다. 대안적으로, 특정한 오브젝트 상에서 태그가 위치되는 곳을 명시하기 위해, 얼굴 인식 또는 태그에 대한 고유 식별자가 사용될 수도 있다. 예를 들면, 고유 식별자 "12345"를 갖는 태그가 위치 결정 시스템(예를 들면, 얼굴 인식 파라미터가 있음)에게 식별되는 사람 또는 특정한 사람의 앞쪽에 위치되고, 고유 식별자 "54321"을 갖는 태그가 그들의 뒤쪽에 있다. 하나 이상의 예에서, 태그 위치 정보를 생성하기 위해 교정 프로시져가 수행되는데, 이것은 이하에서 더 상세하게 설명될 것이다.
장치(105)는, 오브젝트가 시각적으로 식별될 수 있고 태그 위치 정보가 결정될 수 있는 교정 모드를 가질 수도 있다. 하나 이상의 예에서, 교정 모드에 진입하기 위해, 카메라(101)에게 보이게 이루어지는 제스쳐가 사용되지만, 상기 교정 모드로 진입하기 위해 임의의 다른 유저 입력이 사용될 수도 있다. 카메라(101)가 볼 수 있는 공간에 있는 각각의 사람은, 태그가 위치되는 그들의 몸의 위치를 가리킬 수도 있다. 포인팅 제스쳐는 장치(105) 또는 장치(105)와 통신하는 시각적 분석 장치(도시되지 않음)에 의해 인식될 수도 있다. 따라서, 이것은 위치 결정 시스템(104) 및/또는 장치(105)가, 태그로부터 수신되는 무선 신호를, 사람이 가리키는 위치에 상관시키는 것을 가능하게 한다. 장치는 또한, 얼굴 인식, 자세(posture), 보행 분석 또는 임의의 다른 방식으로부터 사람을 식별하기 위한 세부 사항을 캡쳐할 수도 있다. 따라서, 태그의 무선 신호의 고유 식별자, 태그를 착용하고 있는 오브젝트의 신원 및 태그가 사람에게 위치되는 곳 사이의 링크가 확립될 수도 있다. 다른 오브젝트 또는 다른 사람들을 가리키기 위해 태그의 위치를 나타내기 위한 포인팅 제스쳐가 사용될 수 있다. 예를 들면, 사람이 그들의 뒤쪽에 태그를 가리키는 것은 어려울 수도 있다. 따라서, 상이한 사람이 다른 사람의 태그에 대해 포인팅 제스쳐를 수행할 수도 있다. 사람의 일반적인 형태가, 그 사람에게 고유한 모델 없이 시각적 이미지로부터 방위가 확립될 수 있도록 장치에게 알려질 수도 있지만, 사람 및/또는 오브젝트에 대한 하나 이상의 예에서, 오브젝트를 카메라(101)에게 제시하는 것이 필요할 수도 있다. 따라서, 미지의 형태를 갖는 오브젝트의 경우, 장치는 복수의 상이한 시야각으로부터 오브젝트의 형상 또는 그 외관의 특성 묘사를 제공할 수도 있다. 이것은, 장치(105)가 오브젝트의 방위의 후속하는 결정을 제공하기 위한 오브젝트의 형태를 인식할 수 있도록, 카메라(101)에게 오브젝트를 제시하고 오브젝트를 회전시키는 것에 의해 달성될 수도 있다.
도 1은 자신의 얼굴이 카메라(101)에게 보이도록 카메라와 대면하는 사람(100)을 도시한다. 도 2는 카메라로부터 멀어지게 대면하는 상이한 시간에서의 동일한 사람(100)을 도시하며 따라서 그들의 얼굴은 카메라(101)에게 보이지 않는다. 도 2에서, 태그(103)는, 그것이 사람의 앞쪽에 장착되고 따라서 사람(100)의 신체가 태그와 로케이터(102) 사이에 있다는 것을 나타내기 위해 점선으로 도시된다. 장치(105) 및 위치 결정 시스템(104)은 간결성을 위해 모든 도면이 아니라 도 1과 관련해서만 도시된다는 것이 인식될 것이다. 도 1에서, 태그(103)로부터의 무선 신호는 강한 무선 신호를 로케이터(102)에 제공할 수도 있는데, 그들 사이에서 차단된 시선이 없기 때문이다.
따라서, 위치 결정 로케이터(102)는 활용가능한 무선 신호를 수신할 수도 있고, 위치 결정 시스템(104)은 수용 가능한 정도의 정확도로 오브젝트(100)를 향하는 방향을 결정할 수도 있다. 도 2에서, 사람(100)의 신체는 무선 신호를 감쇠시킬 수도 있거나 또는 로케이터(102)가 무선 신호를 그 반사와 구별하는 것을 어렵게 만들 수도 있는데, 이것은 위치 결정 시스템(104)에 의해 오브젝트/사람(100)을 향하는 방향의 결정에 에러가 발생하기 쉽게 만들 수도 있다.
장치(105)는, 적어도 태그(103)가 로케이터(102)와 실질적으로 대면하도록 오브젝트(100)가 배향되어 있는지 여부의 결정을 제공하기 위해 카메라(101)로부터 획득되는 정보의 사용을 제공할 수도 있다. 하나 이상의 예에서, 오브젝트의 방위를 결정하기 위한 시각적 이미지의 분석은, 방위 정보를 장치(105)에 보고할 수도 있는 시각적 분석 장치(도시되지 않음)에 의해 수행될 수도 있거나 또는 장치(105)가 분석을 수행할 수도 있다. 따라서, 장치(105)는, 태그 위치 정보와의 비교를 통해 카메라(101)의 이미지로부터 결정될 오브젝트(100)의 방위를 제공할 수도 있다. 그 다음, 장치(105)는 미리 결정된 정확도 내에서 오브젝트(100)에 대한 방향을 정확하게 결정하기 위한 무선 신호의 활용가능성을 추론할 수도 있다. 이 예에서, 장치(105)는 무선 신호의 결정된 활용가능성(likely viability)에 기초하여 위치 결정 시스템(104)의 제어를 제공하도록 구성된다. 활용가능성(또는 활용가능성)은 태그(103)가 로케이터(102)와 실질적으로 대면하는지 여부에 기초하여 추론될 수도 있다.
도 1 및 도 2의 예에서, 장치(104)는, 얼굴 인식 기술을 사용하여, 적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하도록 구성된다. 도 1에서, 사람(100)의 얼굴 주위에 상자(111)가 배치되어, 시각적 이미지의 이 영역이 얼굴로서 식별되었다는 것을 나타낸다는 것을 알 수 있다. 따라서, 장치(104)는 적어도 얼굴 인식에 의해 결정되는 오브젝트 방위 정보를 사용할 수도 있다. 따라서, 장치(104) 또는 이것과 통신하는 장치는, 카메라(101)로부터 시각적 이미지를 수신할 수도 있고 이미지에서 사람의 얼굴의 존재를 식별할 수도 있다. 얼굴이 검출되면, 도 1에서 도시되는 바와 같이, 오브젝트 방위는, "카메라(101)와 대면하고 있는" 것으로 결정될 수도 있다. 태그(103)가 사람(100)의 앞쪽에 부착되어 있다는 것을 태그 위치 정보가 나타내면, 장치(105)는, 태그(103)가 로케이터(102)의 시계(sight) 내에 있다는(즉, 로케이터와 실질적으로 대면하고 있다는) 것 및 태그(103)로부터 로케이터(102)에 의해 수신되는 무선 신호가 오브젝트(100)를 향하는 방향의 결정에 대해 활용가능하다는 것을 결정할 수도 있다. 도 2를 참조하면, 얼굴이 검출되지 않으면, 오브젝트 방위는, 도 2에서 도시되는 바와 같이 "카메라(101)로부터 멀어지게 대면하고 있는" 것으로 결정될 수도 있다. 태그(103)가 사람(100)의 앞쪽에 부착되어 있다는 것을 태그 위치 정보가 나타내면, 장치(105)는, 태그(103)가 로케이터(102)의 시계 내에 있지 않다는(즉, 로케이터와 실질적으로 대면하지 않는다는) 것 및 태그(103)로부터 로케이터(102)에 의해 수신되는 무선 신호의 활용가능성이 의심스러울 수도 있다는 것을 결정할 수도 있다. 따라서, 오브젝트(100)가 도 2에서와 같이 배향될 때 무선 신호를 사용한다면, 위치 결정 시스템(104)은 부정확한 결과를 생성할 수도 있다는 것이 추론될 수도 있다. 따라서, 장치(105)는 방향을 결정하지 않도록 위치 결정 시스템을 제어할 수도 있고 및/또는 오브젝트(100)를 향한 방향을 결정하기 위한 다른 수단의 사용을 제공할 수도 있다. 예를 들면, 적어도, 무선 신호가 활용가능하다는 것을 장치(105)가 결정할 때까지, 카메라(101) 이미지로부터 시각적 추적을 사용하는 상이한 위치 결정 시스템(도시되지 않음)이 위치를 결정하기 위해 사용될 수도 있다.
따라서, 무선 신호의 활용가능성이 의심스러울 수도 있는 경우 취할 가능한 액션은 다음의 것, 즉
(a) 상이한 로케이터(도시되지 않음)에 의해 수신되는 무선 신호를 사용함;
(b) 더 많은 수의 로케이터(도시되지 않음)에 의해 수신되는 무선 신호를 사용함;
(c) 시각적 추적과 같은, 상이한 방향 및/또는 위치 결정 기술을 사용함;
(d) 무선 신호가 활용가능한 것으로 간주될 때 사용되는 것에 비해 방향 결정의 정확도를 향상시키기 위해, 로케이터(102)에 의해 수신되는 무선 신호의 향상된 프로세싱 기술을 사용함
중 하나 이상일 수도 있다.
따라서, 위치 결정 시스템은, 무선 신호가 활용가능한 것으로 결정되는 경우 제1 샘플링 레이트 및/또는 프로세싱 레이트를, 그리고 무선 신호의 활용가능성이 의심스러운 것으로 결정되는 경우 제2의 더 높은 샘플링 레이트 및/또는 프로세싱 레이트를 사용할 수도 있다. 이것은 수용 가능한 레벨의 정확도가 유지되는 것을 가능하게 할 수도 있다.
하나 이상의 예에서, 태그 위치 정보는, 태그가 부착된 사람의 측(즉, 앞쪽, 뒤쪽, 좌측, 우측)을 지정할 수도 있다. 위치 결정 시스템은 태그(103)로부터 무선 신호를 수신할 수도 있다. 그 다음, 위치 결정 시스템은, 명확화를 위해 "가능한 방향"으로 지칭되는, 오브젝트(100)를 향한 방향인 것으로 보이는 것을 결정할 수도 있다. 그 다음, 장치(105) 또는 카메라(101)로부터의 이미지의 시각적 분석을 수행하는 장치는, 가능한 방향을 사용하여 (예를 들면, 시각적 이미지의 전체 면적 미만인) 시각적 이미지의 일부를 분석할 수도 있다. 시각적 분석이 "가능한 방향" 주위의 시각적 이미지의 일부에서 사람을 식별하고, 태그(103)가 로케이터(101)의 시계 내에 있다는 것을 오브젝트의 방위 및 태그 위치 정보가 나타내면, "가능한 방향"은 오브젝트를 향하는 방향으로서 확인될 수도 있다. 그 다음, 이 방향은, 오브젝트 추적, 공간 오디오 렌더링 또는 다른 목적을 위해 사용될 수도 있다. 한편, 태그(103)가 로케이터(101)의 시계 내에 있지 않다는 것을 오브젝트의 방위 및 태그 위치 정보가 나타내면, 가능한 방향을 결정하기 위해 사용되는 무선 신호는 활용가능하지 않은 것으로 결정될 수도 있고, 가능한 방향은 오브젝트(100)를 향한 방향으로서 무시될 수도 있다.
하나 이상의 예에서, 태그 위치 정보는, 태그가 부착된 사람의 측(즉, 앞쪽, 뒤쪽, 좌측, 우측)뿐만 아니라 오브젝트의 시각적 식별을 가능하게 하기 위한 정보를 지정할 수도 있다. 위치 결정 시스템(104)은, 태그의 고유 식별자를 포함할 수도 있는 무선 신호를 태그(103)로부터 수신할 수도 있다. 고유 식별자는, 장치(105)가 그 태그(103)가 관련되는 오브젝트(100)를 (그 자체로 또는 다른 장치를 통해) 시각적으로 결정하는 것을 가능하게 할 수도 있다. 위치 결정 시스템(104)은, 명확화를 위해 "가능한 방향"으로 지칭되는, 오브젝트(100)를 향하는 방향인 것으로 보이는 것을 결정할 수도 있다. 오브젝트의 외관이 알려져 있다면, 카메라(101)로부터의 이미지의 시각적 분석을 수행하는 장치 또는 장치(105)는, 그 이미지에서 오브젝트(100)를 식별할 수도 있고 오브젝트의 방위를 결정할 수도 있다(가능한 방향은 시각적 이미지의 일부를 분석하기 위해 사용될 수도 있거나 또는 사용되지 않을 수도 있다). 따라서, 무선 신호의 활용가능성이 추론될 수도 있고, 따라서, 가능한 방향이 오브젝트를 향하는 방향으로서 확인될 수도 있거나 또는 무시될 수도 있다. 이 예에서, 오브젝트의 외관이 알려져 있다면, 오브젝트를 향하는 방향은 시각적 분석으로부터 결정될 수도 있다. 따라서, 오브젝트(100)의 방위가, 무선 신호의 활용가능성이 의심스럽지만, 그러나 오브젝트가 시각적 분석에 의해 또한 식별되도록 하는 그러한 것이라면, 오브젝트(100)를 향하는 방향을 결정하기 위해, 위치 결정 시스템(104)에 의해 무선 신호로부터 결정되는 방향과 시각적 분석으로부터 결정되는 방향의 조합이 결합될 수도 있다. 하나 이상의 예에서, 시각적으로 결정된 방향만이 오브젝트(100)를 향하는 방향인 것으로 결정될 수도 있다. 무선 신호가 활용가능한 것으로 결정되면, 오브젝트를 향하는 방향을 결정하기 위해 무선 신호만이 사용될 수도 있다(즉, 시각적으로 결정된 방향을 사용하지 않음).
본원의 예에서, 로케이터(102) 및 카메라(101)는 병치되지만, 그러나 하나 이상의 다른 예에서는, 그들은 병치되지 않을 수도 있다. 카메라에 대한 로케이터(102)의 위치를 알고 있으면, 비디오 이미지의 시각적 분석은 로케이터에 대한 오브젝트의 방위를 고려하도록 수행될 수 있다.
하나 이상의 예에서, 상기에서 설명되는 바와 같이, 태그가 로케이터(102)와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정은, 시각적 이미지의 얼굴 인식을 사용하여 수행된다. 하나 이상의 예에서, 태그가 로케이터(102)와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정은, 신체 자세 분석에 의해 수행될 수도 있다. 따라서, 오브젝트의 방위는, 사람을 포함하는 경우, 얼굴 인식 외에 또는 얼굴 인식과는 독립적으로, 시각적 이미지에서의 사람(100)의 자세의 분석에 의해 수행될 수도 있다. 신체 자세 분석의 사용은 유리할 수도 있다. 예를 들면, (태그(103)를 그들의 가슴에 부착한 상태로) 신체가 로케이터(102)와 대면하고 있는, 그러나 그들의 머리를 옆으로 돌린 사람은, 얼굴 인식 기술만을 사용하는 경우 로케이터(102)와 대면하는 것으로 인식될 수 없을 수도 있고 따라서 무선 신호의 활용가능성은 위치 결정에 대해 활용가능하지 않은 것으로 간주될 수도 있다. 그러나, 반대로, 실제로는, 태그(103)는 로케이터(102)와 대면할 것이며, 신호는 위치 결정을 위해 활용가능할 수도 있다. 신체 자세를 고려하는 경우, 태그(103)가 위치되는 신체의 부분은 무선 신호 활용가능성의 결정을 위해 고려될 수도 있다.
따라서, 장치(105)는, 다음의 것 즉,
그 오브젝트가 사람이면,
i) 얼굴 검출;
ii) 자세 검출;
iii) 전신 방위 검출;
및 일반적인 오브젝트의 경우;
iv) 태그가 위치되는 오브젝트에 관련이 있는 미리 결정된 오브젝트 형태 정보에 기초함
중 하나 이상에 기초하여, 적어도 태그가 로케이터(102)와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하게 될 수도 있다.
오브젝트 형태 정보는, 오브젝트의 상이한 관찰 방향 또는 3 차원 모델로부터의 오브젝트의 이미지 또는 그것을 데이터를 포함할 수도 있다.
도 3 및 도 4는 두 개의 위치 결정 태그(301, 302)가 부착된 사람(100)을 도시한다. 제1 태그(301)는 그들의 앞쪽(그들의 가슴)에 부착되고, 제2 태그(302)는 그들의 등에 부착된다. 로케이터(102)는 제1 태그(301)로부터 수신되는 무선 신호와 제2 태그(302)로부터 수신되는 무선 신호 사이를 구별하도록 구성될 수도 있다. 예를 들면, 신호의 형태는 상이할 수도 있거나 또는 무선 신호는 고유 식별자를 포함할 수도 있다. 이 예에서, 각각의 태그(301, 302)는, 무선 신호로 인코딩되는 고유 식별자를 포함한다.
이전의 예에서와 같이, 상기 오브젝트 방위 정보는, 로케이터(102)와 대면하는 사람의 "측"(또는 카메라에 대한 로케이터의 위치에 관한 정보에 기초하여 로케이터에 대한 오브젝트의 방위가 결정될 수 있게 하는 카메라에 대한 방위)을 제공할 수도 있다. 미리 결정된 태그 위치 정보는, 제1 태그(301)가 사람의 앞쪽 측에 부착되어 있고 제2 태그(302)가 사람(100)의 뒤쪽에 부착되어 있다는 것을 나타낼 수도 있다. 따라서, 장치(104)는, 적어도, 제1 태그(301)가 로케이터(102)와 실질적으로 대면하도록 오브젝트(100)가 배향되어 있는지 여부 및 제2 태그(302)가 로케이터(102)와 실질적으로 대면하는지 여부의 결정을 제공하게 될 수도 있다. 장치는, 오브젝트(100)에 대한 방향을 결정하기 위한 더욱 활용가능한 무선 신호를 어떤 태그가 제공할 수도 있는지의 선택, 즉 제1 태그(301)가 제공할 수도 있는지 또는 제2 태그(302)가 제공할 수도 있는지의 선택을 제공할 수도 있다. 도 3에서, 제1 태그(301)가 무선 신호의 활용가능성을 나타내면서 로케이터(102)와 실질적으로 대면하고, 한편 제2 태그(302)는 가려진다. 도 4에서, 제2 태그(302)는 자신의 무선 신호의 활용가능성을 나타내면서 로케이터(102)와 실질적으로 대면하고, 한편 제1 태그(301)는 가려진다. 따라서, 이 예에서, 장치(105)는, 제1 태그(301) 및 제2 태그(302) 중 어떤 것이 로케이터(102)와 실질적으로 대면하는지의 결정을 제공하는 것에 의해, 오브젝트(100)의 위치를 파악하는 데 제1 태그로부터의 무선 신호 및 제2 태그로부터의 무선 신호 중 어떤 것이 더욱 활용가능할 수 있는지의 결정에서 위치 결정 시스템(104)의 제어를 제공하게 된다. 따라서, 도 3에 도시되는 바와 같은 사람(100)의 방위에서, 장치(105)는 제1 태그(301)를 선택할 수도 있고, 도 4에서 도시되는 바와 같은 사람(100)의 방위에서, 장치(105)는 제2 태그(302)를 선택할 수도 있다. 위치 결정 시스템(104)은, 사람(100)을 향하는 방향의 결정에서, 선택된 태그로부터 수신되는 무선 신호를 다른 쪽보다 우선적으로 사용하도록 제어될 수도 있다.
도 5 및 도 6은 두 개의 상이한 방위에 있는 사람(100)을 도시하는데, 도 5는 카메라(101) 및 로케이터(102)와 대면하는 사람을 도시하고, 도 6은 카메라(101) 및 로케이터(102)로부터 멀어지게 대면하는 사람을 도시한다. 하나 이상의 예에서, 도 3 및 도 4에 도시되는 것과 유사하게, 오브젝트(100)에는, 로케이터(102)에 의한 수신을 위한 무선 신호를 각각 방출할 수 있는 복수의 태그가 부착될 수도 있다. 도 5 및 도 6은 위치 결정 태그의 벨트(500)를 착용하고 있는 사람(100)을 도시하는데, 도 5에서는 제1 내지 제5 태그(501-505)가 보이고, 도 6에서는 제6 내지 제10 태그(506-510)가 보인다.
이 예에서, 장치(105)는, 사람(100)의 신체의 방위, 더욱 일반적으로는, 오브젝트의 방위의 결정을 제공하게 될 수도 있다. 사람(100)에 대한 각각의 태그(501-510)의 위치를 포함하는 태그 위치 정보를 사용하여, 장치는, 복수의 태그 중 어떤 단일의 태그 또는 태그의 서브세트가 위치 결정 시스템(104)에 의한 방향 결정에 가장 활용가능한 무선 신호를 (잠재적으로) 제공하는지를 결정할 수도 있다. 그 다음, 장치(105)는 위치 결정 시스템(104)을 제어하여, 오브젝트(100)에 부착되는 나머지 태그보다는, 활용가능한 것으로 또는 가장 활용가능한 것으로 간주되는 태그로부터의 무선 신호를 우선적으로 사용할 수도 있다.
상기의 예에서, 로케이터(102)와 대면하는 태그는, 로케이터(102)에 도달하는 데 최소의 방해물(또는 다른 것보다 더 적은 방해물)을 갖는 것으로 보이는 자신의 무선 신호 덕분에 활용가능한 무선 신호를 제공하는 것으로 간주될 수도 있다는 것이 인식될 것이다. 상기의 실시형태에서, 특히 그러나 비배타적으로, 단일의 태그가 사용되는 또는 오브젝트 주위에 성기게(sparsely) 분산되는 복수의 태그가 사용되는 실시형태에서, 특정한 태그가 다음, 즉
(a) 로케이터(102)에게 보임;
(b) 오브젝트(100)에 의해 차단되지 않음;
(c) 오브젝트의 회전의 임계 각도 내에서 로케이터와 직접적으로 대면함;
(d) 로케이터(102)와 직접적으로 대면함; 그리고
(e) 추가적인 오브젝트에 의해 차단되지 않음
중 하나 이상이도록 오브젝트가 배향되는 경우 특정한 태그는 로케이터와 대면하는 것으로 간주될 수도 있다.
도 7과 도 8 및, 제1 사람(700) 및 제2 사람(701)을 포함하는 두 개의 오브젝트. 제1 사람(700)은 제1 위치 결정 태그(702)가 부착되어 있고 제2 사람(701)은 제2 위치 결정 태그(703)가 부착되어 있다.
도 7에서, 제1 사람(700) 및 제2 사람(701)은, 사람(700, 701)이 다른 사람의 태그를 가리지 않도록 서로에 대해 배치된다. 또한, 제1 사람(700) 및 제2 사람(701) 둘 모두는, 로케이터(102)가 제1 태그(702) 및 제2 태그(703)의 시계를 가지도록 배향된다. 따라서, 제1 태그(702)로부터의 무선 신호 및 제2 태그(703)로부터의 무선 신호는 장치(105)에 의해 활용가능한 것으로 간주될 수도 있고, 사람(700, 701)에 대한 방향의 결정을 위해 위치 결정 시스템(104)에 의해 사용될 수도 있다.
도 8에서, 제2 사람(701)은 제1 사람(700)의 앞쪽에서 어슬렁거리며 제1 태그(702)를 로케이터(102)의 시계로부터 가렸다. 따라서, 제2 태그(703)로부터의 무선 신호는 제2 사람(701)을 향하는 방향을 결정하는 데 활용가능할 수도 있고, 제1 태그(702)로부터의 무선 신호는 에러가 발생하기 쉬울 수도 있다.
하나 이상의 예에서, 장치(105)는, 태그(702)가 가려지는지 여부의 결정을 제공하게 될 수도 있다. 따라서, 장치(105)는 또한, 오브젝트(700)가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라(101)에 의해 보았을 때 오브젝트가 가려지는지 여부의 결정을, 오브젝트 차단 정보(object-obscured information)에 기초하여 제공하게 될 수도 있다. 따라서, 장치는, 그러므로, 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부 및 오브젝트가 다른 오브젝트에 의해 가려지는지 여부에 기초하여 위치 결정 시스템의 제어를 제공할 수도 있다. 태그가 로케이트와 대면하도록 하는 방위를 가지며 다른 오브젝트에 의해 가려지지 않는 오브젝트는, 무선 신호의 활용가능성을 나타낸다. 장치(105)는, 카메라(101)로부터의 이미지의 시각적 분석을 제공할 수도 있고 따라서 오브젝트 차단 정보를 생성할 수도 있거나 또는 장치(105)는, 오브젝트의 가려진 상태를 결정하기 위해 이미지의 시각적 분석을 제공하고 그 결과를 오브젝트 차단 정보로서 장치(105)에 제공하는 추가적인 장치(도시되지 않음)로부터 오브젝트 차단 정보를 수신할 수도 있다.
상기에서 설명되는 바와 같이, 위치 결정 시스템의 제어는 취해질 다양한 액션을 제공할 수도 있다. 그들 액션 외에 또는 그와는 독립적으로, 해당 오브젝트를 가리는 추가적인 오브젝트가 태그 자체를 갖는 경우, 추가적인 오브젝트의 태그는, 하기에서 설명되는 바와 같이, 해당 오브젝트 및 추가적인 오브젝트 둘 모두를 향하는 방향을 결정하도록 위치 결정 시스템(104)에 의해 사용될 수도 있다.
하나 이상의 예에서, 제1 오브젝트(700)가 제2 오브젝트(701)에 의해 가려진다는 결정에 기초하여 - 제1 오브젝트(700) 및 제2 오브젝트(701) 둘 모두는 태그가 부착되어 있음 - , 장치(105), 제1 오브젝트(700)에 대한 방향의 결정을 제공하기 위해, 제2 오브젝트(701)로부터의 무선 신호를 사용하는 위치 결정 시스템의 제어를 제공하게 될 수도 있다. 따라서, 오브젝트 차단 정보는 제1 오브젝트(700)가 가려져 있다는 것을 나타낼 수도 있고 따라서 제1 태그(702)로부터의 무선 신호의 활용가능성은 의심스러운 것으로 간주될 수도 있다. 장치(105)는, 카메라(101)로부터의 이미지를 사용하여, 제2 오브젝트(701)의 식별을 제공할 수도 있고, 제2 오브젝트(701)의 시각적 식별시, 태그 위치 정보를 사용하여 제2(가리고 있는) 오브젝트(701)에 어떤 태그가 부착되어 있는지의 결정을 제공할 수도 있다. 그 다음, 위치 결정 시스템의 제어는, 제1(가려져 있는) 오브젝트(700)를 향하는 방향의 결정에서 제2(가리고 있는) 오브젝트의 태그로부터의 무선 신호의 사용을 제공할 수도 있다. 설명되는 바와 같은 위치 결정 시스템의 제어는, 그들의 태그(703)가 로케이터(102)와 대면하도록 제2 오브젝트(701)가 배향되어 있는지에 의존할 수도 있다는 것이 인식될 것이다.
어쩌면 다른 가능성을 추가해야 할 것이다. 이러한 종류의 차단 상황에서, 제2 오브젝트(701)는 카메라에 매우 가깝고 제1 오브젝트는 꽤 먼 것이 가능하다. 그러면, 태그(703) 정보를 사용하는 것은 그러한 만큼 매우 합리적이지 않다.
하나 이상의 예에서, 예컨대, 그러나 배타적이지는 않은, 단지 태그를 향하는 방향 대신 태그의 위치가 결정되는 예에서, 가려진 오브젝트와 가리고 있는 오브젝트 사이의 거리가 고려될 수도 있다. 제1 및 제2 오브젝트(700, 701)가 서로 가까우면(임계치보다 더 가까우면), 제2 오브젝트(701)의 태그의 위치는 제1 오브젝트의 위치를 결정하는 데 사용될 수도 있다. 그러나, 제1 오브젝트(700)가 제2 오브젝트(701)보다 더 멀리(임계 거리보다 더 많이) 떨어져 있으며(또는 제1 오브젝트와 제2 오브젝트 사이의 거리에 무관한 모든 경우에서) 다른 기술이 사용될 수도 있다. 예를 들면, 제1 오브젝트(700)가 제2 오브젝트(701)에 의해 가려지는 경우, 제2 오브젝트(701)의 태그(703)의 방향 정보가 사용될 수도 있지만, 그러나 제1 오브젝트(700)의 거리를 식별하는 다른 방법이 사용될 수도 있다. 예를 들면, 제1 오브젝트(700)의 위치의 과거 정보가 사용될 수 있고, 현재 거리의 추정치가 결정될 수도 있다. 추정치는, 가려지기 이전의 제1 오브젝트의 이동 방향 및/또는 속도 중 하나 이상에 기초할 수도 있고 따라서 거리의 추정치는, 오브젝트가 동일한 경로 상에 남아 있다는 것을 가정하여 결정될 수 있고, 제1 오브젝트가 가려지지 않았을 때에 비교한, 보이는 제1 오브젝트의 부분의 시각적 이미지에서의 상대적인 사이즈가 결정되어, 거리에서의 변화를 결정할 수 있다.
도 9는, 오브젝트가 존재하는 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 태그가 부착되는 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여(901), 적어도 태그가 로케이터와 실질적으로 대면하도록 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해, 오브젝트를 향하는 방향을 결정하기 위한 무선 신호의 적어도 활용가능성의 결정에서 위치 결정 시스템의 제어를 제공하는 단계 - 태그가 로케이터와 실질적으로 대면하는 것은 무선 신호의 활용가능성을 나타냄 - (902)를 예시하는 흐름도를 도시한다.
도 10은, 한 예에 따른 프로그램을 제공하는 컴퓨터/프로세서 판독 가능 매체(1000)를 개략적으로 예시한다. 이 예에서, 컴퓨터/프로세서 판독 가능 매체는 디지털 다기능 디스크(digital versatile disc; DVD) 또는 콤팩트 디스크(compact disc; CD)와 같은 디스크이다. 다른 예에서, 컴퓨터 판독 가능 매체는, 본 발명의 기능을 수행하는 그러한 방식으로 프로그래밍된 임의의 매체일 수도 있다. 컴퓨터 프로그램 코드는, 동일한 타입의 다수의 메모리, 또는 상이한 타입의 다수의 메모리, 예컨대 ROM, RAM, 플래시, 하드 디스크, 솔리드 스테이트, 등등 사이에서 분산될 수도 있다.
상기 예에서 도시되는 장치는, 휴대용 전자 디바이스, 랩탑 컴퓨터, 이동 전화, 스마트폰, 태블릿 컴퓨터, 개인 휴대형 정보 단말, 디지털 카메라, 스마트워치, 스마트 안경, 펜 기반의 컴퓨터, 비휴대형 전자 디바이스, 데스크탑 컴퓨터, 모니터, 가전 제품, 스마트 TV, 서버, 웨어러블 디바이스, 또는 이들 중 하나 이상을 위한 모듈/회로부일 수도 있다.
임의의 언급된 장치/디바이스/서버 및/또는 특정한 언급된 장치/디바이스/서버의 다른 피쳐는, 인에이블되는 경우에만, 예를 들면, 스위치 온, 또는 등등의 경우에만 그들이 소망되는 동작을 수행하게끔 구성되도록 배열되는 장치에 의해 제공될 수도 있다. 이러한 경우, 그들은 적절한 메모리가 인에이블되지 않은 상태(예를 들면, 스위치 오프 상태)의 활성 메모리에 반드시 로딩될 필요가 없을 수도 있고 적절한 소프트웨어를 인에이블 상태(예를 들면, 온 상태)에서만 로딩할 수도 있다. 장치는 하드웨어 회로부 및/또는 펌웨어를 포함할 수도 있다. 장치는 메모리 상으로 로딩되는 소프트웨어를 포함할 수도 있다. 이러한 소프트웨어/컴퓨터 프로그램은, 동일한 메모리/프로세서/기능 유닛 상에 및/또는 하나 이상의 메모리/프로세서/기능 유닛 상에 기록될 수도 있다.
몇몇 예에서, 특정한 언급된 장치/디바이스/서버는, 소망되는 동작을 수행하기 위한 적절한 소프트웨어로 미리 프로그래밍될 수도 있는데, 적절한 소프트웨어는, 예를 들면, 소프트웨어 및 그것의 관련된 기능성(functionality)을 잠금 해제하기/인에이블하기 위해, 유저가 "키"를 다운로드하는 것에 의해 사용을 위해 인에이블될 수 있다. 이러한 예와 관련되는 이점은, 디바이스에 대해 추가적인 기능성이 요구되는 경우 데이터를 다운로드하는 것에 대한 감소된 요건을 포함할 수 있고, 이것은, 유저에 의해 인에이블되지 않을 수도 있는 기능성을 위한 이러한 미리 프로그래밍된 소프트웨어를 저장할 충분한 용량을 디바이스가 갖는 것으로 인식되는 예에서 유용할 수 있다.
임의의 언급된 장치/회로부/엘리먼트/프로세서는, 언급된 기능 외에, 다른 기능을 가질 수도 있고, 이들 기능은 동일한 장치/회로부/엘리먼트/프로세서에 의해 수행될 수도 있다. 하나 이상의 개시된 측면은, 적절한 캐리어(예를 들면, 메모리, 신호) 상에 기록되는 관련 컴퓨터 프로그램 및 컴퓨터 프로그램(이들은 소스일 수도 있고/인코딩되어 전송될 수도 있음)의 전자적 배포를 포괄할 수도 있다.
본원에서 설명되는 임의의 "컴퓨터"는, 동일한 회로 기판, 또는 회로 기판 상의 동일한 영역/위치 또는 심지어 동일한 디바이스 상에 위치될 수도 있거나 또는 위치되지 않을 수도 있는 하나 이상의 개별 프로세서/프로세싱 엘리먼트의 콜렉션(collection)을 포함할 수 있다. 몇몇 예에서, 임의의 언급된 프로세서 중 하나 이상은 복수의 디바이스에 걸쳐 분포될 수도 있다. 동일한 또는 상이한 프로세서/프로세싱 엘리먼트는 본원에서 설명되는 하나 이상의 기능을 수행할 수도 있다.
용어 "시그널링"은, 일련의 송신된 및/또는 수신된 전기적/광학적 신호로서 송신되는 하나 이상의 신호를 지칭할 수도 있다. 일련의 신호는, 상기 시그널링을 구성하기 위한 하나의, 두 개의, 네 개의, 또는 심지어 더 많은 개개의 신호 성분 또는 개별 신호를 포함할 수도 있다. 이들 개개의 신호 중 일부 또는 전부는, 무선 또는 유선 통신에 의해, 동시에, 순차적으로, 및/또는 그들이 시간적으로 서로 중첩하도록 송신/수신될 수도 있다.
임의의 언급된 컴퓨터 및/또는 프로세서 및 메모리(예를 들면, ROM, CD-ROM 등등을 포함함)의 임의의 논의와 관련하여, 이들은 컴퓨터 프로세서, 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA), 및/또는 본 발명의 기능을 수행하는 그러한 방식으로 프로그래밍된 다른 하드웨어 컴포넌트를 포함할 수도 있다.
본 출원인은, 본원에 의해, 본원에서 설명되는 각각의 개개의 피쳐를 단독으로 그리고 둘 이상의 그러한 피쳐의 임의의 조합을, 이러한 피쳐 또는 피쳐의 조합이 본원에서 개시되는 임의의 문제를 해결하는지의 여부에 무관하게, 기술 분야의 숙련된 자의 공통의 일반적인 지식에 비추어, 이러한 피쳐 또는 조합이 본 명세서에 기초하여 전체적으로 수행될 수 있고, 청구범위의 범위에 대한 제한이 없는 경우, 개시한다. 출원인은, 개시된 측면/예가 임의의 이러한 개개의 피쳐 또는 피쳐의 조합으로 구성될 수도 있다는 것을 나타낸다. 전술한 설명의 관점에서, 본 개시의 범위 내에서 다양한 수정이 이루어질 수도 있다는 것이 기술 분야의 숙련된 자에게는 명백할 것이다.
예에 적용될 때의 기본적인 신규의 피쳐가 나타내어지고 설명되고 지적되었지만, 본 개시의 범위를 벗어나지 않으면서 기술 분야의 숙련된 자에 의해, 설명되는 디바이스 및 방법의 형태 및 상세에서의 다양한 생략 및 대체 및 변경이 이루어질 수도 있다는 것이 이해될 것이다. 예를 들면, 동일한 결과를 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 그들 엘리먼트 및/또는 방법 단계의 모든 조합은 본 개시의 범위 내에 있다는 것이 명시적으로 의도된다. 또한, 임의의 개시된 형태 또는 예와 관련하여 나타내어지고 및/또는 설명되는 구조 및/또는 엘리먼트 및/또는 방법 단계는, 설계 선택의 일반적 문제로서, 임의의 다른 개시된 또는 설명된 또는 제안된 형태 또는 예에 통합될 수도 있다는 것을 이해해야 한다. 또한, 청구범위에서, 기능식 수단(means-plus-function) 항은 본원에서 설명되는 구조를, 상술한 기능 및 구조적 등가물뿐만 아니라 등가의 구조를 수행하는 것으로서, 포괄하도록 의도된다. 따라서, 목재 부품을 서로 연결하기 위해 못이 원통형 표면을 활용하고, 반면 나사가 나선형 표면을 활용한다는 점에서 비록 못과 나사가 구조적 등가물은 아닐 수도 있지만, 목재 부품을 고정하는 환경에서, 못과 나사는 등가적 구조물일 수도 있다.

Claims (15)

  1. 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 적어도,
    공간에서의 오브젝트를 향하는 방향(direction)의 결정과 관련하여 - 상기 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 위치 결정 태그가 부착되고, 상기 위치 결정 시스템은 상기 무선 신호에 기초하여 상기 위치 결정 태그를 향하는 상기 방향을 결정하는 것에 의해, 상기 오브젝트의 방향을 결정하도록 구성되고, 상기 오브젝트는 상기 공간 주위에서의 이동이 자유로움 - ,
    상기 오브젝트가 존재하는 상기 공간의 시각적 이미지(visual imagery)를 캡쳐하는 카메라의 시야에서의 상기 오브젝트의 방위(orientation)를 포함하는 오브젝트 방위 정보 및 상기 위치 결정 태그가 부착되는 상기 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
    상기 위치 결정 태그가 상기 로케이터와 실질적으로 대면하도록(face) 적어도 상기 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해, 적어도 상기 오브젝트를 향하는 상기 방향을 결정하기 위한 상기 무선 신호의 활용가능성(viability)의 결정에 있어서 상기 위치 결정 시스템의 제어를 제공하는 것 - 상기 위치 결정 태그가 상기 로케이터와 실질적으로 대면하는 것은 상기 무선 신호의 활용가능성을 나타냄 - 을 수행하게 하는,
    장치.
  2. 제1항에 있어서,
    상기 태그가 실질적으로 로케이터로부터 멀어지게 대면(faces away)하도록 상기 오브젝트가 배향되는 것에 의해, 상기 위치 결정 시스템에 의해 상기 방향을 결정하는 데 사용하기에 상기 태그로부터의 상기 무선 신호가 활용가능하지 않다는 결정에 기초하여, 상기 무선 신호를 사용하는 것 이외의 수단에 의해 상기 오브젝트를 향하는 상기 방향의 결정을 제공하는,
    장치.
  3. 제1항 또는 제2항에 있어서,
    상기 오브젝트는 사람을 포함하고, 상기 태그가 상기 로케이터와 실질적으로 대면하도록 적어도 상기 오브젝트가 배향되어 있는지 여부를 결정하는 것은,
    iv) 얼굴 검출;
    v) 신체 방위 검출;
    vi) 골격 모션 추적
    중 하나 이상에 기초하는,
    장치.
  4. 제1항 내지 제3항 중 어느 항에 있어서,
    상기 오브젝트는, 적어도 제1 태그 및 제2 태그를 포함하는 둘 이상의 태그를 구비하되, 상기 제1 및 제2 태그는 상기 오브젝트 상의 상이한 위치에 부착되고, 상기 미리 결정된 태그 위치 정보는, 상기 제1 태그가 부착되는 상기 오브젝트 상의 위치 및 상기 제2 태그가 부착되는 상기 오브젝트 상의 위치를 포함하되, 상기 장치는, 상기 제1 태그 및 상기 제2 태그 중 어떤 것이 상기 로케이터와 실질적으로 대면하는지의 결정을 제공하게 되는 것에 의해, 상기 오브젝트의 상기 위치를 파악하는 데 제1 태그로부터의 상기 무선 신호 및 상기 제2 태그로부터의 상기 무선 신호 중 어떤 것이 활용가능한지(viable)의 결정에서 상기 위치 결정 시스템의 제어를 제공하게 되는,
    장치.
  5. 제4항에 있어서,
    상기 제1 태그 및 상기 제2 태그는 세 개 이상의 태그를 포함하는 루프의 일부를 형성하되, 상기 루프는 상기 오브젝트 주위에 부착되도록 구성되고, 상기 미리 결정된 태그 위치 정보는, 상기 세 개 이상의 태그의 각각이 부착되는 상기 오브젝트 상의 위치를 포함하고, 상기 장치는, 상기 위치 결정 시스템에 의해 상기 오브젝트를 향하는 상기 방향의 결정에 사용하기 위한 활용가능 무선 신호(들)를 제공하는 상기 세 개 이상의 태그 중 적어도 하나의 태그의 결정을 제공하게 되는,
    장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 장치는, 상기 오브젝트와 상기 로케이터 사이의 시선(line of sight)이 추가적인 오브젝트에 의해 가려지는지 여부를 결정하게 되되, 상기 시선의 존재는, 상기 오브젝트의 상기 위치를 파악하기 위한 상기 무선 신호의 상기 활용가능성을 나타내는,
    장치.
  7. 제6항에 있어서,
    상기 추가적인 오브젝트에는, 상기 위치 결정 시스템의 상기 적어도 하나의 로케이터에 의한 수신을 위해 무선 신호를 방출할 수 있는 추가적인 태그가 부착되고, 상기 오브젝트와 상기 로케이터 사이의 상기 시선이 상기 추가적인 오브젝트에 의해 가려진다는 결정에 기초하여, 적어도 상기 오브젝트가 상기 추가적인 오브젝트에 의해 가려지는 시간 동안, 상기 위치 결정 시스템에 의한, 상기 추가적인 태그의 위치를 사용한 상기 오브젝트의 상기 위치의 결정을 제공하는,
    장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 카메라 및 상기 로케이터는 병치되는(co-located),
    장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 카메라 및 상기 로케이터는 병치되지 않고(non-co-located), 상기 장치는, 상기 카메라에 대한 상기 로케이터의 위치를 제공받되, 상기 장치는 상기 시각적 이미지에 기초한 상기 로케이터의 시점(point of view)에서 상기 오브젝트의 상기 방위의 결정을 제공하게 되는,
    장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 카메라는 가상 현실 콘텐츠 캡쳐 카메라를 포함하는,
    장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 장치는 상기 오브젝트를 향하는 상기 방향의 결정 이전에 교정 단계(calibration stage)를 제공하게 되되, 상기 교정 단계는, 적어도, 상기 카메라로부터의 시각적 이미지 및 상기 오브젝트에 부착되는 태그의 위치를 식별하는, 카메라에 제공되는, 미리 결정된 제스쳐에 기초하여, 상기 미리 결정된 태그 위치 정보의 생성을 제공하는 것을 포함하는,
    장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 장치는 상기 오브젝트로부터 수신되는 오디오 및 상기 위치 결정 시스템에 의해 결정되는 상기 오브젝트의 상기 위치를 사용하여, 공간적 오디오 믹싱을 제공하게 되는,
    장치.
  13. 카메라 및 위치 결정 시스템을 포함하는 가상 현실 콘텐츠 캡쳐 장치로서, 상기 위치 결정 시스템은 적어도 하나의 로케이터 및 적어도 하나의 태그를 포함하고, 상기 위치 결정 시스템은 공간에서의 오브젝트의 위치를 결정하도록 구성되고, 상기 태그는 상기 오브젝트에 부착되도록 구성되고 상기 위치 결정 시스템의 상기 적어도 하나의 로케이터에 의한 수신을 위해 무선 신호를 방출할 수 있고, 상기 위치 결정 시스템은 상기 무선 신호에 기초하여 상기 태그의 위치를 결정하는 것에 의해 상기 오브젝트의 위치를 결정하도록 구성되고, 상기 오브젝트는 상기 공간 주위에서 이동이 자유롭고, 상기 위치 결정 시스템은 제1항 내지 제12항 중 어느 한 항의 장치를 포함하는,
    가상 현실 콘텐츠 캡쳐 장치.
  14. 방법으로서,
    공간에서의 오브젝트를 향하는 방향의 결정과 관련하여, 상기 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위해 무선 신호를 방출할 수 있는 태그가 부착되고, 상기 위치 결정 시스템은 상기 무선 신호에 기초하여 상기 태그를 향하는 방향을 결정하는 것에 의해 상기 오브젝트의 방향을 결정하도록 구성되고, 상기 오브젝트는 공간 주위에서의 이동이 자유로우며 ,
    상기 오브젝트가 존재하는 상기 공간의 시각적 이미지를 캡쳐하는 카메라의 시점에서의 상기 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 상기 태그가 부착되는 상기 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
    상기 태그가 상기 로케이터와 실질적으로 대면하도록 적어도 상기 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해, 적어도 상기 오브젝트를 향하는 상기 방향을 결정하기 위한 상기 무선 신호의 활용가능성의 결정에 있어서 상기 위치 결정 시스템의 제어를 제공하는 단계 - 상기 태그가 상기 로케이터와 실질적으로 대면하는 것은 상기 무선 신호의 활용가능성을 나타냄 - 를 포함하는,
    방법.
  15. 저장된 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체로서,
    상기 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서 상에서 실행될 때, 적어도,
    공간에서의 오브젝트를 향하는 방향의 결정과 관련하여, 상기 오브젝트에는 위치 결정 시스템의 적어도 하나의 로케이터에 의한 수신을 위한 무선 신호를 방출할 수 있는 태그가 부착되고, 상기 위치 결정 시스템은 상기 무선 신호에 기초하여 상기 태그를 향하는 방향을 결정하는 것에 의해 상기 오브젝트의 상기 방향을 결정하도록 구성되고, 상기 오브젝트는 공간 주위에서의 이동이 자유로우며,
    상기 오브젝트가 존재하는 상기 공간의 시각적 이미지를 캡쳐하는 카메라의 시야에서의 상기 오브젝트의 방위를 포함하는 오브젝트 방위 정보 및 상기 태그가 부착되는 상기 오브젝트 상의 위치를 포함하는 미리 결정된 태그 위치 정보에 기초하여,
    상기 태그가 상기 로케이터와 실질적으로 대면하도록 적어도 상기 오브젝트가 배향되어 있는지 여부의 결정을 제공하는 것에 의해, 적어도 상기 오브젝트를 향하는 상기 방향을 결정하기 위한 상기 무선 신호의 활용가능성의 결정에 있어서 상기 위치 결정 시스템의 제어를 제공하는 것 - 상기 태그가 상기 로케이터와 실질적으로 대면하는 것은 상기 무선 신호의 활용가능성을 나타냄 - 을 수행하는, 저장된 컴퓨터 프로그램 코드를 포함하는
    컴퓨터 판독 가능 매체.
KR1020187037725A 2016-06-02 2017-05-30 장치 및 관련 방법 KR20190011778A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16172675.7 2016-06-02
EP16172675.7A EP3252491A1 (en) 2016-06-02 2016-06-02 An apparatus and associated methods
PCT/FI2017/050404 WO2017207873A1 (en) 2016-06-02 2017-05-30 An apparatus and associated methods

Publications (1)

Publication Number Publication Date
KR20190011778A true KR20190011778A (ko) 2019-02-07

Family

ID=56203116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037725A KR20190011778A (ko) 2016-06-02 2017-05-30 장치 및 관련 방법

Country Status (6)

Country Link
US (1) US20200326402A1 (ko)
EP (1) EP3252491A1 (ko)
JP (1) JP2019522187A (ko)
KR (1) KR20190011778A (ko)
CN (1) CN109477880A (ko)
WO (1) WO2017207873A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2540225A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio capture and mixing control
CN110266940A (zh) * 2019-05-29 2019-09-20 昆明理工大学 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法
GB2587335A (en) * 2019-09-17 2021-03-31 Nokia Technologies Oy Direction estimation enhancement for parametric spatial audio capture using broadband estimates

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2871387B2 (ja) * 1992-07-27 1999-03-17 ヤマハ株式会社 音像定位装置
JPH1130659A (ja) * 1997-07-10 1999-02-02 Hitachi Ltd 移動体の位置決定および追跡装置
US6580393B2 (en) * 2001-06-25 2003-06-17 Harris Corporation System and method for determining the location of a transmitter using passive reflectors or refractors as proxy receivers and using database querying
US6522296B2 (en) * 2001-06-25 2003-02-18 Harris Corporation Method and system for calibrating wireless location systems
KR20050000369A (ko) * 2002-03-12 2005-01-03 메나키, 엘엘씨 움직임 추적 시스템 및 방법
JP3952870B2 (ja) * 2002-06-12 2007-08-01 株式会社東芝 音声伝送装置、音声伝送方法及びプログラム
JP3974830B2 (ja) * 2002-08-16 2007-09-12 日本電信電話株式会社 無線タグを用いた被写体識別システム
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
JP2004364044A (ja) * 2003-06-05 2004-12-24 Sony Corp 画像記録装置
JP2005130465A (ja) * 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 撮像装置、情報蓄積サーバ、及び物品識別装置
JP4607836B2 (ja) * 2006-09-15 2011-01-05 富士通株式会社 画像領域へのメタデータ自動付与装置,メタデータ自動付与方法およびメタデータ自動付与プログラム
WO2009017393A1 (en) * 2007-07-31 2009-02-05 Tele Atlas B.V. Method and device for determining a position
JP4871836B2 (ja) * 2007-10-26 2012-02-08 株式会社山武 位置検出システム及び位置検出方法
JP5004889B2 (ja) * 2008-07-18 2012-08-22 アズビル株式会社 位置検出システム及び位置検出方法
US8659477B2 (en) * 2008-10-09 2014-02-25 Panasonic Corporation Base station device and distance measuring method
EP2409206A1 (en) * 2009-03-16 2012-01-25 Nokia Corporation Data processing apparatus and associated user interfaces and methods
JP5615532B2 (ja) * 2009-11-24 2014-10-29 株式会社日立国際電気 物体の向き検出システム
JP5906379B2 (ja) * 2011-09-29 2016-04-20 パナソニックIpマネジメント株式会社 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム
WO2013065225A1 (ja) * 2011-10-31 2013-05-10 パナソニック株式会社 位置推定装置、位置推定方法、プログラムおよび集積回路
JP5773436B2 (ja) * 2011-11-24 2015-09-02 Kddi株式会社 情報端末装置
JP6124238B2 (ja) * 2012-02-09 2017-05-10 国立大学法人 筑波大学 測定システム及び測定方法
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
JP5983243B2 (ja) * 2012-09-26 2016-08-31 株式会社デンソー 検出装置
JP2014163791A (ja) * 2013-02-25 2014-09-08 Denso Wave Inc 無線タグ測位システム
CN105531998B (zh) * 2013-08-19 2017-07-07 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
US9219993B2 (en) * 2013-10-20 2015-12-22 Oahu Group, Llc Method and system for determining object motion by capturing motion data via radio frequency phase and direction of arrival detection
JP6357811B2 (ja) * 2014-03-10 2018-07-18 富士ゼロックス株式会社 表示制御装置及びプログラム

Also Published As

Publication number Publication date
EP3252491A1 (en) 2017-12-06
US20200326402A1 (en) 2020-10-15
WO2017207873A1 (en) 2017-12-07
CN109477880A (zh) 2019-03-15
JP2019522187A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
US10958896B2 (en) Fusing measured multifocal depth data with object data
US9749738B1 (en) Synthesizing audio corresponding to a virtual microphone location
JP6592183B2 (ja) モニタリング
US10045120B2 (en) Associating audio with three-dimensional objects in videos
US10147237B2 (en) Foreground identification for virtual objects in an augmented reality environment
US10109073B2 (en) Feature tracking and dynamic feature addition in an augmented reality environment
US9578307B2 (en) Smart necklace with stereo vision and onboard processing
US10984146B2 (en) Tracking safety conditions of an area
US20210304577A1 (en) Integrated Camera and Ultra-Wideband Location Devices and Related Systems
US9628843B2 (en) Methods for controlling electronic devices using gestures
CN113038362B (zh) 超宽带定位方法及系统
CN109076191B (zh) 监视系统、方法、非暂时性计算机可读介质和控制单元
CN110352364A (zh) 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
US11410326B2 (en) System for determining anatomical feature orientation
CN103765879A (zh) 扩展激光深度图范围的方法
US11132004B2 (en) Spatial diveristy for relative position tracking
KR20190011778A (ko) 장치 및 관련 방법
US11132880B2 (en) System for tracking the location of people
NO336454B1 (no) Anordning, system og fremgangsmåte for identifisering av objekter i et digitalt bilde, samt transponderanordning
US10133966B2 (en) Information processing apparatus, information processing method, and information processing system
US20170359671A1 (en) Positioning arrangement
Hochradel et al. Three-dimensional localization of bats: visual and acoustical
US20220011773A1 (en) Spatial diversity for relative position tracking
Dasari et al. RoVaR: Robust Multi-agent Tracking through Dual-layer Diversity in Visual and RF Sensing
Mossel et al. Wide area optical user tracking in unconstrained indoor environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application