KR101783072B1 - 객체 추적 및 인식을 위한 방법 및 장치 - Google Patents

객체 추적 및 인식을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101783072B1
KR101783072B1 KR1020127034397A KR20127034397A KR101783072B1 KR 101783072 B1 KR101783072 B1 KR 101783072B1 KR 1020127034397 A KR1020127034397 A KR 1020127034397A KR 20127034397 A KR20127034397 A KR 20127034397A KR 101783072 B1 KR101783072 B1 KR 101783072B1
Authority
KR
South Korea
Prior art keywords
signal strength
recognition system
model
object tracking
detection range
Prior art date
Application number
KR1020127034397A
Other languages
English (en)
Other versions
KR20130103344A (ko
Inventor
웨이 조우
준 리
시아오 준 마
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130103344A publication Critical patent/KR20130103344A/ko
Application granted granted Critical
Publication of KR101783072B1 publication Critical patent/KR101783072B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
    • G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Abstract

객체 추적 및 인식 시스템이 제공되며, 이 시스템은 객체 추적 및 인식 시스템의 검출 범위에 있는 객체의 이미지 정보를 얻기 위한 비디오 디바이스; 및 객체의 무선 주파수(RF) 태그의 신호 강도를 검출하기 위한 무선 주파수 식별(RFID) 디바이스를 포함하며; 여기에서, 비디오 디바이스는, 검출된 신호 강도가 미리 결정된 신호 강도 임계값에 도달할 때, 객체의 이미지 정보를 얻기 위해 켜진다.

Description

객체 추적 및 인식을 위한 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING AND RECOGNITION}
본 발명은 일반적으로 객체 추적 및 인식 시스템에 관한 것으로, 특히, RFID와 비디오 디바이스들 양측을 포함하는 객체 추적 및 인식을 위한 방법 및 장치에 관한 것이다.
유비쿼터스 컴퓨팅에 대한 아이디어는, 컴퓨터나 다른 전자 디바이스들로부터 이익을 얻는 사람들로 하여금, 그들이 사용하는 디바이스가 보이지 않게 하는데 도움이 된다. 사람들의 자연적 활동들은 명시적인 명령 없이도 필요에 따라 애플리케이션들이 실행되도록 구동할 수 있다.
유비쿼터스 컴퓨팅 플랫폼을 구축하기 위한 첫 번째 작업(task)은 사용자의 활동 상태를 취득하기 위해 객체 추적 및 인식을 수행하는 것이다. 예를 들어, 디지털 홈 환경에서, 활동 상태는 위치, 움직임, 제스처, 음성, 또는 사용자의 얼굴 표정에 대한 임의의 정보일 수 있다. 사용자의 활동 상태에 대한 검출 및 분석으로, 시스템은 홈 디바이스들에서의 명시적인 동작들 없이도 해당 액션들을 취할 수 있다.
간단한 애플리케이션 시나리오는 다음과 같이 설명될 수 있다: 1) TV 세트는, 예를 들어, TV 세트가 배치되는 거실 안 및 밖으로 이동하는 사용자에 무관하게 오프 상태에 있다. 2) 사용자가, 예를 들어, 코치(coach)에 앉아서 또는 TV 앞에 계속 서서 TV를 시청하는 의도를 보일 때, TV는 플래시한다(그의 눈을 깜박이는 것처럼)). 3) 사용자가 그의 손으로 두 번(a couple of times) TV에 손을 흔들 때, TV가 켜진다. 4) 사용자는 그의 손 제스처나 음성 명령으로 TV를 계속 동작시킬 수 있다. 5) 사용자가 거실 밖으로 이동할 때, TV 프로그램은 일시 정지되고; 사용자가 다시 이동할 때, TV 프로그램이 재개된다.
전통적으로, 무선 주파수 식별(Radio frequency identification; RFID) 위치 결정 시스템이 사용자 위치 검출을 위해 사용된다. 그러나, 획득된 전력 강도가 다경로 실내 환경에서 항상 안정적이지는 않기 때문에 위치 검출은 여전히 어렵다. 또한, 객체를 추적하기 위한 비디오 카메라는 본 기술에서 공통적이다. 객체의 이미지 정보, 이를테면, 객체의 "실세계(real world)" 좌표를 포함하는 위치, 객체의 "물리적" 위치, 객체의 "3D" 좌표, 움직임, 제스처 등은 하나 이상의 카메라의 시야에 객체의 등장으로부터 결정된다.
하나의 간단한 하이브리드 위치 검출 및 객체 인식 방법은 다음과 같다: 각각의 일반가정 사용자는 가정 내에 있는 수신기로 무선 신호를 전송하는 액티브 RFID 태그를 장착한다. 간단한 설정은, TV와 같은, 제어될 전자 디바이스의 상단에 하나의 RFID 수신기가 위치하는 것이다. 태그는 사용자의 신발 또는 옷에 부착될 수 있다. 또한, 카메라, 비디오 추적 디바이스와 같은 다수의 비디오 디바이스는 또한 TV의 상단이나 밤에서 특정 장소에 배열된다.
본 발명은 객체 추적 및 인식 시스템에 관한 것으로: 객체 추적 및 인식 시스템의 검출 범위 내에 있는 객체의 이미지 정보를 얻기 위한 비디오 디바이스; 및 객체의 RF 태그의 신호 강도를 검출하기 위한 RFID 디바이스를 포함하며; 여기서, 비디오 디바이스는, 검출된 신호 강도가 미리 결정된 신호 강도 임계값에 도달할 때 객체의 이미지 정보를 얻기 위해 켜진다.
본 발명은 또한 객체 추적 및 인식 시스템에서 사용된 방법에 관한 것으로: 비디오 디바이스에 의해, 객체 추적 및 인식 시스템의 검출 범위에 있는 객체의 이미지 정보를 얻는 단계; 및 RFID 디바이스에 의해, 객체의 RF 태그의 신호 강도를 검출하는 단계를 포함하며; 여기서, 미리 결정된 신호 강도 임계값에 도달할 때, 검출된 신호 강도에 기초하여 객체의 이미지 정보를 얻기 위해 비디오 디바이스를 켠다.
본 발명의 예시적인 실시예들은 첨부하는 도면들을 참조하여 설명된다.
도 1은 본 발명의 일 실시예에 따른 하이브리드 객체 추적 및 인식 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 RF 신호 강도 분포를 보여주는 다이어그램이다.
도 3은 본 발명의 실시예에 따른 선형 매트릭스 모델(linear matrix model)을 보여주는 실례가 되는 표이다.
도 4는 본 발명의 실시예에 따른 선형 매트릭스 모델을 사용하는 방법을 보여주는 다이어그램이다.
도 5는 본 발명의 실시예에 따른 비디오 디바이스의 검출 범위를 보여주는 다이어그램이다.
도 6은 본 발명의 실시예에 따른 객체 추적 및 인식을 위한 방법을 보여주는 순서도이다.
도 1은 본 발명의 일 실시예에 따른 하이브리드 객체 추적 및 인식 시스템(100)을 도시한다. 시스템(100)은, 비디오 장면에 등장하는 객체 또는 사용자 이미지 정보를 얻기 위한, 디스플레이 디바이스, TV와 같은, 전자 디바이스에 배열된 하나 이상의 카메라일 수 있는, 비디오 디바이스(110)를 포함한다. 비디오 디바이스(110)는, 비디오 장면에 있는 객체들의 위치를 디스플레이 디바이스의 앞에 좌표들로 매핑하거나 움직임, 제스처, 음성 또는 표정과 같은 이미지 정보를 얻는 이미지 정보 발생기(120)에 결합, 또는 그를 포함한다. 좌표들은 위도, 경도, 및 고도와 같은 실제 좌표들일 수 있다. 또는, 그들은 특정한 구역과 관련된, 또는 레퍼런스의 인위적인 필드와 관련된 좌표들 등일 수 있다. 좌표들은, 객체가 실제로 시스템(100)의 검출 범위에 위치하는지를 식별하고, 객체에서 디스플레이 디바이까지의 거리를 보여주기 위해 사용된다. 일반적으로, 좌표들 및 다른 이미지 정보는, 위도 및 경도 라인들과 함께 평면도 모델 또는 글로벌 모델을 포함할 수 있는, 이미지 모델(150)과 좌표, 및 이미지 데이터베이스에 기초하여 획득될 수 있다. 객체의 좌표들 또는 다른 이미지 정보를 얻기 위해 비디오 디바이스(110) 및 이미지 정보 발생기(120)를 사용하는 기술은 당업자에게 알려져 있고, 그의 상세는 여기에서 생략될 것이다.
시스템(100)은, 또한, 객체 또는 사용자에 부착된 RFID 태그(도시되지 않음)의 신호 강도를 검출하고 RF 에너지를 방출하기 위한, 디스플레이 디바이스에 배열된 하나 이상의 RFID 수신기를 포함하는, RFID 디바이스(130)를 포함한다. RFID 디바이스(130)는, 좌표와 이미지 모델(150)에 기초하여 객체들의 위치를 얻고, 사용자에게서 디스플레이 디바이스까지의 거리를 검출하기 위해, 좌표 발생기(140)에 결합, 또는 그를 포함한다. 객체의 좌표와 거리를 얻기 위해 RFID 디바이스(130)와 좌표 발생기(140)를 사용하는 기술은 당업자에게 알려져 있고, 그의 상세는 여기에서 생략될 것이다.
비디오 디바이스는 RFID 디바이스보다 객체에 대한 더 정확한 이미지 정보를 얻을 수 있다는 것이 알려져 있다. 그러나, 사용자의 프라이버시 및 에너지 소비를 고려하면, 특히 비디오 디바이스로서 사용된 카메라가 무선 카메라일 때, 단지 그것이 필요할 때에만 비디오 디바이스를 켜는 것이 더 낫다. 따라서, 본 발명의 실시예에 따르면, 비디오 디바이스(110) 및 RFID 디바이스(130)를 제어하기 위해 중앙 프로세서(160)가 사용되므로, RF 신호 강도가 미리 결정된 임계값보다 클 때, 객체 또는 사용자가 TV와 같은 디스플레이 디바이스에 가까운 것으로 나타나, 비디오 디바이스에 전원이 공급되고; 객체 또는 사용자가 TV에서 멀리 있을 때, RF 신호 강도가 낮고, 비디오 디바이스는 중단된다.
미리 결정된 임계값은, 객체가 특정 장소에 위치하거나 디스플레이 디바이스로부터 특정 거리(이를테면, 6m)를 가질 때 신호 강도이다. 임계값은, 그것이 발생될 때 환경을 표현할 수 있다. 환경이 바뀌면, 임계값은 무효일 수 있고, 그런 경우에는 특정 장소 또는 거리는 에러일 것이다.
본 발명의 실시예에 따르면, 관계 모델은, 2개의 지점을 사용하여 임계값의 신호 강도를 추정 및 동적으로 업데이트하기 위하여, 시스템(100)의 검출 범위 내에 있는 두 개의 지점 사이의 신호 강도 관계를 설명하기 위해 구축된다. 도 2는 본 발명의 실시예에 따른 RF 신호 강도 분포를 보여주는 다이어그램이다. 해당 RSS 등고선들이 보여진다. 이 도면에서, 우측에 있는 바는 RSS(Radio Signal Strength)(dB)를 나타내고, X 축과 Y 축은, 여기에서 시스템에서 사용된 카메라에 기초하는, 객체 인식 시스템(100)의 검출 범위의 좌표를 정의한다. 카메라는, 카메라 센서가 각각 정확한 이미지/비디오를 캡처할 수 있는 각도 및 거리인 특정 FoV(field-of-view) 및 DoV(Depth-of-View)를 갖는다. 이 도면에서, 검출 범위는 여러 개의 그리드(이를테면, R1-R9 및 DR1-DR3)로 나누어질 수 있고, 여기에서, DR1-DR3은 임계 그리드들이고 거기에서 해당 신호 강도는 디스플레이 디바이스에 전원을 공급하기 위한 미리 결정된 임계값이다. 각각의 그리드의 위치는 그의 중심점에 의해 표현될 수 있고, 이는 각각의 그리드의 무선 신호 강도가 그의 중심점에서 무선 신호 강도에 의해 표현될 수 있다는 것을 의미한다.
이러한 그리드들(R1-R9 및 DR1-DR3) 중에서 두 개의 그리드 사이의 신호 강도 관계는 다음의 선형 모델에 의해 모델링될 수 있다는 것이 알려져 있다:
Figure 112012109329685-pct00001
여기에서, ri는 i번째 그리드에서 수신된 신호 강도 샘플을 나타내고, rj는 j번째 그리드에서 수신된 신호 강도 샘플을 나타낸다.
Figure 112012109329685-pct00002
및
Figure 112012109329685-pct00003
는 선형 모델의 계수이다. 예를 들어, 이러한 계수들은 오프라인 트레이닝으로부터 수집된 i번째 그리드 및 j번째 그리드의 다수의 샘플들에 의해 획득될 수 있고, MMSE(Minimum mean-square error)를 이러한 샘플들에 적용하여 이러한 계수들을 얻는다.
또한, 선형 관계는 안정적이거나 고정적인 것, 즉, 보통 이 관계는 환경 변화에 의해 영향을 받을 수 없다는 것이 알려져 있다. 그래서, 선형 모델 매트릭스(M*M 요소들로 구성된다고 가정)는 검출 범위에 있는 M 그리드들 사이의 관계를 설명하기 위해 사용되고, 여기에서, 요소(i번째 로우와 j번째 컬럼에 있는)는 i번째 및 j번째 그리드 사이의 RSS 관계를 나타내는 계수들(
Figure 112012109329685-pct00004
,
Figure 112012109329685-pct00005
)이다. 그리고, 이 선형 모델 매트릭스는, 도 2에서 임계 범위들(DR1, DR2, 및 DR3)에 있는 RSS 값과 같은, 검출 범위 내에 있는 신호 강도를 추정하는 것을 돕기 위해 온라인 위상(online phase)에서 사용될 수 있다. 또한, 본 발명은 두 개의 그리드로부터 획득된 선형 모델에 한정되지 않고, 본 발명의 실시예에 따라 두 개보다 많은 그리드에 대한 선형 모델을 얻는 것이 당업자에게 명백하다. 본 발명은 또한 선형 모델 매트릭스에 한정되지 않고, 당업자는 본 발명을 실시하기 위해 그리드들 사이의 다른 안정적인 관계 모델을 사용할 수 있다.
선형 모델 매트릭스의 일례가 도 3에 도시된다. 도면에서, 두 개의 그리드 각각에 대한 요소가 도시된다. DR1와 DR1, R7과 R7과 같은, 동일한 그리드에 대한 요소는 실시예에서 사용되지 않는다는 것에 주의해야 한다.
도 4는 선형 모델 매트릭스를 사용하는 방법을 보여주는 다이어그램이다. 본 발명의 실시예에 따르면, 선형 모델 매트릭스는 DR1-DR3에서 미리 결정된 신호 강도 임계값을 동적으로 업데이트하기 위해 사용된다. 예를 들어, t0에서, 선형 모델 매트릭스는 오프라인 트레이닝에 의해 획득된다. 객체가 t1에서 검출 범위의 그리드들(예를 들어, R7)에서 발견되는 경우, 객체에 부착된 RF 태그의 신호 강도는 원래의 임계값보다 더 크기 때문에, 카메라는 켜질 것이다. 이 때, 카메라와 RF 수신기 둘 다 사용가능하다. 객체가 발견된 디스플레이 디바이스와 그리드로부터의 거리는 카메라에 의해 획득될 것이고, 부착된 태그의 현재 신호 강도 또한 획득된다. 이러한 샘플 데이터에 따르면, DR1과 같은 임계 그리드에서 신호 강도는 선형 모델 매트릭스(
Figure 112012109329685-pct00006
,
Figure 112012109329685-pct00007
) 및 수학식 1에 기초하여 획득될 수 있다. 이 방법은 단일 지점 추정으로 불린다. 동일한 방법에 기초하여, t1 및 t2에서 추정된 임계값은, 객체가 검출 구역으로 이동할 때 다음 시간에 디스플레이 디바이스에 전원을 공급하도록 업데이트될 수 있다.
또한, 선형 모델 매트릭스에 기초한 다수 지점 추정 방법 또한 사용될 수 있다. 온라인 위상에 있는 카메라의 이미지 분석에 의해 캡처된 복수의 신호 강도 샘플들이 존재할 때, 다수 지점 추정이 사용될 수 있다. 그것은, 임계값이 다수의 지점에서 다수의 RSS 샘플에 의해 추정된다는 것을 의미한다. 예를 들어, DR1에 대응하는 임계값(ri)이 추정될 것이고, R4, R5, R7, R8에서 신호 강도 샘플들은 이미지 분석에 의해 캡처되는 것으로 가정된다. DR1에 가장 가까운 두 개의 그리드인 두 개의 그리드(R7, R8)가 추정을 위해 선택될 것이다. 그 다음, 각 선형 모델이 독립적으로 사용되어 DR1의 신호 강도를 추정할 것이다. 이러한 두 개의 추정 결과는 하나의 최대 비율 조합 알고리즘(one maximal ratio combination algorithm)에 의해 조합될 것이다. 상세는 다음과 같다:
두 개의 가장 가까운 그리드(R7, R8)를 선택하는데, rj, rk는 R7, R8의 신호 강도 샘플을 각각 나타낸다. 추정 값을 얻기 위한 더 정확한 그리드를 선택하기 위해, 각각의 그리드의 컨피던스, 즉, rj의 C1 ,i 및 rk의 C2 ,i가 다음과 같이 도입될 수 있다:
그리드 R7에 인접한 그리드 R4(r1은 그의 신호 강도임)를 찾고, 수학식 1을 사용하여 rj×rl을 추정하라. 그 다음 수학식 2에 의해 R7의 컨피던스를 얻어라:
Figure 112012109329685-pct00008
여기에서, rj는 R7에서 검출된 신호 강도이고,
Figure 112012109329685-pct00009
는 rl 및 도 3에서의 선형 모델 매트릭스를 사용하여 R7에서 추정된 신호 강도이다. 수학식 2로부터, 더 높은 C1,i는 이 그리드에서 샘플의 더 높은 컨피던스를 표현할 수 있다는 것을 볼 수 있다.
그 다음, 지점 R8의 가장 가까운 그리드 R5(rm은 그의 신호 강도임)를 찾고, 수학식 1을 이용하여 rk×rm을 추정하라. 그 다음, 수학식 4에 의해 R8의 컨피던스를 얻어라:
Figure 112012109329685-pct00010
다음 수학식들을 사용하여 C1,i 및 C2,i를 정규화하라.
Figure 112012109329685-pct00011
Figure 112012109329685-pct00012
다음 수학식들을 사용하여 MRC(maximal ratio combining) 메소드와 임계값 ri의 추정을 조합하고: rj를 이용하여 임계값 ri(수학식에서 r1,i로 표현됨)를 추정하라.
Figure 112012109329685-pct00013
rk를 사용하여 ri(수학식에서 r2,i로 표현됨)를 추정하라.
Figure 112012109329685-pct00014
MRC 메소드에 의해 ri의 최종 추정을 획득하라:
Figure 112012109329685-pct00015
임계값은 획득된 ri를 사용하여 업데이트되므로, 카메라는, 객체가 객체의 상태 정보를 캡처하기 위해 임계 그리드들로 이동할 때, 전원을 공급할 수 있다. 도 5는 본 발명의 실시예에 따른 비디오 디바이스의 검출 범위를 보여주는 다이어그램이다. 도 5에서, 벽들의 아웃라인과 방에서 가구 배치가 보여진다. 두 개의 경계선 사이의 검출 영역에서, 사용자의 최소 배선폭(feature size)(얼굴 크기와 같은)과 카메라와 사용자 사이의 거리 간의 관계 또한 보여진다. 예를 들어, 성인 얼굴 크기/어린이 얼굴 크기에 기초한 스냅샷 시퀀스 이미지가 이미지 정보 발생기(120)의 메모리에 준비되어, 이러한 샘플 스냅샷 이미지들과 새로운 스냅샷 픽처의 비교에 기초하여, 디스플레이 디바이스에서 사용자까지의 러프한 거리(rough distance)가 정의될 수 있다. 사실, 사용자 식별 정보를 포함하는 RFID 태그는 어떤 유형의 얼굴이 비교를 위해 사용될 것인지를 선택하는데 도움이 될 수 있다. 예를 들어, 사용자 얼굴 특징이 RFID 태그에 저장될 수 있다. 동시에, 카메라 이미지에서 얼굴이 어디에 있는지(왼쪽/오른쪽/중간)에 대한 분석으로 사용자 방향 정보 또한 캡처될 수 있다.
도 6은 본 발명의 실시예에 따른 객체 인식을 위한 방법을 보여주는 순서도이다. 단계 601에서, 오프라인 트레이닝이 수행되어, 도 3에 도시된 선형 모델 매트릭스 및 임계 그리드(DR1-DR3)에서 원래의 임계값 신호 강도를 얻는다. 그 다음, 단계 602에서, 객체가 검출 범위에서 발견될 때, 카메라는 객체의 이미지 정보를 얻기 위해 켜지고, 단계 603에서, 객체가 발견되는 그리드는 이미지 정보에 따라 카메라에 의해 결정된다. 이 때, RF 디바이스는 또한 단계 604에서 객체에 부착된 RF 태그의 신호 강도를 검출하기 위해 이용가능하다. 선형 모델 매트릭스에 따라, 단계 605에서 임계 그리드들에서 현재 신호 강도 임계값이 획득되어, 단계 606에서 원래의 임계값을 업데이트한다.
전술한 것은 단지 본 발명의 실시예를 도시하는 것으로, 당업자라면, 여기에 명시적으로 설명되지 않았더라도, 본 발명의 원리를 구현하고 본 발명의 사상 및 범주 내에 있는 다수의 대안적인 어레인지먼트들을 고안할 수 있을 것이라는 것을 인정할 것이다.

Claims (9)

  1. 객체 추적 및 인식 시스템(100)으로서,
    상기 객체 추적 및 인식 시스템(100)의 검출 범위에 있는 객체의 이미지 정보를 얻기 위한 비디오 디바이스(110);
    상기 객체의 RF 태그의 신호 강도를 검출하기 위한 RFID 디바이스(130); 및
    중앙 프로세서(160)
    를 포함하고,
    상기 비디오 디바이스(110)는, 상기 검출된 신호 강도가 미리 결정된 신호 강도 임계값에 도달할 때, 상기 객체의 상기 이미지 정보를 얻기 위해 켜지도록 구성되고,
    상기 중앙 프로세서(160)는 상기 검출 범위에 있는 신호 강도의 관계 모델을 사용하여 상기 미리 결정된 신호 강도 임계값을 업데이트하고, 상기 관계 모델은 다음의 선형 모델에 의해서 모델링되며,
    Figure 112017069340015-pct00022

    상기 관계 모델은, 상기 검출 범위 내에 있는 영역들 사이에서 신호 강도의 선형 매트릭스 모델이고,
    ri는 i번째 그리드에서 수신된 신호 강도 샘플을 나타내고, rj는 j번째 그리드에서 수신된 신호 강도 샘플을 나타내고,
    Figure 112017069340015-pct00023
    및
    Figure 112017069340015-pct00024
    는 선형 모델의 계수인, 객체 추적 및 인식 시스템(100).
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 미리 결정된 신호 강도 임계값은 상기 객체로부터 상기 RFID 디바이스(130)까지의 거리에 해당하는 객체 추적 및 인식 시스템(100).
  5. 제1항에 있어서, 상기 미리 결정된 신호 강도 임계값은 상기 관계 모델에 기초하여 단일 또는 다수 지점 추정 방법에 의해 업데이트되는 객체 추적 및 인식 시스템(100).
  6. 제1항에 있어서, 상기 비디오 디바이스(110)와 RFID 디바이스(130)에 좌표 모델 또는 이미지 모델을 제공하기 위한 이미지 좌표 또는 이미지 모델(150)을 더 포함하는 객체 추적 및 인식 시스템 (100).
  7. 제1항에 있어서, 상기 객체 추적 및 인식 시스템(100)은, 이미지 정보가 상기 비디오 디바이스(110)와 상기 RFID 디바이스(130)에 의해 검출될 때, 전자 디바이스를 켜기/끄기 위해 전자 디바이스 상에 배열되도록 구성되는 객체 추적 및 인식 시스템(100).
  8. 객체 추적 및 인식 시스템(100)에서 사용된 방법으로서,
    비디오 디바이스(110)에 의해, 상기 객체 추적 및 인식 시스템의 검출 범위에 있는 객체의 이미지 정보를 얻는 단계;
    RFID 디바이스(130)에 의해, 상기 객체의 RF 태그의 신호 강도를 검출하는 단계 - 상기 검출된 신호 강도가 미리 결정된 신호 강도 임계값에 도달할 때, 상기 객체의 상기 이미지 정보를 얻기 위해 상기 비디오 디바이스(110)는 켜짐 -; 및
    상기 검출 범위에 있는 신호 강도의 관계 모델을 사용하여 상기 미리 결정된 신호 강도 임계값을 업데이트하는 단계 - 상기 관계 모델은 다음의 선형 모델에 의해서 모델링되며,
    Figure 112017069340015-pct00025

    상기 관계 모델은, 상기 검출 범위 내에 있는 영역들 사이에서 신호 강도의 선형 매트릭스 모델이고,
    ri는 i번째 그리드에서 수신된 신호 강도 샘플을 나타내고, rj는 j번째 그리드에서 수신된 신호 강도 샘플을 나타내고,
    Figure 112017069340015-pct00026
    및
    Figure 112017069340015-pct00027
    는 선형 모델의 계수임 -
    를 포함하는, 객체 추적 및 인식 시스템에서 사용된 방법.
  9. 삭제
KR1020127034397A 2010-07-02 2010-07-02 객체 추적 및 인식을 위한 방법 및 장치 KR101783072B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001000 WO2012000138A1 (en) 2010-07-02 2010-07-02 Method and apparatus for object tracking and recognition

Publications (2)

Publication Number Publication Date
KR20130103344A KR20130103344A (ko) 2013-09-23
KR101783072B1 true KR101783072B1 (ko) 2017-09-28

Family

ID=45401288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127034397A KR101783072B1 (ko) 2010-07-02 2010-07-02 객체 추적 및 인식을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9628675B2 (ko)
EP (1) EP2614413B1 (ko)
JP (1) JP5873864B2 (ko)
KR (1) KR101783072B1 (ko)
CN (1) CN103109244B (ko)
BR (1) BR112013000092A2 (ko)
WO (1) WO2012000138A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411037B2 (en) * 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization
WO2013128435A1 (en) * 2012-02-29 2013-09-06 Reshimo Ltd Tracking system for objects
US9547939B2 (en) * 2013-07-25 2017-01-17 Fluke Corporation Detecting and visualizing wireless network devices in communication networks
EP3108409A4 (en) * 2014-02-18 2017-11-01 Seebo Interactive Ltd. A system for obtaining authentic reflection of a real-time playing scene of a connected toy device and method of use
CN103927503B (zh) * 2014-04-03 2017-06-16 北京智谷睿拓技术服务有限公司 关联方法和关联设备
CN103995506A (zh) * 2014-05-05 2014-08-20 深圳创维数字技术股份有限公司 一种背景音乐控制方法、终端以及系统
CN104678770B (zh) * 2015-01-23 2019-03-01 小米科技有限责任公司 位移事件检测方法和系统
CN104766106A (zh) * 2015-03-05 2015-07-08 桑田智能工程技术(上海)有限公司 一种基于rfid标签信号强度的智能跟踪监控系统
US9811697B2 (en) 2015-09-04 2017-11-07 International Business Machines Corporation Object tracking using enhanced video surveillance through a distributed network
JP6597259B2 (ja) * 2015-12-10 2019-10-30 株式会社リコー プログラム、情報処理装置、画像表示方法、画像処理システム
WO2017197174A1 (en) * 2016-05-11 2017-11-16 H4 Engineering, Inc. Apparatus and method for automatically orienting a camera at a target
GB2565142B (en) 2017-08-04 2020-08-12 Sony Interactive Entertainment Inc Use of a camera to locate a wirelessly connected device
CN109271816A (zh) * 2018-09-04 2019-01-25 深圳市云辉牧联科技有限公司 基于rfid的智慧找牛方法及装置
US10674152B2 (en) * 2018-09-18 2020-06-02 Google Llc Efficient use of quantization parameters in machine-learning models for video coding
KR20210151192A (ko) * 2019-04-17 2021-12-13 애플 인크. 아이템을 추적하고 찾기 위한 사용자 인터페이스
US11823558B2 (en) 2019-04-28 2023-11-21 Apple Inc. Generating tactile output sequences associated with an object
CN110503752A (zh) * 2019-07-25 2019-11-26 江苏雷威建设工程有限公司 一种建筑施工用门禁管理方法、移动装置、存储介质
CN116261708A (zh) 2020-09-25 2023-06-13 苹果公司 用于跟踪和查找物品的用户界面
DE102021120130A1 (de) 2021-08-03 2023-02-09 Sick Ag Sicherheitssystem und Verfahren mit einem Sicherheitssystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123932A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 無線タグ利用映像システム
JP2006127355A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International 無線タグの位置推定システム
JP2008281239A (ja) * 2007-05-08 2008-11-20 Idec Corp 屋内環境制御システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066878B2 (ja) 1986-09-02 1994-01-26 清水建設株式会社 トンネルまたは地下空洞の覆工構造
JPS6363897U (ko) * 1986-10-15 1988-04-27
US7933968B1 (en) * 2000-06-20 2011-04-26 Koninklijke Philips Electronics N.V. Token-based personalization of smart appliances
JP3882610B2 (ja) * 2000-12-22 2007-02-21 株式会社デンソー 物探索システム
US6791603B2 (en) * 2002-12-03 2004-09-14 Sensormatic Electronics Corporation Event driven video tracking system
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
JP2004289208A (ja) * 2003-03-19 2004-10-14 Kyocera Corp 認証装置および認証方法
JP2005286493A (ja) * 2004-03-29 2005-10-13 Advanced Telecommunication Research Institute International 物品管理用記録装置
JP2006060471A (ja) * 2004-08-19 2006-03-02 Canon Inc 住宅用ｒｆｉｄシステム
JP2007074657A (ja) * 2005-09-09 2007-03-22 Oki Electric Ind Co Ltd 画像記録システムおよび画像記録方法
EP2281668B1 (en) * 2005-09-30 2013-04-17 iRobot Corporation Companion robot for personal interaction
CN1900856A (zh) * 2006-07-26 2007-01-24 中山大学 一种家电设备的非接触式自适应控制方法及其控制系统
JP4435190B2 (ja) 2007-02-16 2010-03-17 パナソニック株式会社 携帯端末装置およびキー
CN100514084C (zh) 2007-09-18 2009-07-15 澳门科技大学 无线射频识别系统的定位方法及其装置
CN101191833A (zh) 2007-12-12 2008-06-04 北京航空航天大学 一种基于接收信号强度的射频识别室内定位检测方法
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
US8334775B2 (en) * 2008-05-23 2012-12-18 Guardian Technologies RFID-based asset security and tracking system, apparatus and method
US8095265B2 (en) * 2008-10-06 2012-01-10 International Business Machines Corporation Recording, storing, and retrieving vehicle maintenance records
CN101673094A (zh) * 2009-09-23 2010-03-17 曾昭兴 一种家电控制装置和控制方法
JP5359935B2 (ja) * 2010-03-03 2013-12-04 カシオ計算機株式会社 近距離無線通信機、受信制御方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123932A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 無線タグ利用映像システム
JP2006127355A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International 無線タグの位置推定システム
JP2008281239A (ja) * 2007-05-08 2008-11-20 Idec Corp 屋内環境制御システム

Also Published As

Publication number Publication date
WO2012000138A1 (en) 2012-01-05
JP2013537618A (ja) 2013-10-03
KR20130103344A (ko) 2013-09-23
US9628675B2 (en) 2017-04-18
EP2614413B1 (en) 2017-03-01
BR112013000092A2 (pt) 2016-05-17
CN103109244B (zh) 2016-08-24
EP2614413A4 (en) 2015-07-29
JP5873864B2 (ja) 2016-03-01
CN103109244A (zh) 2013-05-15
EP2614413A1 (en) 2013-07-17
US20130107057A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
KR101783072B1 (ko) 객체 추적 및 인식을 위한 방법 및 장치
US10373244B2 (en) System and method for virtual clothes fitting based on video augmented reality in mobile phone
CN111738220B (zh) 三维人体姿态估计方法、装置、设备及介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
TW201440013A (zh) 基於虛擬地標之定位及地圖繪製技術
EP3252714A1 (en) Camera selection in positional tracking
CN111527461B (zh) 信息处理装置、信息处理方法和程序
CN109145809A (zh) 一种记谱处理方法和装置以及计算机可读存储介质
CN207067803U (zh) 一种用于处理任务区域的任务的移动电子设备
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
US11902677B2 (en) Patch tracking image sensor
CN113936085A (zh) 三维重建方法和装置
CN111589138A (zh) 动作预测方法、装置、设备及存储介质
Almasi et al. Human action recognition through the first-person point of view, case study two basic task
Wang et al. A survey of 17 indoor travel assistance systems for blind and visually impaired people
JP6959888B2 (ja) 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法
EP3068128A1 (en) Information processing device, information processing method, and information processing system
WO2020149149A1 (en) Information processing apparatus, information processing method, and program
JP5418938B2 (ja) グループ行動推定装置およびサービス提供システム
EP4012663A1 (en) Image processing device, image processing method, and program
Strecker et al. MR Object Identification and Interaction: Fusing Object Situation Information from Heterogeneous Sources
CN111402423A (zh) 一种传感器设置方法、装置及服务器
Kundu A Single Camera based Localization and Navigation Assistance for The Visually Impaired in Indoor Environments
US20240137664A1 (en) Patch tracking image sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant