KR20150069018A

KR20150069018A - 모바일 장치에서의 사용자 존재 검출

Info

Publication number: KR20150069018A
Application number: KR1020157012863A
Authority: KR
Inventors: 유리 레즈닉; 지펭 첸; 라훌 바남; 에두아르도 아스분; 바르시타 파르타사라티
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2012-10-22
Filing date: 2013-10-22
Publication date: 2015-06-22
Also published as: WO2014066352A1; US20150241962A1; EP2909699A1; JP2016502175A; CN105027029A

Abstract

예를 들면 하나 이상의 센서를 이용하여 모바일 장치에서 사용자의 존재를 결정하기 위한 시스템, 방법 및 수단이 제공된다. 모바일 장치는 얼굴을 검출할 수 있다. 모바일 장치는 검출된 얼굴과 관련된 얼굴 거리를 결정할 수 있다. 모바일 장치는 모바일 장치가 움직이고 있는지 움직이지 않는지를 표시하는 모션 상태를 결정할 수 있다. 모바일 장치는 하나 이상의 센서로부터의 정보를 이용하여 모션 상태를 결정할 수 있다. 모바일 장치는 얼굴 거리와 모션 상태에 기초하여 사용자 존재를 확인할 수 있다.

Description

모바일 장치에서의 사용자 존재 검출{USER PRESENCE DETECTION IN MOBILE DEVICES}

<관련 출원에 대한 교차 참조>

이 출원은 2012년 10월 22일자 출원한 미국 가특허 출원 제61/717,055호 및 2012년 10월 31일자 출원한 미국 가특허 출원 제61/720,717호를 우선권 주장하며, 상기 미국 가특허 출원들은 여기에서의 인용에 의해 그 전체 내용이 본원에 통합된다.

태블릿 컴퓨터, 스마트폰, 랩톱 컴퓨터 등의 모바일 장치는 다수의 센서를 구비할 수 있다. 모바일 장치는 하나의 장소로부터 다른 장소로 쉽게 운송될 수 있기 때문에, 모바일 장치에서의 사용자 검출 및 사용자 얼굴의 거리 추정이 어려운 문제로 될 수 있다. 매립형 센서, 예를 들면 카메라에 의해 제공되는 데이터가 정확하지 않을 수 있다. 기존의 검출 알고리즘(예를 들면, 비올라-존스(Viola-Jones) 얼굴 검출기)는 다수의 실제 상황에서 사용자를 검출하는데 있어서 잘못된 경보 또는 장애를 가져올 수 있다.

예를 들면 하나 이상의 센서를 이용하여 모바일 장치에서 사용자의 존재를 결정하기 위한 시스템, 방법 및 수단이 제공된다. 모바일 장치는 얼굴을 검출할 수 있다. 모바일 장치는 검출된 얼굴과 관련된 얼굴 거리를 결정할 수 있다. 얼굴 거리는, 동공간 거리, 카메라 화각(view angle), 눈 사이의 각, 또는 검출된 얼굴의 머리 폭을 포착하는 각 중의 하나 이상에 기초하여 산출될 수 있다.

모바일 장치는 모션 상태를 결정할 수 있다(예를 들면, 모바일 장치가 움직이고 있는 움직이지 않는지). 모션 상태는 모바일 장치 내의 하나 이상의 센서를 이용하여 결정될 수 있다.

모바일 장치는 얼굴 거리 및 모션 상태에 기초하여 사용자 존재를 확인할 수 있다. 사용자 존재를 확인하기 위해, 예를 들면, 모바일 장치는 거리 문턱값을 결정하고, 거리 문턱값을 얼굴 거리와 비교할 수 있다. 거리 문턱값은 모션 상태에 기초하여 결정될 수 있다.

도 1은 보정 상수(C)의 예시적인 모델링을 보인 그래프이다.
도 2는 주변 조도를 계산하기 위해 사용할 수 있는 로직의 예를 보인 도이다.
도 3은 사용자 행동 검출(UAD) API 및 프레임워크 아키텍처의 예를 보인 도이다.
도 4a는 동공간 거리(IDP)를 이용하여 화면으로부터의 사용자 거리에 대한 예시적인 계산을 보인 도이다.
도 4b는 머리 규모/폭(예를 들면, 얼굴 검출기에 의해 보고된 것)을 이용하여 화면으로부터의 사용자 거리에 대한 예시적인 계산을 보인 도이다.
도 5는 센서 신호 처리를 위한 데이터 구조의 예를 보인 도이다.
도 6은 얼굴 검출 및 얼굴 근접성 결정의 정확도를 개선하기 위한 퓨전 로직의 예를 보인 흐름도이다.
도 7a는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 7b는 도 7a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 7c는 도 7a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 액세스 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 7d는 도 7a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 7e는 도 7a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.

각종 도면을 참조하면서 예시적인 실시형태에 대해 구체적으로 설명한다. 이 설명이 가능한 구현의 구체적인 예를 제공하지만, 그 세부는 단순히 예시하는 것으로 의도되고 어떻게든 발명의 범위를 제한하지 않는다는 점에 주목하여야 한다.

개선된 사용자 경험(예를 들면, 비디오의 개선된 렌더링 및 스트리밍)을 위해 장치(예를 들면, 모바일 장치) 내의 카메라(예를 들면, 전방 카메라 또는 후방 카메라)를 이용하여 주변 광을 측정하는 시스템, 방법 및 수단이 제공될 수 있다. 카메라(예를 들면, 독립형 카메라, 스마트폰, 태블릿 및 랩톱 등의 내장 카메라)는 자동 노출 기능을 구비할 수 있다. 카메라로 사진을 촬영할 때, 사진에서의 균형잡힌 색 분포(예를 들면, 회색도)를 달성하기 위해 카메라 노출 시간, 구경(aperture) 및 ISO 속도 파라미터가 조정(예를 들면, 자동으로 조정)될 수 있다. 예를 들면, 노출 시간, 구경 및 ISO 속도를 포함한 조정된 값(예를 들면, 자동으로 조정된 값)들은 사진을 촬영할 때 존재하는 주변 광 파라미터(예를 들면, 장면 조도)를 산출/측정/추론하기 위해 사용될 수 있다.

산출된 장면 조도의 양은 예를 들면 비디오 스트리밍, 화상 회의, 모바일 게임 애플리케이션 등과 같은 멀티미디어 애플리케이션을 개선하기 위해 모바일 장치(예를 들면, 스마트폰, 태블릿, 랩톱, 카메라 등)에서 사용될 수 있다. 예를 들면, 모바일 장치가 (예를 들면, 애플리케이션을 통하여) 주변 광 파라미터(예를 들면, 조도)를 이용하여 애플리케이션의 사용자 인터페이스(예를 들면, 텍스트 크기, 텍스트 폰트, 텍스트 색, 텍스트 정보 등), 애플리케이션의 시각적 표시(예를 들면, 명암비, 해상도 등), 및/또는 애플리케이션의 데이터 전송 또는 전달 파라미터(예를 들면, 대역폭, 인코딩률, 요구 해상도 등)를 변경할 수 있다.

주변 조도에 대한 지식은 장치의 디스플레이에서 시각 정보를 렌더링할 때 도움을 줄 수 있다. 예를 들면, 모바일 장치는 전용 주변 조도 센서를 구비할 수 있다. 센서는 부정확한 정보를 제공할 수 있다. 예를 들면 센서에 의해 제공된 판독치는 10배까지 벗어날 수 있다. 일부 장치 내에는 그러한 센서가 없을 수 있다. 주변 조도를 추정 또는 산출하는 대안적인 방법이 제공될 수 있다. 여기에서 설명하는 구현 예들은 주변 광 센서를 포함하고 있지 않은 퍼스널 컴퓨터(PC) 또는 다른 유형의 장치에서의 비디오 렌더링에 적용될 수 있다.

카메라 설정/파라미터들 간에는 ISO 속도 및 주관적 조도에 관한 소정의 관계가 있을 수 있다. 상기 관계는 수학식 1과 같은 입사광 노출 방정식에 의해 주어질 수 있고,

여기에서 E는 조도(예를 들면, 룩스)이고, N은 구경비(예를 들면, f값)이며, t는 노출 시간(예를 들면, 셔터 속도)(초)이고, S는 ISO 산술 속도이고, C는 입사광 미터 보정 상수이다.

수학식 1은 조도(E)와 관련하여 재작성될 수 있다. 예를 들면, 수학식 1은 수학식 2와 같이 재작성될 수 있다.

수학식 2는 모바일 장치의 카메라의 하나 이상의 카메라 설정/파라미터의 값을 추출함으로써 사용될 수 있다. 카메라 설정은 예를 들면 조도, 구경비, 노출 시간, ISO 산술 속도, 입사광 미터 보정 상수 등을 포함할 수 있다. 카메라 설정은 포착된 이미지에 대하여 JPEG의 EXIF 파일 헤더에 기록될 수 있다. 카메라 설정은 카메라의 애플리케이션 프로그래밍 인터페이스(application programming interface, API)를 통하여 획득될 수 있다. 카메라 설정은 수학식 2와 함께 사용하여 조도를 계산할 수 있다. 정확한 결과를 보증하기 위해 적당한 보정 상수(C)의 값이 결정될 수 있다.

입사광 보정 상수의 하나 이상의 값을 이용할 수 있다. 예를 들면, ISO 2720:1974는 사진 노출계의 설계를 설명하고 플랫 수광체(flat light receptor)를 사용할 때 240-400의 범위로 C를 설정할 것을 제안한다. 반구면 수광체의 경우에, ISO 2720:1974는 C에 대하여 320-540의 범위를 제안한다. C의 이상적인 적당한 값은 장치 특유의 기초(basis)에 따라 결정될 수 있다.

여기에서는 보정 상수(C)의 선택에 관한 구현 예를 설명한다. 예를 들면, 표 1은 모바일 장치(예를 들면, 스마트폰)의 전방 카메라를 이용하고 노출계(예를 들면, 스펙트라사인 칸델라-II(SpectraCine Candella-II) 주변 노출계)를 이용하여 획득된 측정치의 예를 제공한다. 사진(picture)이 촬영되고 모바일 장치에 상주하는 애플리케이션(예를 들면, 네이티브 카메라 애플리케이션)에 의해 JPEG 이미지로서 저장된다. 카메라 설정 값은 저장된 JPEG 이미지로부터 획득될 수 있다. 예를 들면, 카메라 파라미터는 JPEG 파일의 EXIF 헤더로부터 검색할 수 있다. 카메라 설정 값이 카메라의 API로부터 획득될 수 있고, 따라서 모바일 장치에 상주하는 애플리케이션에 의해 사진이 촬영 및/또는 저장될 필요가 없다.

예시적인 폰을 이용하여 수행된 측정 및 산출의 예

#	이미지	카메라 설정	칸델라-II 측정 조도	예시적 모바일 폰을 이용한 추정 조도, C=680
1		F값:f/2.8 노출:1/8000초 ISO 속도: ISO-125	100K 룩스 주: 이 측정치는 노출계의 한계에 도달했기 때문에 부정확할 수 있다.	340K 룩스
2		F값:f/2.8 노출:1/1000초 ISO 속도: ISO-125	50K 룩스	42.6K 룩스
3		F값:f/2.8 노출:1/250초 ISO 속도: ISO-125	10K 룩스	10.6K 룩스
4		F값:f/2.8 노출:1/32초 ISO 속도: ISO-200	1K 룩스	852 룩스
5		F값:f/2.8 노출:1/8초 ISO 속도: ISO-640	100 룩스	66.6 룩스

보정 상수(C)를 결정할 때, 만일 태양광 직접 노출에 대응하는 측정치가 포함되면, 결과적인 보정 상수(C)는 354.5일 수 있다. 만일 태양광 직접 노출에 대응하는 제1 측정치가 배제되면, 나머지 포인트들은 680과 같은 보정 상수(C)를 이용하여 양호하게 모델링될 수 있다. 도 1은 보정 상수(C)의 예시적인 모델링을 보인 그래프이다. 도 1에 도시된 바와 같이, 태양광 직접 노출에 대응하는 제1 측정치는 예를 들면 그 측정치가 기준 장치(예를 들면, 스펙트라사인 칸델라-II)의 동적 범위의 한계에 도달할 수 있기 때문에 문제가 될 수 있다. 태양광 직접 노출하에서 디스플레이를 보는, 상기 제1 측정치에 의해 포착된 그러한 상황은 디스플레이를 보는 것이 디스플레이 파라미터와 관계없이 곤란하게 되는 상황을 나타낼 수 있다. 상기 제1 측정치를 배제함으로써 획득되는 예시적인 모델을 이용한 추정은 예를 들면 표 1에 예시된 것처럼 제공될 수 있다.

도 2는 주변 조도를 계산하는 예를 보인 도이다. 도 2에 예시된 바와 같이, 단계 202에서 모바일 장치가 주변 광 센서를 포함하는지 여부가 결정된다. 만일 모바일 장치가 주변 광 센서를 포함하고 있으면, 단계 204에서 센서 및/또는 모바일 장치가 신뢰/검증된 것인지 여부가 결정된다. 여기에서 설명하는 것처럼, 일부 주변 광 센서는 주변 광 파라미터(예를 들면, 조도)를 적절히 결정함에 있어서 부정확할 수 있다. 주변 광 파라미터를 정확히 결정할 수 있는 센서 및/또는 모바일 장치는 신뢰 또는 검증된 것이라고 간주될 수 있다. 검증은 모바일 장치 또는 모바일 장치에 상주하는 애플리케이션에 의해 사전구성될 수 있고, 또는 검증은 모바일 장치에 상주하는 애플리케이션에 의해 필요에 따라 결정될 수 있다. 만일 모바일 장치가 주변 광 센서를 포함하지 않고/않거나 센서 및/또는 모바일 장치가 신뢰 또는 검증되지 않으면, 단계 206 및 210에서, 카메라를 이용하여 모바일 장치의 주변 광 파라미터(예를 들면, 조도)를 결정할 수 있다. 만일 센서 또는 모바일 장치가 신뢰 또는 검증된 것이면, 단계 208 및 210에서, 주변 광 센서를 이용하여 모바일 장치의 주변 광 파라미터(예를 들면, 조도)를 결정할 수 있다.

주변 광 파라미터(예를 들면, 조도)는, 사용자의 경험을 향상시키고/향상시키거나 모바일 장치의 성능을 증대시키기 위해 모바일 장치의 애플리케이션에 의해 사용될 수 있다. 예를 들면, 사용자 인터페이스(UI) 파라미터, 전달 파라미터, 및/또는 모바일 장치에 상주하는 애플리케이션의 시각 정보 파라미터는 주변 광 파라미터에 응답하여 변경될 수 있다. 예를 들면, UI 파라미터는 텍스트 크기, 텍스트 폰트, 텍스트 색, 텍스트 정보, 또는 사용자에게 표시될 수 있는 애플리케이션의 사용자 입력일 수 있다. 주변 광 파라미터를 이용하여 UI 파라미터를 변경함으로써, 텍스트 또는 사용자 입력이 모바일 장치에 의해 경험하는 특수한 조도에 대하여 변경될 수 있기 때문에, 사용자는 더 잘 보고 애플리케이션과 상호작용할 수 있다. 전달 파라미터는 예를 들면 콘텐츠의 수신(예를 들면, 네트워크로부터)을 위해 애플리케이션/모바일 장치에 필요한/할당된 대역폭, (예를 들면, 네트워크로부터 수신될 수 있는)콘텐츠의 인코딩률, 또는 (예를 들면, 네트워크로부터 수신될 수 있는)콘텐츠의 요구 해상도일 수 있다. 모바일 장치는 경험되는 특정 조명 조건에 대하여 모바일 장치의 디스플레이에서 표시되는 콘텐츠를 개조(tailor)함으로써, 예를 들면, 주변 광 파라미터를 이용하여 애플리케이션의 전달 파라미터를 변경함으로써 대역폭을 활용하고(예를 들면, 대역폭을 더 효율적으로 활용하고), 배터리 전력을 절약하며, 및/또는 처리 전력을 감소시킬 수 있다. 시각 정보 파라미터는 예를 들면 애플리케이션의 정지 이미지 또는 비디오의 명암비 또는 해상도일 수 있다. 사용자는 예를 들면 애플리케이션의 시각 정보 파라미터를 변경함으로써, 경험되는 특정 조명 조건하에 모바일 장치의 디스플레이에서 애플리케이션의 정지 이미지 또는 비디오를 볼 수 있다.

예를 들면 사용자의 존재를 검출하고 화면으로부터의 사용자 거리를 추정하기 위해 모바일 장치의 전방 카메라 및/또는 센서로부터의 하나 이상의 입력을 이용하는 프레임워크 및 애플리케이션 프로그래밍 인터페이스(API)에 관한 구현 예가 제공될 수 있다. 여기에서 설명하는 구현 예는, 모바일 장치 내의 복수의 센서로부터의 입력을 조합하여 사용자의 존재 및 화면에 대한 사용자 거리를 애플리케이션에 보고하는 라이브러리/모듈을 위한 프레임워크 및 API(예를 들면, 최상위 수준 API)를 제공할 수 있다. 복수의 센서는 사용자의 존재 및 모바일 장치로부터 사용자의 가능한 거리를 추론하기 위해 사용할 수 있는 상보 정보(complementary information)를 포착할 수 있다.

사용자 검출 및 화면에 대한 사용자 거리의 추정이 제공될 수 있다. 예를 들면, 사용자 검출 및 화면에 대한 사용자 거리는 비디오 레이트 및/또는 대역폭 사용량을 줄이기 위해 적응적 스트리밍 애플리케이션에서 사용되도록 제공될 수 있다. 사용자 검출 및 화면에 대한 사용자 거리는 예를 들면 통신 시스템 사용자 인터페이스(UI) 및/또는 행동을 최적화하기 위해 화상 회의 애플리케이션에서 사용되도록 제공될 수 있다. 사용자 검출 및 화면으로부터의 사용자 얼굴 거리는 (예를 들면, 사용자의 상대적 위치 및/또는 보는 방향에 기초하여) 3D 객체 및/또는 비디오의 렌더링을 개선하기 위해 3D 게임 또는 스트리밍 애플리케이션에서 유용할 수 있다. 사용자 얼굴 검출 및 화면으로부터의 사용자 거리는, 폰트 및 페이지 디스플레이의 스케일을 사용자가 읽기에 더 편리하도록 조정(예를 들면, 동적으로 조정)하는 웹 브라우징 및 텍스트 편집 애플리케이션에서 유용할 수 있다. 사용자 검출 및 화면에 대한 사용자 거리는, 해상도 또는 다른 렌더링 파라미터를 줄여서(예를 들면, 동적으로 줄여서) 에너지를 절약하고 및/또는 사용자에 대한 비디오 전달의 정확성을 개선하도록 미래의 디스플레이 하드웨어에서 유용할 수 있다. 사용자 검출 및 화면에 대한 사용자 거리는 사용자의 거리 및 관련된 사용자 시력(vision)의 제한 및/또는 모션 제어의 정밀도에 기초하여 조정될 수 있는 일반적인 UI 기능 및 제어(예를 들면, 아이콘 등)에서 유용할 수 있다.

사용자의 거리는 다른 기능 및 애플리케이션에 영향을 주는 파라미터일 수 있다. 여기에서 설명하는 구현 예는, 그 행동을 최적화하기 위해 사용자에 대한 정보를 필요로 하는 복수의 애플리케이션에 유용할 수 있는 사용자 검출을 위한 프레임워크 및 API를 규정할 수 있다.

여기에서 설명하는 구현 예는 모바일 장치에서의 사용자 검출 및 사용자 거리 추정과 관련이 있다. 예를 들면, 여기에서 설명하는 구현 예는 얼굴 검출시의 잘못된 경보 및 검출 오류를 해결할 수 있다. 얼굴 검출 알고리즘(예를 들면, 모바일 운영체제와 함께 제공된 것)은 배경을 사용자 얼굴로서 검출할 수 있는데, 이것은 잘못된 경보이고 얼굴 거리의 부정확한 추정을 야기할 수 있다. 검출 오류는 사용자가 폰을 그의 얼굴에 너무 가깝게 유지하고 있을 때, 예를 들면 카메라가 얼굴 검출을 위한 전체 얼굴을 포착할 수 없을 때 발생할 수 있다.

여기에서 설명하는 구현 예는 사용자 활동(activity) 검출을 다룰 수 있다. 애플리케이션은 얼굴 검출 대신에 사용자의 활동을 검출할 것을 요구할 수 있다. 예를 들면, 하기의 사용자 활동, 즉 사용자가 폰을 손에 갖고 있는 것, 사용자가 폰을 주머지에 넣는 것, 사용자가 폰을 테이블(또는 임의의 다른 고정/정지 위치)에 놓는 것 등 중의 하나 이상이 구별될 수 있다. 만일 다른 사용자 활동이 검출 및/또는 구별되면, 사용자 활동 적응 애플리케이션이 (예를 들면, 여기에서 설명하는 구현 예에 따라서) 설계될 수 있다.

모바일 장치를 손에 갖고 있을 때, 모바일 장치는 사용자가 정적 자세(예를 들면, 앉아 있거나 서 있는 것)로 있는 동안, 사용자가 움직이고 있는 동안(예를 들면, 걷고 있거나 이동하는 자동차 내에 있는 동안), 사용자의 무릎에서(예를 들면, 태블릿으로 영화를 보면서 거실에 앉아있음) 또는 다른 상태로 유지될 수 있다. 그러한 구분은 시청 거리(즉, 사용자의 얼굴 거리) 및 다른 조건(예를 들면, 시각적 고정)이 이러한 다른 상태에서 비디오를 인식하는 법에 영향을 줄 수 있기 때문에 도움이 될 수 있다. 상태들을 구별하고(예를 들면, 모바일 장치의 센서들을 이용함으로써) 사용자 활동 적응 애플리케이션을 설계할 수 있다. 예를 들면, 모바일 장치에서, 가속도계와 자이로스코프는 사용자가 정적 자세로 있는지(예를 들면, 센서 판독치의 변화가 적음), 사용자가 움직이고 있는지(예를 들면, 센서 판독치의 변화가 큼), 장치가 사용자의 무릎에 있는지(예를 들면, 센서 판독치가 저주파수 근진동(muscular tremor)을 나타냄)를 결정하기 위해 사용될 수 있다. 이러한 상태(예를 들면, 모션 상태)는 전형적인 시청 거리와 관련될 수 있다. 식별된 상태에 대하여, 스트리밍 비트율, 예를 들면 멀티미디어 애플리케이션에서의 스트리밍 비트율이 상기 식별된 상태에 따라 적응될 수 있다.

여기에서 설명하는 구현 예는 센서 및 카메라 프레임워크 및 API를 다룰 수 있다. 센서(예를 들면, 카메라 및/또는 얼굴 검출)는 비디오 스트리밍(예를 들면, 시청 조건 적응 스트리밍)을 위하여 사용될 수 있다. 센서는 다른 애플리케이션, 예를 들면 사용자 적응 비디오 인코딩, 사용자 적응 웹 브라우저 등을 위해 사용될 수 있다. 다른 애플리케이션은 다른 기능을 요구할 수 있다. 애플리케이션은 사용자 적응적일 수 있다. 여기에서 설명하는 구현 예는 사용자 검출(예를 들면, 얼굴 검출, 사용자 존재 등)을 제공할 수 있다.

여기에서 설명하는 구현 예는 센서 신호 처리를 다룰 수 있다. 모바일 센서에 의해 수집된 데이터로부터 유용한 정보를 추출하기 위해, 구현 예는 예를 들면 센서 데이터에 대한 통계를 수집하고 필터를 설계하는 신호 처리를 포함할 수 있다. 센서에 의해 수집된 데이터는 불균일하고, 불규칙적이고 및/또는 무작위일 수 있다. 구현 예는 수집된 데이터에 필터를 직접 적용하지 않을 수 있다.

센서 및 카메라 프레임워크 및 API가 제공될 수 있다. 도 3은 사용자 활동 검출(user activity detection, UAD) API 및 프레임워크 아키텍처의 예를 보인 도이다. 도 3에 도시된 것처럼, 애플리케이션(318)은 UAD API를 활용하도록 구성될 수 있다. 도 3에 도시된 것처럼, UAD(316)가 제공될 수 있다. UAD(316)는 모바일 장치에서 동작하는 OS의 상부에 설치될 수 있다. OS는 모바일 장치의 다른 하드웨어 장치(302) 및/또는 센서, 예를 들면 센서, 카메라(310), 화면 방위(orientation), GPS 등에 대한 액세스성(accessibility)을 제공할 수 있다. UAD(316) 프레임워크는 모바일 장치 내의 하나 이상의 센서, 예를 들면 카메라(310), 마이크로폰, 광 센서(306), 글로벌 위치확인 시스템(GPS), 가속도계(304), 자이로스코프, 근접 센서(308), 콤파스, 만보기, 터치 스크린(312), 피부 전도성 센서, 압력계/센서(예를 들면, 사용자가 폰을 쥐는 힘을 측정하는 센서), 광 센서(306) 등으로부터 데이터/입력을 포착할 수 있다. UAD 프레임워크는 하나 이상의 센서로부터의 데이터/입력을 처리할 수 있다. UAD 프레임워크는 전용 UAD API를 통하여 애플리케이션에 결과를 제공할 수 있다.

UAD(316)는 디스플레이 처리부(330), 카메라 처리부(328), 이미지 처리 및 얼굴 검출부(332), 센서 신호 처리부(322, 324, 326) 및 퓨전 로직(320) 중의 하나 이상을 포함할 수 있다. 아키텍처는 확장될 수 있다. 운영체제(예를 들면, 안드로이드 운영체제)(314)가 제공될 수 있다. 안드로이드 운영체제는 여기에서의 구현 예 설명에서 예시적인 OS로서 사용되지만, 기본 원리는 다른 운영체제에도 적용될 수 있다.

UAD(316)의 디스플레이 처리부(330)가 제공될 수 있다. 일부 애플리케이션에 있어서, 사용자는 UAD 뒤에서 무슨 일이 발생하는지 알기를 원하지 않을 수 있다. 예를 들먼, 사용자는 스트리밍 비디오를 볼 수 있고 다른 정보에 의해 혼란스럽게 되는 것을 원하지 않을 수 있다. 애플리케이션은 그 애플리케이션에 의해 제공되는 콘텐츠를 나타낼(예를 들면, 단지 나타내기만 할) 수 있고 UAD로부터 입력(예를 들면, 카메라 이미지)은 나타내지 않을 수 있다. 일부 애플리케이션에 있어서, 사용자는 UAD 블록으로부터 콘텐츠를 보기 원할 수 있다. 예를 들면, 디버그 모드 또는 일부 대화 애플리케이션에 있어서, 사용자는 화면 디스플레이로부터 얼굴 검출 결과를 보기 원할 수 있다. UAD(316)는 UAD 결과를 표시할 것인지 하지 않을 것인지를 사용자가 선택하게 하는 옵션을 제공할 수 있다.

디스플레이 처리부는 카메라 처리부 및 얼굴 검출 블록으로부터 비트맵 파일을 판독하고 그것을 화면 상에 (예를 들면, 주기적으로) 표시하도록 스레드를 설정할 수 있다. 디스플레이 처리 및/또는 얼굴의 디스플레이는 UAD 결과를 표시하는 것이 바람직한 경우에 수행될 수 있다. 이것은 내부적으로 행해지고 사용자에게 투명할 수 있다.

카메라 처리부가 제공될 수 있다. 카메라에 의해 포착된 이미지를 획득하기 위한 (예를 들면, 안드로이드 OS에서의) 구현 예는 camera intent 메소드 및 Camera.takePicture() 메소드를 포함한 사용자 개시 포착, 및 다른 콜백 함수(예를 들면, setPreviewCallback, setPreviewCallbackWithBuffer, 및 setOneShotPreviewCallback)에 의해 설정되는 프리뷰 콜백 포착을 포함할 수 있다. 얼굴 검출기는 카메라로부터 이미지를 수신(예를 들면, 연속적으로 수신)할 수 있다. 콜백 메소드가 활용될 수 있다. 만일 사용자가 (예를 들면, API 레벨 10 및 그 전의 안드로이드 OS에서) 콜백을 이용하는 동안 화면에서 브리뷰를 나타내고 싶지 않으면, 콜백 메소드는 OS에서 디스플레이 SurfaceHolder를 널(null)로 설정함으로써 수행될 수 있다(예를 들면, 안드로이드에서 setPreviewDisplay를 널로 설정한다). 사용자는 OS에 SurfaceHolder 내지 setPreviewDisplay 함수를 제공할 수 있고, 그렇지 않으면, 콜백이 동작하지 않을 수 있다(예를 들면, API 레벨 11인 안드로이드 OS에서). OS(예를 들면, 안드로이드)는 API 함수(예를 들면, API 11 또는 그 이후에 setPreviewTexture라고 부르는 API 함수)을 추가할 수 있다. 이것은 카메라 이미지의 GPU 처리 및 렌더링을 위해 사용될 수 있다. API는 여기에서 설명하는 프레임워크에서 카메라 콜백을 위해 사용될 수 있다.

카메라 처리 블록은 디스플레이 처리 블록과 상호작용할 수 있다. 카메라는 디스플레이의 방위를 인식하고 (예를 들면, 얼굴 거리를 산출하기 전에) 파라미터를 제공할 수 있다. 카메라 처리 블록은 bmp 버퍼를 디스플레이 처리 블록과 공유할 수 있다.

카메라 처리부는 카메라 콜백 API로부터 미가공(raw) 이미지 데이터를 끌어내도록 스레드를 설정할 수 있고, 이미지 처리 및 얼굴 검출을 할 수 있다(예를 들면, 주기적으로). 이것은 내부적으로 수행되고 사용자에게 투명할 수 있다.

이미지 처리 및 얼굴 검출부가 제공될 수 있다. 이미지 처리부는 얼굴 검출부 앞에 추가될 수 있다. 프레임워크는 미가공 이미지 데이터에 대하여 동작하는 하나 이상의 이미지 전처리 기술의 추가를 허용할 수 있다. 예를 들면, 프레임워크는 카메라 이미지 디노이징(denoising), 다운샘플링/업샘플링, 시간적 이미지 필터링 등을 활용할 수 있다. 예를 들면, YUV 이미지는 예컨대 컬러 이미지 출력 및/또는 그레이 이미지 출력으로서 제공될 수 있는 bmp 이미지로 변환될 수 있다.

만일 OS가 얼굴 검출을 위한 고유 API를 제공하면, 여기에서 설명하는 구현 예는 얼굴 검출을 위해 고유 API를 활용할 수 있다. 예를 들면, 안드로이드 OS는 그러한 함수를 제공할 수 있다. 구현 예는 소프트웨어 구현(예를 들면, 비올라-존스 알고리즘의 소프트웨어 구현)을 가동할 수 있다.

(예를 들면, 얼굴 검출기 결과를 이용하는) 얼굴 거리 추정이 제공될 수 있다. 만일 얼굴 검출기의 결과가 포지티브(positive)이면, 그 결과는 모바일 장치의 화면에 대한 사용자의 거리를 추정하는데 활용될 수 있다. 눈 위치 검출기는 화면으로부터 사용자의 거리를 도출하기 위해 사용자의 동공간 거리(interpupilary distance, IPD)를 결정하는데 활용될 수 있다. 사용자의 IPD 값은 사용자를 특정하는 파라미터 중의 하나로서 활용될 수 있다. 디폴트 IPD 값이 설정될 수 있다. 예를 들면, 디폴트 IPD는 성인 시청자의 평균치에 대응하는 63 mm로 설정될 수 있다. 성인 시청자들 중의 IPD 분포의 표준편차는 약 3.8 mm일 수 있다. 대부분의 시청자의 경우에, 시청자의 실제 IPD는 63 mm로부터 최대 18%까지 달라질 수 있다.

얼굴 폭/규모(scale) 파라미터가 얼굴 검출 알고리즘에 의해 반환될 수 있고, 만일 눈 검출을 이용할 수 없거나 양의 결과를 생성하지 않으면, 구현 예를 활용할 수 있다. 도 4a는 동공간 거리(IPD)를 이용하여 화면으로부터 사용자의 얼굴 거리를 계산하는 예를 보인 도이다. 도 4b는 (예를 들면, 얼굴 검출기에 의해 보고될 수 있는) 머리 규모/폭을 이용하여 화면으로부터 사용자의 거리를 계산하는 예를 보인 도이다. 카메라 화각(view angle) 및 사용자 눈 사이의 각(α) 또는 머리 폭 포착 각(β)을 활용할 수 있다. 카메라 화각은 모바일 장치(402)의 방위에 의존할 수 있다. 값들은 카메라 화각이 정확하게 결정되는 것을 보장하기 위해 방위 센서로부터의 입력을 판독한 후에 검색될 수 있다.

사용자 눈 사이각(α)을 이용하여 화면에 대한 사용자 거리를 계산하는 구현 예가 제공된다. 머리 폭 각(β)을 이용한 도출도 유사할 수 있다. 화면으로부터의 사용자 거리(d)는 하기 수학식과 같이 결정될 수 있다.

상기 수학식은 다음과 같이 재작성될 수 있다.

그 다음에 우리는 하기 수학식

을 이용할 수 있고, 이것은 하기 수학식

을 제공할 수 있다.

상기 수학식은 모바일 장치의 화면으로부터 사용자 거리(d)를 결정하는데 활용될 수 있다.

센서 신호 처리부가 제공될 수 있다. OS는 복수의 센서를 지원할 수 있다. 예를 들면, 안드로이드 OS의 버전은 13개의 상이한 센서를 지원할 수 있다. 폰은 이용가능한 이러한 센서들의 서브세트를 포함할 수 있다. 센서 데이터의 신호 처리는 UAD의 일부로서 포함될 수 있다. 다른 사용자 활동은 다른 센서 데이터 통계를 야기할 수 있다. 예를 들면, 사람들은 그들의 손에 모바일 장치를 잡고 있을 수 있고, 모바일 장치를 그들의 주머니에 넣어둘 수 있고, 및/또는 모바일 장치를 테이블 위에 둘 수 있으며, 이러한 각각의 조건은 상이한 센서 데이터 통계를 야기할 수 있다.

도 5는 센서 신호 처리를 위한 데이터 구조의 예를 보인 도이다. 신호 처리(예를 들면, 필터링)는 균일한 신호 샘플링의 장점을 가질 수 있다. 일부 OS(예를 들면, 안드로이드)에 있어서는 센서로부터의 샘플링 데이터가 불균일할 수 있다. 각 요소가 복수의 컴포넌트를 갖는 경우에는 원형 버퍼를 설계하고 활용할 수 있다. 예를 들면, 각 요소는 도 5에 도시한 바와 같이 2개의 컴포넌트, 즉 샘플 값과 타임 스탬프를 가질 수 있다. 센서 샘플은 원형 버퍼에 위치할 수 있지만(예를 들면, 무작위로), 통계는 퓨전 로직에 의해 규칙적으로 검색될 수 있다. 타임 스탬프는 통계를 정제하기 위해 사용될 수 있다. 타임 스탬프는 가중 필터 설계를 위해 사용될 수 있다. 센서 신호 처리 블록은 유사한 구조를 공유할 수 있고, 따라서 공통 부분은 융통성 있는 API를 가진 클래스로서 구현될 수 있다.

퓨전 로직이 제공될 수 있다. 퓨전 로직은 하나 이상(예를 들면, 복수)의 센서로부터의 입력을 조합하여 예를 들면 API에 의해 애플리케이션에 노출되는 UAD 메트릭을 생성할 수 있다. 여기에서 설명하는 구현 예는 다른 센서 신호 처리 블록, 이미지 처리 및 얼굴 검출 블록 등으로부터의 통계 및 다른 유용한 정보를 수집 및 계산할 수 있다. 여기에서 설명하는 구현 예는 애플리케이션의 요건에 기초하여 통계들을 분석 및 처리할 수 있다. 여기에서 설명하는 구현 예는 애플리케이션 설계를 위한 결과들을 생성할 수 있다. 퓨전 로직의 일 예는 예를 들면 여기에서 설명하는 바와 같이 사용자가 화면 내에 존재하는지 검출하는 것 및 얼굴 검출 결과를 개선하는 것일 수 있다.

UAD API가 제공될 수 있다. 상위 레벨 사용자 활동 API의 요소들이 여기에서 제공된다. 예를 들면, UAD 라이브러리를 시작하기 위해, 애플리케이션은 클래스 UserActivityDetection를 실증(instantiate)할 수 있다. 이것은 하기의 호출(call)에 의해 행해질 수 있다.

mUAD = new UserActivityDetection(this, display_flag)

여기에서 display_flag는 전방 카메라 프리뷰 창이 화면에 투영되는지를 표시할 수 있다.

이 함수는 예를 들면 애플리케이션 내의 onCreate() callback 함수로부터 호출될 수 있다. 프리뷰 창을 표시하는 것이 바람직하면, 애플리케이션은 하기 알고리즘을 호출할 수 있다.

if(display_flag){

setContentView(mUAD.get_display());

}

디스플레이를 정지하기 위해, 애플리케이션은 하기 알고리즘을 호출할 수 있다.

mUAD.mDisplay.stop_display();

애플리케이션은 활동 콜백에서 하기의 호출 중 하나 이상을 추가할 수 있다.

사용자 활동 결과를 검색하기 위해, 애플리케이션은 하기의 인터페이스를 이용할 수 있다.

m_uad_result = mUAD.get_uad_result_l();

여기에서 m_uad_result는 현재 하기 구조로서 규정된다.

예를 들면 사용자가 모바일 장치(예를 들면, 폰/태블릿)을 손에 갖고 있을 때, 사용자가 모바일 장치를 주머니/소매 속에 소지하고 있을 때, 및/또는 사용자가 모바일 장치를 갖고 있거나 소지하고 있지 않을 때(예를 들면, 모바일 장치가 테이블 위에 있을 때) 사용자 활동 검출이 제공될 수 있다.

사용자가 그들의 모바일 장치로 비디오 또는 임의의 다른 콘텐츠를 보고 있을 때, 폰은 사용자의 손에 있을 수 있다. 사용자의 존재를 검출하기 위한 구현 예는 복수의 기준에 기초를 둘 수 있다. 예를 들면, 사용자의 존재를 검출하기 위한 구현 예는 가속의 정역학(예를 들면, 3개의 방향 모두에서) 및 모바일 장치의 방위에 대한 중력의 방향에 기초를 둘 수 있다.

가속도계에 의해 생성된 데이터(예를 들면, 데이터의 변화)가 소정의 값 문턱값을 초과하면, 사용자가 존재한다고 결정할 수 있다. 폰의 방위는 예를 들면 상기 문턱값을 낮춤으로써 검출을 개선하기 위해 사용될 수 있다. 예를 들면, 사용자가 그들의 모바일 장치로 비디오를 보고 있을 때, 사용자는 모바일 장치를 소정의 각도 범위로 유지할 수 있다. 상기 각도 범위는 여기에서 설명하는 구현 예에 의해 활용될 수 있다. 폰의 방위(예를 들면, 상기 각도 범위에 따른 것)는 사용자가 그들의 모바일 장치로 비디오를 보고 있을 때의 시나리오에서 활용될 수 있다.

복수의 센서로부터 수신된 데이터의 융합(예를 들면, 조합)은 얼굴 검출 및 얼굴 근접 검출시에 잘못된 경보를 줄이기 위해 활용될 수 있다. 예를 들면, OpenCV는 예를 들면 비올라-존스 얼굴 검출 알고리즘에 기초한 오픈 소스 구현 예로서 비올라-존스 얼굴 검출 알고리즘을 구현할 수 있다. 특징들은 예를 들면 기하학적 얼굴 특징, 시간적 모션 제한, 포스트 이미지(post-image) 처리 기술 등을 이용하여 (예를 들면, 잘못된 경보 및 오검출률을 줄임으로써) 얼굴 검출을 개선하기 위해 사용 또는 추가될 수 있다. 고유의 얼굴 검출 알고리즘은 (예를 들면, 안드로이드 OS에서) 예컨대 비올라-존스 얼굴 검출 알고리즘을 보완하기 위해 활용될 수 있다. 폰의 추가적인 센서들은 얼굴 검출 결과를 개선하기 위해 활용될 수 있다. 예를 들면, 안드로이드의 고유 얼굴 검출 알고리즘은 일부 배경을 사용자의 얼굴로서 검출할 수 있고, 이것은 잘못된 경보이고 얼굴 거리에 대한 잘못된 추정을 야기할 수 있다. 오검출에 대한 다른 시나리오는 카메라가 얼굴 검출을 위한 전체 얼굴을 포착할 수 없을 정도로 사용자가 모바일 장치를 그들의 얼굴에 너무 가까이 유지하는 때일 수 있다.

도 6은 예를 들면 여기에서 설명하는 융합 기술을 사용할 수 있는 얼굴 검출 및 얼굴 근접 결정의 예를 보인 것이다. 단계 602에서, 얼굴 검출 알고리즘이 호출된다. 만일 얼굴이 검출되면, 장치와 사용자 얼굴 간의 거리는 여기에서 설명하는 것처럼 예를 들면 이미지 평면 검출기(ipd) 및/또는 카메라 화각 범위에 의해 산출될 수 있다. 얼굴 검출과 함께, 단계 604에서, 얼굴 거리의 변화율이 계산될 수 있다. 얼굴 거리의 변화율은 검출된 얼굴의 일관성을 체크하기 위해 수행될 수 있다. 예를 들어서, 만일 얼굴 거리 변화율이 높으면, 단계 606에서, 검출된 얼굴이 잘못된 포지티브(false positive)라고 결정하고, 복수의 장치 센서로부터의 정보를 이용하여 사용자 존재를 결정할 수 있다.

가속도계 통계는 사용자가 장치를 갖고 있는지 여부를 결정하기 위해 사용될 수 있다(예를 들면, 모션 상태는 장치가 움직이고 있는지(in motion)의 여부를 표시한다). 단계 608에서, 사용자 모션이 검출된다(예를 들면, 모션 상태는 장치가 움직이고 있음을 표시한다). 만일 사용자의 모션이 검출되면(예를 들면, 모션 상태는 장치가 움직이고 있음을 표시한다), 단계 610에서, 사용자의 얼굴과 화면 간의 거리는 소정 범위를 초과(cap)할 수 있다(예를 들면, 8-27 인치 범위가 사용자 존재를 확인하기 위해 검출된 모션과 함께 사용될 수 있고, 그래서, 만일 모션이 검출되고 얼굴이 8-27 인치 범위 내에서 검출되면, 사용자의 존재가 확인될 수 있다). 8-27 인치 범위는 사용자가 그들의 모바일 장치를 잡고 있을 때 정상적으로 달성될 수 있는 범위이다. 만일 장치가 움직이지 않는다(at rest)고 가속도계 데이터가 표시하면(예를 들면, 모션 상태가 장치가 움직이지 않는다고 표시한다), 단계 614에서, 사용자가 장치를 잡고 있지 않다고 추정하고, 단계 614에서, 범위의 상한이 완화되고 다른 범위로 설정될 수 있다(예를 들면, 8-70 인치 범위가 사용자 존재를 확인하기 위해 사용될 수 있고, 그래서, 만일 모션이 검출되지 않고 얼굴이 8-70 인치 범위에서 검출되면, 사용자의 존재가 확인될 수 있다). 8-70 인치 범위는 얼굴 검출기 알고리즘의 전형적인 동작 범위에 대응한다. 만일 사용자가 화면으로부터 더 멀어지면, 카메라의 해상도 및 얼굴 검출기의 정밀도가 사용자의 존재를 검출하기에 충분하지 않을 수 있다.

얼굴 검출 결과를 처리할 때, 다른 요소, 예를 들면, 인간 모션의 속도(예를 들면, 인간 모션의 유한 속도)가 고려될 수 있다. 예를 들어서 만일 사람이 폰을 잡고 있으면 시청 거리가 천천히 변하는 것으로 추정할 수 있고, 특정 범위(예를 들면, 3-5 인치/초)를 초과하는 점프가 잘못된 경보의 표시자로서 사용될 수 있다.

단계 612 또는 616에서, 획득된 얼굴 거리 값은 예를 들면 저역 통과 필터 또는 메디안 필터를 이용하여 시간적으로 필터링될 수 있다. 필터링된 결과는 사용자 애플리케이션에 전송될 수 있고, 사용자 애플리케이션은 UAD API를 호출할 수 있다.

얼굴 검출 알고리즘이 얼굴을 검출하지 않은 상황에서, 여기에서 설명하는 구현 예는 센서 통계 및/또는 이전에 검출된 얼굴 거리에 의존할 수 있다. 단계 620에서, 만일 센서 데이터가 사용자의 존재를 표시하고 얼굴 거리 값이 사용자 활동의 평균 거리일 수 있는 문턱값(예를 들면, 12.7 인치)보다 작으면, 단계 624에서, 검출된 얼굴 거리 값이 유지될 수 있다. 그 이유는, 만일 얼굴이 검출되지는 않았지만 사용자 존재가 검출되었고 사용자가 더 빨리 장치에 근접하였으면, 사용자가 아직 장치에 근접하게 있지만 카메라가 얼굴 검출을 위한 전체 얼굴을 포착하지 못할 가능성이 높기 때문이다. 계산된 얼굴 거리 값이 문턱값(예를 들면, 12.7 인치)보다 더 큰 상황에서는 단계 626에서 계산된 얼굴 거리가 문턱값(예를 들면, 12.7 인치)까지 변화(예를 들면, 점차적으로 변화)될 수 있다.

사용자의 얼굴이 검출되지 않았고 사용자의 존재가 검출되지 않은 상황에서는, 단계 628에서, 타임아웃이 시작되고 얼굴 거리 값이 문턱값(예를 들면, 70 인치) 쪽으로 변화(예를 들면, 점차적으로 변화)할 수 있다. 상기 문턱값은 예컨대 사용자가 전방 카메라를 이용할 때 사용자를 감지할 수 있는 수평 범위(horizon)를 제한할 수 있다.

양자의 경우에서 변화(예를 들면, 점차적 변화)를 사용하면 여분의 로버스트성(degree of robustness)을 알고리즘에 추가할 수 있다. 예를 들면, 사용자는 잠시 카메라의 시야 안/밖에 있을 수 있고, 만일 사용자가 짧은 시구간 내에 다시 나타나면, 상기 변화는 보고된 거리에서 작은 변동만을 야기할 수 있다.

여기에서 설명한 세부들은 단순히 예시하는 것이고 어떻게든 발명의 범위를 제한하는 것이 아니다. 추가의 구현예가 여기에서 설명한 주제와 함께 사용되거나 추가될 수 있다. 예를 들면, 카메라 및/또는 조도 센서가 가려져 있는지(예를 들면, 사용자가 폰을 쥐고 있기 때문에)를 결정하는 카메라 입력과 함께, 주변 조도 센서를 활용할 수 있다. 폰의 방위는 또한 예를 들면 얼굴 검출기가 동작중에 있는지 등을 결정하기 위해 활용될 수 있다. 비제한적인 예로서, 디스플레이 터치, 근접, 및 마이크로폰 센서와 같은 다른 센서로부터의 입력이 퓨전 로직에 추가(예를 들면, 결합)되어 결과들의 신뢰도를 개선할 수 있다.

도 7a는 하나 이상의 본 발명의 실시형태를 구현할 수 있는 예시적인 통신 시스템(500)을 보인 도이다. 통신 시스템(500)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(500)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 리소스를 공유함으로써 상기 콘텐츠에 액세스할 수 있게 한다. 예를 들면, 통신 시스템(500)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.

도 7a에 도시된 것처럼, 통신 시스템(500)은 무선 송수신 유닛(WTRU)(502a, 502b, 502c, 502d), 무선 액세스 네트워크(radio access network; RAN)(503/504/505), 코어 네트워크(506/507/509), 공중 교환식 전화망(public switched telephone network; PSTN)(508), 인터넷(510) 및 기타 네트워크(512)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(502a, 502b, 502c, 502d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(502a, 502b, 502c, 502d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품, 또는 압축 영상 통신을 수신 및 처리할 수 있는 임의의 다른 단말을 포함할 수 있다.

통신 시스템(500)은 기지국(514a)과 기지국(514b)을 또한 포함할 수 있다. 각각의 기지국(514a, 514b)은 적어도 하나의 WTRU(502a, 502b, 502c, 502d)와 무선으로 인터페이싱하여 코어 네트워크(506/507/509), 인터넷(510) 및/또는 네트워크(512)와 같은 하나 이상의 통신 네트워크에 액세스하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(514a, 514b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 액세스 포인트(access point; AP), 무선 라우터 등일 수 있다. 기지국(514a, 514b)이 각각 단일 요소로서 도시되어 있지만, 기지국(514a, 514b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.

기지국(514a)은 RAN(503/504/505)의 일부일 수 있고, RAN(503/504/505)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(514a) 및/또는 기지국(514b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(514a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(514a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(514a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.

기지국(514a, 514b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(air interface)(515/516/517)를 통하여 하나 이상의 WTRU(502a, 502b, 502c, 502d)와 통신할 수 있다. 무선 인터페이스(515/516/517)는 임의의 적당한 무선 액세스 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.

더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(500)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들면, RAN(503/504/505) 내의 기지국(514a)과 WTRU(502a, 502b, 502c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(515/516/517)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.

다른 실시형태에 있어서, 기지국(514a)과 WTRU(502a, 502b, 502c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(515/516/517)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.

다른 실시형태에 있어서, 기지국(514a)과 WTRU(502a, 502b, 502c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.

도 7a의 기지국(514b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(514b)과 WTRU(502c, 502d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(514b)과 WTRU(502c, 502d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(514b)과 WTRU(502c, 502d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 7a에 도시된 바와 같이, 기지국(514b)은 인터넷(510)에 직접 접속될 수 있다. 그러므로, 기지국(514b)은 코어 네트워크(506/507/509)를 통해 인터넷(510)에 접속할 필요가 없다.

RAN(503/504/505)은 코어 네트워크(506/507/509)와 통신하고, 코어 네트워크(506/507/509)는 하나 이상의 WTRU(502a, 502b, 502c, 502d)에, 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(506/507/509)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 도 7a에 도시되어 있지 않지만, RAN(503/504/505) 및/또는 코어 네트워크(506/507/509)는 RAN(503/504/505)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하여 RAN(503/504/505)에 접속하는 것 외에, 코어 네트워크(506/507/509)는 GSM 무선 기술을 이용하여 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.

코어 네트워크(506/507/509)는 WTRU(502a, 502b, 502c, 502d)가 PSTN(508), 인터넷(510) 및/또는 기타 네트워크(512)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(508)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(510)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(512)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(512)는 RAN(503/504/505)과 동일한 RAT 또는 다른 RAT를 이용하여 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.

통신 시스템(500)의 WTRU(502a, 502b, 502c, 502d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 즉, WTRU(502a, 502b, 502c, 502d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 7a에 도시된 WTRU(502c)는 셀룰러 기반 무선 기술을 이용하는 기지국(514a)과 통신하고, IEEE 802 무선 기술을 이용하는 기지국(514b)과 통신하도록 구성될 수 있다.

도 7b는 예시적인 WTRU(502)의 계통도이다. 도 7b에 도시된 바와 같이, WTRU(502)는 프로세서(518), 송수신기(520), 송수신 엘리멘트(522), 스피커/마이크로폰(524), 키패드(526), 디스플레이/터치패드(528), 비분리형 메모리(530), 분리형 메모리(532), 전원(534), 글로벌 위치확인 시스템(GPS) 칩세트(536) 및 기타 주변장치(538)를 포함할 수 있다. WTRU(502)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 기지국(514a, 514b), 및/또는 기지국(514a, 514b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 액세스 포인트(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB), 홈 e노드-B 게이트웨이, 및 프록시 노드를 대표할 수 있는 노드들은 도 7b에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함할 수 있다.

프로세서(518)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 그래픽 처리 유닛(GPU), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적 회로(IC), 상태 기계 등일 수 있다. 프로세서(518)는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(502)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(518)는 송수신기(520)에 결합되고, 송수신기(520)는 송수신 엘리멘트(522)에 결합될 수 있다. 비록 도 7b에서는 프로세서(518)와 송수신기(520)가 별도의 구성요소로서 도시되어 있지만, 프로세서(518)와 송수신기(520)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.

송수신 엘리멘트(522)는 무선 인터페이스(515/516/517)를 통하여 기지국(예를 들면 기지국(514a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(522)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리멘트(522)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 이미터/디텍터일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리멘트(522)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(522)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.

또한, 비록 송수신 엘리멘트(522)가 도 7b에서 단일 엘리멘트로서 도시되어 있지만, WTRU(502)는 임의 수의 송수신 엘리멘트(522)를 포함할 수 있다. 더 구체적으로, WTRU(502)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(502)는 무선 인터페이스(515/516/517)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(522)(예를 들면, 다중 안테나)를 포함할 수 있다.

송수신기(520)는 송수신 엘리멘트(522)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(522)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(502)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(520)는 WTRU(502)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.

WTRU(502)의 프로세서(518)는 스피커/마이크로폰(524), 키패드(526), 및/또는 디스플레이/터치패드(528)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(518)는 또한 스피커/마이크로폰(524), 키패드(526), 및/또는 디스플레이/터치패드(528)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(518)는 비분리형 메모리(530) 및/또는 분리형 메모리(532)와 같은 임의 유형의 적당한 메모리로부터의 정보에 액세스하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(530)는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 분리형 메모리(532)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(518)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 WTRU(502)에 물리적으로 위치하지 않는 메모리로부터의 정보에 액세스하고 그러한 메모리에 데이터를 저장할 수 있다.

프로세서(518)는 전원(534)으로부터 전력을 수신하고, WTRU(502)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(534)은 WTRU(502)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(534)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

프로세서(518)는 WTRU(502)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(536)에 또한 결합될 수 있다. GPS 칩세트(536)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(502)는 기지국(예를 들면 기지국(514a, 514b))으로부터 무선 인터페이스(515/516/517)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(502)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.

프로세서(518)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(538)에 또한 결합될 수 있다. 예를 들면, 주변 장치(538)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.

도 7c는 일 실시형태에 따른 RAN(503) 및 코어 네트워크(506)의 계통도이다. 전술한 바와 같이, RAN(503)은 UTRA 무선 기술을 이용하여 무선 인터페이스(515)를 통해 WTRU(502a, 502b, 502c)와 통신할 수 있다. RAN(503)은 코어 네트워크(506)와 또한 통신할 수 있다. 도 7c에 도시된 것처럼, RAN(503)은 노드-B(540a, 540b, 540c)를 포함하고, 노드-B(540a, 540b, 540c)는 무선 인터페이스(515)를 통하여 WTRU(502a, 502b, 502c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(540a, 540b, 540c)는 RAN(503) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있다. RAN(503)은 또한 RNC(542a, 542b)를 포함할 수 있다. RAN(503)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.

도 7c에 도시된 것처럼, 노드-B(540a, 540b)는 RNC(542a)와 통신할 수 있다. 또한, 노드-B(540c)는 RNC(542b)와 통신할 수 있다. 노드-B(540a, 540b, 540c)는 Iub 인터페이스를 통해 각각의 RNC(542a, 542b)와 통신할 수 있다. RNC(542a, 542b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(542a, 542b)는 이들이 접속된 각각의 노드-B(540a, 540b, 540c)를 제어하도록 구성될 수 있다. 또한 각각의 RNC(542a, 542b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.

도 7c에 도시된 코어 네트워크(506)는 미디어 게이트웨이(MGW)(544), 모바일 스위칭 센터(MSC)(546), 서빙 GPRS 지원 노드(SGSN)(548) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(550)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(506)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.

RAN(503)에 있는 RNC(542a)는 IuCS 인터페이스를 통해 코어 네트워크(506) 내의 MSC(546)에 접속될 수 있다. MSC(546)는 MGW(544)에 접속될 수 있다. MSC(546)와 MGW(544)는 PSTN(508)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공하여 WTRU(502a, 502b, 502c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.

RAN(503)에 있는 RNC(542a)는 IuPS 인터페이스를 통해 코어 네트워크(506) 내의 SGSN(548)에 또한 접속될 수 있다. SGSN(548)은 GGSN(550)에 접속될 수 있다. SGSN(548)과 GGSN(550)은 인터넷(510)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공하여 WTRU(502a, 502b, 502c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.

전술한 바와 같이, 코어 네트워크(506)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(512)에 또한 접속될 수 있다.

도 7d는 다른 실시형태에 따른 RAN(504) 및 코어 네트워크(507)의 계통도이다. 전술한 바와 같이, RAN(504)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(516)를 통해 WTRU(502a, 502b, 502c)와 통신할 수 있다. RAN(504)은 코어 네트워크(507)와 또한 통신할 수 있다.

RAN(504)이 e노드-B(560a, 560b, 560c)를 포함하고 있지만, RAN(504)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(560a, 560b, 560c)는 무선 인터페이스(516)를 통하여 WTRU(502a, 502b, 502c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. e노드-B(560a, 560b, 560c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(560a)는 복수의 안테나를 사용하여 WTRU(502a)에 무선 신호를 송신하고 WTRU(502a)로부터 무선 신호를 수신할 수 있다.

각각의 e노드-B(560a, 560b, 560c)는 특정 셀(도시 생략됨)과 연관될 수 있고, 무선 리소스 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 7d에 도시된 바와 같이, e노드-B(560a, 560b, 560c)는 X2 인터페이스를 통해 서로 통신할 수 있다.

도 7d에 도시된 코어 네트워크(507)는 이동성 관리 게이트웨이(MME)(562), 서빙 게이트웨이(564) 및 패킷 데이터 네트워크(PDN) 게이트웨이(566)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(507)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.

MME(562)는 S1 인터페이스를 통해 RAN(504) 내의 각각의 e노드-B(560a, 560b, 560c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(562)는 WTRU(502a, 502b, 502c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(502a, 502b, 502c)의 초기 어태치(attach) 중에 특정의 서빙 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(562)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(504) 간의 전환을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.

서빙 게이트웨이(564)는 RAN(504) 내의 각각의 e노드-B(560a, 560b, 560c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙 게이트웨이(564)는 일반적으로 WTRU(502a, 502b, 502c)로/로부터 사용자 데이터 패킷을 라우트 및 포워드할 수 있다. 서빙 게이트웨이(564)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(502a, 502b, 502c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(502a, 502b, 502c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.

서빙 게이트웨이(564)는 PDN 게이트웨이(566)에 또한 접속될 수 있고, PDN 게이트웨이(566)는 WTRU(502a, 502b, 502c)와 IP-인에이블 장치 간의 통신을 돕도록 인터넷(510) 등의 패킷 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공할 수 있다.

코어 네트워크(507)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(507)는 WTRU(502a, 502b, 502c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(508) 등의 회선 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공할 수 있다. 예를 들면, 코어 네트워크(507)는 코어 네트워크(507)와 PSTN(508) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(507)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(512)에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공할 수 있다.

도 7e는 다른 실시형태에 따른 RAN(505) 및 코어 네트워크(509)의 계통도이다. RAN(505)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(517)를 통해 WTRU(502a, 502b, 502c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(502a, 502b, 502c)의 다른 기능 엔티티, RAN(505) 및 코어 네트워크(509) 간의 통신 링크는 기준점으로서 정의될 수 있다.

도 7e에 도시된 것처럼, RAN(505)이 기지국(580a, 580b, 580c)과 ASN 게이트웨이(582)를 포함하고 있지만, RAN(505)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(580a, 580b, 580c)은 RAN(505) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있고, 무선 인터페이스(517)를 통하여 WTRU(502a, 502b, 502c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(580a, 580b, 580c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(580a)은 복수의 안테나를 사용하여 WTRU(502a)에 무선 신호를 송신하고 WTRU(502a)로부터 무선 신호를 수신할 수 있다. 기지국(580a, 580b, 580c)은 핸드오프 트리거링, 터널 확립, 무선 리소스 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(582)는 트래픽 집성 포인트(traffic aggregation point)로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(509)로의 라우팅 등의 임무를 수행할 수 있다.

WTRU(502a, 502b, 502c)와 RAN(505) 간의 무선 인터페이스(517)는 IEEE 802.16 사양을 구현하는 R1 기준점으로서 규정될 수 있다. 또한 각각의 WTRU(502a, 502b, 502c)는 코어 네트워크(509)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(502a, 502b, 502c)와 코어 네트워크(509) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.

각각의 기지국(580a, 580b, 580c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(580a, 580b, 580c)과 ASN 게이트웨이(582) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(502a, 502b, 502c)와 연합된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.

도 7e에 도시된 것처럼, RAN(505)은 코어 네트워크(509)에 접속될 수 있다. RAN(505)과 코어 네트워크(509) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(509)는 모바일 IP 홈 에이전트(MIP-HA)(584), 인증, 권한부여, 계정(AAA) 서버(586), 및 게이트웨이(588)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(509)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.

MIP-HA(584)는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(502a, 502b, 502c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(584)는 인터넷(510)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공하여 WTRU(502a, 502b, 502c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(586)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(588)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(588)는 PSTN(508)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공하여 WTRU(502a, 502b, 502c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(588)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(512)에 대한 액세스를 WTRU(502a, 502b, 502c)에 제공할 수 있다.

비록 도 7e에는 도시되지 않았지만, RAN(505)은 다른 ASN에 접속될 수 있고 코어 네트워크(509)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(505)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(505)과 다른 ASN 사이에서 WTRU(502a, 502b, 502c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(509)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.

위에서 설명한 방법들은 컴퓨터 및/또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 비제한적인 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및/또는 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 비제한적인 예로서 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및/또는 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC 및/또는 임의의 호스트 컴퓨터에서 사용되는 라디오 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims

모바일 장치에서 사용자 존재(user presence)를 결정하는 방법에 있어서,
얼굴을 검출하는 단계와;
상기 검출된 얼굴과 관련된 얼굴 거리를 결정하는 단계와;
상기 모바일 장치와 관련된 모션 상태를 결정하는 단계와;
상기 얼굴 거리 및 상기 모션 상태에 기초하여 사용자 존재를 확인(confirming)하는 단계
를 포함하는 사용자 존재 결정 방법.
제1항에 있어서, 상기 사용자 거리는, 동공간 거리, 카메라 화각, 눈 사이의 각, 또는 머리 폭을 포착하는 각 중의 하나 이상에 기초하여 결정되는 것인 사용자 존재 결정 방법.
제1항에 있어서, 상기 모션 상태는 상기 모바일 장치가 움직이고 있는지 움직이지 않는지를 표시하는 것인 사용자 존재 결정 방법.
제1항에 있어서, 상기 모션 상태는 상기 모바일 장치 내의 하나 이상의 센서를 이용하여 결정되는 것인 사용자 존재 결정 방법.
제1항에 있어서, 상기 사용자 존재를 확인하는 단계는,
거리 문턱값을 결정하는 단계와,
상기 거리 문턱값을 상기 얼굴 거리와 비교하는 단계를 더 포함한 것인 사용자 존재 결정 방법.
제5항에 있어서, 상기 거리 문턱값은 상기 모션 상태에 기초하여 결정되는 것인 사용자 존재 결정 방법.
사용자 존재를 결정하도록 구성된 모바일 장치에 있어서,
프로세서를 포함하고, 상기 프로세서는,
얼굴을 검출하고;
상기 검출된 얼굴과 관련된 얼굴 거리를 결정하고;
상기 모바일 장치와 관련된 모션 상태를 결정하고;
상기 얼굴 거리 및 상기 모션 상태에 기초하여 사용자 존재를 확인하도록
구성되는 모바일 장치.
제7항에 있어서, 상기 사용자 거리는, 동공간 거리, 카메라 화각, 눈 사이의 각, 또는 머리 폭을 포착하는 각 중의 하나 이상에 기초하여 결정되는 것인 모바일 장치.
제7항에 있어서, 상기 모션 상태는 상기 모바일 장치가 움직이고 있는지 움직이지 않는지를 표시하는 것인 모바일 장치.
제7항에 있어서, 상기 모션 상태는 상기 모바일 장치 내의 하나 이상의 센서를 이용하여 결정되는 것인 모바일 장치.
제7항에 있어서, 상기 사용자 존재를 확인하기 위해, 상기 프로세서는 또한, 거리 문턱값을 결정하고 상기 거리 문턱값을 상기 얼굴 거리와 비교하도록 구성되는 것인 모바일 장치.
제11항에 있어서, 상기 거리 문턱값은 상기 모션 상태에 기초하여 결정되는 것인 모바일 장치.