KR20070032062A - 휴대용 전자 장치용 사용자 인터페이스 제어기 방법 및장치 - Google Patents

Abstract

비디오 이미지를 생성하는 카메라를 갖는 휴대용 전자 장치(100)의 사용자 인터페이스 제어기는 휴대용 전자 장치의 디스플레이(105) 상에 정보를 제공(1105)하며, 카메라의 시야(225) 내에 있는 지시 오브젝트(260)의 위치 및 방위 중 적어도 하나를 추적하기 위해 비디오 이미지들을 처리하고(1110), 지시 오브젝트의 추적에 응답하여 디스플레이 상에 제공된 적어도 하나의 장면을 수정한다(1115). 장면 수정은 하나 이상의 장면 오브젝트를 선택하며, 커서 오브젝트를 이동시키고 연속적인 장면들의 시야각을 조정하는 것을 포함할 수 있다.

디스플레이, 비디오 이미지, 시야각, 카메라, 센서, 지시 오브젝트, 커서 오브젝트

Description

휴대용 전자 장치용 사용자 인터페이스 제어기 방법 및 장치{User interface controller method and apparatus for a handheld electronic device}

본 발명은 일반적으로 휴대용 전자 장치들의 분야에 관한 것이며, 특히 휴대용 전자 장치 디스플레이들 상에 제공되는 정보와 사람 간의 상호작용 분야에 관한 것이다.

소형 휴대용 전자 장치들을 자신들과 친숙하게 상호작용하도록 설계하는데 있어 매우 복잡하게 된다는 문제에 직면하고 있다. 특히, 소형, 고밀도, 풀 칼러 디스플레이 상에 정보량을 제공할 수 있도록 하는 이 장치는 상기 디스플레이 상에서 정보와 사람의 상호작용을 용이하게 하도록 랩탑 및 데스크탑 컴퓨터 상에서 사용되는 마우스와 유사한 기능을 요구한다. 이 상호작용을 제공하도록 사용되는 한 가지 기술은 디스플레이 상에 나타나는 오브젝트 또는 에어리어를 식별하기 위해 디스플레이 표면을 터치하도록 하는 포인트형 오브젝트(pointed object) 이지만, 이는 셀룰러 전화와 같은 소형 휴대용 장치가 동작되는 다양한 조건 하에서 행하는 것은 용이하지 않다.

본 발명을 따른 특정 사람 상호작용을 상세하게 설명하기 전, 본 발명이 주로 휴대용 전자 장치와의 사람 상호작용과 관련된 방법 단계 및 장치 구성요소의 조합에 관련된다는 점에 주목하여야 한다. 따라서, 이 장치 구성요소들 및 방법 단계들은 당업자에게 명백하고 본원의 설명의 이점을 갖는 상세한 설명을 모호하지 않도록 하기 위해 본 발명의 이해와 관련한 특정 상세 내용만 나타낸다.

도 1은 본 발명의 일부 실시예에 따른 휴대용 장치를 도시한 기능 블록도.

도 2는 본 발명의 일부 실시예에 따른 지시 오브젝트 및 일부 가상 기하학적 라인을 포함하는 휴대용 전자 장치를 도시한 사시도.

도 3은 본 발명의 일부 실시예에 따른 카메라의 이미지 평면을 도시한 평면도.

도 4는 본 발명의 일부 실시예에 따른 휴대용 전자 장치 및 지시 오브젝트를 도시한 단면도.

도 5는 본 발명의 일부 실시예에 따라서 오브젝트 마커 이미지를 포함하는 휴대용 전자 장치의 이미지 평면을 도시한 평면도.

도 6은 본 발명의 일부 실시예들을 따른 위치 및 방위 모두에 사용될 수 있는 지시 오브젝트를 도시한 도면.

도 7은 본 발명의 일부 실시예에 따른 디스플레이 표면의 평면도.

도 8은 본 발명의 일부 실시예에 따른 디스플레이 표면의 평면도.

도 9, 10 및 11은 본 발명의 일부 실시예에 따른 디스플레이 표면의 평면도.

도 12는 본 발명의 일부 실시예에 따른 휴대용 장치에 사용되는 특정 방법의 일부 단계들을 도시한 순서도.

본 발명은 단지 예로서 도시된 것으로서, 동일한 소자에 동일한 참조번호가 병기된 첨부 도면으로 제한되지 않는다.

당업자는, 도면의 요소들이 간결하고 명료하게 도시되며 반드시 원래 크기대로 도시되지 않았다는 것을 인지할 것이다. 예를 들어, 도면의 일부 요소의 치수는 본 발명의 실시예를 이해하도록 돕기 위해 다른 요소에 비해서 확대되어 있다.

도 1을 참조하면, 휴대용 전자 장치(100)의 기능적인 블록도가 본 발명의 일부 실시예들에 따라서 도시된다. 휴대용 전자 장치(100)는 디스플레이(105), 제 1 카메라(110), 및 디스플레이(105)와 제 1 카메라(11)에 결합되는 처리 기능부(115)를 포함한다. 휴대용 전자 장치(100)는 제 2 카메라(13), 광원(120), 하나 이상의 센서들(125), 및 전화 기능(135)을 포함하는데, 이들 각각(포함됨)은 또한 처리 기능(115)에 결합된다. 휴대용 전자 장치(100)는 본 발명에 따라서 종래 장치와 비교하여 휴대용 전자 장치(100)와의 인간의 상호작용을 실질적으로 증가시키는 장치로서 포함되고 휴대용 전자 장치를 포함하는 이와 같은 개선사항들에 영향을 미치는 방법이 또한 본원에 설명된다.

휴대용 전자 장치(100)는 통상적으로 사용되면서 한편으로 휴대할 수 있도록 설계되는 것이 바람직하다. 따라서, 디스플레이(105)는 전형적으로 랩탑 컴퓨터, 데스크탑 컴퓨터, 및 테이블탑, 벽 또는 선반 스탠딩 설치를 위해 설계된 텔레비젼과 같은 디스플레이들과 비교하여 소형이다. 휴대용 전자 장치(100)는 셀룰러 전화 일 수 있는데, 이 경우에 이는 전화 기능(135)을 포함할 것이다. 특히, 휴대용 전자 장치(100)가 셀룰러 전화일 때, 많은 경우에, 디스플레이(105)는 2×2 센티미터 정도일 것이다. 본 발명이 중요한 이점을 제공할 수 있는 대부분의 전자 장치들(100)은 100 평방 센티미터보다 작은 디스플레이 뷰잉 영역을 가질 것이다. 디스플레이(105)의 뷰잉 표면은 평평하거나 거의 평평할 수 있지만, 대안적인 구성들이 본 발명에 사용될 수 있다. 디스플레이(105)의 기술은 종래의 디스플레이에 대해서 액정, 전기루미네슨트(electroluminescent), 발광 다이오드, 및 유기 발광 장치를 포함하지만 이로 제한되지 않는 휴대용 전자 장치들과 호환될 수 있는 임의의 이용 가능한 기술일 수 있다. 이 디스플레이(100)는 특정 용도를 위해 디스플레이 패널과 나란히 배열되어야 하는 구동 회로 이외의 전자 회로들을 포함할 수 있다. 예를 들어, 회로들은 처리 기능(115)로부터 비디오 신호를 수신할 수 있고 이 비디오 신호를 디스플레이 구동 회로에 필요로 되는 전자 신호들로 변환시킨다. 이와 같은 회로들은 예를 들어, 마이크로프로세서, 관련된 프로그램 명령들 및 관련된 처리 회로를 포함할 수 있거나 주문형 반도체를 포함일 수 있다.

셀룰러 전화 기능(135)은 임의의 이용 가능한 유형의 하나 이상의 셀룰러 전화 서비스들을 제공할 수 있다. 일부 종래 기술들은 시분할 다중 접속(TDMA), 코드 분할 다중 접속(CDMA)이거나 GSM, CDMA2000, GPRS 등과 같은 표준들에 따라서 아날로그 구현된다. 전화 기능(135)은 필요한 무선 송신기(들) 및 수신기(들)을 포함할 뿐만 아니라 무선 송신기(들) 및 수신기(들), 필요에 따라 인코딩 및 디코딩 음성 스피치, 마이크로폰을 동작시키도록 처리하는 것을 포함하고, 키패드 및 전화에 필 요로 되는 키패드 감지 기능을 포함할 수 있다. 따라서, 전화 기능(135)은 대부분의 예들에서 마이크로프로세서, 관련된 프로그램 명령들 및 관련된 회로들을 포함할 수 있다.

휴대용 전자 장치(100)는 하나 이상의 배터리들에 의해 전원을 공급받고 관련된 전력 변환 및 조절 기능들을 가질 수 있다. 그러나, 휴대용 전자 장치(100)는 대안적으로 주로 전력을 공급받을 수 있으면서 본 발명의 이점을 여전히 얻을 수 있다.

제 1 카메라(110)는 셀룰러 전화에 현재 이용가능한 카메라와 유사하다. 이는 제공된 렌즈 옵틱의 특성면에서 다소 상이한데, 그 이유는 본 발명이 2차원으로서 분류될 수 있는 어떤 실시예들에서 대략 10센티미터(예를 들어, 5센티미터 내지 15센티미터끼지)보다 큰 필드 범위의 깊이로부터 큰 이점을 얻을 수 없기 때문이다. 2차원으로서 분류되는 실시예들을 포함할 수 있는 일부 실시예들뿐만 아니라 3차원으로서 분류되는 일부 실시예들에서, 제 1 카메라(110)는 매우 짧은, 즉 거의 제로 센티미터인 필드 깊이로부터 이점을 얻을 수 있고 대략 50 센티미터 이상에 의해 실질적으로 개선된 이점을 제공할 수 없다. 일 예에서, 본 발명은 약 5센티미터 내지 약 25센티미터까지의 범위를 갖는 필드 깊이로 실질적인 이점들을 제공할 수 있다. 이들 값들은 바람직하게는 휴대용 장치에 대한 표준인 주변 광 상태 하에서 성취되는데, 이는 총 다크니스, 브라이트 선라이트, 및 이들 간의 주변 광 상태들을 포함할 수 있다. 소망 필드 깊이를 성취하는 수단이 이하에 더욱 상세하게 설명된 바와 같이 본 발명의 일부 실시예들에서 제공된다. 모노크롬 카메라는 본 발 명의 일부 실시예들에서 매우 적합하지만, 컬러 카메라는 다른 실시예들에서 바람직할 수 있다.

처리 기능(115)은 마이크로프로세서, 적절한 메모리에 저장된 관련된 프로그램 명령들, 및 메모리 자석 및 입력/출력 회로들과 같은 관련된 회로를 포함할 수 있다. 처리 기능(115)은 2개 이상의 집적 회로들 또는 일체의 집적 회로 또는 휴대용 전자 장치(100)의 다른 기능와 함께 하나의 집적 회로에 있을 수 있다.

도 2를 참조하면, 본 발명의 일부 실시예들에 따라서 지시 오브젝트(260) 및 일부 가상 기하학적 라인들을 포함하는 휴대용 전자 장치(100)의 사시도가 도시된다. 디스플레이의 뷰잉 표면(210), 카메라 조리개(215), 광원 조리개(220), 센서 조리개(235), 스위치인 센서(245), 키패드 에어리어(240)인 휴대용 전자 장치(100)가 도시된다. 제 1 카메라(110)는 시야의 축(230)을 갖는 이 예에서 점선들(226)로 표시된 바와 같이 원뿔형상인 시야(225)를 갖는다. 시야의 축(230)은 근본적으로 디스플레이의 표면(210)에 수직하다. (이 디스플레이 뷰잉 표면은 휴대용 전자 장치(100)의 표면과 근본적으로 평행하다라고 간주된다).구성면에서 평활한 전형적인 디스플레이들(105)에 대해서, 이 축은 근본적으로 디스플레이(105)에 수직하게 지향된다라고 일컫는다. 카메라 조리개(215)는 카메라 렌즈를 포함할 수 있다.

지시 오브젝트(260)는 또한 막대(wand)로서 설명되는데, 이는 도 2의 특정 실시예에서 핸들의 한 단부상에 설치된 구(sphere)(270)를 포함한다. 지시 오브젝트(260)는 손(도 2에 도시되지 않음)으로 잡을 수 있다. 구(270)는 자신의 표면으로부터 투사(255)되는 광을 통해서 제 1 카메라(110)의 이미지 평면(301)(도 3) 상 에 이미지(270)(도 3)를 발생시킬 수 있는 표면을 갖는다. 구의 표면을 본원에서 지시 오브젝트 마커라 칭하고 다른 실시예에서 다수의 지시 오브젝트 마커들이 존재할 수 있다. 이미지 평면(301) 상으로 투사되는(255) 광은 예를 들어 구(2700)의 표면으로부터 반사되는 주변광, 즉 광원(120)으로부터 방출되고 구(270)의 표면으로부터 반사되는 광, 또는 구의 투명하거나 반투명한 표면을 통해서 투과되는 구(270) 내에 발생되는 광일 수 있다. 지시 오브젝트(260)(이는 이 예에서 지시 오브젝트 마커가 아니다)의 다른 파트(핸들)의 표면의 이미지(360)는 또한 반사된 광에 의해 이미지 평면(301) 상에 투영될 수 있다. 일부 실시예들에서, 오브젝트 마커는 전체 지시 오브젝트를 커버할 수 있다.

도 3을 참조하면, 본 발명의 실시예에 따른 제 1 카메라(110)의 이미지 평면(301)의 평면도가 도시된다. 이미지 평면(301)은 예를 들어 비디오 이미지들을 포착하기 위해 사용되는 포토셀들의 스캐닝된 매트릭스인 이미징 장치의 활성 표면일 수 있다. 도 3에 도시된 예에서, 이미징 장치의 활성 표면은 제 1 카메라(110)의 시야의 한도에 거의 대응하는 주변부(302)를 갖는다. 이미지 평면(301) 상에 발생되는 구(270)의 이미지(370)를 오브젝트 마커의 이미지(또는 오브젝트 마커 이미지)라 칭한다. 지시 오브젝트(260)는 상세히 후술되는 바와 같이 대안적인 오브젝트 마커를 발생시키는 대안적인 실시예들로 구현될 수 있다. 본 발명의 대안적인 실시예들에서, 하나 이상의 오브젝트 마커는 지시 오브젝트 상에 제공될 수 있다. 많은 실시예들에서, 휴대용 전자 장치(100)를 다른 손으로 잡는 동안 지시 오브젝트는 한 손으로 안전하게 잡고 휴대용 전자 장치(100) 위에서 이동되도록 설계된 다. 제 1 카메라(110)는 당업자에게 널리 공지된 기술들을 포함할 수 있는 기술들에 의해 일련의 비디오 이미지들을 발생시킨다. 오브젝트 마커 이미지(370)는 휴대용 전자 장치(100)에 대해서 지시 오브젝트(260)의 이동에 응답하여 연속적인 비디오 이미지들 내에서 상이한 위치 및 방위에서 나타날 수 있다. 일반적으로, 오브젝트 마커 이미지는 지시 오브젝트의 2차원 뷰의 스케일링된 버전을 간단히 하지 않는데(여기서 2차원 뷰의 평면은 시야의 축에 수직하다), 그 이유는 오브젝트 마커 이미지는 지시 오브젝트의 2차원 뷰의 스케일링된 버전과 관련하여 왜곡되는 이미지를 발생시키는 종래의 렌즈를 통해서 이미지 평면 상으로 캐스트되기 때문이다. 따라서, 이 예에서 오브젝트 마커 이미지는 원이 아니라 타원형이다.

처리 기능(115)은 에지 인식과 같은 널리 공지된 종래 기술들을 포함할 수 있는 기술을 이용하여 오브젝트 마커 이미지(370)의 오브젝트 인식을 수행하는 제 1 기능 및 널리 공지된 종래 기술들을 포함할 수 있는 기술을 이용하여 지시 오브젝트(360)의 기준점(271)(도 2)의 적어도 2차원 위치를 결정하는 제 2 기능을 포함한다. 일 실시예에서, 기준점(271)의 2차원 위치는 이미지 평면이 시야(225)의 축(230)에 의해 교차되는 포인트에서 이미지 평면의 기점을 갖는 직교하는 직사각형 축(305, 310)의 세트인 좌표 시스템을 이용하여 이미지 평면(301) 상의 기준점의 투영 위치로서 규정된다. 이는 동일한 기점을 갖는 3차원 직사각형 좌표 시스템 내에서 기준점(271) 자체의 2차원 위치를 식별하지 않지만 이 방식으로 오브젝트 마커(들)의 투영 위치를 규정하면 본 발명의 많은 사용에 적합할 수 있다. 도시된 예에서, 제 1 기능은 투영에 의해 다소 수정된 원으로서 오브젝트 마커 이미 지(370)를 인식하고, 제 2 기능은 이미지 평면(301)의 직교 좌표 시스템(305, 310) 내에서 오브젝트 마커 이미지(370)의 중앙의 2차원 위치를 결정한다. 일부 실시예들에서, 오브젝트 마커 이미지는 원에 대한 식을 이용하여 인식되는 원에 충분하게 근접할 수 있다. 본원에 서술된 다른 실시예들에서, 처리 기능(115)의 제 1 기능은 투영된 구보다 더욱 복잡한 오브젝트 마커의 이미지를 식별하고 처리 기능(115)의 제 2 기능은 지시 오브젝트의 3차원 위치 및 방위를 결정한다. 처리 기능(115)의 제 3 기능은 제 1 카메라(110)에 의해 발생되는 연속적인 비디오 이미지들의 적어도 일부로부터 얻어진 지시 오브젝트(260)의 위치의 히스토리(또는 제 2 기능에 의해 결정될 때 방위 또는 이들 둘다)를 유지한다. 처리 기능(115)의 제 1, 제 2 및 제 3 기능들은 본원에서 용어 "제 1 카메라의 시야 내에 있는 지시 오브젝트의 추적"을 포함하고 "지시 오브젝트의 추적"은 일반적으로 많은 초(many seconds)일 수 있는 시간 기간에 걸쳐서 지시 오브젝트의 위치 및 방위의 히스토리를 구성하지만, 어떤 환경에선 지시 오브젝트의 현재 위치를 간단하게 하는 것과 같은 "지시 오브젝트의 추적"의 더욱 일반적인 정의의 서브셋을 구성할 수 있다.

이하에 더욱 상세하게 후술되는 바와 같이, 처리 기능은 사용된 좌표 시스템에서 지시 오브젝트(260)의 추적에 응답하여 디스플레이(105) 상에 디스플레이되는 장면을 수정하는 부가 기능을 수행한다. 이 양상은 정사각형(320)으로 도 3에 도시된 디스플레이(105)에 지시 오브젝트를 추적하는데 사용되는 좌표 시스템으로부터 지시 오브젝트의 추적의 맵핑과 관련된다. 지시 오브젝트들의 추적과 디스플레이(105)와의 맵핑은 도 3에서 추론될 수 있는 간단한 관계보다 더 복잡하다는 것을 인지할 것이며, 여기서 디스플레이가 정사각형이면, 제 1 카메라(110) 및 디스플레이와 관련된 좌표 시스템에서 규정된 바와 같은 지시 오브젝트의 추적에 대한 좌표는 단일 스케일링 값일 수 있다. 디스플레이가 직사각형이면, 디스플레이는 x 및 y 방향에서 상이한 스케일링 값들을 이용함으로써 도시된 정사각형으로서 맵핑될 수 있다. 다른 맵핑들이 또한 사용될 수 있다. 예를 들어, 직사각형 디스플레이는 x 및 y 방향들에서 공통 스케일링 팩터를 이용하여 맵핑될 수 있으며, 이 경우에 디스플레이의 x 및 y 축에 대응하는 지시 오브젝트(260)에 의해 이동되는 거리는 상이하다.

도 4를 참조하면, 휴대용 전자 장치(100) 및 지시 오브젝트(260)의 단면도가 본 발명의 일부 실시예들에 따라서 도시된다. 도 5를 참조하면,지시 오브젝트(260)가 도 4에 도시된 바와 같은 휴대용 전자 장치(100)에 대해 위치될 때 구의 표면에 의해 발생된 오브젝트 마커 이미지(370)를 포함하는 휴대용 전자 장치(100)의 이미지 평면(301)의 평면도가 도시된다. 지시 오브젝트(260)는 도 2 또는 3에 도시된 바와 같은 휴대용 전자 장치(100)에 대해서 반드시 동일한 위치일 필요는 없다. 또한 도 4 및 도 5에는 제 1 카메라 조리개(215) 내의 렌즈의 투영 중심에서 기점을 갖는 3차원 좌표 시스템이다. 구(270)의 중심의 위치인 지시 오브젝트(260)의 위치는 파이(φ)(405), 세타(θ)(510), 및 R(410)으로서 식별되는 3차원 좌표들을 이용하여 이 예에서 3차원들로 정의된다. 세타는 이미지 평면(301)에서 기준 라인(505)과 관련하여 시야(225)의 축(230)에 대해서 이미지 평면(301)의 회전각이다. 파이는 시야(225)의 축(230)으로부터 경사각이고 기점으로부터 지시 오브젝트(260)의 위치까지 거리이다(기준점(271)). 도 5에서, φ(예를 들어, 30°)의 일정값을 갖는 모든 위치들의 궤적 투영은 원이다. 오브젝트 마커 이미지(370)의 크기는 구(270)까지의 거리(R)가 감소됨에 따라서 증가하지만, 또한 구(270)의 이미지는 φ가 제로일 때 원으로부터 φ가 증가함에 따라서 더욱 신장되는 타원형으로 변화된다. R은 타원의 장축(371)과 같은 구(270)의 타원 이미지의 차원 측정으로부터 및 각도(φ)로부터 결정될 수 있다. 각도(φ)는 이미지 평면(301)과 축(230)의 교차부로부터 장축(371)의 중심의 이미지 평면(301) 상의 거리에 의해 결정될 수 있다. 따라서, 지시 오브젝트(360)의 3차원 위치가 결정된다. 그러나, 도 3 내지 도 5와 관련하여 제공된 설명으로부터 지시 오브젝트(360)의 방위가 서술된 측정에 의해 결정될 수 없다는 것을 또한 인지할 것이다.

카메라 이미지를 사용함으로써 3차원 좌표 시스템에서 지시 오브젝트의 위치 및 방위의 결정은 지시 오브젝트 상에 위치되는 6개의 특정 식별가능한 포인트들로부터 이루어질 수 있다. 그러나, 더욱 간단한 방법들이 종종 원하는 위치 및 방위 정보를 제공할 수 있다는 것을 인지할 것이다. 예를 들어, 도 3 내지 도 5와 관련하여 서술된 지시 오브젝트(360)의 핸들의 방위만을 결정하도록 하는데 충분히 만족될 수 있다(즉, 핸들의 축 주위에서 롤 량을 분해하지 않음). 또한, 일부 이론적인 모호성은 핸들이 항상 카메라로부터 떨어진 포인트라는 상기 예에서 가정된 바와 같이 수용될 수 있다. 일부 사용을 위해, 단지 3차원 위치가 필요로 되고 방위는 필요치 않은 반면에, 다른 사용들에서, 방위없이 단지 2차원 위치가 필요로 될 수 있다.

처리 기능(115)에 의해 지시 오브젝트의 식별을 지원하도록 사용될 수 있는 다양한 기술들이 존재한다. 일반적으로 말하면, 이와 같은 수단의 오브젝트는 이들 포인트들 및 영역들을 둘러싸는 이미지들과 관련하여 지시 오브젝트(360)의 특정 포인트들 또는 에어리어들의 이미지들 간의 에지 샤프니스 및 밝기 컨트래스트 비를 개선시키고 규정된 포인트 위치들의 결정을 계산적으로 간단하게 행한다. 상술된 막대 예의 경우에, 구의 이용은 구의 중앙에서 규정된 포인트 위치를 갖는 막대의 방위(해들의 두께가 구(270)의 직경과 비교하여 작은 한)에 근본적으로 관계없이 원형 또는 거의 원형 이미지를 투사한다. 구(270)는 매우 높은 확산 반사율 화이트 코팅으로 코팅되어 다양한 주변 상태에서 동작될 때 높은 밝기 컨트래스트 비를 제공한다. 아마도 더욱 주변 상태에서 동작하는 경우에, 이 구(270)는 리트로-반사 코팅으로 코팅되고 휴대용 전자 장치(100)에는 제 1 카메라 조리개(215)에 근접하여 위치된 조리개(220)를 갖는 광원(120)이 장착될 수 있다. 구(270)는 광원일 수 있다. 일부 실시예들에서, 영상 처리 기능은 오브젝트 마커(들) 내의 광원에 의해 발생될 수 있거나 오브젝트 마커(들)에 의해 선택적으로 반사될 수 있는 오브젝트 마커 이미지(예를 들어, 블루)에 대한 단지 하나의 광 대역에 응답할 수 있다. 제 1 카메라(110)로부터의 법선 거리들에서 시야에 대한 크기가 작은 지시 오브젝트의 이용은 다수의 지시 오브젝트 마커들이 존재할 때 특히 유용할 수 있다. 지시 오브젝트는 필요로 되는 추적 정보량에 적합하고 휴대용 전자 장치(100)의 단범위(상술된 바와 같이) 내에서의 이용과 호환될 수 있는 어떤 형상을 취할 수 있다.예를 들어, 본원에 상술된 막대는 방위 정보 없이 2차원 및 3차원 위치에 가장 적합 할 수 있다. 막대의 핸들에 부가되는 지시 오브젝트 마커들(예를 들어, 한 쌍의 리트로-반사 밴드)는 많은 상황들에서 대단히 만족되는 제한된 방위 결정들을 고려할 수 있다. 전체 방위 및 3차원 위치가 필요로 되는 상황에서, 지시 오브젝트는 충분히 이격된 하나 이상의 지시 오브젝트를 가져 6개가 통상 사용 동안 지시 오브젝트의 모든 방위에서 특정하게 식별될 수 있도록 한다. 일반적으로, 영상 처리 기능은 지시 오브젝트 마커들의 이미지들을 식별하고 지시 오브젝트를 추적하기 위해 사용하는 파라미터들은 오브젝트 검출을 위해 공지된 것을 포함하고 에지 검출, 컨트래스트 검출, 셰이프 검출 등으로서 이와 같은 이미지 검출 파라미터들을 포함할 수 있는데, 이들 각각은 오브젝트 검출을 향상시키기 위해 사용되는 임계 및 이득 세팅을 가질 수 있다. 지시 오브젝트 마커들의 이미지들이 식별되면, 제 1 세트의 식들은 지시 오브젝트의 위치(즉, 지시 오브젝트의 바디와 관련하여 고정된 규정된 포인트의 위치)를 결정하도록 사용될 수 있고, 제 2 세트의 식들은 방위를 결정하기 위해 사용될 수 있다. 전형적으로, 제 1 및 제 2 식들은 에지들의 슬로프들 및 단부들로서 이와 같은 중간 값들을 선택된 좌표 시스템에서 마커 위치 및 방위으로 변환시킨다.

처리 기능(115)의 복잡도를 감소시키기 위해, 반사 지시 오브젝트 마커들을 사용하는 것이 바람직하다. 이는 지시 오브젝트 마커들이 이미지의 다른 오브젝트들보다 밝게 나타나게 하는 이점을 제공한다. 이 상대적인 밝기가 충분히 증가될 수 있다면, 셔터 속도는 다른 오브젝트들이 카메라에 의해 거의 검출될 수 없는 포인트로 증가될 수 있다. 이미지에서 바람직하지 않은 오브젝트들의 수가 감소될 때, 훨씬 간단한 알고리즘은 이미지 내에서 지시 오브젝트 마커들을 식별하도록 사용될 수 있다. 이와 같은 복잡성 감소는 감소된 전력 소모로 변환되는데, 그 이유는 더 적은 결과들이 계산되기 때문이다. 이와 같은 복잡성 감소는 또한 처리 기능 비용을 감소시키는데, 그 이유는 메모리 요건들이 감소될 수 있고 더 적은 특수한 처리 가속기들 또는 저속이며 더 작은 프로세서 코어가 선택될 수 있기 때문이다. 특히, 반사물질은 리트로-반사일 수 있는데, 이는 각도(α)로 입사되는 광선을 각도 90-α로 반사시키는(예를 들어, 미러) 더욱 친밀한 스펙큘러 반사기 또는 모든 각도에 걸쳐서 균일한 분포로 광을 반사시키는 Lambertian 반사기가 아니라 오히려 광원을 직접적으로 다시 향하는 반사광에서 효율을 높게 한다. 리트로-반사기들이 사용될 때, 카메라 렌즈(215)에 매우 근접한 LED와 같은 광원(120)을 포함하여 렌즈(215)가 리트로-반사 지시 오브젝트 마커들에 이해 루미넌트를 다시 향하여 반사되는 광의 콘이 되도록 한다. 3차원 위치들 및 대부분의 법선 방위들의 차원을 제공할 수 있는 지시 오브젝트의 일 실시예가 도 6에 도시되는데, 이는 한 단부 상에서 스틱 형태(605)를 갖는 막대(600)의 도면이다. 이 스틱 형태(605)는 자연적인 표시를 지시 오브젝트의 방위의 사용자에게 제공하고 다수의 리트로반사기(610)를 포함한다. (대안적으로, 리프토반사기들(601)은 발광 구성요소들에 의해 대체될 수 있으며, 이는 지시 오브젝트 마커들의 식별을 간단하게 하기 위해 상이한 컬러들을 사용할 수 있지만 리트로반사기들과 비교하여 막대를 더욱 복잡하고, 모든 주변 광 상태들에서 또한 작동할 수 없게 한다).

다른 실시예들에서, 시야의 축은 디스플레이에 수직한 것으로부터 떨어져서 지향될 수 있다. 예를 들어, 시야의 축은 지향되어, 휴대용 전자 장비가 사용자의 왼손에 유지될 때 수직의 오른쪽에 있게 한다. 이는 이미지 마커들의 에지 검출 및 컨트래스트 비를 개선시키며, 그렇지 않다면 사용자의 얼굴 이외의 지시 오브젝트의 배경에서 오브젝트들에 더 긴 범위로 인해 배경에서 사용자의 얼굴을 가질 수 있다. 사용자의 얼굴로부터 벗어난 시야의 축의 편향은 휴대용 전자 장치의 왼손 버전 및 오른손 버전을 필요로 할 수 있음으로, 대안적으로 다양한 환경하에서 정확한 이미지 검출 확률을 개선시키도록 수동으로 시프팅될 수 있는 제 1 카메라(110)를 제공한다.

지금부터 도 7을 참조하면, 본 발명의 일부 실시예들에 따라서 디스플레이 표면(210)의 평면도가 도시된다. 이 도면은 문자들 및 아이콘들을 포함하는 장면을 도시한다. 본원에 사용된 용어 장면은 시간에 걸쳐서 변화할 수 있는 많은 것들 중 디스플레이 상에 도시된 한 세트의 정보를 의미한다. 예를 들어, 도시된 바와 같은 텍스트 스크린이 부가, 변경 또는 삭제된 문자를 가짐으로써 또는 예를 들어 또 다른 아이콘으로 아이콘을 변화시킴으로써 변화될 수 있다. 다른 사용을 위해, 이 장면은 디스플레이(105) 상에 제공되는 비디오 이미지의 일 프레임일 수 있다. 상술된 바와 같이, 오브젝트의 트랙은 디스플레이(105) 상에서 장면을 수정하도록 처리 기능에 의해 사용된다. 이와 같은 수정은 디스플레이 상의 하나 이상의 연속적인 장면들 내에서 커버 오브젝트를 이동시키며, 디스플레이 상의 하나 이상의 연속적인 장면들 내에서 하나 이상의 장면 오브젝트들을 선택하고 디스플레이 상에 연속적인 장면들의 뷰잉 퍼스펙티브를 조정하는 것을 포함하지만 이로 제한되지 않는 다. 커서 오브젝트(705)는 도 7에 도시된 바와 같은 텍스트 삽입 마커와 유사하게 나타날 수 있지만 블링킹이거나 아닐 수 있으며 또 다른 유형의 변화하는 모습을 가질 수 있는 대안적으로 아워글래스 또는 플러스 사인 또는 화살표와 같은 패밀리 커서 아이콘들을 포함하지만 이로 제한되지 않는다. 커서 오브젝트(705)는 2차원의 지시 오브젝트의 위치에 응답하여 이동될 수 있고 캐릭터들 또는 아이콘들 중 하나 이상을 선택하는 것과 같은 친숙한 커서 기능들을 수행하도록 다른 명령들과 결합하여 사용될 수 있다. 이 명령들은 좌측 클릭, 우측 클릭 등과 같은 마우스 버튼과 관련된 것을 포함하지만 이로 제한되지 않는 커서 오브젝트의 모션, 사용, 또는 모양에 영향을 미치는 임의의 명령일 수 있다. 이 명령들은 하나 이상의 푸쉬 또는 슬라이드 스위치들, 로터리 다이얼들, 키패드 스위치들, 명령 인식 기능과 결합되는 마이크로폰, 및 디스플레이 표면(210) 또는 그 외의 곳에 있는 터치 센서와 같은 휴대용 장치를 위한 임의의 입력 센서를 이용하여 입력될 수 있다. 명령 감지 기술은 디스플레이(105)로부터 떨어져서 지시 오브젝트의 고속 이동과 같은 특정 애플리케이션에서 명령을 예약하는 이미지 처리 기능에 의해 비디오 이미지에서 지시 오브젝트(360)의 특정 추적의 검출일 수 있다. 명령 감지 기술은 지시 오브젝트 마커들의 특정 패턴의 검출을 수반할 수 있다. 예를 들어, 통상적으로 에너지를 공급받지 않는 오브젝트 마커는 지시 오브젝트 상에 버튼을 누르는 것과 같은 사용자의 파트 상의 작용에 응답하여 광을 방출시킬 수 있다. 대안적인 또는 부가적인 기술은 사용자의 손 작용에 응답하여 오브젝트 마커의 컬러 또는 밝기를 변화시킨다.

이 명령은 지시 오브젝트의 이동에 응답하는 커서의 모션들에 응답하여 장면 오브젝트를 드로잉하는 드로잉 기능(drawing function)을 개시할 수 있다. 이와 같은 드로잉은 또 다른 소스로부터 얻어진 장면 상의 중첩하는 프리폼 라인 형태이거나 새로운 픽쳐의 생성과 같은 임의의 유형일 수 있다. 일 예로서, 또 다른 계산 장치의 사용자는 픽쳐를 휴대용 장치(100)에 전송하고 휴대용 장치의 사용자는 드로우 명령을 기동함으로써 그리고 지시 오브젝트를 이용하여 제 1 장면 오브젝트를 서클링함으로써 장면의 최상부상에 제 2 장면 오브젝트를 드로잉함으로써 제 1 장면 오브젝트(예를 들어, 사람들 그룹에서 사람의 픽쳐)를 식별할 수 있다. 그리고 나서, 휴대용 장치(100)의 사용자는 계산 장치의 사용자에 제공하기 위해 마크 업된 픽쳐를 계산 장치(예를 들어, 셀룰러 메시징에 의해)를 리턴시킬 수 있다.

2차원 위치 추적의 예들이 상술되었지만, 2차원 위치 및 방위 추적은 또한 테이블 및 큐 스틱의 평면도로서만 제공되는 간단한 당구 게임에 대해서 유용할 수 있다.

도 8을 참조하면, 디스플레이 표면(210)의 평면이 본 발명의 일부 실시예들에 따라서 도시된다. 디스플레이(105)는 구(270)의 3차원 위치의 검출이 제 1 플레이어의 다음 "플레잉 피스"(제 1 플레이어의 3개의 플레잉 피스들(820) 및 도 8에 도시된 바와 같은 제 2 플레이어의 3개의 플레잉 피스들(825))의 삽입을 제어하도록 하는데 유용하게 사용될 수 있다. (디스플레이 표면(210)의 2차원들 내에서) 3차원 렌더링의 이러한 고정된 퍼스펙티브에서, 디스플레이(105)의 표면으로부터 떨어져 그리고 상기 표면을 향해 오브젝트를 지시하는 이동은 디스플레이 표면(210)의 평면 내에 그리고 그 표면 외부에 있는 것으로 간주될 수 있는 축(815)을 따라 다음 플레잉 피스에 대한 위치의 선택을 조정하는데 이용될 수 있는 반면에, 디스플레이(105)의 표면에 평행하게 오브젝트를 지시하는 이동은 축(805, 810)을 따라 다음 플레잉 피스에 대한 위치의 선택을 조정하는데 사용될 수 있다. 지시 오브젝트의 3차원 위치 추적의 많은 다른 대안적인 용도들이 가능하다.

도 9, 10 및 11을 참조하면, 본 발명의 어떤 실시예들을 따른 디스플레이 표면(210)의 표면 뷰가 도시되어 있다. 디스플레이(105)는 지시 오브젝트의 3차원 위치 및 방위가 이 게임에 제공되는 하나의 제어 모드 동안 다운타운 에어리어의 뷰를 제어하는데 유용하게 이용될 수 있는 상황의 일례로서 게임 내의 다운타운 에어리어의 일부의 퍼스펙티브 장면을 제공하고 있다. 3차원 렌더링의 이 대안적인 퍼스펙티브에서, 디스플레이 표면(210)으로의 거리 변화없이 지시 오브젝트의 방위를 변화시키면 도 8 및 9에 의해 도시된 바와 같이 장면이 변화될 수 있고 반면, 방위 변화없이 디스플레이(105)의 표면을 향해 지시 오브젝트를 이동시키면 도 9 및 10에 의해 도시된 바와 같이 퍼스펙티브가 변화될 수 있다. 사용자가 변화하는 퍼스펙티브를 제공하는데 필요로 되는 연속적인 장면의 뷰잉 퍼스펙티브를 원하는 퍼스펙티브로 조정할 때, 상기 사용자는 디스플레이(105) 상의 장면에 대한 지시 오브젝트의 제어 모드를 변화시킬 수 있는데, 이는 (빌딩들을 나타내는 블록들 내에서 "상하로", 또는 빌딩들 사이 및 상기 빌딩 내의 "플로어" 상에서 "수평적으로") 커서를 3차원으로 이동시키도록 한다. 지시 오브젝트의 방위 및 위치 추적이 이 커서 이동에 유용하거나 단지 위치적인 추적의 응답이 적합할 수 있다. 지시 오브젝트의 3차원 위치 및 방위 추적의 많은 다른 대안적인 용도들이 가능하다.

도 12를 참조하면, 본 발명의 일부 실시예에 따른 휴대용 장치에서 이용되는 특정 방법의 단계들이 도시되어 있다. 단계(1205)에서, 디스플레이(105)에 정보가 제공된다. 카메라에 의해 포착된 비디오 이미지들은 카메라의 시야 내에 있는 지시 오브젝트의 위치 및 방위 중 적어도 하나를 추적하기 위해 단계(1210)에서 처리된다. 단계(1215)에서, 디스플레이에 제공된 적어도 하나의 장면은 지시 오브젝트의 추적에 응답하여 수정된다.

디스플레이(105) 상에 제공된 장면이 메모리에 저장되거나, 메모리로부터 발생되거나, 휴대용 장치(105)에 의해 수신되었던 것일 수 있다는 것이 인식될 것이다. 어떤 실시예들에서, 휴대용 장치(105)는 정지 또는 비디오 이미지를 캡처하기 위한, 오늘날 널리 공지된 바와 같은 제 2 내장 카메라이거나, 제 1 카메라가 지시 오브젝트를 사용한 수정을 위해 디스플레이 상에 장면으로서 제공되는 정지 또는 비디오 이미지를 캡처하는데 사용될 수 있다.

처리 기능(115) 및 기능들(105, 110, 120, 125, 130, 135)을 포함하는 휴대용 전자 장치의 하나 이상의 다른 기능들 중 일부들이 하나 이상의 종래의 프로세서 및 본원에 설명된 기능들 중 일부 또는 모두를 구현하기 위해 하나 이상의 프로세서를 제어하는 대응하는 특정 저장 프로그램 명령을 포함할 수 있다는 것이 인식될 것이다; 이와 같이, 처리 기능(115) 및 다른 기능(105, 110, 120, 125, 130) 중 일부들은 기능들을 수행하는 방법의 단계들로서 해석될 수 있다. 대안적으로, 이들 기능들(115)은 어떤 기능들(115, 105, 110, 120, 125, 130, 135) 중 일부들의 각 기능 또는 어떤 조합들이 커스텀 로직(custom logic)으로서 구현되는 저장된 프로 그램 명령을 가지지 않은 상태 기계에 의해 구현될 수 있다. 따라서, 휴대용 전자 장치용 방법 및 장치가 본원에 설명되었다.

상기 명세서에서, 본 발명 및 이의 이점들 및 장점들이 특정 실시예들과 관련하여 설명되었다. 그러나, 이하의 청구항에 설명된 바와 같은 본 발명의 범위로부터 벗어나지 않고 각종 수정들 및 변경들이 행해질 수 있다는 것을 당업자들이 인식할 것이다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 설명적인 것으로 간주되어야 하고, 모든 이와 같은 수정들은 본 발명의 범위 내에 포함되도록 의도된다. 이점들, 장점들, 문제들에 대한 해결책들, 및 임의의 이점, 장점 또는 해결책이 발생되거나 더 명백해지도록 할 수 있는 임의의 요소(들)가 청구항들 중 어느 하나 또는 모두의 결정적이고, 필요로 되며, 필수적인 특징들 또는 요소들로서 해석되지 않아야 한다.

본원에 사용된 바와 같은, 용어들 "포함한다", "포함하는", 또는 이의 임의의 다른 변형이 비-배제적인 포함을 커버하여, 요소들의 리스트를 포함하는 프로세스, 방법, 물건, 또는 장치가 이들 요소들만을 포함하는 것이 아니라, 이와 같은 프로세스, 방법, 물건, 또는 장치에 명백히 목록화되지 않거나 이와 같은 프로세스, 방법, 물건, 또는 장치에 고유한 다른 요소들을 포함하고자 한다.

본원에 사용된 바와 같은 "세트"는 비지 않은 세트(즉, 적어도 하나의 요소를 포함하는, 본원에 규정된 바와 같은 세트)를 의미한다. 본원에 사용된 바와 같은 용어 "또 다른"은 적어도 제 2 또는 그 이상으로서 규정된다. 본원에 사용된 바와 같은 용어 "포함하는" 및/또는 "가진"은 포함하는 것으로서 규정된다. 광전 기 술과 관련하여 본원에 사용된 바와 같은 용어 "커플링된"은 반드시 직접적으로, 그리고 반드시 기계적으로는 아닐지라도, 접속되는 것으로 규정된다. 본원에 사용된 바와 같은 용어 "프로그램"은 컴퓨터 시스템상의 실행을 위해 설계되는 명령들의 시퀀스로서 규정된다. "프로그램", "컴퓨터 프로그램"은 서브루틴, 함수, 절차, 목표 기준법, , 목표 구현, 실행가능한 애플리케이션, 애플릿, 서블릿, 소스 코드, 목적 코드, 공유된 라이브러리/동적 부하 라이브러리 및/또는 컴퓨터 시스템상에서의 실행을 위해 설계된 명령들의 다른 시퀀스를 포함할 수 있다. 제 1 및 제 2, 최상부 및 최하부 등과 같은 관련 용어들의 사용이 만약 있다면, 반드시 이와 같은 엔티티들 또는 동작들간의 임의의 실제 이와 같은 관계 또는 순서를 필요로 하지는 않고 하나의 엔티티 또는 동작은 다른 엔티티 또는 동작으로부터 구별시키기 위해서만 사용된다.

Claims (14)

1. 휴대용 전자 장치의 사용자 인터페이스 제어기에 있어서:

   디스플레이;

   비디오 이미지들을 생성하는 제 1 카메라; 및

   상기 디스플레이 및 상기 제 1 카메라에 결합된 처리 기능으로서,

   상기 디스플레이 상에 정보를 제공하고,

   상기 제 1 카메라의 시야 내에 있는 지시 오브젝트(directing object)의 위치 및 방위 중 적어도 하나를 추적하기 위해 상기 비디오 이미지들을 처리하고,

   상기 지시 오브젝트의 추적에 응답하여 상기 디스플레이 상에 제공된 적어도 하나의 장면을 수정하는, 상기 처리 기능을 포함하는, 사용자 인터페이스 제어기.
2. 제 1 항에 있어서,

   상기 적어도 하나의 장면을 수정하는 상기 처리 기능은:

   상기 지시 오브젝트의 추적에 응답하여 상기 디스플레이 상의 하나 이상의 연속적인 장면들 내에서 커서 오브젝트(cursor object)를 이동시키고,

   상기 지시 오브젝트의 추적에 응답하여 상기 디스플레이 상의 하나 이상의 연속적인 장면들 내에서 하나 이상의 장면 오브젝트들을 선택하고,

   상기 지시 오브젝트의 추적에 응답하여 상기 디스플레이 상의 연속적인 장면들의 뷰잉 퍼스펙티브(viewing perspective)를 조정하는 기능들 중 적어도 하나를 수행하는, 사용자 인터페이스 제어기.
3. 제 2 항에 있어서,

   상기 커서 오브젝트의 이동은 상기 지시 오브젝트의 3차원 추적에 응답하여 상기 커서 오브젝트를 수정하는 단계를 포함하는, 사용자 인터페이스 제어기.
4. 제 2 항에 있어서,

   상기 연속적인 장면들의 뷰잉 퍼스펙티브의 조정은, 상기 지시 오브젝트의 3차원 추적에 응답하여 상기 연속적인 장면들의 3차원 양상(aspect)을 수정하는 단계를 포함하는, 사용자 인터페이스 제어기.
5. 제 1 항에 있어서,

   상기 디스플레이는 100 평방 센티미터보다 작은 뷰잉 에어리어를 갖는, 사용자 인터페이스 제어기.
6. 제 1 항에 있어서,

   상기 시야(field of view)의 축은 운영자의 얼굴의 예측된 방향으로부터 벗어나서 편향된 방향으로 배향되는, 사용자 인터페이스 제어기.
7. 제 1 항에 있어서,

   상기 제 1 카메라의 시야의 축은 상기 전자 장치의 운영자에 의해 이동될 수 있는, 사용자 인터페이스 제어기.
8. 제 1 항에 있어서,

   상기 지시 오브젝트의 위치를 추적하기 위해 상기 비디오 이미지들을 처리하는 상기 처리 기능은:

   각 오브젝트 마커 이미지가 적어도 하나의 규정된 포인트 위치를 포함하는 규정된 형상의 투영(projection)이며;

   각 오브젝트 마커 이미지가 상기 시야에 관련하여 크기 면에서 작으며;

   각 오브젝트 마커 이미지가 인접 환경들과 비교하여 높은 밝기 컨트래스트 비(brightness contrast ratio)를 가지며;

   각 오브젝트 마커 이미지가 특정 광 대역의 광을 기본적으로 포함하는,

   특성들의 그룹 중 하나 이상을 갖는 하나 이상의 지시 오브젝트 마커들의 이미지들에 응답하는, 사용자 인터페이스 제어기.
9. 제 1 항에 있어서,

   상기 처리 기능은 하나 이상의 지시 오브젝트 마커들 중 적어도 하나의 이미지를 이용하여 상기 지시 오브젝트를 추적하는, 사용자 인터페이스 제어기.
10. 제 9 항에 있어서,

    상기 휴대용 전자 장치는 광원을 더 포함하고, 상기 하나 이상의 지시 오브젝트 마커들 중 적어도 하나의 이미지는 상기 휴대용 전자 장치 내의 광원으로부터의 광의 반사인, 사용자 인터페이스 제어기.
11. 제 9 항에 있어서,

    상기 하나 이상의 지시 오브젝트 마커들 중 적어도 하나는 상기 하나 이상의 지시 오브젝트 마커들 중 하나의 이미지를 생성하는 광원을 포함하는, 사용자 인터페이스 제어기.
12. 제 1 항에 있어서,

    상기 처리 기능은 상기 디스플레이의 평면 내에 있는 2차원의 지시 오브젝트를 추적하는, 사용자 인터페이스 제어기.
13. 제 1 항에 있어서,

    상기 처리 기능은 3차원의 지시 오브젝트를 추적하는, 사용자 인터페이스 제어기.
14. 제 1 항에 있어서,

    상기 처리 기능은 상기 지시 오브젝트의 위치를 추적하기 위해 상기 비디오 이미지들을 처리하고, 상기 지시 오브젝트 상의 하나 이상의 지시 오브젝트 마커들의 이미지들로부터 상기 지시 오브젝트의 위치를 결정하는, 사용자 인터페이스 제어기.

Images