KR20150012274A

KR20150012274A - 이미지 내 원형 객체 검출에 의한 계산장치 동작

Info

Publication number: KR20150012274A
Application number: KR1020147034020A
Authority: KR
Inventors: 파브리지오 폴로
Original assignee: 오보틱스, 아이엔씨.
Priority date: 2012-05-14
Filing date: 2013-05-14
Publication date: 2015-02-03
Also published as: EP2850512A4; CN104428791A; WO2013173389A1; JP2015524951A; US20160148367A1; US10192310B2; HK1207455A1; EP2850512A1; US20130301879A1; US9280717B2

Abstract

계산장치를 동작시키기 위한 방법이 개시된다. 계산장치의 이미지 캡처 장치에 의해 캡처된 장면의 하나 이상의 이미지가 처리된다. 장면은, 움직이며 원형 형상을 갖는 관심 객체를 포함한다. 하나 이상의 이미지는 관심 객체에 대응하는 원형 객체를 검출함으로써 처리된다. 위치 정보는 하나 이상의 이미지 내 원형 객체의 상대적 위치에 기초하여 판정된다. 원형 객체의 상대적 위치로부터 판정된 위치 정보를 이용하는 하나 이상의 프로세스가 구현된다.

Description

이미지 내 원형 객체 검출에 의한 계산장치 동작{Operating a computing device by detecting rounded objects in image}

휴대용 계산장치의 개선으로 사용자는 다양한 상이한 목적을 위해 이들의 장치를 사용할 수 있다. 사용자는 전화를 걸고 인터넷을 열람하기 위해 스마트폰을 동작시킬 수 있을 뿐만 아니라, 사용자는 다양한 상이한 작업들을 수행하기 위해 자신의 스마트폰을 사용할 수 있다.

본원에 개시되는 바는, 제한이 아니라 예로서, 동일 구성요소에 동일 참조부호를 사용한 동반된 도면에 도시된다.
도 1은 실시예 하에 계산장치를 동작시키기 위한 예시적 시스템을 도시한 것이다.
도 2는 실시예에 따라 계산장치를 동작시키기 위한 예시적 방법을 도시한 것이다.
도 3a 및 도 3b는 실시예에 따른 처리된 이미지의 예를 도시한 것이다.
도 4는 실시예에 따른 계산장치를 동작시키기 위한 시스템에 대한 예시적 하드웨어도를 도시한 것이다.

본원에 기술되는 실시예는 이미지 내에 하나 이상의 원형 객체(예를 들면, 공, 구체 하우징을 가진 자주식 장치)를 검출하고 검출된 원형 객체(들)을 추적할 수 있는 계산장치를 제공한다. 계산장치는 검출된 원형 객체를 계산장치 상에서 하나 이상의 동작 또는 프로세스를 수행하기 위한 입력으로서 이용할 수 있다.

일부 실시예에 따라, 실시간 비디오의 프레임을 포함하여, 하나 이상의 이미지가 계산장치의 이미지 캡처 장치로부터 수신될 수 있다. 계산장치는 하나 이상의 애플리케이션을 동작시킬 수 있고, 또는 시각적 입력을 수신하기 위해 이미지 캡처 장치의 성분들을 사용하는 하나 이상의 모드에서 동작할 수 있다. 시각적 입력은 이미지 캡처 장치의 렌즈가 초점을 맞추거나 가리키고 있는 장면 및/또는 장면 내에 물체일 수 있다. 예를 들면, 장면은, 움직이며 원형 형상을 갖는 관심 객체를 포함할 수 있다.

실시예는 이미지들 중 하나 이상에서 하나 이상의 원형 객체(하나 이상의 관심 객체에 대응하는)를 검출하기 위해서 복수의 이미지를 수신하는 계산장치를 제공한다. 이미지 내 묘사된 원형 객체는, 예를 들면, 타원, 난형, 디스크, 구체, 등과 같은, 원형 형상 또는 부분적 원형 형상을 가진 적어도 하우징 또는 구조를 갖는 관심 객체에 대응할 수 있다. 관심 객체는 장면(예를 들면, 이미지 캡처 장치에 의해 검출된 시각적 입력) 내에 포함되는, 예를 들면, 공, 원형 물체, 원통형 물체, 또는 구체 하우징을 가진 자주식 장치 등에 대응할 수 있다. 일부 예에서, 자주식 장치는 원형 또는 구체 외관을 포함하기 위해(예를 들면, 원형 객체를 자주식 장치에 부착하거나 원격 제어되는 트럭의 트럭 베드 안에 탁구공을 떨어뜨린다) 수정될 수 있다(예를 들면, 조립후). 계산장치는 계산장치 상에서 하나 이상의 동작 또는 프로세스를 수행하기 위한 입력으로서 이미지 내 검출된 원형 객체를 처리하고 이용할 수 있다.

일부 실시예에서, 수신된 이미지 각각은 하나 이상의 원형 객체를 검출하기 위해 개별적으로 처리될 수 있다. 계산장치는 원형 객체(들)을 검출하기 위해서, 하나 이상의 검출 기술들을 함께 또는 개별적으로 사용할 수 있다. 하나 이상의 실시예에 따라, 검출 기술은 원형 객체의 크기에 기초한 이미지 필터 및 검출 알고리즘을 사용하는 것을 포함할 수 있다. 또한, 검출 기술은 하나 이상의 이미지 내 하나 이상의 원형 객체의 상대적 위치에 기초하여 하나 이상의 원형 객체의 위치 정보를 판정하기 위해 사용될 수 있다. 이미지 내 원형 객체(들)을 검출하는 것은 계산장치가 움직임의 속도 및/또는 가속도뿐만 아니라, 원형 객체(들)의 이동을 추적할 수 있게 한다.

수신된 이미지에서 하나 이상의 원형 객체를 검출하였을 때, 계산장치는 검출된 하나 이상의 원형 객체 및 각각의 위치 정보를, 추가의 동작 또는 프로세스를 수행하기 위한 입력으로서 이용할 수 있다. 일 실시예에서, 계산장치는 검출된 원형 객체를 포함하는 이미지를 조절하고, 조절된 이미지를 디스플레이 장치 상에 제공할 수 있다. 다른 실시예에서, 계산장치는 검출된 원형 객체를, 검출된 물체를 제어하기 위한 입력으로서(예를 들면, 원격 장치로서) 사용할 수 있다.

하나 이상의 실시예에 따라, 이미지 캡처 장치는 하나 이상의 이미지 내에 하나 이상의 원형 객체를 검출하는 계산장치와는 별개이며 분리되어 있을 수 있다. 이미지 캡처 장치 및 계산장치는 계산장치가 이미지 캡처 장치로부터 하나 이상의 이미지를 수신할 수 있게 하기 위해서 서로 무선으로 통신할 수 있다. 비디오 캡처 장치와 같은 기록 장치는 계산장치와는 분리되어 있고 이와 무선으로 통신할 수 있다. 다른 실시예에서, 장치는 하나의 장치의 부분이거나, 하나의 장치로서 함께 탑재될 수 있다.

또한, 본원에 기술되는 실시예는 기록 장치 및/또는 이미지 캡처 장치 및/또는 계산장치에 의해 수행되는 동작 및/또는 프로세스가 서로 다른 시간들에서 그리고 서로 다른 순서들로(예를 들면, 일시적으로 옮겨져) 수행되는 것을 제공한다.

본원에 기술되는 하나 이상의 실시예는 계산장치에 의해 수행되는 방법, 기술, 및 작동이 프로그램적으로, 혹은 컴퓨터-구현 방법으로서 수행되는 것을 제공한다. 본원에서 사용되는 바와 같이, 프로그램적으로라는 것은 코드 또는 컴퓨터-실행가능 명령의 사용을 통한 것을 의미한다. 이들 명령은 계산장치의 하나 이상의 메모리 자원에 저장될 수 있다. 프로그램적으로 수행되는 단계는 자동적일 수도 있고 아닐 수도 있다.

본원에 기술되는 하나 이상의 실시예는 시스템의 프로그램적 모듈 또는 성분을 사용하여 구현될 수 있다. 프로그램적 모듈 또는 성분은 프로그램, 서브-루틴, 프로그램의 부분, 혹은 하나 이상의 정해진 작업 또는 기능을 수행할 수 있는 소프트웨어 성분 또는 하드웨어 성분을 포함할 수 있다. 본원에서 사용되는 바와 같이, 모듈 또는 성분은 다른 모듈 또는 성분과는 무관하게 하드웨어 성분 상에 존재할 수 있다. 대안적으로, 모듈 또는 성분은 다른 모듈, 프로그램 또는 기계의 공유된 요소 또는 프로세스일 수 있다.

본원에 기술되는 일부 실시예는 일반적으로 처리 및 메모리 자원을 포함하여, 계산장치의 사용을 요구할 수 있다. 예를 들면, 본원에 기술되는 하나 이상의 실시예는 이를테면 디지털 카메라, 디지털 캠코더, 데스크탑 컴퓨터, 셀룰라 또는 스마트폰, 개인용 디지털 보조장치(PDA), 랩탑 컴퓨터, 프린터, 디지털 화상 프레임, 및 태블릿 장치와 같은, 계산장치 상에 전체적으로 혹은 부분적으로 구현될 수 있다. 메모리, 처리, 및 네트워크 자원은 모두가 본원에 기술된 임의의 실시예의 수립, 사용, 또는 수행에 관련하여(임의의 방법의 수행 또는 임의의 시스템의 구현과 함께) 사용될 수 있다.

또한, 본원에 기술되는 하나 이상의 실시예는 하나 이상의 프로세서에 의해 실행될 수 있는 명령의 사용을 통해 구현될 수 있다. 이들 명령은 컴퓨터-판독가능 매체 상에서 수행할 수 있다. 이하 도면과 함께 도시되거나 기술되는 기계들은 발명의 실시예를 구현하기 위한 명령이 수행되고 및/또는 실행될 수 있는 처리 자원 및 컴퓨터-판독가능 매체의 예를 제공한다. 특히, 발명의 실시예로 제시되는 수많은 기계들은 프로세서(들) 및 데이터 및 명령을 유지하기 위한 여러 형태의 메모리를 포함한다. 컴퓨터-판독가능 매체의 예는 개인용 컴퓨터 또는 서버 상에 하드 드라이브와 같은 영구 메모리 저장 장치를 포함한다. 컴퓨터 저장 매체의 이외 다른 예는 CD 또는 DVD 유닛, 플래시 메모리(이를테면 스마트폰, 다기능 장치 또는 태블릿 상에 수행되는), 및 자기 메모리와 같은, 휴대 저장 유닛을 포함한다. 컴퓨터, 단말기, 네트워크 가능 장치(예를 들면, 셀 전화와 같은, 휴대용 장치)는 프로세서, 메모리, 및 컴퓨터-판독가능 매체 상에 저장된 명령을 이용하는 기계 및 장치의 모든 예들이다. 또한, 실시예는 컴퓨터-프로그램, 혹은 이러한 프로그램을 수행할 수 있는 컴퓨터 사용가능 캐리어 매체 형태로 구현될 수 있다.

시스템 설명

도 1은 실시예 하에 계산장치를 동작시키기 위한 예시적 시스템을 도시한 것이다. 도 1a에 관련하여 기술된 바와 같은 시스템은 예를 들면, 일체화된 이미지 캡처 성분을 갖는 휴대용 다기능 계산장치(예를 들면, 스마트폰, 태블릿 장치) 상에 구현될 수 있다. 변형예에서, 시스템(100)은 이동하는 물체를 추적하기 위해 카메라가 제어 또는 동작되는 환경에서 동작될 수 있는 노트북, 랩탑, 또는 이외 다른 계산장치 상에 구현될 수 있다.

도 1의 예에서, 시스템(100)은 움직이는 물체와 같은 원형 객체를 동적으로 검출하기 위해서 이미지 입력을 처리하게 동작한다. 검출된 원형 객체는 움직이고 있는 및/또는 계산장치의 제어 하에 있는 장치의 하우징의 부분일 수 있다. 기술된 일부 예에 따라, 원형 객체는 원형 객체와 일체화된 장치의 이동 또는 동작을 제어하는 프로그램적 프로세스의 부분으로서 검출된다. 변형예에서, 움직이는 원형 객체를 입력으로서 이용하는 증강현실과 같은 다른 프로그램적 프로세스를 발생하기 위해 물체의 존재가 사용되는 프로그램적 프로세스의 부분으로서, 움직이는 원형 객체가 검출된다. 따라서, 시스템(100)은 움직이는 관심 객체에 대응하는 원형 객체를 검출할 수 있다. 이러한 물체의 검출은, 이를테면 관심 객체를 제어하거나 혹은 계산장치 상에 표시되는 증강현실에 관심 객체의 표현을 합치는 것과 같은 다른 동작을 계산장치가 수행할 수 있게 하기 위해 입력을 제공할 수 있다.

또한, 시스템(100)은 관심 객체를 포함하는 장면을 묘사하는 복수의 이미지의 차원적 분석을 수행할 수 있다. 구체적으로, 시스템(100)은 이미지 캡처 장치 및/또는 계산장치로부터 관심 객체의 거리를 판정하기 위해서 차원적 분석을 수행할 수 있다. 이 목적을 위해서, 일 예에서, 원형 객체는 효율적으로 시스템(100)의 성분에 의해 이미지 내에서 검출되고 처리될 수 있다.

일 실시예에서, 시스템(100)은 객체 검출부(110), 이미지 조절부(130), 사용자 인터페이스(UI) 성분(140), 장치 제어부(150) 및 무선 통신부 (WCOM)(160)를 포함한다. 시스템(100)의 성분들은 이미지 캡처 장치로부터 복수의 이미지를 수신하고 이미지 내 묘사된 하나 이상의 원형 객체를 검출하기 위해 이미지를 자동으로 처리하기 위해 결합한다. 각 이미지는 검출된 물체가 계산장치 상에서 하나 이상의 동작을 수행하기 위한 입력으로서 처리될 수 있도록 하나 이상의 검출 기술을 사용하여 처리될 수 있다.

실시예에 따라, 객체 검출부(110)는 이를테면 이미지 필터(112), 변화도(gradient) 검출부(120), 및 이미지 표시부(122)와 같은, 부-성분들을 또한 포함할 수 있다. 이들 성분들은 객체 검출부(110)가 복수의 이미지 내 묘사된 하나 이상의 물체를 검출 및 추적할 수 있게 결합할 수 있다.

계산장치는 하나 이상의 애플리케이션을 동작시킬 수 있고 및/또는 하나 이상의 서로 다른 모드에서 동작할 수 있다. 일 실시예에서, 시스템(100)은 하나 이상의 프로세스를 수행하기 위해 이미지 캡처 장치에 의해 검출된 시각적 입력을 사용하는 애플리케이션 또는 프로그램(예를 들면, 게임 애플리케이션 또는 장치 조정 설정 프로그램)을 사용자가 실행 또는 기동한 것에 응하여 동작될 수 있다. 객체 검출부(110)는 하나 이상의 이미지 내 하나 이상의 원형 객체를 검출하기 위해서 이미지 입력과 같은 시각적 입력(114)을 이미지 캡처 장치로부터 수신할 수 있다. 예를 들면, 이미지 캡처 장치(예를 들면, 일체화된 카메라)는 장면(예를 들면, 렌즈가 가리키고 있는 어떤 뷰 및/또는 물체(들)로부터든)을 수신하고 캡처할 수 있다. 시각적 입력(114)은 이미지 시퀀스 형태이거나, 비디오 입력을 통한 것일 수 있다(예를 들면, 초당 30 - 60 프레임으로 연속하여 캡처된 복수의 이미지).

일부 실시예에서, 계산장치에 의해 수신되고 있는 이미지의 프리뷰가 계산장치의 디스플레이 장치 상에 제공될 수 있다. 예를 들면, 시각적 입력(114)은 UI 성분(140)이 수신된 시각적 입력(114)의 프리뷰 이미지를 발생하도록(프리뷰 이미지에 제공될 수 있는 하나 이상의 특징, 예를 들면, 줌인 또는 줌아웃 특징, 이미지 캡처 특징뿐만 아니라) UI 성분(140)에 제공될 수도 있다. 디스플레이 장치(예를 들면, 터치-감응 디스플레이 장치)는 이미지 캡처 장치가 현재 가리키고 있는 장면의 동적으로 변하는 실시간 이미지를 제공할 수 있다. 이 이미지는 원형 특성(예를 들면, 원형 하우징 또는 하우징의 부분을 갖는)을 갖는, 장면 내 하나 이상의 관심 객체를 포함할 수 있다. 또한, 사용자는 캡처 버튼 또는 트리거를 누름으로써, 혹은 또 다른 사용자 인터페이스 특징을 사용함으로써(예를 들면, 터치-감응 디스플레이 상에 제공된 "이미지 캡처" 그래픽 특징을 탭(tap)한다) 장면의 하나 이상의 이미지를 캡처 및 저장할 수 있다.

일부 실시예에 따라, 객체 검출부(110)는 관심 객체를 검출하기 위해 개개의 이미지를 개별적으로 처리할 수 있다. 특히, 관심 객체는 반-구체, 또는 구체(또는, 다른 구체 부분)와 같은 특별한 형상에 부합하게 지정될 수 있다. 시각적 입력(114)을 통해 각 수신된 이미지에 대해서, 객체 검출부(110)는 관심 객체의 원형, 지정된 특성을 검출하기 위해서 이미지 인식 소프트웨어, 및/또는 이외 다른 이미지 처리 방법을 동작시킬 수 있다. 예를 들면, 객체 검출부(110)는 구체, 반-구체 또는 이외 다른 변형들(지정된 원형 특성에 따라)에 대응하는 원형 객체를 검출하기 위해 개별적으로 캡처된 이미지의 화소를 스캔할 수 있다.

객체 검출부(110)는 개개의 이미지 내 하나 이상의 원형 객체를 검출하기 위해서 서로 다른 검출 기술들을 함께 또는 개별적으로 사용할 수 있다. 일 실시예에서, 객체 검출부(110)의 이미지 필터(112)는 하나 이상의 이미지를 수신하고 수신된 이미지 각각에 그레이스케일 필터와 같은 필터를 적용할 수 있다. 이미지에 그레이스케일 필터를 적용하는 것은 이미지의 각 화소를 그레이 음영으로 전환할 수 있다(예를 들면, 세기 정보에 기초하여). 이미지 필터(112)는 각 수신된 이미지의 그레이스케일 이미지(116)를 변화도 검출부(120) 및 이미지 표시부(122)에 제공할 수 있다. 일단 그레이스케일이 되면, 훈련된 물체 검출기는 잠재적으로 관심 객체에 대응하는 원형 객체에 대한 그레이스케일 화소를 스캔할 수 있다. 그레이스케일 필터의 사용은 관심 객체가 움직이고 있을 때 이 물체를 실시간으로 검출할 수 있게 이미지 물체를 고속으로 검출되게 한다.

일부 실시예에서, 관심 객체는 이들의 각각의 추적을 용이하게 하기 위해 추가의 특성을 포함할 수 있다. 예를 들면, 관심 객체의 원형 특성은 이를테면 다른 구조적인 시각적 랜드마크, 색상에 밝기(예를 들면, 백색, 은색, 황색, 등), 조명, 또는 표면 패턴과 같은, 추가의 특징과 더욱 결합될 수 있다. 예로서, 관심 객체는 밝은 색상(예를 들면, 백색)일 수 있고, 처리된 입력 이미지에 대해 그레이스케일 필터의 사용은 동일 장면의 다른 부분에 대한 다른 화소보다 더 밝은 그레이 음영을 가질 수 있는 물체가 되게 할 수 있다. 일 실시예에서, 그레이스케일 이미지(116)는 각 그레이스케일 이미지(116) 내 원형 객체(들)을 검출하기 위해서, 하나 이상의 이미지 처리 방법을 사용하는(예를 들면, 하나 이상의 알고리즘을 적용하는), 변화도 검출부(120) 및 이미지 표시부(122)에 제공될 수 있다.

또한, 변형예에서, 관심 객체에 관한 기지의(또는 소정의) 정보가 물체 검출을 수행하는데 사용될 수 있다. 예를 들면, 사용자는 관심 객체에 대한 시각적 표시자에 대응하는 입력(126)을 제공할 수 있다. 이러한 입력(126)은 예를 들면, 입력 메커니즘을 통해(예를 들면, 하나 이상의 버튼, 또는 터치-감응 디스플레이 스크린을 사용하여), 물체(들)의 색상(들)뿐만 아니라, 원형 객체(들)의 추정된 크기(예를 들면, 반경 또는 직경)을 포함할 수 있다. 또 다른 변형예에서, 사용자는 디스플레이 상에 제공된 물체의 근사적 크기를 나타내기 위해서 터치-감응 디스플레이 상에 원형 제스처에 대응하는 입력(126)을 제공할 수 있다. 다른 예에서, 하나 이상의 원형 객체에 관한 정보는 계산장치의 메모리에 저장될 수 있다. 변화도 검출부(120)는 이미지 각각 내에 원형 객체(들)을 검출하기 위해서 기지의 정보를 이용할 수 있다.

일 실시예에서, 변화도 검출부(120)는 개개의 화소에 대한 각각의 변화도를 판정하기 위해서 그레이스케일 이미지(116)의 개개의 화소(또는 몇몇 화소)를 처리할 수 있다. 특정 화소에 대한 변화도는 바로 인접한 화소들을 포함하여, 주변 화소들에 기초할 수 있다. 변화도는 방향으로 화소들의 밝기 레벨이 증가하는 방향을 갖는 벡터에 대응한다. 예를 들면, 화소의 밝기 레벨은 변화도의 방향으로 다른 화소들의 밝기 레벨보다 낮거나 덜 밝다. 이미지 표시부(122)는 각 화소의 판정된 변화도에 대해서, 원형 객체(들)의 반경(예를 들면, 실제 반경, 곡률 반경)과 동일한 거리 내에 있는, 변화도의 방향으로 한 지점을 표시하는 로직을 구현한다. 예를 들면, 사용자는 검출될 원형 객체가 어떤 크기 또는 근사적 화소 길이의 반경을 가짐을 나타낼 수 있다(사용자 입력(126)을 통해). 예를 들면, 근사화된 화소 길이는 20 화소로 설정될 수 있다. 다른 예에서, 근사화된 화소 길이는 이미지 내 원형 객체의 크기에 관한 이전에 저장된 정보에 기초하여 가정되거나 또는 사전에 결정될 수 있다. 판정된 변화도를 사용하여, 각 화소에 대해, 이미지 표시부(122)는 가장 높은 밝기 레벨을 갖는 변화도의 방향으로 이 특정 화소의 20 화소 길이 내에 한 지점을 표시할 수 있다. 이것은 원형 객체의 중심 또는 중간을 나타낼 수 있다. 복수의 표시(예를 들면, 그레이스케일 이미지(116)의 각 화소에 대한 표시)에 기초하여, 객체 검출부(110)는 복수의 표시를 가진 이미지의 지역이 원형 객체의 중심에 대응하는 것으로 가정할 수 있고 각 그레이스케일 이미지(116) 내 원형 객체(들)(어떤 것이든 존재한다면)의 장소(location) 또는 위치를 판정할 수 있다. 원형 객체의 판정된 위치 정보는 이미지에 상대적인 것일 수 있다.

또한, 변화도 검출부(120)는 그레이스케일 이미지(116) 내 각 화소에 대한 변화도를 판정할 때 파라미터(계산장치의 메모리 자원 내 데이터베이스 또는 리스트에 저장될 수 있는)에 액세스할 수 있다. 파라미터는 예를 들면, 밝기 임계 및 변화도 임계를 포함할 수 있다. 밝기 임계는 특정 화소에 대한 변화도를 계산하는 것을, 인접 화소들(그 특정 화소의 반경 거리 내에서 이 특정 화소로부터 멀어지는 방향으로 화소들)이 밝기가 증가하는 패턴을 보이지 않는다면 무시할 것을 변화도 검출부(120)에 명령할 수 있다. 또 다른 예에서, 변화도 임계는 특정 화소에 대한 변화도를 계산하는 것을, 인접 화소들이 이 특정 화소로부터 멀어지는 방향으로 밝기 레벨들에 있어 충분히 강한 변화를 보이지 않는다면, 무시할 것을 변화도 검출부(120)에 명령할 수 있다. 변화도가 계산되지 않은 화소들에 대해서는 이미지 표시부(122)에 의해 어떠한 표시도 제공되지 않을 것이다.

또 다른 실시예에서, 객체 검출부(110)는 그레이스케일 이미지(116) 내 원형 객체를 검출하기 위해서 원형 객체의 서로 다른 반경들을 적용할 수 있다. 변화도 검출부(120) 및 이미지 표시부(122)는 그레이스케일 이미지(116) 내 각 개개의 화소를 처리할 수 있기 때문에, 객체 검출부(110)는 원형 객체를 검출하기 위해 사용되는 반경들이 각 그레이스케일 이미지(116)에 대해 이미지의 지역마다 다를 수 있는 것으로 가정한다. 원형 객체(들)에 관련하여 이미지 캡처 장치의 앵글, 방위, 거리, 및 포지셔닝에 기인하여, 원형 객체(들)는 이것이 사용자에 얼마나 가까이 있는가에 따라 크기가 다를 수 있다. 객체 검출부(110)는 이미지 내 주어진 화소가 사용자 또는 사용자의 발에 가까운 그라운드 또는 바닥을 나타내는지, 혹은 화소가 사용자로부터 더 멀리 있는 지점(예를 들면, 수평에 가까운)을 나타내는지 여부를 판정하기 위해서, 이미지 캡처 장치의 방위 및 위치 설정에 관한 정보(예를 들면, 이미지 캡처 장치의 렌즈가 가리키는 또는 초점을 맞추는 곳)를 수신할 수 있다. 객체 검출부(110)는 이미지 내 특정 지점이 사용자에게 가까운 지역을 나타낸다면 이 지점에 혹은 근방에 원형 객체는 전형적으로 원형 객체가 사용자로부터 더 멀리 있었던 경우보다 이미지에서 더 커질 것으로 더욱 가정한다. 결국, 사용자에게 더 가까운 지역을 나타내는 지점에 대해서, 이미지 표시부(122)는 이 지점의 변화도의 방향으로 지역을 표시할 때 더 큰 반경을 적용할 수 있다(검출될 원형 공은 이미지에서 더 클 것으로 가정되므로).

사용자로부터 더 멀리 있는 지역을 나타내는 한 지점에 대해서, 이 지점에 또는 근방에 원형 객체는 전형적으로 이미지에서 더 작게 보인다. 결국, 주어진 지점이 사용자로부터 더 멀리 있는 지역을 나타내는 것으로 판정한 후에, 이미지 표시부(122)는 이 지점에 대한 변화도의 방향으로 지역을 표시할 때 더 작은 반경(예를 들면, 20 화소 길이 대신에 10 화소 길이)을 적용할 수 있다. 이렇게 하여, 객체 검출부(110)는 또한 원형 객체가 이미지 시퀀스에서 한 이미지에서 또 다른 이미지로 크기가 커지게 되거나(예를 들면, 이것이 사용자에게 가깝게 이동하고 있다면), 한 이미지에서 또 다른 이미지로 크기가 작아지게 될 수 있으므로(예를 들면, 이것이 사용자로부터 더 멀어지게 이동하고 있다면), 원형 객체가 하나 이상의 방향으로 이동하고 있는지를 판정할 수 있다.

예를 들면, 계산장치의 가속도계 및/또는 이외 다른 감지 메커니즘에 기초하여, 계산장치는 그라운드에 관하여 이의 위치를 검출할 수 있다. 또한, 계산장치는 이미지 캡처 장치에 의해 제공되는 이미지(들)의 그라운드 평면 및 수평을 판정할 수 있다. 판정된 정보에 기초하여, 사용자가 이미지 캡처 장치의 렌즈가 예를 들면, 자신에게 가까운 영역을 가리키고 있게 하여 계산장치를 잡고 있다면, 계산장치는 검출되고 있는 원형 객체의 반경(예를 들면, 크기)을 증가시킬 수 있다. 한편, 사용자가 이미지 캡처 장치의 렌즈가 사용자로부터 더 멀리 있는 영역(예를 들면, 근접에서 더 멀어지는 거리)을 가리키고 있게 하여 계산을 잡고 있다면, 검출되고 있는 원형 객체의 반경은 감소될 수 있다.

논의된 바와 같이, 각 판정된 변화도에 대해서(각 화소에 대해), 이미지 표시부(122)는 원형 객체(들)의 반경과 동일한 거리 내에 있는 변화도의 방향에 한 지점(예를 들면, 이미지 내 혹은 이미지에 장소)을 표시할 수 있다. 이렇게 하여, 검출될 원형 객체가 어떤 반경을 갖는다고 사용자가 나타내는 대신에, 이미지 표시부(122)는 가장 높은 밝기 레벨을 갖는 변화도의 방향으로 가변 반경 내에 한 지점을 표시할 수 있다. 반경들은 계산장치의 이미지 캡처 장치의 렌즈가 사용자에게 더 가까운 아니면 더 먼 영역을 가리키고 있는지 여부에 따라 달라질 수 있다.

일부 실시예에서, 하나 이상의 원형 객체의 추정된 크기는 계산장치의 메모리 자원 내에 자동으로 구성 및/또는 저장될 수 있다. 예를 들면, 원형 객체는 사용자의 계산장치와 쌍이 되거나 이에 무선으로 연결되는 원형 하우징(예를 들면, 구체 하우징)을 갖는 자주식 장치일 수 있다. 사용자의 자주식 장치에 관한 정보는 계산장치의 메모리 자원에 저장될 수 있다.

또한, 객체 검출부(110)는 사용자 입력(126)에 따라 서로 다른 유형의 필터를 적용할 수 있다. 일부 실시예에서, 이미지 필터(112)는 객체 검출부(110)에 의해 검출되고 있는 원형 관심 객체(들)의 색상(들)에 따라 다른 유형의 필터를 적용할 수 있다. 원형 관심 객체가 예를 들면, 색이 어둡다면, 사용자는 공의 색상을 나타내는 입력(126)을 제공할 수 있다.

객체 검출부(110)는 하나 이상의 이미지 내 하나 이상의 원형 객체를 검출하고 또한 검출된 물체에 대응하는 정보를 제공할 수 있다. 검출된 물체에 관한 정보는 물체의 색상, 크기, 형상(예를 들면, 타원 또는 구체), 이미지에 관한 물체의 위치, 등을 포함할 수 있다. 일 실시예에서, 검출된 원형 객체(들)에 관한 정보는 계산장치의 메모리 자원에 저장될 수 있다.

하나 이상의 실시예에 따라, 시스템(100)은 계산장치 상에서 하나 이상의 동작 또는 프로세스를 수행하기 위한 입력으로서 이미지(들)로부터 검출된 하나 이상의 물체(하나 이상의 물체의 위치 정보를 포함하여)를 이용한다. 도 1의 예시적 시스템에서, 객체 검출부(110)는 검출된 물체 및 이미지(예를 들면, 물체가 검출된 이미지(124))에 관한 정보를 이미지 조절부(130) 및 장치 제어부(150)에 제공할 수 있다. 예를 들면, 이미지 조절부(130)는 게임 애플리케이션의 부분으로서 혹은 이와 연대하여 동작할 수 있다.

일부 실시예에서, 시스템(100)은 물체가 검출된 이미지(124)에 기초하여 원형 관심 객체가 이동하고 있는 것으로 판정할 수 있다. 예를 들면, 서로 다른 시간들에 대응하는(예를 들면, 시퀀스 내) 2 이상의 이미지는 장면 내 관심 객체에 대응하는 원형 객체를 포함할 수 있다. 2 이상의 이미지들 중 제1 이미지에서, 원형 객체는 이 이미지에 관한 제1 위치에서 검출될 수 있다. 시퀀스 내 다음 이미지에서, 원형 객체는 이 이미지에 관한 제2 위치에서 검출될 수 있다. 서로 다른 이미지들에서 검출된 원형 객체의 위치에 변화의 결과로서, 장치 제어부(150) 및/또는 이미지 조절부(130)는 원형 객체가 움직이는(혹은 이동된) 것으로 판정할 수 있다. 다른 예에서, 원형 관심 객체는 고정된 위치에 있지만 같은 자리에서 회전하고 있을 수 있다. 회전하는 원형 객체가 이미지(들)에서 검출될 수 있다.

또한, 이미지 입력으로부터 검출된 원형 객체는 이미지 묘사에 관계된 주어진 기준 프레임에 대한 좌표 데이터로 전환될 수 있다. 이 좌표 기준 프레임은 관심 객체에 관한 위치에 관계된 정보를 관찰 및/또는 예측하기 위해서 실세계 좌표 시스템으로 전환될 수 있다. 이에 따라, 관심 객체의 위치는 이미지 캡처 장치로부터 물체의 깊이가 물체의 묘사의 차원적 분석으로부터 판정될 수 있다고 하면, 물체의 이미지 묘사로부터 매핑될 수 있다. 위치 정보에 더하여, 관심 객체의 속도는 실세계 관심 객체의 판정된 기준 프레임에 매핑되었을 때, 물체의 이미지 묘사의 기준 프레임으로부터 판정될 수 있다.

또 다른 예에서, 원형 특성을 갖는 관심 객체는 그라운드 또는 바닥 위가 아니라 기지의 높이를 가진 물체 위에(예를 들면, 커피 테이블 위에 혹은 원격으로 제어되는 장난감 트럭 위에) 놓일 수 있다. 관심 객체에 관한 기지의(또는 소정의) 정보 및 기지의 높이를 사용하여, 객체 검출부(110)는 이미지(들) 내 물체의 더 정확한 위치를 판정할 수 있다. 또한, 정보(이를테면 기지의 정보 및 높이) 및 기준 프레임들에 기초하여, 이미지 조절부(130)는 차원적으로 정확한(관심 객체의 실제 장소 및 이미지 캡처 장치의 위치에 관하여), 디스플레이 장치 상에 렌더링될 이미지를 제공할 수 있다.

예를 들면, 이미지 조절부(130)는 이미지의 적어도 한 부분을 동적으로 조절하기 위해서 물체가 검출된 이미지(124)를 처리할 수 있다. 또한, 이미지 조절부(130)는 렌더링된 조절된 이미지가 실세계 장면에 관하여 차원적으로 정확할 수 있도록 좌표 기준 프레임 및 실세계 좌표 시스템을 매핑하기 위한 한 세트의 규칙에 액세스할 수 있다. 규칙은 실세계 파라미터에 대응할 수 있다. 일부 예에서, 실세계 파라미터는 차원적으로 정확한 렌디션(rendition)이 요망되지 않는다면, 예를 들면, 사용자 입력에 의해 변경될 수 있다.

또한, 이미지 조절부(130)는 조절된 이미지(132)를 계산장치의 메모리 자원에 저장할 수 있다. 이것은 사용자가 저장된 조절된 이미지(132) 중 어느 것이든 나중에 보기 위해서 메모리 자원에 액세스할 수 있게 한다. 다른 실시예에서, 시스템(100)은 다른 동작을 수행하기 위해 이미지의 추가의 처리를 할 수 있게 한다. 이미지 조절부(130)는 예를 들면, 이전에 처리된 이미지에 액세스하고 이미지에 대한 추가의 조절을 수행할 수 있다. 일부 변형예에서, 객체 검출부(110) 및/또는 이미지 조절부(130)에 의해 수행되는 프로세스는 "라이브" 또는 실시간이 아니라, 저장된 이미지에 대해 수행될 수 있다. 이에 따라, 예를 들면, 객체 검출부(110) 및 이미지 조절부(130)와 더불어 기술된 프로세스는 선택적으로, 이미지가 캡처 및/또는 저장되는 때에 관하여 일시적으로 옮겨질 수 있다.

다른 예에서, 이미지 조절부(130)는 이미지 내 검출된 원형 객체를 그래픽 이미지(예를 들면, 문자, 동물, 공 이외의 어떤 다른 물체)로 동적으로 오버레이 또는 대체하거나, 검출된 원형 객체 자체의 이미지를 실시간으로 변경할 수 있다(예를 들면, 원형 객체의 색상을 변경하거나, 원형 객체를 비튼다). 조절된 이미지(132)는 계산장치의 사용자가 조절된 검출된 물체를 포함하는 렌더링된 콘텐트를 디스플레이 장치 상에서 볼 수 있도록 UI 성분(140)에 제공될 수 있다. 또한, UI 성분(140)은 계산장치의 디스플레이 장치 상에 제공될 수 있는 하나 이상의 특징을 발생할 수 있다. 기술된 바와 같이, 일부 예에서, 렌더링되는 조절된 콘텐트는 실제 관심 객체의 위치, 및 이미지 캡처 장치의 위치에 관하여 차원적으로 정확할 수 있다.

예를 들면, 사용자는 생 스포츠 경기(예를 들면, 어린이가 공원에서 축구를 한다)를 지켜보고 자신의 계산장치의 렌즈를 현장을 가리키게 할 수 있다. 수신된 시각적 입력(114)은 이미지 캡처 장치에 의해 검출된 복수 프레임의 이미지들을 포함할 수 있다. 객체 검출부(110)는 이미지 시퀀스 각각 내에 원형 객체(관심 객체, 예를 들면, 축구공에 대응하는)를 검출할 수 있다(예를 들면, 공의 위치는 공이 움직이고 있기 때문에 각 이미지에서 다를 수 있다). 이미지 조절부(130)는 공을 하이라이트하거나 공 주위에 고리를 제공하고 이미지를 UI 성분(140)에 제공함으로써 검출된 물체(예를 들면, 검출된 축구공)를 처리할 수 있다. 이어, 사용자는 조절된 이미지(132)(임의의 추가의 특징과 함께)를 계산장치의 디스플레이 장치 상에서 볼 수 있다.

다른 실시예에서, 장치 제어부(150)는 원격 장치에 대한 하나 이상의 제어를 제공하기 위해서 물체가 검출된 이미지(124)를 처리할 수 있다. 예를 들면, 검출된 원형 객체는 사용자의 계산장치와 쌍이 되거나 이에 무선으로 연결되는 자주식 장치일 수 있다. 사용자는 검출된 원형 객체(예를 들면, 사용자의 자주식 장치)를 포함하는 수신된 시각적 입력(114)의 표현을 계산장치의 디스플레이 장치 상에서 볼 수 있다. 이어, 사용자는 장치 제어부(150)에 사용자 입력(152)(예를 들면, 터치-감응 디스플레이 스크린 상에 터치 입력)을 제공함으로써 터치-감응 디스플레이 스크린 상에 자주식 장치의 표시된 표현과 상호작용할 수 있다.

장치 제어부(150)는 물체가 검출된 이미지(124) 및 사용자 입력(152)을 수신하여 어떤 유형의 제어 정보(154)를 발생할지를 판정한다. 물체가 검출된 이미지(124)를 통해 검출된 원형 객체에 대응하는 수신된 정보에 기초하여, 예를 들면, 디스플레이 스크린의 특정 장소 상에 사용자 입력(152)을 검출하고, 장소가 이미지 상에 검출된 원형 객체에 대응하는 것으로 판정함으로써 제어 정보(154)가 판정될 수 있다. 예를 들면, 사용자는 자주식 장치의 표시된 표현에 탭하여 예를 들면, 회전하게 하거나 자신의 손가락을 이를 따라 자주식 장치가 이동하게 하는 방향으로 탭하고 드래그할 수 있다. 제어 정보(154)는 정보가 원격 장치에 제공될 수 있도록 WCOM(160) 상에 제공된다.

예를 들면, 장치 제어부(150)는 물체가 검출된 이미지(들)(124) 내 검출된 원형 객체의 위치(예를 들면, 이미지에 관하여 검출된 원형 객체의 위치)를 판정한다. 사용자가 입력을 제공하거나 자주식 장치의 표현에 대해 제스처를 수행할 때(예를 들면, 표현을 터치-감응 디스플레이 상에서 우측으로 드래그한다), 장치 제어부(150)는 기준(예를 들면, 자주식 장치의 표시된 표현의 원래의 위치)에 관하여 동작의 경로를 판정하고, 동작을, 자주식 장치를 유사하게 이동시키기 위한 제어 신호로 전환한다. 제어 신호는, 이에 따라 자주식 장치가 이동하게 자주식 장치에 제공될 수 있다.

WCOM(160)는 시스템(100)과 다른 외부 장치(예를 들면, 원격 장치 또는 사용자의 자주식 장치와 같은) 간에 데이터를 교환하게 작용한다. 일 실시예에서, WCOM(160)는 이를테면 블루투스 통신 프로토콜, Wi-Fi 통신 프로토콜, 적외선 통신 프로토콜, 등과 같은 다양한 서로 다른 프로토콜들을 구현할 수 있다. 제어 정보(154)는 사용자 지령에 대응하는 지정된 작동을 자주식 장치가 수행하게 원격 장치(예를 들면, 예컨대 자주식 장치)에 무선으로 통신될 수 있다.

일부 실시예에서, 장치 제어부(150)는 원격 장치의 하나 이상의 성분을 조정하기 위한(또는 계산장치의 하나 이상의 성분을 조정하기 위해) 제어 정보(154)를 제공할 수 있다. 예를 들면, 원형 관심 객체(예를 들면, 사용자의 자주식 장치)는 하나 이상의 자이로스코프를 가질 수 있다. 시간에 지남에 따라, 자이로스코프는 자이로스코프 드리프트에 기인하여 다시 조정할 필요가 있을 수 있다. 물체가 검출된 이미지(124)를 사용함으로써, 장치 제어부(150)는 자주식 장치가 예를 들면, 이동하고 있는지, 혹은 움직이지 않고 있는지를 검출하고, WCOM(160)을 통해 자주식 장치에 전송될 제어 정보(154)(조정 정보를 포함하는)를 제공할 수 있다. 자주식 장치 및 물체가 검출된 이미지(124)의 이동 라인을 검출한 것에 기초하여, 장치 제어부(150)는 자주식 장치의 자이로스코프를 조정할 수 있다. 일 실시예에서, 장치 제어부(150)는 또한 자주식 장치(자이로스코프에 관한 실시간 정보를 포함하는)의 성분에 관한 현재의 정보를 포함하는 자주식 장치로부터 장치 정보(162)를 수신할 수 있다. 장치 제어부(150)는 자주식 장치의 자이로스코프를 조정하기 위해 이 정보를 사용할 수 있다. 이렇게 하여, 시스템(100)은 자이로스코프 드리프트를 제거하기 위해 사용될 수 있다.

유사하게, 계산장치의 하나 이상의 자이로스코프는 또한 검출된 원형 객체를 사용하여 조정될 수 있다. 예를 들면, 원형 객체가 정지 또는 움직이지 않는 것으로 판정되었을 때, 장치 제어부(150)는 검출된 원형 객체를 기준 지점으로서 사용함으로써 계산장치의 자이로스코프를 조정할 수 있다.

또한, 객체 검출부(110)는 물체가 검출된 이미지(118)를 계산장치의 다른 성분 또는 시스템에 및/또는 추가의 처리를 위해 원격 장치(도 1에 도시되지 않음)에 제공할 수 있다. 다른 성분은 검출된 원형 객체를 다른 동작을 수행하기 위한 입력들로서 처리할 수 있다.

하나 이상의 실시예에 따라, 시스템(100)에 의해 수신된 시각적 입력(114)은 또한 계산장치로부터 원격에 있는 이미지 캡처 장치로부터 제공될 수 있다. 예를 들면, 이미지 캡처 장치는 계산장치로부터 분리되어 있을 수 있다. 이미지 캡처 장치는 장면을 검출 및/또는 캡처하고 시각적 입력(114)을 계산장치에 전송할 수 있다(예를 들면, 유선을 사용하여 또는 무선으로). 시스템(100)은 시각적 입력(114)이 이미지 캡처 장치로부터 무선으로 수신되었을 때, 예를 들면, WCOM(160)을 통해 시각적 입력(114)을 수신할 수 있다. 이어, 시스템(100)은 원격 이미지 캡처 장치로부터 수신된 이미지로부터 하나 이상의 원형 객체를 검출하고 처리된 검출된 물체에 기초하여 추가의 동작을 수행할 수 있다.

또 다른 실시예에서, 시스템(100)은 이미지(예를 들면, 실시간 비디오로부터의 프레임)를 수신하고 일정 시간 후에 이미지를 처리할 수 있다(예를 들면, 하나 이상의 원형 객체를 검출하고 및/또는 이미지를 조절한다). 예를 들면, 이미지 캡처 장치에 의해 제공된 시각적 입력(114)은 먼저, 객체 검출부(110)가 처리를 위해 시각적 입력(114)을 인출 또는 수신하기 전에 계산장치의 메모리 자원에 저장될 수 있다. 객체 검출부(110)는 사용자 입력(126)에 응하여 처리를 수행할 수 있다(그럼으로써 시각적 입력(114)이 메모리 자원으로부터 객체 검출부(110)에 의해 인출 또는 수신되게 한다). 다른 실시예에서, 시스템(100)은 이미지가 동적으로 처리된 후라도 추가의 처리를 수행할 수 있다. 예를 들면, 이미지 조절부(130)가 처음으로, 물체가 검출된 이미지(124)를 처리한 후에, 나중에 이미지 조절부(130)는 서로 다른 조절된 이미지(132)를 UI 성분(140)에 제공하기 위해 추가의 처리를 수행할 수 있다. 이렇게 하여, 사용자는 서로 다른 시간들에서, 서로 다른 조절된 이미지(132)(예를 들면, 서로 다른 그래픽 이미지 오버레이를 가진 조절된 이미지)을 볼 수 있다.

일부 실시예에서, 시스템(100) 내 기술된 일부 성분들은 개별적 성분들인 것으로서 혹은 동일 성분의 부분인 것으로서 제공될 수 있다. 예를 들면, 객체 검출부(110) 및 이미지 조절부(130)는 동일 성분의 부분으로서 제공될 수 있다. 또 다른 예에서, 객체 검출부(110) 및 장치 제어부(150)는 동일 성분의 부분으로서 제공될 수 있다. 다른 실시예에서, 시스템(100) 내 기술된 성분은 장치 동작 시스템의 부분으로서 혹은 하나 이상의 애플리케이션의 부분으로서(예를 들면, 카메라 애플리케이션, 원격 장치 제어 애플리케이션, 또는 게임 애플리케이션의 부분으로서) 제공될 수 있다. 로직은 카메라 애플리케이션(예를 들면, 소프트웨어) 및/또는 이미지 캡처 장치의 하드웨어로 구현될 수 있다.

일부 예에서, 관심 객체는 대안적으로 하나 이상의 이미지에서 물체를 검출하기 위해서 차원적 및 이미지 분석이 행해질 수 있는 다른 기정의된 형상을 가질 수 있다. 예를 들면, 시스템(100)은 원형 형상 이외의 형상을 가진 물체를 검출하기 위해서 다른 물체 검출 및/또는 이미지 처리 기술, 이를테면 특정한 2차원 형상(예를 들면, 사각 형상 또는 삼각 형상을 갖는)을 가진 물체를 검출하기 위해 훈련되는 분류기를 이용할 수 있다. 객체 검출부(110)는 이 물체의 이미지에 관한 차원적 정보를 실세계에서 공간적 및/또는 위치 정보로 전환하기 위해 다른 기정의된 형상을 검출할 수 있다.

추가 또는 대안으로서, 본원에 기술된 예들은 인접 물체 분석을 위해 사용될 수도 있다. 인접 물체 분석에서, 관심 객체에 인접한 물체에 관한 위치 정보는 이것과 관심 객체와의 기지의 공간적인 관계에 기초하여 판정될 수 있다. 예를 들면, 관심 객체는 탱크 차량일 수 있는데, 여기에서 탱크 차량의 위치는 이미지(들) 내에서 판정될 수 있다. 탱크 차량에 장치되는 총 또한 인접 물체 분석을 사용하여 추적될 수 있다.

또한, 다수의 관심 객체(예를 들면, 원형 또는 구체 형상을 갖는)는 주어진 장면의 하나 이상의 이미지 내에서 동시에 추적될 수 있다. 관심 객체는 움직이고 있거나 정지하여 있을 수 있다. 객체 검출부(110)는 각 추적된 물체에 대한 위치 정보와 더불어 다수의 관심 객체를 검출할 수 있다. 다른 추적된 물체에 관한 각 추적된 물체의 위치는 관심 객체에 중간에 있을 수 있는 다른 물체 또는 관심 지점을 판정하기 위해 사용될 수 있다. 예를 들면, 추적된 물체 중 하나 이상에 근처에 있을 수 있는 다른 물체의 위치를 판정하기 위한 지점 무리(cloud)를 판정하기 위해 다수의 구체 물체가 이미지 내에서 검출되고 추적될 수 있다.

방법

도 2는 실시예에 따라 계산장치를 동작시키는 예시적 방법을 도시한 것이다. 도 2의 실시예에 의해 기술된 바와 같은 방법은 예를 들면, 도 1의 실시예와 함께 기술된 성분을 사용하여 구현될 수 있다. 따라서, 기술되는 단계 또는 부-단계를 수행하는데 적합한 요소 또는 성분을 예시하기 위해 도 1의 요소들을 참조한다.

계산장치는 이의 이미지 캡처 장치로부터 복수의 이미지를 수신할 수 있다(단계(200)). 복수의 이미지는 이미지 캡처 장치의 렌즈가 가리키고 있거나 초점을 맞추고 있는 장면의 시각적 입력에 대응할 수 있다. 일부 실시예에서, 이미지 입력은 이미지 캡처 장치에 의해 제공되는 실시간 비디오에 대응할 수 있다(부-단계(202)). 실시간 비디오는 초당 검출 및/또는 캡처되는 프레임 수(예를 들면, 초당 30 프레임)(각 프레임은 이미지일 수 있다)를 포함할 수 있다.

이미지 각각은 이미지 내 하나 이상의 원형 객체를 검출하기 위해 개별적으로 처리될 수 있다(단계(210)). 계산장치는 각 이미지 내 원형 객체(들)을 검출하기 위해서 이미지 인식 소프트웨어 및/또는 다른 이미지 처리 방법을 동작시킬 수 있다. 이미지 내 원형 객체는, 장면 내 있고 원형 하우징 특성을 갖는 관심 객체에 대응할 수 있다. 일 실시예에서, 원형 객체(들)은 관심 객체(들)을 판정하기 위한 기지의 정보를 적용함으로써 검출될 수 있다(부-단계(212)). 기지의 정보는 사용자에 의해 제공될 수 있고 혹은 계산장치의 메모리 자원에 사전에 구성 및/또는 저장될 수 있다.

하나 이상의 실시예에 따라, 기지의 정보는 원형 관심 객체(들)의 크기를 포함할 수 있다(부-단계(214)). 원형 객체(들)의 크기는 물체의 반경(또는 예를 들면 타원의 반경) 혹은 물체의 직경, 혹은 일부 경우에, 디스플레이 장치의 스크린 크기와 비교하였을 때 상대적 크기에 대응할 수 있다. 하나 이상의 원형 객체는 이를테면 원형 객체의 반경 또는 직경(예를 들면, 화소 길이로)과 같은, 원형 객체(들)에 관한 크기 정보를 사용함으로써 이미지 각각에서 검출될 수 있다. 또한, 기지의 정보는 그라운드 평면에 관하여 계산장치의 포지셔닝에 대응하는 정보를 포함할 수 있다(부-단계(216)). 사용자가 계산장치의 렌즈를 가리키고 있는 방위, 방향, 및 위치에 기초하여, 원형 객체(들)는 크기가 작은 것으로서(스크린 크기에 관하여) 혹은 크기가 큰 것으로서 판정될 수 있다. 이러한 경우에, 원형 객체의 반경 또는 직경은 크기가 동적으로 달라질 수 있다. 원형 객체는 각 이미지 내에서 예를 들면, 도 1에서 논의된 바와 같은, 그레이스케일 필터를 적용함으로써 검출될 수 있다. 또한, 이미지에 관한 원형 객체의 위치 정보와 같은 원형 객체의 정보 또한 판정될 수 있다.

이미지 내 하나 이상의 원형 객체를 검출함으로써, 계산장치는 계산장치 상에서 하나 이상의 동작 또는 프로세스를 수행하기 위한 입력으로서 검출된 물체(들) 및 검출된 물체(들)의 위치 정보를 이용할 수 있다(단계(220)). 예를 들면, 계산장치는 디스플레이 장치 상에 표시하기 위해서, 오버레이를 발생함으로써, 혹은 이미지 내 검출된 원형 객체(들)을 이미지 내 원형 객체(들)의 움직임을 모사하는 그래픽 특징으로 대체함으로써, 이미지를 조절할 수 있다(부-단계(222)). 이러한 그래픽적 조절은 게임의 부분으로서 실세계 시나리오를 사용하는 게임 애플리케이션을 위해 유용할 수 있다.

일 실시예에서, 오버레이는 또한 3차원 특성을 갖는 그래픽 특징일 수 있다. 그래픽 특징은 이것이 검출된 원형 객체의 3차원성 및 움직임과 일관되게, 표시되는 이미지의 부분으로서 렌더링될 수 있다. 예를 들면, 원형 객체가 180도로 회전한다면, 오버레이되는 그래픽 특징 또한 유사한 특징으로 회전할 수 있다.

계산장치는 또한 검출된 물체(들)를, 검출된 원형 객체(들)(예를 들면, 자주식 장치)을 무선으로 제어하기 위한 입력으로서 처리할 수 있다(부-단계(224)). 예를 들면, 사용자는 어떤 속력을 갖고 어떤 방향으로 이동하게 실제 자주식 장치(예를 들면, 관심 객체)를 제어하기 위해서 자주식 장치의 표현을 내포하는 이미지를 디스플레이 장치 상에서 조작할 수 있다. 사용자는 또한 자주식 장치를 목표 장소까지 이동하게 하기 위해서 터치-감응 디스플레이 스크린 상에 목표 장소를 탭할 수도 있다. 또 다른 실시예에서, 검출된 원형 객체(들)은 사용자 근처에 실제의 물체 및 실제의 원형 객체에 기초하여 이미지를 투사 또는 표시하기 위한 입력으로서 사용될 수 있다(부-단계(226)). 또한, 검출된 원형 객체(들)는 검출된 원형 객체의 하나 이상의 성분을 조정하기 위해 사용될 수 있다(부-단계(228)).

검출된 물체(들)를 입력으로서 처리하는 다른 애플리케이션은 구기 스포츠에서 공을 추적하는 것, 혹은 공 및/또는 원형 디스크를 표시자 또는 고정된 기준 지점(예를 들면, 기점 표시자)인 것으로서 사용하는 것을 포함할 수 있다. 예를 들면, 디스크는 다른 물체를 이미지(들) 내에 두기 위한 기준 지점 또는 측정 지점으로서 사용될 수 있다. 또한, 다른 애플리케이션은 검출된 물체(들)를 공간 매핑 또는 내비게이션을 위해 사용하는 것을 포함한다. 지점, 물체 위치, 내비게이션 중간지점들, 등 모두에는 장기간 동안 구체적인 장소에 대응하는 실질상의 장소가 주어질 수 있다. 계산장치는 원형 객체(예를 들면, 자주식 장치)가 목표 장소를 향한 자신의 진척을 측정하고 자신을 장소까지 찾아갈 수 있도록 검출된 원형 객체의 장소 및 위치에 관한 정보를 원형 객체에 제공할 수 있다. 다른 애플리케이션에서, 검출된 원형 객체(들)에 기초하여, 기지의 높이의 물체의 절대 위치는 이미지(들)로부터 물체의 장소를 선택함으로써(예를 들면, 디스플레이 스크린에 탭함으로써) 계산될 수 있다.

도 3a 및 도 3b는 실시예 하에 처리된 이미지의 예를 도시한 것이다. 도 3a 및 도 3b의 실시예에 의해 기술된 바와 같이, 디스플레이 장치 상에 제공된 예시적 사용자 인터페이스 특징은 예를 들면, 도 1의 실시예로 기술된 성분을 사용하여 구현될 수 있다. 따라서, 기술되는 단계 또는 부-단계를 수행하는데 적합한 요소 또는 성분을 예시하기 위해 도 1의 요소들을 참조한다.

도 3a는 원형 또는 구체 물체(예를 들면, 공)의 표현을 포함하는 장면의 이미지를 도시한 것이다. 원형 객체는 움직이고 있을 수 있다. 그러나, 도 3a는 예를 들면, 이미지 시퀀스 중 단일의 이미지를 도시하기 때문에, 원형 객체는 정지한 것으로서 도시되었다. 계산장치는 이러한 이미지를, 계산장치의 이미지 캡처 장치에 의해 검출 및/또는 캡처되고 있는 것의 프리뷰의 부분으로서 디스플레이 장치 상에 제공할 수 있다.

계산장치가 원형 객체 및 복수의 이미지 내 원형 객체의 장소 또는 위치를 검출한 후에, 검출된 원형 객체는 하나 이상의 추가의 동작을 수행하기 위한 입력으로서 이용될 수 있다. 일 실시예에서, 이미지(들)는 검출된 원형 객체를 시각적으로 변경함으로써 조절될 수 있다. 예를 들면, 사용자는 게임을 하기 위해서 계산장치를 동작시킬 수 있다(예를 들면, 게임 애플리케이션을 동작시킨다). 도 3b에서, 검출된 원형 객체를 포함하는 이미지는 검출된 원형 객체를 게임의 부분으로서 또 다른 그래픽 이미지(예를 들면, 드래곤)로 오버레이 또는 대체함으로써 조절될 수 있다. 구체 물체는 실시간으로 및 실세계에서 이동하기 때문에, 수신되는 이미지 시퀀스 또한 공을 이동하는 것으로서 묘사한다.

이미지 각각은 구체 물체를 검출하기 위해 처리될 수 있고, 검출된 구체 물체는, 계산장치의 디스플레이 장치 상에서, 표시된 드래곤 또한 따라서 이동하도록 입력으로서 처리될 수 있다. 일부 변형예에서, 렌더링되는 이미지는 동적으로 조절될 수 있다. 예를 들면, 드래곤의 그래픽 이미지는 사용자 입력 또는 관심 객체가 특정 장소로 혹은 또 다른 관심 객체 바로 옆으로 이동되고 있는 것과 같은 트리거에 응하여 도마뱀의 그래픽 이미지로 동적으로 변경될 수 있다.

추가 또는 대안으로서, 도 1의 시스템(100)을 구현하는 장치와 같은 계산장치는 또 다른 계산장치가 관심 객체를 제어하는 동안, 이미지에서 다수의 원형 객체를 검출하고 다수의 원형 객체의 위치 및/또는 움직임을 추적할 수 있다. 일부 실시예에서, 하나 이상의 원형 객체를 검출하기 위해 이미지를 처리하는 이미지 캡처 장치 및/또는 계산장치는 원형 또는 구체 자주식 장치와 같은, 관심 객체의 움직임을 제어하는 계산장치와는 별개이며 분리되어 있을 수 있다. 또한, 일 변형예에서, 계산장치 상에 검출 및 추적된 물체에 기초하여 렌더링되는 콘텐트(예를 들면, 그래픽 오버레이)는 또 다른 계산장치에 의해 제공되는 하나 이상의 트리거 또는 입력에 기초하여 동적으로 변경될 수 있다.

예를 들면, 다수의 사용자는 게임 환경에서 서로 연루될 수 있는데, 이 경우 제1 사용자는 제1 계산장치를 사용하여 관심 객체의 움직임을 제어하고, 반면 제2 사용자 및 제3 사용자는 관심 객체를 추적하여 이들의 각각의 계산장치 상에 콘텐트를 렌더링한다. 제4 사용자는 제2 및 제3 사용자의 장치 상에 어떤 콘텐트가 표시되고 있는지를 제어하기 위해(예를 들면, 검출된 물체 대신에 어떤 그래픽 이미지가 표시될 것인지를 동적으로 조절한다) 제4 계산장치를 사용할 수 있다. 예를 들면, 일 구현예에서, 제2 사용자는 관심 객체를 추적하고 제3 사용자의 계산장치 상에 렌더링되는 콘텐트와는 다른 렌더링된 콘텐트를 볼 수 있다(예를 들면, 제4 사용자가 개개인의 사용자에게 어떤 콘텐트가 표시될 것인지를 제어하는 것에 기초하여). 계산장치는 블루투스 또는 Wi-Fi와 같은 무선 통신 프로토콜을 통해 서로 통신할 수 있다.

또 다른 사용예에서, 각각의 계산장치를 가진 다수의 사용자는 하나 이상의 자주식 장치를 포함하여, 10 관심 객체를 검출 및 추적할 수 있다. 하나 이상의 관심 객체에 대한 제어는 사용자 간에 넘겨질 수 있다.

하드웨어도

도 4는 본원에 기술된 실시예가 구현될 수 있는 컴퓨터 시스템의 예시적 하드웨어도이다. 예를 들면, 도 1의 맥락에서, 시스템(100)은 도 4에 의해 기술된 바와 같은 컴퓨터 시스템을 사용하여 구현될 수 있다. 일 실시예에서, 계산장치(400)는 전화, 메시징, 및 데이터 서비스를 할 수 있는 셀룰라 장치와 같은 휴대용 계산장치에 대응할 수 있다. 이러한 장치의 예는 스마트폰, 셀룰라 캐리어를 위한 핸드셋 또는 태블릿 장치, 디지털 카메라, 또는 랩탑 및 데스크탑(예를 들면, PC)을 포함한다. 계산장치(400)는 처리 자원(예를 들면, 하나 이상의 프로세서)(410), 메모리 자원(420), 디스플레이 장치(430), 하나 이상의 통신 부-시스템(440)(무선 통신 부-시스템을 포함한다), 입력 메커니즘(450), 및 카메라 성분(460)을 포함한다. 디스플레이 장치(430)는 사용자로부터 입력을 수신할 수 있는 터치-감응 디스플레이 장치일 수 있다. 일 실시예에서, 통신 부-시스템(440) 중 적어도 하나는 데이터 채널 및 음성 채널을 통해 셀룰라 데이터를 보내고 수신한다.

처리 자원(410)은 도 1 내지 도 3에 의해, 및 본원에 다른 어떤 곳에 기술된 바와 같은 실시예로 기술된 하나 이상의 프로세스, 단계 및 다른 기능을 수행하게 소프트웨어 및/또는 다른 로직으로 구성된다. 처리 자원(410)은 메모리 자원(420) 내 저장된 명령 및 데이터로 시스템(100)(도 1에 기술된 바와 같은)을 구현하게 구성된다. 예를 들면, 물체 검출(이미지 필터, 변화도 검출, 이미지 표시를 포함하여), 이미지 조절, UI 성분, 및 장치 제어를 구현하기 위한 명령들은 계산장치(400)의 메모리 자원(420)에 저장될 수 있다.

처리 자원(410)은 물체 검출을 동작시키기 위한, 그리고 이미지 캡처 장치의 렌즈 및/또는 다른 성분(460)에 의해 캡처된 이미지를 수신하기 위한(시각적 입력(462)을 통해) 명령을 실행할 수 있다. 하나 이상의 이미지 내에 하나 이상의 원형 객체를 검출한 후에, 처리 자원(410)은 조절된 이미지(412)가 디스플레이 장치(430) 상에 제공되게 하기 위한 명령들을 실행할 수 있다. 또한, 처리 자원(410)은 통신 부-시스템(440)을 통해 원격 장치에 대한 장치 제어(414)를 제공하기 위해 명령들을 실행할 수 있다.

일부 실시예에서, 처리 자원(410)은 이를테면, 예를 들어, 홈 페이지 또는 시작 스크린, 애플리케이션 런처 페이지, 메시징 애플리케이션(예를 들면, SMS 메시징 애플리케이션, 이메일 애플리케이션, IM 애플리케이션), 전화 애플리케이션, 게임 애플리케이션, 달력 애플리케이션, 문서 애플리케이션, 웹 브라우저 애플리케이션, 시계 애플리케이션, 카메라 애플리케이션, 미디어 뷰 애플리케이션(예를 들면, 비디오, 이미지, 오디오를 위한), 소셜 미디어 애플리케이션, 금융 애플리케이션, 및 장치 설정과 같은, 다양한 서로 다른 애플리케이션들 및/또는 기능들을 실행하고 동작시킬 수 있다.

실시예가 본원 내 임의의 곳에서 인용된 요소들의 조합을 포함할 뿐만 아니라, 다른 개념, 아이디어 또는 시스템과는 무관하게, 본원에 기술되는 실시예가 본원에 기술된 개개의 요소 및 개념들에 확장하는 것이 고찰된다. 실시예가 동반된 도면을 참조하여 본원에 상세히 기술되었을지라도, 발명은 이들 정밀한 실시예로 제한되지 않음이 이해될 것이다. 이에 따라, 많은 수정예 및 변형예가 당업자들에게 명백해질 것이다. 따라서, 발명의 범위는 다음 청구항 및 이들의 등가물에 의해 정의되게 한 것이다. 또한, 개별적으로 또는 실시예의 부분으로서 기술된 특정 특징은 다른 특징 및 실시예가 특정한 특징을 언급하지 않을지라도 다른 개별적으로 기술된 특징, 또는 다른 실시예의 부분과 조합될 수 있음이 고찰된다. 이에 따라, 조합이 기술되지 않았어도 발명은 이러한 조합에 대한 권리를 청구하는 것을 배제하는 것은 아니다.

Claims

계산장치를 동작시키기 위한 방법에 있어서, 상기 방법은 하나 이상의 프로세서들에 의해 수행되며,
상기 계산장치의 이미지 캡처 장치에 의해 캡처된 장면의 하나 이상의 이미지들을 처리하는 단계로서, 상기 장면은, 움직이며 특성적 원형 형상을 갖는 관심 객체를 포함하고, 상기 하나 이상의 이미지들을 처리하는 것은 상기 관심 객체에 대응하는 원형 객체를 검출하는 것을 포함하는, 단계;
상기 하나 이상의 이미지들 내 상기 원형 객체의 상대적 위치에 기초하여 위치 정보를 판정하는 단계; 및
상기 원형 객체의 상기 상대적 위치로부터 판정된 상기 위치 정보를 이용하는 하나 이상의 프로세스들을 구현하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 하나 이상의 프로세스들을 구현하는 단계는 상기 판정된 위치 정보에 기초하여 상기 관심 객체의 표현을 상기 계산장치의 디스플레이 상에 표시하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 관심 객체는 원형 구조적 특징을 가진 자주식 장치에 대응하는, 방법.
제3항에 있어서, 상기 자주식 장치는 구체인, 방법.
제1항에 있어서, 상기 원형 객체를 검출하는 단계는 상기 하나 이상의 이미지들 각각에 필터를 적용하는 단계를 포함하는, 방법.
제5항에 있어서, 상기 필터는 그레이스케일 필터이며, 상기 필터를 적용하는 단계는 상기 하나 이상의 이미지들 각각에 대한 그레이스케일 이미지를 발생하는 단계를 포함하는, 방법.
제6항에 있어서, 상기 원형 객체를 검출하는 단계는 상기 하나 이상의 그레이스케일 이미지들 각각의 일부 화소들에 대한 변화도(gradient)를 판정하는 단계를 포함하고, 상기 변화도는 방향을 갖는 벡터를 포함하는 것으로 화소의 밝기 레벨이 상기 방향으로 하나 이상의 다른 화소들의 밝기 레벨 미만인, 방법.
제7항에 있어서, 상기 원형 객체를 검출하는 단계는, 각 화소에 대해서, 상기 변화도의 상기 방향으로 상기 화소의 정의된 거리 이내에 지점을 표시하는 단계, 및 복수의 표시된 지점들에 기초하여 상기 하나 이상의 그레이스케일 이미지들 내 상기 원형 객체의 위치를 판정하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 하나 이상의 프로세스들을 구현하는 단계는 상기 원형 객체가 검출되는 상기 하나 이상의 이미지들의 적어도 부분을 조절하는 단계를 포함하는, 방법.
제9항에 있어서, 상기 하나 이상의 이미지들의 적어도 부분을 조절하는 단계는 상기 원형 객체를 오버레이하기 위해 그래픽 특징을 발생하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 원형 객체는 상기 계산장치에 의해 무선으로 제어될 수 있는 자주식 장치에 대응하며, 상기 하나 이상의 프로세스들을 구현하는 단계는 (i) 상기 자주식 장치에 대한 기준 지점을 판정하는 단계; (ii) 사용자가 터치-감응 디스플레이 상에 상기 원형 객체의 표시된 표현과 상호작용할 수 있게 하는 단계; 및 (iii) 상기 기준 지점에 기초하여 상기 원형 객체의 움직임을 제어하는 단계를 포함하는, 방법.
제11항에 있어서, 상기 하나 이상의 프로세스들을 구현하는 단계는, 상기 원형 객체의 하나 이상의 성분들을 조정하는 단계를 포함하는, 방법.
프로세서에 의해 실행되었을 때, 상기 프로세서로 하여금,
계산장치의 이미지 캡처 장치에 의해 캡처된 장면의 하나 이상의 이미지들을 처리하며, 상기 장면은, 움직이며 특성적 원형 형상을 갖는 관심 객체를 포함하고, 상기 하나 이상의 이미지들을 처리하는 것은 상기 관심 객체에 대응하는 원형 객체를 검출하는 것을 포함하며;
상기 하나 이상의 이미지들 내 상기 원형 객체의 상대적 위치에 기초하여 위치 정보를 판정하고;
상기 원형 객체의 상기 상대적 위치로부터 판정된 상기 위치 정보를 이용하는 하나 이상의 프로세스들을 구현하게 하는 명령들을 저장한, 비일시적 컴퓨터-판독가능 매체.
제13항에 있어서, 상기 명령들은 상기 프로세서로 하여금, 상기 하나 이상의 이미지들 각각에 그레이스케일 필터를 적용함으로써 상기 원형 객체를 검출하게 하며, 상기 명령들은 상기 프로세서로 하여금, 상기 하나 이상의 이미지들 각각에 대한 그레이스케일 이미지를 발생하게 하는 것인, 비일시적 컴퓨터-판독가능 매체.
제14항에 있어서, 상기 명령들은 상기 프로세서로 하여금, 상기 하나 이상의 그레이스케일 이미지들 각각의 일부 화소들에 대한 변화도를 판정함으로써 상기 원형 객체를 검출하게 하며, 상기 변화도는 방향을 갖는 벡터를 포함하는 것으로 화소의 밝기 레벨이 상기 방향으로 하나 이상의 다른 화소들의 밝기 레벨 미만인, 비일시적 컴퓨터-판독가능 매체.
제15항에 있어서, 상기 명령들은 상기 프로세서로 하여금, 각 화소에 대해서, 상기 변화도의 상기 방향으로 상기 화소의 정의된 거리 이내에 지점을 표시함으로써, 그리고 복수의 표시된 지점들에 기초하여 상기 하나 이상의 그레이스케일 이미지들 내 상기 원형 객체의 위치를 판정함으로써 상기 원형 객체를 검출하게 하는, 비일시적 컴퓨터-판독가능 매체.
제13항에 있어서, 상기 관심 객체는 원형 구조적 특징을 가진 자주식 장치에 대응하는, 비일시적 컴퓨터-판독가능 매체.
제16항에 있어서, 상기 원형 객체는 상기 계산장치에 의해 무선으로 제어될 수 있는 자주식 장치에 대응하며, 상기 명령들은 상기 프로세서로 하여금, (i) 상기 자주식 장치에 대한 기준 지점을 판정하고; (ii) 사용자가 터치-감응 디스플레이 상에 상기 원형 객체의 표시된 표현과 상호작용할 수 있게 하고; (iii) 상기 기준 지점에 기초하여 상기 원형 객체의 움직임을 제어함으로써, 상기 하나 이상의 프로세스들을 구현하게 하는 것인, 비일시적 컴퓨터-판독가능 매체.
제18항에 있어서, 상기 명령들은 상기 프로세서로 하여금, 상기 원형 객체의 하나 이상의 성분들을 조정하는 것을 포함하는 상기 하나 이상의 프로세스들을 구현하게 하는, 비일시적 컴퓨터-판독가능 매체.
휴대용 계산 장치에 있어서,
이미지 캡처 장치;
메모리; 및
상기 이미지 캡처 장치 및 상기 메모리에 결합된 프로세서를 포함하고, 상기 프로세서는
계산장치의 이미지 캡처 장치에 의해 캡처된 장면의 하나 이상의 이미지들을 처리하며, 상기 장면은, 움직이며 특성적 원형 형상을 갖는 관심 객체를 포함하고, 상기 하나 이상의 이미지들을 처리하는 것은 상기 관심 객체에 대응하는 원형 객체를 검출하는 것을 포함하며;
상기 하나 이상의 이미지들 내 상기 원형 객체의 상대적 위치에 기초하여 위치 정보를 판정하고;
상기 원형 객체의 상기 상대적 위치로부터 판정된 상기 위치 정보를 이용하는 하나 이상의 프로세스들을 구현하는 것인, 휴대용 계산 장치.