KR20190082880A

KR20190082880A - 정보 처리 장치 및 정보 처리 방법

Info

Publication number: KR20190082880A
Application number: KR1020197016547A
Authority: KR
Inventors: 마사키 우치다
Original assignee: 주식회사 소니 인터랙티브 엔터테인먼트
Priority date: 2016-12-08
Filing date: 2017-12-01
Publication date: 2019-07-10
Also published as: US11282224B2; CN110036258A; EP3553465B1; WO2018105530A1; JP2018096716A; KR102196845B1; CN110036258B; US20200265601A1; EP3553465A1; JP6602743B2; EP3553465A4

Abstract

대상 물체 검출부는 동영상으로서 캡처된 프레임 이미지로부터 대상 물체의 이미지의 영역을 검출한다(S10). 윤곽 검색부는, 영역 내의 관찰을 위해 대응하는 요소가 G(녹색)를 대상으로 하는 픽셀을 시작 지점으로 이용하여, 픽셀 값을 픽셀 배열 내 4개의 대각선 방향에서 샘플링한다(S12, S14). 윤곽 검색부는 샘플링된 이미지의 휘도(Y)의 변화에 기초하여 대상 물체의 윤곽선 상의 좌표 지점 후보를 검출한다. 윤곽 검색부는 대상 물체의 색 성분의 휘도 변화에 기초하여 좌표 지점 후보를 필터링한다. 윤곽 검색부는 좌표 지점의 분포를 윤곽선에 근사하게 한다(S16, S18, S20). 위치 정보 생성부는, 윤곽선으로부터 얻어지는 대상 물체 이미지의 무게 중심 및 크기를 이용하여, 실제 공간에서의 대상 물체의 위치 정보를 취득한다(S22, S24).

Description

정보 처리 장치 및 정보 처리 방법

본 발명은 캡처된 이미지를 이용하여 대상 물체의 위치를 식별하는 정보 처리 장치 및 정보 처리 방법에 관한 것이다.

최근에, 다양한 용도로 이미지를 캡처할 수 있는 카메라가 제공되는 개인용 컴퓨터, 게임기, 및 기타 장비의 사용자가 일반적이다. 예를 들어, 사용자는 비디오 폰 및 비디오 채팅 서비스를 통해 수정되지 않은 이미지를 네트워크를 통해 다른 당사자에 전송할 수 있다. 현재 상용화된 기술 중 일부는 이미지 분석을 통해 사용자의 움직임을 인식하고 인식된 움직임을 게임 및 정보 처리의 입력 정보로 사용할 수 있게 한다 (예를 들어, 특허 문헌 1 참조). 특히, 깊이 방향을 갖는 3차원 공간에서 고정밀도로 검출되는 대상 물체의 움직임이 주어지면, 현실감 넘치는 게임 및 이미지 표현이 제공되는 것이 가능하다.

WO 2007/050885 A2

캡처된 이미지가 정보 처리를 위한 입력 데이터로서 사용되도록 다양한 물체를 포함하는 공간의 이미지가 캡처되는 경우, 정보 처리의 정확성은 입력 장치의 하드웨어 키(hardware key) 또는 그래픽 사용자 인터페이스(GUI)를 사용하는 조작에 의해 정보가 처리되는 경우보다 이미지 분석의 정확도에 의해 더 크게 영향을 받는다. 복잡하고 매우 정확한 정보 처리를 구현하기 위해서는 서브 픽셀 단위의 이미지에 대한 상세한 분석이 필요하다.

본 발명은 전술한 사정을 감안하여 이루어진 것이다. 따라서, 본 발명의 목적은, 정보 처리를 위해, 캡처된 이미지를 이용하여 대상 물체의 위치를 매우 정확하게 검출하는 기술을 제공하는 것이다.

본 발명의 전술한 과제를 해결하기 위해서, 대상 물체의 캡처된 이미지의 데이터를 취득하는 캡처된 이미지 취득부; 대상 물체의 이미지가 차지하는 영역 내에서 캡처된 이미지의 위치에 대한 휘도의 변화가 미리 정해진 조건을 만족하는 좌표 지점에 대해 캡처된 이미지를 검색함으로써, 대상 물체의 이미지의 윤곽선을 획득하도록 구성된 윤곽 검색부; 및 윤곽선에 기초하여 대상 물체에 관한 위치 정보를 실제 공간 내에 생성하도록 구성된 위치 정보 생성부를 포함하는 정보 처리 장치가 제공된다. 윤곽 검색부는 이미지 영역 내의 하나의 픽셀을 시작 지점으로 이용하여 픽셀들의 배열에서 대각선 방향으로 좌표 지점을 검색한다.

본 발명의 다른 실시예에 따르면, 대상 물체의 캡처된 이미지의 데이터를 취득하여 메모리에 저장하는 단계; 대상 물체의 이미지가 차지하는 영역 내에서 위치에 대한 휘도의 변화가 미리 정해진 조건을 만족하는 좌표 지점에 대해 메모리로부터 판독된 캡처된 이미지를 검색함으로써, 대상 물체의 캡처된 이미지의 윤곽선을 획득하는 단계; 및 윤곽선에 기초하여 대상 물체에 관한 위치 정보를 실제 공간 내에 생성하는 단계를 포함하는 정보 처리 방법이 제공된다. 윤곽선을 획득하는 단계는 이미지 영역 내의 하나의 픽셀을 시작 지점으로 이용하여 픽셀들의 배열 내에서 대각선 방향의 좌표 지점을 검색한다.

부수적으로, 전술한 구성 요소 또는 본 발명의 전술한 표현의 다른 조합이 방법, 장치, 시스템, 기록 매체, 및 컴퓨터 프로그램과 같은 다른 형태들 사이에서 변환되는 경우, 이들은 여전히 본 발명의 효과적인 실시예를 구성한다.

본 발명에 따르면, 캡처된 이미지를 이용하여 대상 물체에 관한 위치 정보를 고정밀도로 얻을 수 있다.

도 1은 본 발명의 정보 처리 시스템의 시스템 구성 예를 도시하는 개략도이다.
도 2는 실시 형태로서의 발광 장치의 외형의 개략도이다.
도 3은 본 발명을 실시하는 정보 처리 장치의 내부 회로 구성을 도시하는 개략도이다.
도 4는 실시 형태로서의 정보 처리 장치의 기능 블록을 도시하는 블록도이다.
도 5는, 본 실시예에 따른, 한편으로는 우측에서 캡처된 입체 영상과 좌측에서 캡처된 입체 영상 간의 시차와, 다른 한편으로는 대상 물체까지의 거리 사이의 관계를 설명하는 설명도이다.
도 6은 본 실시예에 따른, 이미징 장치로부터 거리에 대한 시차의 변화를 나타내는 개략도이다.
도 7은 본 실시예에 따른, 윤곽 검색부가 대상 물체의 이미지의 윤곽을 식별하는 방법을 설명하는 설명도이다.
도 8은 본 실시예에 따른, 검색 방향의 휘도의 변화에 기초하여 픽셀의 해상도보다 높은 해상도로 윤곽선의 위치를 검출하는 방법을 설명하는 설명도이다.
도 9는 대상 물체의 윤곽선의 검색 방향을 설정하는 예를 나타내는 개략도이다.
도 10은, 한편으로는 대상 물체의 윤곽과 다른 한편으로는 캡처된 이미지의 각각의 픽셀에 대응하는 요소로 관찰되는 대상 컬러 간의 관계를 개략적으로 나타낸 개략도이다.
도 11은, 도 9에 있는 것과 유사한 검색 경로가 경로 상에 위치한 픽셀과 함께 관찰 대상이 되는 색의 패턴에 의해 그룹화될 경우, 주어진 검색 경로 카운트를 나타내는 표이다.
도 12는, 본 실시예에 따른, 대상 물체의 윤곽선을 검색할 때 사용되는 검색 경로를 개략적으로 도시하는 개략도이다.
도 13은 본 발명을 실시하는 정보 처리 장치의 위치 정보 취득부가 대상 물체에 관한 위치 정보를 취득하는 처리 단계를 나타내는 흐름도이다.

도 1은 본 발명을 구현하는 정보 처리 시스템의 일반적인 구성을 나타낸다. 이러한 정보 처리 시스템(1)은 사용자(4)가 잡고 있어야 할 발광 장치(18), 발광 장치(18)를 포함하는 공간의 이미지를 캡처하는 이미징 장치(12), 발광 장치(18)의 위치를 식별하고 식별된 장치 위치에 기초하여 정보 처리를 수행하는 정보 처리 장치(10), 및 정보 처리의 결과로 생성된 데이터를 출력하는 디스플레이 장치(16)를 포함한다.

정보 처리 장치(10), 이미징 장치(12) 및 디스플레이 장치(16)는 케이블 또는 블루투스(등록 상표)와 같은 기존의 무선 통신 기술로 상호 연결될 수 있다. 이들 장치의 외형은 도면에 도시된 것에 한정되지 않는다. 이들 장치 중 적어도 2개는 단일 장치에 통합될 수 있다. 예를 들어, 정보 처리 장치(10), 이미징 장치(12), 및 디스플레이 장치(16)는 대응하는 기능을 구비한 휴대 단말로서 일체적으로 구현될 수 있다. 이미징 장치(12)는 디스플레이 장치(16) 상에 반드시 장착 될 필요는 없다. 정보 처리 장치(10)에 의해 처리되는 것에 따라 복수의 사용자(4)가 있을 수 있다. 또한, 복수의 발광 장치(18)가 있을 수 있다.

이미징 장치(12)는 발광 장치(18)를 포함하는 공간의 이미지를 미리 정해진 프레임 속도로 캡처하는 카메라, 및 생성된 출력 데이터를 정보 처리 장치(10)에 송신하기 전에 카메라로부터의 출력 신호를 디모자이징(demosaicing)과 같은 공통의 처리를 수행함으로써 캡처된 이미지의 출력 데이터를 생성하는 기구를 갖는다. 카메라에는 전하 결합 장치(charge coupled device, CCD) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서와 같은 일반적인 가시광선 센서가 장착되어 있다.

도시된 바와 같이, 스테레오 카메라를 구성하기 위해 알려진 거리만큼 수평으로 이격된 2개의 카메라가 있을 수 있다. 스테레오 카메라는 카메라의 이미징 표면으로부터 대상 물체까지의 거리를 포함하는 3차원 공간에서 발광 장치(18)와 같은 대상 물체의 위치를 식별한다. 대안적으로, 이미징 장치(12)는 단안용 카메라 일 수 있다. 정보 처리 장치(10)가 수정되지 않은 미가공 이미지에 대하여 디모자이징과 같은 필요한 처리를 수행하도록, 이미징 장치(12)는 가시광 센서에 의해 취득된 베이어 배열(Bayer array)을 포함하는 소위 원시 이미지를 정보 처리 장치(10)에 출력할 수 있다.

정보 처리 장치(10)는 이미징 장치(12)로부터 송신된 데이터를 이용하여 실제 공간에서의 발광 장치(18)의 위치를 식별한다. 위치 정보에 기초하여 필요한 정보 처리를 행함으로써, 정보 처리 장치(10)는 처리 결과를 나타내는 이미지나 음성 등의 출력 데이터를 생성한다. 발광 장치(18)에 관한 위치 정보를 이용한 정보 처리 장치(10)의 처리의 내용은 특별히 한정되지 않는다. 따라서, 처리의 세부 사항은 사용자가 원하는 기능과 사용중인 애플리케이션의 세부 사항에 따라 적절하게 결정될 수 있다. 예를 들어, 정보 처리 장치(10)는 발광 장치(18)의 움직임으로부터 사용자(4)의 움직임을 취득하고 유사한 동작을 실행하는 캐릭터가 나타나는 게임의 진행을 허용할 수 있다. 또한, 정보 처리 장치(10)는 발광 소자(18)의 이동을 입력 명령으로 변환하여 그 명령에 대응하는 기능을 구현할 수 있다. 디스플레이 장치(16)는, 액정 TV, 유기 EL TV, 플라즈마 TV, PC 디스플레이 등의 표시 이미지를 출력하는 디스플레이, 및 음성을 출력하는 스피커를 포함하는 TV 세트일 수 있다. 대안적으로, 디스플레이 장치(16)는 태블릿 단말기 또는 이동 단말기에 포함된 디스플레이 및 스피커일 수 있다. 디스플레이 장치(16)는 도면에 도시된 바와 같은 평면 디스플레이일 수 있고, 두부 장착 디스플레이를 착용한 사용자의 눈 앞에 이미지를 제공하는 두부 장착 디스플레이일 수 있으며, 또는 평면 디스플레이와 두부 장착 디스플레이의 결합일 수 있다.

정보 처리 시스템(1)은, 사용자에 의해 조작될 경우, 정보 처리 장치(10)에 전기 신호로 수용되는 것을 공급하기 전에, 시작 및 종료 처리의 요구나 기능의 선택 및 각종 커맨드의 입력을 접수하는 입력 장치를 더 포함할 수 있다. 입력 장치는 제어기, 마우스, 또는 하드웨어 키가 구비된 조이스틱, 또는 디스플레이 장치(16)의 디스플레이를 덮는 터치 패드와 같은 임의의 특정한 장치일 수 있다.

도 2는 발광 장치(18)의 전형적인 외형을 도시한다. 발광 장치(18)는 발광 부(6) 및 핸들(8)을 포함한다. 발광부(6)는 투광성 수지 등의 피복 재료로 형성되고, 발광 다이오드나 라이트 벌브 등의 공통 광원을 내장한 구이다. 장치를 켤 때 구면 전체가 발광한다. 복수의 사용자가 각각의 발광 디바이스(18)를 사용하는 경우, 이들 장치는 개별적인 식별을 위해 상이한 색의 광을 방출하도록 구성된다.

손잡이(8)는 사용자가 손에 쥘 수 있는 부분이며, 도시하지 않은 온/오프 버튼 등의 입력 버튼을 구비할 수 있다. 또한, 핸들(8)은 정보 처리 장치(10)와 유선 또는 무선으로 통신을 확립하여 필요한 정보를 교환하는 통신 수단을 포함할 수 있다. 예를 들어, 정보 처리 장치(10)는 복수의 발광 소자에 할당된 발광색을 결정하고, 각각의 발광 장치(18)에 할당된 발광색을 통지하고, 발광 및 점멸 등의 발광 모드를 제어할 수 있다.

또한, 핸들(8)은 가속도 센서 및 자이로 센서와 같은 움직임 센서를 포함할 수 있고, 가속도 센서 및 자이로 센서의 측정치를 미리 정해진 속도로 발광 장치(18)로부터 정보 처리 장치(10)에 송신되게 할 수 있다. 이로써, 정보 처리 장치(10)는 발광 장치(18)의 자세를 연속적으로 식별할 수 있다. 부수적으로, 발광 장치(18)의 외형은 도시된 것에 한정되지 않는다. 대안적으로, 발광 장치(18)는 사용자의 신체에 착용되거나, 또는 전술한 두부 장착 디스플레이 또는 입력 장치와 일체로 형성되는 형상을 가질 수 있다. 예를 들어, 두부 장착 디스플레이 또는 입력 장치의 표면은 미리 정해진 형상의 발광 영역을 포함할 수 있다. 이 경우, 표면 상에 하나 또는 복수의 발광 영역이 존재할 수 있다.

이러한 실시예는 다양한 물체가 존재하는 공간에서 캡처된 이미지 중에서 발광부(6)의 이미지를 매우 정확하게 추출하고, 발광부(6)의 위치 및 크기에 기초하여 발광 소자(18)의 위치를 식별한다. 도 2에 도시된 발광 장치(18)의 경우, 발광 부(6)의 이미지가 대략 원형 영역으로 추출된다. 알려진 광원이 사용되는 한, 그 소스는 입력 장치 또는 두부 장착 디스플레이의 일부일 수 있으며, 그 형상은 특정한 것에 국한되지 않는다. 발광 장치(18)로부터의 광 방출이 이미징 장치(12)의 시야 내의 다른 물체와 발광 장치(18)와의 구별을 용이하게 한다 하더라도, 이는 실시예를 제한하지 않는다. 즉, 위치가 검출되어야 하는 물체는 색 및 형상으로만 알려질 필요가 있으며, 발광 물체에 한정되지 않는다. 이하의 서술에서, 실제 공간 내의 위치가 물체의 캡처된 이미지에 기초하여 취득되어야 하는 발광 장치(18)와 같은 물체는 "대상 물체(target object)"로 지칭될 것이다.

도 3은 정보 처리 장치(10)의 내부 회로 구성을 나타낸다. 정보 처리 장치(10)는 중앙 처리 장치(CPU)(22), 그래픽 처리 장치(GPU)(24), 및 메인 메모리(26)를 포함한다. 이들 구성 요소는 버스(30)를 통해 상호 연결된다. 버스(30)에는 입/출력 인터페이스(28)가 더 연결되어 있다. 입출력 인터페이스(28)에는, USB 및 IEEE 1394 포트 또는 유선 또는 무선 LAN 네트워크 인터페이스, 하드 디스크 드라이브 또는 비휘발성 메모리와 같은 저장부(34), 디스플레이 장치(16)에 데이터를 출력하는 출력부(36), 이미징 장치(12) 및 입력 장치로부터의 데이터의 입력을 수신하는 입력부(38), 및 자기 디스크, 광 디스크, 반도체 메모리 등의 탈착 가능한 기록 매체를 구동하는 기록 매체 구동부(40)와 같은, 주변 장치 인터페이스를 포함하는 통신부(32)가 연결되어 있다.

CPU(22)는 저장부(34)에 저장된 오퍼레이팅 시스템을 실행함으로써 정보 처리 장치(10) 전체를 제어한다. 또한, CPU(22)는 탈착 가능한 기록 매체로부터 판독되어 메인 메모리(26)에 로드된 프로그램 또는 통신부(32)를 통해 다운로드된 각종 프로그램을 실행한다. 기하학 엔진 및 렌더링 프로세서의 기능을 갖는 GPU(24)는 CPU(22)로부터의 렌더링 명령에 따라 렌더링 처리를 실행하고, 렌더링된 디스플레이 이미지를, 도시되지 않은, 프레임 버퍼에 저장한다. 프레임 버퍼에 저장된 디스플레이 이미지는 출력부(36)에 출력되는 영상 신호로 변환된다. 메인 메모리(26)는 처리에 필요한 프로그램 및 데이터를 저장하는 랜덤 액세스 메모리(RAM)를 포함한다.

도 4는 본 발명을 실시하는 정보 처리 장치(10)의 기능적인 블록 구성을 도시한다. 정보 처리 장치(10)는 이미징 장치(12)로부터 캡처된 이미지의 데이터를 취득하는 zoe처된 이미지 취득부(60), 캡처된 이미지 데이터 및 위치 정보 데이터를 저장하는 데이터 저장부(62), 캡처된 이미지로부터 대상 물체의 이미지를 검출함으로써 실제 공간에서의 대상 물체에 관한 위치 정보를 취득하는 위치 정보 취득 부(64), 위치 정보에 기초하여 미리 정해진 정보 처리를 수행하는 정보 처리부(66), 및 정보 처리의 결과로 출력될 데이터를 생성하는 출력 데이터 생성부(68) 를 포함한다.

다양한 처리를 실행하기 위한 기능 블록으로서 도 4에 도시된 구성 요소는, CPU(22), GPU(24), 및 도 3의 메인 메모리(26)와 같은, 다양한 회로에 의해 하드웨어로 구성될 수 있거나, 또는 기록 매체 구동부(40)에 의해 구동되는 기록 매체 또는 저장부(34)로부터 메인 메모리(26)로 로드된 프로그램에 의해 소프트웨어적으로 구현된다. 따라서, 당업자는 이러한 기능 블록이 하드웨어만으로, 소프트웨어만으로, 또는 이들의 조합에 의해 다양하게 구현될 수 있고, 이들에만 제한되지 않음을 이해할 것이다.

캡처된 이미지 취득부(60)는 이미징 장치(12)에 의해 캡처된 동영상의 프레임 데이터를 연속적으로 취득하여, 캡처된 이미지를 데이터 저장부(62)에 저장한다. 프레임 이미지의 디모자이징 처리 및 셰이딩 보정(shading compensation)이 아직 이루어지지 않은 경우, 캡처된 이미지 취득부(60)는 이미지를 데이터 저장부(62)에 저장하기 전에 프레임 이미지에 대한 처리를 수행한다. 위치 정보 취득부 (64)는 데이터 저장부(62)로부터 판독된 캡처된 이미지 중에서 대상 물체의 이미지를 추출하여, 추출된 이미지에 기초하여 실제 공간에서 대상 물체에 관한 위치 정보를 취득한다. 위치 정보 취득부(64)는, 대상 물체 이미지의 대략적인 위치를 검출하는 대상 물체 검출부(70), 대상 물체의 윤곽을 검색하는 윤곽 검색부(72), 및 3차원 공간에서 대상 물체에 관한 위치 정보를 생성하는 위치 정보 생성부(74)를 포함한다.

대상 물체 검출부(70)는 대상물의 발광색 및 형상에 기초하여 캡처된 이미지로부터 대상 물체의 이미지를 검출한다. 예를 들어, 발광 마커 이미지의 가능한 형상 및 색의 템플릿이 미리 준비되어 있을 수 있다. 그 다음, 하나의 템플릿과 높은 유사성을 갖는 영역이 캡처된 이미지로부터 검출될 수 있다. 대상 물체 검출부(70)에 의해 수행되는 검출 프로세스는 단지 대상 물체 이미지의 대략적인 위치를 검출하기에 충분할 필요가 있다. 즉, 프로세스를 실행하는 수단은 특정한 것에 국한되지 않는다. 윤곽 검색부(72)는, 대상 물체의 정확한 위치를 취득하기 위해, 대상 물체 검출부(70)에 의해 수행된 검출 결과에 기초하여 대상 물체 이미지의 윤곽을 검색한다. 이러한 실시예는, 서브 픽셀 레벨에서 윤곽의 위치를 고정밀도로 취득함으로써, 위치 정보를 이용하여 실제 공간에서의 대상 물체의 위치 취득의 정밀도와 정보 처리의 정확도를 향상시킨다. 이러한 목적을 달성하기 위한 구체적인 기술은 나중에 논의될 것이다.

위치 정보 생성부(74)는, 윤곽 검색부(72)에 의해 수행된 윤곽 검색의 결과에 기초하여, 대상 물체 이미지의 무게 중심의 위치 좌표 및 대상 물체 이미지의 크기를 취득한다. 취득된 무게 중심 위치 좌표와 이미지 사이즈를 이용하여, 위치 정보 생성부(74)는 실제 공간에서 대상 물체의 위치를 식별한다. 이미징 장치(12)가 스테레오 카메라인 경우, 위치 정보 생성부(74)는, 좌우 시점에서 캡처된 입체 적인 이미지에서, 동일 대상 물체의 이미지 무게 중심의 위치 좌표를 취득한다. 시차로 이용되는 2개의 이미지 무게 중심 간의 수평 방향의 차이에 의해, 삼각 측량의 일반적인 원리를 이용하여 이미징 표면에서 대상 물체까지의 거리를 얻을 수 있다.

대상 물체가, 겉보기 크기가 각도에 관계없이 변하지 않는, 도 2의 발광부(6)와 같은 마커인 경우, 또는 대상 물체가 장치 표면 상의 미리 결정된 거리만큼 이격된 복수의 마커인 경우, 단안 카메라는 여전히 이미지 크기 또는 마커-마커 간격으로부터 거리를 취득하는 데 사용될 수 있다. 위치 정보 생성부(74)는 이미징 표면으로부터 대상 물체까지의 깊이 방향의 거리를 이와 같이 식별하고, 예를 들어, 위치 정보 디지털화를 위한 소위 깊이 맵을 준비하기 위해 프레임 이미지 내의 영역으로서 대상 물체 이미지의 픽셀값에 대한 거리를 나타내며, 디지털화된 위치 정보를 데이터 저장부(62)에 저장한다. 복수의 타겟 오브젝트가 존재하는 경우, 예를 들어, 각각의 대상 물체의 무게 중심 위치가 취득됨으로써 대상 물체의 위치 정보가 생성된다.

정보 처리부(66)는 데이터 저장부(62)로부터 대상 물체에 관한 위치 정보를 판독하여 그에 따라 정보 처리를 수행한다. 전술한 바와 같이, 본원에서 수행되는 정보 처리의 세부 사항은 특정한 것에 한정되지 않는다. 출력 데이터 생성부(68)는 정보 처리부(66)에 의해 수행된 정보 처리의 결과로서, 디스플레이될 이미지의 데이터 및 출력될 사운드의 데이터를 생성한다. 출력 데이터 생성부(68)는 생성된 데이터를 디스플레이 장치(16)에 연속적으로 출력한다.

도 5는, 한편으로는 이미징 장치(12)로 사용된 스테레오 카메라에 의해 우측 시점에서 캡처된 입체 영상과 좌측 시점에서 캡처된 입체 영상 간의 시차와, 다른 한편으로는 대상 물체까지의 거리 사이의 관계를 설명하는 예시적인 도표이다. 도 5에서, 제1 카메라(13a)와 제2 카메라(13b)를 쌍으로 하여 스테레오 카메라가 구성된다. 제1 카메라(13a)와 제2 카메라(13b)의 광축이 서로 평행하면서 미리 정해진 거리(L) 만큼 이격되도록, 제1 카메라(13a)와 제2 카메라(13b)가 설치된다. 대안적으로, 제1 카메라(13a) 및 제2 카메라(13b)는 이들 사이의 적절한 화각(field angle)을 달성하도록 보정된 캡처된 이미지를 갖는다. 이러한 예에서, 대상 물체는 깊이 방향으로 거리(Z) 만큼 이격된 화살표 우측 위치에 있다고 가정한다.

실제 공간에서 각각의 카메라에 의해 캡처된 이미지의 각각의 픽셀에 의해 표현된 폭 Δx는 거리(Z)에 대해 아래와 같이 표현된다:

Δx = Z × w/W

여기서, W는 카메라의 수평 방향의 픽셀 수이고, w는 거리(Z)가 1인 경우의 실제 공간에서 수평 방향의 시야이며, 시각 필드 범위(w)는 시야각에 의해 결정된다.

거리(L)만큼 이격된 카메라에 의해 이미지가 캡처되는 동일한 대상 물체는 픽셀 카운트의 관점에서 이들 사이에 시차(D)를 가지며 아래와 같이 정의된다:

D = L/Δx = L×(W/w)×(1/Z) = C/Z

여기서, C는 카메라와 카메라의 설정에 의해 결정되는 값이며 동작의 동등한 상수로 간주된다.

도 6은 이미징 장치(12)로부터 거리(Z)에 대한 시차(D)의 변화를 나타낸다. 상기 방정식에 나타난 바와 같이, 시차(D)는 거리(Z)에 반비례하는 곡선(56)을 도시한다. 이러한 관계를 이용하면, 입체시야 이미지로부터 대상 물체 이미지 간의 시차(D)에 기초하여, 대상 물체의 깊이 방향의 거리(Z)를 취득할 수 있다. 캡처된 이미지가 픽셀 단위로 휘도를 나타내는 데이터로서 제공된다면, 시차(D)와 함께 대상 물체 이미지의 위치가 픽셀 단위로 또한 취득되어야하는 경우, 대상 물체까지의 거리는 Δz 단위로 다음과 같다:

Δz = Δx×Z/L = Z²×(w/W)×(1/L)

즉, 대상 물체의 위치가 취득된 단위가 고정되어 있는 경우, 대상 물체까지의 거리(Z)의 해상도는 거리(Z)의 제곱에 비례하여 감소한다. 도 6의 그래프에서 수직 점선 사이의 간격은 Δz를 나타낸다. 예를 들어, 대상 물체가 화살표(58)로 표시된 위치에 있는 경우에도, 이미지 위치가 픽셀 단위로 식별되면, 거리(Z)는 z1 또는 대략 Δz 까지의 오차를 포함하는 z2로 계산된다. 즉, 대상 물체가 이미징 장치(12)로부터 멀어질수록, 캡처된 이미지로부터 이미지 위치를 취득할 때의 오차로 인해 거리 계산의 정확도에 악영향을 미친다.

또한, 거리가 대상 물체 이미지의 크기로부터 도출되도록 단안용 카메라가 이미징 장치(12)로 사용되는 경우, 이는 변경되지 않으며 대상 물체가 이미징 장치(12)로부터 벗어질수록 멀어지게 되며, 작은 크기의 발산의 양으로 인해서도 거리 계산의 오류가 커진다. 거리에 포함된 큰 오차는 3차원 공간에서 대상 물체의 위치 좌표의 심각한 오차를 야기할 수 있으며, 좌표는 이미지 평면으로부터의 역 투영에 의해 얻어진다. 이러한 오차는 무시할 수 없는 방식으로 후속 정보 처리에 영향을 미칠 수 있다. 따라서, 본 실시예의 윤곽 검색부(72)는, 서브 픽셀 레벨에서 정확한 윤곽선을 획득함으로써, 실제 공간에서 대상물체에 관한 위치 정보의 취득 정밀도를 향상시키는 것을 목적으로 한다.

도 7은 본 실시예의 윤곽 검색부(72)가 대상 물체의 이미지의 윤곽을 식별하는 방법을 설명하는 설명도이다. 대상 물체 검출부(70)는, 템플릿 매칭(template matching) 또는 전경 추출(foreground extraction)과 같은 일반적인 방법을 이용하여, 캡처된 이미지(80)로부터 대상 물체 이미지(82)의 영역을 추출한다. 추출 프로세스는 효율성에 우선 순위를 부여하기 위해 더 큰 단위 또는 픽셀 단위로 수행될 수 있다. 추출 프로세스의 결과에 기초하여, 윤곽 검색부(72)는 이미지의 윤곽 위치를 검색하기 위해 검색 경로의 시작점과 방향을 결정한다. 양적으로, 윤곽 검색 부(72)는 대상 물체 이미지의 내측에서 외측으로 검색을 수행하여 휘도가 급격하게 변화하는 위치에 윤곽이 존재한다고 결정한다.

예를 들어, 윤곽선 상의 좌표 지점(88)은 시작 지점(84)으로부터 화살표(86)의 방향으로 픽셀값을 샘플링함으로써 얻어진다. 이러한 검색은 윤곽선에서 복수의 좌표 지점을 얻기 위해 복수의 방향으로 수행된다. 따라서, 도 7은 중공 원으로 얻어진 좌표 지점을 나타내는 반면, 이들은 단지 이미지 평면상의 위치 좌표만을 나타내며 캡처된 이미지를 나타내지는 않는다. 윤곽 검색부(72)는, 이미지 평면상의 수학식으로서 대상 물체 이미지의 윤곽선을 획득하는 최소 제곱법(least-square method)과 같은, 일반적인 기술을 이용하여 이들 복수의 좌표 지점을 근사화한다.

대상 물체가 구형의 발광 마커인 경우, 그 이미지는 원형으로 나타난다. 따라서, 이미지의 윤곽선(94)은 원형 근사법을 이용하여 원으로 얻어진다. 근사시 타원형 왜곡 등의 전반적인 왜곡을 갖는 위치 좌표의 분포가 검출된 경우, 좌표 지점은 공통의 보정 필터를 이용하여 보정된다. 근사식으로부터 벗어난 큰 오차를 갖는 좌표 지점이 존재하면, 좌표 지점이 근사식에 최종적으로 수렴하도록 그 지점은 제외된다. 도시된 실시예에서, 발광 장치의 핸들에 의해 숨겨진 위치에서 검출되어 발광 마커의 일반적인 윤곽선으로부터 벗어나는 좌표 지점(92)이 제거된다.

제거할 좌표 지점은 다른 물체에 의해 숨겨졌거나 좌표 지점 검출 오류로 인해 발생할 수 있다. 따라서, 대상 물체로서의 발광 마커의 이미지의 질량 중심을 나타내는, 윤곽선(94)의 원의 중심 좌표(C(xc, yc))가 얻어지며, 원의 반경(R)은 이미지의 크기를 나타낸다. 위치 정보 생성부(74)는 이들 데이터를 이용하여 전술 한 바와 같이 실제 공간에서의 대상 물체의 위치를 취득한다. 부수적으로, 당업자가 이해할 수 있을 것이다. 라인들에 대한 좌표 지점들의 세트의 근사치, 및 대상 물체 이미지의 무게 중심 및 크기의 취득은 다양한 기술에 의해 성취되고, 따라서, 대상 물체의 형상은 특정한 것에 국한되지 않는다.

즉, 대상 물체가 구 이외의 형상을 가지더라도, 대상 물체 이미지의 형상이 한정되어 있는 한, 최소의 오차가 있는 근사 선을 갖는 대상 물체의 형상을 최종적으로 결정하기 위해, 대상 물체에 관한 정보가 미리 설정될 수 있다. 이와 같이 결정된 형상으로, 목표 물체 이미지의 무게 중심 및 크기를 얻는 기술이 고유하게 결정된다. 대안적으로, 캡처된 동영상의 선행 프레임까지 취득된 이미지의 형상은 이미지의 후속되는 형상을 추정하기 위한 기초로 사용될 수 있으며, 추정된 이미지는 근사에 이용된다.

검출된 좌표 지점에 기초하여 윤곽 검색부(72) 및 무게 중심의 위치 좌표에 의해 검출된 윤곽선의 좌표 지점 또는 위치 좌표는 픽셀의 해상도보다 높은 해상도로 취득된다. 도 8은, 본 실시예에 따라, 검색 방향의 휘도의 변화에 기초하여 픽셀의 해상도보다 높은 해상도로 윤곽선의 위치를 검출하는 방법을 설명하는 설명도이다. 도 8에서 우측 방향이 검색 방향이라고 가정하면, 검색 경로로부터 픽셀이 추출되고 추출된 픽셀을 배열함으로써 픽셀 시퀀스(96)가 형성된다. 픽셀 시퀀스(96) 내의 각각의 픽셀은 휘도 값을 갖는다. 픽셀들 간의 휘도의 변화가 검색 경로 상의 이들의 위치에 대한 변화로 표현되는 경우, 이러한 변화는, 예를 들어, 그래프(98)를 구성한다.

일반적으로, 휘도 값은 픽셀 단위로 얻어진다. 따라서, 검색 방향의 하나의 픽셀의 폭을 Δx로 하면, 그래프(98)는 x-2Δx, x-Δx, x, x + Δx, x + 2Δx, x + 3Δx 등의 위치에 대해 얻어진 이산적인 휘도 값을 연결함으로써 형성된다. 이러한 휘도 변화를 정규화하면서, 예를 들어, 이전에 준비된 예측 가능한 휘도 변화 곡선은 그 사이의 비교를 위한 곡선(100a, 100b, 100c)과 같은 예측 가능한 곡선을 형성하도록 평행하게 이동한다. 유사도가 이들 곡선 사이에서 가장 높은 상태는, 예를 들어, 이들 곡선들 사이의 차이의 합계에 기초하여 식별된다. 그 상태의 예측 가능한 곡선(100b) 상의 중점(M)과 같은 기준 위치는 대상 물체의 윤곽선 위치로 이용된다. 도 8에서, 그 위치는 비어있는 화살표로 표시된다.

예측 가능한 곡선은 매칭 프로세스의 일종의 각 픽셀의 폭 Δx 보다 작은 단위로 평행이동된다. 이로써 윤곽선 위치가 픽셀 폭보다 작은 단위로 식별될 수 있다. 다른 한편으로, 이러한 방식으로 윤곽선 상의 각각의 좌표 지점이 서브 픽셀 단위로 검출되더라도, 큰 오차를 포함하는 검출된 포인트는 전술한 바와 같이, 대상 물체가 더 멀리 있는 실제 공간 내의 대상 물체에 관한 위치 정보에서 더 큰 오차를 발생시킬 것이다. 예를 들어, 대상 물체가 이미징 장치(12)로부터 2m 떨어져 있는 경우, 검출된 무게 중심 위치에서 단지 0.5 픽셀의 편차는 스테레오 매칭을 통해 계산된 거리의 약 3 센티미터의 편차를 초래한다. 이로 인해 움직이지 않는 대상 물체가 움직이는 것처럼 잘못 인식될 수 있다.

전술한 상황하에서, 본 발명자는 서브 픽셀 레벨에서의 위치 검출을 고정밀 도로 행하는 윤곽선의 검색 경로에 관해서 다음과 같은 문제점이 있음을 알았다:

(1) 좌표 지점 검출의 해상도와 정확도는 검색 방향에 따라 다르다.

(2) 휘도 데이터의 신뢰도는 검색 경로에서 일반적으로 관찰되는 픽셀의 색상에 따라 다르다.

다음은 위의 문제 (1)에 대한 설명이다. 도 9는 검색 방향을 설정하는 예를 도시한다. 도 9에서, 격자에서 각각의 직사각형은 하나의 픽셀을 나타낸다. 파선 화살표는 검색 경로와 방향을 나타낸다. 이러한 실시예에서, 대상 물체 검출부(70)에 의해 대략적으로 식별된 목표 물체 이미지의 중심 근처에 있다고 추정된 픽셀 그룹(102) 내의 하나의 픽셀로부터 시작하여 방사형으로 24개의 검색이 수행된다. 즉, 화살표 그룹(104a, 104b)으로 표시된 바와 같이, 총 6번의 검색을 위해 픽셀 그룹(102)에서 시작하여 3개의 검색이 좌우로 이루어진다. 또한, 화살표 그룹(106a, 106b)으로 표시된 바와 같이, 총 6회의 검색을 위해 픽셀 그룹(102)에서 시작하여 3회의 검색이 상하로 수행된다.

또한, 화살표 그룹(108a, 108b, 108c, 108d)으로 표시된 바와 같이, 총 12회의 검색을 위해, 픽셀 그룹(102)으로부터 우측 상부 방향, 우측 하부 방향, 좌측 하부 방향, 및 좌측 상부 방향으로 각각 3회의 검색이 수행된다. 이러한 설정이 주어지면, 문제점 (1)과 관련하여 언급한 바와 같이, 방향에 관한 좌표 지점 검출의 해상도 및 정확도의 종속성이 발생한다. 즉, 도 8에 도시된 바와 같이, 각각의 좌표 지점이 수평 성분에 의해 형성되고 이미지 평면상의 수직 성분이 예측 가능한 휘도 변화 곡선을 검색 방향으로 평행 이동함시킴으로써 검출될 경우, 화살표 그룹(104a, 104b)에 의해 표시된 수평 검색은 수평 성분이 서브-픽셀 단위로 결정될 수 있게 하지만 수직 성분이 픽셀 단위로 취득되도록 한다.

화살표 그룹(106a, 106b)에 의해 표시된 수직 검색은 수직 성분이 서브-픽셀 단위로 결정될 수 있게 하지만 수평 성분이 픽셀 단위로 취득되도록 한다. 즉, 수평 및 수직 방향의 검색 동안, 수직 또는 수평 방향의 위치 좌표에서 최대 1픽셀의 오차가 발생한다. 한편, 화살표 그룹(108a, 108b, 108c, 108d)에 의해 표시된 대각선 방향의 검색은 수직 및 수평 성분 모두가 서브 픽셀 단위로 결정되도록 한다. 그러나, 검색 방향의 픽셀 간 간격, 즉, 도 8에서의 Δx는 수직 및 수평 방향의 검색의 약 1.4배이므로, 양 방향의 위치 좌표에서 대략 0.7 픽셀(= 1.4/2)의 오차가 발생한다.

다음은 위의 문제 (2)에 대한 설명이다. 전술한 바와 같이, 분석 대상인 캡처된 이미지는, 각각의 픽셀이 하나의 색의 휘도 데이터를 유지하는 원 이미지를 디모자이징 처리에 의해 보간함으로써 생성된다. 따라서, 이러한 방식으로 생성된 캡처 이미지의 각각의 픽셀은 보간 처리로부터 발생하는 오차를 포함한다. 오류가 어떻게 포함되는지는 해당 요소가 있는 관찰 대상 색에 따라 픽셀마다 다르다. 도 10은, 한편으로는, 대상 물체의 윤곽선과, 다른 한편으로는, 캡처된 이미지 내 각각의 픽셀에 대응하는 요소를 갖는 관찰 대상 색의 관계를 개략적으로 도시한다. 캡처된 이미지(112)에서, 그리드의 각각의 사각형은 단일 픽셀을 나타낸다. 해당 요소와 함께 관찰 대상이 되는 빨강, 녹색, 및 파랑의 색상은 각각 "R", "G," 및 "B"로 표시된다. 유사한 표기법도 본원에서 사용된다.

도면의 색상 배열은 일반적으로 베이어 배열(Bayer array)이라고 한다. 그러나, 이러한 배열은 이러한 실시예를 제한하지 않는다. 전술한 바와 같이, 대상 물체 이미지의 윤곽선(114) 상의 좌표 지점을 검색하고자 하면, 검출된 좌표 지점의 신뢰도는, 검색 경로 상에 있는 픽셀과의 관찰을 목표로 하는 초기 색, 좌표 지점을 구별하기 위한 특정 색의 휘도의 변화, 및 대상 물체의 색과 같은, 조합 인자에 따라 변한다. 예를 들어, 화살표(A)로 나타난 검색 경로 상의 픽셀은 색 "R", "B", "R", "B" 등의 패턴을 구성하고, 관찰을 위해, 화살표(B)로 나타낸 검색 경로 상의 픽셀은 모두 관찰을 위한 색 "G"를 갖는다.

이 시점에서, 색(G)의 휘도 변화를 이용하여 윤곽선(114) 상의 좌표 지점을 검출하는 경우, 화살표(A)로 나타낸 검색 경로 상의 색(G)에 관한 정보는 보간에 기인한 오차를 포함한다. 따라서, 화살표(B)로 표시된 검색 경로로부터의 결과는 더 신뢰성이 있다. 그러나, 화살표(B)로 나타낸 검색 경로의 경우에도, 색(R) 또는 색(B)의 휘도 변화를 이용한 좌표 지점의 검출은 색에 관한 정보가 경로 상에 오류를 발생시키게 한다. 즉, 색상(G)의 휘도 변화를 이용하여 좌표 지점이 감지되는 경우보다 신뢰도가 낮다는 것을 의미한다.

도 11은, 도 9의 검색 경로와 유사한 검색 경로가 경로 상에 위치하는 픽셀을 갖는 관찰 대상 색의 패턴에 의해 그룹화될 경우. 주어진 검색 경로 카운트를 나타낸다. 검색 경로가, 도 11의 아래에 있는 하위 도면에 도시된 바와 같이, 색(B)을 중심으로 설정되는 경우, 경로 상에 있는 픽셀을 갖는 관찰 대상으로서 색(B) 및 색(G)을 반복하는 "BG 배열(BG array)"에 대해 2개의 수평 검색 및 2개의 수직 검색이 있다. 색(R) 및 색(G)이 반복되는 "RG 배열(RG array)"에 대해 4개의 수평 검색 및 4개의 수직 검색이 있다. 색(B) 및 색(R)이 반복되는 "BR 배열(BR array)"에 대해 8개의 대각선 검색이 있다. 또한, 단 하나의 색(G)이 반복되는 "GG 배열(GG array)"에 대해 8개의 대각선 검색이 있다.

이와 같이, 검색 경로의 중심이 R 또는 G인 경우에도, "BG 배열"과 "RG 배열"은 수직 및 수평 방향으로 검색될 때 나타나며, "BR 배열"과 "GG 배열"은 대각선 방향으로 검색될 때 나타난다. 이러한 방식으로, 색 배열이 나타나는 속도는 검색 방향에 따라 다르다. 또한, 색 배열과 검색 방향의 조합에 대한 출현 비율은 검색 중심에서 픽셀과의 관찰 대상이 되는 색에 따라 달라진다. 검색 중심이 G인 경우, 출현 비율은 픽셀이 B의 우측 또는 좌측 중 어느 쪽인지 또는 B보다 높거나 낮은지에 따라 달라진다. 도 11에서, 전자의 경우는 하부 도면에서와 같이 "G1"로 표시되고 후자의 경우는 "G2"로 표시된다.

전술한 바와 같이, 경로가 도시된 바와 같이 설정된 경우, 사용중인 데이터의 신뢰도는 검색 경로마다 다르다. 최소 제곱법과 같은 계산 방법은 초기 관심 데이터의 특성이 균일하다는 가정에 기반한다. 따라서, 검출된 좌표 지점의 오차가 검색 경로에 따라 특성이 변하면, 윤곽선의 근사 정밀도, 그리고 결과적으로 무게 중심 위치 및 크기를 얻는 정확도가 충분히 높지 않을 수도 있다. 목표 물체 검출부(70)에 의해 수행된 검출 결과에 기초하여 각각의 프레임에 대해 검색 중심이 결정되기 때문에, 무게 중심 위치 및 크기를 계산한 결과는 도 11에 도시된 바와 같이 검색 중심에 대한 의존도의 변화로 인해 프레임마다 다를 수 있다. 이러한 결과를 고려할 때, 본 실시예에서는, 검색 경로와 프레임 사이에서 좌표 지점의 오차 특성이 변하지 않는 방식으로 검색 경로를 설정한다.

도 12는 대상 물체의 윤곽선을 검색하는 실시예에 사용되는 검색 경로를 개략적으로 도시한다. 도면에서 파선 화살표로 나타낸 바와 같이, 본 실시예는 색(G)의 관찰하기 위한 픽셀로부터 시작하는 검색을 수행하고, 검색은 픽셀 배열에서 대각선 방향으로 제한된다. 즉, 시작 지점으로 설정된 픽셀로부터 픽셀을 추적하는 방식으로 검색하여 우측 상부, 우측 하부, 좌측 하부, 및 좌측 상부 방향의 동일한 색(G)을 관찰한다. 도 9에 도시된 경우와 같이 24개의 경로에서 검색이 수행되는 경우, 도 12의 비어있는 원으로 표시된 것처럼 6개의 시작 지점이 설정될 수 있다.

이 시점에서, 도시된 바와 같이, 관찰 대상이 G이고 이미지 평면 상의 수직 또는 수평 방향으로 동일한 순서로 존재하는 픽셀을 시작 지점으로서 선택함으로써, 검색 경로의 중복 및 왜곡 분포가 회피된다. 시작 지점은 대상 물체 검출부(70)에 의해 검출된 대상 물체 이미지의 대략적인 영역 내에 위치될 필요만 있다. 바람직하게, 시작 지점 시퀀스의 중심은 영역의 무게 중심 부근에 설정될 수 있다. 도시된 예에서, 수직 방향으로 가장 가까운 G 픽셀, 예를 들어, 모든 다른 픽셀이 시작 지점으로 설정된다. 그러나, 이는 시작 지점의 간격을 제한하지 않는다. 시작 지점 간격은, 예를 들어, 대상 물체 이미지의 크기에 따라 조정될 수 있다. 검색 횟수는 정확도 요구 사항 및 사용중인 장치의 처리 성능에 따라 조정될 수도 있다.

이러한 방식으로 검색 경로를 설정하면 전술한 문제 (1)과 (2)가 해결된다. 즉, 모든 검색 경로는 픽셀 배열의 대각선 방향에 있고, 따라서, 검출된 좌표 지점의 수직 및 수평 성분이 서브 픽셀 단위로 얻어지며, 오차 특성은 모든 검색 경로에 대해 동일하다. 검색 경로상의 모든 픽셀은 관측 대상이 일정하게 G로 설정되기 때문에, 오차를 포함하는 색과 그 정도는 균일하다. 결과적으로, 검출된 좌표 지점은 항상 특성이 균일하며, 최소 제곱법에 의해 근사된 윤곽선 및 이에 따라 검출된 무게 중심의 위치 좌표가 정확하고 안정적으로 얻어진다.

구형 대상 물체가 가정된다면, 구형 대상 물체의 이미지의 무게 중심은 약 0.016 픽셀의 오차로 도 12에 도시된 24개의 검색을 수행함으로써 식별될 수 있다. 동일한 수의 검색이 주어지면, 이와 같이하여 취득한 대상 물체 위치의 정확도는 도 9에 도시된 바와 같이, 색(R), 색(G), 및 색(B) 각각의 휘도의 변경에 기초하여 좌표 지점을 취득하기 위해 검색이 3방향, 즉, 수직, 수평, 및 대각선 방향에서 이루어진 경우와 비교하여 적어도 3배 높다.

도 12에서 검색 경로를 사용하면 전술한 문제 (1)과 (2)가 적절하고 동시에 해결된다. 검색 경로를 대각선 방향으로 제한하여 문제 (1)만 해결할 수도 있다. 검색 시작 지점이 R 또는 B로 제한되면, 검색 경로 상의 픽셀은 여전히 관찰 대상인 균일한 색상 배열을 가지며, 검출된 좌표 지점의 오차 특성은 실질적으로 균일하다. 결과적으로, 시작 지점 픽셀이 제한되지 않는 경우보다 윤곽선을 근사하는 정확도가 높아진다.

이하, 전술한 구성을 이용하여 구현되는 정보 처리 장치의 동작을 설명한다. 도 13은 정보 처리 장치(10)의 위치 정보 취득부(64)가 대상 물체에 관한 위치 정보를 취득하는 처리 단계를 나타내는 플로우 차트이다. 최초로, 예를 들어, S10에서, 대상 물체 검출부(70)는 캡처된 이미지로부터 템플릿 매칭을 통해 대상 물체 이미지의 영역을 검출한다. 이 시점에서 사용된 캡처된 이미지는 일반적으로 디모 사이징된 RGB 이미지이다.

다음으로, 윤곽 검색부(72)는 대응하는 요소에 대한 관찰 대상이 영역에서 G 인 픽셀을 검색 시작 지점으로 결정한다(S12). 도 12의 예에서, 모든 다른 픽셀은 총 6개의 시작 지점에 대해 수직 방향으로 선택된다. 픽셀 대 픽셀 간격 및 시작 지점의 수는 필요에 따라 조정될 수 있다. 캡처 이미지 내의 픽셀을 대응하는 요소와를 갖는 관측을 위한 컬러와 관련시키는 정보는 사전에 취득되고 내부적으로 윤곽 검색부(72)에 의해 유지된다. 이는, 예를 들어, 도 10에서 캡처된 이미지(112)에 도시된 베이어 배열과 같은 배열에 관한 배열 정보이다.

관찰 대상의 색과 픽셀의 대응 관계가 아직 얻어지지 않은 경우, 그 관계는 검출 결과 오차가 작은 것을 이용하는 보정 프로세스를 통해 획득될 수 있다. 예를 들어, 이미징 장치(12)로부터 미리 정해진 거리에 위치하는 대상 물체의 이미지가 캡처된다. 각각의 방향의 윤곽선을 얻기 위해, 검색 시작 지점은 대각선 방향 검색을 위해 한 번에 한 픽셀씩 상부, 하부, 우측, 및 좌측으로 이동한다. 대상 물체의 위치는 서로 다른 검색 조건에서 계산된다. 가장 작은 오차를 갖는 시작 지점은 관찰 대상이 G인 픽셀이 존재하는 위치인 것으로 결정된다. 적어도 하나의 이러한 픽셀이 식별되면, 베이어 배열 등의 반복 패턴에 기초하여, 캡처된 이미지 전체에 걸쳐 관찰 대상의 색과 픽셀을 대응시킬 수 있다.

이어서, 윤곽 검색부(72)는 윤곽선 상의 좌표 지점을 검출하기 위해 시작 지점으로서 결정된 픽셀로부터 시작하여 4개의 대각선 방향으로 검색을 수행한다(S14 내지 S18). 특히, 검색 경로 상의 픽셀의 휘도 값이 샘플링되어 라인 버퍼에 저장된다(S14). 도 12의 예에서, 샘플링은 총 24개의 샘플링 시퀀스에 대한 6개의 시작 지점으로부터 4방향으로 수행된다. 윤곽선 상의 좌표 지점 후보들은 먼저 각각의 샘플링 시퀀스를 따라 휘도(Y)의 변화에 기초하여 검출된다(S16). 특히, 도 8에 도시된 바와 같이, 예측 가능한 곡선의 위치를 평행이동하여, 휘도(Y)의 변화의 그래프에 대한 유사도가 가장 높은 위치를 결정한다. 이 위치는 좌표 지점 후보로 이용된다.

여기서, 휘도(Y)는 각각의 픽셀 값이 YUV의 색 공간 내에 표현되는 시점에서의 휘도의 성분이다. 따라서, 휘도(Y)는 공통 변환식을 사용하여 RGB 데이터로부터 얻어진다. 변환은 단계 S14에서 RGB 값들이 샘플링된 후에 수행될 수 있다. 대안적으로, 캡처된 이미지의 데이터가 획득되거나 디모자이징될 때 전체 캡처된 이미지에 대해 변환이 수행될 수 있고, 변환 후의 휘도 이미지을 샘플링 대상으로 하여도 된다. 휘도(Y)는 2가지 이유로 좌표 지점 검출시의 평가 대상이 되는데, 이는 기여 비율이 검색 경로 상의 최소의 오차를 가지는 G에 대해 가장 높기 때문이며 휘도에는 보간에 의한 근방 픽셀의 R 및 B에 관한 정보가 포함되기 때문이다. 따라서, 단일 색상을 대상으로 하는 것보다 더 많은 정보가 고려될 수 있으며 높고 균일한 정확도로 평가가 구현될 수 있다.

다음으로, 윤곽 검색부(72)는 단계 S16에서 검출된 좌표 지점 후보들을 대상물체의 색 성분 내 휘도 변화를 이용하여 필터링하고, 신뢰도가 낮은 좌표 지점을 배제한다(S18). 예를 들어, 적색을 발광하는 마커가 대상 물체인 경우, R의 휘도를 이용하여 평가를 행한다. 마젠타 색으로 발광하는 마커가 대상 물체인 경우, 평가는 마젠타 구성 요소의 휘도를 이용하여 수행된다. 휘도(Y)의 변화만이 평가의 대상이 된다면, 좌표 지점이 주변 환경의 영향으로 잘못 검출될 수 있다. 예를 들어, 이미징 장치(12)로부터 보았을 때, 대상 물체의 윤곽 근방에 창이나 조명 장치 등의 광원이 배치되어 있는 경우, 인간의 눈으로는 대상 물체를 쉽게 구별할 수 있으나, 장치는 휘도(Y)의 변화만이 주어진 경우 대상 물체 및 근방의 광원 간의 경계를 명확하게 식별하는데 어려움을 있을 수 있다.

결과적으로, 윤곽으로부터 벗어난 위치에서 좌표 지점이 검출될 가능성이 있다. 따라서, 대상 물체의 초기 색 변경으로 인해 잘못 검출된 좌표 지점은 제외된다. 예를 들어, 검색 방향의 좌표 지점 후보의 전후에 위치하는 미리 정해진 수의 픽셀의 순서로, 대상 물체의 색 성분의 휘도 변화가 미리 정해진 범위 아래인 경우, 그러한 좌표 지점 후보는 윤곽선이 아닌 대상 물체 이미지 내부에 있는 것으로 평가되어 제외된다. 대안적으로, 좌표 지점 후보 전에 위치한 픽셀의 미리 정해진 수의 시퀀스와 검색이 시작된 시점에서의 픽셀 사이의 대상 물체의 색 구성요소의 휘도의 차이가 미리 정해진 임계값 보다 큰 경우, 그러한 좌표 지점은 대상 물체 이미지 외부에 있는 것으로 평가되어 또한 제외된다.

휘도(Y)를 이용하여 좌표 지점 후보를 검출하는 처리와 대상 물체의 색의 휘도를 이용하여 좌표 지점 후보를 제외하는 처리는, 도시된 바와 같이, 상이한 단계에서 수행될 수 있거나, 동시에 수행될 수 있다. 예를 들어, 검색 경로상의 휘도(Y)의 샘플링 시퀀스와 목표 대상물의 색의 휘도의 샘플링 시퀀스가 동일한 위치에서 계산되어 데이터 시퀀스를 형성한다. 이러한 데이터 시퀀스는 예측 가능한 곡선에 대해 일치되어 높은 신뢰도의 좌표 지점을 식별한다. 이러한 방식으로 한 세트의 좌표 지점이 결정되면, 윤곽 검색부(72)는 좌표 지점의 분포를 최소 제곱법을 이용하여 예측 가능한 형상의 선에 근사하게 하여, 대상 물체 이미지의 윤곽이 결정된다(S20).

이 시점에서, 도 7에 대해 서술된 바와 같이, 좌표 지점의 분포는 이미지 상의 왜곡에 기초하여 보정될 수 있고, 근사 라인으로부터 현저하게 벗어난 좌표 지점은 더 배제될 수 있다. 따라서, 위치 정보 생성부(74)는 식별된 윤곽선에 기초하여 대상 물체 이미지의 무게 중심 및 크기를 취득한다(S22). 대상 물체가 도 7에 도시된 바와 같은 구체인 경우, 이미지의 윤곽선은 원형을 형성한다. 따라서, 원의 중심과 반지름이 얻어진다. 이후에, 위치 정보 생성부(74)는, 대상 이미지의 무게 중심 및 크기에 기초하여, 실제 공간에서의 대상 물체의 위치 정보를 취득한다(S24). 이미징 장치(12)가 스테레오 카메라인 경우, S10 내지 S22의 처리는 우측 및 좌측 시점으로부터 캡처된 각각의 이미지에 대해 수행된다. 중력 중심 위치들 간의 시차는 대상 물체에 대한 거리의 취득을 가능하게 한다.

이미징 장치(12)가 단안 카메라인 경우, 대상 물체의 실제 크기와 대상 물체의 이미지의 크기를 비교하여 대상 물체까지의 거리가 얻어진다. 상이한 발광색을 갖는 복수의 대상 물체가 이미징 장치(12)의 시야 내에 있는 경우, S10 내지 S24의 처리는 각각의 대상 물체에 대해 수행된다. 또한, 이미징 장치(12)에 의해 캡처된 동영상의 각각의 프레임에 대하여 미리 정해진 비율로 S10 내지 S24의 처리를 반복함으로써, 대상 물체의 위치에서 시간에 따른 변화가 얻어진다. 따라서, 정보 처리부(66)는, 대상 물체에 관하여 얻어진 위치 정보에 기초하여, 일반적으로 이용자의 위치 및 움직임을 특정함으로써 적절한 정보 처리를 행한다.

전술한 실시예에 따르면, 캡처된 이미지를 이용하여 피사체의 위치를 검출하면, 대상 물체 이미지의 윤곽은 이미지 내에서 휘도를 검색함으로써 검출된다. 이러한 경우, 대응하는 요소가 휘도를 관찰하기 위해 G(녹색)를 대상으로 하는 하나의 픽셀이 픽셀 배열의 4개의 대각선 방향 검색의 시작 지점으로 이용된다. 이를 통해 단일 검색으로 검출된 윤곽선에서 좌표 지점의 수직 및 수평 구성 요소에 대해 동일한 해상도가 제공될 수 있다. 또한, 휘도의 오차를 동일하게 하여, 모든 검색 경로상에서 휘도를 얻는 간격이 동일하게 된다. 따라서, 검출된 좌표 지점에 대해 정확도가 동일하게 된다. 따라서, 최소 제곱법과 같은 통계적 근사 방법을 이용하여 대상 물체의 윤곽선을 쉽고 정확하게 얻을 수 있다.

또한, YUV 색 공간에서의 휘도(Y)의 변화에 기초하여 좌표 지점을 검출하기 때문에, R(적색) 및 B(청색)를 추가로 고려한 평가는 최소의 휘도 오차를 갖는 G의 휘도에 중점을 두고 가능하게 된다. 또한, 근사에 사용될 좌표 지점의 신뢰성을 향상시키기 위해, 좌표 지점 후보는 대상 물체의 색 휘도의 변화를 이용하여 필터링된다. 이는 주변의 밝기 변화에 대해 신뢰할 수 있는 좌표 지점의 견고성을 보장한다. 이러한 처리에 의해, R, G, B의 각각의 휘도를 이산적으로 검출하여, 서브 픽셀 레벨에 있어서 높은 정밀도로 피사체의 윤곽선을 획득하는 공통의 가시광 카메라가 가능해진다. 이와 같이하여 얻어진 윤곽선과 그것에 의해 식별된 대상 물체 이미지의 무게 중심 및 크기를 이용함으로써, 실제 공간에서의 대상 물체의 위치를 효율적이고 또한 고정밀도로 얻을 수 있다.

본 발명은 특정 실시예와 관련하여 상술되었다. 본 기술 분야의 당업자는 구성 요소와 예로서 전술된 실시예의 다양한 프로세스의 적절한 조합이 본 발명의 추가의 변형을 유도하고 그러한 변형 또한 본 발명의 범위 내에 있다는 것을 이해할 것이다.

산업상 이용 가능성

전술한 바와 같이, 본 발명은 게임기, 이미지 처리 장치, 및 퍼스널 컴퓨터와 같은 정보 처리 장치 및 이들 장치 중 어느 하나를 포함하는 정보 처리 시스템에 적용될 수 있다.

6 발광부
1 정보 처리 시스템
10 정보 처리 장치
12 이미징 장치
16 디스플레이 장치
18 발광 장치
22 중앙처리장치(CPU)
24 그래픽처리장치(GPU)
26 메인 메모리
60 캡처된 이미지 취득부
62 데이터 저장부
64 위치 정보 취득부
66 정보 처리부
68 출력 데이터 생성부
70 대상 물체 검출부
72 윤곽 검색부
74 위치 정보 생성부

Claims

정보 처리 장치로서, 상기 정보 처리 장치는:
대상 물체의 캡처된 이미지의 데이터를 취득하도록 구성된 캡처된 이미지 취득부;
상기 대상 물체의 이미지가 차지하는 영역 내에서 상기 캡처된 이미지의 위치에 대한 휘도의 변화가 미리 정해진 조건을 만족하는 좌표 지점에 대해서 상기 캡처된 이미지를 검색함으로써, 상기 대상 물체의 상기 이미지의 윤곽선을 획득하도록 구성된 윤곽 검색부; 및
상기 윤곽선에 기초하여 상기 대상 물체에 관한 위치 정보를 실제 공간 내에서 생성하도록 구성된 위치 정보 생성부를 포함하고,
상기 윤곽 검색부는, 이미지 영역 내의 하나의 픽셀을 시작 지점으로 이용하여, 픽셀들의 배열 내에서 대각선 방향으로 상기 좌표 지점을 검색하는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서,
상기 캡처된 이미지 취득부는 이미지 평면 상에서 베이어 배열(Bayer array)을 이용하여 얻어진 휘도 데이터를 색-보간함으로써 형성된 색 이미지의 데이터를 취득하고,
상기 윤곽 검색부는 최초의 베이어 배열 내에서 동일한 색을 가지는 복수의 픽셀들을 검색 시작 지점으로 이용하는 것을 특징으로 하는 정보 처리 장치.
제2항에 있어서,
상기 윤곽 검색부는 상기 최초의 베이어 배열 내에서 녹색을 갖는 픽셀들을 검색 시작 지점으로 이용하는 것을 특징으로 하는 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 윤곽 검색부는, 검출된 좌표 지점의 분포를 최소 제곱법(least-square method)을 이용하여 상기 대상 물체의 예측 가능한 형상에 근사시킴으로써 상기 윤곽선을 획득하기 위해, 복수의 방향에서 검색을 수행하는 것을 특징으로 하는 정보 처리 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 윤곽 검색부는, 검색 경로 상의 상기 픽셀들의 색들을 나타내는 YUV 공간 내에서 적어도 상기 좌표 지점의 상기 위치에 대한 휘도(Y)의 변화에 기초하여, 상기 좌표 지점을 감지하는 것을 특징으로 하는 정보 처리 장치.
제5항에 있어서, 상기 윤곽 검색부는 상기 검색 경로 상의 상기 픽셀들의 상기 색들 중에서 상기 대상 물체의 색 성분의 상기 휘도의 변화에 기초하여 상기 좌표 지점을 필터링하는 것을 특징으로 하는 정보 처리 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 캡처된 이미지 취득부는 좌측 및 우측 시점으로부터 상기 대상 물체의 캡처된 입체 이미지의 데이터를 취득하고,
상기 위치 정보 생성부는 상기 윤곽선에 기초하여 상기 대상 물체의 상기 입체 이미지 각각의 무게 중심을 계산하며, 상기 입체 이미지의 상기 무게 중심들 간의 시차에 기초하여 상기 위치 정보를 생성하는 것을 특징으로 하는 정보 처리 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 위치 정보 생성부는 상기 윤곽선에 기초하여 상기 대상 물체의 이미지의 크기를 계산하고, 상기 계산된 크기를 상기 대상 물체의 실제 크기와 비교하여 상기 위치 정보를 생성하는 것을 특징으로 하는 정보 처리 장치.
제2항 또는 제3항에 있어서,
상기 윤곽 검색부는 이미징 장치로부터 알려진 거리에 있는 상기 대상물체의 상기 캡처된 이미지 내의 각각의 시작점에 대한 상기 윤곽선을 얻기 위해 상기 시작 지점을 하나의 픽셀에서 다른 픽셀로 평행이동하고, 최종 위치 정보에서의 오차에 기초하여 상기 검색의 상기 시작 지점으로 이용될 픽셀을 식별하는 것을 특징으로 하는 정보 처리 장치.
정보 처리 장치에 의해 실행되는 정보 처리 방법으로서, 상기 방법은:
데이터를 메모리에 저장하기 위해 대상 물체의 캡처된 이미지의 상기 데이터를 취득하는 단계;
상기 대상 물체의 이미지가 차지하는 영역 내에서 상기 캡처된 이미지의 위치에 대한 휘도의 변화가 미리 정해진 조건을 만족하는 좌표 지점에 대해서 상기 메모리로부터 판독된 상기 캡처된 이미지를 검색함으로써, 상기 대상 물체의 상기 캡처된 이미지의 윤곽선을 획득하는 단계; 및
상기 윤곽선에 기초하여 상기 대상 물체에 관한 위치 정보를 실제 공간 내에 생성하는 단계를 포함하고,
상기 윤곽선을 획득하는 단계는, 이미지 영역 내의 하나의 픽셀을 시작 지점으로 이용하여, 픽셀들의 배열 내에서 대각선 방향으로 상기 좌표 지점을 검색하는 것을 특징으로 하는 방법.
컴퓨터가 기능들을 수행하게 하는 컴퓨터 프로그램으로서, 상기 기능들은,
대상 물체의 캡처된 이미지의 데이터를 취득하는 단계;
대상 물체의 이미지가 차지하는 영역 내에서 상기 캡처된 이미지의 위치에 대한 휘도의 변화가 미리 정해진 조건을 만족하는 좌표 지점에 대해서 상기 캡처된 이미지를 검색함으로써, 상기 대상 물체의 상기 캡처된 이미지의 윤곽선을 획득하는 단계; 및
상기 윤곽선에 기초하여 상기 대상 물체에 관한 위치 정보를 실제 공간 내에 생성하는 단계를 포함하고,
상기 윤곽선을 획득하는 단계는, 이미지 영역 내의 하나의 픽셀을 시작 지점으로 이용하여, 픽셀들의 배열 내에서 대각선 방향으로 상기 좌표 지점을 검색하는 것을 특징으로 하는 컴퓨터 프로그램.