KR101353860B1 - 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명의 일 태양에 따르면, 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법으로서, (a) 복수의 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출하는 단계, (b) 상기 특징점과 관찰자와의 상대적 거리를 계산하는 단계, 및 (c) 상기 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 단계를 포함하는 방법이 제공된다.
본 발명에 의하면, 복수의 카메라를 이용하여 전방에 위치하는 장애물과의 거리 및 방향을 탐지하고 이를 관찰자에게 통지함으로써 시각 장애인의 경우에도 혼자 독자적인 보행이 가능하도록 할 수 있다.

Description

병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR GUIDING A PERSON WHO IS VISUALLY IMPAIRED USING MULTIVIEW CAMERA EQUIPPED PARALLEL IMAGE FILTERING MODULE}

본 발명은 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로 보다 상세하게는, 복수의 카메라를 이용하여 전방에 위치하는 장애물과의 거리 및 방향을 탐지하고 이를 관찰자에게 통지함으로써 시각 장애인의 경우에도 혼자 독자적인 보행이 가능하도록 하는 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

최근 대용량의 화소수를 가지는 고성능 디지털 카메라가 개발되고, 소형 CCD 카메라가 널리 보급되었을 뿐만 아니라 고성능의 연산처리 장치와 갈수록 소형화, 고속화되고 있는 메모리 덕분에 대량의 영상 데이터들을 더욱 빠르고 정확하게 처리할 수 있는 영상 처리 기술이 비약적으로 발전하고 있다.

이러한 추세에 따라 최근 동일 시간에 촬영된 다시점 영상에 대한 분석 알고리즘 역시 다방면에서 활발히 연구 개발되고 있다. 대표적인 예로 3D 영화, 3D 카메라, 3D TV와 관련하여 둘 이상의 카메라를 이용하여 동영상으로부터 대상 물체의 3차원 데이터를 복원하는 기술이나 영상에 가상물체를 합성하는 등의 기술들이 활발하게 연구되고 있다.

이와 같이 복수의 카메라를 하나의 디바이스 내에 장착하여 다시점 영상을 제공하는 기술은 2008년 8월 8일 공개, 공개번호 10-2008-0073073, 발명의 명칭 '듀얼 카메라모듈'을 통하여 개시된 바 있다. 위 기술을 참조하면, 근거리 화상과 원거리 화상을 촬영하는 데 사용되는 듀얼 카메라 모듈에 구현된 두 개의 이미지 센서와 효율적으로 통신하는 장치 및 방법이 개시된다. 그러나 위 종래 기술은 듀얼 카메라를 이용한 영상 처리 알고리즘의 구체적인 활용예에 대해서는 개시하는 바가 없다.

이와 같이 최근에는 동일 시각에 촬영된 다시점 영상에 대한 영상처리 알고리즘 자체뿐만 아니라 영상처리 알고리즘의 응용 연구를 위한 시스템 개발의 필요성이 증가하고 있는 실정이다.

본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 복수의 카메라를 이용하여 다시점 영상을 획득하고, 이를 이용하여 관찰자의 전방에 위치하는 장애물의 위치 및 방향을 획득하여 관찰자에게 제공함으로써 관찰자가 시각 장애인일 경우 독자적인 보행이 가능하도록 하는 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 복수의 영상 필터링 모듈을 병렬로 연결하여 대량의 영상 데이터들을 더욱 빠르고 정확하게 처리할 수 있는 영상 처리 알고리즘을 제공하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법으로서, (a) 복수의 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출하는 단계, (b) 상기 특징점과 관찰자와의 상대적 거리를 계산하는 단계, 및 (c) 상기 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 단계를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 시스템으로서, 복수의 카메라, 상기 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출하고, 상기 특징점과 관찰자와의 상대적 거리를 계산하는 중앙 처리 장치, 및 상기 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 경보 장치를 포함하는 시스템이 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 복수의 카메라를 이용하여 전방에 위치하는 장애물과의 거리 및 방향을 탐지하고 이를 관찰자에게 통지함으로써 시각 장애인의 경우에도 독자적인 보행이 가능하도록 할 수 있다.

또한, 본 발명에 의하면 복수의 영상 필터링 모듈을 병렬로 연결하여 대량의 영상 데이터들을 더욱 빠르고 정확하게 처리할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 시스템을 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 물체 탐색 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 물체 탐색 시스템에서 공통되는 특징점과 관찰자 사이의 상대적 거리를 계산하는 방법을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 시스템을 도시한 블럭도이다.

도 1을 참조하면, 상기 시각 장애인 가이드 시스템은 복수의 카메라(100), 상기 각 카메라(100) 사이의 간격을 조절하는 간격 조절 장치(200), 상기 카메라(100)와 상호 병렬로 연결된 복수의 영상 필터링 모듈(300), 상기 영상 필터링 모듈(300)과 상호 연동하는 중앙 처리 장치(400)를 포함할 수 있다.

보다 상세히, 상기 카메라(100)는 내부에 촬상된 이미지를 임시 저장하는 영상 메모리(110)를 포함할 수 있고, 상기 영상 필터링 모듈(300)은 적어도 하나의 그래픽 메모리(Graphic Memory;310)와 그래픽 연산 장치(Graphical Processing Unit;320)를 포함할 수 있으며, 상기 중앙 처리 장치(400)는 중앙 연산 메모리(410), 중앙 연산 처리 장치(420), 영속 저장 장치(430), 네트워크 통신 장치(440), 및 경보 장치(450)를 포함할 수 있다.

여기서, 본 발명의 일 실시예에 따른 시각 장애인 가이드 시스템은 디지털 기기로서, 개인용 컴퓨터(예를 들어, 타블렛 컴퓨터, 노트북 컴퓨터 등), PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대용 디지털 기기라면 얼마든지 본 발명에 따른 시각 장애인 가이드 시스템으로서 채택될 수 있다. 보다 바람직하게는 상기 휴대용 디지털 기기는 안경이나 목걸이와 같은 악세서리 형태로 제작되어 시각 장애인이 용이하게 구비하고 이동할 수 있도록 제공될 수 있다.

본 발명의 일 실시예에 따른 상기 카메라(100)는 종래 일반적인 촬상 소자로 구성된 것으로서 예를 들어 CCD를 이용하고 디지털 화상 신호를 생성하는 디지털 카메라(100)일 수 있다. 상기 카메라(100)를 통하여 입력된 영상정보는 카메라(100)의 영상 메모리(110)에 일시 저장될 수 있으며, 상기 카메라(100)와 병렬로 연결된 복수의 영상 필터링 모듈(300)을 거쳐 상기 중앙 처리 장치(400)로 전송될 수 있다.

다음으로, 본 발명의 일 실시예에 따른 상기 간격 조절 장치(200)는 상기 각 카메라(100) 사이의 간격을 조절하여 상기 카메라(100)로부터 각 입력되는 영상으로부터 공통되는 특징점(Feature Point)을 추출할 수 있도록 하는 기능을 수행한다. 즉, 다시점 카메라 시스템에서 카메라(100)간의 거리가 충분히 작다면 각 카메라(100)로부터 입력되는 영상으로부터 공통되는 특징점이 추출될 가능성이 커진다는 점을 이용하여 상기 각 카메라(100) 사이의 거리를 조절하여 상기 공통되는 특징점을 추출할 수 있도록 한다. 상기 특징점은 관찰자의 전방에 위치한 장애물의 소정 부분일 수 있다.

다음으로, 본 발명의 일 실시예에 따른 상기 영상 필터링 모듈(300)은 내부에 적어도 하나의 그래픽 메모리(310)와 그래픽 연산 장치(320)를 포함할 수 있으며, 상기 영상 필터링 모듈(300)은 상기 카메라(100)와 병렬로 연결되어 상기 영상 메모리(110)로부터 상기 카메라(100)를 이용하여 촬영된 영상정보를 입력 받아 필터링하는 기능을 수행한다. 보다 상세히, 상기 그래픽 메모리(310)는 상기 중앙 처리 장치(400)로부터 영상 필터링에 사용될 필터링 프로그램을 전송받아 적재할 수 있고, 상기 그래픽 연산 장치(320)는 상기 필터링 프로그램을 이용하여 상기 카메라(100)로부터 입력되는 영상정보의 필터링 연산을 수행한다. 이는 현재 컴퓨터 시스템에서 사용되는 3D 그래픽 카드의 쉐이더 프로그램과 유사하다고 할 수 있으나 그래픽 카드에서의 연산과정은 중앙 연산 처리 장치에서 그래픽 카드로 일방적으로 정보를 전송하는 일방향적 특성을 보이나, 본 발명의 그래픽 연산 장치(320)는 상기 중앙 처리 장치(400)와 양방향성을 가지고 통신하여 필터링된 영상정보를 송수신할 수 있다.

한편, 상기 영상 필터링 모듈(300)은 상기 카메라(100)와 병렬로 연결되어 실시간으로 둘 이상의 영상정보를 처리하는 기능을 수행한다. 상기 영상 필터링 모듈(300)을 통한 필터링 연산에는 입력된 영상으로부터 추출하고자 하는 정보에 따라 다양한 알고리즘이나 다양한 임계값 처리가 요구되며 개별 영상처리에 소요되는 시간이 커서 둘 이상의 정보들을 동시에 추출하여 이용하는 데 한계가 있다. 특히 실시간으로 영상을 처리하기 위해서는 더욱 빠른 영상 처리 속도가 요구된다. 때문에 본 발명의 일 실시예에 따르면 복수의 영상 필터링 모듈(300)을 상기 카메라(100)와 병렬로 연결하여 실시간 영상 처리에 요구되는 속도를 충족시킬 수 있다.

본 발명의 일 실시예에 따르면, 상기 그래픽 메모리(310), 및 그래픽 연산 장치(320)는 그 중 적어도 일부가 카메라(100) 또는 중앙 처리 장치(400)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 영상 필터링 모듈(300)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 영상 필터링 모듈(300)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

마지막으로, 본 발명의 일 실시예에 따른 중앙 처리 장치(400)는 중앙 연산 메모리(410), 중앙 연산 처리 장치(420), 영속 저장 장치(430), 네트워크 통신 장치(440), 및 경보 장치(450)를 포함하고, 상기 카메라(100) 및 영상 필터링 모듈(300) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 중앙 처리 장치(400)는 외부로의/외부로부터의 또는 시각 장애인 가이드 시스템의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 상기 카메라(100) 및 영상 필터링 모듈(300)에서 각각 고유 기능을 수행하도록 제어한다.

보다 상세히, 상기 중앙 연산 메모리(Central Processing Memory;410)는 상기 영상 필터링 모듈(300)과 병렬로 연결되어 상기 복수의 영상 필터링 모듈(300)로부터 전달된 영상정보를 저장하고, 각각 처리되어 저장된 영상정보를 종합하여 다른 정보를 추출할 수 있는 프로그램을 로드하는 기능을 수행한다.

상기 중앙 연산 처리 장치(Central Processing Unit;420)는 복수의 카메라(100)를 통하여 다시점으로 입력되어 상기 영상 필터링 모듈(300)을 통하여 필터링된 복수의 영상정보들을 종합하여 관찰자의 전방에 위치한 장애물의 위치와 방향을 계산하고, 시각 장애인 가이드 시스템을 구성하는 카메라(100), 영상 필터링 모듈(300), 및 중앙 처리 장치(400) 내 중앙 연산 메모리(410), 영속 저장 장치(430), 네트워크 통신 장치(440), 및 경보 장치(450) 등을 제어하는 기능을 수행한다.

상기 영속 저장 장치(430)는 상기 중앙 연산 처리 장치(420)에서 가공된 데이터를 저장하는 기능을 수행한다.

상기 네트워크 통신 장치(440)는 통신망을 통하여 외부로부터 데이터를 전송받거나 외부로 데이터를 전송하는 기능을 수행한다. 일 실시예로 상기 네트워크 통신 장치(440)는 외부에서 작성된 프로그램을 상기 통신망을 통하여 전송받을 수 있다. 본 발명의 일 실시예에 따르면, 상기 통신망은 무선 통신의 양태로 구성될 수 있으며 이동 통신망, 인공 위성 통신망 등 다양한 통신망으로 구성될 수 있다. 보다 구체적으로, 본 발명에서 말하는 통신망은 공지의 WLAN(Wireless LAN), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access) 또는 GSM(Global System for Mobile communications) 통신망 등을 모두 포함하는 개념인 것으로 이해되어야 한다.

상기 경보 장치(450)는 상기 중앙 연산 처리 장치(420)에서 계산된 장애물과 관찰자의 상대적 거리에 따라 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 기능을 수행한다. 또한, 상기 경보 장치(450)는 상기 장애물이 위치하는 방향을 관찰자에게 통지하는 기능을 수행한다.

본 발명의 일 실시예에 따르면, 중앙 연산 메모리(410), 중앙 연산 처리 장치(420), 영속 저장 장치(430), 네트워크 통신 장치(440), 및 경보 장치(450)는 그 중 적어도 일부가 영상 필터링 모듈(300) 또는 외부 시스템과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 중앙 처리 장치(400)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 중앙 처리 장치(400)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

전체 시스템의 동작

도 2는 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 물체 탐색 방법을 설명하기 위한 플로우 차트이다.

도 2를 참조하면, 본 발명의 시각 장애인 가이드 방법은 복수의 카메라(100)를 이용하여 영상을 촬영하고(S100), 촬영된 각 영상으로부터 특징점을 추출한다(S110). 상기 특징점은 상기 카메라(100)를 이용하여 촬영하는 피사체의 소정부를 의미하는 것으로서 예를 들어 상기 피사체의 관찰자 방향으로 가장 돌출된 부분 또는 관찰자와 가장 가까운 지점 등으로 설정될 수 있다. 상기 복수의 카메라(100)로부터 촬영된 각 영상에 있어서, 공통되는 특징점이 존재하는지 여부를 판단하고(S120), 공통되는 특징점이 존재하지 않는 경우에는 상기 간격 조절 장치(200)를 이용하여 카메라(100) 사이의 간격을 조절한다(S130). 예를 들어 상기 카메라(100) 사이의 간격이 너무 멀어 공통되는 특징점을 탐색할 수 없다고 판단되면 양 카메라(100) 사이의 간격을 좁힌 후 S100 단계로 회귀하여 재차 복수의 카메라(100)를 이용하여 영상을 촬영하게 된다. 상기 공통되는 특징점을 추출함에 있어서는 SIFT 또는 SURF 알고리즘을 이용할 수 있다.

상기 SIFT(Scale Invariant Feature Transform) 알고리즘은 David G. Lowe에 의하여 제안되었는데 이는 객체의 모서리나 꼭지점 등에서 생성되는 특징점을 벡터로 추출하여, 영상의 크기변화, 회전, 조명변화 등에 의한 변형에 대해 뛰어난 매칭 성능을 가진다. SIFT 서술자(Descriptor)는 영상 변환, 크기, 회전, 노이즈 영향에도 일정한 특징 정합 성능을 유지한다. SIFT 를 이용한 특징 추출 과정은 크게 특징점을 찾는 부분과 선택된 특징점의 서술자를 생성하는 두 단계로 구분할 수 있다. 먼저, 특징점을 추출하는 단계에서는 스케일 공간상의 후보 특징점을 추출하고 후보 특징점의 안정성을 검사하여 안정된 특징점의 위치를 세부 위치로 보정한다. 서술자를 생성하는 단계에서는 선택된 점들을 중심으로 주변 영역의 그래디언트를 통해 방향 성분을 얻고, 얻어진 방향 성분을 중심으로 관심 영역을 재설정하여 서술자를 생성하게 된다.

상기 SURF(Speeded Up Robust Features) 알고리즘은 상기 SIFT 알고리즘과 같이 크기와 회전 변화에 강건한 특징점을 추출하는 알고리즘으로 객체 인식이나 파노라마 이미지 생성, 3차원 영상 복원 등에 활용된다. 상기 SURF 알고리즘은 크기 변화에 강건한 특징점을 추출하는 스케일 공간(Scale space)을 표현하기 위해 이미지 피라미드(Image pyramids)를 생성하고 생성된 이미지 피라미드에서 특징점을 추출한다.

만약 상기 복수의 카메라(100)로부터 촬영된 영상으로부터 공통되는 특징점을 추출하였다면, 상기 공통되는 특징점을 이용하여 상기 특징점과 관찰자와의 상대적 거리를 계산한다(S140). 상기 특징점과 관찰자와의 상대적 거리를 계산하는 방법에 대하여는 이하 도 3을 참조로 하여 보다 상세히 설명하기로 한다. 다음 상기 계산된 거리를 기초로 하여 상기 중앙 처리 장치(400)의 경보 장치(450)에서 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시킨다(S150). 상기 경보의 예로는 소리의 크기나 진동의 세기를 들 수 있으며, 상기 특징점이 관찰자로부터 가까이 있을수록 소리가 커지거나 진동이 강해지도록 하여 상기 관찰자에게 장애물과의 거리를 알릴 수 있다. 더욱 바람직하게는 아래 도 3을 참조로 하여 설명하는 바와 같이 구해진 특징점의 x, y 좌표 값을 이용하여 상기 특징점의 방향을 관찰자에게 통지할 수 있다(S160).

도 3은 본 발명의 일 실시예에 따른 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 물체 탐색 시스템에서 공통되는 특징점과 관찰자 사이의 상대적 거리를 계산하는 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 원점을 중심으로 d 만큼 떨어진 곳에 제1 카메라와 제2 카메라가 위치한다고 가정할 때, 상기 제1 카메라의 좌표 F를 (u, v, w), 제2 카메라의 좌표 F'을 (u', v', w'), 특징점 P의 좌표를 (x, y, z)라고 하면 상기 특징점 P가 제1 카메라와 제2 카메라의 부채꼴 형상의 촬영 반경 안에 위치하고 있으므로 상기 특징점 P는 상기 제1 및 제2 카메라로 촬영된 영상에 있어 공통되는 특징점이라 할 수 있다.

상기 제1 카메라를 이용하여 촬영된 영상 속에서 상기 특징점 P는 제1 카메라의 초점거리 f만큼 떨어진 (px, py)에 상이 맺히고, 마찬가지로 상기 제2 카메라를 이용하여 촬영된 영상 속에서 상기 특징점 P는 제2 카메라의 초점거리 f'만큼 떨어진 (p'x, p'y)에 상이 맺히게 된다.

상기 px, py, p'x, p'y를 이용하면 특징점 P의 좌표 (x, y, z)를 구할 수 있다. 보다 상세히,

상기 식을 이용하여 상기 특징점의 상대적 좌표를 계산할 수 있게 된다.

만약 상기 원점을 관찰자의 위치라고 한다면, 상기 특징점의 상대적 좌표와 원점의 최소 거리를 계산해 관찰자와 장애물 사이의 상대적 위치를 계산할 수 있게 된다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 카메라
110: 영상 메모리
200: 간격 조절 장치
300: 영상 필터링 모듈
310: 그래픽 메모리
320: 그래픽 연산 장치
400: 중앙 처리 장치
410: 중앙 연산 메모리
420: 중앙 연산 처리 장치
430: 영속 저장 장치
440: 네트워크 통신 장치
450: 경보 장치

Claims (13)

1. 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법으로서,
   (a) 복수의 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출하는 단계;
   (b) 상기 특징점과 관찰자와의 상대적 거리를 계산하는 단계; 및
   (c) 상기 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 단계를 포함하며,
   그래픽 메모리와 그래픽 연산장치를 포함하는 상호 병렬로 연결된 복수의 영상 필터링 모듈이 상기 카메라와 상호 연동하여 상기 카메라로부터 입력되는 영상을 필터링하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 (a) 단계는 SIFT 또는 SURF 알고리즘을 이용하여 공통되는 특징점을 추출하는 것을 특징으로 하는 방법.
3. 제1항에 있어서,
   상기 (b) 단계는,
   

   

   
   

   

   
   

   

   
   - 상기 복수의 카메라가 제1 카메라 및 제2 카메라일 때, 상기 f 및 f'는 각각 상기 제1 카메라 및 제2 카메라의 초점거리이며, 상기 Px 및 Py는 상기 제1 카메라를 이용하여 촬영된 영상 내에서, 상기 f만큼 떨어진 곳에서 상기 특징점이 맺히는 좌표이고, 상기 Px' 및 Py'는 상기 제2 카메라를 이용하여 촬영된 영상 내에서, 상기 f'만큼 떨어진 곳에서 상기 특징점이 맺히는 좌표이며, 상기 d는 상기 관찰자와 상기 제1 카메라 또는 제2 카메라 중 어느 하나와의 최소 거리를 의미함 -
   상기 식을 이용하여 상기 특징점의 상대적 좌표를 계산하는 것을 특징으로 하는 방법.
4. 제3항에 있어서,
   (d) 상기 x, y 좌표 값을 이용하여 구해진 특징점의 방향을 관찰자에게 통지하는 단계를 더 포함하는 것을 특징으로 하는 방법.
5. 삭제
6. 제1항에 있어서,
   상기 카메라는 각 카메라 사이의 간격을 조절하는 간격 조절 장치를 이용하여 각 카메라 사이의 간격을 조절함으로써 상기 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출할 수 있도록 하는 것을 특징으로 하는 방법.
7. 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 시스템으로서,
   복수의 카메라;
   상기 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출하고, 상기 특징점과 관찰자와의 상대적 거리를 계산하는 중앙 처리 장치; 및
   상기 특징점과 관찰자와의 상대적 거리에 상응하는 자극을 가지는 경보를 발생시키는 경보 장치를 포함하며,
   그래픽 메모리와 그래픽 연산장치를 포함하는 상호 병렬로 연결된 복수의 영상 필터링 모듈을 더 포함하고,
   상기 영상 필터링 모듈은 상기 카메라와 상호 연동하여 상기 카메라로부터 입력되는 영상을 필터링하는 것을 특징으로 하는 시스템.
8. 제7항에 있어서,
   상기 중앙 처리 장치는 SIFT 또는 SURF 알고리즘을 이용하여 공통되는 특징점을 추출하는 것을 특징으로 하는 시스템.
9. 제7항에 있어서,
   상기 중앙 처리 장치는,
   

   

   
   

   

   
   

   

   
   - 상기 복수의 카메라가 제1 카메라 및 제2 카메라일 때, 상기 f 및 f'는 각각 상기 제1 카메라 및 제2 카메라의 초점거리이며, 상기 Px 및 Py는 상기 제1 카메라를 이용하여 촬영된 영상 내에서, 상기 f만큼 떨어진 곳에서 상기 특징점이 맺히는 좌표이고, 상기 Px' 및 Py'는 상기 제2 카메라를 이용하여 촬영된 영상 내에서, 상기 f'만큼 떨어진 곳에서 상기 특징점이 맺히는 좌표이며, 상기 d는 상기 관찰자와 상기 제1 카메라 또는 제2 카메라 중 어느 하나와의 최소 거리를 의미함 -
   상기 식을 이용하여 상기 특징점의 상대적 좌표를 계산하는 것을 특징으로 하는 시스템.
10. 제7항에 있어서,
    상기 경보 장치는 상기 x, y 좌표 값을 이용하여 구해진 특징점의 방향을 관찰자에게 통지하는 것을 특징으로 하는 시스템.
11. 삭제
12. 제7항에 있어서,
    상기 카메라 사이의 간격을 조절하는 간격 조절 장치를 더 포함하고,
    상기 간격 조절 장치를 이용하여 각 카메라 사이의 간격을 조절함으로써 상기 카메라로부터 각 입력되는 영상으로부터 공통되는 특징점을 추출할 수 있도록 하는 것을 특징으로 하는 시스템.
13. 제1항 내지 제4항 및 제6항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
    

Images